JP2007180933A - Image sensor - Google Patents
Image sensor Download PDFInfo
- Publication number
- JP2007180933A JP2007180933A JP2005377350A JP2005377350A JP2007180933A JP 2007180933 A JP2007180933 A JP 2007180933A JP 2005377350 A JP2005377350 A JP 2005377350A JP 2005377350 A JP2005377350 A JP 2005377350A JP 2007180933 A JP2007180933 A JP 2007180933A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- area
- abnormal
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims description 88
- 238000012544 monitoring process Methods 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 description 19
- 238000002372 labelling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視空間を撮像した画像を用いて侵入者を検出することを目的とした画像センサに関する。 The present invention relates to an image sensor intended to detect an intruder using an image obtained by imaging a monitoring space.
監視空間を撮像するカメラ等の撮像装置を用いて撮像して得た画像情報に背景差分処理等を施して、監視空間への移動体の侵入を検出する画像センサが提案されている。背景差分処理は、監視を開始した直後に得た侵入者が存在しない監視空間を撮像した画像を背景画像として記憶しておき、新たに監視空間を撮像した入力画像と背景画像とにおける対応する画素の差が所定値以上である画素の集合を侵入者等の物体による変化によって生じた変化領域として抽出する。 There has been proposed an image sensor that performs background difference processing or the like on image information obtained by imaging using an imaging device such as a camera that images a monitoring space, and detects the intrusion of a moving object into the monitoring space. The background difference process stores, as a background image, an image obtained by capturing a monitoring space without an intruder obtained immediately after monitoring is started, and corresponding pixels in the input image and the background image newly capturing the monitoring space. A set of pixels whose difference is equal to or greater than a predetermined value is extracted as a change region caused by a change caused by an intruder or other object.
特許文献1には、背景差分処理により監視空間に侵入した侵入者等の移動物体を検出する技術が開示されている。監視を開始する際に背景画像を初期化すると共に、変化領域がほとんど抽出されない場合や監視時の入力画像の大部分が変化領域として抽出された場合に背景画像を入力画像にて更新することにより監視空間の照明状況の変化に対応させている。また、順次撮像された入力画像を背景差分処理し、これによって抽出された変化領域を移動物体の候補とし、それらの変化領域とさらに前に撮像された入力画像に対する背景差分処理により抽出された変化領域との位置を比較して、対応し合う変化領域の位置に変動が見られた場合には移動物体であると判定する。 Patent Document 1 discloses a technique for detecting a moving object such as an intruder who has entered a monitoring space by background difference processing. By initializing the background image at the start of monitoring and updating the background image with the input image when the change area is hardly extracted or when the majority of the input image at the time of monitoring is extracted as the change area Corresponds to changes in the lighting conditions in the surveillance space. In addition, the input image captured sequentially is subjected to background difference processing, and the change areas extracted thereby are set as candidates for moving objects, and the change extracted by background difference processing for those change areas and the input image captured further before. If the position of the corresponding change area is changed, it is determined that the object is a moving object.
しかしながら、上記従来技術のように、背景画像を入力画像により初期化又は更新すると監視空間に移動物体が存在しているときに撮像された画像が背景画像となってしまうおそれがある。このような背景画像を用いて背景差分処理を行うと移動物体を検出し損ねる可能性がある。 However, when the background image is initialized or updated with the input image as in the above-described prior art, an image captured when a moving object is present in the monitoring space may become a background image. If background difference processing is performed using such a background image, there is a possibility that a moving object will not be detected.
例えば、図9(a)に示すように、時刻t0に監視を開始する際に撮像された入力画像を背景画像P10として、この時点で監視空間に侵入者が既に存在しており、入力画像に侵入者による画像領域A0が含まれていた場合について説明する。その後、時刻t1には侵入者がカメラから遠ざかる方向に移動していた場合、図9(b)に示すように、時刻t1に新たに監視空間を撮像した入力画像P11には背景画像P10における侵入者の画像領域A0に対応する領域A1に内包されるように侵入者による画像領域B1が含まれる。このような場合、入力画像P11と背景画像P10との背景差分処理を行うと、図9(c)に示すように、画像領域B1を内包する画像領域A0が変化領域C1として抽出される。さらに、時刻t2には侵入者がカメラからさらに遠ざかる方向に移動していた場合、図9(d)に示すように、時刻t2に新たに監視空間を撮像した入力画像P12には背景画像P10における侵入者の画像領域A0に対応する領域A1に内包されるように侵入者による画像領域B2が含まれる。このような場合、入力画像P12と背景画像P10との背景差分処理を行うと、図9(e)に示すように、画像領域B2を内包する画像領域A0が変化領域C2として抽出される。 For example, as shown in FIG. 9A, an input image captured when monitoring is started at time t0 is set as a background image P10. At this time, an intruder already exists in the monitoring space, and the input image The case where the image area A0 by the intruder is included will be described. After that, if the intruder has moved away from the camera at time t1, as shown in FIG. 9B, the input image P11 that newly captures the monitoring space at time t1 is intruded in the background image P10. An image area B1 by an intruder is included so as to be included in an area A1 corresponding to the person's image area A0. In such a case, when background difference processing is performed between the input image P11 and the background image P10, an image area A0 including the image area B1 is extracted as a change area C1 as shown in FIG. 9C. Furthermore, when the intruder is moving further away from the camera at time t2, as shown in FIG. 9D, the input image P12 that newly captures the monitoring space at time t2 is displayed in the background image P10. The image area B2 by the intruder is included so as to be included in the area A1 corresponding to the image area A0 of the intruder. In such a case, when background difference processing is performed between the input image P12 and the background image P10, as shown in FIG. 9E, an image area A0 that includes the image area B2 is extracted as the change area C2.
このとき、位置や形状の変化検出を緩やかにしていると、時刻t1における変化領域C1と時刻t2における変化領域C2との画像内での位置や形状の変化はないと判断し、移動物体による変化領域であるとみなせず、侵入者を検出することができない場合もある。 At this time, if the change detection of the position or shape is made gentle, it is determined that there is no change in the position or shape in the image of the change area C1 at time t1 and the change area C2 at time t2, and the change due to the moving object In some cases, an intruder cannot be detected because it is not considered as a region.
また、監視空間にトラック等の大きな移動物体が侵入し、入力画像の大部分が変化領域として抽出された場合、この入力画像によって背景画像が更新されると異常な背景画像となり同様の問題が生ずる可能性がある。 In addition, when a large moving object such as a track enters the surveillance space and most of the input image is extracted as a change area, if the background image is updated by this input image, an abnormal background image is obtained and the same problem occurs. there is a possibility.
一方、背景画像を更新しない場合には、監視空間の照明環境の変化による影響を避けることができず、侵入者の検出の感度及び精度が低下するおそれがある。 On the other hand, when the background image is not updated, the influence due to the change in the illumination environment of the monitoring space cannot be avoided, and the sensitivity and accuracy of intruder detection may be reduced.
また、上記従来技術では、変化領域がほとんど抽出されない場合に背景画像を更新する。しかしながら、上記のように異常な背景画像が得られた場合、背景差分処理によって変化領域が抽出され続けることになるので背景画像は更新されず、背景画像を正常に戻すためには人為的に初期化を行う必要がある。 Further, in the above conventional technique, the background image is updated when the changed region is hardly extracted. However, when an abnormal background image is obtained as described above, the background image is not updated because the changed area is continuously extracted by the background difference process, and it is artificially initial to restore the background image to normal. Need to be done.
本発明は、上記従来技術の問題を鑑み、上記課題の少なくとも1つを解決することができる画像センサを提供することを目的とする。 An object of the present invention is to provide an image sensor that can solve at least one of the above-described problems in view of the above-described problems of the related art.
本発明は、監視空間を撮像した監視画像を順次取得して、互いに取得時刻が異なる監視画像間の差分処理により抽出された変化領域に基づいて監視空間に存在する移動物体を検出する画像センサであって、所定時刻より前に取得した監視画像に基づいて背景画像を生成する背景画像生成部と、前記所定時刻後に複数取得した監視画像と前記背景画像との差分処理により背景差分領域を抽出する背景差分領域抽出部と、前記複数の監視画像における背景差分領域を比較して、前記背景画像に移動物体による異常領域が含まれているか否かを判定する背景異常領域検出部と、を備えることを特徴とする。 The present invention is an image sensor that sequentially acquires a monitoring image obtained by imaging a monitoring space and detects a moving object existing in the monitoring space based on a change area extracted by a difference process between monitoring images having different acquisition times. A background image generation unit that generates a background image based on a monitoring image acquired before a predetermined time, and a background difference region is extracted by a difference process between the monitoring image acquired multiple times after the predetermined time and the background image. A background difference region extraction unit; and a background abnormal region detection unit that compares background difference regions in the plurality of monitoring images and determines whether or not the background image includes an abnormal region due to a moving object. It is characterized by.
ここで、前記異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって前記変化領域を抽出し、前記異常領域外においては前記背景差分領域を前記変化領域として抽出することが好適である。このような処理を行って前記変化領域を抽出することによって前記背景画像内に移動物体による異常領域が存在する場合においても移動物体を検出することが可能となる。 Here, it is preferable that the change area is extracted by a difference process between monitoring images captured at different times in the abnormal area, and the background difference area is extracted as the change area outside the abnormal area. is there. By performing such processing and extracting the change region, it is possible to detect a moving object even when an abnormal region due to the moving object exists in the background image.
また、前記背景異常領域検出部は、前記複数の監視画像における背景差分領域の位置及び形状、並びに、前記複数の監視画像の互いに対応する画素の画素値を背景差分領域内において比較して、前記位置及び前記形状が略一致し、かつ、前記画素値が所定値以上に変動している場合に前記背景画像に移動物体による異常領域が含まれていると判定することが好適である。このような判定処理を行うことによって、前記背景画像内に含まれる移動物体による異常領域を適確に抽出することができる。 Further, the background abnormal area detection unit compares the position and shape of the background difference area in the plurality of monitoring images, and pixel values of pixels corresponding to each other in the plurality of monitoring images in the background difference area, and It is preferable to determine that the background image includes an abnormal region due to a moving object when the position and the shape substantially match and the pixel value fluctuates to a predetermined value or more. By performing such a determination process, it is possible to accurately extract an abnormal region due to a moving object included in the background image.
また、前記複数の監視画像間の差分領域を前記背景画像に含まれる異常領域から除外した領域を新たに取得した監視画像により更新して新たな背景画像を生成する背景画像更新部を備えることが好適である。このように背景画像を更新することによって、背景画像に含まれる異常領域内の画像を移動物体による画像ではない正常な画像に更新することができる。これによって、移動物体を適確に検出できる確率を高めることができる。 The image processing apparatus may further include a background image update unit configured to update a difference area between the plurality of monitoring images from an abnormal area included in the background image with a newly acquired monitoring image to generate a new background image. Is preferred. By updating the background image in this way, the image in the abnormal region included in the background image can be updated to a normal image that is not an image of a moving object. This can increase the probability that a moving object can be detected accurately.
本発明によれば、移動物体による画像領域を含む異常な背景画像を検出することができる。これにより、移動物体による画像領域を含む異常な背景画像を自動的に正常化させ、移動物体を検出することを可能とする。したがって、侵入者等の移動物体の検出の感度及び確度を向上させることができる。 According to the present invention, it is possible to detect an abnormal background image including an image area formed by a moving object. Thereby, it is possible to automatically normalize an abnormal background image including an image region of a moving object and detect the moving object. Therefore, the sensitivity and accuracy of detecting a moving object such as an intruder can be improved.
本発明の実施の形態における画像センサ100は、図1に示すように、撮像部10、画像入力インターフェース(I/F)12、変化領域抽出部14、ラベリング処理部16、追跡処理部18、背景異常領域検出部20、背景異常領域設定部22、背景画像設定部24、特徴量算出部26、異常判定部28、記憶部30及び出力部32を含んで構成される。
As shown in FIG. 1, the
画像入力インターフェース(I/F)12、変化領域抽出部14、ラベリング処理部16、追跡処理部18、背景異常領域検出部20、背景異常領域設定部22、背景画像設定部24、特徴量算出部26、異常判定部28、記憶部30を含む装置本体は、CPU、メモリ、入出力装置等を含む基本的なコンピュータの構成によって実現することができる。なお、本実施の形態では、被検出対象を侵入者として説明を行うが、他の被検出物体に置き換えても同様に処理を行うことができる。
Image input interface (I / F) 12, change
画像センサ100は、画像監視を開始させる操作や設定されたタイミングにて侵入者検知を開始する。撮像部10は、CCD撮像素子を備えたカメラを含んで構成される。撮像部10は、監視対象となる監視空間の画像を所定の時間間隔にて撮像して、監視空間の明るさを電圧値又は電流値で表す電気信号に変換して画像入力I/F12へ出力する。画像入力I/F12は、増幅器及びアナログ/デジタル変換器を含んで構成される。画像入力I/F12は、撮像部10から電気信号を受けて、その電気信号を増幅器で増幅した後にアナログ/デジタル変換器でデジタル信号に変換して所定の時間間隔にて監視画像(以下、他の画像と区別するために入力画像という)を生成する。入力画像は、明るさを256階調で表現した輝度値(画素値)の集合となる。生成された入力画像は、変化領域抽出部14及び背景画像設定部24へ送られる。
The
なお、画像は、カラー画像から輝度信号を抜き出した画像、又は、カラー画像からカラー成分の1つを抜き出した画像でもよい。撮像部10で取得される画像は、静止画、動画を問わず、両方を取得してもよい。なお、CCD撮像素子の代わりにCMOS撮像素子等の光電変換素子を用いることもできる。
Note that the image may be an image obtained by extracting a luminance signal from a color image, or an image obtained by extracting one of the color components from the color image. The images acquired by the
また、画像のダイナミックレンジを自動的に調整する自動利得制御(AGC)機能を持たせることが好ましい。例えば、画像全体が256階調(0〜255階調)のダイナミックレンジを可能な限り広く用いるように調整を行うことが好適である。 It is also preferable to have an automatic gain control (AGC) function for automatically adjusting the dynamic range of the image. For example, it is preferable to perform adjustment so that the entire image uses a dynamic range of 256 gradations (0 to 255 gradations) as much as possible.
変化領域抽出部14は、背景異常領域設定部22から背景異常領域の設定情報を受けて、その設定情報に基づいて変化領域の抽出処理を行う。背景異常領域設定部22において背景異常領域が設定されていない場合、変化領域抽出部14では、背景画像設定部24において生成され、記憶部30に記憶されている背景画像を読み出し、画像入力I/F12から得た入力画像との間で対応する画素同士の差分値を算出する背景差分処理を行う。また、背景異常領域設定部22において背景異常領域が設定されている場合、背景異常領域として設定されている画像領域については画像入力I/F12から新たに得た入力画像と、それより前に得た過去の入力画像(直前又は所定数だけ前のフレームの入力画像)との間で対応する画素同士の差分値を算出するフレーム間差分処理を行い、背景異常領域として設定されている画像領域以外の領域については画像入力I/F12から新たに得た入力画像と背景画像との間で対応する画素同士の差分値を算出する背景差分処理を行う。過去の入力画像は必要に応じて記憶部30に格納及び保持しておき、記憶部30から読み出して用いることが好適である。背景差分処理又はフレーム間差分処理された画像について、各画素についての差分値の絶対値が所定の二値化閾値以上である場合は画素値“1”を有する変化画素、所定の二値化閾値より小さい場合は画素値“0”を有する無変化画素とする2値化画像を生成する。このとき、膨張や収縮あるいは微小面積除去(独立した変化画素の除去)等のフィルタリング処理を施してノイズを除去した2値化画像を生成することが好適である。これにより、新たに得られた入力画像と背景画像及び過去の入力画像との間で輝度値の変動が二値化閾値以上であった画素からなる変化領域が抽出される。変化領域の位置及び形状の情報は記憶部30に格納及び保持される。
The change
ラベリング処理部16では、変化領域抽出部14の背景差分処理又はフレーム間差分処理によって得られた2値化画像内において纏まって1つの群を構成する変化画素の領域を変化領域としてグループ化し、各変化領域を識別するために固有のラベルを付与して「物体候補領域」とするラベリング処理を行う。追跡処理部18では、ラベリング処理された物体候補領域のトラッキング処理を行う。トラッキング処理では、過去の入力画像に対する2値化画像から抽出された物体候補領域を含む周囲に設定されたトラッキングの検索範囲内に現在の入力画像に対する2値化画像から抽出された物体候補領域が存在するか否かを判定し、該当する物体候補領域が存在する場合には、その領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の物体を撮像した画像領域であると推定して物体候補領域同士を対応付ける。
In the
背景異常領域検出部20は、所定のフレーム間で追跡処理部18において対応付けられた物体候補領域の位置及び形状が略一致すると共に、所定のフレーム間の互いに対応する画素の画素値が前記物体候補領域内において所定以上変化している場合にその物体候補領域を「背景異常領域」として検出する。この処理は、背景差分処理によって抽出され、追跡処理部18において対応付けられた物体候補領域の総てについて各々行われる。背景異常領域検出部20における処理については詳細に後述する。
The background abnormal
背景異常領域設定部22は、背景異常領域検出部20で検出された背景異常領域に基づいてフレーム間差分を実行する領域を設定する。背景異常領域の設定は画素単位で行われる。背景異常領域設定部22で設定された背景異常領域の位置及び形状の情報は変化領域抽出14へ設定情報として出力されると共に、記憶部30に格納及び保持される。
The background abnormal
背景画像設定部24は、背景画像生成部と背景画像更新部とを含んで構成される。背景画像生成部は、監視処理開始時又は所定のタイミングで撮像済みの入力画像を背景画像として記憶部30に格納する、又は、入力画像と記憶部30に格納された背景画像とを加重加算した画像を新たな背景画像として記憶部30に格納する等の処理により背景画像を生成又は更新する。背景画像更新部は、背景異常領域設定部22において設定された背景異常領域に基づいて部分的に背景画像を更新する。背景画像設定部24における処理については詳細に後述する。
The background
特徴量算出部26は、追跡処理部18において複数のフレームの入力画像に対して同一物体を撮像した領域として対応付けられた物体候補領域の「人らしさ」を示すパラメータである特徴量を算出する。ここでは、物体候補領域の移動距離、移動軌跡、連続出現回数等を算出する。ただし、これらに限定されるものではなく、物体候補領域の輝度平均値や輝度分散値等の画像特徴量、物体候補領域の面積,縦横比,重心位置等の幾何的な特徴量、背景画像との正規化相関値や差分平均値等の比較値を特徴量として算出してもよい。
The feature
具体的には、異なる時刻に撮像された入力画像について追跡処理部18で同一物体を撮像した領域として対応付けられた物体候補領域の間の距離に基づいて移動距離を求める。すなわち、同一の物体としてラベリングされた物体候補領域について記憶されている画像内の位置座標(重心座標)を記憶部から読み出して、この位置座標と、対応する現入力画像の物体候補領域の位置座標(重心座標)との間の実距離を物体の実距離移動量として算出する。
Specifically, the movement distance is obtained based on the distance between object candidate areas associated as areas where the same object is imaged by the
また、過去に得られた複数の入力画像について追跡処理部18で同一物体を撮像した領域として対応付けられた物体候補領域の重心座標の速度ベクトルの変化を移動軌跡として算出する。また、過去に得られた複数の入力画像について追跡処理部18で同一物体を撮像した領域として連続して判断された画像(フレーム)数を連続出現回数として算出する。
In addition, a change in the velocity vector of the barycentric coordinates of the object candidate region associated with the plurality of input images obtained in the past as the region where the same object is imaged by the
異常判定部28は、特徴量算出部26で算出された特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する移動体判定部として機能する。異常判定部28において侵入者による物体候補領域が少なくとも1つ存在すると判定された場合には出力部32へ異常信号が出力される。
The
具体的には、特徴量算出部26から物体候補領域の移動距離、移動軌跡、連続出現回数を受けて、これらの特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する。移動距離は、所定の閾値以上である場合には「人らしい」と判定することができる。また、移動軌跡は、直線又は滑らかな曲線を描く場合には「人らしい」と判定することができ、ジグザクに大きく変化する場合には「人以外の物体」と判定することができる。また、連続出現回数は、所定の閾値以上に連続している場合には「人らしい」と判定することができ、所定の閾値より小さく断続的である場合には「人以外の物体」と判定することができる。そこで、過去の複数の入力画像についての物体候補領域の移動距離が所定の閾値以上であり、連続出現回数が所定の閾値以上であり、移動軌跡が所定の閾値以上に滑らかであるという条件を満足する場合に監視空間に侵入者が存在すると判定する。
Specifically, the moving distance, moving trajectory, and number of consecutive appearances of the object candidate area are received from the feature
なお、侵入者の存在の有無を判定する処理はこれに限定されるものでなく、他の画像特徴量、幾何的な特徴量、背景画像との比較値等を所定の閾値と比較して判定してもよい。また、適宜複数の特徴量を組み合わせて、それらの判定結果の論理積又は論理和により判定してもよい。 Note that the process for determining the presence or absence of an intruder is not limited to this, and the determination is made by comparing other image feature values, geometric feature values, comparison values with the background image, etc. with a predetermined threshold value. May be. Alternatively, a plurality of feature amounts may be combined as appropriate, and the determination may be performed by logical product or logical sum of the determination results.
記憶部30は、画像センサ100の各処理に利用される情報、すなわち、入力画像、背景画像、各種の閾値、物体候補領域に関する情報、背景異常領域に関する情報を格納及び保持する。これらの情報は、画像センサ100の各部からの要求に応じて適宜読み出し及び更新される。記憶部30は、半導体メモリ、磁気ディスク装置、光ディスク装置等の記憶装置を含んで構成される。
The
出力部32は、異常判定部28から異常信号を受けると異常を外部へ知らせる手段として機能する。例えば、ブザー等により周囲に警告を発したり、監視センタに対して撮像画像やアラーム信号を送信したりする。
The
以下、図2のフローチャートを参照して、画像センサ100による侵入者検出処理について説明する。フローチャートの各処理は、コンピュータにおいて実行可能な制御プログラムとすることによって、画像センサ100を構成するコンピュータの各処理部で実行させることができる。
Hereinafter, the intruder detection process by the
ステップS10では、監視開始時に撮像部10により撮像された現在の入力画像(以下、現入力画像という)が画像入力I/F12を介して背景画像設定部24へ入力され、背景画像設定部24においてその入力画像が背景画像として初期設定される。ステップS12では、撮像部10により現入力画像が画像入力I/F12を介して変化領域抽出部14及び背景画像設定部24へ入力される。
In step S10, the current input image (hereinafter referred to as the current input image) captured by the
ステップS14では、変化領域抽出部14において現入力画像から変化領域が抽出される。ステップS14は図3に示すようにサブルーチン化されている。ステップS14−1では、現入力画像に含まれる各画素を特定するためのカウンタCが初期化される。ここでは、現入力画素に含まれる各画素はそれぞれ固有の番号が付与されておりカウンタCの値によって特定されるものとする。ステップS14−2では、カウンタCによって特定される画素が背景異常領域に設定されているか否かが判定される。変化領域抽出部14は、背景異常領域設定部22から設定情報を受けて、カウンタCによって特定される画素が背景異常領域に設定されているか否かを判定し、カウンタCによって特定される画素が背景異常領域に設定されている場合にはステップS14−3に処理を移行させ、背景異常領域に設定されていない場合にはステップS14−4に処理を移行させる。
In step S <b> 14, the change
ステップS14−3では、カウンタCで特定される画素について現入力画像とそれより前に得た過去の入力画像(直前又は所定数だけ前のフレームの入力画像)との間で対応する画素値同士の差分値が算出される。一方、ステップS14−4では、記憶部30に記憶されている背景画像が読み出され、カウンタCで特定される画素について入力画像と背景画像との間で対応する画素値同士の差分値が算出される。その後、処理はステップS14−5へ移される。ステップS14−5では、ステップS14−3又はステップS14−4で算出された差分値の絶対値が所定の二値化閾値以上である場合は画素値“1”を有する変化画素、所定の二値化閾値より小さい場合は画素値“0”を有する無変化画素とする2値化処理が行われる。
In step S14-3, pixel values corresponding to each other between a current input image and a past input image (an input image of a frame immediately before or a predetermined number before) obtained for the pixel specified by the counter C are obtained. The difference value is calculated. On the other hand, in step S14-4, the background image stored in the
ステップS14−6では、画像内の総ての画素について処理が終了したか否かが判定される。総ての画素について処理が終了していれば処理をメインルーチンのステップS16へ戻し、総ての画素について処理が終了していなければステップS14−7においてカウンタCを1増加させてステップS14−2から処理を繰り返す。 In step S14-6, it is determined whether or not processing has been completed for all pixels in the image. If the process has been completed for all pixels, the process returns to step S16 of the main routine. If the process has not been completed for all pixels, the counter C is incremented by 1 in step S14-7 and step S14-2 is performed. Repeat the process.
ステップS16では、ラベリング処理部16において上記のようにラベリング処理が行われる。ステップS18では、追跡処理部18において上記のように追跡処理が行われる。ここで、纏まった変化画素が特有のラベル番号を付された「物体候補領域」として設定される。以下、現入力画像に対する物体候補領域を現物体候補領域という。
In step S16, the
ステップS20では、背景異常領域検出部20において背景異常領域の検出処理が行われる。なお、本処理は、ステップS16において、物体候補領域として抽出された領域のうち背景差分処理により抽出された領域(背景差分領域)のみを対象とし、フレーム間差分処理によって抽出された領域(フレーム間差分領域)は対象としない。ステップS20は図4に示すようにサブルーチン化されている。ステップS20−1では、物体候補領域のラベル番号を特定するためのカウンタM、各物体候補領域の位置及び形状に関する記録情報、背景異常領域連続回数を示すカウンタK(M)が初期化される。ここでは、ステップS16において背景差分処理によって抽出された各物体候補領域に1から順にラベル番号が割り振られているものとし、カウンタMを1に初期設定する。また、過去に既に割り当てられていたラベル番号の物体候補領域に対する背景異常領域連続回数を示すカウンタK(M)はそのまま維持され、新たに割り付けられたラベル番号の物体候補領域に対する背景異常領域連続回数を示すカウンタK(M)を0に初期設定する。
In step S20, the background abnormal
ステップS20−2では、過去のラベリング処理において物体候補領域として抽出されていなかった新規の物体候補領域であるか否かが判定される。ステップS18の追跡処理におけるトラッキング処理で、物体候補領域の領域のサイズ、形状等の特徴量の類似度に基づいて過去に同一の物体を撮像した画像領域である物体候補領域が存在するとされた場合にはステップS20−3へ処理を移行させ、そうでない場合にはステップS20−13へ処理を移行させる。 In step S20-2, it is determined whether or not the object is a new object candidate area that has not been extracted as an object candidate area in the past labeling process. When it is determined in the tracking process in the tracking process in step S18 that there is an object candidate area that is an image area obtained by imaging the same object in the past based on the similarity of the feature amount such as the size and shape of the object candidate area. In step S20-3, the process proceeds to step S20-3. Otherwise, the process proceeds to step S20-13.
ステップS20−3では、背景異常領域候補が検出される。ステップS20−3の処理は、図5に示すフローチャートに沿って行われる。ここでは、追跡処理部18で検出された現物体候補領域と記憶部30に記憶されている直前(1フレーム前)の入力画像に対して得られた物体候補領域との形状、位置及び画像について比較し、形状、位置及び画像の内容の一致度により物体候補領域が背景が異常である背景異常領域の候補となるか否かを判定する。
In step S20-3, a background abnormal region candidate is detected. The process of step S20-3 is performed according to the flowchart shown in FIG. Here, the shape, position, and image of the current object candidate area detected by the
ステップS30−1では、物体候補領域の形状を求める。ラベル番号がカウンタMと一致する現物体候補領域に外接する矩形領域を求め、その矩形領域の幅W1及び高さH1を算出する。さらに、ステップS18における追跡処理によってその現物体候補領域に対応付けられる直前の入力画像における物体候補領域に外接する矩形領域を求め、その矩形領域の幅W2及び高さH2を算出する。これらの値は記憶部30に格納及び保持される。ステップS30−2では、2つの物体候補領域の形状が一致しているか否かを判定する。具体的には、2つの物体候補領域の幅W1とW2の差が予め定めた幅閾値以下であり、かつ、高さH1とH2の差が予め定めた高さ閾値以下である場合には形状が一致するものと判定してステップS30−3へ処理を移行させ、そうでない場合には形状が一致しないものと判定してステップS20−4へ処理を移行する。
In step S30-1, the shape of the object candidate area is obtained. A rectangular area circumscribing the current object candidate area whose label number matches the counter M is obtained, and the width W1 and height H1 of the rectangular area are calculated. Further, a rectangular area circumscribing the object candidate area in the immediately preceding input image associated with the current object candidate area is obtained by the tracking process in step S18, and the width W2 and height H2 of the rectangular area are calculated. These values are stored and held in the
なお、外接矩形の幅及び高さを用いずに、2値化領域の形状一致度を測るハウスドルフ距離を算出して、そのハウスドルフ距離が予め定められた閾値以下であれば形状が一致すると判定してもよい。 In addition, without using the width and height of the circumscribed rectangle, the Hausdorff distance for measuring the degree of coincidence of the binarized areas is calculated, and if the Hausdorff distance is equal to or less than a predetermined threshold, the shapes match. You may judge.
ステップS30−3では、物体候補領域の移動量を求める。ラベル番号がカウンタMと一致する現物体候補領域とそれに対応付けられる直前の入力画像に対する物体候補領域とが重なり合う領域の画素数を求める。そして、カウンタMで特定される現物体候補領域の全画素数に対する重なり合う領域の画素数の割合R1、及び、それに対応付けられた直前の入力画像における物体候補領域の全画素数に対する重なり合う領域の画素数の割合R2を算出する。ステップS30−4では、移動量に基づいて2つの物体候補領域の位置が一致しているか否かが判定される。割合R1が所定の第1割合閾値以上であり、かつ、割合R2が所定の第2割合閾値以上である場合には2つの物体候補領域の位置が一致しているものと判定してステップS30−5へ処理を移行させ、そうでない場合には位置が一致していないものと判定してステップS20−4へ処理を移行させる。 In step S30-3, the movement amount of the object candidate area is obtained. The number of pixels in a region where the current object candidate region whose label number matches the counter M and the object candidate region corresponding to the immediately preceding input image associated therewith is obtained. Then, the ratio R1 of the number of pixels of the overlapping area to the total number of pixels of the current object candidate area specified by the counter M, and the pixels of the overlapping area with respect to the total number of pixels of the object candidate area in the immediately preceding input image associated therewith The number ratio R2 is calculated. In step S30-4, it is determined whether or not the positions of the two object candidate regions match based on the movement amount. If the ratio R1 is equal to or greater than the predetermined first ratio threshold and the ratio R2 is equal to or greater than the predetermined second ratio threshold, it is determined that the positions of the two object candidate areas match, and step S30- If not, it is determined that the positions do not match, and the process proceeds to step S20-4.
なお、重畳領域の画素数の割合を用いずに、2つの物体候補領域の重心座標の距離が予め定められた閾値以下である場合には位置が一致すると判定してもよい。 In addition, without using the ratio of the number of pixels in the overlapping area, it may be determined that the positions match when the distance between the centroid coordinates of the two object candidate areas is equal to or less than a predetermined threshold.
ステップS30−5では、2つの物体候補領域の画像の一致度を判定するために輝度差を算出する。現入力画像におけるカウンタMで特定される現物体候補領域内の画素と直前の入力画像においてカウンタnで特定される物体候補領域内の画素のうち対応する画素の輝度差が所定の輝度閾値以上である画素の数を求める。そして、その画素数の現物体候補領域の全画素数に対する割合D1、及び、それに対応付けられた直前の入力画像の物体候補領域の全画素数に対する割合D2を算出する。ステップS30−6では、輝度差の割合D1,D2に基づいて2つの物体候補領域の画像の内容が一致しているか否かが判定される。割合D1が所定の第1輝度差閾値以上であり、かつ、割合D2が所定の第2輝度差閾値以上である場合には2つの物体候補領域の画像の内容に変化があるものと判定してステップS30−7へ処理を移行させ、そうでない場合には画像の内容に変化がないものと判定してステップS20−4へ処理を移行させる。 In step S30-5, a luminance difference is calculated to determine the degree of coincidence between the images of the two object candidate regions. The luminance difference between the pixel in the current object candidate area specified by the counter M in the current input image and the corresponding pixel in the object candidate area specified by the counter n in the immediately preceding input image is greater than or equal to a predetermined luminance threshold. Find the number of pixels. Then, a ratio D1 of the number of pixels with respect to the total number of pixels in the current object candidate area and a ratio D2 with respect to the total number of pixels of the object candidate area of the immediately preceding input image associated therewith are calculated. In step S30-6, it is determined based on the luminance difference ratios D1 and D2 whether the contents of the images of the two object candidate regions match. When the ratio D1 is equal to or greater than the predetermined first luminance difference threshold and the ratio D2 is equal to or greater than the predetermined second luminance difference threshold, it is determined that there is a change in the image contents of the two object candidate areas. The process proceeds to step S30-7. Otherwise, it is determined that there is no change in the content of the image, and the process proceeds to step S20-4.
なお、輝度差の割合を用いずに、2つの物体候補領域の相関が予め定められた閾値以下である場合には変動があると判定してもよい。また、2つの物体候補領域の平均二乗誤差が予め定められた閾値以上である場合には変動があると判定してもよい。 Note that without using the luminance difference ratio, it may be determined that there is a change when the correlation between the two object candidate regions is equal to or less than a predetermined threshold. Further, when the mean square error between the two object candidate areas is equal to or greater than a predetermined threshold, it may be determined that there is a change.
ステップS30−7では、カウンタMで特定される現物体候補領域を背景異常領域候補と判定する。その後、処理をステップS20−4へ移行させる。 In step S30-7, the current object candidate area specified by the counter M is determined as a background abnormal area candidate. Thereafter, the process proceeds to step S20-4.
ステップS20−4では、カウンタMで特定される現物体候補領域が背景異常領域候補とされたか否かを判定する。現物体候補領域が背景異常領域候補とされた場合にはステップS20−5へ処理を移行させ、そうでない場合にはステップS20−11へ処理を移行させる。ステップS20−5では、新たに設定された背景異常領域候補の位置及び形状を記憶部30に記憶させる。ステップS20−6では、カウンタMに対する背景異常領域連続回数のカウンタK(M)がインクリメントされる。ステップS20−7では、カウンタMに対する背景異常領域連続回数のカウンタK(M)が所定の連続回数閾値以上となったか否かが判定される。カウンタK(M)が所定の連続回数閾値以上であればステップS20−8へ処理を移行させ、そうでなければステップS20−13へ処理を移行させる。
In step S20-4, it is determined whether or not the current object candidate area specified by the counter M is a background abnormal area candidate. If the current object candidate area is a background abnormal area candidate, the process proceeds to step S20-5, and if not, the process proceeds to step S20-11. In step S20-5, the position and shape of the newly set background abnormal region candidate are stored in the
ステップS20−8では、過去に撮像された複数の入力画像に基づいて背景異常領域の判定処理が行われる。ステップS20−8の処理は、図6に示すフローチャートに沿って行われる。ここでは、過去N回(Nフレーム)の入力画像に亘ってカウンタMで特定される物体候補領域が背景異常領域候補として記憶された際の位置及び形状が不変であるか否かが判定される。すなわち、背景異常領域候補の抽出処理によって現物体候補領域と1つ前のフレームの物体候補領域との位置や形状の不変性は判定できるが、複数のフレーム間において微小な変化が蓄積されて、より長い時間としては物体候補領域の位置や形状が大きく変化している可能性がある。そこで、複数の入力画像を用いて長い時間での変化について判定する。ここで、Nの値はステップS20−7における連続回数閾値以下の値に設定される。 In step S20-8, background abnormal region determination processing is performed based on a plurality of input images captured in the past. The process of step S20-8 is performed according to the flowchart shown in FIG. Here, it is determined whether or not the position and shape when the object candidate area specified by the counter M is stored as a background abnormal area candidate over the past N times (N frames) of input images are unchanged. . That is, the invariance of the position and shape of the current object candidate area and the object candidate area of the previous frame can be determined by the background abnormal area candidate extraction process, but minute changes are accumulated between a plurality of frames. For a longer time, there is a possibility that the position and shape of the object candidate region have changed greatly. Therefore, a change over a long time is determined using a plurality of input images. Here, the value of N is set to a value equal to or less than the continuous number threshold in step S20-7.
ステップS32−1では、過去N回の入力画像において背景異常領域候補とされたカウンタMで特定される物体候補領域の外接矩形の位置、幅及び高さを記憶部30から読み出す。それらの外接矩形領域の論理和を算出することによって、過去N回においてそれらの背景異常領域候補が画像内で掃過した領域(掃過領域W1)を求める。また、過去N回における背景異常領域候補の外接矩形領域の幅及び高さの平均値を算出することによって平均外接矩形領域W2を求める。ステップS32−2では、掃過領域W1と平均外接矩形領域W2とが一致するか否かを判定する。掃過領域W1と平均外接矩形領域W2との幅の差が所定の閾値以下であり、かつ、高さの差が所定の閾値以下である場合にはステップS32−3へ処理を移行させ、そうでない場合にはステップS20−9へ処理を移行させる。ステップS32−3では、背景異常領域候補とされているカウンタMで特定される現物体候補領域を背景異常領域として設定し、処理をステップS20−9へ移行させる。
In step S <b> 32-1, the position, width, and height of the circumscribed rectangle of the object candidate area specified by the counter M determined as the background abnormal area candidate in the past N input images are read from the
また、過去の複数の入力画像毎に背景異常領域候補の検出処理を行わず、総ての入力画像における物体候補領域の位置、形状及び画像を記憶部30に記憶させておき、これらの情報に基づいて複数の入力画像を用いて背景異常領域であるか否かを判定することも可能である。
In addition, the background abnormal region candidate detection process is not performed for each of a plurality of past input images, and the position, shape, and image of the object candidate region in all the input images are stored in the
ステップS20−9では、ステップS20−8において背景異常領域候補が背景異常領域として設定されたか否かが判定される。背景異常領域に設定された場合にはステップS20−10へ処理を移行させ、そうでない場合にはステップS20−11へ処理を移行させる。ステップS20−10では、背景異常領域として設定された現物体候補領域の位置及び形状を記憶部30に記憶させる。なお、処理を簡単にするために、背景異常領域として設定された現物体候補領域の外接矩形を新たに背景異常領域とし、その位置及び形状を記憶部30に記憶させてもよい。
In step S20-9, it is determined whether or not the background abnormal region candidate is set as the background abnormal region in step S20-8. If the background abnormal region is set, the process proceeds to step S20-10, and if not, the process proceeds to step S20-11. In step S20-10, the
ステップS20−11では、カウンタMで特定される物体候補領域は背景異常領域ではなく、侵入者の可能性がある有意な物体を撮像した有意物体候補領域として設定する。ステップS20−12では、有意物体候補領域とされたカウンタMで特定される物体候補領域の位置及び形状の記録情報を消去し、さらに背景異常領域候補連続回数K(M)を0に初期化する。ステップS20−13では、他の物体候補領域が存在するか否かが判定される。まだ処理が済んでいない他の物体候補が存在する場合には、ステップS20−14においてカウンタMをインクリメントしてステップS20−2から処理を繰り返し、そうでない場合には、ステップS22へ処理を移行させる。 In step S20-11, the object candidate area specified by the counter M is set not as a background abnormal area but as a significant object candidate area obtained by imaging a significant object that may be an intruder. In step S20-12, the record information of the position and shape of the object candidate area specified by the counter M determined as a significant object candidate area is deleted, and the background abnormal area candidate continuous count K (M) is initialized to zero. . In step S20-13, it is determined whether there is another object candidate region. If there is another object candidate that has not been processed yet, the counter M is incremented in step S20-14, and the process is repeated from step S20-2. If not, the process proceeds to step S22. .
ステップS22では、ステップS20における背景異常領域の検出処理結果に応じて背景画像設定部24において背景画像の更新処理が行われる。ステップS22は図7に示すようにサブルーチン化されている。ステップS22−1では、強制全画面更新条件を満たすか否かが判断される。強制全画面更新条件とは、背景差分処理による変化画素数の全画素数に対する割合が所定の閾値以上になった場合に成り立つ条件とする。このような条件が満たされる場合、監視空間の急激な照明の変動等が起こったものと考えられるので、背景画像の全画面を最新の入力画像に更新することが好ましい。強制全画面更新条件が満たされる場合には、ステップS22−2では記憶部30に保持されている背景画像を現在の入力画像で更新して処理をステップS24へ移行させる。強制全画面更新条件が満たされない場合には、ステップS22−3へ処理を移行させる。
In step S22, a background image update process is performed in the background
ステップS22−3では、背景差分による変化領域が存在するか否かが判定される。ステップS14の背景差分処理において背景差分領域が抽出された場合にはステップS22−5へ処理を移行させ、そうでなかった場合にはステップS22−4において背景画像の全画素を更新する。ステップS22−4における背景画像の全画素の更新処理は、現在の背景画像と現入力画像の画素の輝度値にそれぞれ重み付けをして対応する画素同士の輝度値を足し合わせる処理とすることが好適である。例えば、現在の背景画像の画素の輝度値に0.8を掛け、現入力画像の画素の輝度値に0.2を掛け、対応する画素の輝度値を足し合わせて新たな背景画像を算出する。なお、背景画像を現在の入力画像で更新するものとしてもよい。ステップS22−4の更新処理後、処理をステップS24へ移行させる。ステップS22−5では、変化領域以外の画素の更新処理を行う。記憶部30からステップS14において抽出された変化領域の位置及び形状の情報を読み出し、その変化領域を除く領域に相当する現在の背景画像と入力画像の画素の輝度値にそれぞれ重み付けをして対応する画素同士の輝度値を足し合わせる処理とすることが好適である。例えば、現在の背景画像の画素の輝度値に0.8を掛け、現入力画像の画素の輝度値に0.2を掛け、対応する画素の輝度値を足し合わせて新たな背景画像を算出する。なお、背景画像を現在の入力画像で更新するものとしてもよい。ステップS22−5の更新処理後、処理をステップS22−6へ移行させる。
In step S22-3, it is determined whether or not there is a change area due to the background difference. If a background difference area is extracted in the background difference process in step S14, the process proceeds to step S22-5. If not, all the pixels of the background image are updated in step S22-4. It is preferable that the update process of all the pixels of the background image in step S22-4 is a process in which the luminance values of the pixels of the current background image and the current input image are respectively weighted and the luminance values of the corresponding pixels are added. It is. For example, the luminance value of the pixel of the current background image is multiplied by 0.8, the luminance value of the pixel of the current input image is multiplied by 0.2, and the luminance value of the corresponding pixel is added to calculate a new background image. . The background image may be updated with the current input image. After the update process in step S22-4, the process proceeds to step S24. In step S22-5, a pixel other than the change region is updated. The information on the position and shape of the change area extracted in step S14 is read from the
ステップS22−6では、ステップS20において背景異常領域が設定されたか否かが判定される。背景異常領域が設定されている場合にはステップS22−7へ処理を移行させ、そうでない場合にはステップS24へ処理を移行させる。ステップS22−7では、フレーム間差分領域及び背景異常領域に基づいて背景画像の更新処理を行う。ここでの更新処理は、背景画像における背景異常領域からフレーム間差分領域を除いた領域に相当する画素のみについて行われる。記憶部30からステップS20において抽出された背景異常領域及びステップS14において抽出されたフレーム間の変化領域の位置及び形状の情報を読み出し、背景異常領域内でフレーム間の変化領域でない領域に相当する現在の背景画像の画素の輝度値を入力画像の画素の輝度値で更新する。これによって、背景画像内の異常な領域のみを現在の入力画像の領域と入れ替えて正常化させることができる。なお、フレーム間差分領域の外接矩形を算出し、背景画像における背景異常領域から該外接矩形を除いた領域の画素を更新対象とすることで処理量を削除してもよい。ステップS22−7の更新処理後、処理をステップS24へ移行させる。
In step S22-6, it is determined whether or not a background abnormal region has been set in step S20. If the background abnormal area is set, the process proceeds to step S22-7, and if not, the process proceeds to step S24. In step S22-7, a background image update process is performed based on the inter-frame difference area and the background abnormal area. The updating process here is performed only for pixels corresponding to the area obtained by removing the inter-frame difference area from the background abnormal area in the background image. Information on the position and shape of the background abnormal region extracted in step S20 and the change region between frames extracted in step S14 is read from the
ステップS24では、特徴量算出部26において特徴量が算出される。上記のように、追跡処理部18において複数フレーム間で対応付けられた物体候補領域の「人らしさ」を示すパラメータである特徴量が算出される。例えば、物体候補領域の移動距離、移動軌跡、連続出現回数等である。
In step S24, the feature
ステップS26では、異常判定部28において侵入者の検出処理が行われ、監視空間に侵入者が存在するか否かが判定される。具体的には、特徴量算出部26から物体候補領域の移動距離、移動軌跡、連続出現回数を受けて、これらの特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する。過去の複数の入力画像についての物体候補領域の移動距離が所定の閾値以上であり、連続出現回数が所定の閾値以上であり、移動軌跡が所定の閾値以上に滑らかであるという条件を満足する場合に監視空間に侵入者が存在すると判定する。侵入者が存在した場合にはステップS28へ処理を移行させ、そうでない場合にはステップS12から処理を繰り返す。
In step S26, intruder detection processing is performed in the
ステップS28では、監視空間の異常を示す異常出力処理を行う。異常判定部28は出力部32へ異常を示す異常信号を出力する。これによって、ブザー等により周囲に警告が発せられたり、監視センタに対して撮像画像やアラーム信号が送信されたりする。
In step S28, an abnormality output process indicating an abnormality in the monitoring space is performed. The
以上のように、本実施の形態によれば、移動物体による画像領域を含む異常な背景画像を検出することができ、移動物体による画像領域を含む異常な背景画像を自動的に正常化させることができる。したがって、侵入者等の移動物体の検出の感度及び確度を向上させることができる。 As described above, according to the present embodiment, it is possible to detect an abnormal background image including an image area due to a moving object, and to automatically normalize the abnormal background image including an image area due to the moving object. Can do. Therefore, the sensitivity and accuracy of detecting a moving object such as an intruder can be improved.
以下、図8を参照して実施例について説明する。図8は、上からセンシング開始時、時刻1〜5における入力画像、背景画像、変化領域抽出部14で抽出される抽出画像、背景異常領域、背景異常領域の検出結果及び異常判定結果を示している。また、監視空間において侵入者は撮像部10から近い領域から遠い領域に移動しており、センシング開始時、時刻1〜5における入力画像にはその侵入者が撮像されている。
Hereinafter, an embodiment will be described with reference to FIG. FIG. 8 shows the input image, the background image, the extracted image extracted by the change
時刻1〜3に得られる入力画像では、侵入者の画像(ハッチングで示す)はセンシング開始時に得られた背景画像に含まれる侵入者の画像と完全に重なっている。したがって、抽出画像における変化領域(ハッチングで示す)は背景画像に含まれる侵入者の画像と一致するものとなる。ここで、背景異常領域の抽出のための背景異常領域候補連続回数の閾値が3に設定されているものとすると、時刻3において抽出画像に含まれる変化領域は背景異常領域として設定される。 In the input images obtained at times 1 to 3, the intruder image (indicated by hatching) completely overlaps the intruder image included in the background image obtained at the start of sensing. Therefore, the change area (indicated by hatching) in the extracted image matches the intruder image included in the background image. Here, assuming that the threshold of the number of consecutive background abnormal region candidates for extracting the background abnormal region is set to 3, the change region included in the extracted image at time 3 is set as the background abnormal region.
時刻4及び5における抽出画像の生成処理においては、時刻3において背景異常領域に設定された領域(ハッチングされた領域)ではフレーム間差分処理が実行され、その他の領域では背景差分処理が行われる。その結果、時刻4及び5においては、入力画像における侵入者の画像が背景画像における侵入者の画像と完全に重なっているにも関わらず、時刻1〜3における抽出画像における変化領域と異なる変化領域が抽出される。また、時刻5においては、背景画像内の侵入者の画像領域における時刻4における抽出画像の変化領域の外接矩形領域以外の領域が時刻4における入力画像と置き換えられる。 In the extraction image generation processing at times 4 and 5, inter-frame difference processing is executed in the region set as the background abnormal region (hatched region) at time 3, and background difference processing is performed in the other regions. As a result, at times 4 and 5, the change area different from the change area in the extracted images at times 1 to 3 even though the intruder image in the input image completely overlaps the intruder image in the background image. Is extracted. At time 5, the area other than the circumscribed rectangular area of the extracted image change area at time 4 in the image area of the intruder in the background image is replaced with the input image at time 4.
以上のような処理が行われることによって、時刻5では、時刻4の抽出画像における変化領域と時刻5の抽出領域における変化領域との特徴量の差に基づいて異常が検出され、異常判定の警報が発報される。 By performing the processing as described above, at time 5, an abnormality is detected based on the difference in feature amount between the change area in the extracted image at time 4 and the change area in the extraction area at time 5, and an alarm for abnormality determination is detected. Will be issued.
なお、上記の実施形態においては、画像センサ100は背景異常領域を検出すると背景異常領域内においてフレーム間差分処理を行い、また、背景画像を正常化するための更新処理を行うものとしたが、フレーム間差分処理や更新処理を行わずに背景異常領域が検出された時点で出力部32により外部へ異常を出力する構成としてもよい。このような構成にすると侵入者を検知する精度を維持したまま処理量を低減することができる。
In the above embodiment, when the
すなわち、背景異常領域検出部20から出力部32への背景異常領域を検出した旨を通知する構成とし、変化領域抽出部14の処理(図3)においてステップS14−2,S14−3を省略してS14−1及びS14−7からS14−4へ移行するものとし、背景異常領域検出部20の処理(図4)においてS20−9とS20−10の間に出力部32へ通知処理を付加し、背景画像設定部24の処理(図7)においてS22−6及びS22−7を省略する。
In other words, the background abnormal
10 撮像部、14 変化領域抽出部、16 ラベリング処理部、18 追跡処理部、20 背景異常領域検出部、22 背景異常領域設定部、24 背景画像設定部、26 特徴量算出部、28 異常判定部、30 記憶部、32 出力部、100 画像センサ。
DESCRIPTION OF
Claims (4)
所定時刻より前に取得した監視画像に基づいて背景画像を生成する背景画像生成部と、
前記所定時刻後に複数取得した監視画像と前記背景画像との差分処理により背景差分領域を抽出する背景差分領域抽出部と、
前記複数の監視画像における背景差分領域を比較して、前記背景画像に移動物体による異常領域が含まれているか否かを判定する背景異常領域検出部と、
を備えることを特徴とする画像センサ。 An image sensor that sequentially acquires a monitoring image obtained by imaging a monitoring space and detects a moving object existing in the monitoring space based on a change area extracted by a difference process between monitoring images having different acquisition times.
A background image generation unit that generates a background image based on a monitoring image acquired before a predetermined time;
A background difference area extraction unit that extracts a background difference area by a difference process between a plurality of monitoring images acquired after the predetermined time and the background image;
A background abnormal region detection unit that compares background difference regions in the plurality of monitoring images and determines whether or not the background image includes an abnormal region due to a moving object;
An image sensor comprising:
前記異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって前記変化領域を抽出し、前記異常領域外においては前記背景差分領域を前記変化領域として抽出することを特徴とする画像センサ。 The image sensor according to claim 1.
The change area is extracted by difference processing between monitoring images captured at different times in the abnormal area, and the background difference area is extracted as the change area outside the abnormal area. .
前記背景異常領域検出部は、前記複数の監視画像における背景差分領域の位置及び形状、並びに、前記複数の監視画像の互いに対応する画素の画素値を背景差分領域内において比較して、前記位置及び前記形状が略一致し、かつ、前記画素値が所定値以上に変動している場合に前記背景画像に移動物体による異常領域が含まれていると判定することを特徴とする画像センサ。 The image sensor according to claim 1 or 2,
The background abnormal area detection unit compares the position and shape of a background difference area in the plurality of monitoring images and pixel values of pixels corresponding to each other in the plurality of monitoring images in the background difference area, and An image sensor characterized by determining that an abnormal region due to a moving object is included in the background image when the shapes substantially match and the pixel value fluctuates to a predetermined value or more.
前記複数の監視画像間の差分領域を前記背景画像に含まれる異常領域から除外した領域を新たに取得した監視画像により更新して新たな背景画像を生成する背景画像更新部を備えることを特徴とする画像センサ。
In the image sensor as described in any one of Claims 1-3,
A background image update unit that generates a new background image by updating a region obtained by removing a difference region between the plurality of monitoring images from an abnormal region included in the background image with a newly acquired monitoring image, An image sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005377350A JP4832894B2 (en) | 2005-12-28 | 2005-12-28 | Image sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005377350A JP4832894B2 (en) | 2005-12-28 | 2005-12-28 | Image sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007180933A true JP2007180933A (en) | 2007-07-12 |
JP4832894B2 JP4832894B2 (en) | 2011-12-07 |
Family
ID=38305635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005377350A Active JP4832894B2 (en) | 2005-12-28 | 2005-12-28 | Image sensor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4832894B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2014323A1 (en) | 2007-07-10 | 2009-01-14 | Nipro Corporation | Cartridge liquid injector |
JP2009026223A (en) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | Object detector and program |
JP2011033455A (en) * | 2009-07-31 | 2011-02-17 | Olympus Corp | Image processing apparatus and program |
JP2011193117A (en) * | 2010-03-12 | 2011-09-29 | Casio Computer Co Ltd | Image processing apparatus, and program |
JP2012208094A (en) * | 2011-03-30 | 2012-10-25 | Canon Inc | Object detection device, object detection method, and program |
US8675950B2 (en) | 2009-07-31 | 2014-03-18 | Olympus Corporation | Image processing apparatus and image processing method |
US8791998B2 (en) | 2009-07-31 | 2014-07-29 | Olympus Corporation | Image processing apparatus and method for displaying images |
JP2014197353A (en) * | 2013-03-29 | 2014-10-16 | 株式会社メガチップス | Image detection device, control program and image detection method |
US8965103B2 (en) | 2009-07-16 | 2015-02-24 | Olympus Corporation | Image processing apparatus and image processing method |
JP2015136054A (en) * | 2014-01-17 | 2015-07-27 | オリンパス株式会社 | Image synthesizing apparatus, image synthesizing method, and program |
WO2015159585A1 (en) * | 2014-04-16 | 2015-10-22 | ソニー株式会社 | Image-processing device, imaging device, image-processing method, and program |
JP2021086392A (en) * | 2019-11-27 | 2021-06-03 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
WO2022153599A1 (en) * | 2021-01-18 | 2022-07-21 | オムロン株式会社 | Information processing device and information processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0779429A (en) * | 1993-09-08 | 1995-03-20 | Toshiba Corp | Picture monitor equipment |
JPH11127430A (en) * | 1997-10-24 | 1999-05-11 | Hitachi Denshi Ltd | Object recognizing method by image processing |
-
2005
- 2005-12-28 JP JP2005377350A patent/JP4832894B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0779429A (en) * | 1993-09-08 | 1995-03-20 | Toshiba Corp | Picture monitor equipment |
JPH11127430A (en) * | 1997-10-24 | 1999-05-11 | Hitachi Denshi Ltd | Object recognizing method by image processing |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2014323A1 (en) | 2007-07-10 | 2009-01-14 | Nipro Corporation | Cartridge liquid injector |
JP2009026223A (en) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | Object detector and program |
US8965103B2 (en) | 2009-07-16 | 2015-02-24 | Olympus Corporation | Image processing apparatus and image processing method |
US8791998B2 (en) | 2009-07-31 | 2014-07-29 | Olympus Corporation | Image processing apparatus and method for displaying images |
JP2011033455A (en) * | 2009-07-31 | 2011-02-17 | Olympus Corp | Image processing apparatus and program |
US8675950B2 (en) | 2009-07-31 | 2014-03-18 | Olympus Corporation | Image processing apparatus and image processing method |
JP2011193117A (en) * | 2010-03-12 | 2011-09-29 | Casio Computer Co Ltd | Image processing apparatus, and program |
JP2012208094A (en) * | 2011-03-30 | 2012-10-25 | Canon Inc | Object detection device, object detection method, and program |
JP2014197353A (en) * | 2013-03-29 | 2014-10-16 | 株式会社メガチップス | Image detection device, control program and image detection method |
JP2015136054A (en) * | 2014-01-17 | 2015-07-27 | オリンパス株式会社 | Image synthesizing apparatus, image synthesizing method, and program |
WO2015159585A1 (en) * | 2014-04-16 | 2015-10-22 | ソニー株式会社 | Image-processing device, imaging device, image-processing method, and program |
JP2021086392A (en) * | 2019-11-27 | 2021-06-03 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP7433864B2 (en) | 2019-11-27 | 2024-02-20 | キヤノン株式会社 | Image processing device, image processing method, and program |
WO2022153599A1 (en) * | 2021-01-18 | 2022-07-21 | オムロン株式会社 | Information processing device and information processing method |
JP7509044B2 (en) | 2021-01-18 | 2024-07-02 | オムロン株式会社 | Information processing device and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4832894B2 (en) | 2011-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4832894B2 (en) | Image sensor | |
JP5218168B2 (en) | Imaging device, moving object detection method, moving object detection circuit, program, and monitoring system | |
JP3123587B2 (en) | Moving object region extraction method using background subtraction | |
JP4884331B2 (en) | Moving object tracking device | |
JP5106356B2 (en) | Image monitoring device | |
JP2008192131A (en) | System and method for performing feature level segmentation | |
JP5832910B2 (en) | Image monitoring device | |
KR101712136B1 (en) | Method and apparatus for detecting a fainting situation of an object by using thermal image camera | |
JP2010160743A (en) | Apparatus and method for detecting object | |
JP4740755B2 (en) | Monitoring device using images | |
JP4990030B2 (en) | Moving object detection device | |
KR101827113B1 (en) | Apparatus and method for detecting proximal entity in pen | |
JP3721071B2 (en) | Intruder detection system | |
JP5950628B2 (en) | Object detection apparatus, object detection method, and program | |
JP5758165B2 (en) | Article detection device and stationary person detection device | |
JP5805511B2 (en) | Image monitoring device | |
JP3965003B2 (en) | Image recognition device and monitoring device | |
JP2002150295A (en) | Object detection method and object detection device | |
JP4828265B2 (en) | Image sensor | |
JPH06274625A (en) | Moving object tracking method for monitor image | |
JP4925942B2 (en) | Image sensor | |
KR101827114B1 (en) | Apparatus and method for detecting proximal entity in pen | |
JP7290961B2 (en) | Image processing device and image processing program | |
JP2011039584A (en) | Unclaimed object detecting device | |
JP6133700B2 (en) | Image sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4832894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |