JP2007180933A - Image sensor - Google Patents

Image sensor Download PDF

Info

Publication number
JP2007180933A
JP2007180933A JP2005377350A JP2005377350A JP2007180933A JP 2007180933 A JP2007180933 A JP 2007180933A JP 2005377350 A JP2005377350 A JP 2005377350A JP 2005377350 A JP2005377350 A JP 2005377350A JP 2007180933 A JP2007180933 A JP 2007180933A
Authority
JP
Japan
Prior art keywords
image
background
area
abnormal
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005377350A
Other languages
Japanese (ja)
Other versions
JP4832894B2 (en
Inventor
Takaharu Kurokawa
高晴 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2005377350A priority Critical patent/JP4832894B2/en
Publication of JP2007180933A publication Critical patent/JP2007180933A/en
Application granted granted Critical
Publication of JP4832894B2 publication Critical patent/JP4832894B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image sensor capable of detecting an abnormal background image including an image area by a mobile object. <P>SOLUTION: The image sensor is provided with a background image setting part 24 which includes a background image generating part generating a background image on the basis of a monitored image acquired previously to a prescribed time, a change area extracting part 14 which includes a background difference extracting part for extracting a background difference area by difference processing between a plurality of monitored images acquired after the prescribed time and the background image, and a background abnormal area detecting part 20 for comparing the image of the obtained background difference area with the plurality of monitored images to determine whether an abnormal area caused by the mobile object is included in the background image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、監視空間を撮像した画像を用いて侵入者を検出することを目的とした画像センサに関する。   The present invention relates to an image sensor intended to detect an intruder using an image obtained by imaging a monitoring space.

監視空間を撮像するカメラ等の撮像装置を用いて撮像して得た画像情報に背景差分処理等を施して、監視空間への移動体の侵入を検出する画像センサが提案されている。背景差分処理は、監視を開始した直後に得た侵入者が存在しない監視空間を撮像した画像を背景画像として記憶しておき、新たに監視空間を撮像した入力画像と背景画像とにおける対応する画素の差が所定値以上である画素の集合を侵入者等の物体による変化によって生じた変化領域として抽出する。   There has been proposed an image sensor that performs background difference processing or the like on image information obtained by imaging using an imaging device such as a camera that images a monitoring space, and detects the intrusion of a moving object into the monitoring space. The background difference process stores, as a background image, an image obtained by capturing a monitoring space without an intruder obtained immediately after monitoring is started, and corresponding pixels in the input image and the background image newly capturing the monitoring space. A set of pixels whose difference is equal to or greater than a predetermined value is extracted as a change region caused by a change caused by an intruder or other object.

特許文献1には、背景差分処理により監視空間に侵入した侵入者等の移動物体を検出する技術が開示されている。監視を開始する際に背景画像を初期化すると共に、変化領域がほとんど抽出されない場合や監視時の入力画像の大部分が変化領域として抽出された場合に背景画像を入力画像にて更新することにより監視空間の照明状況の変化に対応させている。また、順次撮像された入力画像を背景差分処理し、これによって抽出された変化領域を移動物体の候補とし、それらの変化領域とさらに前に撮像された入力画像に対する背景差分処理により抽出された変化領域との位置を比較して、対応し合う変化領域の位置に変動が見られた場合には移動物体であると判定する。   Patent Document 1 discloses a technique for detecting a moving object such as an intruder who has entered a monitoring space by background difference processing. By initializing the background image at the start of monitoring and updating the background image with the input image when the change area is hardly extracted or when the majority of the input image at the time of monitoring is extracted as the change area Corresponds to changes in the lighting conditions in the surveillance space. In addition, the input image captured sequentially is subjected to background difference processing, and the change areas extracted thereby are set as candidates for moving objects, and the change extracted by background difference processing for those change areas and the input image captured further before. If the position of the corresponding change area is changed, it is determined that the object is a moving object.

特開2001−008189号公報JP 2001-008189 A

しかしながら、上記従来技術のように、背景画像を入力画像により初期化又は更新すると監視空間に移動物体が存在しているときに撮像された画像が背景画像となってしまうおそれがある。このような背景画像を用いて背景差分処理を行うと移動物体を検出し損ねる可能性がある。   However, when the background image is initialized or updated with the input image as in the above-described prior art, an image captured when a moving object is present in the monitoring space may become a background image. If background difference processing is performed using such a background image, there is a possibility that a moving object will not be detected.

例えば、図9(a)に示すように、時刻t0に監視を開始する際に撮像された入力画像を背景画像P10として、この時点で監視空間に侵入者が既に存在しており、入力画像に侵入者による画像領域A0が含まれていた場合について説明する。その後、時刻t1には侵入者がカメラから遠ざかる方向に移動していた場合、図9(b)に示すように、時刻t1に新たに監視空間を撮像した入力画像P11には背景画像P10における侵入者の画像領域A0に対応する領域A1に内包されるように侵入者による画像領域B1が含まれる。このような場合、入力画像P11と背景画像P10との背景差分処理を行うと、図9(c)に示すように、画像領域B1を内包する画像領域A0が変化領域C1として抽出される。さらに、時刻t2には侵入者がカメラからさらに遠ざかる方向に移動していた場合、図9(d)に示すように、時刻t2に新たに監視空間を撮像した入力画像P12には背景画像P10における侵入者の画像領域A0に対応する領域A1に内包されるように侵入者による画像領域B2が含まれる。このような場合、入力画像P12と背景画像P10との背景差分処理を行うと、図9(e)に示すように、画像領域B2を内包する画像領域A0が変化領域C2として抽出される。   For example, as shown in FIG. 9A, an input image captured when monitoring is started at time t0 is set as a background image P10. At this time, an intruder already exists in the monitoring space, and the input image The case where the image area A0 by the intruder is included will be described. After that, if the intruder has moved away from the camera at time t1, as shown in FIG. 9B, the input image P11 that newly captures the monitoring space at time t1 is intruded in the background image P10. An image area B1 by an intruder is included so as to be included in an area A1 corresponding to the person's image area A0. In such a case, when background difference processing is performed between the input image P11 and the background image P10, an image area A0 including the image area B1 is extracted as a change area C1 as shown in FIG. 9C. Furthermore, when the intruder is moving further away from the camera at time t2, as shown in FIG. 9D, the input image P12 that newly captures the monitoring space at time t2 is displayed in the background image P10. The image area B2 by the intruder is included so as to be included in the area A1 corresponding to the image area A0 of the intruder. In such a case, when background difference processing is performed between the input image P12 and the background image P10, as shown in FIG. 9E, an image area A0 that includes the image area B2 is extracted as the change area C2.

このとき、位置や形状の変化検出を緩やかにしていると、時刻t1における変化領域C1と時刻t2における変化領域C2との画像内での位置や形状の変化はないと判断し、移動物体による変化領域であるとみなせず、侵入者を検出することができない場合もある。   At this time, if the change detection of the position or shape is made gentle, it is determined that there is no change in the position or shape in the image of the change area C1 at time t1 and the change area C2 at time t2, and the change due to the moving object In some cases, an intruder cannot be detected because it is not considered as a region.

また、監視空間にトラック等の大きな移動物体が侵入し、入力画像の大部分が変化領域として抽出された場合、この入力画像によって背景画像が更新されると異常な背景画像となり同様の問題が生ずる可能性がある。   In addition, when a large moving object such as a track enters the surveillance space and most of the input image is extracted as a change area, if the background image is updated by this input image, an abnormal background image is obtained and the same problem occurs. there is a possibility.

一方、背景画像を更新しない場合には、監視空間の照明環境の変化による影響を避けることができず、侵入者の検出の感度及び精度が低下するおそれがある。   On the other hand, when the background image is not updated, the influence due to the change in the illumination environment of the monitoring space cannot be avoided, and the sensitivity and accuracy of intruder detection may be reduced.

また、上記従来技術では、変化領域がほとんど抽出されない場合に背景画像を更新する。しかしながら、上記のように異常な背景画像が得られた場合、背景差分処理によって変化領域が抽出され続けることになるので背景画像は更新されず、背景画像を正常に戻すためには人為的に初期化を行う必要がある。   Further, in the above conventional technique, the background image is updated when the changed region is hardly extracted. However, when an abnormal background image is obtained as described above, the background image is not updated because the changed area is continuously extracted by the background difference process, and it is artificially initial to restore the background image to normal. Need to be done.

本発明は、上記従来技術の問題を鑑み、上記課題の少なくとも1つを解決することができる画像センサを提供することを目的とする。   An object of the present invention is to provide an image sensor that can solve at least one of the above-described problems in view of the above-described problems of the related art.

本発明は、監視空間を撮像した監視画像を順次取得して、互いに取得時刻が異なる監視画像間の差分処理により抽出された変化領域に基づいて監視空間に存在する移動物体を検出する画像センサであって、所定時刻より前に取得した監視画像に基づいて背景画像を生成する背景画像生成部と、前記所定時刻後に複数取得した監視画像と前記背景画像との差分処理により背景差分領域を抽出する背景差分領域抽出部と、前記複数の監視画像における背景差分領域を比較して、前記背景画像に移動物体による異常領域が含まれているか否かを判定する背景異常領域検出部と、を備えることを特徴とする。   The present invention is an image sensor that sequentially acquires a monitoring image obtained by imaging a monitoring space and detects a moving object existing in the monitoring space based on a change area extracted by a difference process between monitoring images having different acquisition times. A background image generation unit that generates a background image based on a monitoring image acquired before a predetermined time, and a background difference region is extracted by a difference process between the monitoring image acquired multiple times after the predetermined time and the background image. A background difference region extraction unit; and a background abnormal region detection unit that compares background difference regions in the plurality of monitoring images and determines whether or not the background image includes an abnormal region due to a moving object. It is characterized by.

ここで、前記異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって前記変化領域を抽出し、前記異常領域外においては前記背景差分領域を前記変化領域として抽出することが好適である。このような処理を行って前記変化領域を抽出することによって前記背景画像内に移動物体による異常領域が存在する場合においても移動物体を検出することが可能となる。   Here, it is preferable that the change area is extracted by a difference process between monitoring images captured at different times in the abnormal area, and the background difference area is extracted as the change area outside the abnormal area. is there. By performing such processing and extracting the change region, it is possible to detect a moving object even when an abnormal region due to the moving object exists in the background image.

また、前記背景異常領域検出部は、前記複数の監視画像における背景差分領域の位置及び形状、並びに、前記複数の監視画像の互いに対応する画素の画素値を背景差分領域内において比較して、前記位置及び前記形状が略一致し、かつ、前記画素値が所定値以上に変動している場合に前記背景画像に移動物体による異常領域が含まれていると判定することが好適である。このような判定処理を行うことによって、前記背景画像内に含まれる移動物体による異常領域を適確に抽出することができる。   Further, the background abnormal area detection unit compares the position and shape of the background difference area in the plurality of monitoring images, and pixel values of pixels corresponding to each other in the plurality of monitoring images in the background difference area, and It is preferable to determine that the background image includes an abnormal region due to a moving object when the position and the shape substantially match and the pixel value fluctuates to a predetermined value or more. By performing such a determination process, it is possible to accurately extract an abnormal region due to a moving object included in the background image.

また、前記複数の監視画像間の差分領域を前記背景画像に含まれる異常領域から除外した領域を新たに取得した監視画像により更新して新たな背景画像を生成する背景画像更新部を備えることが好適である。このように背景画像を更新することによって、背景画像に含まれる異常領域内の画像を移動物体による画像ではない正常な画像に更新することができる。これによって、移動物体を適確に検出できる確率を高めることができる。   The image processing apparatus may further include a background image update unit configured to update a difference area between the plurality of monitoring images from an abnormal area included in the background image with a newly acquired monitoring image to generate a new background image. Is preferred. By updating the background image in this way, the image in the abnormal region included in the background image can be updated to a normal image that is not an image of a moving object. This can increase the probability that a moving object can be detected accurately.

本発明によれば、移動物体による画像領域を含む異常な背景画像を検出することができる。これにより、移動物体による画像領域を含む異常な背景画像を自動的に正常化させ、移動物体を検出することを可能とする。したがって、侵入者等の移動物体の検出の感度及び確度を向上させることができる。   According to the present invention, it is possible to detect an abnormal background image including an image area formed by a moving object. Thereby, it is possible to automatically normalize an abnormal background image including an image region of a moving object and detect the moving object. Therefore, the sensitivity and accuracy of detecting a moving object such as an intruder can be improved.

本発明の実施の形態における画像センサ100は、図1に示すように、撮像部10、画像入力インターフェース(I/F)12、変化領域抽出部14、ラベリング処理部16、追跡処理部18、背景異常領域検出部20、背景異常領域設定部22、背景画像設定部24、特徴量算出部26、異常判定部28、記憶部30及び出力部32を含んで構成される。   As shown in FIG. 1, the image sensor 100 according to the embodiment of the present invention includes an imaging unit 10, an image input interface (I / F) 12, a change area extraction unit 14, a labeling processing unit 16, a tracking processing unit 18, and a background. The abnormal region detection unit 20, the background abnormal region setting unit 22, the background image setting unit 24, the feature amount calculation unit 26, the abnormality determination unit 28, the storage unit 30, and the output unit 32 are configured.

画像入力インターフェース(I/F)12、変化領域抽出部14、ラベリング処理部16、追跡処理部18、背景異常領域検出部20、背景異常領域設定部22、背景画像設定部24、特徴量算出部26、異常判定部28、記憶部30を含む装置本体は、CPU、メモリ、入出力装置等を含む基本的なコンピュータの構成によって実現することができる。なお、本実施の形態では、被検出対象を侵入者として説明を行うが、他の被検出物体に置き換えても同様に処理を行うことができる。   Image input interface (I / F) 12, change region extraction unit 14, labeling processing unit 16, tracking processing unit 18, background abnormal region detection unit 20, background abnormal region setting unit 22, background image setting unit 24, feature amount calculation unit 26, the apparatus main body including the abnormality determination unit 28 and the storage unit 30 can be realized by a basic computer configuration including a CPU, a memory, an input / output device, and the like. In this embodiment, the detection target is described as an intruder, but the same processing can be performed even if the detection target is replaced with another detection target.

画像センサ100は、画像監視を開始させる操作や設定されたタイミングにて侵入者検知を開始する。撮像部10は、CCD撮像素子を備えたカメラを含んで構成される。撮像部10は、監視対象となる監視空間の画像を所定の時間間隔にて撮像して、監視空間の明るさを電圧値又は電流値で表す電気信号に変換して画像入力I/F12へ出力する。画像入力I/F12は、増幅器及びアナログ/デジタル変換器を含んで構成される。画像入力I/F12は、撮像部10から電気信号を受けて、その電気信号を増幅器で増幅した後にアナログ/デジタル変換器でデジタル信号に変換して所定の時間間隔にて監視画像(以下、他の画像と区別するために入力画像という)を生成する。入力画像は、明るさを256階調で表現した輝度値(画素値)の集合となる。生成された入力画像は、変化領域抽出部14及び背景画像設定部24へ送られる。   The image sensor 100 starts intruder detection at an operation for starting image monitoring or at a set timing. The imaging unit 10 includes a camera equipped with a CCD imaging device. The imaging unit 10 captures an image of a monitoring space to be monitored at a predetermined time interval, converts the brightness of the monitoring space into an electrical signal representing a voltage value or a current value, and outputs the electrical signal to the image input I / F 12. To do. The image input I / F 12 includes an amplifier and an analog / digital converter. The image input I / F 12 receives an electrical signal from the imaging unit 10, amplifies the electrical signal with an amplifier, converts the electrical signal into a digital signal with an analog / digital converter, and monitors images (hereinafter referred to as other images) at predetermined time intervals. (Referred to as an input image for distinction from the image). The input image is a set of luminance values (pixel values) expressing brightness in 256 gradations. The generated input image is sent to the change area extraction unit 14 and the background image setting unit 24.

なお、画像は、カラー画像から輝度信号を抜き出した画像、又は、カラー画像からカラー成分の1つを抜き出した画像でもよい。撮像部10で取得される画像は、静止画、動画を問わず、両方を取得してもよい。なお、CCD撮像素子の代わりにCMOS撮像素子等の光電変換素子を用いることもできる。   Note that the image may be an image obtained by extracting a luminance signal from a color image, or an image obtained by extracting one of the color components from the color image. The images acquired by the imaging unit 10 may be acquired regardless of whether they are still images or moving images. A photoelectric conversion element such as a CMOS image sensor can be used instead of the CCD image sensor.

また、画像のダイナミックレンジを自動的に調整する自動利得制御(AGC)機能を持たせることが好ましい。例えば、画像全体が256階調(0〜255階調)のダイナミックレンジを可能な限り広く用いるように調整を行うことが好適である。   It is also preferable to have an automatic gain control (AGC) function for automatically adjusting the dynamic range of the image. For example, it is preferable to perform adjustment so that the entire image uses a dynamic range of 256 gradations (0 to 255 gradations) as much as possible.

変化領域抽出部14は、背景異常領域設定部22から背景異常領域の設定情報を受けて、その設定情報に基づいて変化領域の抽出処理を行う。背景異常領域設定部22において背景異常領域が設定されていない場合、変化領域抽出部14では、背景画像設定部24において生成され、記憶部30に記憶されている背景画像を読み出し、画像入力I/F12から得た入力画像との間で対応する画素同士の差分値を算出する背景差分処理を行う。また、背景異常領域設定部22において背景異常領域が設定されている場合、背景異常領域として設定されている画像領域については画像入力I/F12から新たに得た入力画像と、それより前に得た過去の入力画像(直前又は所定数だけ前のフレームの入力画像)との間で対応する画素同士の差分値を算出するフレーム間差分処理を行い、背景異常領域として設定されている画像領域以外の領域については画像入力I/F12から新たに得た入力画像と背景画像との間で対応する画素同士の差分値を算出する背景差分処理を行う。過去の入力画像は必要に応じて記憶部30に格納及び保持しておき、記憶部30から読み出して用いることが好適である。背景差分処理又はフレーム間差分処理された画像について、各画素についての差分値の絶対値が所定の二値化閾値以上である場合は画素値“1”を有する変化画素、所定の二値化閾値より小さい場合は画素値“0”を有する無変化画素とする2値化画像を生成する。このとき、膨張や収縮あるいは微小面積除去(独立した変化画素の除去)等のフィルタリング処理を施してノイズを除去した2値化画像を生成することが好適である。これにより、新たに得られた入力画像と背景画像及び過去の入力画像との間で輝度値の変動が二値化閾値以上であった画素からなる変化領域が抽出される。変化領域の位置及び形状の情報は記憶部30に格納及び保持される。   The change area extraction unit 14 receives the background abnormal area setting information from the background abnormal area setting unit 22 and performs a change area extraction process based on the setting information. When the background abnormal area is not set in the background abnormal area setting unit 22, the change area extraction unit 14 reads the background image generated in the background image setting unit 24 and stored in the storage unit 30, and the image input I / O Background difference processing for calculating a difference value between corresponding pixels with the input image obtained from F12 is performed. Further, when the background abnormal area is set in the background abnormal area setting unit 22, the image area set as the background abnormal area is obtained from the input image newly obtained from the image input I / F 12 and before that. Other than the image area set as the background abnormal area, the inter-frame difference processing is performed to calculate the difference value between the corresponding pixels with the past input image (the input image of the frame immediately before or a predetermined number before). For the area of, background difference processing for calculating a difference value between corresponding pixels between the input image newly obtained from the image input I / F 12 and the background image is performed. It is preferable that past input images are stored and held in the storage unit 30 as necessary, and read out from the storage unit 30 for use. For an image subjected to background difference processing or inter-frame difference processing, if the absolute value of the difference value for each pixel is equal to or greater than a predetermined binarization threshold, a change pixel having a pixel value “1”, a predetermined binarization threshold If it is smaller, a binarized image having a pixel value “0” as an unchanged pixel is generated. At this time, it is preferable to generate a binarized image from which noise has been removed by performing filtering processing such as expansion and contraction or removal of a small area (independent change pixel removal). As a result, a change area composed of pixels in which the variation of the luminance value is equal to or greater than the binarization threshold between the newly obtained input image, the background image, and the past input image is extracted. Information on the position and shape of the change area is stored and held in the storage unit 30.

ラベリング処理部16では、変化領域抽出部14の背景差分処理又はフレーム間差分処理によって得られた2値化画像内において纏まって1つの群を構成する変化画素の領域を変化領域としてグループ化し、各変化領域を識別するために固有のラベルを付与して「物体候補領域」とするラベリング処理を行う。追跡処理部18では、ラベリング処理された物体候補領域のトラッキング処理を行う。トラッキング処理では、過去の入力画像に対する2値化画像から抽出された物体候補領域を含む周囲に設定されたトラッキングの検索範囲内に現在の入力画像に対する2値化画像から抽出された物体候補領域が存在するか否かを判定し、該当する物体候補領域が存在する場合には、その領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の物体を撮像した画像領域であると推定して物体候補領域同士を対応付ける。   In the labeling processing unit 16, the regions of changed pixels that collectively constitute one group in the binarized image obtained by the background difference processing or the inter-frame difference processing of the changed region extracting unit 14 are grouped as changed regions, In order to identify the change region, a labeling process is performed by assigning a unique label to make the “object candidate region”. The tracking processing unit 18 performs tracking processing of the object candidate region that has been subjected to labeling processing. In the tracking processing, an object candidate area extracted from the binarized image for the current input image is within a tracking search range set around the object candidate area extracted from the binarized image for the past input image. It is determined whether or not the object candidate area exists, and if there is a corresponding object candidate area, it is estimated that the image areas are obtained by capturing the same object based on the similarity of the feature amount such as the size and shape of the area. The object candidate areas are associated with each other.

背景異常領域検出部20は、所定のフレーム間で追跡処理部18において対応付けられた物体候補領域の位置及び形状が略一致すると共に、所定のフレーム間の互いに対応する画素の画素値が前記物体候補領域内において所定以上変化している場合にその物体候補領域を「背景異常領域」として検出する。この処理は、背景差分処理によって抽出され、追跡処理部18において対応付けられた物体候補領域の総てについて各々行われる。背景異常領域検出部20における処理については詳細に後述する。   The background abnormal area detecting unit 20 has the positions and shapes of the object candidate areas matched in the tracking processing unit 18 between the predetermined frames substantially equal to each other, and the pixel values of the corresponding pixels between the predetermined frames If the candidate area changes more than a predetermined amount, the object candidate area is detected as a “background abnormal area”. This process is performed for each of the object candidate areas extracted by the background difference process and associated in the tracking processing unit 18. The processing in the background abnormal area detection unit 20 will be described in detail later.

背景異常領域設定部22は、背景異常領域検出部20で検出された背景異常領域に基づいてフレーム間差分を実行する領域を設定する。背景異常領域の設定は画素単位で行われる。背景異常領域設定部22で設定された背景異常領域の位置及び形状の情報は変化領域抽出14へ設定情報として出力されると共に、記憶部30に格納及び保持される。   The background abnormal area setting unit 22 sets an area for executing the inter-frame difference based on the background abnormal area detected by the background abnormal area detection unit 20. The background abnormal area is set in units of pixels. Information on the position and shape of the background abnormal region set by the background abnormal region setting unit 22 is output as setting information to the change region extraction 14 and is stored and held in the storage unit 30.

背景画像設定部24は、背景画像生成部と背景画像更新部とを含んで構成される。背景画像生成部は、監視処理開始時又は所定のタイミングで撮像済みの入力画像を背景画像として記憶部30に格納する、又は、入力画像と記憶部30に格納された背景画像とを加重加算した画像を新たな背景画像として記憶部30に格納する等の処理により背景画像を生成又は更新する。背景画像更新部は、背景異常領域設定部22において設定された背景異常領域に基づいて部分的に背景画像を更新する。背景画像設定部24における処理については詳細に後述する。   The background image setting unit 24 includes a background image generation unit and a background image update unit. The background image generation unit stores the input image captured at the start of the monitoring process or at a predetermined timing in the storage unit 30 as a background image, or weighted addition of the input image and the background image stored in the storage unit 30 The background image is generated or updated by processing such as storing the image as a new background image in the storage unit 30. The background image update unit partially updates the background image based on the background abnormal region set by the background abnormal region setting unit 22. The processing in the background image setting unit 24 will be described in detail later.

特徴量算出部26は、追跡処理部18において複数のフレームの入力画像に対して同一物体を撮像した領域として対応付けられた物体候補領域の「人らしさ」を示すパラメータである特徴量を算出する。ここでは、物体候補領域の移動距離、移動軌跡、連続出現回数等を算出する。ただし、これらに限定されるものではなく、物体候補領域の輝度平均値や輝度分散値等の画像特徴量、物体候補領域の面積,縦横比,重心位置等の幾何的な特徴量、背景画像との正規化相関値や差分平均値等の比較値を特徴量として算出してもよい。   The feature amount calculation unit 26 calculates a feature amount that is a parameter indicating the “humanity” of an object candidate region associated with the input image of a plurality of frames in the tracking processing unit 18 as a region where the same object is imaged. . Here, the movement distance, movement locus, number of continuous appearances, etc. of the object candidate area are calculated. However, the present invention is not limited to these. Image feature values such as luminance average values and luminance variance values of object candidate areas, geometric feature quantities such as area, aspect ratio, and barycentric position of object candidate areas, and background images A comparison value such as a normalized correlation value or a difference average value may be calculated as a feature amount.

具体的には、異なる時刻に撮像された入力画像について追跡処理部18で同一物体を撮像した領域として対応付けられた物体候補領域の間の距離に基づいて移動距離を求める。すなわち、同一の物体としてラベリングされた物体候補領域について記憶されている画像内の位置座標(重心座標)を記憶部から読み出して、この位置座標と、対応する現入力画像の物体候補領域の位置座標(重心座標)との間の実距離を物体の実距離移動量として算出する。   Specifically, the movement distance is obtained based on the distance between object candidate areas associated as areas where the same object is imaged by the tracking processing unit 18 for input images captured at different times. That is, the position coordinates (center of gravity coordinates) in the image stored for the object candidate areas labeled as the same object are read from the storage unit, and the position coordinates and the position coordinates of the corresponding object candidate area of the current input image are read. The actual distance to (centroid coordinates) is calculated as the actual distance movement amount of the object.

また、過去に得られた複数の入力画像について追跡処理部18で同一物体を撮像した領域として対応付けられた物体候補領域の重心座標の速度ベクトルの変化を移動軌跡として算出する。また、過去に得られた複数の入力画像について追跡処理部18で同一物体を撮像した領域として連続して判断された画像(フレーム)数を連続出現回数として算出する。   In addition, a change in the velocity vector of the barycentric coordinates of the object candidate region associated with the plurality of input images obtained in the past as the region where the same object is imaged by the tracking processing unit 18 is calculated as a movement locus. In addition, the number of images (frames) continuously determined as a region where the tracking object 18 has captured the same object for a plurality of input images obtained in the past is calculated as the number of consecutive appearances.

異常判定部28は、特徴量算出部26で算出された特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する移動体判定部として機能する。異常判定部28において侵入者による物体候補領域が少なくとも1つ存在すると判定された場合には出力部32へ異常信号が出力される。   The abnormality determination unit 28 functions as a moving body determination unit that determines whether each object candidate region is an intruder based on the feature amount calculated by the feature amount calculation unit 26. If the abnormality determination unit 28 determines that at least one object candidate region by the intruder exists, an abnormality signal is output to the output unit 32.

具体的には、特徴量算出部26から物体候補領域の移動距離、移動軌跡、連続出現回数を受けて、これらの特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する。移動距離は、所定の閾値以上である場合には「人らしい」と判定することができる。また、移動軌跡は、直線又は滑らかな曲線を描く場合には「人らしい」と判定することができ、ジグザクに大きく変化する場合には「人以外の物体」と判定することができる。また、連続出現回数は、所定の閾値以上に連続している場合には「人らしい」と判定することができ、所定の閾値より小さく断続的である場合には「人以外の物体」と判定することができる。そこで、過去の複数の入力画像についての物体候補領域の移動距離が所定の閾値以上であり、連続出現回数が所定の閾値以上であり、移動軌跡が所定の閾値以上に滑らかであるという条件を満足する場合に監視空間に侵入者が存在すると判定する。   Specifically, the moving distance, moving trajectory, and number of consecutive appearances of the object candidate area are received from the feature amount calculation unit 26, and it is determined whether or not each object candidate area is an intruder based on these feature amounts. . When the moving distance is equal to or greater than a predetermined threshold, it can be determined that the person is “human”. In addition, the movement trajectory can be determined as “human” when a straight line or a smooth curve is drawn, and can be determined as “an object other than a person” when it greatly changes in a zigzag manner. In addition, when the number of continuous appearances is continuous for a predetermined threshold or more, it can be determined as “human”, and when it is intermittently smaller than the predetermined threshold, it is determined as “an object other than a person”. can do. Therefore, the condition that the movement distance of the object candidate region for a plurality of past input images is equal to or greater than a predetermined threshold, the number of consecutive appearances is equal to or greater than the predetermined threshold, and the movement locus is smoother than the predetermined threshold is satisfied. It is determined that there is an intruder in the monitoring space.

なお、侵入者の存在の有無を判定する処理はこれに限定されるものでなく、他の画像特徴量、幾何的な特徴量、背景画像との比較値等を所定の閾値と比較して判定してもよい。また、適宜複数の特徴量を組み合わせて、それらの判定結果の論理積又は論理和により判定してもよい。   Note that the process for determining the presence or absence of an intruder is not limited to this, and the determination is made by comparing other image feature values, geometric feature values, comparison values with the background image, etc. with a predetermined threshold value. May be. Alternatively, a plurality of feature amounts may be combined as appropriate, and the determination may be performed by logical product or logical sum of the determination results.

記憶部30は、画像センサ100の各処理に利用される情報、すなわち、入力画像、背景画像、各種の閾値、物体候補領域に関する情報、背景異常領域に関する情報を格納及び保持する。これらの情報は、画像センサ100の各部からの要求に応じて適宜読み出し及び更新される。記憶部30は、半導体メモリ、磁気ディスク装置、光ディスク装置等の記憶装置を含んで構成される。   The storage unit 30 stores and holds information used for each process of the image sensor 100, that is, an input image, a background image, various threshold values, information on an object candidate area, and information on an abnormal background area. These pieces of information are read and updated as appropriate in response to requests from each unit of the image sensor 100. The storage unit 30 includes a storage device such as a semiconductor memory, a magnetic disk device, and an optical disk device.

出力部32は、異常判定部28から異常信号を受けると異常を外部へ知らせる手段として機能する。例えば、ブザー等により周囲に警告を発したり、監視センタに対して撮像画像やアラーム信号を送信したりする。   The output unit 32 functions as means for notifying the outside of the abnormality when receiving the abnormality signal from the abnormality determining unit 28. For example, a warning is issued to the surroundings by a buzzer or the like, or a captured image or an alarm signal is transmitted to the monitoring center.

以下、図2のフローチャートを参照して、画像センサ100による侵入者検出処理について説明する。フローチャートの各処理は、コンピュータにおいて実行可能な制御プログラムとすることによって、画像センサ100を構成するコンピュータの各処理部で実行させることができる。   Hereinafter, the intruder detection process by the image sensor 100 will be described with reference to the flowchart of FIG. Each process of the flowchart can be executed by each processing unit of the computer constituting the image sensor 100 by using a control program executable by the computer.

ステップS10では、監視開始時に撮像部10により撮像された現在の入力画像(以下、現入力画像という)が画像入力I/F12を介して背景画像設定部24へ入力され、背景画像設定部24においてその入力画像が背景画像として初期設定される。ステップS12では、撮像部10により現入力画像が画像入力I/F12を介して変化領域抽出部14及び背景画像設定部24へ入力される。   In step S10, the current input image (hereinafter referred to as the current input image) captured by the imaging unit 10 at the start of monitoring is input to the background image setting unit 24 via the image input I / F 12, and the background image setting unit 24 The input image is initialized as a background image. In step S <b> 12, the current input image is input to the change area extraction unit 14 and the background image setting unit 24 via the image input I / F 12 by the imaging unit 10.

ステップS14では、変化領域抽出部14において現入力画像から変化領域が抽出される。ステップS14は図3に示すようにサブルーチン化されている。ステップS14−1では、現入力画像に含まれる各画素を特定するためのカウンタCが初期化される。ここでは、現入力画素に含まれる各画素はそれぞれ固有の番号が付与されておりカウンタCの値によって特定されるものとする。ステップS14−2では、カウンタCによって特定される画素が背景異常領域に設定されているか否かが判定される。変化領域抽出部14は、背景異常領域設定部22から設定情報を受けて、カウンタCによって特定される画素が背景異常領域に設定されているか否かを判定し、カウンタCによって特定される画素が背景異常領域に設定されている場合にはステップS14−3に処理を移行させ、背景異常領域に設定されていない場合にはステップS14−4に処理を移行させる。   In step S <b> 14, the change area extraction unit 14 extracts a change area from the current input image. Step S14 is made into a subroutine as shown in FIG. In step S14-1, a counter C for specifying each pixel included in the current input image is initialized. Here, each pixel included in the current input pixel is assigned a unique number and is specified by the value of the counter C. In step S14-2, it is determined whether or not the pixel specified by the counter C is set in the background abnormal region. The change area extraction unit 14 receives the setting information from the background abnormal area setting unit 22 and determines whether or not the pixel specified by the counter C is set as the background abnormal area. If the background abnormal area is set, the process proceeds to step S14-3. If the background abnormal area is not set, the process proceeds to step S14-4.

ステップS14−3では、カウンタCで特定される画素について現入力画像とそれより前に得た過去の入力画像(直前又は所定数だけ前のフレームの入力画像)との間で対応する画素値同士の差分値が算出される。一方、ステップS14−4では、記憶部30に記憶されている背景画像が読み出され、カウンタCで特定される画素について入力画像と背景画像との間で対応する画素値同士の差分値が算出される。その後、処理はステップS14−5へ移される。ステップS14−5では、ステップS14−3又はステップS14−4で算出された差分値の絶対値が所定の二値化閾値以上である場合は画素値“1”を有する変化画素、所定の二値化閾値より小さい場合は画素値“0”を有する無変化画素とする2値化処理が行われる。   In step S14-3, pixel values corresponding to each other between a current input image and a past input image (an input image of a frame immediately before or a predetermined number before) obtained for the pixel specified by the counter C are obtained. The difference value is calculated. On the other hand, in step S14-4, the background image stored in the storage unit 30 is read, and a difference value between corresponding pixel values between the input image and the background image is calculated for the pixel specified by the counter C. Is done. Thereafter, the process proceeds to step S14-5. In step S14-5, when the absolute value of the difference value calculated in step S14-3 or step S14-4 is equal to or greater than a predetermined binarization threshold, a change pixel having a pixel value “1”, a predetermined binary value If it is smaller than the binarization threshold, binarization processing is performed to make a non-changeable pixel having a pixel value “0”.

ステップS14−6では、画像内の総ての画素について処理が終了したか否かが判定される。総ての画素について処理が終了していれば処理をメインルーチンのステップS16へ戻し、総ての画素について処理が終了していなければステップS14−7においてカウンタCを1増加させてステップS14−2から処理を繰り返す。   In step S14-6, it is determined whether or not processing has been completed for all pixels in the image. If the process has been completed for all pixels, the process returns to step S16 of the main routine. If the process has not been completed for all pixels, the counter C is incremented by 1 in step S14-7 and step S14-2 is performed. Repeat the process.

ステップS16では、ラベリング処理部16において上記のようにラベリング処理が行われる。ステップS18では、追跡処理部18において上記のように追跡処理が行われる。ここで、纏まった変化画素が特有のラベル番号を付された「物体候補領域」として設定される。以下、現入力画像に対する物体候補領域を現物体候補領域という。   In step S16, the labeling processing unit 16 performs the labeling process as described above. In step S18, the tracking processing unit 18 performs the tracking process as described above. Here, the collected change pixels are set as an “object candidate region” with a unique label number. Hereinafter, the object candidate area for the current input image is referred to as the current object candidate area.

ステップS20では、背景異常領域検出部20において背景異常領域の検出処理が行われる。なお、本処理は、ステップS16において、物体候補領域として抽出された領域のうち背景差分処理により抽出された領域(背景差分領域)のみを対象とし、フレーム間差分処理によって抽出された領域(フレーム間差分領域)は対象としない。ステップS20は図4に示すようにサブルーチン化されている。ステップS20−1では、物体候補領域のラベル番号を特定するためのカウンタM、各物体候補領域の位置及び形状に関する記録情報、背景異常領域連続回数を示すカウンタK(M)が初期化される。ここでは、ステップS16において背景差分処理によって抽出された各物体候補領域に1から順にラベル番号が割り振られているものとし、カウンタMを1に初期設定する。また、過去に既に割り当てられていたラベル番号の物体候補領域に対する背景異常領域連続回数を示すカウンタK(M)はそのまま維持され、新たに割り付けられたラベル番号の物体候補領域に対する背景異常領域連続回数を示すカウンタK(M)を0に初期設定する。   In step S20, the background abnormal area detection unit 20 performs a background abnormal area detection process. Note that this process targets only the area extracted by the background difference process (background difference area) among the areas extracted as the object candidate areas in step S16, and the area extracted by the inter-frame difference process (between frames). (Difference area) is not targeted. Step S20 is made into a subroutine as shown in FIG. In step S20-1, a counter M for specifying the label number of the object candidate area, recording information regarding the position and shape of each object candidate area, and a counter K (M) indicating the number of consecutive background abnormal areas are initialized. Here, it is assumed that label numbers are assigned in order from 1 to each object candidate region extracted by the background difference process in step S16, and the counter M is initialized to 1. In addition, the counter K (M) indicating the number of consecutive background abnormal areas for the object candidate area with the label number already assigned in the past is maintained as it is, and the number of consecutive background abnormal areas for the object candidate area with the newly assigned label number is maintained. Is initially set to 0.

ステップS20−2では、過去のラベリング処理において物体候補領域として抽出されていなかった新規の物体候補領域であるか否かが判定される。ステップS18の追跡処理におけるトラッキング処理で、物体候補領域の領域のサイズ、形状等の特徴量の類似度に基づいて過去に同一の物体を撮像した画像領域である物体候補領域が存在するとされた場合にはステップS20−3へ処理を移行させ、そうでない場合にはステップS20−13へ処理を移行させる。   In step S20-2, it is determined whether or not the object is a new object candidate area that has not been extracted as an object candidate area in the past labeling process. When it is determined in the tracking process in the tracking process in step S18 that there is an object candidate area that is an image area obtained by imaging the same object in the past based on the similarity of the feature amount such as the size and shape of the object candidate area. In step S20-3, the process proceeds to step S20-3. Otherwise, the process proceeds to step S20-13.

ステップS20−3では、背景異常領域候補が検出される。ステップS20−3の処理は、図5に示すフローチャートに沿って行われる。ここでは、追跡処理部18で検出された現物体候補領域と記憶部30に記憶されている直前(1フレーム前)の入力画像に対して得られた物体候補領域との形状、位置及び画像について比較し、形状、位置及び画像の内容の一致度により物体候補領域が背景が異常である背景異常領域の候補となるか否かを判定する。   In step S20-3, a background abnormal region candidate is detected. The process of step S20-3 is performed according to the flowchart shown in FIG. Here, the shape, position, and image of the current object candidate area detected by the tracking processing unit 18 and the object candidate area obtained with respect to the input image immediately before (one frame before) stored in the storage unit 30 will be described. The comparison is made to determine whether or not the object candidate region is a candidate for a background abnormal region whose background is abnormal based on the degree of coincidence of the shape, position and image content.

ステップS30−1では、物体候補領域の形状を求める。ラベル番号がカウンタMと一致する現物体候補領域に外接する矩形領域を求め、その矩形領域の幅W1及び高さH1を算出する。さらに、ステップS18における追跡処理によってその現物体候補領域に対応付けられる直前の入力画像における物体候補領域に外接する矩形領域を求め、その矩形領域の幅W2及び高さH2を算出する。これらの値は記憶部30に格納及び保持される。ステップS30−2では、2つの物体候補領域の形状が一致しているか否かを判定する。具体的には、2つの物体候補領域の幅W1とW2の差が予め定めた幅閾値以下であり、かつ、高さH1とH2の差が予め定めた高さ閾値以下である場合には形状が一致するものと判定してステップS30−3へ処理を移行させ、そうでない場合には形状が一致しないものと判定してステップS20−4へ処理を移行する。   In step S30-1, the shape of the object candidate area is obtained. A rectangular area circumscribing the current object candidate area whose label number matches the counter M is obtained, and the width W1 and height H1 of the rectangular area are calculated. Further, a rectangular area circumscribing the object candidate area in the immediately preceding input image associated with the current object candidate area is obtained by the tracking process in step S18, and the width W2 and height H2 of the rectangular area are calculated. These values are stored and held in the storage unit 30. In step S30-2, it is determined whether or not the shapes of the two object candidate areas match. Specifically, when the difference between the widths W1 and W2 of the two object candidate regions is equal to or smaller than a predetermined width threshold value, and the difference between the heights H1 and H2 is equal to or smaller than a predetermined height threshold value, the shape Are determined to match, and the process proceeds to step S30-3. Otherwise, it is determined that the shapes do not match, and the process proceeds to step S20-4.

なお、外接矩形の幅及び高さを用いずに、2値化領域の形状一致度を測るハウスドルフ距離を算出して、そのハウスドルフ距離が予め定められた閾値以下であれば形状が一致すると判定してもよい。   In addition, without using the width and height of the circumscribed rectangle, the Hausdorff distance for measuring the degree of coincidence of the binarized areas is calculated, and if the Hausdorff distance is equal to or less than a predetermined threshold, the shapes match. You may judge.

ステップS30−3では、物体候補領域の移動量を求める。ラベル番号がカウンタMと一致する現物体候補領域とそれに対応付けられる直前の入力画像に対する物体候補領域とが重なり合う領域の画素数を求める。そして、カウンタMで特定される現物体候補領域の全画素数に対する重なり合う領域の画素数の割合R1、及び、それに対応付けられた直前の入力画像における物体候補領域の全画素数に対する重なり合う領域の画素数の割合R2を算出する。ステップS30−4では、移動量に基づいて2つの物体候補領域の位置が一致しているか否かが判定される。割合R1が所定の第1割合閾値以上であり、かつ、割合R2が所定の第2割合閾値以上である場合には2つの物体候補領域の位置が一致しているものと判定してステップS30−5へ処理を移行させ、そうでない場合には位置が一致していないものと判定してステップS20−4へ処理を移行させる。   In step S30-3, the movement amount of the object candidate area is obtained. The number of pixels in a region where the current object candidate region whose label number matches the counter M and the object candidate region corresponding to the immediately preceding input image associated therewith is obtained. Then, the ratio R1 of the number of pixels of the overlapping area to the total number of pixels of the current object candidate area specified by the counter M, and the pixels of the overlapping area with respect to the total number of pixels of the object candidate area in the immediately preceding input image associated therewith The number ratio R2 is calculated. In step S30-4, it is determined whether or not the positions of the two object candidate regions match based on the movement amount. If the ratio R1 is equal to or greater than the predetermined first ratio threshold and the ratio R2 is equal to or greater than the predetermined second ratio threshold, it is determined that the positions of the two object candidate areas match, and step S30- If not, it is determined that the positions do not match, and the process proceeds to step S20-4.

なお、重畳領域の画素数の割合を用いずに、2つの物体候補領域の重心座標の距離が予め定められた閾値以下である場合には位置が一致すると判定してもよい。   In addition, without using the ratio of the number of pixels in the overlapping area, it may be determined that the positions match when the distance between the centroid coordinates of the two object candidate areas is equal to or less than a predetermined threshold.

ステップS30−5では、2つの物体候補領域の画像の一致度を判定するために輝度差を算出する。現入力画像におけるカウンタMで特定される現物体候補領域内の画素と直前の入力画像においてカウンタnで特定される物体候補領域内の画素のうち対応する画素の輝度差が所定の輝度閾値以上である画素の数を求める。そして、その画素数の現物体候補領域の全画素数に対する割合D1、及び、それに対応付けられた直前の入力画像の物体候補領域の全画素数に対する割合D2を算出する。ステップS30−6では、輝度差の割合D1,D2に基づいて2つの物体候補領域の画像の内容が一致しているか否かが判定される。割合D1が所定の第1輝度差閾値以上であり、かつ、割合D2が所定の第2輝度差閾値以上である場合には2つの物体候補領域の画像の内容に変化があるものと判定してステップS30−7へ処理を移行させ、そうでない場合には画像の内容に変化がないものと判定してステップS20−4へ処理を移行させる。   In step S30-5, a luminance difference is calculated to determine the degree of coincidence between the images of the two object candidate regions. The luminance difference between the pixel in the current object candidate area specified by the counter M in the current input image and the corresponding pixel in the object candidate area specified by the counter n in the immediately preceding input image is greater than or equal to a predetermined luminance threshold. Find the number of pixels. Then, a ratio D1 of the number of pixels with respect to the total number of pixels in the current object candidate area and a ratio D2 with respect to the total number of pixels of the object candidate area of the immediately preceding input image associated therewith are calculated. In step S30-6, it is determined based on the luminance difference ratios D1 and D2 whether the contents of the images of the two object candidate regions match. When the ratio D1 is equal to or greater than the predetermined first luminance difference threshold and the ratio D2 is equal to or greater than the predetermined second luminance difference threshold, it is determined that there is a change in the image contents of the two object candidate areas. The process proceeds to step S30-7. Otherwise, it is determined that there is no change in the content of the image, and the process proceeds to step S20-4.

なお、輝度差の割合を用いずに、2つの物体候補領域の相関が予め定められた閾値以下である場合には変動があると判定してもよい。また、2つの物体候補領域の平均二乗誤差が予め定められた閾値以上である場合には変動があると判定してもよい。   Note that without using the luminance difference ratio, it may be determined that there is a change when the correlation between the two object candidate regions is equal to or less than a predetermined threshold. Further, when the mean square error between the two object candidate areas is equal to or greater than a predetermined threshold, it may be determined that there is a change.

ステップS30−7では、カウンタMで特定される現物体候補領域を背景異常領域候補と判定する。その後、処理をステップS20−4へ移行させる。   In step S30-7, the current object candidate area specified by the counter M is determined as a background abnormal area candidate. Thereafter, the process proceeds to step S20-4.

ステップS20−4では、カウンタMで特定される現物体候補領域が背景異常領域候補とされたか否かを判定する。現物体候補領域が背景異常領域候補とされた場合にはステップS20−5へ処理を移行させ、そうでない場合にはステップS20−11へ処理を移行させる。ステップS20−5では、新たに設定された背景異常領域候補の位置及び形状を記憶部30に記憶させる。ステップS20−6では、カウンタMに対する背景異常領域連続回数のカウンタK(M)がインクリメントされる。ステップS20−7では、カウンタMに対する背景異常領域連続回数のカウンタK(M)が所定の連続回数閾値以上となったか否かが判定される。カウンタK(M)が所定の連続回数閾値以上であればステップS20−8へ処理を移行させ、そうでなければステップS20−13へ処理を移行させる。   In step S20-4, it is determined whether or not the current object candidate area specified by the counter M is a background abnormal area candidate. If the current object candidate area is a background abnormal area candidate, the process proceeds to step S20-5, and if not, the process proceeds to step S20-11. In step S20-5, the position and shape of the newly set background abnormal region candidate are stored in the storage unit 30. In step S20-6, the counter K (M) of the number of consecutive background abnormal areas for the counter M is incremented. In step S20-7, it is determined whether or not the counter K (M) of the background abnormal region continuation count for the counter M is equal to or greater than a predetermined continuation count threshold. If the counter K (M) is greater than or equal to the predetermined continuous number threshold, the process proceeds to step S20-8, and if not, the process proceeds to step S20-13.

ステップS20−8では、過去に撮像された複数の入力画像に基づいて背景異常領域の判定処理が行われる。ステップS20−8の処理は、図6に示すフローチャートに沿って行われる。ここでは、過去N回(Nフレーム)の入力画像に亘ってカウンタMで特定される物体候補領域が背景異常領域候補として記憶された際の位置及び形状が不変であるか否かが判定される。すなわち、背景異常領域候補の抽出処理によって現物体候補領域と1つ前のフレームの物体候補領域との位置や形状の不変性は判定できるが、複数のフレーム間において微小な変化が蓄積されて、より長い時間としては物体候補領域の位置や形状が大きく変化している可能性がある。そこで、複数の入力画像を用いて長い時間での変化について判定する。ここで、Nの値はステップS20−7における連続回数閾値以下の値に設定される。   In step S20-8, background abnormal region determination processing is performed based on a plurality of input images captured in the past. The process of step S20-8 is performed according to the flowchart shown in FIG. Here, it is determined whether or not the position and shape when the object candidate area specified by the counter M is stored as a background abnormal area candidate over the past N times (N frames) of input images are unchanged. . That is, the invariance of the position and shape of the current object candidate area and the object candidate area of the previous frame can be determined by the background abnormal area candidate extraction process, but minute changes are accumulated between a plurality of frames. For a longer time, there is a possibility that the position and shape of the object candidate region have changed greatly. Therefore, a change over a long time is determined using a plurality of input images. Here, the value of N is set to a value equal to or less than the continuous number threshold in step S20-7.

ステップS32−1では、過去N回の入力画像において背景異常領域候補とされたカウンタMで特定される物体候補領域の外接矩形の位置、幅及び高さを記憶部30から読み出す。それらの外接矩形領域の論理和を算出することによって、過去N回においてそれらの背景異常領域候補が画像内で掃過した領域(掃過領域W1)を求める。また、過去N回における背景異常領域候補の外接矩形領域の幅及び高さの平均値を算出することによって平均外接矩形領域W2を求める。ステップS32−2では、掃過領域W1と平均外接矩形領域W2とが一致するか否かを判定する。掃過領域W1と平均外接矩形領域W2との幅の差が所定の閾値以下であり、かつ、高さの差が所定の閾値以下である場合にはステップS32−3へ処理を移行させ、そうでない場合にはステップS20−9へ処理を移行させる。ステップS32−3では、背景異常領域候補とされているカウンタMで特定される現物体候補領域を背景異常領域として設定し、処理をステップS20−9へ移行させる。   In step S <b> 32-1, the position, width, and height of the circumscribed rectangle of the object candidate area specified by the counter M determined as the background abnormal area candidate in the past N input images are read from the storage unit 30. By calculating the logical sum of these circumscribed rectangular areas, the area (sweep area W1) in which the background abnormal area candidates have been swept in the image in the past N times is obtained. In addition, the average circumscribed rectangular area W2 is obtained by calculating the average value of the width and height of the circumscribed rectangular area of the background abnormal area candidate in the past N times. In step S32-2, it is determined whether or not the sweep area W1 and the average circumscribed rectangular area W2 match. If the width difference between the sweep area W1 and the average circumscribed rectangular area W2 is equal to or smaller than a predetermined threshold and the height difference is equal to or smaller than the predetermined threshold, the process proceeds to step S32-3. If not, the process proceeds to step S20-9. In step S32-3, the current object candidate area specified by the counter M, which is a background abnormal area candidate, is set as the background abnormal area, and the process proceeds to step S20-9.

また、過去の複数の入力画像毎に背景異常領域候補の検出処理を行わず、総ての入力画像における物体候補領域の位置、形状及び画像を記憶部30に記憶させておき、これらの情報に基づいて複数の入力画像を用いて背景異常領域であるか否かを判定することも可能である。   In addition, the background abnormal region candidate detection process is not performed for each of a plurality of past input images, and the position, shape, and image of the object candidate region in all the input images are stored in the storage unit 30, and the information is stored in these pieces of information. On the basis of this, it is possible to determine whether or not the background abnormal region using a plurality of input images.

ステップS20−9では、ステップS20−8において背景異常領域候補が背景異常領域として設定されたか否かが判定される。背景異常領域に設定された場合にはステップS20−10へ処理を移行させ、そうでない場合にはステップS20−11へ処理を移行させる。ステップS20−10では、背景異常領域として設定された現物体候補領域の位置及び形状を記憶部30に記憶させる。なお、処理を簡単にするために、背景異常領域として設定された現物体候補領域の外接矩形を新たに背景異常領域とし、その位置及び形状を記憶部30に記憶させてもよい。   In step S20-9, it is determined whether or not the background abnormal region candidate is set as the background abnormal region in step S20-8. If the background abnormal region is set, the process proceeds to step S20-10, and if not, the process proceeds to step S20-11. In step S20-10, the storage unit 30 stores the position and shape of the current object candidate area set as the background abnormal area. In order to simplify the processing, a circumscribed rectangle of the current object candidate area set as the background abnormal area may be newly set as the background abnormal area, and the position and shape thereof may be stored in the storage unit 30.

ステップS20−11では、カウンタMで特定される物体候補領域は背景異常領域ではなく、侵入者の可能性がある有意な物体を撮像した有意物体候補領域として設定する。ステップS20−12では、有意物体候補領域とされたカウンタMで特定される物体候補領域の位置及び形状の記録情報を消去し、さらに背景異常領域候補連続回数K(M)を0に初期化する。ステップS20−13では、他の物体候補領域が存在するか否かが判定される。まだ処理が済んでいない他の物体候補が存在する場合には、ステップS20−14においてカウンタMをインクリメントしてステップS20−2から処理を繰り返し、そうでない場合には、ステップS22へ処理を移行させる。   In step S20-11, the object candidate area specified by the counter M is set not as a background abnormal area but as a significant object candidate area obtained by imaging a significant object that may be an intruder. In step S20-12, the record information of the position and shape of the object candidate area specified by the counter M determined as a significant object candidate area is deleted, and the background abnormal area candidate continuous count K (M) is initialized to zero. . In step S20-13, it is determined whether there is another object candidate region. If there is another object candidate that has not been processed yet, the counter M is incremented in step S20-14, and the process is repeated from step S20-2. If not, the process proceeds to step S22. .

ステップS22では、ステップS20における背景異常領域の検出処理結果に応じて背景画像設定部24において背景画像の更新処理が行われる。ステップS22は図7に示すようにサブルーチン化されている。ステップS22−1では、強制全画面更新条件を満たすか否かが判断される。強制全画面更新条件とは、背景差分処理による変化画素数の全画素数に対する割合が所定の閾値以上になった場合に成り立つ条件とする。このような条件が満たされる場合、監視空間の急激な照明の変動等が起こったものと考えられるので、背景画像の全画面を最新の入力画像に更新することが好ましい。強制全画面更新条件が満たされる場合には、ステップS22−2では記憶部30に保持されている背景画像を現在の入力画像で更新して処理をステップS24へ移行させる。強制全画面更新条件が満たされない場合には、ステップS22−3へ処理を移行させる。   In step S22, a background image update process is performed in the background image setting unit 24 in accordance with the detection process result of the background abnormal area in step S20. Step S22 is made into a subroutine as shown in FIG. In step S22-1, it is determined whether or not a forced full screen update condition is satisfied. The forced full screen update condition is a condition that is satisfied when the ratio of the number of changed pixels to the total number of pixels by the background difference process is equal to or greater than a predetermined threshold. When such a condition is satisfied, it is considered that a sudden change in the illumination of the monitoring space has occurred, so it is preferable to update the entire screen of the background image to the latest input image. When the forced full screen update condition is satisfied, in step S22-2, the background image held in the storage unit 30 is updated with the current input image, and the process proceeds to step S24. If the forced full screen update condition is not satisfied, the process proceeds to step S22-3.

ステップS22−3では、背景差分による変化領域が存在するか否かが判定される。ステップS14の背景差分処理において背景差分領域が抽出された場合にはステップS22−5へ処理を移行させ、そうでなかった場合にはステップS22−4において背景画像の全画素を更新する。ステップS22−4における背景画像の全画素の更新処理は、現在の背景画像と現入力画像の画素の輝度値にそれぞれ重み付けをして対応する画素同士の輝度値を足し合わせる処理とすることが好適である。例えば、現在の背景画像の画素の輝度値に0.8を掛け、現入力画像の画素の輝度値に0.2を掛け、対応する画素の輝度値を足し合わせて新たな背景画像を算出する。なお、背景画像を現在の入力画像で更新するものとしてもよい。ステップS22−4の更新処理後、処理をステップS24へ移行させる。ステップS22−5では、変化領域以外の画素の更新処理を行う。記憶部30からステップS14において抽出された変化領域の位置及び形状の情報を読み出し、その変化領域を除く領域に相当する現在の背景画像と入力画像の画素の輝度値にそれぞれ重み付けをして対応する画素同士の輝度値を足し合わせる処理とすることが好適である。例えば、現在の背景画像の画素の輝度値に0.8を掛け、現入力画像の画素の輝度値に0.2を掛け、対応する画素の輝度値を足し合わせて新たな背景画像を算出する。なお、背景画像を現在の入力画像で更新するものとしてもよい。ステップS22−5の更新処理後、処理をステップS22−6へ移行させる。   In step S22-3, it is determined whether or not there is a change area due to the background difference. If a background difference area is extracted in the background difference process in step S14, the process proceeds to step S22-5. If not, all the pixels of the background image are updated in step S22-4. It is preferable that the update process of all the pixels of the background image in step S22-4 is a process in which the luminance values of the pixels of the current background image and the current input image are respectively weighted and the luminance values of the corresponding pixels are added. It is. For example, the luminance value of the pixel of the current background image is multiplied by 0.8, the luminance value of the pixel of the current input image is multiplied by 0.2, and the luminance value of the corresponding pixel is added to calculate a new background image. . The background image may be updated with the current input image. After the update process in step S22-4, the process proceeds to step S24. In step S22-5, a pixel other than the change region is updated. The information on the position and shape of the change area extracted in step S14 is read from the storage unit 30, and the current background image corresponding to the area excluding the change area and the luminance value of the pixel of the input image are respectively weighted to correspond. It is preferable that the luminance value of the pixels be added. For example, the luminance value of the pixel of the current background image is multiplied by 0.8, the luminance value of the pixel of the current input image is multiplied by 0.2, and the luminance value of the corresponding pixel is added to calculate a new background image. . The background image may be updated with the current input image. After the update process in step S22-5, the process proceeds to step S22-6.

ステップS22−6では、ステップS20において背景異常領域が設定されたか否かが判定される。背景異常領域が設定されている場合にはステップS22−7へ処理を移行させ、そうでない場合にはステップS24へ処理を移行させる。ステップS22−7では、フレーム間差分領域及び背景異常領域に基づいて背景画像の更新処理を行う。ここでの更新処理は、背景画像における背景異常領域からフレーム間差分領域を除いた領域に相当する画素のみについて行われる。記憶部30からステップS20において抽出された背景異常領域及びステップS14において抽出されたフレーム間の変化領域の位置及び形状の情報を読み出し、背景異常領域内でフレーム間の変化領域でない領域に相当する現在の背景画像の画素の輝度値を入力画像の画素の輝度値で更新する。これによって、背景画像内の異常な領域のみを現在の入力画像の領域と入れ替えて正常化させることができる。なお、フレーム間差分領域の外接矩形を算出し、背景画像における背景異常領域から該外接矩形を除いた領域の画素を更新対象とすることで処理量を削除してもよい。ステップS22−7の更新処理後、処理をステップS24へ移行させる。   In step S22-6, it is determined whether or not a background abnormal region has been set in step S20. If the background abnormal area is set, the process proceeds to step S22-7, and if not, the process proceeds to step S24. In step S22-7, a background image update process is performed based on the inter-frame difference area and the background abnormal area. The updating process here is performed only for pixels corresponding to the area obtained by removing the inter-frame difference area from the background abnormal area in the background image. Information on the position and shape of the background abnormal region extracted in step S20 and the change region between frames extracted in step S14 is read from the storage unit 30, and the current corresponding to a region that is not a change region between frames in the background abnormal region. The luminance value of the pixel of the background image is updated with the luminance value of the pixel of the input image. As a result, only the abnormal region in the background image can be replaced with the region of the current input image to be normalized. Note that the circumscribing rectangle of the inter-frame difference area may be calculated, and the processing amount may be deleted by setting the pixels in the area obtained by removing the circumscribing rectangle from the background abnormal area in the background image as the update target. After the update process in step S22-7, the process proceeds to step S24.

ステップS24では、特徴量算出部26において特徴量が算出される。上記のように、追跡処理部18において複数フレーム間で対応付けられた物体候補領域の「人らしさ」を示すパラメータである特徴量が算出される。例えば、物体候補領域の移動距離、移動軌跡、連続出現回数等である。   In step S24, the feature amount calculation unit 26 calculates the feature amount. As described above, the tracking processing unit 18 calculates a feature amount that is a parameter indicating “humanity” of an object candidate region associated with a plurality of frames. For example, the moving distance, moving trajectory, and number of continuous appearances of the object candidate area.

ステップS26では、異常判定部28において侵入者の検出処理が行われ、監視空間に侵入者が存在するか否かが判定される。具体的には、特徴量算出部26から物体候補領域の移動距離、移動軌跡、連続出現回数を受けて、これらの特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する。過去の複数の入力画像についての物体候補領域の移動距離が所定の閾値以上であり、連続出現回数が所定の閾値以上であり、移動軌跡が所定の閾値以上に滑らかであるという条件を満足する場合に監視空間に侵入者が存在すると判定する。侵入者が存在した場合にはステップS28へ処理を移行させ、そうでない場合にはステップS12から処理を繰り返す。   In step S26, intruder detection processing is performed in the abnormality determination unit 28, and it is determined whether or not there is an intruder in the monitoring space. Specifically, the moving distance, moving trajectory, and number of consecutive appearances of the object candidate area are received from the feature amount calculation unit 26, and it is determined whether or not each object candidate area is an intruder based on these feature amounts. . When the moving distance of the object candidate region for a plurality of past input images is equal to or greater than a predetermined threshold, the number of consecutive appearances is equal to or greater than a predetermined threshold, and the condition that the movement trajectory is smoother than the predetermined threshold is satisfied It is determined that there is an intruder in the monitoring space. If there is an intruder, the process proceeds to step S28, and if not, the process is repeated from step S12.

ステップS28では、監視空間の異常を示す異常出力処理を行う。異常判定部28は出力部32へ異常を示す異常信号を出力する。これによって、ブザー等により周囲に警告が発せられたり、監視センタに対して撮像画像やアラーム信号が送信されたりする。   In step S28, an abnormality output process indicating an abnormality in the monitoring space is performed. The abnormality determination unit 28 outputs an abnormality signal indicating abnormality to the output unit 32. As a result, a warning is issued to the surroundings by a buzzer or the like, or a captured image or an alarm signal is transmitted to the monitoring center.

以上のように、本実施の形態によれば、移動物体による画像領域を含む異常な背景画像を検出することができ、移動物体による画像領域を含む異常な背景画像を自動的に正常化させることができる。したがって、侵入者等の移動物体の検出の感度及び確度を向上させることができる。   As described above, according to the present embodiment, it is possible to detect an abnormal background image including an image area due to a moving object, and to automatically normalize the abnormal background image including an image area due to the moving object. Can do. Therefore, the sensitivity and accuracy of detecting a moving object such as an intruder can be improved.

以下、図8を参照して実施例について説明する。図8は、上からセンシング開始時、時刻1〜5における入力画像、背景画像、変化領域抽出部14で抽出される抽出画像、背景異常領域、背景異常領域の検出結果及び異常判定結果を示している。また、監視空間において侵入者は撮像部10から近い領域から遠い領域に移動しており、センシング開始時、時刻1〜5における入力画像にはその侵入者が撮像されている。   Hereinafter, an embodiment will be described with reference to FIG. FIG. 8 shows the input image, the background image, the extracted image extracted by the change region extraction unit 14, the background abnormal region, the detection result of the background abnormal region, and the abnormality determination result at the time 1 to 5 at the start of sensing from above. Yes. In addition, the intruder has moved from a region close to the imaging unit 10 to a region far from the imaging unit 10 in the monitoring space, and the intruder is captured in the input images at times 1 to 5 at the start of sensing.

時刻1〜3に得られる入力画像では、侵入者の画像(ハッチングで示す)はセンシング開始時に得られた背景画像に含まれる侵入者の画像と完全に重なっている。したがって、抽出画像における変化領域(ハッチングで示す)は背景画像に含まれる侵入者の画像と一致するものとなる。ここで、背景異常領域の抽出のための背景異常領域候補連続回数の閾値が3に設定されているものとすると、時刻3において抽出画像に含まれる変化領域は背景異常領域として設定される。   In the input images obtained at times 1 to 3, the intruder image (indicated by hatching) completely overlaps the intruder image included in the background image obtained at the start of sensing. Therefore, the change area (indicated by hatching) in the extracted image matches the intruder image included in the background image. Here, assuming that the threshold of the number of consecutive background abnormal region candidates for extracting the background abnormal region is set to 3, the change region included in the extracted image at time 3 is set as the background abnormal region.

時刻4及び5における抽出画像の生成処理においては、時刻3において背景異常領域に設定された領域(ハッチングされた領域)ではフレーム間差分処理が実行され、その他の領域では背景差分処理が行われる。その結果、時刻4及び5においては、入力画像における侵入者の画像が背景画像における侵入者の画像と完全に重なっているにも関わらず、時刻1〜3における抽出画像における変化領域と異なる変化領域が抽出される。また、時刻5においては、背景画像内の侵入者の画像領域における時刻4における抽出画像の変化領域の外接矩形領域以外の領域が時刻4における入力画像と置き換えられる。   In the extraction image generation processing at times 4 and 5, inter-frame difference processing is executed in the region set as the background abnormal region (hatched region) at time 3, and background difference processing is performed in the other regions. As a result, at times 4 and 5, the change area different from the change area in the extracted images at times 1 to 3 even though the intruder image in the input image completely overlaps the intruder image in the background image. Is extracted. At time 5, the area other than the circumscribed rectangular area of the extracted image change area at time 4 in the image area of the intruder in the background image is replaced with the input image at time 4.

以上のような処理が行われることによって、時刻5では、時刻4の抽出画像における変化領域と時刻5の抽出領域における変化領域との特徴量の差に基づいて異常が検出され、異常判定の警報が発報される。   By performing the processing as described above, at time 5, an abnormality is detected based on the difference in feature amount between the change area in the extracted image at time 4 and the change area in the extraction area at time 5, and an alarm for abnormality determination is detected. Will be issued.

なお、上記の実施形態においては、画像センサ100は背景異常領域を検出すると背景異常領域内においてフレーム間差分処理を行い、また、背景画像を正常化するための更新処理を行うものとしたが、フレーム間差分処理や更新処理を行わずに背景異常領域が検出された時点で出力部32により外部へ異常を出力する構成としてもよい。このような構成にすると侵入者を検知する精度を維持したまま処理量を低減することができる。   In the above embodiment, when the image sensor 100 detects the background abnormal area, the image sensor 100 performs inter-frame difference processing in the background abnormal area, and performs update processing for normalizing the background image. A configuration may be adopted in which an abnormality is output to the outside by the output unit 32 when a background abnormal region is detected without performing inter-frame difference processing or update processing. With such a configuration, the processing amount can be reduced while maintaining the accuracy of detecting an intruder.

すなわち、背景異常領域検出部20から出力部32への背景異常領域を検出した旨を通知する構成とし、変化領域抽出部14の処理(図3)においてステップS14−2,S14−3を省略してS14−1及びS14−7からS14−4へ移行するものとし、背景異常領域検出部20の処理(図4)においてS20−9とS20−10の間に出力部32へ通知処理を付加し、背景画像設定部24の処理(図7)においてS22−6及びS22−7を省略する。   In other words, the background abnormal region detection unit 20 notifies the output unit 32 that a background abnormal region has been detected, and steps S14-2 and S14-3 are omitted in the processing of the change region extraction unit 14 (FIG. 3). The process proceeds from S14-1 and S14-7 to S14-4, and a notification process is added to the output unit 32 between S20-9 and S20-10 in the process of the background abnormal area detection unit 20 (FIG. 4). In the process of the background image setting unit 24 (FIG. 7), S22-6 and S22-7 are omitted.

本発明の実施の形態における画像センサの構成を示すブロック図である。It is a block diagram which shows the structure of the image sensor in embodiment of this invention. 本発明の実施の形態における監視処理を示すフローチャートである。It is a flowchart which shows the monitoring process in embodiment of this invention. 本発明の実施の形態における変化領域抽出処理を示すフローチャートである。It is a flowchart which shows the change area | region extraction process in embodiment of this invention. 本発明の実施の形態における背景異常領域検出処理を示すフローチャートである。It is a flowchart which shows the background abnormal area | region detection process in embodiment of this invention. 本発明の実施の形態における背景異常領域候補検出処理を示すフローチャートである。It is a flowchart which shows a background abnormal area | region candidate detection process in embodiment of this invention. 本発明の実施の形態における背景異常領域判定処理を示すフローチャートである。It is a flowchart which shows the background abnormal area | region determination process in embodiment of this invention. 本発明の実施の形態における背景画像更新処理を示すフローチャートである。It is a flowchart which shows the background image update process in embodiment of this invention. 本発明の実施の形態における監視処理の実施例を示す図である。It is a figure which shows the Example of the monitoring process in embodiment of this invention. 従来の監視処理を説明する図である。It is a figure explaining the conventional monitoring process.

符号の説明Explanation of symbols

10 撮像部、14 変化領域抽出部、16 ラベリング処理部、18 追跡処理部、20 背景異常領域検出部、22 背景異常領域設定部、24 背景画像設定部、26 特徴量算出部、28 異常判定部、30 記憶部、32 出力部、100 画像センサ。   DESCRIPTION OF SYMBOLS 10 Imaging part, 14 Change area extraction part, 16 Labeling process part, 18 Tracking process part, 20 Background abnormal area | region detection part, 22 Background abnormal area | region setting part, 24 Background image setting part, 26 Feature-value calculation part, 28 Abnormality determination part , 30 storage unit, 32 output unit, 100 image sensor.

Claims (4)

監視空間を撮像した監視画像を順次取得して、互いに取得時刻が異なる監視画像間の差分処理により抽出された変化領域に基づいて監視空間に存在する移動物体を検出する画像センサであって、
所定時刻より前に取得した監視画像に基づいて背景画像を生成する背景画像生成部と、
前記所定時刻後に複数取得した監視画像と前記背景画像との差分処理により背景差分領域を抽出する背景差分領域抽出部と、
前記複数の監視画像における背景差分領域を比較して、前記背景画像に移動物体による異常領域が含まれているか否かを判定する背景異常領域検出部と、
を備えることを特徴とする画像センサ。
An image sensor that sequentially acquires a monitoring image obtained by imaging a monitoring space and detects a moving object existing in the monitoring space based on a change area extracted by a difference process between monitoring images having different acquisition times.
A background image generation unit that generates a background image based on a monitoring image acquired before a predetermined time;
A background difference area extraction unit that extracts a background difference area by a difference process between a plurality of monitoring images acquired after the predetermined time and the background image;
A background abnormal region detection unit that compares background difference regions in the plurality of monitoring images and determines whether or not the background image includes an abnormal region due to a moving object;
An image sensor comprising:
請求項1に記載の画像センサにおいて、
前記異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって前記変化領域を抽出し、前記異常領域外においては前記背景差分領域を前記変化領域として抽出することを特徴とする画像センサ。
The image sensor according to claim 1.
The change area is extracted by difference processing between monitoring images captured at different times in the abnormal area, and the background difference area is extracted as the change area outside the abnormal area. .
請求項1又は2に記載の画像センサにおいて、
前記背景異常領域検出部は、前記複数の監視画像における背景差分領域の位置及び形状、並びに、前記複数の監視画像の互いに対応する画素の画素値を背景差分領域内において比較して、前記位置及び前記形状が略一致し、かつ、前記画素値が所定値以上に変動している場合に前記背景画像に移動物体による異常領域が含まれていると判定することを特徴とする画像センサ。
The image sensor according to claim 1 or 2,
The background abnormal area detection unit compares the position and shape of a background difference area in the plurality of monitoring images and pixel values of pixels corresponding to each other in the plurality of monitoring images in the background difference area, and An image sensor characterized by determining that an abnormal region due to a moving object is included in the background image when the shapes substantially match and the pixel value fluctuates to a predetermined value or more.
請求項1〜3のいずれか1つに記載の画像センサにおいて、
前記複数の監視画像間の差分領域を前記背景画像に含まれる異常領域から除外した領域を新たに取得した監視画像により更新して新たな背景画像を生成する背景画像更新部を備えることを特徴とする画像センサ。

In the image sensor as described in any one of Claims 1-3,
A background image update unit that generates a new background image by updating a region obtained by removing a difference region between the plurality of monitoring images from an abnormal region included in the background image with a newly acquired monitoring image, An image sensor.

JP2005377350A 2005-12-28 2005-12-28 Image sensor Active JP4832894B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005377350A JP4832894B2 (en) 2005-12-28 2005-12-28 Image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005377350A JP4832894B2 (en) 2005-12-28 2005-12-28 Image sensor

Publications (2)

Publication Number Publication Date
JP2007180933A true JP2007180933A (en) 2007-07-12
JP4832894B2 JP4832894B2 (en) 2011-12-07

Family

ID=38305635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005377350A Active JP4832894B2 (en) 2005-12-28 2005-12-28 Image sensor

Country Status (1)

Country Link
JP (1) JP4832894B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2014323A1 (en) 2007-07-10 2009-01-14 Nipro Corporation Cartridge liquid injector
JP2009026223A (en) * 2007-07-23 2009-02-05 Toyota Central R&D Labs Inc Object detector and program
JP2011033455A (en) * 2009-07-31 2011-02-17 Olympus Corp Image processing apparatus and program
JP2011193117A (en) * 2010-03-12 2011-09-29 Casio Computer Co Ltd Image processing apparatus, and program
JP2012208094A (en) * 2011-03-30 2012-10-25 Canon Inc Object detection device, object detection method, and program
US8675950B2 (en) 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
US8791998B2 (en) 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
JP2014197353A (en) * 2013-03-29 2014-10-16 株式会社メガチップス Image detection device, control program and image detection method
US8965103B2 (en) 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method
JP2015136054A (en) * 2014-01-17 2015-07-27 オリンパス株式会社 Image synthesizing apparatus, image synthesizing method, and program
WO2015159585A1 (en) * 2014-04-16 2015-10-22 ソニー株式会社 Image-processing device, imaging device, image-processing method, and program
JP2021086392A (en) * 2019-11-27 2021-06-03 キヤノン株式会社 Image processing apparatus, image processing method, and program
WO2022153599A1 (en) * 2021-01-18 2022-07-21 オムロン株式会社 Information processing device and information processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779429A (en) * 1993-09-08 1995-03-20 Toshiba Corp Picture monitor equipment
JPH11127430A (en) * 1997-10-24 1999-05-11 Hitachi Denshi Ltd Object recognizing method by image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779429A (en) * 1993-09-08 1995-03-20 Toshiba Corp Picture monitor equipment
JPH11127430A (en) * 1997-10-24 1999-05-11 Hitachi Denshi Ltd Object recognizing method by image processing

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2014323A1 (en) 2007-07-10 2009-01-14 Nipro Corporation Cartridge liquid injector
JP2009026223A (en) * 2007-07-23 2009-02-05 Toyota Central R&D Labs Inc Object detector and program
US8965103B2 (en) 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method
US8791998B2 (en) 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
JP2011033455A (en) * 2009-07-31 2011-02-17 Olympus Corp Image processing apparatus and program
US8675950B2 (en) 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
JP2011193117A (en) * 2010-03-12 2011-09-29 Casio Computer Co Ltd Image processing apparatus, and program
JP2012208094A (en) * 2011-03-30 2012-10-25 Canon Inc Object detection device, object detection method, and program
JP2014197353A (en) * 2013-03-29 2014-10-16 株式会社メガチップス Image detection device, control program and image detection method
JP2015136054A (en) * 2014-01-17 2015-07-27 オリンパス株式会社 Image synthesizing apparatus, image synthesizing method, and program
WO2015159585A1 (en) * 2014-04-16 2015-10-22 ソニー株式会社 Image-processing device, imaging device, image-processing method, and program
JP2021086392A (en) * 2019-11-27 2021-06-03 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP7433864B2 (en) 2019-11-27 2024-02-20 キヤノン株式会社 Image processing device, image processing method, and program
WO2022153599A1 (en) * 2021-01-18 2022-07-21 オムロン株式会社 Information processing device and information processing method
JP7509044B2 (en) 2021-01-18 2024-07-02 オムロン株式会社 Information processing device and information processing method

Also Published As

Publication number Publication date
JP4832894B2 (en) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4832894B2 (en) Image sensor
JP5218168B2 (en) Imaging device, moving object detection method, moving object detection circuit, program, and monitoring system
JP3123587B2 (en) Moving object region extraction method using background subtraction
JP4884331B2 (en) Moving object tracking device
JP5106356B2 (en) Image monitoring device
JP2008192131A (en) System and method for performing feature level segmentation
JP5832910B2 (en) Image monitoring device
KR101712136B1 (en) Method and apparatus for detecting a fainting situation of an object by using thermal image camera
JP2010160743A (en) Apparatus and method for detecting object
JP4740755B2 (en) Monitoring device using images
JP4990030B2 (en) Moving object detection device
KR101827113B1 (en) Apparatus and method for detecting proximal entity in pen
JP3721071B2 (en) Intruder detection system
JP5950628B2 (en) Object detection apparatus, object detection method, and program
JP5758165B2 (en) Article detection device and stationary person detection device
JP5805511B2 (en) Image monitoring device
JP3965003B2 (en) Image recognition device and monitoring device
JP2002150295A (en) Object detection method and object detection device
JP4828265B2 (en) Image sensor
JPH06274625A (en) Moving object tracking method for monitor image
JP4925942B2 (en) Image sensor
KR101827114B1 (en) Apparatus and method for detecting proximal entity in pen
JP7290961B2 (en) Image processing device and image processing program
JP2011039584A (en) Unclaimed object detecting device
JP6133700B2 (en) Image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110921

R150 Certificate of patent or registration of utility model

Ref document number: 4832894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250