JP2008042423A - Image monitoring apparatus - Google Patents

Image monitoring apparatus Download PDF

Info

Publication number
JP2008042423A
JP2008042423A JP2006212733A JP2006212733A JP2008042423A JP 2008042423 A JP2008042423 A JP 2008042423A JP 2006212733 A JP2006212733 A JP 2006212733A JP 2006212733 A JP2006212733 A JP 2006212733A JP 2008042423 A JP2008042423 A JP 2008042423A
Authority
JP
Japan
Prior art keywords
image
area
region
image monitoring
monitoring apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006212733A
Other languages
Japanese (ja)
Other versions
JP4811184B2 (en
Inventor
Chieko Konuma
小沼  知恵子
Masanori Miyoshi
雅則 三好
Hiroshi Shojima
博 正嶋
Seiya Ito
誠也 伊藤
Masahiro Kiyohara
將裕 清原
Masato Takeuchi
政人 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006212733A priority Critical patent/JP4811184B2/en
Publication of JP2008042423A publication Critical patent/JP2008042423A/en
Application granted granted Critical
Publication of JP4811184B2 publication Critical patent/JP4811184B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a high precision image monitoring apparatus which accurately detects an object even if a background and a detection object have similar luminance, gets rid of missing a report, and reduces an erroneous report. <P>SOLUTION: The apparatus captures an image photographed by a camera, and calculates a feature amount for a variance region which is extracted by a variance region extraction means from an input image. When the calculated feature amount is smaller than an amount of the detection object, an expansion region determination means expands a region around the extracted variance region, carries out the correlation of the background and the input image, and determines a region whose similarity degree is lower than a threshold as an expansion region. In the determined expansion region, a sensitivity-up processing means performs the luminance conversion of the expansion region for the background and the input image, corrects the luminance, an object extraction means extracts an object using the corrected image, and an object detection discrimination processing means detects whether an object exists or not for the object extracted by the object extraction means. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、監視用の画像監視装置に関し、特に対象の物体を正確に検知することを実現する画像監視装置に関するものである。   The present invention relates to an image monitoring apparatus for monitoring, and more particularly to an image monitoring apparatus that realizes accurate detection of a target object.

背景と対象の輝度が類似している場合の画像監視装置の中で、背景差分した画像に対してゲインアップを行って変化領域を検知する技術が公開されている。   Among image monitoring apparatuses in the case where the background and the target brightness are similar, a technique for detecting a change area by performing gain increase on an image obtained by subtracting the background is disclosed.

また、予め設定した対象を検知して、この検出結果に基づいて補正パラメータを設定し、検知対象を補正する技術が公開されている。   Further, a technique for detecting a preset target, setting a correction parameter based on the detection result, and correcting the detection target is disclosed.

特開2003−274395号公報JP 2003-274395 A 特開2004−236110号公報Japanese Patent Laid-Open No. 2004-236110

監視用画像処理装置において、例えば、検知した変化領域が正規の発報対象でも、背景と対象が類似の輝度である場合、検知対象の正確な領域を抽出できない状況においては、特徴量算出のパラメータ(例えば、面積値)に条件が合致しないため発報しない。従って未検知状態(以下、失報とする)になってしまう。そこで、失報を無くして、誤報を低減する必要がある。   In the monitoring image processing apparatus, for example, when the detected change area is a regular notification target but the background and the target have similar brightness, in the situation where the accurate area of the detection target cannot be extracted, the parameter for calculating the feature amount No report is issued because the condition does not match (for example, area value). Therefore, it will be in an undetected state (hereinafter referred to as unreported). Therefore, it is necessary to eliminate misreports and reduce false alarms.

また、背景と対象が類似の輝度である場合、対象の一部(極小)の領域しか検知しないため、物体を正確に検知できない。この結果に基づいて補正パラメータを設定しても物体検知に適切なパラメータではないため、正確な補正ができなくなってしまう。そこで、対象物体を正確に検知する必要がある。   In addition, when the background and the target have similar brightness, only a part (minimum) of the target is detected, so that the object cannot be detected accurately. Even if the correction parameter is set based on this result, it is not a parameter suitable for object detection, and therefore accurate correction cannot be performed. Therefore, it is necessary to accurately detect the target object.

従来技術の特許文献1では、入力画像と背景画像の輝度差分を算出して、背景画像が低輝度エリアか高輝度エリアかを判定し、更に、輝度差分が正値か負値かを判定して、その判定結果により輝度差分に所定のゲインアップを施して増大させる。カメラで撮影した画像は、画像全体にノイズ(例えば、CCDノイズ)や外乱(例えば、光や影)が発生することが多く、これらも増幅されるので、失報は低減できるが、誤報が増してしまうという問題があった。   In Patent Document 1 of the prior art, a luminance difference between an input image and a background image is calculated to determine whether the background image is a low luminance area or a high luminance area, and further, whether the luminance difference is a positive value or a negative value is determined. The luminance difference is increased by a predetermined gain according to the determination result. An image taken with a camera often generates noise (for example, CCD noise) or disturbance (for example, light or shadow) in the entire image, and these are also amplified, so that false alarms can be reduced, but false alarms increase. There was a problem that.

また、従来技術の特許文献2では、入力画像の中に予め設定した対象が含まれるかどうかを検出して、この結果に基づいて補正パラメータを設定して入力画像を補正するものである。背景と対象が類似の輝度である場合、対象の一部(極小)の領域しか検知しないため、物体を正確に検知できない。この結果に基づいて補正パラメータを設定しても物体検知に適切なパラメータではないため、正確な補正ができなくなってしまうという問題があった。   Further, in Patent Document 2 of the prior art, it is detected whether a preset target is included in the input image, and a correction parameter is set based on this result to correct the input image. When the background and the target have similar brightness, only a part (minimum) area of the target is detected, and thus the object cannot be detected accurately. Even if the correction parameter is set based on this result, it is not a parameter suitable for object detection, so that there is a problem that accurate correction cannot be performed.

このような問題に鑑みて、本発明は背景と検知対象が類似の輝度を持っている場合においても物体を正確に検知し、失報を無くして、誤報を低減した画像監視装置を得ることを目的としている。   In view of such problems, the present invention provides an image monitoring apparatus that accurately detects an object even when the background and the detection target have similar luminance, eliminates false alarms, and reduces false alarms. It is aimed.

上記課題を解決するために、本発明はカメラで撮影された画像を監視する画像監視装置において、前記カメラで撮影された画像を取り込み、変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が検知対象の大きさ未満の場合、前記抽出した変化領域周辺に領域を拡張する拡張領域決定手段と、前記拡張した領域の輝度を補正する感度補正処理手段と、該感度補正処理手段により感度アップした画像を用いて物体を検知する物体抽出手段とを備えることを特徴とするものである。   In order to solve the above-mentioned problems, the present invention provides an image monitoring apparatus for monitoring an image taken by a camera, a change area extracting means for capturing an image taken by the camera and extracting a change area, and the extracted change. If the area is smaller than the size of the detection target, an expanded area determination unit that expands the area around the extracted change area, a sensitivity correction processing unit that corrects the luminance of the expanded area, and a sensitivity correction by the sensitivity correction processing unit And an object extracting means for detecting an object using the uploaded image.

更に、上記課題を解決するために、本発明はカメラで撮影された画像を監視する画像監視装置において、前記カメラで撮影された画像を取り込み、変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が検知対象の大きさ未満の場合、前記抽出した変化領域周辺に領域を拡張する拡張領域決定手段と、前記拡張した領域に照準させて照明を照射する照明点灯制御手段と、該照明点灯制御手段により照射された画像をカメラで取り込み、前記物体抽出処理手段で変化領域を抽出し、該抽出した変化領域の物体を検知する物体抽出手段とを備えることを特徴とするものである。   Furthermore, in order to solve the above-described problem, the present invention provides an image monitoring apparatus that monitors an image captured by a camera, a change area extraction unit that captures an image captured by the camera and extracts a change area, and the extraction If the changed area is smaller than the size of the detection target, an extended area determining means for expanding the area around the extracted changed area, an illumination lighting control means for illuminating the expanded area with aiming, and the illumination The image processing apparatus includes: an object extraction unit that captures an image irradiated by the lighting control unit with a camera, extracts a change region by the object extraction processing unit, and detects an object in the extracted change region.

また、本発明の画像監視装置において、前記変化領域抽出手段は、1フレーム以上を累積した画像を用いることを特徴とするものである。   In the image monitoring apparatus of the present invention, the change area extraction means uses an image in which one frame or more is accumulated.

また、本発明の画像監視装置において、前記拡張領域決定手段は、算出した検知対象となる物体の大きさを用いて領域を拡張することを特徴とするものである。   In the image monitoring apparatus according to the present invention, the extended area determination means extends the area using the calculated size of the object to be detected.

また、本発明の画像監視装置において、前記感度補正処理手段は、拡張領域決定手段で決定した領域の輝度分布を用いて輝度変換を行うことを特徴とするものである。   In the image monitoring apparatus of the present invention, the sensitivity correction processing unit performs luminance conversion using the luminance distribution of the region determined by the extended region determining unit.

また、本発明の画像監視装置において、前記物体抽出手段で抽出した物体に対し、物体の異常有無を判定する物体検知判定処理手段と、該物体検知判定処理手段で異常であると判定されると監視員に報知する検知結果報知手段とを備えることを特徴とするものである。   In the image monitoring apparatus according to the present invention, when the object extracted by the object extraction unit is determined to be abnormal by the object detection determination processing unit that determines whether the object is abnormal or not, and the object detection determination processing unit. It is provided with the detection result alerting | reporting means alert | reported to a monitoring person.

また、本発明の画像監視装置において、前記検知結果報知手段は、前記感度アップ処理手段により感度アップした画像を表示することを特徴とするものである。   In the image monitoring apparatus according to the present invention, the detection result notifying unit displays an image whose sensitivity is increased by the sensitivity increasing processing unit.

また、本発明の画像監視装置において、前記照明点灯制御手段は、照射の点灯制御可能な照明装置を用いることを特徴とするものである。   In the image monitoring apparatus of the present invention, the illumination lighting control means uses an illumination device capable of controlling illumination lighting.

また、本発明の画像監視装置において、前記検知結果報知手段は、前記照明点灯制御手段により検知物体に照準させて照射した画像を表示することを特徴とするものである。   Further, in the image monitoring apparatus of the present invention, the detection result notifying unit displays an image irradiated with the object illuminated by the illumination lighting control unit.

本発明によれば、背景と検知対象が類似の輝度を持っている場合においても物体を正確に検知し、失報を無くして、誤報を低減した画像監視装置を実現できる効果がある。   According to the present invention, there is an effect that it is possible to realize an image monitoring apparatus that accurately detects an object even when the background and the detection target have similar brightness, eliminates misreporting, and reduces false alarms.

また、監視員がモニタを見続ける手間を省き、異常時のみ監視でき、検知物体(例えば人物)が異常な状態の場合は、監視員は状態を即座に把握できる効果があり、異常発生時には、適切な対策ができる効果がある。   In addition, it saves the trouble of monitoring the monitor and can monitor only when there is an abnormality. If the detected object (for example, a person) is in an abnormal state, the observer can immediately grasp the state. There is an effect that appropriate measures can be taken.

本発明を用いた画像監視装置の例を、図面を用いて説明する。   An example of an image monitoring apparatus using the present invention will be described with reference to the drawings.

図1を用いて実施例を説明する。   An embodiment will be described with reference to FIG.

図1において、カメラ10が、監視対象シーン30の対象物体(例えば、人物)40を撮影して、カメラからの映像信号20を画像処理装置50へ伝送すると、画像処理装置
50は、映像信号20を処理し、対象物体40が存在した場合に異常発生有無を検知し、異常が発生した場合に表示装置900に、監視対象シーン30の映像を含む対象物体40の異常発生の場所や時刻等を報知する役割を有する。監視員1000は、表示装置900の表示内容から、発生場所や発生状況等に即した適切な指示が行える効果がある。また、対象物体40の異常発生時のみ、表示装置900に、監視対象シーン30の映像を表示する。一方、正常時は表示装置900に、監視対象シーン30の映像を表示しないので、監視員がモニタを見続ける手間を省き効率よく監視ができるという効果がある。更に、カメラ10は、監視対象シーン30に1台でもよいため、安価な構成の監視装置が実現できる効果がある。また、画像処理装置50は、画像処理が実現できるPC、又は、画像処理専用装置で構成しても良い。
In FIG. 1, when the camera 10 captures a target object (for example, a person) 40 of the monitoring target scene 30 and transmits the video signal 20 from the camera to the image processing device 50, the image processing device 50 displays the video signal 20. When the target object 40 exists, the presence / absence of the abnormality is detected, and when the abnormality occurs, the display device 900 indicates the location and time of occurrence of the abnormality of the target object 40 including the video of the monitoring target scene 30. It has a role to inform. There is an effect that the monitor 1000 can give an appropriate instruction in accordance with the place of occurrence and the situation of occurrence from the display content of the display device 900. In addition, the video of the monitoring target scene 30 is displayed on the display device 900 only when an abnormality occurs in the target object 40. On the other hand, since the video of the monitoring target scene 30 is not displayed on the display device 900 at the normal time, there is an effect that it is possible to efficiently monitor by eliminating the trouble of the monitor watching the monitor. Furthermore, since only one camera 10 may be provided for the monitoring target scene 30, there is an effect that an inexpensive monitoring device can be realized. Further, the image processing apparatus 50 may be configured by a PC capable of performing image processing or an image processing dedicated apparatus.

画像処理装置50は、画像入力部200,変化領域抽出部300,拡張領域決定部400,感度アップ処理部500,物体抽出部550,物体検知判定処理部600,検知結果報知部850で構成する。   The image processing apparatus 50 includes an image input unit 200, a change region extraction unit 300, an extended region determination unit 400, a sensitivity enhancement processing unit 500, an object extraction unit 550, an object detection determination processing unit 600, and a detection result notification unit 850.

画像処理装置50における処理は、まず、画像入力部200がカメラ10の映像信号
20を入力すると、変化領域抽出部300が背景画像と入力画像から変化領域を抽出してノイズ部を除去しラベル毎の面積(以下、ラベル面積)を算出する。変化領域抽出部300で算出したラベル面積を用いて、拡張領域決定部400は算出したラベル面積が対象物体40の大きさ未満(閾値未満)か否かを判定して、閾値未満ならば物体の一部しか抽出されないとして、抽出した変化領域周辺に領域を拡張して、背景画像と入力画像の相関を行って類似度が閾値以下の領域を拡張領域として決定し、感度アップ処理部500が、拡張領域決定部400で決定された領域の感度アップを行う。物体抽出部550が、感度アップされた領域に対して、背景画像と入力画像を用いて物体領域を抽出すると、物体検知判定処理部600は、物体の有無を検知して、物体有りの場合、物体の異常有無を判定して、検知結果報知部850に報知する。
In the processing in the image processing apparatus 50, first, when the image input unit 200 inputs the video signal 20 of the camera 10, the change region extraction unit 300 extracts the change region from the background image and the input image, removes the noise portion, and removes each label. Is calculated (hereinafter referred to as label area). Using the label area calculated by the change region extraction unit 300, the extended region determination unit 400 determines whether the calculated label area is less than the size of the target object 40 (less than the threshold value). Assuming that only a part is extracted, the region is expanded around the extracted change region, the background image and the input image are correlated to determine a region whose similarity is equal to or less than the threshold, and the sensitivity increase processing unit 500 The sensitivity of the area determined by the extended area determination unit 400 is increased. When the object extraction unit 550 extracts an object region using the background image and the input image with respect to the region whose sensitivity has been increased, the object detection determination processing unit 600 detects the presence or absence of an object. The presence / absence of an abnormality of the object is determined, and the detection result notification unit 850 is notified.

拡張領域決定部400は算出した特徴量が対象物体40の大きさ(閾値以上)の場合、物体検知判定処理部600は、変化領域抽出部300が抽出した領域から物体の有無を検知して、物体有りの場合、物体の異常有無を判定して、検知結果報知部850に報知する。   When the calculated feature amount is the size of the target object 40 (greater than or equal to the threshold value), the extended region determination unit 400 detects the presence or absence of an object from the region extracted by the change region extraction unit 300, and If there is an object, the presence / absence of the abnormality of the object is determined, and the detection result notification unit 850 is notified.

これらの画像入力部200,変化領域抽出部300,拡張領域決定部400,感度アップ処理部500,物体抽出部550,物体検知判定処理部600,検知結果報知部850を所定の時間間隔、例えば、処理の1サイクル等の短時間で繰り返し実行される。   These image input unit 200, change region extraction unit 300, extended region determination unit 400, sensitivity enhancement processing unit 500, object extraction unit 550, object detection determination processing unit 600, and detection result notification unit 850 are set at predetermined time intervals, for example, It is repeatedly executed in a short time such as one cycle of processing.

これにより、背景と検知対象が類似の輝度を持っている場合においても、リアルタイムに物体を正確に検知し、失報を無くし誤報を低減することが可能になる効果がある。   As a result, even when the background and the detection target have similar brightness, it is possible to detect the object accurately in real time, eliminate the false alarm, and reduce the false alarm.

図2は、画像処理装置50の処理手順例を示すフローチャートである。まず、画像入力部200で入力した画像を用いて、ステップ252が入力画像をn(例えば、1≦n≦
10)フレーム分累積して入力画像累積(以下、入力画像とする)を行う。ステップ251が初期入力画像を初期背景画像とする。
FIG. 2 is a flowchart illustrating an example of a processing procedure of the image processing apparatus 50. First, using the image input by the image input unit 200, the step 252 converts the input image to n (for example, 1 ≦ n ≦
10) Accumulate input frames and accumulate input images (hereinafter referred to as input images). Step 251 sets the initial input image as the initial background image.

次に、ステップ253で作成した背景差分画像を、ステップ254が所定の閾値で2値化して2値画像の面積を用いて変化領域が抽出されたか否かを判定する。ステップ254における変化領域抽出可否の閾値は、ノイズ等を除外する値(ノイズのみの場合はラベル面積が例えば20以下)である。ステップ254で変化領域なしの場合、ステップ210は、ステップ251の背景画像と該入力画像をn(例えば、1≦n≦10)フレーム分累積して背景画像を累積し、ステップ251の背景画像の更新を行う。   Next, the background difference image created in step 253 is binarized with a predetermined threshold value in step 254, and it is determined whether or not a change area is extracted using the area of the binary image. The threshold value of whether or not the change area can be extracted in step 254 is a value that excludes noise or the like (in the case of only noise, the label area is 20 or less, for example). When there is no change area in step 254, step 210 accumulates the background image of step 251 and the input image for n (for example, 1 ≦ n ≦ 10) frames to accumulate the background image, and the background image of step 251 is accumulated. Update.

ステップ254で変化領域ありの場合、ステップ255が、変化領域のラベル面積をチェックして、閾値(対象物体抽出の閾値であり、対象物体とカメラの撮影条件に依存する)以上の場合は対象物体の大部分を抽出した物体領域としてステップ599を行う。   In the case where there is a change area in step 254, the target area is checked if step 255 checks the label area of the change area and is equal to or greater than a threshold (the target object extraction threshold depends on the shooting conditions of the target object and the camera). Step 599 is performed on the extracted object region.

ステップ254で抽出領域のラベル面積が閾値未満の場合、対象物体の一部しか抽出できないとしてステップ256を処理する。   If the label area of the extraction region is less than the threshold value in step 254, step 256 is processed assuming that only a part of the target object can be extracted.

ステップ256は、抽出した対象物体の一部を内包した全体が存在する拡張領域を算出する。ステップ256における拡張領域のサイズは、ステップ260で求め、対象物体1つの大きさとカメラの撮影条件から大きさを決定する。   In step 256, an extended region in which an entire part of the extracted target object is included is calculated. The size of the extended area in step 256 is obtained in step 260, and the size is determined from the size of one target object and the shooting conditions of the camera.

ステップ290は、ステップ256で求めた拡張領域が適切か否かを正規化相関により判断する。ステップ291は、ステップ290が算出した正規化相関値が閾値以上の場合、ステップ256で求めた拡張領域において背景画像と入力画像が類似している、即ち、対象物体が存在しないものとする。ステップ293で拡張領域が全て終了したか否かをチェックし、終了しない場合は、ステップ256に戻り拡張領域を変更して再度算出する。ステップ291で正規化相関値が閾値未満の場合、ステップ256で求めた拡張領域において背景画像と入力画像が類似していない、即ち、対象物体が存在するとして、ステップ270は、ステップ256の拡張領域に対して感度アップを行う。   In step 290, whether or not the extended region obtained in step 256 is appropriate is determined based on the normalized correlation. In step 291, when the normalized correlation value calculated in step 290 is greater than or equal to the threshold value, it is assumed that the background image and the input image are similar in the extended region obtained in step 256, that is, the target object does not exist. In step 293, it is checked whether or not all the extended areas have been completed. If not, the process returns to step 256 to change the extended areas and calculate again. If the normalized correlation value is less than the threshold value in step 291, the background image and the input image are not similar in the extended region obtained in step 256, that is, the target object exists, step 270 is the extended region in step 256. Increase sensitivity.

ステップ292は、ステップ270で感度アップした画像を用いて、物体抽出を行い、ステップ599が、物体有無を検知し、物体有りの場合、物体の異常有無を判定する。   In step 292, object extraction is performed using the image whose sensitivity has been increased in step 270, and in step 599, the presence or absence of an object is detected.

ステップ290は、正規化相関により判断するが、の代わりに平均輝度値、又は、エッジの平均輝度値を用いてもよい。   The step 290 is determined by the normalized correlation, but instead of using the average luminance value or the average luminance value of the edge.

図3は、画像処理装置50の他の処理手順例を示すフローチャートである。ステップ
270は、ステップ256の拡張領域に対して背景画像累積と入力画像累積の感度アップを行い、ステップ290が、感度アップした画像の拡張領域が適切か否かを正規化相関により判断する。
FIG. 3 is a flowchart showing another processing procedure example of the image processing apparatus 50. In step 270, the sensitivity of background image accumulation and input image accumulation is increased for the extended region in step 256, and step 290 determines whether or not the extended region of the image whose sensitivity has been increased is appropriate based on the normalized correlation.

ステップ291は、ステップ290が算出した正規化相関値が閾値以上の場合、ステップ256で求めた拡張領域において背景画像と入力画像が類似している、即ち、対象物体が存在しないものとする。ステップ293で拡張領域が全て終了したか否かをチェックし、終了しない場合は、ステップ256に戻り拡張領域を変更して再度算出する。   In step 291, when the normalized correlation value calculated in step 290 is greater than or equal to the threshold value, it is assumed that the background image and the input image are similar in the extended region obtained in step 256, that is, the target object does not exist. In step 293, it is checked whether or not all the extended areas have been completed. If not, the process returns to step 256 to change the extended areas and calculate again.

ステップ292は、ステップ270で感度アップした画像を用いて、物体抽出を行い、ステップ599が、物体有無を検知し、物体有りの場合、物体の異常有無を判定する。   In step 292, object extraction is performed using the image whose sensitivity has been increased in step 270, and in step 599, the presence or absence of an object is detected.

図4は、変化領域抽出部300における変化領域を抽出する処理手順例を示すフローチャートである。まず、ステップ301が画像を取り込み入力画像とする。ステップ302は、入力画像をn(例えば、1≦n≦10)フレーム分累積して入力画像累積(入力画像)を行う。ステップ303は、背景画像を作成済みか否かチェックし、背景画像を作成済みでない場合、ステップ304を処理し、背景画像が存在する場合、ステップ305を処理する。ステップ304は、入力画像から初期背景画像を作成し、該画像を背景画像とする。ステップ304の初期背景画像の作成は、撮影シーンに対象物体40が存在していない状態の入力画像を少なくても1フレーム用いる。ステップ305は、ステップ304の背景画像をn(例えば、1≦n≦10)フレーム分累積して背景画像累積(背景画像)を行う。   FIG. 4 is a flowchart illustrating an example of a processing procedure for extracting a change region in the change region extraction unit 300. First, step 301 captures an image and sets it as an input image. In step 302, input images are accumulated (input images) by accumulating n (for example, 1 ≦ n ≦ 10) frames of input images. Step 303 checks whether or not a background image has been created. If a background image has not been created, step 304 is processed. If a background image exists, step 305 is processed. Step 304 creates an initial background image from the input image, and uses the image as a background image. The creation of the initial background image in step 304 uses at least one frame of an input image in a state where the target object 40 does not exist in the shooting scene. In step 305, the background image of step 304 is accumulated for n (for example, 1 ≦ n ≦ 10) frames to perform background image accumulation (background image).

ステップ306は、ステップ302の入力画像とステップ305の背景画像から、画素毎の輝度差の差分画像を作成し、ステップ307が、前記差分画像から所定の閾値(8〜14程度)以上を変化領域として抽出する。その後、ステップ308は、変化領域のラベル面積を算出して閾値(例えば、ノイズ除外の20程度)以上か否かチェックし、閾値以上の場合は、ステップ309を処理し、閾値未満の場合は、変化なしとして、ステップ
310を処理する。ステップ310は、変化のない入力画像を新たな背景画像とし累積し、背景更新を行う。ステップ309は、ステップ307が抽出した変化領域に対し、ノイズ除去(例えば、ラベル面積が20以下)等を行って整形した後、膨張及び/又は収縮等により近隣を統合して抽出領域を作成し、これを物体領域とする。
Step 306 creates a difference image of a luminance difference for each pixel from the input image of step 302 and the background image of step 305, and step 307 changes a predetermined threshold (about 8 to 14) or more from the difference image. Extract as Thereafter, step 308 calculates the label area of the change region and checks whether or not it is equal to or greater than a threshold (for example, about 20 for noise exclusion). If it is equal to or greater than the threshold, step 309 is processed. Step 310 is processed with no change. In step 310, the input image without change is accumulated as a new background image, and the background is updated. In step 309, the changed region extracted in step 307 is shaped by performing noise removal (for example, the label area is 20 or less) and the like, and then the neighborhood is integrated by expansion and / or contraction to create an extraction region. This is the object area.

図5は、拡張領域決定部400の決定手順例を示す説明図である。抽出した対象物体
60は、対象物体1個の大きさより十分小さいため、一部分しか抽出されていない。そこで、物体大きさ算出部260で算出した対象物体1個サイズの外接矩形を用いて、
まず、1回目91で抽出した対象物体40の一部を下側に内包した拡張領域50aを算出する。拡張領域50aに対して、背景画像30aと入力画像30の領域間で正規化相関80を行って類似度を計算する。類似度をチェックして、拡張領域50aの場合では、大部分が背景であり、類似度が閾値(例えば、0.6 )以上81となり、物体を抽出する領域が適切ではない。
FIG. 5 is an explanatory diagram illustrating an example of a determination procedure performed by the extended region determination unit 400. Since the extracted target object 60 is sufficiently smaller than the size of one target object, only a part is extracted. Therefore, by using a circumscribed rectangle of one target object size calculated by the object size calculation unit 260,
First, an extended region 50a in which a part of the target object 40 extracted in the first time 91 is included is calculated. A similarity is calculated by performing a normalized correlation 80 between the background image 30a and the input image 30 for the extended region 50a. When the similarity is checked, in the case of the extended region 50a, most of the background is the background, the similarity is 81 over a threshold (for example, 0.6), and the region for extracting the object is not appropriate.

次に、2回目92で抽出した対象物体40の一部を中央側に内包した拡張領域50bを算出する。拡張領域50bに対して、背景画像30aと入力画像30bの領域間で正規化相関80を行って類似度を計算する。類似度をチェックして、拡張領域50bの場合では、背景が多く、類似度が閾値(例えば、0.6 )以上82となり、物体を抽出する領域が適切ではない。   Next, an extended region 50b in which a part of the target object 40 extracted in the second time 92 is included on the center side is calculated. A similarity is calculated by performing a normalized correlation 80 between the background image 30a and the input image 30b for the extended region 50b. When the similarity is checked, in the case of the extended region 50b, there are many backgrounds, the similarity is equal to or greater than a threshold (for example, 0.6) 82, and the region from which the object is extracted is not appropriate.

最後に、3回目93で抽出した対象物体40の一部を上側に内包した拡張領域50cを算出する。拡張領域50cに対して、背景画像30aと入力画像30の領域間で正規化相関80を行って類似度を計算する。類似度をチェックして、拡張領域50cの場合では、大部分が物体領域であるので、類似度が閾値(例えば、0.6 )以下83となり、物体を抽出する領域が適切である。   Finally, an extended region 50c including a part of the target object 40 extracted in the third time 93 is calculated. A similarity is calculated by performing a normalized correlation 80 between the background image 30a and the input image 30 for the extended region 50c. In the case of the extended region 50c, the similarity is checked, and most of the region is an object region. Therefore, the similarity is 83 below a threshold (for example, 0.6), and the region from which the object is extracted is appropriate.

物体大きさ算出部260で算出した対象物体1個サイズの外接矩形は、対象物体とカメラの撮影条件に依存する。   The circumscribed rectangle of one target object size calculated by the object size calculation unit 260 depends on the shooting conditions of the target object and the camera.

拡張領域は、対象物体とカメラの撮影条件に最適なサイズを算出して対象物体付近に適切に作成するため、対象物体を効率良く正確に抽出できる効果がある。   Since the extension area is appropriately created near the target object by calculating the optimum size for the target object and the shooting conditions of the camera, there is an effect that the target object can be extracted efficiently and accurately.

また、正規化相関80は、数式1で計算する。   Also, the normalized correlation 80 is calculated by Equation 1.

Figure 2008042423
Figure 2008042423

図6は、拡張領域決定部400の処理手順例を示すフローチャートである。ステップ
255が、変化領域のラベル面積をチェックして、閾値以上の場合は対象物体の大部分を抽出した物体領域としてステップ599を行う。閾値未満の場合、ステップ294が、ステップ255の変化領域に対して、i回目の物体大きさ領域を設定してステップ290が正規化相関を行って類似度を算出する。ステップ291が類似度をチェックし、閾値以上の場合は、物体が存在しないとして、ステップ293を処理する。ステップ293で拡張領域が終了したか否かを判定し、終了しない場合、ステップ294へ戻る。ステップ291のチェックが、閾値未満の場合は、物体が存在するとして、ステップ270,ステップ
292,ステップ599を処理する。
FIG. 6 is a flowchart illustrating an example of a processing procedure of the extended area determination unit 400. In step 255, the label area of the change area is checked, and if it is equal to or greater than the threshold value, step 599 is performed as an object area from which most of the target object is extracted. If it is less than the threshold, step 294 sets the i-th object size region for the changed region of step 255, and step 290 performs normalized correlation to calculate the similarity. Step 291 checks the degree of similarity, and if it is greater than or equal to the threshold, step 293 is processed assuming that no object exists. In step 293, it is determined whether or not the extended area has ended. If not, the process returns to step 294. If the check in step 291 is less than the threshold value, it is assumed that an object exists, and step 270, step 292, and step 599 are processed.

図7は、物体大きさ算出部260が対象物体1個のサイズ算出例を示す説明図である。まず、カメラ10の撮影シーンにおいて、対象物体40の全身が映っているものとする。ここでは、カメラ10のパラメータであるレンズ焦点距離f122,カメラ俯角θ124,カメラ高さH123,カメラ座標(x,y)121が既知である。そして、カメラ設置の足元真下をワールド座標の原点125とし、人物位置のワールド座標(X,Y)は数式2で計算できる。   FIG. 7 is an explanatory diagram illustrating an example in which the object size calculation unit 260 calculates the size of one target object. First, it is assumed that the whole body of the target object 40 is shown in the shooting scene of the camera 10. Here, the lens focal length f122, the camera depression angle θ124, the camera height H123, and the camera coordinates (x, y) 121 that are parameters of the camera 10 are known. Then, the world coordinate origin (X, Y) can be calculated by Equation 2 using the world coordinate origin 125 immediately below the foot of the camera installation.

Figure 2008042423
Figure 2008042423

いま、カメラに映っている全身シーンに移動体は、抽出したシルエットから頭頂位置
T(X,Yt,O)129と人物126の足元位置S(X,Ys,O)128のカメラ座標が算出できる。また、ワールド座標での人物の身長h127は、数式3で算出できる。
(数3)
h=(1−Ys/Yt)H …(数式3)
これより、カメラ10に出現した移動体の身長は、hであることが分り、抽出した移動体の頭頂位置T(X,Yt,O)129から足元位置S(X,Ys,O)までの大きさを、カメラ10における全身シルエットとする。
Now, the moving body in the whole body scene reflected in the camera can calculate the camera coordinates of the top position T (X, Yt, O) 129 and the foot position S (X, Ys, O) 128 of the person 126 from the extracted silhouette. . Further, the height h127 of the person in world coordinates can be calculated by Equation 3.
(Equation 3)
h = (1-Ys / Yt) H (Formula 3)
From this, it can be seen that the height of the moving object that has appeared in the camera 10 is h, and from the top position T (X, Yt, O) 129 of the extracted moving object to the foot position S (X, Ys, O). The size is the whole body silhouette in the camera 10.

ここで、検知対象の大きさは、身長hが160cmの人物(平均的な大人)を基準とし、足元から頭までの全身シルエットの大きさ、即ち面積(画素数Aとする)を予め算出して、該大きさを基に判定する。例えば、変化領域の面積がAAの5%〜40%程度の場合、検知対照の大きさ未満とし、40%程度以上の場合、検知対象の大部分を抽出したと判定する。   Here, the size of the detection target is based on a person (average adult) whose height is 160 cm, and the size of the whole body silhouette from the feet to the head, that is, the area (the number of pixels A) is calculated in advance. The determination is made based on the size. For example, when the area of the change region is about 5% to 40% of AA, it is less than the size of the detection control, and when it is about 40% or more, it is determined that most of the detection target is extracted.

図8は、感度アップ処理部500が感度アップする輝度変換例を示す説明図である。入力画像30bにおける拡張領域50cに対して輝度分布(ヒストグラム)を計算し、輝度分布が最大61の輝度付近において小さい輝度(暗い輝度)62と大きい輝度(明るい輝度)63を算出する。変換前の輝度65に対して、変換後の輝度66は、輝度62から輝度63をアップするような変換(感度アップ)を行う。   FIG. 8 is an explanatory diagram illustrating a luminance conversion example in which the sensitivity increase processing unit 500 increases the sensitivity. A luminance distribution (histogram) is calculated for the extended region 50c in the input image 30b, and a small luminance (dark luminance) 62 and a large luminance (bright luminance) 63 are calculated in the vicinity of the luminance distribution having the maximum luminance distribution of 61. With respect to the luminance 65 before conversion, the luminance 66 after conversion is converted (sensitivity increased) so as to increase the luminance 63 from the luminance 62.

ここで、算出する小さい輝度(暗い輝度)62と大きい輝度(明るい輝度)63は、拡張領域50cの平均輝度を用いて算出してもよい。   Here, the calculated low luminance (dark luminance) 62 and high luminance (bright luminance) 63 may be calculated using the average luminance of the extended region 50c.

図9は、物体検知判定処理部600の処理手順例を示すフローチャートである。ステップ309が抽出した物体を、ステップ601は、対象物体40であるとして検知する。ステップ602は、検知した物体の外接矩形を算出して、ステップ603が、外接矩形内のオプティカルフローを計算する。ステップ604が、オプティカルフローを用いて移動ベクトルの方向と大きさを分類して、ステップ605は、移動ベクトルの方向が不統一で大きさが大(閾値以上)の状態の回数が所定値に達したか否かをチェックする。ステップ
605のチェックで、所定値に達した場合、ステップ606が異常ありと判定し、ステップ607が、異常情報を格納する。ステップ605のチェックで、所定値未満の場合、ステップ609が正常と判定する。ステップ608は、処理を続けるか否か判定し、続行の場合はステップ309へ戻り、それ以外は終了する。
FIG. 9 is a flowchart illustrating a processing procedure example of the object detection determination processing unit 600. The object extracted in step 309 is detected as the target object 40 in step 601. Step 602 calculates a circumscribed rectangle of the detected object, and step 603 calculates an optical flow within the circumscribed rectangle. Step 604 classifies the direction and size of the movement vector using the optical flow, and step 605 determines that the number of times that the direction of the movement vector is inconsistent and large (greater than or equal to the threshold value) reaches a predetermined value. Check if you did. If it is determined in step 605 that the predetermined value has been reached, step 606 determines that there is an abnormality, and step 607 stores abnormality information. If it is determined in step 605 that the value is less than the predetermined value, step 609 is determined to be normal. In step 608, it is determined whether or not to continue the process. If the process is continued, the process returns to step 309, and otherwise the process ends.

ここで、ステップ603が処理する外接矩形内のオプティカルフローの計算は、外接矩形内をブロックに分割し、各ブロック内パターンと類似のパターンが、どこに移動したかを探索して、類似パターンが見つかった場合、移動量と方向(ベクトル)をオプティカルフローとする標準的な手法でよい。   Here, in the calculation of the optical flow in the circumscribed rectangle processed in step 603, the circumscribed rectangle is divided into blocks, and the similar pattern is found by searching where the pattern similar to the pattern in each block has moved. In this case, a standard method using the movement amount and direction (vector) as an optical flow may be used.

図10は、検知結果報知部850の内部を示した例である。表示制御部860は、物体検知判定処理部600が検知した対象物体40に関する暴行等の異常発生時の画像や情報等を用いて、表示データ生成部870が、異常発生時のカメラ識別情報,発生日時,異常種別等を生成する。一方、表示画像生成部880は、異常発生時の画像及び/又は異常発生時の画像に加えて異常発生時前の画像を生成する。表示画像合成部890は、表示データ生成部870で生成したデータと表示画像生成部880で生成した画像を用いて、前記画像に前記データを重畳させて合成して、モニタテレビの表示装置900へリアルタイムに表示する。また、表示画像合成部890で生成した画像をタイムラプスビデオ及び/又はVTR等に格納してもよい。その後、リアルタイムに表示される表示装置900を見て、監視員1000は、異常発生時の指示が迅速に処理できる効果がある。また、タイムラプスビデオ等にされた画像をオフライン監視してもよい。   FIG. 10 is an example showing the inside of the detection result notification unit 850. The display control unit 860 uses the image or information when an abnormality such as an assault on the target object 40 detected by the object detection determination processing unit 600 is used, and the display data generation unit 870 uses the camera identification information and the occurrence when the abnormality occurs. Generate date and time, error type, etc. On the other hand, the display image generation unit 880 generates an image before the occurrence of the abnormality in addition to the image at the time of occurrence of the abnormality and / or the image at the time of occurrence of the abnormality. The display image synthesizing unit 890 uses the data generated by the display data generating unit 870 and the image generated by the display image generating unit 880 to superimpose the data on the image and synthesize the resultant data to the display device 900 of the monitor television. Display in real time. Further, the image generated by the display image synthesis unit 890 may be stored in a time-lapse video and / or a VTR. Thereafter, looking at the display device 900 displayed in real time, the monitor 1000 can quickly process an instruction when an abnormality occurs. Moreover, you may monitor the image made into the time lapse video etc. off-line.

図11は、表示装置900の表示内容例を示す図である。対象物体40の暴行等の異常発生時には、異常発生920の表示及び/又は対象物体40の暴行シーン940の画像及び/又は発生した撮影シーンを撮影しているカメラ識別番号及び/又は発生日時930等を表示する。一方、異常発生時には、異常発生瞬間の映像のみでは、発生までの経過が不明であり、異常発生ti+4時刻の画像980に加えて、異常発生前ti+1時刻の画像950及び/又は異常発生前ti+2時刻の画像960及び/又は異常発生前ti+3時刻の画像970も表示する。これにより、監視員1000は、乗客の異常発生に加えてその経過がわかるので、操作卓1100及び/又は電話等で対策員への指示が適切に行える効果がある。   FIG. 11 is a diagram illustrating an example of display contents of the display device 900. When an abnormality such as an assault of the target object 40 occurs, the display of the abnormality occurrence 920 and / or the image of the assault scene 940 of the target object 40 and / or the camera identification number and / or the date and time of occurrence 930 of the shooting scene that occurred Is displayed. On the other hand, at the time of occurrence of an abnormality, the progress until the occurrence is unknown only by the image at the moment of occurrence of the abnormality. In addition to the image 980 at the time of occurrence of abnormality ti + 4, the image 950 at time ti + 1 before the occurrence of abnormality and / or the time ti + 2 before occurrence of abnormality. The image 960 and / or the image 970 at time ti + 3 before the occurrence of abnormality are also displayed. Thereby, since the monitoring person 1000 can know the progress in addition to the occurrence of the abnormality of the passenger, there is an effect that it is possible to appropriately instruct the countermeasure person by using the console 1100 and / or the telephone.

図12は、画像処理装置50の他の実施例を示す図である。照明装置11を備えて、カメラからの映像信号20で対象物体40を監視する画像処理装置50である。   FIG. 12 is a diagram illustrating another example of the image processing apparatus 50. An image processing apparatus 50 that includes the illumination device 11 and monitors a target object 40 with a video signal 20 from a camera.

画像処理装置50は、画像入力部200,変化領域抽出部300,拡張領域決定部400,照明点灯制御部540,物体抽出部550,物体検知判定処理部600,検知結果報知部850で構成する。   The image processing apparatus 50 includes an image input unit 200, a change region extraction unit 300, an extended region determination unit 400, an illumination lighting control unit 540, an object extraction unit 550, an object detection determination processing unit 600, and a detection result notification unit 850.

画像処理装置50における処理は、まず、画像入力部200の処理,変化領域抽出部
300の処理、拡張領域決定部400の処理を行う。照明点灯制御部540は、拡張領域決定部400が決定した領域及び/又は領域付近に照準させて照射すようにLEDを用いた照明装置11の点消灯を制御して、対象物体40を鮮明に撮影する。
In the processing in the image processing apparatus 50, first, the processing of the image input unit 200, the processing of the change region extraction unit 300, and the processing of the extended region determination unit 400 are performed. The illumination lighting control unit 540 controls turning on / off of the illumination device 11 using the LED so as to aim and irradiate the region determined by the extended region determination unit 400 and / or the vicinity of the region, and thereby make the target object 40 clear. Take a picture.

これらの画像入力部200,変化領域抽出部300,拡張領域決定部400,感度アップ処理部500,物体抽出部550,物体検知判定処理部600,検知結果報知部850を所定の時間間隔、例えば、処理の1サイクル等の短時間で繰り返し実行される。   These image input unit 200, change region extraction unit 300, extended region determination unit 400, sensitivity enhancement processing unit 500, object extraction unit 550, object detection determination processing unit 600, and detection result notification unit 850 are set at predetermined time intervals, for example, It is repeatedly executed in a short time such as one cycle of processing.

図13は、画像処理装置50の他の処理手順例を示すフローチャートである。ステップ280は、ステップ256が算出した拡張領域及び/又は領域付近に照準させて照射すように照明装置11の点灯を制御する。ステップ294は、照射前の拡張領域の平均輝度と照射後の平均輝度を算出してこの比率(例えば、R)を計算する。照明装置11が適切に点灯されると、画像入力部200が画像を入力する。ステップ253,ステップ254,ステップ255の処理を行う。ここでのステップ253は、照明装置11が点灯されて取り込んだ入力画像に対し、背景画像の輝度を前記R倍して照明点灯用模擬画像との画素ごとの輝度差分を行う。または、予め、背景画像の平均輝度を算出し、加えて背景画像の照明を点灯させその平均輝度を算出して、この比率を用いる方式でも良い。   FIG. 13 is a flowchart illustrating another processing procedure example of the image processing apparatus 50. In step 280, lighting of the illumination device 11 is controlled so as to aim and irradiate the extended region calculated in step 256 and / or the vicinity of the region. Step 294 calculates the average luminance of the extended area before irradiation and the average luminance after irradiation, and calculates this ratio (for example, R). When the illumination device 11 is appropriately turned on, the image input unit 200 inputs an image. Steps 253, 254, and 255 are performed. In step 253, the luminance of the background image is multiplied by R with respect to the input image captured when the lighting device 11 is turned on, and a luminance difference for each pixel from the simulated lighting image is obtained. Alternatively, a method may be used in which the average luminance of the background image is calculated in advance, the illumination of the background image is turned on, the average luminance is calculated, and this ratio is used.

ステップ255は、対象物体40が鮮明に撮影されるので変化領域のラベル面積が閾値以上となり、ステップ292,ステップ599を処理する。ステップ599が、物体有無を検知し、物体有りの場合、物体の異常有無を判定する。   In step 255, since the target object 40 is clearly photographed, the label area of the change area becomes equal to or larger than the threshold value, and step 292 and step 599 are processed. Step 599 detects the presence / absence of an object, and if there is an object, determines whether the object is abnormal.

図14は、表示装置900の他の表示内容例を示す図である。異常発生とその経過がわかるような異常発生ti+4時刻の画像980及び/又は異常発生前ti+1時刻の画像950及び/又は異常発生前ti+2時刻の画像960及び/又は異常発生前ti+3時刻の画像970を表示することに加えて、感度アップ及び/又は対象物体40を鮮明に撮影するような照射を行う前の入力画像も表示する。例えば、画像980の感度アップ前及び/又は照射前の画像981,画像950の感度アップ前及び/又は照射前の画像951,画像960の感度アップ前及び/又は照射前の画像961、画像970の感度アップ前及び/又は照射前の画像971を表示装置900に表示する。   FIG. 14 is a diagram showing another display content example of the display device 900. An image 980 at the time of occurrence ti + 4 and / or an image 950 at time ti + 1 before the occurrence of abnormality and / or an image 960 at time ti + 2 before the occurrence of abnormality and / or an image 970 at time ti + 3 before the occurrence of abnormality are obtained. In addition to the display, an input image before the irradiation for increasing sensitivity and / or photographing the target object 40 clearly is also displayed. For example, the image 981 before the increase in sensitivity of the image 980 and / or the image 951 before the increase in sensitivity of the image 950 and / or the image 951 before the irradiation and / or the image 961 before the increase in sensitivity of the image 960 and / or the image 970 before the irradiation. An image 971 before sensitivity increase and / or before irradiation is displayed on the display device 900.

これにより、感度アップ及び/又は照射の効果を確認することができる。   Thereby, the effect of sensitivity improvement and / or irradiation can be confirmed.

人物のみが高精度に抽出できるため、背景と対象が類似している環境における人物や車等を追跡する監視システムにも適用できる。   Since only a person can be extracted with high accuracy, the present invention can also be applied to a monitoring system that tracks a person, a car, or the like in an environment where the background and the object are similar.

本発明を用いた画像監視装置の全体構成を示す図である。1 is a diagram illustrating an overall configuration of an image monitoring apparatus using the present invention. 画像処理装置の処理手順例を示すフローチャートである。It is a flowchart which shows the example of a process sequence of an image processing apparatus. 画像処理装置の他の処理手順例を示すフローチャートである。It is a flowchart which shows the other process sequence example of an image processing apparatus. 変化領域抽出部における変化領域を抽出する処理手順例を示すフローチャートである。It is a flowchart which shows the example of a process sequence which extracts the change area in a change area extraction part. 拡張領域決定部の決定手順例を示す説明図である。It is explanatory drawing which shows the example of a determination procedure of an extended area | region determination part. 拡張領域決定部の処理手順例を示すフローチャートである。It is a flowchart which shows the process sequence example of an extended area | region determination part. 物体大きさ算出部が対象物体1個のサイズ算出例を示す説明図である。It is explanatory drawing in which an object size calculation part shows the example of size calculation of one target object. 感度アップ処理部が感度アップする輝度変換例を示す説明図である。It is explanatory drawing which shows the brightness | luminance conversion example which a sensitivity improvement process part raises a sensitivity. 物体検知判定処理部の処理手順例を示すフローチャートである。It is a flowchart which shows the process sequence example of an object detection determination process part. 検知結果報知部の内部を示した例である。It is an example which showed the inside of a detection result alerting | reporting part. 表示装置の表示内容例を示す図である。It is a figure which shows the example of a display content of a display apparatus. 画像監視装置の他の実施例を示す図である。It is a figure which shows the other Example of an image monitoring apparatus. 画像処理装置の他の処理手順例を示すフローチャートである。It is a flowchart which shows the other process sequence example of an image processing apparatus. 表示装置の他の表示内容例を示す図である。It is a figure which shows the other example of display content of a display apparatus.

符号の説明Explanation of symbols

10…カメラ、11…照明装置、20…映像信号、40…対象物体、50…画像処理装置、200…画像入力部、300…変化領域抽出部、400…拡張領域決定部、500…感度アップ処理部、540…照明点灯制御部、550…物体抽出部、600…物体検知判定処理部、850…検知結果報知部、860…表示制御部、870…表示データ生成部、890…表示画像合成部、900…表示装置、1000…監視員、1100…操作卓。


DESCRIPTION OF SYMBOLS 10 ... Camera, 11 ... Illuminating device, 20 ... Video signal, 40 ... Target object, 50 ... Image processing apparatus, 200 ... Image input part, 300 ... Change area extraction part, 400 ... Expansion area determination part, 500 ... Sensitivity increase process , 540 ... Illumination lighting control part, 550 ... Object extraction part, 600 ... Object detection determination processing part, 850 ... Detection result notification part, 860 ... Display control part, 870 ... Display data generation part, 890 ... Display image composition part, 900 ... display device, 1000 ... monitor, 1100 ... console.


Claims (9)

カメラで撮影された画像を監視する画像監視装置において、
前記カメラで撮影された画像を取り込み、変化領域を抽出する変化領域抽出手段と、
前記抽出した変化領域が検知対象の大きさ未満の場合、前記抽出した変化領域周辺に領域を拡張する拡張領域決定手段と、
前記拡張した領域の輝度を補正する感度補正処理手段と、
該感度補正処理手段により感度アップした画像を用いて物体を検知する物体抽出手段とを備えることを特徴とする画像監視装置。
In an image monitoring device that monitors images taken by a camera,
Change area extraction means for capturing an image captured by the camera and extracting a change area;
If the extracted change area is less than the size of the detection target, an extension area determination means for extending the area around the extracted change area;
Sensitivity correction processing means for correcting the brightness of the expanded area;
An image monitoring apparatus comprising: an object extracting unit that detects an object using an image whose sensitivity has been increased by the sensitivity correction processing unit.
カメラで撮影された画像を監視する画像監視装置において、
前記カメラで撮影された画像を取り込み、変化領域を抽出する変化領域抽出手段と、
前記抽出した変化領域が検知対象の大きさ未満の場合、前記抽出した変化領域周辺に領域を拡張する拡張領域決定手段と、
前記拡張した領域に照準させて照明を照射する照明点灯制御手段と、
該照明点灯制御手段により照射された画像をカメラで取り込み、前記物体抽出処理手段で変化領域を抽出し、該抽出した変化領域の物体を検知する物体抽出手段とを備えることを特徴とする画像監視装置。
In an image monitoring device that monitors images taken by a camera,
Change area extraction means for capturing an image captured by the camera and extracting a change area;
If the extracted change area is less than the size of the detection target, an extension area determination means for extending the area around the extracted change area;
Illumination lighting control means for irradiating illumination with aiming at the expanded area;
An image monitoring system comprising: an object extraction unit that captures an image irradiated by the illumination lighting control unit with a camera, extracts a change region by the object extraction processing unit, and detects an object in the extracted change region apparatus.
請求項1又は請求項2の画像監視装置において、
前記変化領域抽出手段は、1フレーム以上を累積した画像を用いることを特徴とする画像監視装置。
In the image monitoring apparatus according to claim 1 or 2,
The image monitoring apparatus according to claim 1, wherein the change area extraction unit uses an image in which one frame or more is accumulated.
請求項1又は請求項2の画像監視装置において、
前記拡張領域決定手段は、算出した検知対象となる物体の大きさを用いて領域を拡張することを特徴とする画像監視装置。
In the image monitoring apparatus according to claim 1 or 2,
The extended area determination means extends an area using the calculated size of an object to be detected.
請求項1の画像監視装置において、
前記感度補正処理手段は、拡張領域決定手段で決定した領域の輝度分布を用いて輝度変換を行うことを特徴とする画像監視装置。
The image monitoring apparatus according to claim 1.
The image monitoring apparatus according to claim 1, wherein the sensitivity correction processing means performs brightness conversion using the brightness distribution of the area determined by the extended area determining means.
請求項1又は請求項2の画像監視装置において、
前記物体抽出手段で抽出した物体に対し、物体の異常有無を判定する物体検知判定処理手段と、
該物体検知判定処理手段で異常であると判定されると監視員に報知する検知結果報知手段とを備えることを特徴とする画像監視装置。
In the image monitoring apparatus according to claim 1 or 2,
Object detection determination processing means for determining the presence or absence of abnormality of the object extracted by the object extraction means;
An image monitoring apparatus comprising: a detection result notifying unit that notifies a monitoring person when the object detection determination processing unit determines that an abnormality has occurred.
請求項6の画像監視装置において、
前記検知結果報知手段は、前記感度アップ処理手段により感度アップした画像を表示することを特徴とする画像監視装置。
The image monitoring device according to claim 6.
The image monitoring apparatus, wherein the detection result notifying unit displays an image whose sensitivity is increased by the sensitivity increasing processing unit.
請求項2の画像監視装置において、
前記照明点灯制御手段は、照射の点灯制御可能な照明装置を用いることを特徴とする画像監視装置。
The image monitoring apparatus according to claim 2,
The illumination monitoring control unit uses an illumination device capable of controlling illumination lighting.
請求項6の画像監視装置において、
前記検知結果報知手段は、前記照明点灯制御手段により検知物体に照準させて照射した画像を表示することを特徴とする画像監視装置。

The image monitoring device according to claim 6.
The image monitoring apparatus, wherein the detection result notifying means displays an image irradiated with the object illuminated by the illumination lighting control means.

JP2006212733A 2006-08-04 2006-08-04 Image monitoring device Expired - Fee Related JP4811184B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006212733A JP4811184B2 (en) 2006-08-04 2006-08-04 Image monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006212733A JP4811184B2 (en) 2006-08-04 2006-08-04 Image monitoring device

Publications (2)

Publication Number Publication Date
JP2008042423A true JP2008042423A (en) 2008-02-21
JP4811184B2 JP4811184B2 (en) 2011-11-09

Family

ID=39176975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006212733A Expired - Fee Related JP4811184B2 (en) 2006-08-04 2006-08-04 Image monitoring device

Country Status (1)

Country Link
JP (1) JP4811184B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207185A (en) * 2015-04-20 2016-12-08 オムロン株式会社 Movement determination device, movement determination method, and movement determination program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04142894A (en) * 1990-10-03 1992-05-15 Toshiba Corp Picture monitor
JPH06348847A (en) * 1993-06-07 1994-12-22 Oki Electric Ind Co Ltd Human body recognizing method
JPH08106534A (en) * 1994-10-06 1996-04-23 Hitachi Ltd Movable object detector
JPH1141589A (en) * 1997-07-17 1999-02-12 Hitachi Ltd Method and system for supervising mobile object
JP2000175176A (en) * 1998-12-04 2000-06-23 Hitachi Ltd Supervisory method for mobile object and image supervisory device
JP2002197463A (en) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd Device and system for detecting behavior
JP2002352340A (en) * 2001-05-30 2002-12-06 Hitachi Ltd Image monitoring device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04142894A (en) * 1990-10-03 1992-05-15 Toshiba Corp Picture monitor
JPH06348847A (en) * 1993-06-07 1994-12-22 Oki Electric Ind Co Ltd Human body recognizing method
JPH08106534A (en) * 1994-10-06 1996-04-23 Hitachi Ltd Movable object detector
JPH1141589A (en) * 1997-07-17 1999-02-12 Hitachi Ltd Method and system for supervising mobile object
JP2000175176A (en) * 1998-12-04 2000-06-23 Hitachi Ltd Supervisory method for mobile object and image supervisory device
JP2002197463A (en) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd Device and system for detecting behavior
JP2002352340A (en) * 2001-05-30 2002-12-06 Hitachi Ltd Image monitoring device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207185A (en) * 2015-04-20 2016-12-08 オムロン株式会社 Movement determination device, movement determination method, and movement determination program

Also Published As

Publication number Publication date
JP4811184B2 (en) 2011-11-09

Similar Documents

Publication Publication Date Title
JP3279479B2 (en) Video monitoring method and device
KR101191844B1 (en) Image processing apparatus and image processing method
JP5437855B2 (en) Obstacle detection device, obstacle detection system including the same, and obstacle detection method
KR100676232B1 (en) Object tracking method, object tracking apparatus and computer-readable record medium with recorded object tracking program
KR20020034919A (en) Monitoring method for detecting an intruding object and monitoring apparatus therefor
JP2008009849A (en) Person tracking device
US8665329B2 (en) Apparatus for automatically ignoring cast self shadows to increase the effectiveness of video analytics based surveillance systems
US10525900B2 (en) Vehicle periphery monitoring device
JP2011076316A (en) Device, method and program for crowd watching
JP2008259161A (en) Target tracing device
JP2010124028A (en) Monitoring apparatus
JP2006254206A (en) Image signal processing apparatus
JP5018652B2 (en) Object presence determination device
JP6882124B2 (en) Fire detection device and fire detection method
JP3973623B2 (en) Object tracking method and object tracking device
JP4811184B2 (en) Image monitoring device
KR101290517B1 (en) Photographing apparatus for tracking object and method thereof
KR20160126254A (en) System for detecting road area
JP2001357396A (en) Image processor and image recognizing device
JP4302801B2 (en) Object tracking method and object tracking apparatus
WO2013088657A1 (en) Projecting projector device, optical anti-glare method, and optical anti-glare program
JP3625442B2 (en) Object detection method, object detection apparatus, and object detection program
JP6396840B2 (en) Object detection device
JP2010175966A (en) Image processing device and imaging apparatus
JP4547213B2 (en) Object detection apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees