JP2013021551A - Detection device, detection method, and program - Google Patents

Detection device, detection method, and program Download PDF

Info

Publication number
JP2013021551A
JP2013021551A JP2011154052A JP2011154052A JP2013021551A JP 2013021551 A JP2013021551 A JP 2013021551A JP 2011154052 A JP2011154052 A JP 2011154052A JP 2011154052 A JP2011154052 A JP 2011154052A JP 2013021551 A JP2013021551 A JP 2013021551A
Authority
JP
Japan
Prior art keywords
moving object
unmoving
unit
image data
object region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011154052A
Other languages
Japanese (ja)
Other versions
JP2013021551A5 (en
JP5911227B2 (en
Inventor
Keisuke Kagiwada
啓介 鍵和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011154052A priority Critical patent/JP5911227B2/en
Publication of JP2013021551A publication Critical patent/JP2013021551A/en
Publication of JP2013021551A5 publication Critical patent/JP2013021551A5/en
Application granted granted Critical
Publication of JP5911227B2 publication Critical patent/JP5911227B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To easily discriminate between a moving person or the like and an unmoving object.SOLUTION: A moving object/unmoving object detection unit 106 detects an unmoving object region from image data captured by a photographing unit 102. An unmoving object enlarged video supply unit 109 enlarges the unmoving object region detected by the moving object/unmoving object detection unit 106. The moving object/unmoving object detection unit 106 detects a moving object or an unmoving object using the enlarged unmoving object region.

Description

本発明は、動きのある人等と動きが静止した物とを判断するための技術である。   The present invention is a technique for judging a person or the like who is moving and an object whose movement is stationary.

従来、空港、駅等において、設置された監視カメラの映像を利用して置き去られた荷物を検知するための置き去り検知システムが知られている。置き去り検知システムにおいては、主に、セキュリティの面から置き去られた危険物体を検知することが目的である。しかしながら、置き去り検知システムは、背景差分方式やフレーム間差分方式による動体検知技術を利用して不動体を検出しているため、人が一定時間静止している場合も置き去り物体として検知されることがあった。そのため、置き去り検知システムで検出された結果が人であるか物であるかを判断するためには、置き去り検知結果を目視により人手で確認したり、人物認識技術を利用したりする必要があった（特許文献１、２参照）。   Conventionally, a leaving detection system for detecting a baggage left using an image of an installed surveillance camera at an airport, a station, or the like is known. The purpose of the abandonment detection system is mainly to detect a dangerous object that has been left behind from the viewpoint of security. However, since the abandonment detection system detects a non-moving object using a moving object detection technique based on a background difference method or an inter-frame difference method, it may be detected as a left object even when a person is stationary for a certain period of time. there were. Therefore, in order to determine whether the result detected by the abandonment detection system is a person or an object, it is necessary to visually confirm the abandonment detection result or to use human recognition technology. (See Patent Documents 1 and 2).

特許第０２６９７６７６号公報Japanese Patent No. 02696766 特許第０３０８８８８０号公報Japanese Patent No. 030888880

しかしながら、目視による人手での確認は手間がかかり、監視対象が増加すると困難であった。一方、特許文献１に開示される人物認識技術においては、人を識別するためのセンサを追加する必要があり、コストアップにつながる。また、特許文献２に開示される人物認識技術においては、顔を認識するためのエリアを抽出する必要があったり、顔の特徴を判別するためのデータが必要であったりした。特に監視カメラにおいては、様々な角度で顔が検出されるため、人物認識技術で認識が難しい真上からの画角等も含めて常に高い精度で実施することは困難であった。   However, manual confirmation by visual inspection is time-consuming and difficult when the number of monitoring targets increases. On the other hand, in the person recognition technique disclosed in Patent Document 1, it is necessary to add a sensor for identifying a person, leading to an increase in cost. Further, in the person recognition technique disclosed in Patent Document 2, it is necessary to extract an area for recognizing a face, or data for discriminating facial features. Particularly in surveillance cameras, since faces are detected at various angles, it has been difficult to always perform with high accuracy, including the angle of view from directly above, which is difficult to recognize with human recognition technology.

そこで、本発明の目的は、動きのある人等と動きが静止した物とを容易に判断することにある。   Accordingly, an object of the present invention is to easily determine a person or the like who is moving and an object whose movement is stationary.

本発明の検知装置は、撮像手段により撮像された画像データから不動体領域を検出する検出手段と、前記検出手段により検出された前記不動体領域を拡大させる拡大手段と、前記拡大手段により拡大された前記不動体領域を用いて動体又は不動体を検知する検知手段とを有することを特徴とする。   The detection device of the present invention is expanded by the detection unit that detects the unmoving object region from the image data captured by the imaging unit, the enlarging unit that expands the unmoving object region detected by the detecting unit, and the enlarging unit. And detecting means for detecting the moving object or the non-moving object using the non-moving object region.

本発明によれば、動きのある人等と動きが静止した物とを容易に判断することが可能となる。   According to the present invention, it is possible to easily determine a person or the like who is moving and an object whose movement is stationary.

本発明の第１の実施形態に係る置き去り検知システムの構成を示す図である。It is a figure which shows the structure of the leaving detection system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る置き去り検知システムの制御部の処理を示すフローチャートである。It is a flowchart which shows the process of the control part of the leaving detection system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る置き去り検知システムを説明するための状況の一例を示す図である。It is a figure which shows an example of the condition for demonstrating the leaving detection system which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る置き去り検知システムの構成を示す図である。It is a figure which shows the structure of the leaving detection system which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る置き去り検知システムの制御部４０４の処理を示すフローチャートである。It is a flowchart which shows the process of the control part 404 of the leaving detection system which concerns on the 2nd Embodiment of this invention.

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る置き去り検知システムの構成を示す図である。図１に示すように、第１の実施形態に係る置き去り検知システム１０１は、撮影（撮像）部１０２、制御部１０４、メモリ部１０５、動体・不動体検出部１０６及び不動体拡大映像供給部１０９を備える。また、撮影部１０２は、光学ズーム部１０３を備えており、動体・不動体検出部１０６は、背景差分検出部１０７及びフレーム間差分検出部１０８を備えている。   First, a first embodiment of the present invention will be described. FIG. 1 is a diagram showing a configuration of a leaving detection system according to the first embodiment of the present invention. As shown in FIG. 1, the abandonment detection system 101 according to the first embodiment includes an imaging (imaging) unit 102, a control unit 104, a memory unit 105, a moving object / unmoving object detection unit 106, and an unmoving object enlarged image supply unit 109. Is provided. The photographing unit 102 includes an optical zoom unit 103, and the moving / non-moving object detection unit 106 includes a background difference detection unit 107 and an inter-frame difference detection unit 108.

撮影部１０２は、制御部１０４からの指示に応じて、レンズから入射される被写体像を撮影し、被写体像の画像データをメモリ部１０５に記録する。また撮影部１０２は、制御部１０４からの指示に応じて、撮影する被写体像の拡大及び縮小処理（光学ズーム処理）を光学ズーム部１０３に指示する。さらに撮影部１０２は、撮影範囲を変更するためのパン及びチルト制御も行う。なお、光学ズーム部１０３における光学ズーム処理の際には、ブレ補正技術によって精度が向上される。   In response to an instruction from the control unit 104, the photographing unit 102 photographs a subject image incident from the lens, and records image data of the subject image in the memory unit 105. Further, the photographing unit 102 instructs the optical zoom unit 103 to perform enlargement and reduction processing (optical zoom processing) of the subject image to be photographed in response to an instruction from the control unit 104. Furthermore, the photographing unit 102 also performs pan and tilt control for changing the photographing range. In the optical zoom processing in the optical zoom unit 103, the accuracy is improved by the blur correction technique.

メモリ部１０５には、撮影部１０２によって撮影された被写体像の画像データ、及び、動体・不動体検出部１０６において検出された動体領域及び不動体領域が記録される。また、メモリ部１０５には、背景差分検出部１０７が背景差分をとる際に必要な背景画像データ、及び、フレーム間差分検出部１０８がフレーム間差分をとる際に必要なフレーム画像データが記録される。なお、本実施形態においては、メモリ部１０５を一つ備えた構成としているが、複数のメモリ部を備えた構成としてもよいし、動体・不動体検出部１０６及び不動体拡大映像供給部１０９の夫々の内部にメモリ部を個別に備えた構成としてもよい。   The memory unit 105 records image data of a subject image captured by the imaging unit 102, and a moving object region and a non-moving object region detected by the moving object / non-moving object detection unit 106. In addition, the memory unit 105 records background image data necessary for the background difference detection unit 107 to obtain the background difference, and frame image data necessary for the inter-frame difference detection unit 108 to obtain the inter-frame difference. The In the present embodiment, the memory unit 105 is provided. However, a configuration including a plurality of memory units may be used, and the moving object / unmoving object detection unit 106 and the unmoving object enlarged image supply unit 109 may be configured. It is good also as a structure which provided the memory part separately in each inside.

動体・不動体検出部１０６は、背景差分検出部１０７及びフレーム間差分検出部１０８を用いて動体及び不動体を判別する。背景差分検出部１０７は、撮影部１０２によって撮影された被写体像の画像データと予め記録されている背景画像データとを比較する背景差分法により差分領域を検出する。検出された差分領域は動体領域としてメモリ部１０５に記録される。なお、動体領域には、例えば当該動体領域の位置や大きさ等を示す情報が含まれる。   The moving object / unmoving object detection unit 106 determines the moving object and the unmoving object using the background difference detection unit 107 and the inter-frame difference detection unit 108. The background difference detection unit 107 detects a difference area by a background difference method that compares image data of a subject image captured by the imaging unit 102 with previously recorded background image data. The detected difference area is recorded in the memory unit 105 as a moving object area. Note that the moving object region includes, for example, information indicating the position and size of the moving object region.

フレーム間差分検出部１０８は、背景差分検出部１０７によって検出された動体領域に対してフレーム間差分をとり、一定時間変化が見られない動体領域を検出する。検出された動体領域は不動体領域としてメモリ部１０５に記録される。また、フレーム間差分検出部１０８は、不動体領域を検出した旨の通知を不動体拡大映像供給部１０９に対して出力する。   The inter-frame difference detection unit 108 calculates an inter-frame difference with respect to the moving object region detected by the background difference detection unit 107, and detects a moving object region in which no change is observed for a certain period of time. The detected moving object area is recorded in the memory unit 105 as an unmoving object area. Further, the inter-frame difference detection unit 108 outputs a notification that the unmoving object region has been detected to the unmoving object enlarged video supply unit 109.

不動体拡大映像供給部１０９は、フレーム間差分検出部１０８から不動体領域を検出した旨の通知を受けると、メモリ部１０５に記録された不動体領域から不動体拡大情報を決定する。不動体拡大情報には、例えば不動体領域を拡大するための、撮影範囲、拡大率及び拡大時間等を示す情報が含まれる。例えば、光学ズーム部１０３において不動体領域の拡大率を可能な限り高くする一方で、拡大時間を短くすることにより、短時間で容易に人か物かを判定することができる。なお、複数の不動体領域が検出された場合、各不動体領域を順次拡大して人か物かを判定してもよいし、不動体領域が近接している場合、まとめて拡大してもよい。   When the unmoving object enlarged video supply unit 109 receives notification from the inter-frame difference detection unit 108 that the unmoving object region has been detected, the unmoving object enlarged image supply unit 109 determines unmoving object enlargement information from the unmoving object region recorded in the memory unit 105. The unmoving object enlargement information includes, for example, information indicating an imaging range, an enlargement rate, an enlargement time, and the like for enlarging the unmoving object region. For example, it is possible to easily determine whether a person or an object in a short time by shortening the enlargement time while increasing the enlargement ratio of the unmoving object region as much as possible in the optical zoom unit 103. In addition, when a plurality of unmoving object areas are detected, each unmoving object area may be sequentially enlarged to determine whether it is a person or an object. Good.

次に、第１の実施形態に係る置き去り検知システムの動作について説明する。図２は、第１の実施形態に係る置き去り検知システムの制御部１０４の処理を示すフローチャートである。図３は、第１の実施形態に係る置き去り検知システムを説明するための状況の一例を示す図である。ここでは、図３の３０２に示すように、複数の人が移動する広場を監視している場合を想定している。   Next, the operation of the leaving detection system according to the first embodiment will be described. FIG. 2 is a flowchart showing processing of the control unit 104 of the abandonment detection system according to the first embodiment. FIG. 3 is a diagram illustrating an example of a situation for explaining the abandonment detection system according to the first embodiment. Here, as shown by 302 in FIG. 3, it is assumed that a square where a plurality of people are moving is being monitored.

ステップＳ２０１において、制御部１０４は、撮影部１０２に対して撮影開始を指示する。撮影部１０２は、制御部１０４からの指示に応じて撮影を開始する。ステップＳ２０２において、制御部１０４は、撮影部１０２によって撮影された被写体像の画像データをメモリ部１０５に記録する。ステップＳ２０３において、制御部１０４は、動体・不動体検出部１０６に対して動体領域及び不動体領域の検出を指示する。背景差分検出部１０７は、撮影部１０２によって撮影された被写体像の画像データと、背景画像データとを比較し、差分領域を動体領域として検出する。例えば、図３の３０１に示す背景画像データと、図３の３０２に示す、撮影部１０２によって撮影された被写体像の画像データ（動体領域の検出時における画像データ）とを比較することにより、動体領域３０４〜３０７が検出される。ここで、図３の３０１に示す背景画像データは、置き去り検知システム１０１が製造されたときに登録しておくことや、ユーザが目視により背景と認識した画像データを登録すること等が考えられる。   In step S <b> 201, the control unit 104 instructs the photographing unit 102 to start photographing. The imaging unit 102 starts imaging in response to an instruction from the control unit 104. In step S <b> 202, the control unit 104 records the image data of the subject image photographed by the photographing unit 102 in the memory unit 105. In step S203, the control unit 104 instructs the moving object / unmoving object detection unit 106 to detect the moving object region and the unmoving object region. The background difference detection unit 107 compares the image data of the subject image photographed by the photographing unit 102 with the background image data, and detects the difference region as a moving object region. For example, by comparing the background image data indicated by 301 in FIG. 3 with the image data of the subject image captured by the imaging unit 102 (image data at the time of detection of the moving object region) indicated by 302 in FIG. Regions 304 to 307 are detected. Here, it is conceivable that the background image data 301 shown in FIG. 3 is registered when the leaving detection system 101 is manufactured, or the image data that the user recognizes as the background is visually registered.

フレーム間差分検出部１０８は、背景差分検出部１０７において検出された動体領域３０４〜３０７に対してフレーム間差分をとり、不動体領域を検出する。即ち、フレーム間差分検出部１０８は、図３の３０２に示す被写体像の画像データ（動体領域の検出時における画像データ）と、図３の３０３に示す被写体像の画像データ（不動体領域の検出時における画像データ）とのフレーム間差分をとる。その結果、動体領域３０４、３０６と領域３０８、３１０とは変化がないため、動体・不動体検出部１０６は領域３０８、３１０を不動体領域として認識する。一方、動体領域３０５、３０７と領域３０９、３１１とは変化しているため、動体・不動体検出部１０６は領域３０９、３１１を動体領域として認識する。   The inter-frame difference detection unit 108 calculates inter-frame differences with respect to the moving object regions 304 to 307 detected by the background difference detection unit 107, and detects an unmoving object region. That is, the inter-frame difference detection unit 108 detects the image data of the subject image shown in 302 in FIG. 3 (image data when detecting the moving object region) and the image data of the subject image shown in 303 of FIG. The difference between frames from the image data at the time is taken. As a result, since the moving object regions 304 and 306 and the regions 308 and 310 are not changed, the moving object / unmoving object detection unit 106 recognizes the regions 308 and 310 as the unmoving object regions. On the other hand, since the moving object regions 305 and 307 and the regions 309 and 311 are changed, the moving object / non-moving object detecting unit 106 recognizes the regions 309 and 311 as moving object regions.

ステップＳ２０４において、制御部１０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けたか否かを判定する。不動体拡大要求を受け付けた場合、処理はステップＳ２０５に移行する。一方、不動体拡大要求を受け付けていない場合、処理はステップＳ２０４に戻り、不動体拡大要求を待つ。   In step S <b> 204, the control unit 104 determines whether a non-moving object enlargement request is received from the non-moving object enlargement video supply unit 109. If an unmoving object enlargement request is received, the process proceeds to step S205. On the other hand, when the unmoving object expansion request is not received, the process returns to step S204 and waits for the unmoving object expansion request.

ステップＳ２０５において、制御部１０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けると、不動体拡大映像供給部１０９において決定された不動体拡大情報を撮影部１０２に対して出力することにより、不動体領域の拡大を指示する。撮影部１０２は、不動体拡大情報に基づいて、不動体領域３０８、３１０を光学ズーム部１０３により拡大する。ステップＳ２０６において、制御部１０４は、拡大された不動体領域３０８、３１０をメモリ部１０５に記録する。上述した不動体領域の拡大処理は、後述のステップＳ２０８において終了が指示されるまで継続的に行われる。   In step S <b> 205, when the control unit 104 receives a non-moving object enlargement request from the non-moving object enlargement image supply unit 109, the control unit 104 outputs the unmoving object enlargement information determined by the unmoving object enlargement image supply unit 109 to the photographing unit 102. To instruct expansion of the non-moving object region. The imaging unit 102 uses the optical zoom unit 103 to enlarge the unmoving object regions 308 and 310 based on the unmoving object enlargement information. In step S <b> 206, the control unit 104 records the expanded unmoving object regions 308 and 310 in the memory unit 105. The unmoving object region enlargement process described above is continuously performed until an end instruction is given in step S208 described below.

ステップＳ２０７において、制御部１０４は、動体・不動体検出部１０６に対して、拡大された不動体領域３０８、３１０における動体及び不動体の検出処理の開始を指示する。フレーム間差分検出部１０８は、拡大された不動体領域３０８、３１０に対してフレーム間差分をとる。その結果、不動体領域３０８は拡大していっても置き去られた鞄であるため、フレーム間差分はない。従って、動体・不動体検出部１０６は、不動体領域３０８を置き去り物として認識する。一方、不動体領域３１０は人であるため完全に静止することはできない。従って、不動体領域３１０は拡大されることにより微小な動きであってもフレーム間差分が発生する。よって、動体・不動体検出部１０６は、不動体領域３１０を置き去り物ではないと認識する。このアルゴリズムによると、人以外の例えば動物等、完全に静止することができない物体を置き去り物でないと判定する。また、拡大された不動体領域に対してフレーム間差分をとる時間を長くすることにより、精度をさらに向上させることが可能である。   In step S207, the control unit 104 instructs the moving object / unmoving object detection unit 106 to start the moving object and unmoving object detection process in the expanded unmoving object regions 308 and 310. The inter-frame difference detection unit 108 calculates inter-frame differences for the expanded unmoving object regions 308 and 310. As a result, the non-moving object region 308 is left behind even if it is enlarged, so there is no inter-frame difference. Therefore, the moving object / unmoving object detection unit 106 recognizes the unmoving object region 308 as a left-over object. On the other hand, since the non-moving object region 310 is a person, it cannot be completely stationary. Accordingly, the non-moving object region 310 is enlarged, so that an inter-frame difference occurs even if the movement is small. Therefore, the moving object / unmoving object detection unit 106 recognizes that the unmoving object region 310 is not a leftover object. According to this algorithm, it is determined that an object that cannot be completely stationary, such as an animal other than a person, is not a leftover object. Further, it is possible to further improve the accuracy by lengthening the time for taking the inter-frame difference for the expanded unmoving object region.

ステップＳ２０８において、制御部１０４は、撮影部１０２に対して、不動体領域の拡大処理の終了を指示する。この指示を受けて、撮影部１０２は不動体領域の拡大処理を終了し、不動体領域の拡大処理前の範囲及び拡大率で撮影を開始する。   In step S208, the control unit 104 instructs the photographing unit 102 to end the unmoving object region enlargement process. Upon receiving this instruction, the imaging unit 102 ends the unmoving object region enlargement process, and starts photographing with the range and the enlargement ratio before the unmoving object region enlargement process.

以上のように、第１の実施形態によれば、動きのある人等と動きが静止した物とを容易に判断することが可能となり、高精度に置き去り物体を検知することができる。   As described above, according to the first embodiment, it is possible to easily determine a moving person or the like and an object whose movement is stationary, and it is possible to detect an object with a high accuracy.

次に、本発明の第２の実施形態について説明する。図４は、第２の実施形態に係る置き去り検知システムの構成を示す図である。   Next, a second embodiment of the present invention will be described. FIG. 4 is a diagram illustrating a configuration of the abandonment detection system according to the second embodiment.

図４に示すように、第２の実施形態に係る置き去り検知システムは、撮影部４０２、制御部４０４、メモリ部１０５、動体・不動体検出部１０６、不動体拡大映像供給部１０９、解像度変換部４１０及び出力部４１１を備える。なお、図４におけるメモリ部１０５、動体・不動体検出部１０６及び不動体拡大映像供給部１０９は、図１に示す同一符号の構成と同様である。   As shown in FIG. 4, the abandonment detection system according to the second embodiment includes an imaging unit 402, a control unit 404, a memory unit 105, a moving object / unmoving object detection unit 106, an unmoving object enlarged image supply unit 109, and a resolution conversion unit. 410 and an output unit 411. Note that the memory unit 105, the moving object / unmoving object detection unit 106, and the unmoving object enlarged image supply unit 109 in FIG. 4 have the same configurations as those in FIG.

解像度変換部４１０は、制御部４０４の指示に応じて、撮影部４０２によって撮影された被写体像の画像データの解像度が大きい場合、出力部４１１において出力される画像データの解像度に合わせるように当該画像データの解像度変換を行う。本実施形態において、解像度変換を行う際は、元となる画像データをメモリ部１０５に一定時間残しておくことを想定している。なお、出力部４１１の具体的な構成としては、ディスプレイ等の表示機器又はネットワーク等の画像データの出力先が挙げられる。   When the resolution of the image data of the subject image photographed by the photographing unit 402 is large according to an instruction from the control unit 404, the resolution converting unit 410 adjusts the image to match the resolution of the image data output from the output unit 411. Perform data resolution conversion. In the present embodiment, when performing resolution conversion, it is assumed that the original image data remains in the memory unit 105 for a certain period of time. The specific configuration of the output unit 411 includes a display device such as a display or an image data output destination such as a network.

次に、第２の実施形態に係る置き去り検知システムの動作について説明する。図５は、第２の実施形態に係る置き去り検知システムの制御部４０４の処理を示すフローチャートである。   Next, the operation of the leaving detection system according to the second embodiment will be described. FIG. 5 is a flowchart illustrating processing of the control unit 404 of the abandonment detection system according to the second embodiment.

ステップＳ５０１において、制御部４０４は、撮影部４０２に対して撮影開始を指示する。撮影部４０２は、制御部４０４からの指示に応じて撮影を開始する。ステップＳ５０２において、制御部４０４は、撮影部４０２によって撮影された被写体像の画像データをメモリ部１０５に記録する。ステップＳ５０３において、制御部４０４は、解像度変換部４１０に対して、被写体像の画像データの解像度を出力部４１１で必要な解像度に合わせるように解像度変換することを指示する。ここでは、撮影部４０２で撮影された画像データの解像度が大きく、出力部４１１で必要な解像度に合わせて当該画像データの解像度が縮小されることを想定している。上記指示を受けた解像度変換部４１０は、被写体像の画像データの解像度を縮小し、解像度が縮小された後の画像データ（以下、縮小画像データと称す）をメモリ部１０５に記録する。出力部４１１は、縮小画像データをメモリ部１０５から読み出して出力する。   In step S501, the control unit 404 instructs the photographing unit 402 to start photographing. The imaging unit 402 starts imaging in response to an instruction from the control unit 404. In step S <b> 502, the control unit 404 records image data of the subject image photographed by the photographing unit 402 in the memory unit 105. In step S503, the control unit 404 instructs the resolution conversion unit 410 to perform resolution conversion so that the resolution of the image data of the subject image matches the resolution required by the output unit 411. Here, it is assumed that the resolution of the image data captured by the imaging unit 402 is large and the resolution of the image data is reduced in accordance with the resolution required by the output unit 411. Upon receiving the instruction, the resolution conversion unit 410 reduces the resolution of the image data of the subject image, and records the image data after the resolution is reduced (hereinafter referred to as reduced image data) in the memory unit 105. The output unit 411 reads the reduced image data from the memory unit 105 and outputs it.

ステップＳ５０４において、制御部１０４は、動体・不動体検出部１０６に対して、メモリ部１０５に記録された縮小画像データにおける動体領域及び不動体領域の検出処理の開始を指示する。背景差分検出部１０７は、メモリ部１０５に記録された縮小画像データと背景画像データとを比較し、差分領域を動体領域として検出する。例えば、図３の３０１に示す背景画像データと、３０２に示す縮小画像データ（動体領域の検出時の画像データ）とを比較することにより、動体領域３０４〜３０７が検出される。   In step S <b> 504, the control unit 104 instructs the moving object / unmoving object detection unit 106 to start detection processing of the moving object region and the unmoving object region in the reduced image data recorded in the memory unit 105. The background difference detection unit 107 compares the reduced image data recorded in the memory unit 105 with the background image data, and detects the difference region as a moving object region. For example, the moving object regions 304 to 307 are detected by comparing the background image data 301 shown in FIG. 3 with the reduced image data 302 (image data when the moving object region is detected).

フレーム間差分検出部１０８は、背景差分検出部１０７において検出された動体領域３０４〜３０７に対してフレーム間差分をとり、不動体領域を検出する。即ち、フレーム間差分検出部１０８は、図３の３０２に示す縮小画像データ（動体領域の検出時の画像データ）と、図３の３０３に示す縮小画像データ（不動体領域の検出時の画像データ）とのフレーム間差分をとる。その結果、動体領域３０４、３０６と領域３０８、３１０とは変化がないため、動体・不動体検出部１０６は領域３０８、３１０を不動体領域として認識する。一方、動体領域３０５、３０７と領域３０９、３１１とは変化しているため、動体・不動体検出部１０６は領域３０９、３１１を動体領域として認識する。   The inter-frame difference detection unit 108 calculates inter-frame differences with respect to the moving object regions 304 to 307 detected by the background difference detection unit 107, and detects an unmoving object region. That is, the inter-frame difference detection unit 108 performs reduction image data (image data when detecting a moving object region) 302 in FIG. 3 and reduced image data (image data when detecting a non-moving object region) 303 shown in FIG. ) And the difference between frames. As a result, since the moving object regions 304 and 306 and the regions 308 and 310 are not changed, the moving object / unmoving object detection unit 106 recognizes the regions 308 and 310 as the unmoving object regions. On the other hand, since the moving object regions 305 and 307 and the regions 309 and 311 are changed, the moving object / non-moving object detecting unit 106 recognizes the regions 309 and 311 as moving object regions.

ステップＳ５０５において、制御部４０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けたか否かを判定する。不動体拡大要求を受け付けた場合、処理はステップＳ５０６に移行する。一方、不動体拡大要求を受け付けていない場合、処理はステップＳ５０５に戻り、不動体拡大要求を待つ。   In step S505, the control unit 404 determines whether an unmoving object enlargement request has been received from the unmoving object enlargement image supply unit 109. If an unmoving object enlargement request is received, the process proceeds to step S506. On the other hand, if an unmoving object enlargement request has not been received, the process returns to step S505 to wait for an unmoving object enlargement request.

ステップＳ５０６において、制御部４０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けると、不動体拡大映像供給部１０９において決定された不動体拡大情報を解像度変換部４１０に対して出力することより、不動体領域の拡大を指示する。解像度変換部４１０は、不動体拡大情報に基づいて、縮小画像データ内における不動体領域３０８、３１０を拡大する。ここでは、不動体拡大情報において、解像度変換部４１０によって縮小処理される前の高い解像度とすることで不動体領域を拡大させるための情報が示されているものとする。   In step S <b> 506, when the control unit 404 receives a non-moving object enlargement request from the non-moving object enlargement video supply unit 109, the control unit 404 outputs the unmoving object enlargement information determined by the unmoving object enlargement image supply unit 109 to the resolution conversion unit 410. Therefore, the expansion of the unmoving object area is instructed. The resolution conversion unit 410 enlarges the unmoving object regions 308 and 310 in the reduced image data based on the unmoving object enlargement information. Here, it is assumed that the unmoving object enlargement information indicates information for enlarging the unmoving object region by setting the resolution higher before the reduction processing by the resolution conversion unit 410.

ステップＳ５０７において、制御部４０４は、動体・不動体検出部１０６に対して、拡大された不動体領域における動体及び不動体の検出処理の開始を指示する。フレーム間差分検出部１０８は、拡大された不動体領域３０８、３１０に対してフレーム間差分をとる。その結果、不動体領域３０８は拡大していっても置き去られた鞄であるため、フレーム間の差分はない。従って、動体・不動体検出部１０６は、不動体領域３０８を置き去り物として認識する。一方、不動体領域３１０は人であるため完全に静止することはできない。従って、不動体領域３１０は拡大されることにより微小な動きであってもフレーム間差分が発生する。よって、動体・不動体検出部１０６は、不動体領域３１０を置き去り物ではないと認識する。このアルゴリズムによると、人以外の例えば動物等、完全に静止することができない物体を置き去り物でないと判定する。また、拡大された不動体領域に対してフレーム間差分をとる時間を長くすることにより、精度をさらに向上させることが可能である。   In step S507, the control unit 404 instructs the moving object / unmoving object detection unit 106 to start the moving object and unmoving object detection processing in the expanded unmoving object region. The inter-frame difference detection unit 108 calculates inter-frame differences for the expanded unmoving object regions 308 and 310. As a result, there is no difference between frames because the unmoving object region 308 is left behind even if it is enlarged. Therefore, the moving object / unmoving object detection unit 106 recognizes the unmoving object region 308 as a left-over object. On the other hand, since the non-moving object region 310 is a person, it cannot be completely stationary. Accordingly, the non-moving object region 310 is enlarged, so that an inter-frame difference occurs even if the movement is small. Therefore, the moving object / unmoving object detection unit 106 recognizes that the unmoving object region 310 is not a leftover object. According to this algorithm, it is determined that an object that cannot be completely stationary, such as an animal other than a person, is not a leftover object. Further, it is possible to further improve the accuracy by lengthening the time for taking the inter-frame difference for the expanded unmoving object region.

以上のように、第２の実施形態によれば、動きのある人等と動きが静止した物とを容易に判断することが可能となり、高精度に置き去り物体を検知することができる。また、第２の実施形態においては、不動体に対して、人か物かの判断を行っている間も撮影映像に変化はないため、監視目的に影響を与えずに簡易的に置き去り物体の検知精度を向上させることが可能となる。   As described above, according to the second embodiment, it is possible to easily determine a moving person or the like and an object in which the movement is stationary, and it is possible to detect the object by leaving with high accuracy. Further, in the second embodiment, since the captured image does not change while the determination of whether the object is a person or an object is not performed on the unmoving object, the object can be simply left without affecting the monitoring purpose. Detection accuracy can be improved.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

１０１：置き去り検知システム、１０２：撮影部、１０３：光学ズーム部、１０４：制御部１０４、１０５：メモリ部、１０６：動体・不動体検出部、１０７：背景差分検出部、１０８：フレーム間差分検出部、１０９：不動体拡大映像供給部   101: Abandonment detection system, 102: Shooting unit, 103: Optical zoom unit, 104: Control unit 104, 105: Memory unit, 106: Moving object / non-moving object detection unit, 107: Background difference detection unit, 108: Interframe difference detection Part, 109: Unmoving object enlarged image supply part

Claims (5)

撮像手段により撮像された画像データから不動体領域を検出する検出手段と、
前記検出手段により検出された前記不動体領域を拡大させる拡大手段と、
前記拡大手段により拡大された前記不動体領域を用いて動体又は不動体を検知する検知手段とを有することを特徴とする検知装置。 Detecting means for detecting a non-moving object region from the image data imaged by the imaging means;
An enlarging means for enlarging the unmoving object region detected by the detecting means;
And a detecting means for detecting a moving object or a non-moving object using the non-moving object region enlarged by the enlarging means. 前記拡大手段は、前記撮像手段に備えられた光学ズーム手段を用いて前記不動体領域を拡大させることを特徴とする請求項１に記載の検知装置。   The detection device according to claim 1, wherein the enlarging unit enlarges the unmoving object region by using an optical zoom unit provided in the imaging unit. 前記撮像手段により撮像された画像データの解像度を変換する変換手段を更に有し、
前記検出手段は、前記変換手段により解像度が縮小された前記画像データから前記不動体領域を検出し、前記拡大手段は、前記変換手段により解像度が縮小される前の解像度とすることで前記不動体領域を拡大させることを特徴とする請求項１に記載の検知装置。 Further comprising conversion means for converting the resolution of the image data imaged by the imaging means;
The detecting means detects the unmoving object region from the image data whose resolution has been reduced by the converting means, and the enlarging means has the resolution before the resolution is reduced by the converting means, so that the unmoving object is detected. The detection apparatus according to claim 1, wherein the area is enlarged. 検知装置によって実行される検知方法であって、
撮像手段により撮像された画像データから不動体領域を検出する検出ステップと、
前記検出ステップにより検出された前記不動体領域を拡大させる拡大ステップと、
前記拡大ステップにより拡大された前記不動体領域を用いて動体又は不動体を検知する検知ステップとを有することを特徴とする検知方法。 A detection method executed by a detection device,
A detection step of detecting a non-moving object region from the image data imaged by the imaging means;
An enlarging step of enlarging the unmoving object region detected by the detecting step;
And a detection step of detecting a moving object or a non-moving object using the non-moving object region enlarged by the enlarging step. 撮像手段により撮像された画像データから不動体領域を検出する検出ステップと、
前記検出ステップにより検出された前記不動体領域を拡大させる拡大ステップと、
前記拡大ステップにより拡大された前記不動体領域を用いて動体又は不動体を検知する検知ステップとをコンピュータに実行させるためのプログラム。 A detection step of detecting a non-moving object region from the image data imaged by the imaging means;
An enlarging step of enlarging the unmoving object region detected by the detecting step;
A program for causing a computer to execute a detecting step of detecting a moving object or a non-moving object using the non-moving object region enlarged by the enlarging step.
JP2011154052A 2011-07-12 2011-07-12 Determination apparatus, determination method, and program Active JP5911227B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011154052A JP5911227B2 (en) 2011-07-12 2011-07-12 Determination apparatus, determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011154052A JP5911227B2 (en) 2011-07-12 2011-07-12 Determination apparatus, determination method, and program

Publications (3)

Publication Number Publication Date
JP2013021551A true JP2013021551A (en) 2013-01-31
JP2013021551A5 JP2013021551A5 (en) 2014-08-21
JP5911227B2 JP5911227B2 (en) 2016-04-27

Family

ID=47692533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011154052A Active JP5911227B2 (en) 2011-07-12 2011-07-12 Determination apparatus, determination method, and program

Country Status (1)

Country Link
JP (1) JP5911227B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018113618A (en) * 2017-01-12 2018-07-19 三菱電機インフォメーションシステムズ株式会社 Video stream processing device, video stream processing program, and video monitoring system
WO2018179202A1 (en) * 2017-03-30 2018-10-04 日本電気株式会社 Information processing device, control method, and program
JP2019185435A (en) * 2018-04-11 2019-10-24 パナソニック株式会社 Deserted cart detection system and deserted cart detection method
JP2020177676A (en) * 2017-03-30 2020-10-29 日本電気株式会社 Information processing device, information processing method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102179764B1 (en) * 2019-11-25 2020-11-17 세안기술 주식회사 An image processing method for improving vibration perception on vibration monitoring camera image
KR102285615B1 (en) * 2020-08-31 2021-08-04 세안기술 주식회사 An image processing method for improving vibration perception on vibration monitoring camera image

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212770A (en) * 1996-02-07 1997-08-15 Fujitsu General Ltd Monitoring camera system
JPH11112966A (en) * 1997-10-07 1999-04-23 Canon Inc Moving object detector, moving object detection method and computer-readable storage medium thereof
JP2003116139A (en) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd Video distribution server and video reception client system
JP2003219399A (en) * 2002-01-21 2003-07-31 Toenec Corp Supervisory apparatus for identifying supervisory object
JP2005175970A (en) * 2003-12-11 2005-06-30 Canon Inc Imaging system
JP2006127195A (en) * 2004-10-29 2006-05-18 Fujitsu Ltd Image sensor device and image sensor system
JP2006238102A (en) * 2005-02-25 2006-09-07 Sony Corp Imaging apparatus and method for distributing image
JP2007036756A (en) * 2005-07-27 2007-02-08 Kazuo Iwane Monitoring camera system for linking all-around camera of fixed visual angle with narrow angle camera which can control the direction of visual point
JP2008124591A (en) * 2006-11-09 2008-05-29 Sony Corp Imaging device and image processing method
JP2009253449A (en) * 2008-04-02 2009-10-29 Canon Inc Monitoring apparatus and monitoring method
JP2010177893A (en) * 2009-01-28 2010-08-12 Osaka Prefecture Imaging controller and imaging control method
JP2010226687A (en) * 2009-02-27 2010-10-07 Sony Corp Image processing device, image processing system, camera device, image processing method, and program therefor

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212770A (en) * 1996-02-07 1997-08-15 Fujitsu General Ltd Monitoring camera system
JPH11112966A (en) * 1997-10-07 1999-04-23 Canon Inc Moving object detector, moving object detection method and computer-readable storage medium thereof
JP2003116139A (en) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd Video distribution server and video reception client system
JP2003219399A (en) * 2002-01-21 2003-07-31 Toenec Corp Supervisory apparatus for identifying supervisory object
JP2005175970A (en) * 2003-12-11 2005-06-30 Canon Inc Imaging system
JP2006127195A (en) * 2004-10-29 2006-05-18 Fujitsu Ltd Image sensor device and image sensor system
JP2006238102A (en) * 2005-02-25 2006-09-07 Sony Corp Imaging apparatus and method for distributing image
JP2007036756A (en) * 2005-07-27 2007-02-08 Kazuo Iwane Monitoring camera system for linking all-around camera of fixed visual angle with narrow angle camera which can control the direction of visual point
JP2008124591A (en) * 2006-11-09 2008-05-29 Sony Corp Imaging device and image processing method
JP2009253449A (en) * 2008-04-02 2009-10-29 Canon Inc Monitoring apparatus and monitoring method
JP2010177893A (en) * 2009-01-28 2010-08-12 Osaka Prefecture Imaging controller and imaging control method
JP2010226687A (en) * 2009-02-27 2010-10-07 Sony Corp Image processing device, image processing system, camera device, image processing method, and program therefor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018113618A (en) * 2017-01-12 2018-07-19 三菱電機インフォメーションシステムズ株式会社 Video stream processing device, video stream processing program, and video monitoring system
US11776274B2 (en) 2017-03-30 2023-10-03 Nec Corporation Information processing apparatus, control method, and program
JPWO2018179202A1 (en) * 2017-03-30 2020-01-23 日本電気株式会社 Information processing apparatus, control method, and program
JP2020177676A (en) * 2017-03-30 2020-10-29 日本電気株式会社 Information processing device, information processing method, and program
US11164006B2 (en) 2017-03-30 2021-11-02 Nec Corporation Information processing apparatus, control method, and program
WO2018179202A1 (en) * 2017-03-30 2018-10-04 日本電気株式会社 Information processing device, control method, and program
US12046044B2 (en) 2017-03-30 2024-07-23 Nec Corporation Information processing apparatus, control method, and program
US12046043B2 (en) 2017-03-30 2024-07-23 Nec Corporation Information processing apparatus, control method, and program
US12106571B2 (en) 2017-03-30 2024-10-01 Nec Corporation Information processing apparatus, control method, and program
JP2019185435A (en) * 2018-04-11 2019-10-24 パナソニック株式会社 Deserted cart detection system and deserted cart detection method
JP7131944B2 (en) 2018-04-11 2022-09-06 パナソニックホールディングス株式会社 Abandoned cart detection system and abandoned cart detection method
JP2022009396A (en) * 2020-07-02 2022-01-14 日本電気株式会社 Information processing device, information processing method, and program
JP7347481B2 (en) 2020-07-02 2023-09-20 日本電気株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP5911227B2 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
JP5911227B2 (en) Determination apparatus, determination method, and program
JP6381353B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
JP2011165008A (en) Image recognition apparatus and method
JP6335701B2 (en) Information processing apparatus, information processing method, and program
JP2012118817A (en) Image processing device and image processing method, program, and storage medium
US11170520B2 (en) Image processing apparatus for analyzing an image to detect an object within the image
JP2011076316A (en) Device, method and program for crowd watching
JP2019078880A (en) Control device, imaging apparatus, control method, and program
JP2007328572A (en) Face authentication device and face authentication method
JP4281338B2 (en) Image detection apparatus and image detection method
JP2008299784A (en) Object determination device and program therefor
JP5247338B2 (en) Image processing apparatus and image processing method
JP2016111561A (en) Information processing device, system, information processing method, and program
JP2018201146A (en) Image correction apparatus, image correction method, attention point recognition apparatus, attention point recognition method, and abnormality detection system
JP6483661B2 (en) Imaging control apparatus, imaging control method, and program
JP5539565B2 (en) Imaging apparatus and subject tracking method
JP2009239391A (en) Compound eye photographing apparatus, control method therefor, and program
JP2008211534A (en) Face detecting device
JP2021022783A (en) Control device, tracking system, control method, and program
JP2009157446A (en) Monitoring system
JP5896781B2 (en) Image processing apparatus and image processing method
JP2014216694A (en) Tracking pan head device with resolution increase processing
JP2019192155A (en) Image processing device, photographing device, image processing method, and program
JP2014131211A (en) Imaging apparatus and image monitoring system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160329

R151 Written notification of patent or utility model registration

Ref document number: 5911227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151