JP5218345B2 - Image detection device - Google Patents

Image detection device Download PDF

Info

Publication number
JP5218345B2
JP5218345B2 JP2009202505A JP2009202505A JP5218345B2 JP 5218345 B2 JP5218345 B2 JP 5218345B2 JP 2009202505 A JP2009202505 A JP 2009202505A JP 2009202505 A JP2009202505 A JP 2009202505A JP 5218345 B2 JP5218345 B2 JP 5218345B2
Authority
JP
Japan
Prior art keywords
detection
image
parameter
detection parameter
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009202505A
Other languages
Japanese (ja)
Other versions
JP2011055262A (en
Inventor
良平 石田
雅樹 濱田
義幸 加藤
博康 根岸
晃 鳥居
大介 木皿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009202505A priority Critical patent/JP5218345B2/en
Publication of JP2011055262A publication Critical patent/JP2011055262A/en
Application granted granted Critical
Publication of JP5218345B2 publication Critical patent/JP5218345B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、デジタルカメラやデジタルビデオカメラ等で撮影された画像から、特定の画像を検出する画像検出装置に関する。   The present invention relates to an image detection apparatus that detects a specific image from an image captured by a digital camera, a digital video camera, or the like.

従来、デジタルカメラやデジタルビデオカメラの分野において、撮影された画像から、例えば、顔画像のような特定の画像(以下、対象画像という)を検出する手法が提案されている。非特許文献1では、画像検出の標準的な手法の一つとして、サンプル画像を用いた機械学習により生成された検出器によって、特定の画像の検出を行なうViola-Jonesアルゴリズムが開示されている。また、ニューラル・ネットワークを用いた顔検出アルゴリズムも提案されている。これらの手法では、天地方向が似通ったサンプル画像群を学習に用いるため、生成される検出器が検出できる対象画像の平面内回転角度が、学習に用いたサンプル画像の天地方向によって決められる場合が多い。そういった場合、上記の手法では、サンプル画像の天地方向と異なる方向に回転した対象画像を検出することはできない。   Conventionally, in the field of digital cameras and digital video cameras, a method for detecting a specific image (hereinafter referred to as a target image) such as a face image from a photographed image has been proposed. Non-Patent Document 1 discloses a Viola-Jones algorithm that detects a specific image by a detector generated by machine learning using a sample image as one of standard image detection techniques. A face detection algorithm using a neural network has also been proposed. Since these methods use a group of sample images with similar top and bottom directions for learning, the in-plane rotation angle of the target image that can be detected by the generated detector may be determined by the top and bottom direction of the sample images used for learning. Many. In such a case, the above method cannot detect a target image rotated in a direction different from the vertical direction of the sample image.

そこで、このような場合であっても、対象画像を検出できる様々な手法が提案されている。例えば、入力画像を一定の回転角度ごとに回転させて検出する手法や、検出器が使用する学習データを一定の回転角度ごとに予め用意する手法や、ある角度で回転した対象画像を検出できるように学習した学習データを、検出する角度に合わせて変換する手法などが提案されている。   Therefore, various methods have been proposed that can detect a target image even in such a case. For example, a method for detecting an input image by rotating it at a certain rotation angle, a method for preparing learning data used by the detector at each rotation angle in advance, or a target image rotated at a certain angle can be detected. A method of converting learning data learned in accordance with the angle to be detected has been proposed.

これらの手法では、入力画像の一部を選択した領域(選択領域)を検出器に入力して、対象画像の検出を行なう。しかし、選択領域のサイズは固定されているため、検出できる対象画像のサイズは、選択領域のサイズに一致することが多い。そこで、サイズの異なる対象画像を検出するために、入力画像を拡大縮小して検出する手法や、検出器が使用する学習データを、サイズの異なる対象画像の検出に対応できるように変換する手法が提案されている。   In these methods, a target image is detected by inputting a region (selected region) in which a part of an input image is selected to a detector. However, since the size of the selection area is fixed, the size of the target image that can be detected often matches the size of the selection area. Therefore, in order to detect target images of different sizes, there are a method of detecting the input image by enlarging and reducing it, and a method of converting the learning data used by the detector so as to correspond to detection of target images of different sizes. Proposed.

このように、対象画像を漏れなく検出するためには、入力画像に含まれる対象画像の平面内回転角度や、サイズといったパラメータ(検出パラメータ)を考慮して検出を行なう必要がある。しかし、多数の検出パラメータを考慮した検出を行なう場合、一つの入力画像に対する検出を、検出パラメータを変えながら何度も行なう必要があり、検出パラメータの数に比例して検出時間が延びるという問題点がある。また、異なる検出パラメータを割り振った検出器を並列化すれば、検出処理を高速化できるが、検出器の規模が増大してしまうという問題点もある。   Thus, in order to detect the target image without omission, it is necessary to perform detection in consideration of parameters (detection parameters) such as the in-plane rotation angle and size of the target image included in the input image. However, when performing detection in consideration of a large number of detection parameters, it is necessary to perform detection for one input image many times while changing the detection parameters, and the detection time increases in proportion to the number of detection parameters. There is. In addition, if the detectors to which different detection parameters are assigned are parallelized, the detection process can be speeded up, but there is a problem that the scale of the detector increases.

そこで、特許文献1に記載されているように、検出パラメータを限定して、高速に検出を行なう手法が提案されている。特許文献1の手法では、一度検出した顔画像の回転角度を、以降の検出で用いる回転角度とし、それ以外の回転角度の検出を省略することにより、検出処理の高速化を図っている。   Therefore, as described in Patent Document 1, a method of performing detection at high speed by limiting detection parameters has been proposed. In the method of Patent Document 1, the rotation angle of the face image once detected is set as the rotation angle used in the subsequent detection, and detection of other rotation angles is omitted, thereby speeding up the detection process.

特開2007−110575号公報JP 2007-110575 A

P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features”, Proc. of CVPR, 2001.P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features”, Proc. Of CVPR, 2001.

しかしながら、従来の特許文献1の手法では、検出結果に基づいて検出パラメータを限定して検出を行なうことにより、確かに検出を高速化することができるが、省略した検出パラメータで検出され得る対象画像を検出できないため、対象画像の検出漏れが発生するという問題点があった。本発明は、このような問題点を解決するためになされたもので、対象画像を漏れ少なく、かつ、高速に検出することができる画像検出装置を提供することを目的とする。   However, in the conventional method of Patent Document 1, the detection can be speeded up by limiting the detection parameters based on the detection result, but the target image that can be detected with the omitted detection parameters. Therefore, there is a problem that omission of detection of the target image occurs. The present invention has been made to solve such a problem, and an object of the present invention is to provide an image detection apparatus capable of detecting a target image with little leakage and at a high speed.

上記で述べた課題を解決するため、本発明に係る画像検出装置は、入力画像の一部である選択画像を選択する画像選択手段と、検出する対象画像の検出位置を含む検出条件が設定された検出パラメータに基づいて、前記画像選択手段により選択された前記選択画像から、前記対象画像を検出する画像検出手段と、前記画像検出手段により検出された前記対象画像を包含する領域である優先領域と前記画像検出手段の前記検出パラメータに優先的に設定される優先適用検出パラメータとを対応付けて記憶する優先適用検出パラメータ記憶手段と、前記画像検出手段により検出された前記対象画像の検出結果に基づいて、前記優先適用検出パラメータ記憶手段に記憶された前記優先領域と前記優先適用検出パラメータとを更新する優先適用検出パラメータ更新手段と、前記画像検出手段の前記検出パラメータを変更した検出パラメータ候補を生成し、この検出パラメータ候補の検出位置が前記優先適用検出パラメータ記憶手段に記憶された前記優先領域に含まれる場合、この優先領域に対応付けられた前記優先適用検出パラメータを前記検出パラメータに設定し、前記検出パラメータ候補の検出位置が前記優先領域に含まれない場合、この検出パラメータ候補を前記検出パラメータに設定することにより、前記画像検出手段の前記検出パラメータを制御する検出パラメータ制御手段とを備えることとしたものである。   In order to solve the above-described problem, the image detection apparatus according to the present invention has an image selection unit that selects a selection image that is a part of an input image, and a detection condition that includes a detection position of a target image to be detected. Based on the detected parameters, an image detection unit that detects the target image from the selected image selected by the image selection unit, and a priority region that includes the target image detected by the image detection unit And a priority application detection parameter storage unit that stores a priority application detection parameter preferentially set to the detection parameter of the image detection unit, and a detection result of the target image detected by the image detection unit. Based on the priority application detection parameter for updating the priority area and the priority application detection parameter stored in the priority application detection parameter storage means. When a detection parameter candidate obtained by changing the detection parameter of the image update unit and the meter detection unit is generated, and a detection position of the detection parameter candidate is included in the priority area stored in the priority application detection parameter storage unit, The priority application detection parameter associated with the priority area is set as the detection parameter, and when the detection position of the detection parameter candidate is not included in the priority area, the detection parameter candidate is set as the detection parameter. Thus, a detection parameter control means for controlling the detection parameter of the image detection means is provided.

本発明によれば、優先適用検出パラメータリストを設けて、優先領域ごとに検出パラメータを指定できるようにしたことにより、優先適用検出パラメータリストにリストアップされた検出領域に対しては、登録された検出パラメータを用いることで、検出処理を高速化することができ、また、リストアップされていない検出領域に対しては、様々な検出パラメータを用いて検出を行なうため、漏れの少ない検出を実施できるようになるという効果がある。
また、優先領域で対象画像が検出できない場合に、検出パラメータを変更しながら、検出する対象を追従することにより、一度検出された対象画像を重点的に検出し続けることができるようになり、少数の対象を途切れることなく検出できるという効果がある。
According to the present invention, the priority application detection parameter list is provided so that the detection parameter can be specified for each priority area, so that the detection areas listed in the priority application detection parameter list are registered. By using detection parameters, the detection process can be speeded up, and detection areas that are not listed are detected using various detection parameters, so that detection with less leakage can be performed. This has the effect of becoming
In addition, when the target image cannot be detected in the priority area, it is possible to continue to detect the target image once detected by changing the detection parameter and follow the target to be detected. There is an effect that it is possible to detect the target without interruption.

本発明の実施の形態1における画像検出装置の一例を示す構成図である。It is a block diagram which shows an example of the image detection apparatus in Embodiment 1 of this invention. 実施の形態1に係る画像検出装置における画像検出処理(1フレーム目)のフローチャートを示す図である。4 is a diagram illustrating a flowchart of image detection processing (first frame) in the image detection apparatus according to Embodiment 1. FIG. 画像選択手段1が、1フレーム目の入力画像から選択した選択画像の一例を示す図である。It is a figure which shows an example of the selection image which the image selection means 1 selected from the input image of the 1st frame. 選択画像(ABCD)から対象画像を検出した結果の一例を示す図である。It is a figure which shows an example of the result of having detected the object image from the selection image (ABCD). 図4に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。FIG. 5 is a diagram showing an example of a priority application detection parameter list updated based on the detection result of the target image shown in FIG. 4. 1フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。It is a figure which shows an example of the "priority area | region" registered into a priority application detection parameter list | wrist in the 1st frame. 実施の形態1に係る画像検出装置における画像検出処理(2フレーム目以降)のフローチャートを示す図である。6 is a diagram illustrating a flowchart of image detection processing (second and subsequent frames) in the image detection apparatus according to Embodiment 1. FIG. 2フレーム目において、検出パラメータ制御手段6が変更した検出パラメータの一例を示す図である。It is a figure which shows an example of the detection parameter which the detection parameter control means 6 changed in the 2nd frame. 選択画像(EFGH)から対象画像を検出した結果の一例を示す図である。It is a figure which shows an example of the result of having detected the target image from the selection image (EFGH). 図9に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。It is a figure which shows an example of the priority application detection parameter list updated based on the detection result of the target image shown in FIG. 2フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。It is a figure which shows an example of the "priority area | region" registered into a priority application detection parameter list in the 2nd frame. 3フレーム目において、検出パラメータ制御手段6が変更した検出パラメータの一例を示す図である。It is a figure which shows an example of the detection parameter which the detection parameter control means 6 changed in the 3rd frame. 図10に示した優先適用検出パラメータリストに登録されている二つの優先領域を示した図である。FIG. 11 is a diagram showing two priority areas registered in the priority application detection parameter list shown in FIG. 10. 実施の形態2に係る画像検出装置における、対象を追随する画像検出処理のフローチャートを示す図である。FIG. 10 is a diagram illustrating a flowchart of an image detection process that follows a target in the image detection apparatus according to the second embodiment.

1 画像選択手段、2 画像検出手段、3 検出結果出力手段、4 優先適用検出パラメータ記憶手段、5 検出パラメータ制御手段。 1 image selection means, 2 image detection means, 3 detection result output means, 4 priority application detection parameter storage means, 5 detection parameter control means.

実施の形態1.
図1は、本発明の実施の形態1における画像検出装置の一例を示す構成図である。
図1において、画像選択手段1は、検出パラメータ制御手段6が指定する「検出位置」や「検出領域サイズ」や「検出角度」などの検出パラメータの値に従って、入力画像の一部の領域を選択し、この選択した領域を選択画像として切り出して、画像検出手段2に選択画像を転送する。
Embodiment 1 FIG.
FIG. 1 is a configuration diagram illustrating an example of an image detection apparatus according to Embodiment 1 of the present invention.
In FIG. 1, the image selection unit 1 selects a partial region of the input image according to detection parameter values such as “detection position”, “detection region size”, and “detection angle” specified by the detection parameter control unit 6. Then, the selected area is cut out as a selected image, and the selected image is transferred to the image detection means 2.

画像検出手段2は、事前にサンプル画像を用いた機械学習により生成された学習データを含む検出器によって、画像選択手段1により転送された選択画像から対象画像を検出する。   The image detection unit 2 detects a target image from the selected image transferred by the image selection unit 1 by a detector including learning data generated by machine learning using a sample image in advance.

検出結果出力手段3は、画像検出手段2が検出した対象画像に基づいて、図示しない表示手段に検出結果を出力するとともに、後述の優先適用検出パラメータ更新手段5にも、検出結果を出力する。   The detection result output unit 3 outputs the detection result to a display unit (not shown) based on the target image detected by the image detection unit 2 and also outputs the detection result to a priority application detection parameter update unit 5 described later.

優先適用検出パラメータ記憶手段4は、「検出位置」や「検出領域サイズ」や「検出角度」などの検出パラメータについて、対象画像の検出において優先的に適用される検出パラメータ(優先適用検出パラメータ)が格納された優先適用検出パラメータリストを記憶する。なお、優先適用検出パラメータリストの詳細は、後述する。   The priority application detection parameter storage means 4 has detection parameters (priority application detection parameters) that are preferentially applied in the detection of the target image for detection parameters such as “detection position”, “detection region size”, and “detection angle”. The stored priority application detection parameter list is stored. Details of the priority application detection parameter list will be described later.

優先適用検出パラメータ更新手段5は、検出結果出力手段3により出力された検出結果に基づいて、優先適用検出パラメータ記憶手段4に格納された優先適用検出パラメータリストを更新する。   The priority application detection parameter update unit 5 updates the priority application detection parameter list stored in the priority application detection parameter storage unit 4 based on the detection result output by the detection result output unit 3.

検出パラメータ制御手段6は、優先適用検出パラメータ記憶手段4に記憶された優先適用検出パラメータリストを参照して、検出パラメータを変更しながら対象画像の検出を行なう検出シーケンスを実行する。検出パラメータは、画像選択手段1と画像検出手段2とにそれぞれ転送されて、画像選択手段1の選択画像の切り出し処理や、画像検出手段2の検出処理に使用される。   The detection parameter control means 6 refers to the priority application detection parameter list stored in the priority application detection parameter storage means 4 and executes a detection sequence for detecting the target image while changing the detection parameters. The detection parameters are transferred to the image selection unit 1 and the image detection unit 2, respectively, and used for the cut-out process of the selected image of the image selection unit 1 and the detection process of the image detection unit 2.

次に、実施の形態1における画像検出装置の動作について、図2〜図13を適宜参照しながら説明する。   Next, the operation of the image detection apparatus according to the first embodiment will be described with reference to FIGS.

図2は、実施の形態1に係る画像検出装置における画像検出処理(1フレーム目)のフローチャートを示す図である。
デジタルビデオカメラ等の動画像の各フレームを入力画像として対象画像の検出を行なう場合、フレームごとに、検出パラメータ制御手段6が、画像選択手段1と画像検出手段2とを制御して、図2の画像検出処理のシーケンスを実行する。
FIG. 2 is a flowchart of image detection processing (first frame) in the image detection apparatus according to the first embodiment.
When a target image is detected using each frame of a moving image such as a digital video camera as an input image, the detection parameter control means 6 controls the image selection means 1 and the image detection means 2 for each frame, and FIG. The image detection processing sequence is executed.

まず、ステップS101において、検出パラメータ制御手段6は、対象画像を検出する際に用いる検出パラメータ候補を生成するために、「検出位置」と「検出領域サイズ」と「検出角度」との3つの検出パラメータを変更する。検出パラメータを変更する順番は任意である。以下、これらの検出パラメータについて、詳細に説明する。   First, in step S101, the detection parameter control means 6 detects three detections of “detection position”, “detection region size”, and “detection angle” in order to generate detection parameter candidates used when detecting the target image. Change the parameter. The order in which the detection parameters are changed is arbitrary. Hereinafter, these detection parameters will be described in detail.

検出パラメータの一つである「検出位置」は、検出する領域の位置を特定する座標を設定する。例えば、検出する領域の左上の座標や、領域中央の座標を設定する。座標を変更する方法は、ラスタスキャン順に座標を更新する方法や、画面中央から渦巻き状に座標を更新する方法などを用いることができる。   “Detection position”, which is one of the detection parameters, sets coordinates for specifying the position of the area to be detected. For example, the upper left coordinates of the area to be detected and the coordinates of the center of the area are set. As a method of changing coordinates, a method of updating coordinates in the order of raster scanning, a method of updating coordinates in a spiral shape from the center of the screen, or the like can be used.

検出パラメータの一つである「検出領域サイズ」は、検出する領域の大きさ(サイズ)を特定するものを設定する。例えば、検出する領域の一辺の長さや、入力画像の大きさに対する比率などを設定する。また、検出する領域の形状は、正方形である必要はない。例えば、領域の形状が長方形の場合は、長辺と短辺の二辺の長さを設定し、領域の形状が円の場合は、半径の長さを設定すれば良い。また、サイズの異なる対象画像を検出するために、数種類の検出領域サイズを設定する。なお、これらの検出領域サイズを設定する順番は任意である。   “Detection area size” which is one of the detection parameters is set to specify the size (size) of the area to be detected. For example, the length of one side of the area to be detected, the ratio to the size of the input image, and the like are set. Further, the shape of the area to be detected need not be a square. For example, when the shape of the region is a rectangle, the lengths of the two sides of the long side and the short side are set, and when the shape of the region is a circle, the length of the radius may be set. In order to detect target images having different sizes, several types of detection area sizes are set. The order of setting these detection area sizes is arbitrary.

検出パラメータの一つである「検出角度」は、入力画像の垂直方向と、検出時に想定する対象画像の垂直方向との相違角度である。この相違角度は、一定の回転角度ごとに設定する。例えば、45度単位で設定する場合は、0度、45度、90度、135度、180度、225度、270度、315度のいずれかを設定する。なお、これらの角度を設定する順番は任意である。   “Detection angle” which is one of the detection parameters is a difference angle between the vertical direction of the input image and the vertical direction of the target image assumed at the time of detection. This difference angle is set for each fixed rotation angle. For example, when setting in units of 45 degrees, any one of 0 degree, 45 degrees, 90 degrees, 135 degrees, 180 degrees, 225 degrees, 270 degrees, and 315 degrees is set. The order in which these angles are set is arbitrary.

以上で述べた「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータの設定に基づいて、検出パラメータ制御手段6は、画像選択手段1や、画像検出手段2に対して、変更した3つの検出パラメータを指定するとともに、画像選択手段1の画像選択処理や、画像検出手段2の画像検出処理の実行を制御する。   Based on the detection parameter settings such as “detection position”, “detection area size”, and “detection angle” described above, the detection parameter control means 6 performs the following operations on the image selection means 1 and the image detection means 2. The three changed detection parameters are designated, and the execution of the image selection process of the image selection unit 1 and the image detection process of the image detection unit 2 is controlled.

なお、検出パラメータは、上記の3つに限定する必要はなく、他の検出パラメータがあっても良い。また、上記の3つの検出パラメータは、全てを備えることが必須ではない。例えば、画像検出手段2で用いる検出器が、あらゆる角度で回転した対象画像を検出できる検出器である場合、「検出角度」は、指定不要であるため、検出パラメータから取り除いても構わない。   Note that the detection parameters need not be limited to the above three, and there may be other detection parameters. Further, it is not essential that the above three detection parameters are provided. For example, when the detector used in the image detection means 2 is a detector that can detect a target image rotated at any angle, the “detection angle” need not be specified and may be removed from the detection parameters.

次に、ステップS102において、画像選択手段1は、検出パラメータ制御手段6が指定する「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータの値に従って、入力画像の一部の領域を選択し、この選択した領域を選択画像として切り出して、画像検出手段2に選択画像を転送する。   Next, in step S102, the image selection unit 1 determines a part of the input image according to the detection parameter values such as “detection position”, “detection region size”, and “detection angle” specified by the detection parameter control unit 6. An area is selected, the selected area is cut out as a selected image, and the selected image is transferred to the image detection means 2.

図3は、画像選択手段1が、1フレーム目の入力画像から選択した選択画像の一例を示す図である。
図3では、検出パラメータ制御手段6が、「検出位置」として、座標A(X1、Y1)を指定し、また、「検出領域サイズ」として、正方形により設定した検出領域ABCDの一辺の長さであるL1を指定し、さらに、Y軸を垂直方向と想定した「検出角度」として、0度を指定した場合に、画像選択手段1が、検出領域ABCDを選択画像として切り出したことを示すものである。画像検出手段2は、このようにして切り出された選択画像を、画像検出手段2に転送する。
FIG. 3 is a diagram illustrating an example of a selected image selected from the input image of the first frame by the image selection unit 1.
In FIG. 3, the detection parameter control means 6 designates the coordinates A (X1, Y1) as the “detection position” and the length of one side of the detection area ABCD set as a square as the “detection area size”. This indicates that the image selection means 1 has cut out the detection area ABCD as a selected image when a certain L1 is designated and 0 degree is designated as the “detection angle” assuming that the Y axis is the vertical direction. is there. The image detection means 2 transfers the selected image cut out in this way to the image detection means 2.

次に、ステップS103において、画像検出手段2は、画像選択手段1により転送された選択画像から、対象画像を検出する。対象画像の検出には、事前にサンプル画像を用いた機械学習により生成された学習データを含む検出器を用いる。検出方法としては、前述のViola-Jonesアルゴリズムや、ニューラル・ネットワークを用いた顔検出アルゴリズムなどを用いる。   Next, in step S103, the image detection unit 2 detects a target image from the selected image transferred by the image selection unit 1. For the detection of the target image, a detector including learning data generated by machine learning using a sample image in advance is used. As the detection method, the aforementioned Viola-Jones algorithm, a face detection algorithm using a neural network, or the like is used.

図4は、選択画像(ABCD)から対象画像を検出した結果の一例を示す図である。
図4では、顔画像を対象画像として、画像検出手段2により、選択画像の領域ABCDから顔画像を検出した結果を模式的に表現している。
FIG. 4 is a diagram illustrating an example of a result of detecting a target image from a selected image (ABCD).
In FIG. 4, a result of detecting a face image from the area ABCD of the selected image by the image detection unit 2 using the face image as a target image is schematically expressed.

ここで、ステップS101からステップS103において、入力画像平面内で回転している対象画像を検出する場合の動作について説明する。回転している対象画像を検出するためには、例えば、検出パラメータ制御手段6が、画像選択手段1に対して、「検出角度」を一定の回転角度ごとに指定し、画像選択手段1が、検出パラメータ制御手段6が指定する「検出角度」に従って、選択画像の回転処理を行なうようにする。   Here, an operation in the case of detecting a target image rotating in the input image plane from step S101 to step S103 will be described. In order to detect a rotating target image, for example, the detection parameter control means 6 designates a “detection angle” for each fixed rotation angle to the image selection means 1, and the image selection means 1 According to the “detection angle” designated by the detection parameter control means 6, the selected image is rotated.

あるいは、検出パラメータ制御手段6が、画像検出手段2に対して、「検出角度」を一定の回転角度ごとに指定し、画像検出手段2が、回転角度ごとに予め用意した学習データの中から、指定された「検出角度」に合う学習データを選択して使用しても良い。さらにまた、画像検出手段2が、ある角度で回転した対象画像を検出できるように学習した学習データを、指定された「検出角度」に合わせて変換して使用しても良い。   Alternatively, the detection parameter control unit 6 designates a “detection angle” for each fixed rotation angle with respect to the image detection unit 2, and the image detection unit 2 selects from the learning data prepared in advance for each rotation angle. Learning data matching the designated “detection angle” may be selected and used. Furthermore, the learning data learned so that the image detection means 2 can detect the target image rotated at a certain angle may be used by converting it according to the designated “detection angle”.

次に、ステップS104において、検出結果出力手段3は、画像検出手段2により検出された対象画像に基づいて、対象画像が検出された時の「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータを、図示しない表示手段に、検出結果として出力する。また、検出結果出力手段3が出力する検出結果は、優先適用検出パラメータ更新手段5にも転送される。   Next, in step S104, the detection result output unit 3 detects “detection position”, “detection region size”, “detection angle” when the target image is detected based on the target image detected by the image detection unit 2. And the like as a detection result to a display means (not shown). The detection result output from the detection result output unit 3 is also transferred to the priority application detection parameter update unit 5.

なお、検出結果出力手段3が検出結果を出力する際には、同一の対象画像に対する検出結果の重複を削除する処理を行なっても良い。さらに、重複して検出が発生しない対象画像の検出を、誤検出とみなして削除する処理を行なっても良い。   In addition, when the detection result output means 3 outputs a detection result, you may perform the process which deletes the duplication of the detection result with respect to the same target image. Furthermore, a process of deleting the detection of the target image that does not occur redundantly as detection may be performed.

次に、ステップS105において、優先適用検出パラメータ更新手段5は、検出結果出力手段3が出力する検出結果を受けとり、優先適用検出パラメータ記憶手段4に記憶された優先適用検出パラメータリストを更新する。   Next, in step S105, the priority application detection parameter update unit 5 receives the detection result output from the detection result output unit 3, and updates the priority application detection parameter list stored in the priority application detection parameter storage unit 4.

優先適用検出パラメータリストは、次のフレーム以降の対象画像の検出において、優先的に適用される検出パラメータ(優先適用検出パラメータ)を格納するものである。対象画像の検出処理では、検出シーケンスが1フレーム分の表示期間中に終了せず、検出シーケンスが途中で打ち切られて、検出対象となる選択画像が、次フレームの選択画像に更新される場合がある。そのため、検出シーケンスのできるだけ早い段階で対象画像が検出されるように、検出パラメータ制御手段6により、検出される可能性が高い検出パラメータから順番に適用していくことが望ましい。このような検出パラメータを優先適用検出パラメータとして、優先適用検出パラメータリストに格納しておき、次のフレーム以降の対象画像の検出で、優先適用検出パラメータを優先的に用いることにより、対象画像の検出を効率的に行なうことができる。   The priority application detection parameter list stores detection parameters (priority application detection parameters) that are preferentially applied in the detection of target images after the next frame. In the detection process of the target image, the detection sequence may not end during the display period for one frame, the detection sequence may be interrupted in the middle, and the selected image to be detected may be updated to the selected image of the next frame. is there. For this reason, it is desirable that the detection parameter control unit 6 sequentially applies detection parameters that are highly likely to be detected so that the target image is detected as early as possible in the detection sequence. Such detection parameters are stored as priority application detection parameters in the priority application detection parameter list, and the target application detection is performed by preferentially using the priority application detection parameters in the detection of the target image after the next frame. Can be performed efficiently.

検出される可能性が高い検出パラメータの一例としては、直近に検出された対象画像の検出パラメータを用いることができる。この理由は、検出対象は、しばらくの間、動かないことが多いため、検出された対象画像は、それ以降のフレームにおいても、同じ検出パラメータで検出される可能性が高いからである。このため、「検出位置」や「検出領域サイズ」や「検出角度」を、同一、もしくは、それに近い値に設定して検出を行なえば、同一の検出対象を連続して検出できる可能性が高い。そこで、検出された際の検出パラメータを優先適用検出パラメータリストに保存しておき、以降のフレームでの検出で用いる。   As an example of a detection parameter that is highly likely to be detected, a detection parameter of a target image that is detected most recently can be used. This is because the detection target often does not move for a while, and thus the detected target image is highly likely to be detected with the same detection parameter in subsequent frames. For this reason, if detection is performed by setting the “detection position”, “detection region size”, and “detection angle” to the same or close values, there is a high possibility that the same detection target can be continuously detected. . Therefore, the detection parameters at the time of detection are stored in the priority application detection parameter list and used for detection in the subsequent frames.

あるいは、検出された対象画像の「検出領域サイズ」が大きい場合は、検出対象がカメラの近くに存在することを表しており、優先して検出すべき対象であることが多いと考えられるので、「検出領域サイズ」が所定の閾値以上の大きさである対象画像の検出パラメータを優先して、優先適用検出パラメータリストに追加して更新してもよい。   Alternatively, if the detected area size of the detected target image is large, it means that the detection target exists near the camera, and it is considered that it is often a target to be detected with priority. The detection parameter of the target image whose “detection area size” is equal to or larger than a predetermined threshold may be preferentially added and updated in the priority application detection parameter list.

図5は、図4に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。また、図6は、1フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。
優先適用検出パラメータリストの「優先領域」には、対象画像を検出した位置の近傍を包含する領域、例えば、矩形領域などを登録する。図4の検出結果の場合は、(X座標、Y座標)=(X1、Y1)を左上の頂点とした領域ABCDで対象画像が検出されているため、その領域ABCDを包含する大きめの領域、例えば、図6に示すように、(X0、Y0)から(X2、Y2)までの矩形領域を登録する。また、「検出角度」と「検出領域サイズ」には、対象画像を検出した際の「検出角度」と「検出領域サイズ」をそれぞれ登録する。
FIG. 5 is a diagram showing an example of the priority application detection parameter list updated based on the detection result of the target image shown in FIG. FIG. 6 is a diagram illustrating an example of a “priority area” registered in the priority application detection parameter list in the first frame.
In the “priority area” of the priority application detection parameter list, an area including the vicinity of the position where the target image is detected, for example, a rectangular area is registered. In the case of the detection result of FIG. 4, since the target image is detected in the area ABCD having (X coordinate, Y coordinate) = (X1, Y1) as the upper left vertex, a large area including the area ABCD, For example, as shown in FIG. 6, rectangular areas from (X0, Y0) to (X2, Y2) are registered. Further, “detection angle” and “detection region size” when the target image is detected are registered in “detection angle” and “detection region size”, respectively.

優先適用検出パラメータ更新手段5は、上記のように定義した優先適用検出パラメータリストに対して、検出した対象画像の検出パラメータを全て登録する。検出した対象画像の数が、優先適用検出パラメータリストに登録できる数を超える場合、何らかの優先順位、例えば、検出結果の確からしさ等に基づいて、登録する対象画像を絞り込む。   The priority application detection parameter update unit 5 registers all detection parameters of the detected target image in the priority application detection parameter list defined as described above. When the number of detected target images exceeds the number that can be registered in the priority application detection parameter list, the target images to be registered are narrowed down based on some priority, for example, the certainty of the detection result.

なお、優先適用検出パラメータ更新手段5による優先適用検出パラメータリストの更新は、例えば、検出結果出力手段3により、検出結果が出力される毎に、優先適用検出パラメータリストを更新する。あるいは、入力画像が更新される毎に、優先適用検出パラメータリストを初期化して登録し直してもよい。   The priority application detection parameter list is updated by the priority application detection parameter update unit 5, for example, every time the detection result is output by the detection result output unit 3. Alternatively, each time the input image is updated, the priority application detection parameter list may be initialized and re-registered.

次に、ステップS106において、検出パラメータ制御手段6は、ステップS101で設定した複数の検出パラメータについて、全ての検出パラメータを適用したか否かを判定し、NOであれば、ステップS101へ戻って、残りの検出パラメータによる検出を実行し、YESであれば、検出処理を終了する。   Next, in step S106, the detection parameter control means 6 determines whether or not all detection parameters have been applied to the plurality of detection parameters set in step S101. If NO, the process returns to step S101. Detection with the remaining detection parameters is executed. If YES, the detection process is terminated.

なお、検出シーケンスの実行時間を短縮するために、画像選択手段1や画像検出手段2は、並列化されていても良い。これらが並列化されている場合は、異なる検出パラメータでの検出を、複数同時に行なうことができる。例えば、画像検出手段2が二並列である場合、一つ目の画像検出手段2において、「検出角度」を0度に設定し、もう一つの検出部において、「検出角度」を90度に設定して検出を行なえば、「検出角度」が0度と90度での検出を同時に行なうことができる。   In order to shorten the execution time of the detection sequence, the image selection unit 1 and the image detection unit 2 may be arranged in parallel. When these are arranged in parallel, a plurality of detections with different detection parameters can be performed simultaneously. For example, when the image detection means 2 is in parallel, the “detection angle” is set to 0 degree in the first image detection means 2 and the “detection angle” is set to 90 degrees in the other detection unit. If detection is performed, detection with “detection angle” of 0 degrees and 90 degrees can be performed simultaneously.

次に、1フレーム目の入力画像に対する検出処理が終了し、継続して、2フレーム目以降の入力画像に対して、検出処理を実行する場合について説明する。   Next, a case will be described in which the detection process for the input image of the first frame is completed and the detection process is continuously executed for the input images of the second and subsequent frames.

図7は、実施の形態1に係る画像検出装置における画像検出処理(2フレーム目以降)のフローチャートを示す図である。   FIG. 7 is a diagram illustrating a flowchart of image detection processing (second and subsequent frames) in the image detection apparatus according to the first embodiment.

まず、ステップS201において、検出パラメータ制御手段6は、対象画像を検出する際に用いる検出パラメータ候補を生成するために、「検出位置」と「検出領域サイズ」と「検出角度」の3つの検出パラメータを変更する。
図8は、2フレーム目において、検出パラメータ制御手段6が変更した検出パラメータの一例を示す図である。
図8に示すように、「検出位置」として、座標E(X3、Y3)を指定し、また、「検出領域サイズ」として、正方形により設定した検出領域EFGHの一辺の長さであるL2を指定し、さらに、Y軸を垂直方向と想定した「検出角度」として、90度を指定するように、検出パラメータを変更したものとする。
First, in step S201, the detection parameter control means 6 generates three detection parameters “detection position”, “detection region size”, and “detection angle” in order to generate detection parameter candidates used when detecting the target image. To change.
FIG. 8 is a diagram showing an example of detection parameters changed by the detection parameter control means 6 in the second frame.
As shown in FIG. 8, the coordinates E (X3, Y3) is designated as the “detection position”, and L2 that is the length of one side of the detection area EFGH set by the square is designated as the “detection area size”. Furthermore, it is assumed that the detection parameter is changed so that 90 degrees is designated as the “detection angle” assuming that the Y axis is the vertical direction.

次に、ステップS202において、検出パラメータ制御手段6は、「検出位置」が、優先適用検出パラメータリストに格納された優先領域に含まれるか否かの判定を行なう。2フレーム目の処理開始時点では、図5に示すように、優先適用検出パラメータリストに格納された優先領域が、(X0、Y0)から(X2、Y2)までの矩形領域のみであるため、ステップS201で指定した「検出位置」である座標E(X3、Y3)は、優先領域に含まれないものと判定される。その結果、NOの分岐先であるステップS203へ処理が進む。   Next, in step S202, the detection parameter control means 6 determines whether or not the “detection position” is included in the priority area stored in the priority application detection parameter list. Since the priority area stored in the priority application detection parameter list is only the rectangular area from (X0, Y0) to (X2, Y2) as shown in FIG. The coordinates E (X3, Y3) that is the “detection position” specified in S201 is determined not to be included in the priority area. As a result, the process proceeds to step S203 which is a branch destination of NO.

次に、ステップS203において、画像選択手段1は、検出パラメータ制御手段6が指定する「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータの値に従って、2フレーム目の入力画像の一部の領域である検出領域EFGHを選択画像として切り出して、画像検出手段2に、この選択画像を転送する。   Next, in step S203, the image selection unit 1 determines the input image of the second frame in accordance with detection parameter values such as “detection position”, “detection region size”, and “detection angle” specified by the detection parameter control unit 6. A detection area EFGH, which is a partial area of the image, is cut out as a selected image, and this selected image is transferred to the image detection means 2.

次に、ステップS204において、画像検出手段2は、画像選択手段1により転送された選択画像から、対象画像を検出する。
図9は、選択画像(EFGH)から対象画像を検出した結果の一例を示す図である。
図9は、「検出位置」として、座標E(X3、Y3)を指定し、また、「検出領域サイズ」として、検出領域EFGHの一辺の長さであるL2を指定し、さらに、Y軸を垂直方向と想定した「検出角度」として、90度を指定した場合に、対象画像が検出された結果を示している。
Next, in step S <b> 204, the image detection unit 2 detects a target image from the selected image transferred by the image selection unit 1.
FIG. 9 is a diagram illustrating an example of a result of detecting a target image from a selected image (EFGH).
In FIG. 9, coordinates E (X3, Y3) are designated as “detection position”, L2 which is the length of one side of the detection area EFGH is designated as “detection area size”, and the Y axis is The result of detecting the target image when 90 degrees is designated as the “detection angle” assuming the vertical direction is shown.

次に、ステップS205において、検出結果出力手段3は、画像検出手段2により検出された対象画像に基づいて、対象画像が検出された時の「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータを、図示しない表示手段に、検出結果として出力する。また、検出結果出力手段3が出力する検出結果は、優先適用検出パラメータ更新手段5にも転送される。   Next, in step S205, the detection result output unit 3 detects “detection position”, “detection region size”, “detection angle” when the target image is detected based on the target image detected by the image detection unit 2. And the like as a detection result to a display means (not shown). The detection result output from the detection result output unit 3 is also transferred to the priority application detection parameter update unit 5.

次に、ステップS206において、優先適用検出パラメータ更新手段5は、検出結果出力手段3が出力する検出結果を受けとり、優先適用検出パラメータ記憶手段4に記憶された優先適用検出パラメータリストを更新する。   Next, in step S206, the priority application detection parameter update unit 5 receives the detection result output from the detection result output unit 3, and updates the priority application detection parameter list stored in the priority application detection parameter storage unit 4.

図10は、図9に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。また、図11は、2フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。
図10に示すように、ステップS205で検出された際の「検出位置」、「検出領域サイズ」、「検出角度」の検出パラメータの値を、優先適用検出パラメータリストに追加登録することにより更新する。図11では、領域EFGHを含む大きめの領域として、(X4、Y4)から(X5、Y5)までの矩形領域が示され、また、対象画像を検出した際の「検出角度」の90度と、「検出領域サイズ」のL2が、それぞれ示されている。
FIG. 10 is a diagram illustrating an example of the priority application detection parameter list updated based on the detection result of the target image illustrated in FIG. 9. FIG. 11 is a diagram illustrating an example of a “priority area” registered in the priority application detection parameter list in the second frame.
As shown in FIG. 10, detection parameter values of “detection position”, “detection region size”, and “detection angle” detected in step S205 are updated by additionally registering them in the priority application detection parameter list. . In FIG. 11, rectangular areas from (X4, Y4) to (X5, Y5) are shown as larger areas including the area EFGH, and the “detection angle” at the time of detecting the target image is 90 degrees, L2 of “detection area size” is shown.

次に、ステップS207において、検出パラメータ制御手段6は、ステップS201で設定した複数の検出パラメータについて、全ての検出パラメータを適用したか否かを判定し、NOであれば、ステップS201へ戻って、残りの検出パラメータによる検出を実行し、YESであれば、検出処理を終了する。   Next, in step S207, the detection parameter control means 6 determines whether or not all detection parameters have been applied to the plurality of detection parameters set in step S201. If NO, the process returns to step S201. Detection with the remaining detection parameters is executed. If YES, the detection process is terminated.

次に、3フレーム目の入力画像に対する検出処理を説明する。
まず、ステップS201において、検出パラメータ制御手段6は、「検出位置」と「検出領域サイズ」と「検出角度」の3つの検出パラメータを変更する。
図12は、3フレーム目において、検出パラメータ制御手段6が変更した検出パラメータの一例を示す図である。
図12に示すように、「検出位置」として、座標E’(X6、Y6)を指定し、また、「検出領域サイズ」として、正方形により設定した検出領域E’F’G’H’の一辺の長さであるL3を指定し、さらに、Y軸を垂直方向と想定した「検出角度」として、90度を指定するように、検出パラメータを変更したものとする。
Next, detection processing for the input image of the third frame will be described.
First, in step S201, the detection parameter control means 6 changes three detection parameters of “detection position”, “detection area size”, and “detection angle”.
FIG. 12 is a diagram showing an example of detection parameters changed by the detection parameter control means 6 in the third frame.
As shown in FIG. 12, the coordinates E ′ (X6, Y6) is designated as the “detection position”, and one side of the detection area E′F′G′H ′ set as a square as the “detection area size” And the detection parameter is changed so that 90 degrees is designated as the “detection angle” assuming that the Y axis is the vertical direction.

次に、ステップS202において、検出パラメータ制御手段6は、変更した検出パラメータの「検出位置」が、優先適用検出パラメータリストに格納された優先領域に含まれるか否かの判定を行なう。3フレーム目の処理開始時点の優先適用検出パラメータリストでは、図10に示すように、優先領域が、(X0、Y0)から(X2、Y2)までの矩形領域と、(X4、Y4)から(X5、Y5)までの矩形領域との二つの優先適用パラメータが登録されている状態になっている。また、図13は、図10に示した優先適用検出パラメータリストに登録されている二つの優先領域を示した図である。   Next, in step S202, the detection parameter control means 6 determines whether or not the “detection position” of the changed detection parameter is included in the priority area stored in the priority application detection parameter list. In the priority application detection parameter list at the start of processing of the third frame, as shown in FIG. 10, the priority area is a rectangular area from (X0, Y0) to (X2, Y2), and (X4, Y4) to ( Two preferential application parameters with the rectangular area up to X5, Y5) are registered. FIG. 13 is a diagram showing two priority areas registered in the priority application detection parameter list shown in FIG.

検出パラメータ制御手段6は、優先適用検出パラメータリストに登録された全ての優先領域を参照し、これらの中に、ステップS201で指定した「検出位置」である座標E’(X6、Y6)が含まれる優先領域が有るか否かを判定する。図10、図13に示した例の場合、座標E’(X6、Y6)は、(X4、Y4)から(X5、Y5)までの矩形領域の優先領域に含まれると判定される。その結果、YESの分岐先であるステップS208へ処理が進む。一方、座標E’(X6、Y6)が、どの優先領域にも含まれないと判定された場合は、NOの分岐先であるステップS203へ処理が進み、以降は、2フレーム目で説明した場合と同様に、検出処理が行なわれる。   The detection parameter control means 6 refers to all the priority areas registered in the priority application detection parameter list, and includes the coordinates E ′ (X6, Y6) which is the “detection position” specified in step S201. It is determined whether or not there is a priority area. In the example shown in FIGS. 10 and 13, the coordinates E ′ (X6, Y6) are determined to be included in the priority area of the rectangular area from (X4, Y4) to (X5, Y5). As a result, the process proceeds to step S208, which is a branch destination of YES. On the other hand, if it is determined that the coordinate E ′ (X6, Y6) is not included in any priority area, the process proceeds to step S203, which is a branch destination of NO, and the following description is based on the second frame. Similarly to the above, the detection process is performed.

次に、ステップS208において、検出パラメータ制御手段6は、変更した検出パラメータの値が、優先適用検出パラメータの値と、同一、もしくは、それに近い値であるか否かを判定する。図13の例では、座標E’(X6、Y6)が含まれると判定された(X4、Y4)から(X5、Y5)までの優先領域において、変更した検出パラメータの「検出角度」が、優先適用検出パラメータの90度と同一である。このとき、変更した検出パラメータの「検出領域サイズ」L3は、優先適用検出パラメータのL2と近い値であると判定されると、3フレーム目も対象画像を検出できる可能性が高いと考えられので、YESの分岐先であるステップS203へ処理が進む。ステップS203以降は、2フレーム目で説明した場合と同様の動作であるので、説明を省略する。   Next, in step S208, the detection parameter control means 6 determines whether or not the changed detection parameter value is the same as or close to the priority application detection parameter value. In the example of FIG. 13, the “detection angle” of the changed detection parameter is prioritized in the priority region from (X4, Y4) to (X5, Y5) determined to include the coordinates E ′ (X6, Y6). It is the same as the application detection parameter of 90 degrees. At this time, if the “detection area size” L3 of the changed detection parameter is determined to be a value close to L2 of the priority application detection parameter, it is considered highly likely that the target image can be detected in the third frame. The process proceeds to step S203, which is the branch destination of YES. Since step S203 and subsequent operations are the same as those described in the second frame, description thereof is omitted.

一方、変更した検出パラメータの値が、優先適用検出パラメータの値と、同一、もしくは、それに近い値でない場合は、対象画像を検出できる可能性が低いと考えられので、この検出パラメータでの検出処理は省略してもよいと考えられる。例えば、変更した検出パラメータの「検出領域サイズ」L3が、優先適用検出パラメータのL2と近い値でないと判定されると、NOの分岐先であるステップS207へ処理が進み、ステップS203からステップS206までの検出処理が省略される。このように、対象画像を検出できる可能性が低いと考えられる場合の検出処理を省略することにより、検出処理を高速化することができるようになる。   On the other hand, if the value of the changed detection parameter is not the same as or close to the value of the priority application detection parameter, it is considered unlikely that the target image can be detected. May be omitted. For example, when it is determined that the “detection area size” L3 of the changed detection parameter is not a value close to L2 of the priority application detection parameter, the process proceeds to step S207, which is a branch destination of NO, and from step S203 to step S206. This detection process is omitted. Thus, by omitting the detection process when it is considered that the target image is unlikely to be detected, the detection process can be speeded up.

以上のようにして、検出パラメータ制御手段6は、3フレーム目以降も、上記の処理と同様に、ステップS201からステップS207までの処理を、継続して実行する。   As described above, the detection parameter control means 6 continuously executes the processing from step S201 to step S207 in the third and subsequent frames as in the above processing.

なお、優先適用検出パラメータリストの更新では、ステップS205において、検出結果が出力されるたびに、優先適用検出パラメータリストを更新していった方が、検出処理の効率が良い。これは、ある領域で対象画像が検出された場合、これ以降の同一フレームの検出処理において、その領域で他の検出パラメータによる検出処理が省略されるためである。このため、「検出領域サイズ」の大きいものから順に検出処理を行ない、その検出結果を優先適用検出パラメータリストに登録した方が、検出処理の初期段階から、検出処理を省略できる領域を、大きくさせることができる。このようにすることにより、さらに、検出処理を効率化することができるようになる。   In updating the priority application detection parameter list, it is more efficient to update the priority application detection parameter list every time a detection result is output in step S205. This is because when a target image is detected in a certain area, the detection process using other detection parameters in that area is omitted in subsequent detection processes for the same frame. Therefore, if the detection process is performed in descending order of the “detection area size” and the detection result is registered in the priority application detection parameter list, the area where the detection process can be omitted is increased from the initial stage of the detection process. be able to. In this way, the detection process can be made more efficient.

また、ステップS101とステップS201において、検出パラメータを変更して検索パラメータ候補を生成する際には、優先適用検出パラメータリストを参照して、検出パラメータを変更するようにしてもよい。例えば、優先適用検出パラメータリストにリストアップされた優先領域は、対象画像を検出できる可能性が高いため、リストアップされなかった領域よりも先に、検出処理を行なうようにする。すなわち、過去の検出結果に基づいて、検出できる可能性が高いと判定された検出パラメータを、検出処理で優先的に適用していくようにする。これにより、検出シーケンスのできるだけ早い段階で、対象画像を検出することができるようになり、検出処理時間に制限がある場合にも、検出処理の効率化に貢献することができる。   Further, in step S101 and step S201, when the detection parameter is changed and the search parameter candidate is generated, the detection parameter may be changed with reference to the priority application detection parameter list. For example, the priority area listed in the priority application detection parameter list is highly likely to be able to detect the target image. Therefore, the detection process is performed before the area not listed. In other words, detection parameters determined to be highly detectable based on past detection results are preferentially applied in the detection process. As a result, the target image can be detected as early as possible in the detection sequence, and even when the detection processing time is limited, it is possible to contribute to the efficiency of the detection processing.

また、優先適用検出パラメータリストにリストアップされた領域でない場合の検出処理においても、優先適用検出パラメータリストにリストアップされた内容を利用することもできる。例えば、リストアップされた「検出角度」の中で、一番多く登録された「検出角度」は、まだリストアップされていない領域においても、この「検出角度」により検出される可能性が高いと考えられる。これは、他の対象画像の角度も、一番多く登録された「検出角度」と同じである可能性が高いためである。このように、リストアップされていない領域の検出パラメータを、優先適用検出パラメータリストに基づいて、多数決的に順位付けを行なうこともできる。   The contents listed in the priority application detection parameter list can also be used in the detection process when the area is not listed in the priority application detection parameter list. For example, the most frequently registered “detection angle” among the listed “detection angles” is highly likely to be detected by this “detection angle” even in an area that is not yet listed. Conceivable. This is because the angles of the other target images are likely to be the same as the most registered “detection angles”. In this way, the detection parameters of the areas not listed can be ranked in a majority manner based on the priority application detection parameter list.

以上のように、実施の形態1の発明によれば、優先適用検出パラメータリストを設けて、優先領域ごとに検出パラメータを指定できるようにしたことにより、優先適用検出パラメータリストにリストアップされた検出領域に対しては、登録された検出パラメータを用いることで、検出処理を高速化することができ、また、リストアップされていない検出領域に対しては、様々な検出パラメータを用いて検出を行なうため、漏れのない検出を実施できるようになるという効果がある。   As described above, according to the first embodiment, the priority application detection parameter list is provided, and the detection parameters can be designated for each priority area, so that the detections listed in the priority application detection parameter list can be specified. By using registered detection parameters for a region, the detection process can be accelerated, and for detection regions that are not listed, detection is performed using various detection parameters. Therefore, there is an effect that detection without leakage can be performed.

実施の形態2.
以上の実施の形態1では、優先領域での検出で用いる検出パラメータを限定することにより、検出処理の高速化を行なっていたが、次に、優先領域における優先適用検出パラメータを用いた検出で対象画像を検出できなかった場合、検出対象が移動してしまったと判断して、検出パラメータを変えながら検出を続け、検出対象を追随する画像検出装置に関する実施の形態2を示す。
Embodiment 2. FIG.
In Embodiment 1 described above, the detection parameters used for detection in the priority area are limited to increase the speed of the detection process. Next, in the detection using the priority application detection parameter in the priority area, the target is detected. Embodiment 2 relating to an image detection apparatus that determines that a detection target has moved when an image cannot be detected, continues detection while changing detection parameters, and follows the detection target will be described.

検出対象は、しばらくの間、動かないことが多いため、「検出位置」や「検出領域サイズ」や「検出角度」などの検出パラメータを、同一、もしくは、それに近い値にして検出を行なえば、同一の検出対象を連続して検出できる可能性が高い。しかし、この方法では、検出対象が動いた瞬間、しばらくの間、その検出対象を検出できなくなることがある。例えば、検出対象が、カメラの方向に近づくように移動した場合、入力画像に占める対象画像の割合が大きくなり、「検出領域サイズ」を、以前より大きくしなければ、検出対象を連続して検出できない。一度、検出対象を検出できなくなると、優先適用検出パラメータリストから、その検出対象は除外されるため、以降のフレームの検出で、移動後の検出対象を検出できる検出パラメータでの検出処理で再び検出されるまで、その検出対象は、未検出状態となってしまう。そこで、実施形態2では、優先領域で優先適用検出パラメータを用いた検出で対象を検出できなかった場合、対象が移動してしまったと判断し、優先領域内で検出パラメータを変えながら検出を続け、対象を追随する。   Since the detection target often does not move for a while, if detection parameters such as `` detection position '', `` detection area size '' and `` detection angle '' are set to the same or close values, There is a high possibility that the same detection object can be detected continuously. However, with this method, the detection target may not be detected for a while at the moment the detection target moves. For example, when the detection target moves so as to approach the camera direction, the ratio of the target image to the input image increases, and if the “detection area size” is not set larger than before, the detection target is continuously detected. Can not. Once the detection target cannot be detected, the detection target is excluded from the priority application detection parameter list. Therefore, detection is performed again with detection processing using a detection parameter that can detect the detection target after movement in the subsequent frame detection. Until detected, the detection target is in an undetected state. Therefore, in the second embodiment, if the target cannot be detected by the detection using the priority application detection parameter in the priority area, it is determined that the target has moved, and the detection is continued while changing the detection parameter in the priority area. Follow the subject.

以下、実施の形態2における対象を追従する動作について説明する。
図14は、実施の形態2に係る画像検出装置における、対象を追随する画像検出処理のフローチャートを示す図である。
Hereinafter, the operation of following the target in the second embodiment will be described.
FIG. 14 is a diagram illustrating a flowchart of an image detection process for tracking a target in the image detection apparatus according to the second embodiment.

図14では、ステップS309とステップS310以外の処理は、図7のフローチャートと同様の処理であるため、説明を省略する。
ステップS309において、検出パラメータ制御手段6は、ステップS302で優先領域と判定された場合、画像検出手段2を制御して、ステップS308で画像選択手段1により転送された選択画像から、対象画像を検出する。この結果、対象画像を検出できなかった場合、検出パラメータ制御手段6は、「検出位置」と「検出領域サイズ」と「検出角度」の3つの検出パラメータ値を、まだ検出を試みていない検出パラメータ値に変更して、再度、対象画像の検出を行なう。検出パラメータ制御手段6は、この処理を継続して実行し、対象画像が検出された時点で検出処理を終了し、ステップS310へ進む。一方、所定の検出パラメータ値の組み合わせを適用しても、対象画像を検出できない場合には、対象が優先領域外に移動した可能性が高いため、検出処理を終了して、ステップS310へ進む。
In FIG. 14, the processes other than step S309 and step S310 are the same as those in the flowchart of FIG.
In step S309, the detection parameter control means 6 controls the image detection means 2 and detects the target image from the selected image transferred by the image selection means 1 in step S308 when it is determined as the priority area in step S302. To do. As a result, when the target image cannot be detected, the detection parameter control means 6 detects the three detection parameter values of “detection position”, “detection region size”, and “detection angle” as detection parameters that have not yet been attempted to be detected. The value is changed to a value and the target image is detected again. The detection parameter control means 6 continues this process, ends the detection process when the target image is detected, and proceeds to step S310. On the other hand, if the target image cannot be detected even when a predetermined combination of detection parameter values is applied, there is a high possibility that the target has moved out of the priority area, so the detection process ends and the process proceeds to step S310.

次に、ステップS310において、検出パラメータ制御手段6は、対象画像が検出された場合に、YESの分岐によりステップS305へ処理を進め、対象画像が検出されなかった場合に、NOの分岐によりステップS307へ処理を進める。以降の処理は、図7の場合と同様であるので、説明を省略する。   Next, in step S310, when the target image is detected, the detection parameter control means 6 advances the process to step S305 by branching YES, and when the target image is not detected, step S307 is performed by branching NO. Proceed to the process. The subsequent processing is the same as that in FIG.

なお、ステップS309において、対象画像の検出結果の履歴を残しておき、この履歴を参照して、検出対象の動作を予測しながら、優先適用検出パラメータリストを更新してもよい。例えば、検出結果の履歴から検出対象が右方向に動いていることがわかる場合、検出パラメータの適用領域を右方向にずらすといった処理を行なっても良い。   In step S309, a history of detection results of the target image may be left, and the priority application detection parameter list may be updated while predicting the operation of the detection target with reference to the history. For example, when it is known from the history of detection results that the detection target is moving in the right direction, a process of shifting the detection parameter application area in the right direction may be performed.

以上のように、実施の形態2の発明によれば、優先領域で対象画像が検出できない場合に、検出パラメータを変更しながら、検出する対象を追従することにより、一度検出された対象画像を重点的に検出し続けることができるようになり、少数の対象を途切れることなく検出できるという効果がある。   As described above, according to the second embodiment, when the target image cannot be detected in the priority area, the target image detected once is emphasized by following the target to be detected while changing the detection parameter. Thus, it is possible to continuously detect a small number of objects and to detect a small number of objects without interruption.

Claims (7)

入力画像の一部である選択画像を選択する画像選択手段と、
検出する対象画像の検出位置を含む検出条件が設定された検出パラメータに基づいて、前記画像選択手段により選択された前記選択画像から、前記対象画像を検出する画像検出手段と、
前記画像検出手段により検出された前記対象画像を包含する領域である優先領域と前記画像検出手段の前記検出パラメータに優先的に設定される優先適用検出パラメータとを対応付けて記憶する優先適用検出パラメータ記憶手段と、
前記画像検出手段により検出された前記対象画像の検出結果に基づいて、前記優先適用検出パラメータ記憶手段に記憶された前記優先領域と前記優先適用検出パラメータとを更新する優先適用検出パラメータ更新手段と、
前記画像検出手段の前記検出パラメータを変更した検出パラメータ候補を生成し、この検出パラメータ候補の検出位置が前記優先適用検出パラメータ記憶手段に記憶された前記優先領域に含まれる場合、この優先領域に対応付けられた前記優先適用検出パラメータを前記検出パラメータに設定し、前記検出パラメータ候補の検出位置が前記優先領域に含まれない場合、この検出パラメータ候補を前記検出パラメータに設定することにより、前記画像検出手段の前記検出パラメータを制御する検出パラメータ制御手段と
を備えた画像検出装置。
Image selection means for selecting a selection image that is part of the input image;
An image detecting unit for detecting the target image from the selected image selected by the image selecting unit based on a detection parameter in which a detection condition including a detection position of the target image to be detected is set;
A priority application detection parameter that associates and stores a priority area that is an area including the target image detected by the image detection means and a priority application detection parameter that is preferentially set to the detection parameter of the image detection means Storage means;
Based on the detection result of the target image detected by the image detection means, priority application detection parameter update means for updating the priority area and the priority application detection parameter stored in the priority application detection parameter storage means;
When a detection parameter candidate is generated by changing the detection parameter of the image detection means, and the detection position of the detection parameter candidate is included in the priority area stored in the priority application detection parameter storage means, this priority area is supported If the detection application candidate is not included in the priority area, the detection parameter candidate is set as the detection parameter. An image detection apparatus comprising detection parameter control means for controlling the detection parameter of the means.
前記画像検出手段は、前記対象画像を検出する領域の大きさを示す検出領域サイズを含む検出条件が設定された検出パラメータに基づいて、入力画像から前記対象画像を検出し、
前記検出パラメータ制御手段は、前記画像検出手段により検出された前記対象画像の検出結果の内、前記検出領域サイズが所定の閾値以上である前記対象画像の前記検出結果に基づいて、前記優先適用検出パラメータ記憶手段に記憶された前記優先適用検出パラメータを更新する請求項1記載の画像検出装置。
The image detection means detects the target image from an input image based on a detection parameter in which a detection condition including a detection region size indicating a size of a region for detecting the target image is set,
The detection parameter control unit is configured to detect the priority application based on the detection result of the target image whose detection area size is equal to or larger than a predetermined threshold among the detection results of the target image detected by the image detection unit. The image detection apparatus according to claim 1, wherein the priority application detection parameter stored in the parameter storage unit is updated.
前記検出パラメータ制御手段は、前記検出領域サイズが大きい順に前記検出パラメータ候補を前記画像検出手段の前記検出パラメータに設定する請求項2記載の画像検出装置。 The image detection apparatus according to claim 2, wherein the detection parameter control means sets the detection parameter candidates as the detection parameters of the image detection means in descending order of the detection area size. 前記検出パラメータ制御手段は、前記優先適用検出パラメータ記憶手段に記憶された前記優先適用検出パラメータの前記優先領域に含まれる検出位置に変更された検出パラメータ候補を前記検出パラメータに優先的に設定し、
前記画像選択手段は、前記検出パラメータ制御手段により優先的に設定された前記検出パラメータに基づいて、入力画像の一部である選択画像を選択する請求項1から請求項3のいずれかに記載の画像検出装置。
The detection parameter control means preferentially sets the detection parameter candidate changed to the detection position included in the priority area of the priority application detection parameter stored in the priority application detection parameter storage means to the detection parameter,
The said image selection means selects the selection image which is a part of input image based on the said detection parameter set by the said detection parameter control means preferentially. Image detection device.
前記検出パラメータ制御手段は、前記画像検出手段の前記検出パラメータを変更した前記検出パラメータ候補の検出位置が前記優先適用検出パラメータ記憶手段に記憶された前記優先領域に含まれない場合、前記優先適用検出パラメータの各検出条件の出現頻度に基づいて、前記検出パラメータ候補の検出条件を変更し、この前記検出パラメータ候補を前記検出パラメータに設定する請求項1から請求項4のいずれかに記載の画像検出装置。 When the detection position of the detection parameter candidate obtained by changing the detection parameter of the image detection unit is not included in the priority area stored in the priority application detection parameter storage unit, the detection parameter control unit performs the priority application detection. The image detection according to any one of claims 1 to 4, wherein a detection condition of the detection parameter candidate is changed based on an appearance frequency of each detection condition of the parameter, and the detection parameter candidate is set as the detection parameter. apparatus. 前記検出パラメータ制御手段は、前記検出パラメータ候補の検出位置が前記優先領域に含まれる場合、前記画像検出手段により前記対象画像を検出した結果が未検出である際に、前記優先適用検出パラメータが設定された前記検出パラメータの検出条件を、前記優先領域内の検出において未使用の検出条件に変更し、
前記画像検出手段は、前記検出パラメータ制御手段により変更された前記検出パラメータに基づいて、前記優先領域から前記対象画像を再検出する請求項1から請求項5のいずれかに記載の画像検出装置。
When the detection position of the detection parameter candidate is included in the priority area, the detection parameter control unit sets the priority application detection parameter when the detection result of the target image by the image detection unit is undetected. The detection condition of the detected parameter is changed to an unused detection condition in the detection in the priority area,
The image detection device according to claim 1, wherein the image detection unit redetects the target image from the priority area based on the detection parameter changed by the detection parameter control unit.
前記検出パラメータ制御手段は、前記画像検出手段により検出された前記対象画像の過去の検出結果の履歴に基づいて、前記対象画像の移動後の位置を予測した予測移動位置を算出し、前記検出パラメータの前記検出位置を前記予測移動位置に変更する請求項6記載の画像検出装置。 The detection parameter control means calculates a predicted movement position that predicts a position after movement of the target image based on a history of past detection results of the target image detected by the image detection means, and the detection parameter The image detection apparatus according to claim 6, wherein the detection position is changed to the predicted movement position.
JP2009202505A 2009-09-02 2009-09-02 Image detection device Expired - Fee Related JP5218345B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009202505A JP5218345B2 (en) 2009-09-02 2009-09-02 Image detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009202505A JP5218345B2 (en) 2009-09-02 2009-09-02 Image detection device

Publications (2)

Publication Number Publication Date
JP2011055262A JP2011055262A (en) 2011-03-17
JP5218345B2 true JP5218345B2 (en) 2013-06-26

Family

ID=43943813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009202505A Expired - Fee Related JP5218345B2 (en) 2009-09-02 2009-09-02 Image detection device

Country Status (1)

Country Link
JP (1) JP5218345B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3907721A4 (en) * 2019-01-02 2022-03-09 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6573297B1 (en) * 2019-01-16 2019-09-11 パナソニック株式会社 Surveillance camera and detection method
US10950104B2 (en) 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4478093B2 (en) * 2005-10-17 2010-06-09 富士フイルム株式会社 Object image retrieval apparatus, digital camera, and control method thereof
JP4218711B2 (en) * 2006-08-04 2009-02-04 ソニー株式会社 Face detection device, imaging device, and face detection method
JP5044321B2 (en) * 2006-09-13 2012-10-10 株式会社リコー Imaging apparatus and subject detection method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3907721A4 (en) * 2019-01-02 2022-03-09 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP2011055262A (en) 2011-03-17

Similar Documents

Publication Publication Date Title
US8693785B2 (en) Image matching devices and image matching methods thereof
US10769473B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP4030519B2 (en) Image processing apparatus and image processing system
JP6261187B2 (en) Image processing apparatus, image processing method, and program
JP5213183B2 (en) Robot control system and robot control program
JPWO2008129875A1 (en) Detection device, detection method, and integrated circuit for detection
JP5849206B2 (en) Image processing apparatus, image processing method, and image processing program
JP2008112210A (en) Automatic tracking method
JP5218345B2 (en) Image detection device
JP2006164049A (en) Gui program, data processor, and operation method of object
JP2023054206A (en) Information processing device, control method of information processing device and program
JP5404291B2 (en) Information processing apparatus and control method
US11710250B2 (en) Electronic device, method, and storage medium for setting processing procedure for controlling apparatus
JP5977200B2 (en) Electron microscope and electron microscope control method
JP2008299834A (en) Photographic subject tracking program and photographic subject tracking device
JP5362915B2 (en) Drawing apparatus and drawing method
JP5834253B2 (en) Image processing apparatus, image processing method, and image processing program
JP5371541B2 (en) Data processing apparatus and processing method thereof
JP4498296B2 (en) Object detection device
JP2005165692A (en) Image processor and image processing method
WO2014122777A1 (en) Device for controlling focus movement
KR101620928B1 (en) Fast face detection system using priority address allocation and moving window technique
JP6062483B2 (en) Digital camera
JPWO2018174123A1 (en) Object detection device, traffic monitoring system, control method and program for object detection device
JP2010009812A (en) Retrieval method of electron microscope image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees