JP2005215899A - Object detector and its method - Google Patents

Object detector and its method Download PDF

Info

Publication number
JP2005215899A
JP2005215899A JP2004020423A JP2004020423A JP2005215899A JP 2005215899 A JP2005215899 A JP 2005215899A JP 2004020423 A JP2004020423 A JP 2004020423A JP 2004020423 A JP2004020423 A JP 2004020423A JP 2005215899 A JP2005215899 A JP 2005215899A
Authority
JP
Japan
Prior art keywords
detection
image
area
filter
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004020423A
Other languages
Japanese (ja)
Inventor
Mutsumi Yoshida
睦 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2004020423A priority Critical patent/JP2005215899A/en
Publication of JP2005215899A publication Critical patent/JP2005215899A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object detector and its method capable of providing high-speed object detection without decreasing detection accuracy. <P>SOLUTION: Detection processes for an object are provided with a process for identifying the peripheral region of the object by an object peripheral region identification section 43 as a pre-step for the process identifying the object by an object identification section 45. The object peripheral region identification section 43 roughly detects a region having a high possibility of the presence of the object. Then, an object identification section 45 investigates minutely whether or not the picture of the object is present only within the region. As a result, the object peripheral region identification section 43 limits a search range to the peripheral region of the picture of the object found at a high speed. The object identification section 45 searches for the picture of the object. Therefore, the processing amount of the object detection processing for the entire object detector 10 is reduced, providing the high speed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、画像中に含まれる対象物を検出する対象物検出装置及びその方法に関する。   The present invention relates to an object detection apparatus and method for detecting an object included in an image.

人物の顔を対象物とした対象物検出装置が、特許文献1に示されている。従来の対象物検出装置においては、図8に示すように、対象物の画像を検出するフィルタとして機能する領域モデルを当てはめる被照合局所領域を設定し、この被照合局所領域の位置を入力画像の全体にわたって順次指定して移動させる。そして、指定した被照合局所領域ごとに輝度正規化を行い、エッジ検出等の画像処理を行う。さらに、画像処理された画像に対して顔の領域モデルを当てはめる領域モデル内の各判定要素取得領域の特徴量を抽出し、各被照合局所領域ごとに顔画像か否かの判定を行い、顔の検出を行う。   An object detection apparatus that uses a human face as an object is disclosed in Patent Document 1. In the conventional object detection device, as shown in FIG. 8, a collation local region to which a region model that functions as a filter for detecting an image of the object is applied is set, and the position of the collation local region is set as a position of the input image. Specify and move sequentially throughout. Then, luminance normalization is performed for each designated local region to be checked, and image processing such as edge detection is performed. Further, the feature amount of each determination element acquisition region in the region model in which the face region model is applied to the image processed image is extracted, and it is determined whether each face image is a face image. Detection is performed.

また、人物の顔を対象物とした対象物検出装置において利用される対象物検出の方法が、非特許文献1に示されている。従来の対象物検出方法においては、対象物の特徴パターン(以下、対象物特徴パターンという。)を抽出してフィルタを形成し、このフィルタを用いて画像中から対象物を検出する。
特開平11−306348号公報 SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION - MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER, CANADA, JULY 13, 2001.
Further, Non-Patent Document 1 discloses a method of detecting an object used in an object detection apparatus using a human face as an object. In a conventional object detection method, a feature pattern of an object (hereinafter referred to as an object feature pattern) is extracted to form a filter, and the object is detected from an image using this filter.
JP-A-11-306348 SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION-MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER, CANADA, JULY 13, 2001.

しかしながら、従来の対象物検出装置及び対象物検出方法においては、上記フィルタの移動を順次行うことなどに起因して、その処理量が膨大となり、処理能力の高くない演算処理装置では、高速な対象物検出を行うことができないという問題がある。   However, in the conventional object detection device and the object detection method, the processing amount becomes enormous due to the sequential movement of the filter, etc. There is a problem that object detection cannot be performed.

本発明は、かかる点に鑑みてなされたものであり、検出精度を低下させることなく対象物検出の高速化を図ることができる対象物検出装置及びその方法を提供することを目的とする。   The present invention has been made in view of this point, and an object of the present invention is to provide an object detection apparatus and method that can increase the speed of object detection without reducing the detection accuracy.

本発明の対象物検出装置は、画像に含まれる検出対象物の画像領域を検出する対象物検出装置であって、第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出する対象物周辺領域検出手段と、第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出する対象物検出手段と、を具備する構成を採る。   The object detection device of the present invention is an object detection device that detects an image area of a detection object included in an image, and detects a peripheral image area of the detection object using a first detection filter. Object surrounding area detection means, and object detection means for detecting an image of the detection object for only the peripheral image area of the detection object detected using the second detection filter. Take.

この構成によれば、第1の検出フィルタで検出対象物周辺の画像領域を把握し、その後に第2の検出フィルタを利用して、第1の検出フィルタで検出したその画像領域の中のみで対象物の画像を検出するので、対象物検出処理の処理量を低減し、高速化を図ることができる。   According to this configuration, the first detection filter grasps the image area around the detection target, and then uses the second detection filter to detect only the image area detected by the first detection filter. Since the image of the object is detected, the processing amount of the object detection process can be reduced and the speed can be increased.

本発明の対象物検出装置は、上記構成において、前記第1の検出フィルタは、オフセットさせた前記検出対象物の画像を含む画像サンプルから抽出する前記検出対象物の特徴パターンである構成を採る。   The object detection device of the present invention employs a structure in which the first detection filter is a feature pattern of the detection object extracted from an image sample including the offset image of the detection object in the above configuration.

この構成によれば、第1の検出フィルタがオフセットさせた検出対象物の画像を含む画像サンプルから抽出する検出対象物の特徴パターンであるので、第1の検出フィルタは検出対象物の画像からオフセットの分だけずれた場所にあっても検出対象物の画像の周辺であることを識別できるため、一度にオフセット分だけ広い範囲を検出することができる。   According to this configuration, since the feature pattern of the detection target is extracted from the image sample including the detection target image offset by the first detection filter, the first detection filter is offset from the detection target image. Since it can be identified that it is the periphery of the image of the detection target even if it is at a location shifted by this amount, it is possible to detect a wide range by the offset at a time.

本発明の対象物検出装置は、上記構成において、前記第1の検出フィルタは、前記検出対象物が人の顔である場合に、前記検出対象物の特徴パターンとして、目と眉とを含む領域に対応する第1の矩形領域と、前記第1の矩形領域の下方に位置し、頬と鼻とを含む領域に対応する第2の矩形領域と、を具備し、前記第1の矩形領域及び前記第2の矩形領域の大きさと、前記第1の矩形領域及び前記第2の矩形領域の位置と、前記検出対象物が含まれる画像に、両矩形領域を適用した時の両領域内の輝度の関係と、をパラメータとして定義される構成を採る。   The object detection device according to the present invention is configured such that, in the above configuration, the first detection filter includes an eye and an eyebrow as a feature pattern of the detection object when the detection object is a human face. A first rectangular area corresponding to the first rectangular area, and a second rectangular area located below the first rectangular area and corresponding to an area including a cheek and a nose, wherein the first rectangular area and Luminance in both areas when the size of the second rectangular area, the position of the first rectangular area and the second rectangular area, and both rectangular areas are applied to an image including the detection target And a structure defined as a parameter.

この構成によれば、検出対象物である人の顔の特徴点を踏まえつつ、両領域に対応する画像の輝度の関係により、識別する画像が検出対象物である人の顔の画像であるか否かを識別するので、複雑な処理を伴うことなく検出対象物の画像の周辺領域を検出することができる。   According to this configuration, whether the image to be identified is an image of the face of the person that is the detection target based on the luminance relationship of the images corresponding to both areas, based on the feature points of the face of the person that is the detection target. Therefore, it is possible to detect the peripheral region of the image of the detection object without complicated processing.

本発明の対象物検出装置は、上記構成において、前記検出対象物が含まれる前記画像内で、前記第1の検出フィルタを適用する領域を指定する領域指定手段を具備し、前記領域指定手段は、前記画像サンプルのオフセット量に対応した間隔で、前記領域を指定する構成を採る。   The object detection apparatus according to the present invention includes an area designating unit that designates an area to which the first detection filter is applied in the image including the detection object in the configuration described above. A configuration is adopted in which the region is designated at an interval corresponding to the offset amount of the image sample.

この構成によれば、領域指定手段が、検出対象物の特徴パターンを抽出する画像サンプルのオフセット量に対応した間隔で、第1の検出フィルタを適用する領域を指定するので、検出対象物の周辺画像領域の検出にかかる処理量を低減することができる。その結果、対象物の画像の検出を高速に行うことができる。   According to this configuration, the area designating unit designates the area to which the first detection filter is applied at an interval corresponding to the offset amount of the image sample from which the feature pattern of the detection object is extracted. The amount of processing required to detect the image area can be reduced. As a result, the image of the object can be detected at high speed.

本発明の対象物検出方法は、画像に含まれる検出対象物の画像領域を検出する対象物検出方法であって、第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、を具備するようにした。   The object detection method of the present invention is an object detection method for detecting an image area of a detection object included in an image, and detects a peripheral image area of the detection object using a first detection filter. And a step of detecting an image of the detection object only for a peripheral image region of the detected detection object using a second detection filter.

この方法によれば、第1の検出フィルタで検出対象物の周辺画像領域を把握し、その後に第2の検出フィルタを利用して、第1の検出フィルタでとらえたその画像領域の中のみで対象物の画像を検出するので、対象物の画像を検出する処理の処理量を低減し、高速化を図ることができる。   According to this method, the first detection filter grasps the peripheral image region of the detection target, and then uses the second detection filter to detect only the image region captured by the first detection filter. Since the image of the object is detected, the amount of processing for detecting the image of the object can be reduced, and the speed can be increased.

本発明の対象物検出プログラムは、画像に含まれる検出対象物の画像領域を検出するためのプログラムであって、第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、をコンピュータに実行させる構成を採る。   The object detection program of the present invention is a program for detecting an image area of a detection object included in an image, and a step of detecting a peripheral image area of the detection object using a first detection filter. And a step of causing the computer to execute the step of detecting the image of the detection object for only the peripheral image region of the detected detection object using the second detection filter.

この構成によれば、第1の検出フィルタで検出対象物の周辺画像領域を把握し、その後に第2の検出フィルタを利用して、第1の検出フィルタでとらえたその画像領域の中のみで対象物の画像を検出するので、対象物の画像を検出する処理の処理量を低減し、高速化を図ることができる。   According to this configuration, the peripheral image region of the detection target is grasped by the first detection filter, and then the second detection filter is used only in the image region captured by the first detection filter. Since the image of the object is detected, the amount of processing for detecting the image of the object can be reduced, and the speed can be increased.

本発明によれば、検出精度を低下させることなく対象物検出処理の処理量を低減し、高速化を図ることができる対象物検出装置及びその方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the processing amount of a target object detection process can be reduced without reducing detection accuracy, and the target object detection apparatus and method which can aim at speed-up can be provided.

本発明の骨子は、対象物の検出過程に対象物を識別する過程の前段階として対象物の周辺領域を識別する過程を設け、対象物が存在する可能性の高い領域を粗く検出した後にその領域内のみについて対象物が存在するか否かを精査することである。   The essence of the present invention is to provide a process for identifying a peripheral area of an object as a pre-stage of the object identification process in the object detection process, and after roughly detecting an area where the object is likely to exist, It is to examine whether or not the object exists only in the area.

以下、本発明の一実施の形態について図面を参照して詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図1は、本発明の一実施の形態に係る対象物検出装置10の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of an object detection apparatus 10 according to an embodiment of the present invention.

図1に示すように対象物検出装置10は、オンライン実行環境系とオフライン実行環境系の2つの系を備えている。この対象物検出装置10は、オフライン実行環境系で機能の異なる2つのフィルタを用意し、オンライン実行環境系でまず第1のフィルタで検出対象物周辺の画像領域(以下、対象物周辺領域という。)を粗く把握し、その後に第2のフィルタを利用して、第1のフィルタでとらえたその画像領域の中で対象物画像があるか否かを精査し、対象物を検出するものである。   As shown in FIG. 1, the object detection apparatus 10 includes two systems, an online execution environment system and an offline execution environment system. The object detection apparatus 10 prepares two filters having different functions in an offline execution environment system. In the online execution environment system, first, an image area around the detection object (hereinafter referred to as an object periphery area) is detected by the first filter. ) Is roughly grasped, and then the second filter is used to examine whether there is an object image in the image area captured by the first filter and detect the object. .

対象物検出装置10のオフライン実行環境系は、対象物周辺領域画像格納部21と、対象物周辺領域特徴計算部22と、対象物周辺領域特徴辞書23と、対象物画像格納部31と、対象物特徴計算部32と、対象物特徴辞書33とを有する。   The offline execution environment system of the object detection device 10 includes an object peripheral area image storage unit 21, an object peripheral area feature calculation unit 22, an object peripheral area feature dictionary 23, an object image storage unit 31, and an object An object feature calculation unit 32 and an object feature dictionary 33 are included.

対象物検出装置10のオンライン実行環境系は、画像入力部41と、周辺領域検出用ウィンドウ指定部42と、対象物周辺領域識別部43と、対象物検出用ウィンドウ指定部44と、対象物識別部45と、検出結果出力部46とを有する。   The online execution environment system of the object detection apparatus 10 includes an image input unit 41, a surrounding area detection window designation unit 42, an object surrounding area identification unit 43, an object detection window designation unit 44, and an object identification. Unit 45 and a detection result output unit 46.

まず、オフライン実行環境系について説明する。   First, the offline execution environment system will be described.

対象物周辺領域画像格納部21は、対象物周辺領域の識別に用いられる周辺領域特徴パターンを抽出するためのサンプル画像を格納している。   The object peripheral area image storage unit 21 stores a sample image for extracting a peripheral area feature pattern used for identifying the object peripheral area.

図2は、対象物周辺領域画像格納部21が格納するサンプル画像の一例を示した図である。なお、図2には、対象物が人の顔である時のサンプル画像を示している。   FIG. 2 is a diagram illustrating an example of a sample image stored in the object peripheral area image storage unit 21. FIG. 2 shows a sample image when the object is a human face.

図2に示す中央の画像は、人の顔を正面から撮影して目尻を基準とした顔の内側だけを抽出したものである。この中央の画像は、決められた枠に顔がフィットするように、人為的に加工が施されたものである。   The center image shown in FIG. 2 is obtained by photographing the face of a person from the front and extracting only the inside of the face based on the corner of the eye. This central image has been artificially processed so that the face fits into the determined frame.

左右の列の画像は、中央の列の画像に対して各々1ピクセルずつ左右にずらした、すなわちオフセットを左右方向に施したものである。また、上下の行の画像は、中央の行の画像に対して各々左右に5度ずつ傾けたものである。   The images in the left and right columns are shifted by one pixel to the left and right with respect to the image in the center column, that is, offset is applied in the left and right direction. In addition, the images in the upper and lower rows are each tilted 5 degrees to the left and right with respect to the image in the center row.

図2に示したサンプル画像は、次のように用意される。まず、上述のように中央の画像を用意し、次に、この中央の画像を加工して、左右に1ピクセルずつオフセットさせた画像を作成する。これで、中央の行にある画像が全て用意される。次に、この中央の行の画像を左右に5度ずつ傾けることにより、上下の行の画像も用意される。   The sample image shown in FIG. 2 is prepared as follows. First, a central image is prepared as described above, and then the central image is processed to create an image that is offset by one pixel to the left and right. Thus, all the images in the center row are prepared. Next, by tilting the image in the center row by 5 degrees to the left and right, the images in the upper and lower rows are also prepared.

なお、対象物周辺領域画像格納部21は、このようなサンプル画像を異なる多数の人に関して用意する。また、図2においては、1人について9つの画像サンプルを用意しているが、この数に限定されるものではない。   The object peripheral area image storage unit 21 prepares such sample images for a number of different people. In FIG. 2, nine image samples are prepared for one person, but the number is not limited to this.

左右のオフセットの大きさは、周辺領域検出用ウィンドウ指定部42が指定するウィンドウの移動のさせ方に影響を与える。具体的には、図2に示した例のように1ピクセルずつオフセットを施すと、後述する周辺領域検出用ウィンドウ指定部42が指定するウィンドウをオフセット量に対応する間隔(1ピクセルオフセットさせた場合は、少なくとも2ピクセル)で移動させても、後述する対象物周辺領域識別部43が実際に対象物の映像が存在する周辺領域を見逃す確率は高くならない。   The size of the left and right offsets affects how the window designated by the surrounding area detection window designating unit 42 is moved. Specifically, when the pixel is offset by one pixel as in the example shown in FIG. 2, the window specified by the surrounding area detection window specifying unit 42 described later is an interval corresponding to the offset amount (when the pixel is offset by one pixel). Is at least 2 pixels), there is no high probability that the object peripheral area identification unit 43 described later misses the peripheral area where the video of the object actually exists.

対象物周辺領域特徴計算部22は、対象物周辺領域画像格納部21に格納されているサンプル画像を基に、確率的、統計的に検出対象物である人の顔の周辺領域特徴パターンを計算により抽出し、対象物周辺領域特徴辞書23に出力する。なお、この周辺領域特徴パターンの抽出については後述する。   The object peripheral region feature calculation unit 22 calculates a peripheral region feature pattern of the face of a person who is a detection target, stochastically and statistically, based on the sample image stored in the object peripheral region image storage unit 21. And is output to the object peripheral region feature dictionary 23. The extraction of the peripheral area feature pattern will be described later.

対象物周辺領域特徴辞書23は、対象物周辺領域特徴計算部22が出力した周辺領域特徴パターンを記憶する。この周辺領域特徴パターンは、対象物周辺領域識別部43が対象物周辺領域を識別する時に用いるフィルタとして利用される。   The object peripheral area feature dictionary 23 stores the peripheral area feature pattern output by the object peripheral area feature calculation unit 22. This peripheral area feature pattern is used as a filter used when the object peripheral area identification unit 43 identifies the object peripheral area.

対象物画像格納部31は、対象物の識別に用いる対象物特徴パターンを抽出するためのサンプル画像を格納している。   The object image storage unit 31 stores a sample image for extracting an object feature pattern used for identifying an object.

図3は、対象物画像格納部31が格納するサンプル画像の一例を示した図である。なお、図3には、対象物が人の顔である時のサンプル画像を示している。   FIG. 3 is a diagram illustrating an example of a sample image stored in the object image storage unit 31. FIG. 3 shows a sample image when the object is a human face.

図3に示す中央の画像は、人の顔を正面から撮影して目尻を基準とした顔の内側だけを抽出したものである。この中央の画像は、決められた枠に顔がフィットするように、人為的に加工が施されたものである。   The center image shown in FIG. 3 is obtained by photographing a human face from the front and extracting only the inside of the face with the eye corners as a reference. This central image has been artificially processed so that the face fits into the determined frame.

上下の画像は、中央の画像を左右に5度ずつ傾けたものである。この上下の画像についても、目尻を基準とした顔の内側だけを抽出している。このような傾けたサンプル画像は、対象物が多少傾いていても、対象物識別部45が対象物を識別できる対象物検出フィルタを形成するために用意されている。   The upper and lower images are obtained by tilting the center image left and right by 5 degrees. For the upper and lower images, only the inside of the face with respect to the corners of the eyes is extracted. Such a tilted sample image is prepared in order to form an object detection filter that allows the object identification unit 45 to identify the object even if the object is slightly inclined.

対象物特徴計算部32は、対象物画像格納部31に格納されているサンプル画像を基に、確率的、統計的に検出対象物である人の顔の対象物特徴パターンを計算して抽出し、対象物特徴辞書に出力する。なお、この対象物特徴パターンの抽出については、後述する。   The object feature calculation unit 32 calculates and extracts an object feature pattern of a person's face that is a detection object stochastically and statistically based on the sample image stored in the object image storage unit 31. And output to the object feature dictionary. The extraction of the object feature pattern will be described later.

対象物特徴辞書33は、対象物特徴計算部32が抽出して出力した対象物特徴パターンを記憶する。この対象物特徴パターンは、対象物識別部45が対象物を識別する時に用いる対象物検出フィルタとして利用される。   The object feature dictionary 33 stores the object feature pattern extracted and output by the object feature calculation unit 32. This object feature pattern is used as an object detection filter used when the object identifying unit 45 identifies the object.

次に、オンライン実行環境系について説明する。   Next, the online execution environment system will be described.

画像入力部41は、カメラなどの撮像手段により撮像した検出対象物を含む映像を周辺領域検出用ウィンドウ指定部42に出力する。   The image input unit 41 outputs an image including a detection target imaged by an imaging unit such as a camera to the surrounding area detection window designating unit 42.

周辺領域検出用ウィンドウ指定部42は、所定の大きさを持つ初期ウィンドウを、対象物周辺領域画像格納部21が格納するサンプル画像のオフセット量に応じたピクセル間隔で飛び飛びに移動させながら、画像入力部41により入力された画像の全領域を指定し、指定した領域の画像情報である部分領域画像情報を対象周辺領域識別部43に出力する。このとき、指定した領域の画像入力部41が撮像した画像における位置情報と対応づけて出力する。   The peripheral area detection window designating unit 42 performs image input while moving an initial window having a predetermined size in a jumping manner with a pixel interval corresponding to the offset amount of the sample image stored in the object peripheral area image storage unit 21. The entire area of the image input by the unit 41 is specified, and partial area image information that is image information of the specified area is output to the target peripheral area identification unit 43. At this time, the image input unit 41 in the designated area outputs the image in association with the position information in the captured image.

周辺領域検出用ウィンドウ指定部42は、初期ウィンドウを用いて画像の全領域を指定し終わると、ウィンドウの大きさを所定の比率で拡大して、初期ウィンドウで行った処理と同様の処理を繰り返す。この処理は、画像全領域の大きさより、ウィンドウが大きくならない範囲で繰り返される。   When the peripheral area detection window designating unit 42 finishes designating the entire area of the image using the initial window, it enlarges the window size by a predetermined ratio and repeats the same process as the process performed in the initial window. . This process is repeated as long as the window does not become larger than the size of the entire image area.

この周辺領域検出用ウィンドウ指定部42が初期ウィンドウを用いて行う処理を図4に示した。図4に示すように、周辺領域検出用ウィンドウ指定部42は、まず画像領域内のスタートの位置に初期ウィンドウを置き、随時右方向に初期ウィンドウを、上記オフセット量に応じたピクセル間隔(ここでは、3ピクセル間隔)で移動させて、画像全領域をスキャンする。初期ウィンドウが右端まで来ると、周辺領域検出用ウィンドウ指定部42は、初期ウィンドウを左端に戻すが、今度は初期ウィンドウを少し上にずらして右方向へ同様に移動させる。   The processing performed by the peripheral area detection window designating unit 42 using the initial window is shown in FIG. As shown in FIG. 4, the surrounding area detection window designating unit 42 first places an initial window at the start position in the image area, and places the initial window in the right direction at any time according to the pixel interval (here, the offset amount). 3 pixel intervals) and scan the entire image area. When the initial window reaches the right end, the surrounding area detection window designating unit 42 returns the initial window to the left end, but this time shifts the initial window slightly upward and similarly moves it to the right.

これを繰り返して、図4中のストップの位置まで初期ウィンドウがくると、周辺領域検出用ウィンドウ指定部42は、ウィンドウを所定の比率で拡大して、その拡大したウィンドウをスタート位置に置き、初期ウィンドウで行った処理と同様の処理を行う。上述のように、周辺領域検出用ウィンドウ指定部42は、画像全領域の大きさより、ウィンドウが大きくならない範囲で、この処理を繰り返す。   When the initial window comes to the position of the stop in FIG. 4 by repeating this, the surrounding area detection window designating unit 42 enlarges the window at a predetermined ratio, places the enlarged window at the start position, and sets the initial window. Processing similar to that performed in the window is performed. As described above, the surrounding area detection window designating unit 42 repeats this process in a range where the window does not become larger than the size of the entire image area.

なお、周辺領域検出用ウィンドウ指定部42がウィンドウをずらす間隔を1ピクセルとする場合に、後述する対象物周辺領域識別部43は、最も正確に対象物の周辺領域を識別することができる。しかし、対象物周辺領域画像格納部21に格納されている画像サンプルにNピクセル分左右にオフセットさせた画像が含まれている場合には、対象物の画像からNピクセルずれた位置にウィンドウがあっても対象物周辺領域識別部43がその位置を対象物周辺領域と識別するので、対象物周辺領域識別部43があたかも左右にNピクセルずつ、あわせて2Nピクセル広い範囲をカバーして識別しているのと同等の効果が得られる。このため、周辺領域検出用ウィンドウ指定部42は、ウィンドウを少なくとも2Nピクセルずつ左右方向にずらすことができる。なお、対象物の画像の左右どちらかで対象物の周辺領域を識別できることでよければ、2N+1ピクセルとしてもよい。また、周辺領域検出用ウィンドウ指定部42がこのように左右方向に複数ピクセルごとにウィンドウを移動させても、対象物周辺領域識別部43の実際に対象物の映像が存在する周辺領域を見逃す確率は高くならない。   In addition, when the surrounding area detection window designating unit 42 shifts the window to 1 pixel, the object surrounding area identifying unit 43 described later can most accurately identify the surrounding area of the object. However, if the image sample stored in the object peripheral area image storage unit 21 includes an image offset to the left and right by N pixels, there is a window at a position shifted by N pixels from the image of the object. However, since the object surrounding area identification unit 43 identifies the position as the object surrounding area, the object surrounding area identification unit 43 recognizes the pixel by covering N pixels on the left and right sides and covering a wide range of 2N pixels. Equivalent effect is obtained. Therefore, the peripheral area detection window designating unit 42 can shift the window in the left-right direction by at least 2N pixels. Note that 2N + 1 pixels may be used as long as it is possible to identify the peripheral area of the object on either the left or right side of the image of the object. In addition, even when the peripheral area detection window designating unit 42 moves the window for each of the plurality of pixels in the left-right direction in this way, the probability that the target peripheral area identifying unit 43 misses the peripheral area where the target image actually exists Will not be high.

対象物周辺領域識別部43は、対象物周辺領域特徴辞書23に格納されているフィルタ(すなわち、対象物の周辺の領域であることを識別するために用いるフィルタ)を用いて、周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行う。   The object peripheral area identification unit 43 uses a filter stored in the object peripheral area feature dictionary 23 (that is, a filter used to identify an area around the object) to detect the peripheral area. It is identified whether or not the image represented by the partial region image information input from the window designating unit 42 is an image of the peripheral region of the object.

対象物周辺領域識別部43は、識別を行う前にフィルタの大きさを部分領域画像情報が表す画像の大きさ、すなわち周辺領域検出用ウィンドウ指定部42がその部分領域画像情報を指定した時のウィンドウの大きさに合わせて、適宜拡大を行う。   The object peripheral area identification unit 43 is the size of the image represented by the partial area image information before the identification, that is, when the peripheral area detection window designation unit 42 designates the partial area image information. Enlarge appropriately according to the size of the window.

対象物周辺領域識別部43は、識別結果が対象物の周辺領域であることを示す時には、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部44に出力する。このとき、部分領域画像情報と対応づけた画像入力部41が撮像した画像における位置情報も一緒に出力する。なお、この識別方法については、後述する。   When the identification result indicates that the object is a peripheral region of the target object, the target object peripheral region identifying unit 43 outputs the partial region image information to the target object detection window designating unit 44 as the peripheral region image information. At this time, the position information in the image captured by the image input unit 41 associated with the partial area image information is also output together. This identification method will be described later.

対象物検出用ウィンドウ指定部44は、所定の大きさを持つ対象物検出初期ウィンドウを移動させながら、対象物周辺領域識別部43が対象物の周辺領域であると識別した周辺領域画像情報で表される画像の全領域を指定し、指定した領域の画像情報である周辺領域部分画像情報を対象物識別部45に出力する。   The object detection window designating unit 44 represents the surrounding area image information that the object surrounding area identifying unit 43 has identified as the surrounding area of the object while moving the object detection initial window having a predetermined size. The entire region of the image to be processed is designated, and the peripheral region partial image information that is the image information of the designated region is output to the object identifying unit 45.

このとき、部分領域画像情報と対応づけた画像入力部41が撮像した画像における位置情報及び対象物検出用ウィンドウ指定部44が指定した領域の周辺領域画像情報で表される画像における位置を表す周辺領域位置情報も一緒に出力する。   At this time, the position information in the image captured by the image input unit 41 associated with the partial region image information and the periphery representing the position in the image represented by the peripheral region image information of the region specified by the object detection window specifying unit 44 The area position information is also output.

対象物検出用ウィンドウ指定部44は、対象物検出初期ウィンドウを用いて周辺領域画像情報で表される画像の全領域を指定し終わると、ウィンドウの大きさを所定の比率で拡大して、対象物検出初期ウィンドウで行った処理と同様の処理を繰り返す。この処理は、周辺領域画像情報で表される画像全領域の大きさより、ウィンドウが大きくならない範囲でこの処理を繰り返される。   When the object detection window specifying unit 44 finishes specifying the entire area of the image represented by the peripheral area image information using the object detection initial window, the window size of the object is enlarged by a predetermined ratio, The same processing as that performed in the initial object detection window is repeated. This process is repeated as long as the window does not become larger than the size of the entire image area represented by the peripheral area image information.

対象物識別部45は、対象物特徴辞書33に格納されている対象物フィルタを用いて、対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行う。   The object identification unit 45 uses the object filter stored in the object feature dictionary 33 to display the image represented by the peripheral area partial image information input from the object detection window designating unit 44 as an image of the object. Identify whether or not there is.

対象物識別部45は、識別を行う前に対象物フィルタの大きさを周辺領域部分画像情報が表す画像の大きさ、すなわち対象物検出用ウィンドウ指定部44がその周辺領域部分画像情報を指定した時の対象物検出ウィンドウの大きさに合わせて、適宜拡大を行う。   The object identifying unit 45 specifies the size of the object filter represented by the peripheral area partial image information before the identification, that is, the object detection window designating unit 44 has designated the peripheral area partial image information. Enlarge appropriately according to the size of the object detection window at the time.

対象物識別部45は、識別結果が対象物の画像であることを示す時には、その周辺領域部分画像情報を対象物画像情報として、検出結果出力部に出力する。このとき、部分領域画像情報と対応づけた画像入力部41が撮像した画像における位置情報及び周辺領域部分画像情報に対応する周辺領域位置情報も一緒に出力する。なお、この識別方法については後述する。   When the identification result indicates that the identification result is an image of the object, the object identification unit 45 outputs the peripheral area partial image information as the object image information to the detection result output unit. At this time, the position information in the image captured by the image input unit 41 associated with the partial area image information and the peripheral area position information corresponding to the peripheral area partial image information are also output together. This identification method will be described later.

検出結果出力部46は、画像入力部が撮像した映像の上に、対象物識別部45が対象物の画像であるとして識別した時の対象物フィルタの外郭を、位置情報及び周辺領域位置情報から定まる位置に表示する。この対象物フィルタの外郭によって、対象物として識別した画像の領域を認識することができる。   The detection result output unit 46, based on the position information and the peripheral region position information, shows the outline of the object filter when the object identification unit 45 identifies the image of the object on the video captured by the image input unit. Display at a fixed position. The area of the image identified as the object can be recognized by the outline of the object filter.

次に、対象物周辺領域特徴計算部22が検出対象物である人の顔の周辺領域特徴パターンを抽出する方法について説明する。   Next, a method in which the object peripheral region feature calculation unit 22 extracts a peripheral region feature pattern of the face of the person who is the detection target will be described.

まず、周辺領域特徴パターンを抽出するためには、検出対象物である人の顔の特徴点を考察する必要がある。顔の特徴として着目すべき点は、目と眉が含まれる横長の矩形領域が暗く、その下の頬と鼻を含む横長の矩形領域が明るいという傾向である。この横長の矩形領域の大きさを規定して、横長の矩形領域がそれぞれ持つ平均輝度値の差を特徴量として抽出することができれば、これを周辺領域特徴パターン(両横長矩形領域の位置・大きさ及び平均輝度差)、すなわちフィルタとして、識別する画像が検出対象物である人の顔の画像であるか否かを識別することが可能となる。   First, in order to extract a peripheral region feature pattern, it is necessary to consider feature points of a human face that is a detection target. What should be noted as a feature of the face is that the horizontally long rectangular area including the eyes and eyebrows is dark, and the horizontally long rectangular area including the cheek and nose below it is bright. If the size of the horizontally long rectangular area is defined and the difference between the average luminance values of the horizontally long rectangular areas can be extracted as a feature amount, this can be extracted from the peripheral area feature pattern (position and size of both horizontally long rectangular areas). And the average luminance difference), that is, as a filter, it is possible to identify whether or not the image to be identified is an image of the face of a person who is the detection target.

上記の傾向に着目して、対象物周辺領域画像格納部21が格納するサンプル画像の外枠と同じ大きさの矩形(以下、外枠矩形という。)内に、上記顔の特徴点を反映した2つの横長矩形領域を規定したものを図5に示す。ここでは、外枠矩形が20×20ピクセルの大きさを持つものとする。   Focusing on the above trend, the facial feature points are reflected in a rectangle (hereinafter referred to as an outer frame rectangle) having the same size as the outer frame of the sample image stored in the object peripheral area image storage unit 21. FIG. 5 shows two horizontally long rectangular areas defined. Here, it is assumed that the outer frame rectangle has a size of 20 × 20 pixels.

図5において、外枠矩形の左下の頂点を原点とした縦軸をY軸、横軸をX軸とする直交座標系を用いて、2つの横長矩形領域を規定している。なお、図5中で下側に位置する横長矩形領域を第1矩形領域、上側に位置する横長矩形領域を第2矩形領域とする。   In FIG. 5, two horizontally long rectangular regions are defined using an orthogonal coordinate system in which the vertical axis with the lower left vertex of the outer frame rectangle as the origin is the Y axis and the horizontal axis is the X axis. In FIG. 5, the horizontally long rectangular area located on the lower side is defined as a first rectangular area, and the horizontally elongated rectangular area located on the upper side is defined as a second rectangular area.

第1矩形領域は、その左下の点の座標を(X1,Y1)とし、縦N1、横M1の大きさを持つ矩形であるとして、パラメータを規定する。また、第2矩形領域の左下の点の座標を(X2,Y2)とし、縦N2、横M2の大きさを持つ矩形であるとして、パラメータを規定する。   The first rectangular area is defined as a rectangle having coordinates of the lower left point as (X1, Y1) and having a size of vertical N1 and horizontal M1. Further, the parameters are defined on the assumption that the coordinates of the lower left point of the second rectangular area are (X2, Y2), and the rectangle has a size of vertical N2 and horizontal M2.

なお、顔の左右の対称性を考慮すると、X1×2+M1=20、X2×2+M2=20の関係式が成り立つ。この対象性の考慮により、第1矩形領域と第2矩形領域が採りうる形態の数を減らすことができるので、以下で説明する計算の時間を削減することができる。   In consideration of the symmetry of the left and right faces, the relational expressions X1 × 2 + M1 = 20 and X2 × 2 + M2 = 20 hold. Considering this objectivity, the number of forms that can be taken by the first rectangular area and the second rectangular area can be reduced, so that the calculation time described below can be reduced.

まず、上記のパラメータで規定される2つの横長矩形領域のすべての組み合わせの各々について、画像サンプルに含まれる真画像サンプル(顔の画像サンプルで左右にオフセットさせたものを含む)と偽画像サンプル(顔以外の画像サンプル)とを最もよく分離することができる2つの横長矩形領域の平均輝度差を求める。   First, for each of all combinations of two horizontally long rectangular areas defined by the above parameters, a true image sample (including a face image sample that is offset to the left and right) and a fake image sample ( An average luminance difference between two horizontally long rectangular regions that can best separate the image sample other than the face) is obtained.

ここでいう「最もよく分離することができる」とは、真画像サンプルの画像を顔の画像であると正確に識別し、偽画像サンプルの画像を顔の画像であると誤って識別しないことである。なお、ここで使用する真画像サンプルの画像は、図2に示したような対象物周辺領域画像格納部21が格納するサンプル画像(オフセットさせた画像を含む。)である。   Here, “best separation” means that the true image sample image is correctly identified as a face image, and the false image sample image is not mistakenly identified as a face image. is there. Note that the true image sample image used here is a sample image (including an offset image) stored in the object peripheral region image storage unit 21 as shown in FIG.

このようにして、2つの横長矩形領域のすべての組み合わせの各々についての最も適切な両横長矩形領域の平均輝度差(最適平均輝度差という。)を求めることができる。そして、2つの横長矩形領域のすべての組み合わせの各々に、各々の最適平均輝度差を適用して、真画像サンプル(顔の画像サンプルで左右にオフセットさせたものを含む。)と偽画像サンプル(顔以外の画像サンプル)との分離を試み、最もよく分離することができる2つの横長矩形領域の組み合わせを人の顔の周辺領域特徴パターンとする。この組み合わせの最適平均輝度差は、対象物周辺領域識別部43が顔周辺領域か否かを識別する際に用いるしきい値となる。   In this way, it is possible to obtain the most appropriate average luminance difference (referred to as the optimal average luminance difference) between the two horizontally long rectangular regions for each of all combinations of the two horizontally long rectangular regions. Then, each of the combinations of the two horizontally long rectangular areas is applied with the optimum average luminance difference of each of them to include a true image sample (including a face image sample that is offset left and right) and a fake image sample ( A combination of two horizontally long rectangular areas that can be best separated is used as a peripheral area feature pattern of a human face. The optimum average luminance difference of this combination is a threshold value used when the object peripheral area identifying unit 43 identifies whether or not the object peripheral area is a face peripheral area.

なお、ここでは、両横長矩形領域の平均輝度差を利用するケースについて説明したが、これに限定されるものではなく、両横長矩形領域の輝度比など両横長矩形領域の輝度の関係を利用することができる。   In addition, although the case where the average brightness difference between both horizontally long rectangular areas is used has been described here, the present invention is not limited to this, and the relationship between the brightness of both horizontally long rectangular areas such as the brightness ratio of both horizontally long rectangular areas is used. be able to.

対象物周辺領域特徴計算部22は、この周辺領域特徴パターンを対象物周辺領域特徴辞書に出力する。このような方法で得られた周辺領域特徴パターンの両横長矩形領域の位置・大きさに関する一例を図6に示す。この周辺領域特徴パターンは、どのようなサンプルを用意するかによって多少相違が生じるが、その形態の傾向は共通する。   The object peripheral area feature calculation unit 22 outputs the peripheral area feature pattern to the object peripheral area feature dictionary. FIG. 6 shows an example of the position and size of both horizontally long rectangular regions of the peripheral region feature pattern obtained by such a method. The peripheral area feature pattern differs somewhat depending on what sample is prepared, but the tendency of the form is common.

なお、対象物特徴計算部32が行う検出対象物の対象物特徴パターン計算方法については、従来の技術をそのまま利用することができる。例えば、上述の背景技術の欄で触れた特許文献1のような対象物特徴パターンの抽出方法をそのまま利用することができる。   In addition, about the target object feature pattern calculation method of the detection target object which the target object feature calculation part 32 performs, the conventional technique can be utilized as it is. For example, the object feature pattern extraction method as described in Patent Document 1 mentioned in the background section above can be used as it is.

次に、対象物周辺領域識別部43が行う対象物の周辺領域であるか否かの識別方法について説明する。   Next, a method for identifying whether or not the target object peripheral area identifying unit 43 is a peripheral area of the target object will be described.

対象物周辺領域識別部43は、周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像に、上述の対象物周辺領域特徴計算部22により求められた対象物の周辺領域特徴パターンをフィルタとして適用し、2つの横長矩形領域に対応する画像の平均輝度差を算出し、その特徴パターンに対応するしきい値と比較する。   The target object peripheral area identifying unit 43 adds the peripheral area feature of the target object obtained by the target object peripheral area feature calculating unit 22 to the image represented by the partial area image information input from the peripheral area detection window specifying unit 42. A pattern is applied as a filter, and an average luminance difference between images corresponding to two horizontally long rectangular regions is calculated and compared with a threshold value corresponding to the feature pattern.

比較の結果、平均輝度差がしきい値より大きい時には、対象物周辺領域識別部43は、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部44に出力する。   As a result of the comparison, when the average luminance difference is larger than the threshold value, the object peripheral area identification unit 43 outputs the partial area image information as the peripheral area image information to the object detection window specifying unit 44.

なお、対象物識別部45が行う対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別方法は、使用するフィルタが相違するのみで、基本的に対象物周辺領域識別部43が行う対象物の周辺領域であるか否かの識別方法と同様である。   Note that the filter used is different in the method of identifying whether or not the image represented by the peripheral area partial image information input from the object detection window designating unit 44 performed by the object identifying unit 45 is an image of the object. However, this is basically the same as the method for identifying whether or not the object peripheral area identifying unit 43 is the peripheral area of the object.

次に、対象物検出装置10のオンライン実行環境系における処理動作の流れについて図7を参照して説明する。   Next, the flow of processing operations in the online execution environment system of the object detection apparatus 10 will be described with reference to FIG.

図7は、オンライン実行環境系における処理動作の流れを示したフロー図である。   FIG. 7 is a flowchart showing the flow of processing operations in the online execution environment system.

まず、ST701で、画像入力処理を行う。すなわち、画像入力部41は、撮像した検出対象物を含む映像を周辺領域検出用ウィンドウ指定部42へ入力する。   First, in ST701, an image input process is performed. That is, the image input unit 41 inputs the captured image including the detection target object to the surrounding area detection window designating unit 42.

そして、ST702で、対象物周辺領域の識別処理を行う。   In ST702, an object peripheral area identification process is performed.

すなわち、周辺領域検出用ウィンドウ指定部42は、所定の大きさを持つ初期ウィンドウを少しずつ移動させながら、画像入力部41により入力された画像の全領域を指定し、指定した領域の画像情報である部分領域画像情報を対象物周辺領域識別部43に出力する。   That is, the surrounding area detection window designating unit 42 designates the entire area of the image input by the image input unit 41 while moving the initial window having a predetermined size little by little, and the image information of the designated area is used. Certain partial region image information is output to the object peripheral region identification unit 43.

対象物周辺領域識別部43は、対象物周辺領域特徴辞書23に格納されているフィルタを用いて、周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行う。   The object surrounding area identification unit 43 uses the filter stored in the object surrounding area feature dictionary 23 to display an image represented by the partial area image information input from the surrounding area detection window designating unit 42 of the object. Whether or not the image is a peripheral area is identified.

そして、識別結果が対象物の周辺領域であることを示す時には、対象物周辺領域識別部43は、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部44に出力する。   Then, when the identification result indicates that the region is the peripheral region of the target, the target peripheral region identification unit 43 outputs the partial region image information to the target detection window specifying unit 44 as the peripheral region image information.

次に、ST703で、対象物画像の識別処理を行う。   Next, in ST703, an object image identification process is performed.

すなわち、対象物検出用ウィンドウ指定部44は、所定の大きさを持つ対象物検出初期ウィンドウを移動させながら、対象物周辺領域識別部43が対象物の周辺領域であると識別した周辺領域画像情報で表される画像の全領域を指定し、指定した領域の周辺領域部分画像情報を対象物識別部45に出力する。   That is, the object detection window designating unit 44 moves the object detection initial window having a predetermined size, and the object surrounding area identification unit 43 identifies the surrounding area image information identified as the object surrounding area. The entire area of the image represented by is designated, and the peripheral area partial image information of the designated area is output to the object identifying unit 45.

対象物識別部45は、対象物特徴辞書33に格納されている対象物フィルタを用いて、対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行う。   The object identification unit 45 uses the object filter stored in the object feature dictionary 33 to display the image represented by the peripheral area partial image information input from the object detection window designating unit 44 as an image of the object. Identify whether or not there is.

次に、ST704で、対象物領域の特定処理を行う。   Next, in ST704, an object area specifying process is performed.

すなわち、対象物識別部45は、識別結果が対象物の画像であることを示す時には、その周辺領域部分画像情報を対象物画像情報として、検出結果出力部に出力する。   That is, when the identification result indicates that the identification result is an image of the target, the target object identification unit 45 outputs the peripheral area partial image information as the target image information to the detection result output unit.

そして、検出結果出力部46は、画像入力部が撮像した映像の上に、対象物識別部45が対象物の画像であるとして識別した時の対象物フィルタの外郭を表示して対象物の画像を特定する。この対象物フィルタの外郭によって、対象物として識別した画像の領域を認識することができる。   Then, the detection result output unit 46 displays the outline of the object filter when the object identifying unit 45 identifies the image of the object on the image captured by the image input unit, and displays the image of the object Is identified. The area of the image identified as the object can be recognized by the outline of the object filter.

以上のように本実施の形態によれば、オフセットさせた画像を含む画像サンプルから対象物周辺領域特徴計算部22が抽出した周辺領域特徴パターンをフィルタとして用いて、対象物周辺領域識別部43が周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行うので、周辺領域検出用ウィンドウ指定部42はオフセットの大きさに対応する間隔ごとにスキャンすることができるため、高速に対象物画像の周辺領域を探し出すことができる。   As described above, according to the present embodiment, the object peripheral area identification unit 43 uses the peripheral area feature pattern extracted by the object peripheral area feature calculation unit 22 from the image sample including the offset image as a filter. Since the image represented by the partial region image information input from the peripheral region detection window specifying unit 42 is an image of the peripheral region of the target object, the peripheral region detection window specifying unit 42 determines the offset. Since scanning can be performed at intervals corresponding to the size, the peripheral region of the object image can be found at high speed.

また、対象物周辺領域識別部43によって探し出された対象物画像の周辺領域のみについて、対象物識別部45が対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行うので、対象物識別部45が対象物の画像を探し出す領域が限定されるため、高速に対象物の画像を探し出すことができる。この結果、対象物検出装置10全体の対象物検出処理の処理量を低減し、高速化することができる。   In addition, for only the peripheral region of the target image found by the target peripheral region identification unit 43, an image represented by the peripheral region partial image information input by the target object identification unit 45 from the target object detection window designating unit 44 is displayed. Since it is discriminated whether or not it is an image of the object, the area where the object identification unit 45 searches for the image of the object is limited, so that the image of the object can be searched at high speed. As a result, the processing amount of the object detection process of the entire object detection apparatus 10 can be reduced and the processing speed can be increased.

換言すれば、対象物の検出過程に、対象物識別部45が対象物を識別する過程の前段階として、対象物周辺領域識別部43が対象物の周辺領域を識別する過程を設け、対象物周辺領域識別部43が対象物の存在する可能性の高い領域を粗く検出した後に、対象物識別部45がその領域内のみについて対象物の画像が存在するか否かを精査するようにしたので、対象物周辺領域識別部43が高速に探し出した対象物画像の周辺領域にサーチ範囲を限定して、対象物識別部45が対象物の画像をサーチするため、対象物検出装置10全体の対象物検出処理の処理量を低減し、高速化することができる。   In other words, in the object detection process, as a pre-stage of the process in which the object identification unit 45 identifies the object, a process in which the object peripheral area identification unit 43 identifies the peripheral area of the object is provided. Since the peripheral area identification unit 43 roughly detects an area where there is a high possibility that the object exists, the object identification unit 45 examines whether or not the image of the object exists only in the area. The object peripheral area identifying unit 43 limits the search range to the peripheral area of the object image searched for at high speed, and the object identifying unit 45 searches for the image of the object. The processing amount of the object detection process can be reduced and the processing speed can be increased.

また、対象物の検出過程を対象物周辺領域識別部43が対象物の周辺領域を粗く検出する過程と対象物識別部45がその領域内のみについて対象物の画像が存在するか否かを精査する過程の2段階としたので、対象物周辺領域識別部43による対象物の周辺領域の検出を粗くしても、対象物の画像が存在するか否かを精査する過程の1段階のみにより対象物の画像を検出する従来の検出装置に比べて、検出に係る時間が短い上に、検出精度は同程度期待することができる。   In addition, the object detection process for the object surrounding area identification unit 43 roughly detects the object detection process, and the object identification unit 45 examines whether the image of the object exists only within the area. Therefore, even if the detection of the surrounding area of the object by the object surrounding area discriminating unit 43 is rough, the object is detected by only one stage of the process of examining whether or not the image of the object exists. Compared to a conventional detection device that detects an image of an object, the time required for detection is short, and the detection accuracy can be expected to be comparable.

本発明は、検出精度を低下させることなく対象物検出処理の処理量を低減し、高速化を図ることができる対象物検出装置及びその方法として有用である。   INDUSTRIAL APPLICABILITY The present invention is useful as an object detection apparatus and method that can reduce the processing amount of the object detection process and reduce the processing speed without reducing the detection accuracy.

本発明の一実施の形態に係る対象物検出装置の構成を示すブロック図The block diagram which shows the structure of the target object detection apparatus which concerns on one embodiment of this invention. 対象物周辺領域画像格納部が格納するサンプル画像の一例を示した図The figure which showed an example of the sample image which an object surrounding area image storage part stores 対象物画像格納部が格納するサンプル画像の一例を示した図The figure which showed an example of the sample image which a target object image storage part stores ウィンドウ指定部が初期ウィンドウを用いて行う処理を説明するための図The figure for demonstrating the process which a window designation | designated part performs using an initial window 外枠矩形内に顔の特徴点を反映した2つの横長矩形領域を規定した図A figure that defines two horizontally long rectangular areas that reflect facial feature points in the outer frame rectangle 周辺領域特徴パターンの両横長矩形領域の位置・大きさに関する一例を示した図The figure which showed an example about the position and size of both horizontally long rectangular areas of the peripheral area feature pattern オンライン実行環境系における処理動作の流れを示したフロー図Flow diagram showing the flow of processing operations in the online execution environment 従来の対象物検出装置における対象物検出のためのフィルタのスキャニングを説明するための図The figure for demonstrating the scanning of the filter for the target object detection in the conventional target object detection apparatus

符号の説明Explanation of symbols

10 対象物検出装置
21 対象物周辺領域画像格納部
22 対象物周辺領域特徴計算部
23 対象物周辺領域特徴辞書
31 対象物画像格納部
32 対象物特徴計算部
33 対象物特徴辞書
41 画像入力部
42 周辺領域検出用ウィンドウ指定部
43 対象物周辺領域識別部
44 対象物検出用ウィンドウ指定部
45 対象物識別部
46 検出結果出力部
DESCRIPTION OF SYMBOLS 10 Object detection apparatus 21 Object periphery area | region image storage part 22 Object periphery area | region feature calculation part 23 Object periphery area | region feature dictionary 31 Object object storage part 32 Object object feature calculation part 33 Object object characteristic dictionary 41 Image input part 42 Peripheral area detection window designation unit 43 Object peripheral area identification unit 44 Object detection window designation part 45 Object identification part 46 Detection result output part

Claims (6)

画像に含まれる検出対象物の画像領域を検出する対象物検出装置であって、
第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出する対象物周辺領域検出手段と、
第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出する対象物検出手段と、
を具備することを特徴とする対象物検出装置。
An object detection device for detecting an image area of a detection object included in an image,
An object surrounding area detecting means for detecting a surrounding image area of the detection object using a first detection filter;
Object detection means for detecting an image of the detection object for only the peripheral image region of the detection object detected using the second detection filter;
An object detection apparatus comprising:
前記第1の検出フィルタは、オフセットさせた前記検出対象物の画像を含む画像サンプルから抽出する前記検出対象物の特徴パターンであることを特徴とする請求項1記載の対象物検出装置。   The target detection apparatus according to claim 1, wherein the first detection filter is a feature pattern of the detection target extracted from an image sample including an image of the detection target offset. 前記第1の検出フィルタは、前記検出対象物が人の顔である場合に、前記検出対象物の特徴パターンとして、
目と眉とを含む領域に対応する第1の矩形領域と、
前記第1の矩形領域の下方に位置し、頬と鼻とを含む領域に対応する第2の矩形領域と、
を具備し、
前記第1の矩形領域及び前記第2の矩形領域の大きさと、
前記第1の矩形領域及び前記第2の矩形領域の位置と、
前記検出対象物が含まれる画像に、両矩形領域を適用した時の両領域内の輝度の関係と、
をパラメータとして定義されることを特徴とする請求項1又は請求項2記載の対象物検出装置。
When the detection target is a human face, the first detection filter is a feature pattern of the detection target,
A first rectangular area corresponding to an area including eyes and eyebrows;
A second rectangular area located below the first rectangular area and corresponding to an area including a cheek and a nose;
Comprising
The size of the first rectangular area and the second rectangular area;
Positions of the first rectangular area and the second rectangular area;
The relationship between the luminance in both areas when both rectangular areas are applied to the image including the detection object;
The object detection device according to claim 1, wherein the object detection device is defined as a parameter.
前記検出対象物が含まれる前記画像内で、前記第1の検出フィルタを適用する領域を指定する領域指定手段を具備し、
前記領域指定手段は、前記画像サンプルのオフセット量に対応した間隔で、前記領域を指定することを特徴とする請求項1から請求項3のいずれか一項に記載の対象物検出装置。
In the image including the detection object, comprising an area designating unit for designating an area to which the first detection filter is applied,
4. The object detection apparatus according to claim 1, wherein the area designating unit designates the area at an interval corresponding to an offset amount of the image sample. 5.
画像に含まれる検出対象物の画像領域を検出する対象物検出方法であって、
第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、
第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、
を具備することを特徴とする対象物検出方法。
An object detection method for detecting an image area of a detection object included in an image, comprising:
Detecting a peripheral image region of the detection object using a first detection filter;
Detecting the image of the detection object only for the peripheral image area of the detected detection object using a second detection filter;
The object detection method characterized by comprising.
画像に含まれる検出対象物の画像領域を検出するためのプログラムであって、
第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、
第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、
をコンピュータに実行させることを特徴とする対象物検出プログラム。
A program for detecting an image area of a detection target included in an image,
Detecting a peripheral image region of the detection object using a first detection filter;
Detecting an image of the detection object only for the peripheral image region of the detected detection object using a second detection filter;
An object detection program that causes a computer to execute the above.
JP2004020423A 2004-01-28 2004-01-28 Object detector and its method Pending JP2005215899A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004020423A JP2005215899A (en) 2004-01-28 2004-01-28 Object detector and its method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004020423A JP2005215899A (en) 2004-01-28 2004-01-28 Object detector and its method

Publications (1)

Publication Number Publication Date
JP2005215899A true JP2005215899A (en) 2005-08-11

Family

ID=34904345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004020423A Pending JP2005215899A (en) 2004-01-28 2004-01-28 Object detector and its method

Country Status (1)

Country Link
JP (1) JP2005215899A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058722A (en) * 2005-08-26 2007-03-08 Fujifilm Corp Learning method for discriminator, object discrimination apparatus, and program
JP2009080522A (en) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp Object image recognition device
JP2010092162A (en) * 2008-10-06 2010-04-22 Canon Inc Image processor and image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196373A (en) * 1997-09-22 1999-04-09 Toshiba Corp Image pickup device
JPH11306348A (en) * 1998-04-21 1999-11-05 Toshiba Tec Corp Method and device for object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196373A (en) * 1997-09-22 1999-04-09 Toshiba Corp Image pickup device
JPH11306348A (en) * 1998-04-21 1999-11-05 Toshiba Tec Corp Method and device for object detection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058722A (en) * 2005-08-26 2007-03-08 Fujifilm Corp Learning method for discriminator, object discrimination apparatus, and program
JP2009080522A (en) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp Object image recognition device
JP2010092162A (en) * 2008-10-06 2010-04-22 Canon Inc Image processor and image processing method

Similar Documents

Publication Publication Date Title
US7376270B2 (en) Detecting human faces and detecting red eyes
JP4307496B2 (en) Facial part detection device and program
JP5671928B2 (en) Learning device, learning method, identification device, identification method, and program
JP2012238175A (en) Information processing device, information processing method, and program
JP4206053B2 (en) User interface device and user interface program
JP2010262601A (en) Pattern recognition system and pattern recognition method
JP2005309746A (en) Method and program for tracking moving body, recording medium therefor, and moving body tracking device
JP5489340B2 (en) Face masking apparatus and method
JP2013215549A (en) Image processing device, image processing program, and image processing method
JP2010057105A (en) Three-dimensional object tracking method and system
JP2007025902A (en) Image processor and image processing method
JP2007025900A (en) Image processor and image processing method
JP2010152800A (en) Image processing apparatus, image processing method and program
CN107958202B (en) Human body detection apparatus, control method of human body detection apparatus, and storage medium
JP2007219603A (en) Person tracking device, person tracking method and person tracking program
JP4708835B2 (en) Face detection device, face detection method, and face detection program
JP2006323779A (en) Image processing method and device
JP2016167128A (en) Information processing apparatus, information processing method, and program
JP2007026308A (en) Image processing method and image processor
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
JP5217917B2 (en) Object detection and tracking device, object detection and tracking method, and object detection and tracking program
JP2005215899A (en) Object detector and its method
JP2008211534A (en) Face detecting device
JP4775599B2 (en) Eye position detection method
JP2013029996A (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316