JP2005215899A - Object detector and its method - Google Patents
Object detector and its method Download PDFInfo
- Publication number
- JP2005215899A JP2005215899A JP2004020423A JP2004020423A JP2005215899A JP 2005215899 A JP2005215899 A JP 2005215899A JP 2004020423 A JP2004020423 A JP 2004020423A JP 2004020423 A JP2004020423 A JP 2004020423A JP 2005215899 A JP2005215899 A JP 2005215899A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- image
- area
- filter
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像中に含まれる対象物を検出する対象物検出装置及びその方法に関する。 The present invention relates to an object detection apparatus and method for detecting an object included in an image.
人物の顔を対象物とした対象物検出装置が、特許文献1に示されている。従来の対象物検出装置においては、図8に示すように、対象物の画像を検出するフィルタとして機能する領域モデルを当てはめる被照合局所領域を設定し、この被照合局所領域の位置を入力画像の全体にわたって順次指定して移動させる。そして、指定した被照合局所領域ごとに輝度正規化を行い、エッジ検出等の画像処理を行う。さらに、画像処理された画像に対して顔の領域モデルを当てはめる領域モデル内の各判定要素取得領域の特徴量を抽出し、各被照合局所領域ごとに顔画像か否かの判定を行い、顔の検出を行う。
An object detection apparatus that uses a human face as an object is disclosed in
また、人物の顔を対象物とした対象物検出装置において利用される対象物検出の方法が、非特許文献1に示されている。従来の対象物検出方法においては、対象物の特徴パターン(以下、対象物特徴パターンという。)を抽出してフィルタを形成し、このフィルタを用いて画像中から対象物を検出する。
しかしながら、従来の対象物検出装置及び対象物検出方法においては、上記フィルタの移動を順次行うことなどに起因して、その処理量が膨大となり、処理能力の高くない演算処理装置では、高速な対象物検出を行うことができないという問題がある。 However, in the conventional object detection device and the object detection method, the processing amount becomes enormous due to the sequential movement of the filter, etc. There is a problem that object detection cannot be performed.
本発明は、かかる点に鑑みてなされたものであり、検出精度を低下させることなく対象物検出の高速化を図ることができる対象物検出装置及びその方法を提供することを目的とする。 The present invention has been made in view of this point, and an object of the present invention is to provide an object detection apparatus and method that can increase the speed of object detection without reducing the detection accuracy.
本発明の対象物検出装置は、画像に含まれる検出対象物の画像領域を検出する対象物検出装置であって、第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出する対象物周辺領域検出手段と、第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出する対象物検出手段と、を具備する構成を採る。 The object detection device of the present invention is an object detection device that detects an image area of a detection object included in an image, and detects a peripheral image area of the detection object using a first detection filter. Object surrounding area detection means, and object detection means for detecting an image of the detection object for only the peripheral image area of the detection object detected using the second detection filter. Take.
この構成によれば、第1の検出フィルタで検出対象物周辺の画像領域を把握し、その後に第2の検出フィルタを利用して、第1の検出フィルタで検出したその画像領域の中のみで対象物の画像を検出するので、対象物検出処理の処理量を低減し、高速化を図ることができる。 According to this configuration, the first detection filter grasps the image area around the detection target, and then uses the second detection filter to detect only the image area detected by the first detection filter. Since the image of the object is detected, the processing amount of the object detection process can be reduced and the speed can be increased.
本発明の対象物検出装置は、上記構成において、前記第1の検出フィルタは、オフセットさせた前記検出対象物の画像を含む画像サンプルから抽出する前記検出対象物の特徴パターンである構成を採る。 The object detection device of the present invention employs a structure in which the first detection filter is a feature pattern of the detection object extracted from an image sample including the offset image of the detection object in the above configuration.
この構成によれば、第1の検出フィルタがオフセットさせた検出対象物の画像を含む画像サンプルから抽出する検出対象物の特徴パターンであるので、第1の検出フィルタは検出対象物の画像からオフセットの分だけずれた場所にあっても検出対象物の画像の周辺であることを識別できるため、一度にオフセット分だけ広い範囲を検出することができる。 According to this configuration, since the feature pattern of the detection target is extracted from the image sample including the detection target image offset by the first detection filter, the first detection filter is offset from the detection target image. Since it can be identified that it is the periphery of the image of the detection target even if it is at a location shifted by this amount, it is possible to detect a wide range by the offset at a time.
本発明の対象物検出装置は、上記構成において、前記第1の検出フィルタは、前記検出対象物が人の顔である場合に、前記検出対象物の特徴パターンとして、目と眉とを含む領域に対応する第1の矩形領域と、前記第1の矩形領域の下方に位置し、頬と鼻とを含む領域に対応する第2の矩形領域と、を具備し、前記第1の矩形領域及び前記第2の矩形領域の大きさと、前記第1の矩形領域及び前記第2の矩形領域の位置と、前記検出対象物が含まれる画像に、両矩形領域を適用した時の両領域内の輝度の関係と、をパラメータとして定義される構成を採る。 The object detection device according to the present invention is configured such that, in the above configuration, the first detection filter includes an eye and an eyebrow as a feature pattern of the detection object when the detection object is a human face. A first rectangular area corresponding to the first rectangular area, and a second rectangular area located below the first rectangular area and corresponding to an area including a cheek and a nose, wherein the first rectangular area and Luminance in both areas when the size of the second rectangular area, the position of the first rectangular area and the second rectangular area, and both rectangular areas are applied to an image including the detection target And a structure defined as a parameter.
この構成によれば、検出対象物である人の顔の特徴点を踏まえつつ、両領域に対応する画像の輝度の関係により、識別する画像が検出対象物である人の顔の画像であるか否かを識別するので、複雑な処理を伴うことなく検出対象物の画像の周辺領域を検出することができる。 According to this configuration, whether the image to be identified is an image of the face of the person that is the detection target based on the luminance relationship of the images corresponding to both areas, based on the feature points of the face of the person that is the detection target. Therefore, it is possible to detect the peripheral region of the image of the detection object without complicated processing.
本発明の対象物検出装置は、上記構成において、前記検出対象物が含まれる前記画像内で、前記第1の検出フィルタを適用する領域を指定する領域指定手段を具備し、前記領域指定手段は、前記画像サンプルのオフセット量に対応した間隔で、前記領域を指定する構成を採る。 The object detection apparatus according to the present invention includes an area designating unit that designates an area to which the first detection filter is applied in the image including the detection object in the configuration described above. A configuration is adopted in which the region is designated at an interval corresponding to the offset amount of the image sample.
この構成によれば、領域指定手段が、検出対象物の特徴パターンを抽出する画像サンプルのオフセット量に対応した間隔で、第1の検出フィルタを適用する領域を指定するので、検出対象物の周辺画像領域の検出にかかる処理量を低減することができる。その結果、対象物の画像の検出を高速に行うことができる。 According to this configuration, the area designating unit designates the area to which the first detection filter is applied at an interval corresponding to the offset amount of the image sample from which the feature pattern of the detection object is extracted. The amount of processing required to detect the image area can be reduced. As a result, the image of the object can be detected at high speed.
本発明の対象物検出方法は、画像に含まれる検出対象物の画像領域を検出する対象物検出方法であって、第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、を具備するようにした。 The object detection method of the present invention is an object detection method for detecting an image area of a detection object included in an image, and detects a peripheral image area of the detection object using a first detection filter. And a step of detecting an image of the detection object only for a peripheral image region of the detected detection object using a second detection filter.
この方法によれば、第1の検出フィルタで検出対象物の周辺画像領域を把握し、その後に第2の検出フィルタを利用して、第1の検出フィルタでとらえたその画像領域の中のみで対象物の画像を検出するので、対象物の画像を検出する処理の処理量を低減し、高速化を図ることができる。 According to this method, the first detection filter grasps the peripheral image region of the detection target, and then uses the second detection filter to detect only the image region captured by the first detection filter. Since the image of the object is detected, the amount of processing for detecting the image of the object can be reduced, and the speed can be increased.
本発明の対象物検出プログラムは、画像に含まれる検出対象物の画像領域を検出するためのプログラムであって、第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、をコンピュータに実行させる構成を採る。 The object detection program of the present invention is a program for detecting an image area of a detection object included in an image, and a step of detecting a peripheral image area of the detection object using a first detection filter. And a step of causing the computer to execute the step of detecting the image of the detection object for only the peripheral image region of the detected detection object using the second detection filter.
この構成によれば、第1の検出フィルタで検出対象物の周辺画像領域を把握し、その後に第2の検出フィルタを利用して、第1の検出フィルタでとらえたその画像領域の中のみで対象物の画像を検出するので、対象物の画像を検出する処理の処理量を低減し、高速化を図ることができる。 According to this configuration, the peripheral image region of the detection target is grasped by the first detection filter, and then the second detection filter is used only in the image region captured by the first detection filter. Since the image of the object is detected, the amount of processing for detecting the image of the object can be reduced, and the speed can be increased.
本発明によれば、検出精度を低下させることなく対象物検出処理の処理量を低減し、高速化を図ることができる対象物検出装置及びその方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the processing amount of a target object detection process can be reduced without reducing detection accuracy, and the target object detection apparatus and method which can aim at speed-up can be provided.
本発明の骨子は、対象物の検出過程に対象物を識別する過程の前段階として対象物の周辺領域を識別する過程を設け、対象物が存在する可能性の高い領域を粗く検出した後にその領域内のみについて対象物が存在するか否かを精査することである。 The essence of the present invention is to provide a process for identifying a peripheral area of an object as a pre-stage of the object identification process in the object detection process, and after roughly detecting an area where the object is likely to exist, It is to examine whether or not the object exists only in the area.
以下、本発明の一実施の形態について図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施の形態に係る対象物検出装置10の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an
図1に示すように対象物検出装置10は、オンライン実行環境系とオフライン実行環境系の2つの系を備えている。この対象物検出装置10は、オフライン実行環境系で機能の異なる2つのフィルタを用意し、オンライン実行環境系でまず第1のフィルタで検出対象物周辺の画像領域(以下、対象物周辺領域という。)を粗く把握し、その後に第2のフィルタを利用して、第1のフィルタでとらえたその画像領域の中で対象物画像があるか否かを精査し、対象物を検出するものである。
As shown in FIG. 1, the
対象物検出装置10のオフライン実行環境系は、対象物周辺領域画像格納部21と、対象物周辺領域特徴計算部22と、対象物周辺領域特徴辞書23と、対象物画像格納部31と、対象物特徴計算部32と、対象物特徴辞書33とを有する。
The offline execution environment system of the
対象物検出装置10のオンライン実行環境系は、画像入力部41と、周辺領域検出用ウィンドウ指定部42と、対象物周辺領域識別部43と、対象物検出用ウィンドウ指定部44と、対象物識別部45と、検出結果出力部46とを有する。
The online execution environment system of the
まず、オフライン実行環境系について説明する。 First, the offline execution environment system will be described.
対象物周辺領域画像格納部21は、対象物周辺領域の識別に用いられる周辺領域特徴パターンを抽出するためのサンプル画像を格納している。
The object peripheral area
図2は、対象物周辺領域画像格納部21が格納するサンプル画像の一例を示した図である。なお、図2には、対象物が人の顔である時のサンプル画像を示している。
FIG. 2 is a diagram illustrating an example of a sample image stored in the object peripheral area
図2に示す中央の画像は、人の顔を正面から撮影して目尻を基準とした顔の内側だけを抽出したものである。この中央の画像は、決められた枠に顔がフィットするように、人為的に加工が施されたものである。 The center image shown in FIG. 2 is obtained by photographing the face of a person from the front and extracting only the inside of the face based on the corner of the eye. This central image has been artificially processed so that the face fits into the determined frame.
左右の列の画像は、中央の列の画像に対して各々1ピクセルずつ左右にずらした、すなわちオフセットを左右方向に施したものである。また、上下の行の画像は、中央の行の画像に対して各々左右に5度ずつ傾けたものである。 The images in the left and right columns are shifted by one pixel to the left and right with respect to the image in the center column, that is, offset is applied in the left and right direction. In addition, the images in the upper and lower rows are each tilted 5 degrees to the left and right with respect to the image in the center row.
図2に示したサンプル画像は、次のように用意される。まず、上述のように中央の画像を用意し、次に、この中央の画像を加工して、左右に1ピクセルずつオフセットさせた画像を作成する。これで、中央の行にある画像が全て用意される。次に、この中央の行の画像を左右に5度ずつ傾けることにより、上下の行の画像も用意される。 The sample image shown in FIG. 2 is prepared as follows. First, a central image is prepared as described above, and then the central image is processed to create an image that is offset by one pixel to the left and right. Thus, all the images in the center row are prepared. Next, by tilting the image in the center row by 5 degrees to the left and right, the images in the upper and lower rows are also prepared.
なお、対象物周辺領域画像格納部21は、このようなサンプル画像を異なる多数の人に関して用意する。また、図2においては、1人について9つの画像サンプルを用意しているが、この数に限定されるものではない。
The object peripheral area
左右のオフセットの大きさは、周辺領域検出用ウィンドウ指定部42が指定するウィンドウの移動のさせ方に影響を与える。具体的には、図2に示した例のように1ピクセルずつオフセットを施すと、後述する周辺領域検出用ウィンドウ指定部42が指定するウィンドウをオフセット量に対応する間隔(1ピクセルオフセットさせた場合は、少なくとも2ピクセル)で移動させても、後述する対象物周辺領域識別部43が実際に対象物の映像が存在する周辺領域を見逃す確率は高くならない。
The size of the left and right offsets affects how the window designated by the surrounding area detection
対象物周辺領域特徴計算部22は、対象物周辺領域画像格納部21に格納されているサンプル画像を基に、確率的、統計的に検出対象物である人の顔の周辺領域特徴パターンを計算により抽出し、対象物周辺領域特徴辞書23に出力する。なお、この周辺領域特徴パターンの抽出については後述する。
The object peripheral region
対象物周辺領域特徴辞書23は、対象物周辺領域特徴計算部22が出力した周辺領域特徴パターンを記憶する。この周辺領域特徴パターンは、対象物周辺領域識別部43が対象物周辺領域を識別する時に用いるフィルタとして利用される。
The object peripheral
対象物画像格納部31は、対象物の識別に用いる対象物特徴パターンを抽出するためのサンプル画像を格納している。
The object
図3は、対象物画像格納部31が格納するサンプル画像の一例を示した図である。なお、図3には、対象物が人の顔である時のサンプル画像を示している。
FIG. 3 is a diagram illustrating an example of a sample image stored in the object
図3に示す中央の画像は、人の顔を正面から撮影して目尻を基準とした顔の内側だけを抽出したものである。この中央の画像は、決められた枠に顔がフィットするように、人為的に加工が施されたものである。 The center image shown in FIG. 3 is obtained by photographing a human face from the front and extracting only the inside of the face with the eye corners as a reference. This central image has been artificially processed so that the face fits into the determined frame.
上下の画像は、中央の画像を左右に5度ずつ傾けたものである。この上下の画像についても、目尻を基準とした顔の内側だけを抽出している。このような傾けたサンプル画像は、対象物が多少傾いていても、対象物識別部45が対象物を識別できる対象物検出フィルタを形成するために用意されている。
The upper and lower images are obtained by tilting the center image left and right by 5 degrees. For the upper and lower images, only the inside of the face with respect to the corners of the eyes is extracted. Such a tilted sample image is prepared in order to form an object detection filter that allows the
対象物特徴計算部32は、対象物画像格納部31に格納されているサンプル画像を基に、確率的、統計的に検出対象物である人の顔の対象物特徴パターンを計算して抽出し、対象物特徴辞書に出力する。なお、この対象物特徴パターンの抽出については、後述する。
The object
対象物特徴辞書33は、対象物特徴計算部32が抽出して出力した対象物特徴パターンを記憶する。この対象物特徴パターンは、対象物識別部45が対象物を識別する時に用いる対象物検出フィルタとして利用される。
The
次に、オンライン実行環境系について説明する。 Next, the online execution environment system will be described.
画像入力部41は、カメラなどの撮像手段により撮像した検出対象物を含む映像を周辺領域検出用ウィンドウ指定部42に出力する。
The
周辺領域検出用ウィンドウ指定部42は、所定の大きさを持つ初期ウィンドウを、対象物周辺領域画像格納部21が格納するサンプル画像のオフセット量に応じたピクセル間隔で飛び飛びに移動させながら、画像入力部41により入力された画像の全領域を指定し、指定した領域の画像情報である部分領域画像情報を対象周辺領域識別部43に出力する。このとき、指定した領域の画像入力部41が撮像した画像における位置情報と対応づけて出力する。
The peripheral area detection
周辺領域検出用ウィンドウ指定部42は、初期ウィンドウを用いて画像の全領域を指定し終わると、ウィンドウの大きさを所定の比率で拡大して、初期ウィンドウで行った処理と同様の処理を繰り返す。この処理は、画像全領域の大きさより、ウィンドウが大きくならない範囲で繰り返される。
When the peripheral area detection
この周辺領域検出用ウィンドウ指定部42が初期ウィンドウを用いて行う処理を図4に示した。図4に示すように、周辺領域検出用ウィンドウ指定部42は、まず画像領域内のスタートの位置に初期ウィンドウを置き、随時右方向に初期ウィンドウを、上記オフセット量に応じたピクセル間隔(ここでは、3ピクセル間隔)で移動させて、画像全領域をスキャンする。初期ウィンドウが右端まで来ると、周辺領域検出用ウィンドウ指定部42は、初期ウィンドウを左端に戻すが、今度は初期ウィンドウを少し上にずらして右方向へ同様に移動させる。
The processing performed by the peripheral area detection
これを繰り返して、図4中のストップの位置まで初期ウィンドウがくると、周辺領域検出用ウィンドウ指定部42は、ウィンドウを所定の比率で拡大して、その拡大したウィンドウをスタート位置に置き、初期ウィンドウで行った処理と同様の処理を行う。上述のように、周辺領域検出用ウィンドウ指定部42は、画像全領域の大きさより、ウィンドウが大きくならない範囲で、この処理を繰り返す。
When the initial window comes to the position of the stop in FIG. 4 by repeating this, the surrounding area detection
なお、周辺領域検出用ウィンドウ指定部42がウィンドウをずらす間隔を1ピクセルとする場合に、後述する対象物周辺領域識別部43は、最も正確に対象物の周辺領域を識別することができる。しかし、対象物周辺領域画像格納部21に格納されている画像サンプルにNピクセル分左右にオフセットさせた画像が含まれている場合には、対象物の画像からNピクセルずれた位置にウィンドウがあっても対象物周辺領域識別部43がその位置を対象物周辺領域と識別するので、対象物周辺領域識別部43があたかも左右にNピクセルずつ、あわせて2Nピクセル広い範囲をカバーして識別しているのと同等の効果が得られる。このため、周辺領域検出用ウィンドウ指定部42は、ウィンドウを少なくとも2Nピクセルずつ左右方向にずらすことができる。なお、対象物の画像の左右どちらかで対象物の周辺領域を識別できることでよければ、2N+1ピクセルとしてもよい。また、周辺領域検出用ウィンドウ指定部42がこのように左右方向に複数ピクセルごとにウィンドウを移動させても、対象物周辺領域識別部43の実際に対象物の映像が存在する周辺領域を見逃す確率は高くならない。
In addition, when the surrounding area detection
対象物周辺領域識別部43は、対象物周辺領域特徴辞書23に格納されているフィルタ(すなわち、対象物の周辺の領域であることを識別するために用いるフィルタ)を用いて、周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行う。
The object peripheral
対象物周辺領域識別部43は、識別を行う前にフィルタの大きさを部分領域画像情報が表す画像の大きさ、すなわち周辺領域検出用ウィンドウ指定部42がその部分領域画像情報を指定した時のウィンドウの大きさに合わせて、適宜拡大を行う。
The object peripheral
対象物周辺領域識別部43は、識別結果が対象物の周辺領域であることを示す時には、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部44に出力する。このとき、部分領域画像情報と対応づけた画像入力部41が撮像した画像における位置情報も一緒に出力する。なお、この識別方法については、後述する。
When the identification result indicates that the object is a peripheral region of the target object, the target object peripheral
対象物検出用ウィンドウ指定部44は、所定の大きさを持つ対象物検出初期ウィンドウを移動させながら、対象物周辺領域識別部43が対象物の周辺領域であると識別した周辺領域画像情報で表される画像の全領域を指定し、指定した領域の画像情報である周辺領域部分画像情報を対象物識別部45に出力する。
The object detection
このとき、部分領域画像情報と対応づけた画像入力部41が撮像した画像における位置情報及び対象物検出用ウィンドウ指定部44が指定した領域の周辺領域画像情報で表される画像における位置を表す周辺領域位置情報も一緒に出力する。
At this time, the position information in the image captured by the
対象物検出用ウィンドウ指定部44は、対象物検出初期ウィンドウを用いて周辺領域画像情報で表される画像の全領域を指定し終わると、ウィンドウの大きさを所定の比率で拡大して、対象物検出初期ウィンドウで行った処理と同様の処理を繰り返す。この処理は、周辺領域画像情報で表される画像全領域の大きさより、ウィンドウが大きくならない範囲でこの処理を繰り返される。
When the object detection
対象物識別部45は、対象物特徴辞書33に格納されている対象物フィルタを用いて、対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行う。
The
対象物識別部45は、識別を行う前に対象物フィルタの大きさを周辺領域部分画像情報が表す画像の大きさ、すなわち対象物検出用ウィンドウ指定部44がその周辺領域部分画像情報を指定した時の対象物検出ウィンドウの大きさに合わせて、適宜拡大を行う。
The
対象物識別部45は、識別結果が対象物の画像であることを示す時には、その周辺領域部分画像情報を対象物画像情報として、検出結果出力部に出力する。このとき、部分領域画像情報と対応づけた画像入力部41が撮像した画像における位置情報及び周辺領域部分画像情報に対応する周辺領域位置情報も一緒に出力する。なお、この識別方法については後述する。
When the identification result indicates that the identification result is an image of the object, the
検出結果出力部46は、画像入力部が撮像した映像の上に、対象物識別部45が対象物の画像であるとして識別した時の対象物フィルタの外郭を、位置情報及び周辺領域位置情報から定まる位置に表示する。この対象物フィルタの外郭によって、対象物として識別した画像の領域を認識することができる。
The detection
次に、対象物周辺領域特徴計算部22が検出対象物である人の顔の周辺領域特徴パターンを抽出する方法について説明する。
Next, a method in which the object peripheral region
まず、周辺領域特徴パターンを抽出するためには、検出対象物である人の顔の特徴点を考察する必要がある。顔の特徴として着目すべき点は、目と眉が含まれる横長の矩形領域が暗く、その下の頬と鼻を含む横長の矩形領域が明るいという傾向である。この横長の矩形領域の大きさを規定して、横長の矩形領域がそれぞれ持つ平均輝度値の差を特徴量として抽出することができれば、これを周辺領域特徴パターン(両横長矩形領域の位置・大きさ及び平均輝度差)、すなわちフィルタとして、識別する画像が検出対象物である人の顔の画像であるか否かを識別することが可能となる。 First, in order to extract a peripheral region feature pattern, it is necessary to consider feature points of a human face that is a detection target. What should be noted as a feature of the face is that the horizontally long rectangular area including the eyes and eyebrows is dark, and the horizontally long rectangular area including the cheek and nose below it is bright. If the size of the horizontally long rectangular area is defined and the difference between the average luminance values of the horizontally long rectangular areas can be extracted as a feature amount, this can be extracted from the peripheral area feature pattern (position and size of both horizontally long rectangular areas). And the average luminance difference), that is, as a filter, it is possible to identify whether or not the image to be identified is an image of the face of a person who is the detection target.
上記の傾向に着目して、対象物周辺領域画像格納部21が格納するサンプル画像の外枠と同じ大きさの矩形(以下、外枠矩形という。)内に、上記顔の特徴点を反映した2つの横長矩形領域を規定したものを図5に示す。ここでは、外枠矩形が20×20ピクセルの大きさを持つものとする。
Focusing on the above trend, the facial feature points are reflected in a rectangle (hereinafter referred to as an outer frame rectangle) having the same size as the outer frame of the sample image stored in the object peripheral area
図5において、外枠矩形の左下の頂点を原点とした縦軸をY軸、横軸をX軸とする直交座標系を用いて、2つの横長矩形領域を規定している。なお、図5中で下側に位置する横長矩形領域を第1矩形領域、上側に位置する横長矩形領域を第2矩形領域とする。 In FIG. 5, two horizontally long rectangular regions are defined using an orthogonal coordinate system in which the vertical axis with the lower left vertex of the outer frame rectangle as the origin is the Y axis and the horizontal axis is the X axis. In FIG. 5, the horizontally long rectangular area located on the lower side is defined as a first rectangular area, and the horizontally elongated rectangular area located on the upper side is defined as a second rectangular area.
第1矩形領域は、その左下の点の座標を(X1,Y1)とし、縦N1、横M1の大きさを持つ矩形であるとして、パラメータを規定する。また、第2矩形領域の左下の点の座標を(X2,Y2)とし、縦N2、横M2の大きさを持つ矩形であるとして、パラメータを規定する。 The first rectangular area is defined as a rectangle having coordinates of the lower left point as (X1, Y1) and having a size of vertical N1 and horizontal M1. Further, the parameters are defined on the assumption that the coordinates of the lower left point of the second rectangular area are (X2, Y2), and the rectangle has a size of vertical N2 and horizontal M2.
なお、顔の左右の対称性を考慮すると、X1×2+M1=20、X2×2+M2=20の関係式が成り立つ。この対象性の考慮により、第1矩形領域と第2矩形領域が採りうる形態の数を減らすことができるので、以下で説明する計算の時間を削減することができる。 In consideration of the symmetry of the left and right faces, the relational expressions X1 × 2 + M1 = 20 and X2 × 2 + M2 = 20 hold. Considering this objectivity, the number of forms that can be taken by the first rectangular area and the second rectangular area can be reduced, so that the calculation time described below can be reduced.
まず、上記のパラメータで規定される2つの横長矩形領域のすべての組み合わせの各々について、画像サンプルに含まれる真画像サンプル(顔の画像サンプルで左右にオフセットさせたものを含む)と偽画像サンプル(顔以外の画像サンプル)とを最もよく分離することができる2つの横長矩形領域の平均輝度差を求める。 First, for each of all combinations of two horizontally long rectangular areas defined by the above parameters, a true image sample (including a face image sample that is offset to the left and right) and a fake image sample ( An average luminance difference between two horizontally long rectangular regions that can best separate the image sample other than the face) is obtained.
ここでいう「最もよく分離することができる」とは、真画像サンプルの画像を顔の画像であると正確に識別し、偽画像サンプルの画像を顔の画像であると誤って識別しないことである。なお、ここで使用する真画像サンプルの画像は、図2に示したような対象物周辺領域画像格納部21が格納するサンプル画像(オフセットさせた画像を含む。)である。
Here, “best separation” means that the true image sample image is correctly identified as a face image, and the false image sample image is not mistakenly identified as a face image. is there. Note that the true image sample image used here is a sample image (including an offset image) stored in the object peripheral region
このようにして、2つの横長矩形領域のすべての組み合わせの各々についての最も適切な両横長矩形領域の平均輝度差(最適平均輝度差という。)を求めることができる。そして、2つの横長矩形領域のすべての組み合わせの各々に、各々の最適平均輝度差を適用して、真画像サンプル(顔の画像サンプルで左右にオフセットさせたものを含む。)と偽画像サンプル(顔以外の画像サンプル)との分離を試み、最もよく分離することができる2つの横長矩形領域の組み合わせを人の顔の周辺領域特徴パターンとする。この組み合わせの最適平均輝度差は、対象物周辺領域識別部43が顔周辺領域か否かを識別する際に用いるしきい値となる。
In this way, it is possible to obtain the most appropriate average luminance difference (referred to as the optimal average luminance difference) between the two horizontally long rectangular regions for each of all combinations of the two horizontally long rectangular regions. Then, each of the combinations of the two horizontally long rectangular areas is applied with the optimum average luminance difference of each of them to include a true image sample (including a face image sample that is offset left and right) and a fake image sample ( A combination of two horizontally long rectangular areas that can be best separated is used as a peripheral area feature pattern of a human face. The optimum average luminance difference of this combination is a threshold value used when the object peripheral
なお、ここでは、両横長矩形領域の平均輝度差を利用するケースについて説明したが、これに限定されるものではなく、両横長矩形領域の輝度比など両横長矩形領域の輝度の関係を利用することができる。 In addition, although the case where the average brightness difference between both horizontally long rectangular areas is used has been described here, the present invention is not limited to this, and the relationship between the brightness of both horizontally long rectangular areas such as the brightness ratio of both horizontally long rectangular areas is used. be able to.
対象物周辺領域特徴計算部22は、この周辺領域特徴パターンを対象物周辺領域特徴辞書に出力する。このような方法で得られた周辺領域特徴パターンの両横長矩形領域の位置・大きさに関する一例を図6に示す。この周辺領域特徴パターンは、どのようなサンプルを用意するかによって多少相違が生じるが、その形態の傾向は共通する。
The object peripheral area
なお、対象物特徴計算部32が行う検出対象物の対象物特徴パターン計算方法については、従来の技術をそのまま利用することができる。例えば、上述の背景技術の欄で触れた特許文献1のような対象物特徴パターンの抽出方法をそのまま利用することができる。
In addition, about the target object feature pattern calculation method of the detection target object which the target object
次に、対象物周辺領域識別部43が行う対象物の周辺領域であるか否かの識別方法について説明する。
Next, a method for identifying whether or not the target object peripheral
対象物周辺領域識別部43は、周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像に、上述の対象物周辺領域特徴計算部22により求められた対象物の周辺領域特徴パターンをフィルタとして適用し、2つの横長矩形領域に対応する画像の平均輝度差を算出し、その特徴パターンに対応するしきい値と比較する。
The target object peripheral
比較の結果、平均輝度差がしきい値より大きい時には、対象物周辺領域識別部43は、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部44に出力する。
As a result of the comparison, when the average luminance difference is larger than the threshold value, the object peripheral
なお、対象物識別部45が行う対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別方法は、使用するフィルタが相違するのみで、基本的に対象物周辺領域識別部43が行う対象物の周辺領域であるか否かの識別方法と同様である。
Note that the filter used is different in the method of identifying whether or not the image represented by the peripheral area partial image information input from the object detection
次に、対象物検出装置10のオンライン実行環境系における処理動作の流れについて図7を参照して説明する。
Next, the flow of processing operations in the online execution environment system of the
図7は、オンライン実行環境系における処理動作の流れを示したフロー図である。 FIG. 7 is a flowchart showing the flow of processing operations in the online execution environment system.
まず、ST701で、画像入力処理を行う。すなわち、画像入力部41は、撮像した検出対象物を含む映像を周辺領域検出用ウィンドウ指定部42へ入力する。
First, in ST701, an image input process is performed. That is, the
そして、ST702で、対象物周辺領域の識別処理を行う。 In ST702, an object peripheral area identification process is performed.
すなわち、周辺領域検出用ウィンドウ指定部42は、所定の大きさを持つ初期ウィンドウを少しずつ移動させながら、画像入力部41により入力された画像の全領域を指定し、指定した領域の画像情報である部分領域画像情報を対象物周辺領域識別部43に出力する。
That is, the surrounding area detection
対象物周辺領域識別部43は、対象物周辺領域特徴辞書23に格納されているフィルタを用いて、周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行う。
The object surrounding
そして、識別結果が対象物の周辺領域であることを示す時には、対象物周辺領域識別部43は、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部44に出力する。
Then, when the identification result indicates that the region is the peripheral region of the target, the target peripheral
次に、ST703で、対象物画像の識別処理を行う。 Next, in ST703, an object image identification process is performed.
すなわち、対象物検出用ウィンドウ指定部44は、所定の大きさを持つ対象物検出初期ウィンドウを移動させながら、対象物周辺領域識別部43が対象物の周辺領域であると識別した周辺領域画像情報で表される画像の全領域を指定し、指定した領域の周辺領域部分画像情報を対象物識別部45に出力する。
That is, the object detection
対象物識別部45は、対象物特徴辞書33に格納されている対象物フィルタを用いて、対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行う。
The
次に、ST704で、対象物領域の特定処理を行う。 Next, in ST704, an object area specifying process is performed.
すなわち、対象物識別部45は、識別結果が対象物の画像であることを示す時には、その周辺領域部分画像情報を対象物画像情報として、検出結果出力部に出力する。
That is, when the identification result indicates that the identification result is an image of the target, the target
そして、検出結果出力部46は、画像入力部が撮像した映像の上に、対象物識別部45が対象物の画像であるとして識別した時の対象物フィルタの外郭を表示して対象物の画像を特定する。この対象物フィルタの外郭によって、対象物として識別した画像の領域を認識することができる。
Then, the detection
以上のように本実施の形態によれば、オフセットさせた画像を含む画像サンプルから対象物周辺領域特徴計算部22が抽出した周辺領域特徴パターンをフィルタとして用いて、対象物周辺領域識別部43が周辺領域検出用ウィンドウ指定部42から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行うので、周辺領域検出用ウィンドウ指定部42はオフセットの大きさに対応する間隔ごとにスキャンすることができるため、高速に対象物画像の周辺領域を探し出すことができる。
As described above, according to the present embodiment, the object peripheral
また、対象物周辺領域識別部43によって探し出された対象物画像の周辺領域のみについて、対象物識別部45が対象物検出用ウィンドウ指定部44から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行うので、対象物識別部45が対象物の画像を探し出す領域が限定されるため、高速に対象物の画像を探し出すことができる。この結果、対象物検出装置10全体の対象物検出処理の処理量を低減し、高速化することができる。
In addition, for only the peripheral region of the target image found by the target peripheral
換言すれば、対象物の検出過程に、対象物識別部45が対象物を識別する過程の前段階として、対象物周辺領域識別部43が対象物の周辺領域を識別する過程を設け、対象物周辺領域識別部43が対象物の存在する可能性の高い領域を粗く検出した後に、対象物識別部45がその領域内のみについて対象物の画像が存在するか否かを精査するようにしたので、対象物周辺領域識別部43が高速に探し出した対象物画像の周辺領域にサーチ範囲を限定して、対象物識別部45が対象物の画像をサーチするため、対象物検出装置10全体の対象物検出処理の処理量を低減し、高速化することができる。
In other words, in the object detection process, as a pre-stage of the process in which the
また、対象物の検出過程を対象物周辺領域識別部43が対象物の周辺領域を粗く検出する過程と対象物識別部45がその領域内のみについて対象物の画像が存在するか否かを精査する過程の2段階としたので、対象物周辺領域識別部43による対象物の周辺領域の検出を粗くしても、対象物の画像が存在するか否かを精査する過程の1段階のみにより対象物の画像を検出する従来の検出装置に比べて、検出に係る時間が短い上に、検出精度は同程度期待することができる。
In addition, the object detection process for the object surrounding
本発明は、検出精度を低下させることなく対象物検出処理の処理量を低減し、高速化を図ることができる対象物検出装置及びその方法として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as an object detection apparatus and method that can reduce the processing amount of the object detection process and reduce the processing speed without reducing the detection accuracy.
10 対象物検出装置
21 対象物周辺領域画像格納部
22 対象物周辺領域特徴計算部
23 対象物周辺領域特徴辞書
31 対象物画像格納部
32 対象物特徴計算部
33 対象物特徴辞書
41 画像入力部
42 周辺領域検出用ウィンドウ指定部
43 対象物周辺領域識別部
44 対象物検出用ウィンドウ指定部
45 対象物識別部
46 検出結果出力部
DESCRIPTION OF
Claims (6)
第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出する対象物周辺領域検出手段と、
第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出する対象物検出手段と、
を具備することを特徴とする対象物検出装置。 An object detection device for detecting an image area of a detection object included in an image,
An object surrounding area detecting means for detecting a surrounding image area of the detection object using a first detection filter;
Object detection means for detecting an image of the detection object for only the peripheral image region of the detection object detected using the second detection filter;
An object detection apparatus comprising:
目と眉とを含む領域に対応する第1の矩形領域と、
前記第1の矩形領域の下方に位置し、頬と鼻とを含む領域に対応する第2の矩形領域と、
を具備し、
前記第1の矩形領域及び前記第2の矩形領域の大きさと、
前記第1の矩形領域及び前記第2の矩形領域の位置と、
前記検出対象物が含まれる画像に、両矩形領域を適用した時の両領域内の輝度の関係と、
をパラメータとして定義されることを特徴とする請求項1又は請求項2記載の対象物検出装置。 When the detection target is a human face, the first detection filter is a feature pattern of the detection target,
A first rectangular area corresponding to an area including eyes and eyebrows;
A second rectangular area located below the first rectangular area and corresponding to an area including a cheek and a nose;
Comprising
The size of the first rectangular area and the second rectangular area;
Positions of the first rectangular area and the second rectangular area;
The relationship between the luminance in both areas when both rectangular areas are applied to the image including the detection object;
The object detection device according to claim 1, wherein the object detection device is defined as a parameter.
前記領域指定手段は、前記画像サンプルのオフセット量に対応した間隔で、前記領域を指定することを特徴とする請求項1から請求項3のいずれか一項に記載の対象物検出装置。 In the image including the detection object, comprising an area designating unit for designating an area to which the first detection filter is applied,
4. The object detection apparatus according to claim 1, wherein the area designating unit designates the area at an interval corresponding to an offset amount of the image sample. 5.
第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、
第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、
を具備することを特徴とする対象物検出方法。 An object detection method for detecting an image area of a detection object included in an image, comprising:
Detecting a peripheral image region of the detection object using a first detection filter;
Detecting the image of the detection object only for the peripheral image area of the detected detection object using a second detection filter;
The object detection method characterized by comprising.
第1の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、
第2の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、
をコンピュータに実行させることを特徴とする対象物検出プログラム。 A program for detecting an image area of a detection target included in an image,
Detecting a peripheral image region of the detection object using a first detection filter;
Detecting an image of the detection object only for the peripheral image region of the detected detection object using a second detection filter;
An object detection program that causes a computer to execute the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004020423A JP2005215899A (en) | 2004-01-28 | 2004-01-28 | Object detector and its method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004020423A JP2005215899A (en) | 2004-01-28 | 2004-01-28 | Object detector and its method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005215899A true JP2005215899A (en) | 2005-08-11 |
Family
ID=34904345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004020423A Pending JP2005215899A (en) | 2004-01-28 | 2004-01-28 | Object detector and its method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005215899A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058722A (en) * | 2005-08-26 | 2007-03-08 | Fujifilm Corp | Learning method for discriminator, object discrimination apparatus, and program |
JP2009080522A (en) * | 2007-09-25 | 2009-04-16 | Mitsubishi Electric Corp | Object image recognition device |
JP2010092162A (en) * | 2008-10-06 | 2010-04-22 | Canon Inc | Image processor and image processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1196373A (en) * | 1997-09-22 | 1999-04-09 | Toshiba Corp | Image pickup device |
JPH11306348A (en) * | 1998-04-21 | 1999-11-05 | Toshiba Tec Corp | Method and device for object detection |
-
2004
- 2004-01-28 JP JP2004020423A patent/JP2005215899A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1196373A (en) * | 1997-09-22 | 1999-04-09 | Toshiba Corp | Image pickup device |
JPH11306348A (en) * | 1998-04-21 | 1999-11-05 | Toshiba Tec Corp | Method and device for object detection |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058722A (en) * | 2005-08-26 | 2007-03-08 | Fujifilm Corp | Learning method for discriminator, object discrimination apparatus, and program |
JP2009080522A (en) * | 2007-09-25 | 2009-04-16 | Mitsubishi Electric Corp | Object image recognition device |
JP2010092162A (en) * | 2008-10-06 | 2010-04-22 | Canon Inc | Image processor and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7376270B2 (en) | Detecting human faces and detecting red eyes | |
JP4307496B2 (en) | Facial part detection device and program | |
JP5671928B2 (en) | Learning device, learning method, identification device, identification method, and program | |
JP2012238175A (en) | Information processing device, information processing method, and program | |
JP4206053B2 (en) | User interface device and user interface program | |
JP2010262601A (en) | Pattern recognition system and pattern recognition method | |
JP2005309746A (en) | Method and program for tracking moving body, recording medium therefor, and moving body tracking device | |
JP5489340B2 (en) | Face masking apparatus and method | |
JP2013215549A (en) | Image processing device, image processing program, and image processing method | |
JP2010057105A (en) | Three-dimensional object tracking method and system | |
JP2007025902A (en) | Image processor and image processing method | |
JP2007025900A (en) | Image processor and image processing method | |
JP2010152800A (en) | Image processing apparatus, image processing method and program | |
CN107958202B (en) | Human body detection apparatus, control method of human body detection apparatus, and storage medium | |
JP2007219603A (en) | Person tracking device, person tracking method and person tracking program | |
JP4708835B2 (en) | Face detection device, face detection method, and face detection program | |
JP2006323779A (en) | Image processing method and device | |
JP2016167128A (en) | Information processing apparatus, information processing method, and program | |
JP2007026308A (en) | Image processing method and image processor | |
US10140509B2 (en) | Information processing for detection and distance calculation of a specific object in captured images | |
JP5217917B2 (en) | Object detection and tracking device, object detection and tracking method, and object detection and tracking program | |
JP2005215899A (en) | Object detector and its method | |
JP2008211534A (en) | Face detecting device | |
JP4775599B2 (en) | Eye position detection method | |
JP2013029996A (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100316 |