JP2006092151A - Device, method and program for detecting area - Google Patents
Device, method and program for detecting area Download PDFInfo
- Publication number
- JP2006092151A JP2006092151A JP2004275390A JP2004275390A JP2006092151A JP 2006092151 A JP2006092151 A JP 2006092151A JP 2004275390 A JP2004275390 A JP 2004275390A JP 2004275390 A JP2004275390 A JP 2004275390A JP 2006092151 A JP2006092151 A JP 2006092151A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- space
- face
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、入力された画像から特定のオブジェクトに関する画像領域を検出する領域検出技術に関する。 The present invention relates to an area detection technique for detecting an image area related to a specific object from an input image.
様々な背景を持つ画像から特定物体(特定のオブジェクト)を含む領域を検出する検出方法については、例えば特許文献1に開示されている。この検出方法では、画像内に規定される矩形領域(ウィンドウ)を走査して画面全体に移動させつつ、ウィンドウで順次に切出される画像領域が特定物体を含むものであるかが判定される。この方法を、以下で具体的に説明する。
A detection method for detecting a region including a specific object (specific object) from images having various backgrounds is disclosed in
まず、ウィンドウ内の各ピクセルがベクトル化され、主成分空間に投影される。そして、主成分空間までの距離(DFFS:Distance From Feature Space)と主成分空間内での距離(DIFS:Distance In Feature Space)とを演算し、この演算結果に基づき特定物体を含む画像領域か否かを判断する。以上のように主成分空間への射影を行えば、単純なテンプレートマッチングによる検出方法に比べて、ロバストに物体を抽出できる。 First, each pixel in the window is vectorized and projected onto the principal component space. Then, a distance to the principal component space (DFFS: Distance From Feature Space) and a distance in the principal component space (DIFS: Distance In Feature Space) are calculated, and whether or not the image area includes a specific object based on the calculation result. Determine whether. By projecting onto the principal component space as described above, an object can be extracted more robustly than the detection method using simple template matching.
上記の主成分空間については、あらかじめ多数収集した特定物体の画像サンプル群に関して主成分分析を行い、サンプル群に対するその空間への平均二乗残差が最小になるように構成された部分空間となっている。ここで、一般に特定物体の画像上での見え方は、例えば人の顔であれば個人や表情によって顔のパターンが変化するなど、様々な要因で変動するため、特定物体の検出においては、パターン変動の各モードに対応した多次元の主成分空間が抽出されることとなる。 The above principal component space is a partial space configured so that a principal component analysis is performed on a group of image samples of a specific object collected in advance, and the mean square residual to the space for the sample group is minimized. Yes. Here, in general, the appearance of a specific object on an image varies depending on various factors, such as a face pattern that changes depending on an individual or facial expression if it is a human face. A multidimensional principal component space corresponding to each mode of variation is extracted.
しかしながら、上記の特許文献1の技術では、画像全体を走査するウィンドウで順次に切出される各画像領域に関して、多次元の主成分空間全体への射影が行われるため、演算時間が長くなるという問題がある。
However, in the technique of the above-mentioned
本発明は、上記課題に鑑みてなされたものであり、画像サンプル集合から得られた部分空間を利用して入力画像から特定オブジェクトの画像領域を検出する検出処理を高速化できる領域検出技術を提供することを目的とする。 The present invention has been made in view of the above problems, and provides an area detection technique capable of speeding up a detection process for detecting an image area of a specific object from an input image using a partial space obtained from a set of image samples. The purpose is to do.
上記の課題を解決するため、請求項1の発明は、入力された画像から特定のオブジェクトに関する画像領域を検出する領域検出装置であって、(a)前記画像に内包される検出エリアに対応した画像領域を、前記画像から抽出する抽出手段と、(b)前記抽出手段で抽出された画像領域に関する特定の数値情報をベクトル化し、前記特定のオブジェクトに係る画像サンプル集合から得られた部分空間を張る複数の基底ベクトルのうち1の基底ベクトルに射影する射影手段と、(c)前記射影手段で射影された結果に基づき、前記画像領域が前記特定のオブジェクトを含む領域であるか否かを判定する判定手段とを備える。
In order to solve the above problems, the invention of
また、請求項2の発明は、請求項1の発明に係る領域検出装置において、前記部分空間は、前記特定のオブジェクトの特徴を表現した特徴空間の直交補空間である。 According to a second aspect of the present invention, in the region detection device according to the first aspect of the invention, the partial space is an orthogonal complementary space of a feature space that represents a feature of the specific object.
また、請求項3の発明は、請求項2の発明に係る領域検出装置において、前記射影手段は、(b-1)前記直交補空間の次元数が前記特徴空間の次元数より小さい場合に、前記直交補空間に関する1の基底ベクトルに射影する手段を有する。 Further, the invention of claim 3 is the area detecting apparatus according to claim 2, wherein the projecting means is (b-1) when the number of dimensions of the orthogonal complement space is smaller than the number of dimensions of the feature space, Means for projecting to one basis vector relating to the orthogonal complement space;
また、請求項4の発明は、請求項1ないし請求項3のいずれかの発明に係る領域検出装置において、前記射影手段は、(b-2)前記画像サンプル集合の各サンプルを前記複数の基底ベクトルそれぞれに射影した場合において分散が大きくなる基底ベクトルの順に、各基底ベクトルに射影する手段とを有する。 According to a fourth aspect of the present invention, in the region detection apparatus according to any one of the first to third aspects of the present invention, the projection means includes (b-2) assigning each sample of the image sample set to the plurality of bases. Means for projecting to each basis vector in the order of basis vectors having a large variance when projected onto each vector.
また、請求項5の発明は、領域検出装置に内蔵されたコンピュータにおいて実行されることにより、当該領域検出装置を請求項1ないし請求項4のいずれかの発明に係る領域検出装置として機能させるプログラムである。 According to a fifth aspect of the present invention, there is provided a program for causing a region detection device to function as the region detection device according to any one of the first to fourth aspects by being executed by a computer incorporated in the region detection device. It is.
また、請求項6の発明は、入力された画像から特定のオブジェクトに関する画像領域を検出する領域検出方法であって、(a)前記画像に内包される検出エリアに対応した画像領域を、前記画像から抽出する抽出工程と、(b)前記抽出工程で抽出された画像領域に関する特定の数値情報をベクトル化し、前記特定のオブジェクトに係る画像サンプル集合から得られた部分空間を張る複数の基底ベクトルのうち1の基底ベクトルに射影する射影工程と、(c)前記射影工程で射影された結果に基づき、前記画像領域が前記特定のオブジェクトを含む領域であるか否かを判定する判定工程とを備える。 The invention according to claim 6 is an area detection method for detecting an image area related to a specific object from an input image, wherein (a) an image area corresponding to a detection area included in the image is defined as the image area. (B) vectorizing specific numerical information related to the image area extracted in the extraction step, and a plurality of base vectors extending a subspace obtained from the image sample set related to the specific object A projection step of projecting onto one of the basis vectors, and (c) a determination step of determining whether the image region is a region including the specific object based on a result of projection in the projection step. .
請求項1ないし請求項6の発明によれば、画像から抽出された画像領域に関する特定の数値情報をベクトル化し、特定のオブジェクトに係る画像サンプル集合から得られた部分空間を張る複数の基底ベクトルのうち1の基底ベクトルに射影して、この射影結果に基づき画像領域が特定のオブジェクトを含む領域であるか否かを判定する。その結果、特定のオブジェクトに関する検出処理を高速化できる。 According to the first to sixth aspects of the present invention, a plurality of base vectors that create a vector of specific numerical information related to an image region extracted from an image and span a partial space obtained from a set of image samples related to a specific object. Projection is performed on one of the basis vectors, and based on the projection result, it is determined whether or not the image region is a region including a specific object. As a result, it is possible to speed up the detection process for a specific object.
特に、請求項2の発明においては、部分空間が特定のオブジェクトの特徴を表現した特徴空間の直交補空間であるため、特定のオブジェクトを含まない画像領域に関する判定処理を高速化できる。 In particular, according to the second aspect of the present invention, since the subspace is an orthogonal complementary space of the feature space that expresses the feature of the specific object, it is possible to speed up the determination process for the image region that does not include the specific object.
また、請求項3の発明においては、直交補空間の次元数が特徴空間の次元数より小さい場合に直交補空間に関する1の基底ベクトルに射影するため、より高速に検出処理を行える。 According to the third aspect of the present invention, when the number of dimensions of the orthogonal complement space is smaller than the number of dimensions of the feature space, projection is performed on one basis vector related to the orthogonal complement space, so that detection processing can be performed at higher speed.
また、請求項4の発明においては、画像サンプル集合の各サンプルを複数の基底ベクトルそれぞれに射影した場合において分散が大きくなる基底ベクトルの順に、各基底ベクトルに射影するため、特定のオブジェクトか否かの判定処理を効率良く行える。 Further, in the invention of claim 4, since each sample of the image sample set is projected onto each of the plurality of basis vectors, the basis vectors are projected in the order of the basis vectors in which the variance becomes large. Can be efficiently performed.
<第1実施形態>
<領域検出装置の要部構成>
図1は、本発明の第1実施形態に係る領域検出装置1Aの要部構成を示す概略図である。
<First Embodiment>
<Main part configuration of area detection device>
FIG. 1 is a schematic diagram showing the main configuration of an
領域検出装置1Aは、例えばパーソナルコンピュータとして構成されており、顔などの特定オブジェクトに関する画像領域を入力画像から検出できる(後で詳述)。この領域検出装置1Aは、箱状の形状を有する処理部10と、操作部11と、表示部12とを備えている。
The
処理部10の前面には、光ディスク91を挿入するドライブ101と、メモリカード92を挿入するドライブ102とが設けられている。
A
操作部11は、マウス111とキーボード112とを有しており、ユーザからの領域検出装置1Aに対する操作入力を受付ける。
The
表示部12は、例えばCRTで構成され、表示手段として機能する。
The
図2は、領域検出装置1Aの機能ブロックを示す図である。
FIG. 2 is a diagram illustrating functional blocks of the
領域検出装置1Aの処理部10は、上記の操作部11および表示部12に接続する入出力I/F13と、入出力I/F13に伝送可能に接続する制御部14とを備えている。また、処理部10は、制御部14に伝送可能に接続する記憶部15と、入出力I/F16と、顔領域検索部17とを備えている。
The
入出力I/F13は、操作部11および表示部12と制御部14との間でデータの送受をコントロールするためのインターフェースである。
The input / output I /
記憶部15は、例えばハードディスクとして構成されており、顔領域の検出を行うための領域検出プログラムなどを格納する。 The storage unit 15 is configured as a hard disk, for example, and stores an area detection program for detecting a face area.
入出力I/F16は、ドライブ101、102を介して、記録媒体である光ディスク91、メモリカード92に対するデータの入出力を行うためのインターフェースである。
The input / output I /
顔領域検索部17は、入力画像から顔領域(の候補)を検出するための部位である。
The face
制御部14は、コンピュータとして働くCPU141およびメモリ142を有しており、領域検出装置1Aの動作を統括制御する部位である。この制御部14で記憶部15内の領域検出プログラムが実行されることにより、顔領域検索部17などを制御して入力画像に関する顔検出を行える。
The
制御部14のメモリ142には、光ディスク91に記録されている顔の領域検出プログラムなどのプログラムデータを入出力I/F16を介して格納することができる。これにより、この格納したプログラムを領域検出装置1Aの動作に反映できる。
Program data such as a face area detection program recorded on the
<顔領域検出について>
図3は、顔領域の検出を説明するための図である。
<About face area detection>
FIG. 3 is a diagram for explaining detection of a face area.
まず、画像入力部21として機能する入出力I/F16を介して、例えばデジタルカメラで撮影された画像が記録されたメモリカード92から、領域検出装置1Aに画像を入力する。
First, an image is input to the
そして、顔領域検出部17の画像領域切出し部171において、入力画像GIから、矢印SNのようにラスタスキャンされるウィンドウWDに対応した画像領域が切出される(図4参照)。
Then, the image
次に、前処理部172では、画像領域切出し部171で切出された画像領域に対して、マスキング処理を施すとともに、非顔領域の判別や輝度の正規化などの処理が行われる。
Next, the
顔領域検索部17の識別部173Aでは、ウィンドウ内の画像領域のピクセルをベクトル化し、顔の特徴を表現した特徴空間に射影して顔領域であるか否かの判断が行われる。この顔領域の判定では、予め多数の顔画像サンプルを用いた統計的な学習により導き出された特徴空間(部分空間)を張る基底ベクトルやDFFS・DIFSの閾値が記憶される識別辞書174が参照される。
The
後処理部22では、顔領域検索部17で検出された入力画像内の顔候補の位置と大きさとについて、重複するものを統合し、最終的な検出枠FR(図4参照)が生成される。そして、後処理部22での最終的な結果は、表示部12に表示されることとなる。
The
<領域検出装置1Aの動作>
図5は、領域検出装置1Aの基本的な動作を示すフローチャートである。本動作は、制御部14において記憶部15内の領域検出プログラムが実行されることにより実施される。
<Operation of
FIG. 5 is a flowchart showing the basic operation of the
まず、顔領域を検出したい画像が格納されるメモリカード92をドライブ102に装着して画像読出しを行うことで、画像入力部21に画像を入力する(ステップS1)。
First, an image is input to the
次に、ステップS2では、画像領域切出し部171において、入力画像内に顔検出エリアに相当するウィンドウ領域を設定する。
Next, in step S2, the image
具体的には、図4に示すように、入力画像GIに内包される例えば20×20ピクセルの大きさのウィンドウWDをラスタ走査し、入力画像GIの全体にわたってウィンドウWDの大きさに対応した画像領域を入力画像GIから順次に切出すこととなる。 Specifically, as shown in FIG. 4, raster scanning is performed on a window WD having a size of, for example, 20 × 20 pixels included in the input image GI, and an image corresponding to the size of the window WD over the entire input image GI. The region is sequentially cut out from the input image GI.
ステップS3では、前処理部172において、顔の特徴と関係がない背景の影響を除くために、ウィンドウWDによって抽出された画像領域の4隅などへのマスキング処理を行う。
In step S3, the
ステップS4では、前処理部172において、ステップS3で処理された画像領域に対し、顔でない非顔領域であるか否かの判別を行う。この非顔領域の判別については、例えば特開2003−22441号公報(「領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置」)に記載される判別方法を利用し、低輝度で暗い画像領域などを非顔領域と判断する。ここで、非顔領域とされた画像領域は、破棄されることとなる。
In step S4, the
ステップS5では、前処理部172において、ステップS4の動作により非顔領域として破棄されなかった画像領域に対して輝度の正規化処理を行う。例えば、画像領域内の輝度勾配を補正する平面当てはめ正規化や、全ての輝度レベルのところに同じ数の画素を割り当てるように輝度ヒストグラムを変換するヒストグラム平坦化処理が行われる。
In step S5, the
ステップS6では、識別部173Aにおいて、ステップS5の動作により平滑化された画像領域内の各ピクセルの輝度値(数値情報)をベクトル化し、特徴空間として主成分空間を利用した顔領域の判定処理を行う(後で詳述)。
In step S6, the
ステップS7では、入力画像GIの全体に対してウィンドウWDのスキャンが完了したかを判定する。ここで、スキャンが完了した場合には、ステップS8に進み、完了していない場合には、ウィンドウWDで切出す次の画像領域に対しての顔検出を行うため、ステップS2に戻る。 In step S7, it is determined whether scanning of the window WD has been completed for the entire input image GI. If the scan is completed, the process proceeds to step S8. If the scan is not completed, the process returns to step S2 in order to perform face detection for the next image area cut out by the window WD.
ステップS8では、ステップS6において顔が検出された顔領域の候補に対し、検出枠の決定を後処理部22で行う。具体的には、位置が近い複数の顔領域候補は同じ顔が検出されているとして、これらの位置および大きさを平均化し、一つの検出枠に統合する。また、互いに重なる顔領域候補については、DFFSやDIFSに基づいて1つの検出枠を選択し、他を誤検出とみなして削除する。
In step S8, the
ステップS9では、ステップS8で決定された検出枠を、例えば図4の検出枠FRのように顔領域の検出結果として表示部12に表示する。
In step S9, the detection frame determined in step S8 is displayed on the
図6は、上記のステップS6に対応し、特徴空間での判定動作を示すフローチャートである。 FIG. 6 is a flowchart corresponding to the above step S6 and showing the determination operation in the feature space.
ステップS11では、ステップS5で輝度の正規化が行われた画像領域における各画素の輝度値をベクトル化する。ここでは、画像領域内の各画素を例えばラスタ走査の順番に並べたベクトルが定義される。 In step S11, the luminance value of each pixel in the image area in which the luminance is normalized in step S5 is vectorized. Here, a vector is defined in which each pixel in the image area is arranged in the order of raster scanning, for example.
ステップS12では、基底ベクトルの基底番号iに1を代入する。この基底ベクトルの番号について、簡単に説明する。 In step S12, 1 is substituted into the basis number i of the basis vector. The basis vector number will be briefly described.
顔の画像サンプル集合に対して主成分分析を行って、主成分空間で正規直交化されたn個の基底ベクトルの組を{e1,e2,・・・,en}と定義する。これらの基底ベクトルについては、共分散行列における固有値が大きい順(降順)、すなわち顔の画像サンプル集合の各サンプルをベクトル化しn個の基底ベクトルそれぞれに射影した場合において分散が大きくなる順にソートして、基底番号が付されている。 A principal component analysis is performed on the face image sample set, and a set of n basis vectors orthonormalized in the principal component space is defined as {e 1 , e 2 ,..., E n }. For these basis vectors, the eigenvalues in the covariance matrix are sorted in descending order (descending order), that is, the samples of the face image sample set are vectorized and projected onto each of the n basis vectors in order of increasing variance. The base number is attached.
ステップS13では、i番目までの基底ベクトルeiに関するDIFSの累積計算を行う。 In step S13, the cumulative calculation of DIFS for the i-th basis vector e i is performed.
例えば、基底番号i=1の場合では、e1軸に対してのDIFSであるsubDIFS(1)が、次の式(1)のようにl2ノルムの二乗として算出される。 For example, when the base number i = 1, sub DIFS (1), which is a DIFS with respect to the e 1 axis, is calculated as the square of l 2 norm as shown in the following equation (1).
この式(1)において、(,)は内積を示し、x0は平均ベクトルを示している。なお、以降の各式においても同様である。 In this equation (1), (,) represents an inner product, and x 0 represents an average vector. The same applies to the following equations.
上式(1)のsubDIFS(1)については、図7の概念図に示すように、ベクトル(x−x0)を基底ベクトルe1で規定される第1主成分方向に投影した場合の距離を表すこととなる。 For sub DIFS (1) in the above equation (1), as shown in the conceptual diagram of FIG. 7, when the vector (xx 0 ) is projected in the first principal component direction defined by the basis vector e 1 . It represents the distance.
ステップS14では、ステップS13で算出されたDIFSが所定の範囲内か否かを判定する。例えば、閾値εDIFSと比較され、この閾値εDIFSより大きいかが判断される。ここで、DIFSが所定の範囲内の場合には、ステップS15に進み、範囲外の場合には、画像領域が非顔領域であるとして、本サブルーチンを抜けステップS7に進む。 In step S14, it is determined whether the DIFS calculated in step S13 is within a predetermined range. For example, is compared with a threshold epsilon DIFS, or greater than the threshold epsilon DIFS is determined. If the DIFS is within the predetermined range, the process proceeds to step S15. If the DIFS is out of the range, the image area is determined to be a non-face area, and the process exits the subroutine and proceeds to step S7.
ステップS15では、i番目までの基底ベクトルeiに関するDFFSの累積計算を行う。 In step S15, the DFFS cumulative calculation for the i-th basis vector e i is performed.
例えば、基底番号i=1の場合では、e1軸に対してのDFFSであるsubDFFS(1)が、次の式(2)のようにl2ノルムの二乗として算出される。 For example, in the case of the base number i = 1, sub DFFS (1) which is DFFS with respect to the e 1 axis is calculated as the square of l 2 norm as shown in the following equation (2).
上式(2)のsubDFFS(1)については、図7の概念図に示すように、ベクトル(x−x0)と上記のsubDIFS(1)との差、つまり基底ベクトルe1で規定される第1主成分までの距離を表すこととなる。 As shown in the conceptual diagram of FIG. 7, the sub DFFS (1) of the above equation (2) is defined by the difference between the vector (x−x 0 ) and the above sub DIFS (1), that is, the basis vector e 1 . It represents the distance to the first principal component.
ステップS16では、ステップS15で算出されたDFFSが所定の範囲内か否かを判定する。例えば、閾値εDFFSと比較され、この閾値εDFFSより小さいかが判断される。ここで、DFFSが所定の範囲内の場合には、本サブルーチンを抜けてステップS7に進み、範囲外の場合には、ステップS17に進む。 In step S16, it is determined whether or not the DFFS calculated in step S15 is within a predetermined range. For example, it is compared with a threshold epsilon DFFS, if this threshold value epsilon DFFS smaller is judged. If DFFS is within the predetermined range, the process exits from this subroutine and proceeds to step S7. If it is out of the range, the process proceeds to step S17.
ステップS17では、主成分空間を張るn個全ての基底ベクトルに関する計算が終了したかを判定する。ここで、計算が終了した場合には、ウィンドウWDで切出された画像領域内で顔検出されないとして、本サブルーチンを抜けてステップS7に進み、終了していない場合には、ステップS18に進む。 In step S <b> 17, it is determined whether calculation for all n basis vectors spanning the principal component space has been completed. Here, if the calculation is completed, it is determined that no face is detected in the image area cut out in the window WD, and the process exits from this subroutine and proceeds to step S7. If not completed, the process proceeds to step S18.
ステップS18では、基底番号iに(i+1)を代入する。 In step S18, (i + 1) is substituted for the base number i.
上記のステップS13〜S16の動作により、主成分空間を張る複数の基底ベクトルのうち1の基底ベクトルに射影した結果に基づき画像領域が顔を含む領域であるか否かを判定する、具体的にはDIFSが所定の閾値を越える場合には顔が存在しないとして、DFFSが所定の閾値内にある場合には顔が存在するとして、他の基底ベクトルに関するDIFSおよびDFFSの演算を打切るため、処理の効率化を図れることとなる。 By the operations in steps S13 to S16 described above, it is determined whether or not the image region is a region including a face based on the result of projection onto one base vector among a plurality of base vectors spanning the principal component space. If the DIFS exceeds a predetermined threshold, the face is not present, and if the DFFS is within the predetermined threshold, the face is present. It will be possible to improve efficiency.
上記のステップS13およびステップS15について、基底番号がj(2≦j<n)までのDIFSおよびDFFSの累積計算に関して、以下で簡単な補足説明を行う。 With regard to the above steps S13 and S15, a simple supplementary explanation will be given below regarding cumulative calculation of DIFS and DFFS up to a base number j (2 ≦ j <n).
基底番号1〜jに対応する基底ベクトルの組を{e1,e2,・・・,ej}と規定し、それぞれのDIFS、DFFSを合計した部分DIFSをsDIFS(j)、部分DFFSをsDFFS(j)とする。 A set of basis vectors corresponding to the basis numbers 1 to j is defined as {e 1 , e 2 ,..., E j }, and a partial DIFS obtained by adding the respective DIFS and DFFS is defined as s DIFS (j) and partial DFFS. Is s DFFS (j).
ここで、基底ベクトルej+1までを考慮した部分DIFSであるsDIFS(j+1)は、次の式(3)で算出される。 Here, s DIFS (j + 1), which is a partial DIFS considering up to the base vector e j + 1 , is calculated by the following equation (3).
そして、上式(3)で算出された部分DIFSのsDIFS(j+1)は、ステップS14において、閾値εDIFSより大きいか否かが判定され、閾値εDIFSより大きい場合には、非顔領域として破棄されることとなる。 Then, the above equation (3) is calculated portion DIFS of s DIFS (j + 1) in step S14, it is determined whether the threshold epsilon DIFS greater is if the threshold epsilon DIFS greater than, non-face It will be discarded as an area.
一方、基底ベクトルej+1までを考慮した部分DFFSであるsDFFS(j+1)は、次の式(4)で算出される。 On the other hand, s DFFS (j + 1), which is a partial DFFS considering the basis vector e j + 1 , is calculated by the following equation (4).
そして、上式(4)で算出された部分DFFSのsDFFS(j+1)は、ステップS16において、閾値εDFFSより大きいか否かが判定され、閾値εDFFSより小さい場合には、顔領域として判断されることとなる。 Then, the above equation (4) is calculated portion DFFS of s DFFS (j + 1) in step S16, whether larger than the threshold epsilon DFFS is determined, if the threshold epsilon DFFS smaller than the face area It will be judged as.
以上の領域検出装置1Aの動作により、主成分空間を張る各基底ベクトルに対するDIFSおよびDFFSを順次に演算し、演算結果に応じて他の基底ベクトルの演算を打切るため、顔検出処理を高速化できる。また、画像サンプル集合の分散が大きい基底ベクトルの順に射影するため、顔領域か否かの判定処理を効率よく行える。
By the above-described operation of the
なお、領域検出装置1Aにおいては、顔の主成分空間を利用して顔検出を行うのは必須でなく、顔でないサンプル集合から得られた非顔の主成分空間を利用するようにしても良い。
In the
<第2実施形態>
本発明の第2実施形態に係る領域検出装置1Bについては、図1〜2に示す第1実施形態の領域検出装置1Aと類似の構成を有しているが、図3に示す識別部が異なっている。
Second Embodiment
The
すなわち、第2実施形態の識別部173Bは、次で説明する顔領域検出が行われる。
That is, the
<顔領域検出について>
顔サンプル集合に対する主成分分析を行った結果、特徴空間としての主成分空間の次元数が、その直交補空間の次元数より高い場合には、直交補空間に関する各基底ベクトルへの射影計算、つまりDIFSおよびDFFSの計算を行うことで、処理の高速化を図れるが、これを利用して領域検出装置1Bの識別部173Bでは、顔検出を行うこととする。上記の直交補空間について、具体的に説明する。
<About face area detection>
If the number of dimensions of the principal component space as the feature space is higher than the number of dimensions of the orthogonal complement space as a result of the principal component analysis on the face sample set, the projection calculation to each basis vector for the orthogonal complement space, that is, By calculating DIFS and DFFS, the processing speed can be increased. By using this, the
顔サンプル集合から得られた主成分空間をF、その直交補空間をF⊥とすれば、特徴ベクトルの原空間Xは、次の式(5)で表わされる。 If the principal component space obtained from the face sample set is F and its orthogonal complement space is F⊥, the original space X of the feature vector is expressed by the following equation (5).
上記2つの部分空間を基底ベクトルを用いて表現すると、次の式(6)のようになる。 When the two subspaces are expressed using basis vectors, the following equation (6) is obtained.
すなわち、基底番号1〜nの基底ベクトルによって主成分空間Fが規定され、基底番号(n+1)〜mの基底ベクトルによって直交補空間F⊥が規定される。ここで、mは、原空間Xの次元に対応した数となり、例えばウィンドウWD内の画像領域を構成する画素の数から、マスク領域内の画素数を引き算した数に相当する。
That is, the principal component space F is defined by the basis vectors of the
ここで、n>(m−n)の場合、つまり主成分空間の次元数が直交補空間の次元数に比べて大きい場合には、主成分空間への射影計算より直交補空間への射影計算の方が、計算量が小さくなる。このような場合には、識別部173Bにおいて直交補空間を利用した顔領域の検出を行う。
Here, when n> (mn), that is, when the number of dimensions of the principal component space is larger than the number of dimensions of the orthogonal complement space, the projection calculation to the orthogonal complement space is performed by the projection calculation to the principal component space. The amount of calculation is smaller. In such a case, the
以上の領域検出装置1Bの動作については、図5のフローチャートに示す第1実施形態の領域検出装置1Aと同様の動作を行う。ただし、ステップS6の動作については、以下で説明する動作が行われる。
About operation | movement of the above area |
図8は、領域検出装置1Bにおける特徴空間での判定動作を示すフローチャートである。なお、本動作の前提として主成分空間の次元が直交補空間の次元より高いものとする。
FIG. 8 is a flowchart showing the determination operation in the feature space in the
ステップS21では、図6のフローチャートに示すステップS11と同様の動作を行う。 In step S21, the same operation as step S11 shown in the flowchart of FIG. 6 is performed.
ステップS22では、基底ベクトルの基底番号iにn+1を代入する。これにより、主成分空間ではなく、直交補空間における第1番目の基底に対する射影計算を開始できる。 In step S22, n + 1 is substituted for the basis number i of the basis vector. As a result, it is possible to start projection calculation for the first basis in the orthogonal complement space, not in the principal component space.
直交補空間の基底ベクトルについては、第1実施形態と同様に、顔の各サンプルを射影した場合の分散が大きくなる順にソートし、基底番号が付されている。 As in the first embodiment, the base vectors of the orthogonal complement space are sorted in order of increasing variance when the face samples are projected, and are assigned base numbers.
ステップS23では、i番目までの基底ベクトルeiに関するDFFSの計算を行う。 In step S23, DFFS is calculated for the i-th basis vectors e i .
例えば、直交補空間の第1番目の基底に対応する基底番号i=n+1の場合では、en+1軸に対してのDFFSであるsubDFFS(n+1)が、次の式(7)のようにl2ノルムの二乗として算出される。 For example, in the case of the base number i = n + 1 corresponding to the first base of the orthogonal complement space, sub DFFS (n + 1) which is a DFFS with respect to the en + 1 axis is expressed by the following equation (7). Is calculated as the square of the l 2 norm.
ステップS24では、ステップS23で算出されたDFFSが所定の範囲内か否かを判定する。例えば、閾値εDFFSと比較され、この閾値εDFFSより大きいかが判断される。ここで、DFFSが所定の範囲内の場合には、ステップS25に進み、範囲外の場合には、非顔領域として本サブルーチンを抜けステップS7に進む。 In step S24, it is determined whether or not the DFFS calculated in step S23 is within a predetermined range. For example, it is compared with a threshold epsilon DFFS, greater than the threshold epsilon DFFS is determined. If DFFS is within the predetermined range, the process proceeds to step S25. If DFFS is out of the range, the process exits the subroutine as a non-face area and proceeds to step S7.
ステップS25では、i番目までの基底ベクトルeiに関するDIFSの計算を行う。 At step S25, the calculation of DIFS concerning the base vectors e i to i-th.
例えば、基底番号i=n+1の場合では、en+1軸に対してのDIFSであるsubDIFS(n+1)が、次の式(8)のようにl2ノルムの二乗として算出される。 For example, in the case of the base number i = n + 1, sub DIFS (n + 1), which is a DIFS for the e n + 1 axis, is calculated as the square of l 2 norm as in the following equation (8). .
ステップS26では、ステップS25で算出されたDIFSが所定の範囲内か否かを判定する。例えば、閾値εDIFSと比較され、この閾値εDIFSより小さいかが判断される。ここで、DIFSが所定の範囲内の場合には、ステップS27に進み、範囲外の場合には、本サブルーチンを抜けてステップS7に進む。 In step S26, it is determined whether or not the DIFS calculated in step S25 is within a predetermined range. For example, it is compared with a threshold epsilon DIFS, or the threshold epsilon DIFS smaller is judged. If the DIFS is within the predetermined range, the process proceeds to step S27. If the DIFS is out of the range, the process exits the subroutine and proceeds to step S7.
ステップS27では、直交補空間を張る(m−n)個全ての基底ベクトルに関する計算が終了したかを判定する。ここで、計算が終了した場合には、ウィンドウWDで切出された画像領域で顔が検出されたとして、本サブルーチンを抜けてステップS7に進み、終了していない場合には、ステップS28に進む。 In step S27, it is determined whether the calculation for all (m−n) basis vectors spanning the orthogonal complement space is completed. Here, when the calculation is completed, it is determined that a face is detected in the image region cut out by the window WD, and the process exits from this subroutine and proceeds to step S7. If not completed, the process proceeds to step S28. .
ステップS28では、基底番号iに(i+1)を代入する。 In step S28, (i + 1) is substituted for the base number i.
上記のステップS23〜S26の動作により、DIFSまたはDFFSが所定の閾値を超える場合には顔が存在しないと判断して、他の基底ベクトルに関するDIFSおよびDFFSの演算を打切るため、処理の効率化を図れることとなる。 As a result of the operations in steps S23 to S26 described above, when DIFS or DFFS exceeds a predetermined threshold, it is determined that no face exists, and the DIFS and DFFS operations relating to other basis vectors are terminated. It will be possible to plan.
上記のステップS23およびステップS25について、基底番号がj(n+2≦j<m)までのDFFSおよびDIFSの計算に関して、以下で簡単な補足説明を行う。 With respect to the above steps S23 and S25, a simple supplementary explanation will be given below regarding the calculation of DFFS and DIFS up to the base number j (n + 2 ≦ j <m).
基底番号(n+1)〜jに対応する基底ベクトルの組を{en+1,en+2,・・・,ej}と規定し、それぞれのDFFS、DIFSを合計した部分DFFSをsDFFS(j)、部分DIFSをsDIFS(j)とする。 A set of basis vectors corresponding to the basis numbers (n + 1) to j is defined as {e n + 1 , e n + 2 ,..., E j }, and a partial DFFS obtained by adding the respective DFFSs and DIFSs is defined as s DFFS. (j), the partial DIFS is s DIFS (j).
ここで、基底ベクトルej+1までを考慮した部分DFFSであるsDFFS(j+1)は、次の式(9)で算出される。 Here, s DFFS (j + 1), which is a partial DFFS considering the basis vector e j + 1 , is calculated by the following equation (9).
そして、上式(9)で算出された部分DFFSのsDFFS(j+1)は、ステップS24において、閾値εDFFSより大きいか否かが判定され、閾値εDFFSより小さい場合には、顔領域として判断されることとなる。 Then, the above equation (9) is calculated portion DFFS of s DFFS (j + 1) in step S24, whether larger than the threshold epsilon DFFS is determined, if the threshold epsilon DFFS smaller than the face area It will be judged as.
一方、基底ベクトルej+1軸までを考慮した部分DIFSであるsDIFS(j+1)は、次の式(10)で算出される。 On the other hand, s DIFS (j + 1), which is a partial DIFS considering the basis vector e j + 1 axis, is calculated by the following equation (10).
そして、上式(10)で算出された部分DIFSのsDIFS(j+1)は、ステップS26において、閾値εDIFSより大きいか否かが判定され、閾値εDIFSより大きい場合には、非顔領域として破棄されることとなる。 Then, the above equation (10) is calculated portion DIFS of s DIFS (j + 1) in step S26, it is determined whether the threshold epsilon DIFS greater is if the threshold epsilon DIFS greater than, non-face It will be discarded as an area.
以上の領域検出装置1Bの動作により、直交補空間を張る各基底ベクトルに対するDIFSおよびDFFSを順次に演算し、演算結果に応じて他の基底ベクトルの演算を打切るため、非顔の判定処理を高速化できる。さらに、直交補空間の次元数が主成分空間の次元数より小さい場合には直交補空間への射影計算を行うと、より高速な処理を行えることとなる。
By the above operation of the
<変形例>
◎上記の各実施形態においては、メモリカードなどの記録媒体から画像入力するのは必須でなく、領域検出装置に接続されるデジタルカメラやスキャナから画像を入力するようにしても良い。
<Modification>
In each of the above embodiments, it is not essential to input an image from a recording medium such as a memory card, and an image may be input from a digital camera or a scanner connected to the area detection device.
◎上記の各実施形態においては、入力画像に対してウィンドウの走査を行うだけでなく、入力画像に基づき解像度の異なる複数の画像を作成し、これらの画像に対して順次にウィンドウを走査するようにしても良い。このように画像ピラミッドを生成することにより、入力画像に対して大きさの異なる顔を検出する場合でも、確実な顔検出を行えることとなる。 In each of the above embodiments, not only scanning the window for the input image, but also creating a plurality of images with different resolutions based on the input image, and sequentially scanning the window for these images. Anyway. By generating the image pyramid in this way, reliable face detection can be performed even when a face having a different size from the input image is detected.
◎上記の各実施形態においては、パーソナルコンピュータなどの情報処理装置で顔領域の検出を行うのは必須でなく、デジタルカメラに顔領域の検出機能を持たせるようにしても良い。 In each of the above embodiments, it is not essential to detect a face area by an information processing apparatus such as a personal computer, and the digital camera may be provided with a function for detecting a face area.
◎上記の各実施形態においては、人間の顔を検出するのは必須でなく、人間の臓器や顔の部位(例えば目や口)、自動車などの特定のオブジェクトを検出するようにしても良い。 In each of the above embodiments, it is not essential to detect a human face, and specific objects such as human organs, facial parts (for example, eyes and mouth), and automobiles may be detected.
◎上記の各実施形態における特徴空間については、主成分分析を利用して生成するのは必須でなく、判別分析などを利用して生成するようにしても良い。 The feature space in each of the above embodiments is not necessarily generated using principal component analysis, and may be generated using discriminant analysis or the like.
◎上記の各実施形態に顔領域の検出については、顔サンプル集合から得られる主成分空間を利用するのは必須でなく、擬似顔(顔に近い非顔)サンプル集合から得られる主成分空間を利用しても良い。例えば、部分空間法であるクラフィック法や投影距離法を用いて顔検出する場合には、顔の主成分空間および疑似顔の主成分空間までの2つのDFFSが比較される。これにより、顔の主成分空間までのDFFSを計算した後、擬似顔空間との距離の比較を高速に行うことができる。 ◎ For the detection of the face area in each of the above embodiments, it is not essential to use the principal component space obtained from the face sample set, and the principal component space obtained from the pseudo face (non-face close to face) sample set is used. May be used. For example, when face detection is performed using a subspace method such as a graphic method or a projection distance method, two DFFSs up to a principal component space of a face and a principal component space of a pseudo face are compared. Thereby, after calculating the DFFS up to the principal component space of the face, the distance with the pseudo face space can be compared at high speed.
1A、1B 領域検出装置
12 表示部
17 顔領域検索部
171 画像領域切出し部
172 前処理部
173A、173B 識別部
174 識別辞書
22 後処理部
91 メモリカード
GI 入力画像
WD ウィンドウ
1A, 1B
Claims (6)
(a)前記画像に内包される検出エリアに対応した画像領域を、前記画像から抽出する抽出手段と、
(b)前記抽出手段で抽出された画像領域に関する特定の数値情報をベクトル化し、前記特定のオブジェクトに係る画像サンプル集合から得られた部分空間を張る複数の基底ベクトルのうち1の基底ベクトルに射影する射影手段と、
(c)前記射影手段で射影された結果に基づき、前記画像領域が前記特定のオブジェクトを含む領域であるか否かを判定する判定手段と、
を備えることを特徴とする領域検出装置。 An area detection device that detects an image area related to a specific object from an input image,
(a) extraction means for extracting an image area corresponding to a detection area included in the image from the image;
(b) Specific numerical information regarding the image region extracted by the extraction unit is vectorized, and projected onto one base vector among a plurality of base vectors extending a partial space obtained from the image sample set related to the specific object. Projection means to
(c) determination means for determining whether the image area is an area including the specific object based on the result of projection by the projection means;
An area detection apparatus comprising:
前記部分空間は、前記特定のオブジェクトの特徴を表現した特徴空間の直交補空間であることを特徴とする領域検出装置。 The area detection apparatus according to claim 1,
The region detection device according to claim 1, wherein the partial space is an orthogonal complementary space of a feature space expressing the feature of the specific object.
前記射影手段は、
(b-1)前記直交補空間の次元数が前記特徴空間の次元数より小さい場合に、前記直交補空間に関する1の基底ベクトルに射影する手段、
を有することを特徴とする領域検出装置。 In the area detection device according to claim 2,
The projecting means includes
(b-1) means for projecting to one basis vector related to the orthogonal complement space when the dimension number of the orthogonal complement space is smaller than the dimension number of the feature space;
An area detection apparatus comprising:
前記射影手段は、
(b-2)前記画像サンプル集合の各サンプルを前記複数の基底ベクトルそれぞれに射影した場合において分散が大きくなる基底ベクトルの順に、各基底ベクトルに射影する手段と、
を有することを特徴とする領域検出装置。 In the area | region detection apparatus in any one of Claim 1 thru | or 3,
The projecting means includes
(b-2) means for projecting each sample of the image sample set to each base vector in the order of base vectors having a large variance when each sample is projected onto each of the plurality of base vectors;
An area detection apparatus comprising:
(a)前記画像に内包される検出エリアに対応した画像領域を、前記画像から抽出する抽出工程と、
(b)前記抽出工程で抽出された画像領域に関する特定の数値情報をベクトル化し、前記特定のオブジェクトに係る画像サンプル集合から得られた部分空間を張る複数の基底ベクトルのうち1の基底ベクトルに射影する射影工程と、
(c)前記射影工程で射影された結果に基づき、前記画像領域が前記特定のオブジェクトを含む領域であるか否かを判定する判定工程と、
を備えることを特徴とする領域検出方法。 An area detection method for detecting an image area related to a specific object from an input image,
(a) an extraction step for extracting an image region corresponding to a detection area included in the image from the image;
(b) Specific numerical information regarding the image region extracted in the extraction step is vectorized and projected onto one base vector among a plurality of base vectors spanning a partial space obtained from the image sample set related to the specific object. A projection process to
(c) a determination step of determining whether the image region is a region including the specific object based on the result of the projection in the projection step;
An area detection method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004275390A JP2006092151A (en) | 2004-09-22 | 2004-09-22 | Device, method and program for detecting area |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004275390A JP2006092151A (en) | 2004-09-22 | 2004-09-22 | Device, method and program for detecting area |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006092151A true JP2006092151A (en) | 2006-04-06 |
Family
ID=36233069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004275390A Pending JP2006092151A (en) | 2004-09-22 | 2004-09-22 | Device, method and program for detecting area |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006092151A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009021862A (en) * | 2007-07-12 | 2009-01-29 | Fujifilm Corp | Imaging apparatus, and imaging control method |
JP2009205395A (en) * | 2008-02-27 | 2009-09-10 | Toyota Motor Corp | Information processor |
US9129149B2 (en) | 2010-04-20 | 2015-09-08 | Fujifilm Corporation | Information processing apparatus, method, and program |
-
2004
- 2004-09-22 JP JP2004275390A patent/JP2006092151A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009021862A (en) * | 2007-07-12 | 2009-01-29 | Fujifilm Corp | Imaging apparatus, and imaging control method |
JP2009205395A (en) * | 2008-02-27 | 2009-09-10 | Toyota Motor Corp | Information processor |
US9129149B2 (en) | 2010-04-20 | 2015-09-08 | Fujifilm Corporation | Information processing apparatus, method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4517633B2 (en) | Object detection apparatus and method | |
JP5763965B2 (en) | Information processing apparatus, information processing method, and program | |
JP5047005B2 (en) | Image processing method, pattern detection method, pattern recognition method, and image processing apparatus | |
JP4933186B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP4588575B2 (en) | Method, apparatus and program for detecting multiple objects in digital image | |
JP4708909B2 (en) | Method, apparatus and program for detecting object of digital image | |
KR101896357B1 (en) | Method, device and program for detecting an object | |
JP5361524B2 (en) | Pattern recognition system and pattern recognition method | |
JP2005284348A (en) | Information processor and information processing method, recording medium, and program | |
CN109978882A (en) | A kind of medical imaging object detection method based on multi-modal fusion | |
JP2005190400A (en) | Face image detection method, system, and program | |
JP2011053953A (en) | Image processing apparatus and program | |
JP2009026326A (en) | Group study device and method | |
JP2007025900A (en) | Image processor and image processing method | |
JP5311899B2 (en) | Pattern detector learning apparatus, learning method, and program | |
JP2010165052A (en) | Image processor and image processing method | |
JP2007025902A (en) | Image processor and image processing method | |
JP6887154B2 (en) | Image processing system, evaluation model construction method, image processing method and program | |
CN114863431A (en) | Text detection method, device and equipment | |
JP2006323779A (en) | Image processing method and device | |
WO2005041128A1 (en) | Face image candidate area search method, face image candidate area search system, and face image candidate area search program | |
JP2012068948A (en) | Face attribute estimating apparatus and method therefor | |
JP5335554B2 (en) | Image processing apparatus and image processing method | |
JP3696212B2 (en) | Generation of image used for matching in pattern recognition, and method, apparatus, and program for pattern recognition using the image | |
JP2011170890A (en) | Face detecting method, face detection device, and program |