JP2000048184A

JP2000048184A - 画像処理方法及び顔領域抽出方法とその装置

Info

Publication number: JP2000048184A
Application number: JP11049107A
Authority: JP
Inventors: Masafumi Hagiwara; 将文萩原; Hironori Yokoo; 裕規横尾; Masami Kato; 政美加藤; Ken Sakakibara; 憲榊原; Yoshihisa Tadokoro; 善久田處; Toshihiro Kimura; 敏弘木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-05-29
Filing date: 1999-02-25
Publication date: 2000-02-18
Also published as: US6816611B1

Abstract

(57)【要約】【課題】カラー静止画像から視点や距離などの見え方に
かかわらず正確に顔領域を抽出する。【解決手段】カラー静止画像から、まず肌色検出処理部
１２により肌色領域を検出し、射影分布作成部１３によ
り検出された肌色領域の射影分布を作成する。顔領域探
索処理部１４により、その射影分布から、放物線を遺伝
子アルゴリズム等で探索して探索された放物線の位置か
ら顔領域候補を抽出する。知識処理部１５では、抽出さ
れた顔領域候補に対して、各候補が顔領域かどうかを、
領域の縦横比や、予め用意した顔のパターンとの一致
や、頭髪に相当する領域の有無に基づいて判断する。探
索の終了条件として、利用者は、処理時間や人数、顔面
積率を設定できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カラー画像からの
特定のオブジェクトの認識に関する。

【０００２】

【従来の技術】２次元画像から人間の顔領域を抽出する
ための主な手掛かりとして、動き、色、形の３つの情報
が考えられ、これらの情報に基づいた手法がいくつか提
案されている。

【０００３】動きを利用した顔領域抽出法として、Ｔｕ
ｒｋらは、顔画像にＫＬ展開を行って得た固有ベクトル
から「顔空間」を定義し抽出する手法を提案している(M
atthew A.Turk and Alex P.Pentland:“Face Recogniti
on Using Eigenfaces", Proc. IEEE Comuputer Soc. Co
mf. on Computer Vision and Pattern Recognition.pp.
586-591, 1991)。しかし、この手法は背景を顔領域とし
て含んでいるだけでなく対象人数も少ない。また、木村
らは肌色情報と背景との差分情報を利用した手法を提案
している（木村、加藤、井口：“肌色情報を用いた顔画
像追跡”，信学技報，HIP96-12, PP.65-70, 1996）。安
定で高速な抽出が行われているが、Ｔｕｒｋらの手法を
含めこれらの手法は動画像データを前提とした手法であ
り、静止画像からの抽出には利用できない。

【０００４】静止画において、色情報を利用した手法と
して、Ｄａｉらは濃淡画像のテクスチャ情報を表現する
指標として導入されたＳＧＬＤ行列によって、顔パター
ンであるかその他のテクスチャであるかを分類し、顔領
域を抽出する手法を提案している(Y.Dai and Y.Nakano:
"Face-texture model based on SGLD and its applica
tion in face detection in a color scene", Pattern
Recognition, vol.29,no.6, pp.1007-1017, 1996.)。し
かし、この手法は正面向きの顔にしか対応しておらず計
算量も多い。また、呉らは、Farnsworthの均等知覚色空
間における肌および髪の色の分布モデルに基づき顔らし
き領域を抽出し、ファジィパターンマッチングにより、
顔領域を抽出する方法を提案している（呉、陳、谷内
田：“ファジーパターン照合を用いた色彩画像からの顔
検出システム”，信学論Ｄ−II,Vol.J80, no7, pp.1774
-1785, 1997）。顔がもつ色情報は複雑な背景から顔領
域を高速に抽出する上で第一の手がかりとなるが、それ
だけでは背景の色彩成分による影響が大きく高精度な抽
出が実現できない。

【０００５】形状情報を利用した手法として、萩原らは
顔の輪郭を楕円で探索する手法を提案している（横尾、
萩原：“遺伝的アルゴリズムを用いた自然画像からの複
数顔領域抽出”：電学論117-C, 9, pp.1245-1252, 199
7）。この手法では複数の顔領域の検出が可能である
が、楕円のパラメータは５つもあり、探索に時間がかか
ってしまう。また、形状情報として濃淡パターンそのも
のに着目した手法がある。原らは遺伝的アルゴリズムに
より顔のテンプレートのマッチング行う手法を提案して
いる（原、長尾：“ＧＡを用いた画像中の任意方向の顔
領域の抽出”，信学技報，HCS97-12, pp.37-44, 199
7）。しかし、この手法は背景による影響が大きく、背
景が複雑な場合には検出が困難である。さらに、顔の濃
淡パターンをニューラルネットワークで探索する手法
が、ＹＡＮＧら(Guangzheng Yang and Thomas S.Hung:
"Human Face Detection in a complex Background", P
attern Recongition, vol.27, pp.53-63, 1994)。Ｊｕ
ｅｌｌら(P.Juell and R.Marsh: A hierachical neural
network ror human face delection". Pattern Recogn
ition. vol.29, no.6, pp.1017-1027, 1996)、伊藤ら
（伊藤、山内、石井：“人工神経回路の注意領域抽出法
に基づく画像からの顔の切り出し”．信学技法 NC96-20
0, pp.347-354, 1997-03）、Ｌｉｎら(S.H.Lin and S.
Y.Kung: "Face recongnition/detection by probablist
ic decision-based neural network", IEEE Trans. Neu
ral Networks. vol.8, no.1, pp.114-132, 1997)によっ
て提案されている。しかしながら、これらの形状情報に
よる抽出法は、正確な位置決めが可能ではあるが、煩雑
な計算を要するため検出に時間がかかる問題があった。

【０００６】本発明は、上記従来例の問題点を鑑み、カ
ラー画像から高速に精度よく人物の顔領域を抽出する方
法および装置を提供することを目的とする。

【０００７】また、カラー画像から高速に特定のオブジ
ェクトを抽出する画像処理方法を提供することを目的と
する。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は次のような構成から成る。すなわち、カラ
ー画像から人物の顔領域を抽出する顔領域抽出方法であ
って、肌色領域を検出する検出工程と、検出された肌色
領域の射影分布を作成する作成工程と、作成された射影
分布から放物線を探索する探索工程と、探索された放物
線の位置から顔領域候補を抽出する抽出工程と、抽出さ
れた顔領域候補に対して、知識処理により顔領域かどう
かの判断を行う判断工程とを有する。

【０００９】また望ましくは、前記検出工程において
は、色相成分と色差成分とを利用する。

【００１０】また望ましくは、前記探索工程において
は、遺伝的アルゴリズムにより放物線を探索する。

【００１１】また望ましくは、前記抽出工程において
は、片軸方向のみの射影分布から得られた放物線を利用
する。

【００１２】また望ましくは、前記抽出工程において
は、両軸方向の射影分布から得られた２つの放物線を利
用する。

【００１３】また望ましくは、前記判断工程において
は、顔領域候補の縦横比を利用する。

【００１４】また望ましくは、前記判断工程において
は、ニューラルネットワークを利用する。

【００１５】また望ましくは、前記ニューラルネットワ
ークには、複数の方向の顔データを教師画像として予め
学習させておく。

【００１６】また望ましくは、前記判断工程において
は、顔領域候補中の頭髪領域の有無を判定に利用する。

【００１７】あるいは、カラー画像から特定のオブジェ
クトを抽出する画像処理方法であって、カラー画像から
前記特定のオブジェクトを示す特定色領域を検出する検
出工程と、検出された特定領域に対して遺伝的アルゴリ
ズムを用いたパターン認識処理を行う認識工程とを有す
る。

【００１８】また望ましくは、前記検出工程は、検出さ
れた前記特定色領域をＸ軸方向及びＹ軸方向について解
析して、前記特定のオブジェクトを示す特定の形を有す
る領域を検出する工程をさらに含み、前記認識工程は、
検出された特定のオブジェクトを示す特定の形を有する
領域に対して、前記遺伝的アルゴリズムを用いたパター
ン認識処理を行う。

【００１９】また望ましくは、抽出するオブジェクトの
数を判断する工程をさらに有し、予め指示する数のオブ
ジェクトが検出された場合、抽出処理を終了する。

【００２０】また望ましくは、抽出処理時間を判断する
工程をさらに有し、予め指示する時間に達した場合、抽
出処理を終了する。

【００２１】また望ましくは、検出されたオブジェクト
の総面積と探索対象画像面積との比率を算出する抽出領
域算出工程をさらに有し、抽出領域率が予め指示する値
を超えた場合、抽出処理を終了する。

【００２２】また望ましくは、前記認識索工程は、遺伝
子操作により得られた新しい遺伝子が既にオブジェクト
が抽出された領域内を表現する場合、当該遺伝子を、淘
汰された遺伝子の中で最も適応度の高い遺伝子と入れ替
える。

【００２３】あるいは、カラー画像から人物の顔領域を
抽出する画像処理方法であって、カラー画像から所定色
のオブジェクトにより形成される、Ｘ軸及びＹ軸それぞ
れに対する略放物線状の境界を検出し、検出結果から、
楕円領域を検出して、検出された楕円領域を顔領域とす
る。

【００２４】また望ましくは、前記略放物線状の境界の
検出は、放物線のパラメータの少なくとも一部を変化さ
せつつ、最も適応するパラメータを前記オブジェクトの
境界とすることで行う。

【００２５】

【発明の実施の形態】［第１の実施の形態］以下、添付
図面を参照して本発明に関する第１の実施の形態を説明
する。図１は本発明に関する処理の基本構成を示すブロ
ック図である。図において、前処理部１１は、顔領域抽
出処理のための画素数削減、輝度調整、ノイズ除去など
の前処理を行う。肌色検出処理部１２は、前処理された
画像データから肌色画素を検出し、更に検出結果に対し
てノイズ除去を行う。射影分布作成部１３は、肌色画素
検出結果から肌色画素の射影分布を求める。顔領域候補
探索処理部１４は、射影分布作成部１３で得られた射影
分布の形状を基に顔領域の特徴となる肌色塊領域の探索
を行う。ここでは、遺伝的アルゴリズムによる放物線探
索としきい値処理により顔領域候補の検出を行う。知識
処理部１５は、顔領域候補探索処理部１４による探索結
果から得られた領域が顔領域であるかの判断を、ニュー
ラルネットワーク等により予め決定した知識に基づいて
判断を行う。

【００２６】次に本実施形態の主要な処理部の詳細な動
作について説明する。図２は前処理部１１の構成を示す
ものである。画素数削減処理部２１は、処理全体の高速
化のために、画像データの間引き処理を行う。図３は間
引き処理の例を示すものであり、３×３画素ブロックの
中心画素値を当該ブロックの画素値とする。ここでの処
理により、主走査、副走査の画素数を共に１／３に削減
する。

【００２７】輝度調整処理部２２は、光源の影響を除去
するために輝度値の補正処理を行う。まず次式により、
一つの画素について赤色成分ｒ、緑色成分ｇ、青色成分
ｂから輝度Ｙに変換する。

【００２８】Ｙ＝０．３ｒ＋０．５９ｇ＋０．１１ｂ（１）Ｙ：輝度成分、ｒ：赤色成分、ｇ：緑色成分、ｂ：青色
成分次に入力画像全体の平均輝度Ｙ_AVEを求める。

【００２９】

【数１】

【００３０】Ｙ_AVE：画像の平均輝度、WIDTH：画像の
幅、HEIGHT：画像の高さ、Ｙ（i,j）：座標（ｉ、ｊ）
の輝度平均輝度の調整は、次式を用いて行う。

【００３１】Ｒ＝Ｋ・ｒ／Ｙ_AVE、Ｇ＝Ｋ・ｇ／Ｙ_AVE、Ｂ＝Ｋ・ｂ／Ｙ_AVE （３）Ｒ：輝度調整後の赤色成分、Ｇ：輝度鯛整後の緑色成分Ｂ：輝度調整後の青色成分、Ｋ：輝度調整定数ここで、Ｋは画像の撮影場所によって決まる定数であ
る。平均輝度が小さい場合には大きく、平均輝度が大き
い場合にはその逆に設定する。

【００３２】ｒｇｂ各データに対し上記（３）式で示す
演算により輝度補正処理を行う。

【００３３】図４は肌色検出処理部１２の構成を示す図
である。肌色は、ＨＳＶ基底の色相ＨおよびＹＩＱ基底
の色差Ｉに特定の分布を持つ事が知られている。本実施
例ではＨとＩを用いて画像中の肌色画素を抜き出す。色
変換処理部４１は、ＲＧＢからＨへの変換及び、ＲＧＢ
からＩへの変換処理を行う。Ｈは式（４）により演算さ
れる。ここでは２５５階調に正規化されているものとす
る。

【００３４】

【数２】

【００３５】また、ＲＧＢからＩへの変換は式（５）に
より求められる。こちらもＨ同様、２５５階調に正規化
されているものとする。

【００３６】

【数３】

【００３７】上記数式（４）（５）により求められたＨ
及びＩから閾値処理部４２で予め決められた範囲にある
画素位置を肌色画素として判定する。（５１式参照）肌色条件：（Ｈ_L＜Ｈ(i,j)＜Ｈ_H）＆（Ｉ_L＜Ｉ(i,j)＜Ｉ_H）（５１）Ｈ_L、Ｉ_L：Ｈ、Ｉの下限Ｈ_H、Ｉ_H：Ｈ、Ｉの上限Ｈ(i,j)、Ｉ(i,j)：注目画素（ｉ，ｊ）のＨ、Ｉ値ノイズ除去処理部４３は、閾値処理部４２で判定された
判定結果に対して、膨張処理及び収縮処理を用いてノイ
ズ除去処理を行う。図５に膨張・収縮処理とその例を示
す。ここでは、肌色検出処理部１２で検出された肌色画
素の値を２５５、それ以外の画素値を０とする。なお、
図５においては、画素値が２５５である肌色画素は黒画
素で表わし、画素値が０であるその他の画素は白画素と
して表わしている。

【００３８】図６は射影分布作成部１３の構成を示す図
である。射影分布処理部６１では、肌色検出部１２で得
られた肌色画素のｙ軸方向集計を式（６）に従って算出
する。

【００３９】図７は、肌色画素のｙ軸方向集計結果の例
を示すものである。顔領域部分の射影分布の頂点は放物
線の形状を示す。続いて、平滑化処理部６２で式（７）
に示す平滑化を行って肌色画素率を求める事により、次
のステップで放物線の探索を容易にする。

【００４０】

【数４】

【００４１】

【数５】

【００４２】ｆ_i：ｘ軸、位置ｉにおける肌色画素数Ｆ_i：ｘ軸、位置ｉにおける肌色画素率次に、射影分布作成部１３で得られた射影分布から、遺
伝的アルゴリズムと閾値処理により肌色画素の塊を探索
する。図８は顔領域候補探索処理部の構成を示す図であ
る。まずは、射影分布作成部１３の結果から放物線を探
索する事で、目的とする顔領域のｘ軸方向の位置と幅を
検出する。放物線は、傾きａ、頂点（ｂ，ｃ）のパラメ
ータを用いて表現できる。これらのパラメータによって
表現される放物線の点列をＰ＝｛Ｐ₁（ｘ₁，ｙ₁），Ｐ₂（ｘ₂，ｙ₂），…Ｐ_n（ｘ_n，ｙ_n）｝（８）と定義する。

【００４３】射影分布作成部１３で得られたグラフが２
値画像で、頂点が黒、それ以外が白で描かれているとす
る。式（８）で表される点列Ｐの、各点の座標が黒画素
である個数をｎwとする。その時の点列Ｐで表される放
物線と２値画像内に描かれているグラフとのマッチング
率Ｒを次式で定義する。

【００４４】Ｒ＝ｎw／ｎ（９）２値画像で放物線のマッチングを行う場合、例えば図９
に示すように、わずかにずれただけでも重なり合う部分
が非常に少なくなる場合が多い。このように、マッチン
グ率が鋭いピークを持ち、探索空間における評価値の分
布の不連続性が著しい場合、探索点がどの程度最適値に
近いのか知ることが非常に困難になる。

【００４５】そこでぼかし処理部８１で入力画像である
ヒストグラムにぼかし処理を施すことにより、２値画像
を多値画像に変換する。これにより、マッチング率の分
布は滑らかになり、ある程度、放物腺が輪郭画像とずれ
ていても高いマッチング率を持つことができる。ぼかし
処理は、黒を１、白を０とした２値画像を、黒画素の階
調値をＬ（正の整数）として、その周辺を順次１階調ず
つ下げて多値画像（Ｌ＋１階調画像）に変換する。図１
０にぼかし処理の例を示す。ぼかし投階数をＬ＝３とす
ると、中央の黒画素階調値は３となり、順次、８連結隣
接点の白画素を２とし、同様にして、更にその８連結隣
接点の白画素を１としてぼかすことにより、２値画像を
４（＝３＋１）階調画像に変換している。

【００４６】上記のぼかし処理により、３つのパラメー
タで表現された放物線が、Ｐ_k＝｛Ｐ_1k（ｘ_1k，ｙ_1k），…，Ｐ_nk（ｘ_nk，ｙ_nk）｝（１１）で表されるｎ個の点列Ｐ_kを構成する時、その放物線の
マッチング率Ｍａｔｃｈは、次式により求められる、

【００４７】

【数６】ここでのｆ（ｘ_jk，ｙ_jk）は、座標（ｘ_jk，ｙ_jk）にお
けるぼかし処理後の画像の階調値であり、０からＬまで
の整数値をとる。全ての点が輪郭画懐中の放物線と重な
ると、マッチング率Ｍａｔｃｈ（＝［０，１］）は１と
なる。

【００４８】放物線探索処理部８２では遺伝的アルゴリ
ズムにより放物線を探索する。各個体は、前項で定義し
た傾きａ、頂点（ｂ，ｃ）の３つのパラメータによって
表現される。個体の解釈を図１１に示す。放物線の傾き
を３ビット、頂点のｘ座標、ｙ座標をそれぞれ７ビッ
ト、６ビットで表す。また、適応度としては、前項で定
義したＭａｔｃｈを直接用いることができる。ここに示
す染色体構造を用いて、評価関数Ｍａｔｃｈが最大とな
る放物線を遺伝的アルゴリズムにより探索する。

【００４９】ここで、遺伝的アルゴリズムにより放物線
を探索する処理はおおむね次のようにして行われる。す
なわち、まず初期的にランダムに用意した幾通りかの染
色体（すなわちパラメータａ，ｂ，ｃ）を用いて評価関
数Ｍａｔｃｈを評価する。さらに、そのうち評価関数の
値が比較的高かった染色体を幾つか残し、それらの間で
いずれかの桁を交換（交叉）したり、あるいはランダム
に選ばれた桁を反転（突然変異）したりといった操作を
行って新たな染色体を生成する。そのようにして作成さ
れた染色体を用いて、再び評価関数を評価する。この染
色体の生成と評価とを繰返し、例えば評価関数の値が所
定のしきい値を越えたなら放物線の探索は成功したもの
とする。そして、そのときの染色体を、探索された放物
線のパラメータと決定する。遺伝的アルゴリズムでは、
このようにして放物線を探索する。

【００５０】放物線を発見できなかった場合、その原因
として背景や服装が肌色として検出されている事が考え
られる、そのような場合、背景や服装の影響は、図１２
（Ａ）に示すように、放物線が平らな台座に乗っている
ような状態になる場合が多い。そこで、この台座成分を
取り除くために、式（１３）に示すように、ｙ軸方向集
計からその高さの分だけ肌色画素率を削除する、Ｆ_i＝Ｆ_i−Ｆcut：Ｆcut 肌色画素削減率（１３）このようにして台座成分を図１２（Ｂ）のように取り除
き、再度グラフから放物線を探索する。

【００５１】次にｘ軸方向集計処理部８３では、図１３
に示すように、放物線探索処理部８２で見つけた放物線
とｘ軸との交点left，rightをそれぞれ肌色領域の塊の
左右とする、そして、その間（図１３斜線部）において
式（１４）に基づき肌色画素数を今度はｘ軸方向に集計
し、ｙ軸方向集計の場合と同様に平滑化を図る。

【００５２】

【数７】

【００５３】ｆ_i：ｙ軸、位置ｊにおける肌色画素数Ｆ_j：ｙ軸、位置ｊにおける肌色画素率Ｌ：塊の左の座標Ｒ：塊の右の座標判定処理部８４では、図１４（Ａ）に示すように、ｘ軸
方向の集計表において閾値を設定し、その閾値を越えて
いる領域があればその交点をそれぞれ肌色領域の塊の上
下とし、無ければ閾値を下げて再度交点を探す。塊の上
下からそれぞれ矢線のように上と下に領域を広げてい
き、Ｔ１以下になった所を塊の上下と定める。

【００５４】上下の幅の画像の高さに対する割合が予め
決定されている値（例えば６分の１）より大きい時は次
の操作に移り、そうでない場合は顔領域とは判断せず次
の塊を探索する。

【００５５】塊の上下が決まったところで、図１４
（Ｂ）に示すように、再度当該範囲内でｙ軸集計をと
り、肌色画素率がＴ２以上の領域を塊の左右と推定する
ことで微調整を行う。

【００５６】図１５は知識処理部１５の構成を示す図で
ある。ここでは、顔領域候補単探索処理部１４で検出さ
れた領域が顔であるかどうかの最終判断を行う。比率判
定処理部１５１では、検出された肌色領域の幅と高さと
の比率が予め設定した範囲内にない場合は、その肌色領
域は顔でないと判断する。ニューラルネット判定処理部
１５２では、検出された肌色領域に対して、予め顔領域
を学習させておいたニューラルネットワークを適用し、
判断を行う。正面を向いた顔を学習させたネットワー
ク、右を向いた顔を学習させたもの、左を向いた顔を学
習させたものの３つを用いて、３方向の顔に対応する。
すなわち、抽出された肌色領域が学習させたいずれかの
パターンを有している場合には、その領域は顔領域であ
ると判断する。また、判定補正処理部１５３では、検出
された肌色領域の上部において、ある大きさの領域に、
頭髪に相当する黒色部が閾値以上あるかどうか調べる。
ある場合には肌色領域は顔領域であると判断し、階層型
ニューラルネットワークでの検出結果を補正する。すな
わち、ニューラルネット判定処理部１５２により顔領域
であると判断されなかった領域であっても顔領域と判定
する。

【００５７】以上の処理を、所定の人数が検出される
か、あるいは、放物線が探索されなくなるまで繰り返す
ことで、カラー静止画像から複数人の顔領域（位置、
幅、高さ）を抽出する事ができる。

【００５８】図１６は本実施形態による主要な処理をソ
フトウエアにより実現する場合の構成例を示す図であ
る。画像入力部１６１は、ＣＣＤカメラ等により撮像さ
れた画像データの取り込みと画像補正処理等をハードウ
エアにより処理するものである。プロセッサ１６２は、
本発明に係る顔領域抽出の主要な処理を司るプロセッサ
であり、例えばマルチメディア信号処理用に特化された
メディアプロセッサやＤＳＰ(Digital Signal Processo
r)等により各種の信号処理を行うものである。ＲＡＭ(R
andam Access Memory)１６３は、プロセッサ１６２の動
作に必要な作業メモリ及び処理すべき画像データの各種
バッファメモリとして使用される。ＲＡＭ１６３は、例
えばＳＤＲＡＭ(Synchronous DRAM)等の高速大容量のメ
モリにより実現されるものである。１６４はＲＯＭ(Rea
d Only Memory)であり、プロセッサ１６２の動作に必要
な命令プログラムを格納するためのものである。記録装
置１６５は、画像入力装置により得られた画像データや
顔領域抽出結果を蓄積する。記録装置１６５は、例えば
ハードディスクと入出力に必用なインターフェース装置
により構成されるものである。図１７は、図１６の構成
において、プロセッサ１６２により実行される顔領域抽
出のための処理手順のフローチャートである。

【００５９】図１６および図１７を用いて本実施形態に
おける各領域認識処理の動作について説明する。画像入
力装置１６１により得られディジタル画像データはステ
ップＳ１００でＲＡＭ１６３に格納される。当該画像デ
ータに対してプロセッサ１６２により顔領域の抽出処理
を行う。ステップＳ１０１でＲＡＭ１６３上の画像デー
タの画素数削減処理を行う。ステップＳ１０２でＲＡＭ
上１６３画像データから平均輝度を算出し、輝度調整を
行う。

【００６０】輝度調整された画像データに対し、ステッ
プＳ１０３で色変換処理を行い、ＨおよびＩ成分の画像
データを作成しＲＡＭ１６３上に格納する。ステップＳ
１０４ではＨおよびＩ成分を閾値処理することで肌色領
域を示すビットマップを作成し、ＲＡＭ１６３に格納す
る。ステップＳ１０５では当該肌色領域ビットマップに
対して膨張・収縮処理を行う事で、小領域のノイズ成分
を除去する。ノイズ除去された肌色ビットマップは再び
ＲＡＭ１６３に格納される。

【００６１】ステップＳ１０６では、肌色領域ビットマ
ップから、ｙ軸方向に射影分布の作成を行う。生成され
た射影分布はステップＳ１０７で平滑化される。ステッ
プＳ１０８では平滑化された射影分布に対してぼかし処
理を行い、多値化する。多値化された射影分布画像マッ
プに対して、ステップＳ１０９で、前述した遺伝的アル
ゴリズムにより放物線の探索を行う。探索の結果放物線
が検出されない場合（ステップＳ１１０）、顔領域が存
在しないとして終了する。放物線が検出された場合（ス
テップＳ１１０）、探索された放物線から顔領域のｘ方
向の位置及び幅が得られる。

【００６２】次に、ステップＳ１１１で、ＲＡＭ１６３
に格納された肌色領域ビットマップからｘ軸方向に対す
る射影分布をステップＳ１０９で検出された範囲内につ
いてのみ算出する。ステップＳ１１２では、得られたｘ
軸方向の部分射影分布から顔領域となる肌色領域のｙ方
向の位置と範囲を、閾値処理により算出する。ステップ
１１２では更に、得られたｙ軸、ｘ軸の範囲内で更にｙ
軸方向への射影分布をとり最終的な肌色塊の位置を調整
する。

【００６３】次にステップＳ１１２で得られた顔領域の
範囲に対して、ステップＳ１１３で領域の幅と高さの比
率を求め、明らかに顔領域ではないと判定された場合
（ステップＳ１１４）、当該領域を顔以外と判定し放物
線の再探索を行う。ステップＳ１１５ではニューラルネ
ットにより予め学習された教師データを用いて当該領域
が顔領域であるかの判定を行う。顔領域と判定された場
合（ステップＳ１１６）、ステップＳ１１８で当該領域
に関する位置と大きさを記録装置１６５に格納する。顔
領域以外と判定された場合にはステップＳ１１７で判定
結果を補正する。すなわち、ステップＳ１１７で当該領
域の上部の画像を調べ、黒色部が所定の割合より多い場
合、顔領域であると判定する。ステップ１１７でも顔領
域と判定されなかった場合、更に放物線の再探索から開
始する。以上の処理を予め決めた最大検出人数が検出さ
れるまで繰り返す（ステップＳ１１９）。

【００６４】なお、プロセッサが図１７の処理を実行す
る場合に、その処理が図１の各ブロックを実現すること
になる。その場合、図１の肌色検出部１２は少なくとも
図１７のステップＳ１０４を含む処理により、図１の射
影分布作成部１３は少なくとも図１７のステップＳ１０
６及びステップＳ１１１を含む処理により、図１の顔領
域候補探索処理部１４は少なくともステップＳ１０９〜
Ｓ１１０及びステップＳ１１２〜ステップＳ１１７を含
む処理により実現される。

【００６５】以上の処理により、カラー静止画像から予
め指示した人数以内の顔領域の抽出を高速安定に行う事
ができる。この方法によれば、動画像のフレーム間情報
を利用する事なく、カラー静止画像から、視点や距離な
どの見え方にかかわらず正確な顔領域の位置決めを高速
に実現できる。

【００６６】また、顔領域の候補領域の探索に、パラメ
ータ数が２の放物線を用いるために、候補領域の探索を
高速に行うことができる。さらに、候補領域をしぼり込
んでからパターン認識を行うために、パターンに認識を
行うべき領域がしぼり込まれ、迅速な処理が可能となっ
ている。

【００６７】なお、上記実施形態では、肌色検出の手法
に色差と色相を用いた場合について説明したが、他の色
空間の情報を利用しても良い。更に、肌色領域は簡単な
閾値処理により判定を行ったが、さらに複雑な手法で判
定することも可能である。

【００６８】また、上記実施形態では、ｙ軸集計による
射影分布により放物線を検出したが、画像の縦横比など
によってはｘ軸集計による射影分布から放物線を探索し
ても良い。また、上記実施形態では、高速化のために片
軸方向の射影分布から顔領域の候補を抽出したが、より
正確な候補抽出のために、両軸の射影分布から探索され
た２つの放物線の位置から抽出してもよい。図１８に２
軸の射影分布を利用した場合の放物線探索例を示す。

【００６９】また、知識処理は実施例に説明した場合に
限るわけでなく、他の条件を加えても良い。

【００７０】また、本実施形態では静止画像に対する場
合について説明したが、連続する動画像に応用すること
も可能である。

【００７１】また、本実施形態ではカラー画像から人物
の顔領域を認識する方法を説明したが、他のオブジェク
ト領域を認識する方法に上記方法を適用しても構わな
い。その場合には、肌色検出処理部で用いた検出条件を
オブジェクトの特徴を表わす特定色に応じた検出条件に
変更し、顔領域候補探索処理部１４で用いた検出条件
（放物線）をオブジェクトの特徴を表す形状に応じた検
出条件に変更することにより、上記方法の各種条件をオ
ブジェクトの特徴に応じて最適化すればよい。

【００７２】［第２の実施の形態］図１９は本発明に関
する第２の実施形態における、画像から顔領域を認識す
るための手順を示すフローチャートである。図１９は、
図１６に示すハードウエア上で動作するソフトウエアの
動作を示すものである。なお、第１の実施形態における
図１７と同一のステップについては説明を省略する。

【００７３】ステップＳ２０１〜Ｓ２０８は図１７に示
すステップＳ１０１〜Ｓ１０８と同一である。したがっ
てステップＳ２０８までの処理により、肌色領域ビット
マップからｙ軸方向の射影分布が作成される。

【００７４】ステップＳ２０９では、作成した射影分布
から遺伝的アルゴリズムにより放物線の探索を行うため
の遺伝子操作を行う。なお遺伝子としては、第１の実施
形態と同じく放物線のパラメータである、傾きａ及び頂
点座標（ｂ，ｃ）を用いる。ここでは、１世代前の遺伝
子群と各々の適応度から、淘汰・交叉・突然変異により
新しい遺伝子群を生成する。ただし、前述のように、１
世代前の遺伝子群と各々の適応度から、淘汰・交叉・突
然変異により生成された遺伝子の表現する放物線の位置
が、既に顔が抽出された領域に該当する場合、当該遺伝
子を廃却し、淘汰された遺伝子の中から最も適応度の高
い遺伝子を当該遺伝子の代わりに現世代の遺伝子として
処理を進める。なお、適応度とは、第１の実施形態で説
明したマッチング率のことである。また、交叉及び突然
変異は第１の実施形態で説明した通りの操作であるが、
淘汰とは、適応度が低い遺伝子を取り除く操作を表す。
１世代前の遺伝子が存在していない場合には、互いに異
なる放物線のパラメータの組みを、初期の遺伝子として
用意する。

【００７５】ステップＳ２１０は適応度算出処理部であ
り、ステップＳ２０９で操作された遺伝子遺伝子の表現
する放物線と画像とのマッチング率を適応度として算出
する。ステップＳ２１１では遺伝子の適応度が予め決め
られた値以上である場合、放物線が検出されたと判定す
る。放物線が検出されなかった場合、ステップＳ２０９
に戻り、ステップＳ２０９からの処理を放物線が検出さ
れるまで繰り返す。ここで、ステップＳ２１２では処理
に要した時間を計測し、予め指示したしきい値Ｔ１以上
である場合処理を終了する。処理時間の計測は処理ルー
プカウンタのカウント値やプロセッサ１６２の有するタ
イマカウンタの割り込みなどにより判定する。

【００７６】放物線が検出された場合、探索された放物
線から顔領域のｘ方向の位置及び幅が得られる。次にス
テップＳ２１３で、ＲＡＭ１６３に格納された肌色領域
ビットマップから、ｘ軸方向に対する射影分布を、ステ
ップＳ２１１で検出された放物線から得られたｘ方向の
範囲内についてのみ算出する。ステップＳ２１４では、
得られたｘ軸方向の部分射影分布から顔領域となる肌色
領域のｙ方向の位置と範囲を、閾値処理により算出す
る。ステップＳ２１４では更に、得られたｙ軸、ｘ軸の
範囲内で更にｙ軸方向への射影分布をとり、最終的な肌
色塊の位置を調整する。

【００７７】次にステップＳ２１４で得られた顔領域の
範囲に対して、ステップＳ２１５で領域の幅と高さの比
率を求め、ステップＳ２１６でその比率を判定する。明
らかに顔領域ではないと判定された場合、当該領域を顔
ではないと判定し、放物線の再探索を行う。

【００７８】ステップＳ２１７ではニューラルネットワ
ークにより予め学習された教師データを用いて当該領域
が顔領域であるかの判定を行う。ステップＳ２１８でそ
の結果を判定し、顔領域と判定された場合、ステップＳ
２２０で当該領域に関する位置と大きさおよび検出数を
記録装置１６５に格納する。顔領域以外と判定された場
合、ステップＳ２１９で当該領域の上部の画像を調べ、
黒色部が所定の割合より多い場合、顔領域であると判定
する。ステップＳ２１９でも顔領域と判定されなかった
場合、更に放物線の再探索から開始する。

【００７９】顔領域の抽出結果を記録した場合、ステッ
プＳ２２１で予め設定した検出人数Ｔ２との比較を行
い、検出人数以上の領域が検出された場合、処理を終了
する。

【００８０】検出された顔領域の数が検出人数Ｔ２に達
しない場合、ステップＳ２２２で、処理対象である画像
の面積と既に検出されたすべての顔領域の合計値との比
率を算出し、顔領域の比率が設定値を超えた場合、処理
を終了する。図２０は検出状況を示す図であり、顔領域
Ａの面積をＳａ、顔領域Ｂの面積をＳｂとした場合、顔
領域比ｒは以下の式で現される。

【００８１】ｒ＝（Ｓａ＋Ｓｂ）／（ｘ×ｙ）顔領域比ｒがしきい値Ｔ３を超えた場合、処理を終了す
る。

【００８２】なお、通常、終了のための判定条件となる
しきい値Ｔ１，Ｔ２，Ｔ３はステップＳ２０１の実行開
始前に予め設定されているものとする。各設定値はＲＯ
Ｍ１６４等に予め記憶した固定値を利用しても良いが、
図示しない表示装置とマウスなどの指示装置を利用して
グラフィカルユーザインターフェースにより設定するこ
とで利便性が向上する。図２１はグラフィカルユーザイ
ンターフェースにより設定する場合の画面例である。図
２１において、利用者は、スライダ２１１を、設定した
い最大検出人数の位置にポインティングデバイス等で移
動する。スライダ２１１の位置により最大検出人数Ｔ２
が設定される。また、利用者は、スライダ２１２を、設
定したい最大検出時間の位置にポインティングデバイス
等で移動する。スライダ２１２の位置により最大検出時
間Ｔ１が設定される。また、利用者は、スライダ２１３
を、設定したい最大検出領域割合の位置にポインティン
グデバイス等で移動する。スライダ２１３の位置により
最大検出領域割合Ｔ３が設定される。

【００８３】上記インターフェースの操作に従い設定さ
れた各しきい値Ｔ１，Ｔ２，Ｔ３はＲＡＭ１６３に保持
される。図１９のステップＳ２１２，Ｓ２２１及びＳ２
２２では、このようにして設定され、保持されているし
きい値が参照される。

【００８４】以上、本実施実施形態における顔領域抽出
処理により、複数の顔領域を抽出する場合、検出人数・
処理時間・顔領域率に従って処理を終了させることで、
無駄な探索処理を回避し、処理を高速化することができ
る。また遺伝的アルゴリズムにより探索の際に、既に抽
出された領域を示す遺伝子を予め取り除くことで、処理
を高速化することが可能になる。

【００８５】また、処理を終了させるためのしきい値
を、グラフィカルユーザインターフェースによって予め
利用者に設定させることで、顔領域を探索する対象画像
に適した終了条件の設定を可能とし、無駄な探索を行わ
ずに、探索を終了させることができる。

【００８６】また、終了条件として、処理時間、検出人
数、顔領域率の３種の値を設定することができるため
に、例えば人数や顔領域率の予測はできないが処理時間
の上限だけは設けたい場合や、人数だけはわかっている
場合等、特定の条件を満足するまで探索を行わせること
ができ、確実に処理を収束させることができる。

【００８７】なお、第１及び第２の実施形態において、
図１７のステップＳ１０４及び図１９のステップＳ２０
４における閾値を、検出しようとする肌の色に応じて変
えることで、多様な肌の色を検出することができる。ま
た、ステップＳ１１７及びステップＳ２１９で判定され
る髪の色についても、黒に限らず様々な髪の色について
検出することで、様々な髪の色について顔領域を対応で
きる。

【００８８】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００８９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても達成される。

【００９０】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００９１】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００９２】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれる。

【００９３】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。

【００９４】

【発明の効果】以上説明したように、パラメータの少な
い放物線を探索して候補領域を抽出するため、探索を迅
速に行うことができ、顔領域の抽出時間が短縮される。
また、領域の色と射影分布だけで候補を探索し、候補領
域に対して顔領域の判断を行うため、顔領域の候補をし
ぼり込むことができ、顔領域の抽出を迅速に行うことが
できる。

【００９５】さらに、カラー画像から特定のオブジェク
トを検出する際、検出するオブジェクトの候補を領域の
色によりしぼり込み、候補に対してパターン認識を行う
ために、迅速なオブジェクトの認識が可能となる。

【００９６】さらに、顔領域を検出する際に、Ｘ軸方向
及びＹ軸方向について放物線の領域を抽出してから、そ
の領域から顔領域と考えられる楕円領域を検出するた
め、検出対象の候補をしぼり込むことができ、迅速な顔
領域の検出が可能となる。また、後方を抽出する際に
は、放物線という比較的単純な図形により抽出するた
め、候補の抽出も迅速に行える。

【００９７】また、処理を終了させるためのしきい値を
予め利用者に設定させることで、探索される対象画像に
適した終了条件の設定を可能とし、無駄な探索を行わず
に、探索を終了させることができる。

【００９８】また、終了条件として、複数の条件を設定
することができるために、特定の条件を満足するまで探
索を行わせることができ、確実に処理を収束させること
ができる。

【図面の簡単な説明】

【図１】本発明の実施例の基本処理構成を示す図であ
る。

【図２】前処理部の構成を示す図である。

【図３】画素数削減を説明する図である。

【図４】肌色検出処理部の構成を示す図である。

【図５】膨張収縮処理を説明する図である。

【図６】射影分布作成部の構成を示す図である。

【図７】肌色画素のｙ軸集計を説明する図である。

【図８】顔領域候補探索処理部の構成を示す図である。

【図９】放物線のマッチングを説明する図である。

【図１０】多値化の様子を説明する図である。

【図１１】個体の解釈を説明する図である。

【図１２】探索領域の調整を説明する図である。

【図１３】ｘ軸方向集計を説明する図である。

【図１４】閾値処理による上下の探索及び塊の左右調整
を説明する図である。

【図１５】知識処理部の構成を示す図である。

【図１６】本発明をソフトウエアで実現する場合の装置
構成を示す図である。

【図１７】本発明をソフトウエアで実現する場合のフロ
ーチャートを示す図である。

【図１８】他の実施例を説明する図である。

【図１９】他の実施例の動作を説明する図である。

【図２０】探索対象画像に対する顔領域率を説明する図
である。

【図２１】顔領域探索終了指示のための画面例を示す図
である。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/70 ４６５Ａ (72)発明者榊原憲東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者田處善久東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者木村敏弘東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】カラー画像から人物の顔領域を抽出する
顔領域抽出方法であって、肌色領域を検出する検出工程と、検出された肌色領域の射影分布を作成する作成工程と、作成された射影分布から放物線を探索する探索工程と、探索された放物線の位置から顔領域候補を抽出する抽出
工程と、抽出された顔領域候補に対して、知識処理により顔領域
かどうかの判断を行う判断工程とを有することを特徴と
する顔領域抽出方法。
【請求項２】前記検出工程においては、色相成分と色
差成分とを利用することを特徴とする請求項１に記載の
顔領域抽出方法。
【請求項３】前記探索工程においては、遺伝的アルゴ
リズムにより放物線を探索することを特徴とする請求項
１に記載の顔領域抽出方法。
【請求項４】前記抽出工程においては、片軸方向のみ
の射影分布から得られた放物線を利用することを特徴と
する請求項１に記載の顔領域抽出方法。
【請求項５】前記抽出工程においては、両軸方向の射
影分布から得られた２つの放物線を利用することを特徴
とする請求項１に記載の顔領域抽出方法。
【請求項６】前記判断工程においては、顔領域候補の
縦横比を利用することを特徴とする請求項１に記載の顔
領域抽出方法。
【請求項７】前記判断工程においては、ニューラルネ
ットワークを利用することを特徴とする請求項１に記載
の顔領域抽出方法。
【請求項８】前記ニューラルネットワークには、複数
の方向の顔データを教師画像として予め学習させておく
ことを特徴とする請求項１に記載の顔領域抽出方法。
【請求項９】前記判断工程においては、顔領域候補中
の頭髪領域の有無を判定に利用することを特徴とする請
求項１に記載の顔領域抽出方法。
【請求項１０】カラー画像から人物の顔領域を抽出す
る顔領域抽出装置であって、肌色領域を検出する検出手段と、当該肌色領域の射影分布を作成する作成手段と、当該射影分布から放物線を探索する探索手段と、当該放物線の位置から顔領域候補を抽出する抽出手段
と、当該顔領域候補に対して知識処理により顔領域かどうか
の判断を行う判断手段とを有することを特徴とする顔領
域抽出装置。
【請求項１１】前記検出手段は色相成分と色差成分を
利用することを特徴とする請求項１０に記載の顔領域抽
出装置。
【請求項１２】前記探索手段は遺伝的アルゴリズムに
よることを特徴とする請求項１０に記載の顔領域抽出装
置。
【請求項１３】前記抽出手段は片軸方向のみの射影分
布から得られた放物線を利用することを特徴とする請求
項１０に記載の顔領域抽出装置。
【請求項１４】前記抽出手段は両軸方向の射影分布か
ら得られた２つの放物線を利用することを特徴とする請
求項１０に記載の顔領域抽出装置。
【請求項１５】前記判断手段は顔領域候補の縦横比を
利用することを特徴とする請求項１０に記載の顔領域抽
出装置。
【請求項１６】前記判断手段はニューラルネットワー
クを利用することを特徴とする請求項１０に記載の顔領
域抽出装置。
【請求項１７】前記ニューラルネットワークには、複
数の方向の顔データを教師画像として予め学習させるこ
とを特徴とする請求項１０に記載の顔領域抽出装置。
【請求項１８】前記判断手段は顔領域候補中の頭髪領
域の有無を判定に利用することを特徴とする請求項１０
に記載の顔領域抽出装置。
【請求項１９】コンピュータを、肌色領域を検出する手段と、当該肌色領域の射影分布を作成する作成手段と、当該射影分布から放物線を探索する探索手段と、当該放物線の位置から顔領域候補を抽出する抽出手段
と、当該顔領域候補に対して知識処理により顔領域かどうか
の判断を行う判断手段として機能させるためのプログラ
ムを格納することを特徴とする記憶媒体。
【請求項２０】カラー画像から特定のオブジェクトを
抽出する画像処理方法であって、カラー画像から前記特定のオブジェクトを示す特定色領
域を検出する検出工程と、検出された特定領域に対して遺伝的アルゴリズムを用い
たパターン認識処理を行う認識工程とを有することを特
徴とする画像処理方法。
【請求項２１】前記検出工程は、検出された前記特定
色領域をＸ軸方向及びＹ軸方向について解析して、前記
特定のオブジェクトを示す特定の形を有する領域を検出
する工程をさらに含み、前記認識工程は、検出された特定のオブジェクトを示す
特定の形を有する領域に対して、前記遺伝的アルゴリズ
ムを用いたパターン認識処理を行うことを特徴とする請
求項２０に記載の画像処理方法。
【請求項２２】抽出するオブジェクトの数を判断する
工程をさらに有し、予め指示する数のオブジェクトが検出された場合、抽出
処理を終了することを特徴とする請求項２０に記載の画
像処理方法。
【請求項２３】抽出処理時間を判断する工程をさらに
有し、予め指示する時間に達した場合、抽出処理を終了するこ
とを特徴とする請求項２０または２２に記載の画像処理
方法。
【請求項２４】検出されたオブジェクトの総面積と探
索対象画像面積との比率を算出する抽出領域算出工程を
さらに有し、抽出領域率が予め指示する値を超えた場合、抽出処理を
終了することを特徴とする請求項２０または２２または
２３に記載の画像処理方法。
【請求項２５】前記認識索工程は、遺伝子操作により
得られた新しい遺伝子が既にオブジェクトが抽出された
領域内を表現する場合、当該遺伝子を、淘汰された遺伝
子の中で最も適応度の高い遺伝子と入れ替える工程を含
むことを特徴とする請求項２０に記載の画像処理方法。
【請求項２６】カラー画像から人物の顔領域を抽出す
る画像処理方法であって、カラー画像から所定色のオブジェクトにより形成され
る、Ｘ軸及びＹ軸それぞれに対する略放物線状の境界を
検出し、検出結果から、楕円領域を検出して、検出された楕円領
域を顔領域とすることを特徴とする画像処理方法。
【請求項２７】前記略放物線状の境界の検出は、放物
線のパラメータの少なくとも一部を変化させつつ、最も
適応するパラメータを前記オブジェクトの境界とするこ
とで行うを特徴とする請求項２６に記載の画像処理方
法。