JP2006031690A - 特定画像領域区画装置および方法，ならびに特定画像領域区画処理をコンピュータに実行させるプログラム - Google Patents

Abstract

【目的】 画像中に含まれる特定画像領域を，より正確に，その他の画像領域から区画する。
【構成】 与えられる画像データによって表される画像中に顔画像が含まれているかどうかが検出され，顔画像が検出された場合には検出された顔画像を含む画像領域ｇ１が切り出される。切り出された画像ｇ１の中心から放射状に，矩形の複数の射影情報作成用窓ｗが設定される。複数の射影情報作成用窓ｗ内の画像部分のそれぞれについて，画像中心から単位画素位置ごとに画素情報を加算して得られる射影情報が作成される。その後，射影情報が，理想的な肌色との距離を表すデータに変換される。単位画素位置ごとの距離データに基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，肌色画像（顔画像領域）と肌色以外（顔画像領域）以外の画像との境界位置が決定される。
【選択図】図４

Description

この発明は，特定画像領域区画装置および方法，ならびに特定画像領域区画処理をコンピュータに実行させるプログラムに関し，より詳細には画像データによって表される画像中に含まれる特定画像部分を適切に区画する（特定画像部分とその他の部分との境界を決定，判定または検出する，抽出する）装置および方法に関する。

ディジタル画像データによって表される画像は，表示装置の表示画面上に表示されたり，プリンタによって印画紙にプリントされたりする。表示画面上または印画紙上にディジタル画像データによって表される画像が可視的に表される。表示画面上または印画紙上に表される画像を，より美しく（またはより忠実に）再生するために，ディジタル・カメラ，プリンタ，パーソナル・コンピュータ等において，ディジタル画像データに対して種々の補正処理，たとえばホワイトバランス補正，ガンマ補正等が施される。

画像中に含まれる特定の画像部分に着目して，画像データに対して補正処理を施すことがある。たとえば，画像中に人物の顔が含まれている場合に，その人物の顔がより美しく（忠実に）再生されるように，人物の顔の部分を対象にして，ホワイトバランス補正，ガンマ補正，その他の補正処理を施す等である。

画像中に含まれる特定の画像部分（たとえば，人物の顔画像部分）を表す画像データに対して補正処理を施すためには，その特定の画像部分を，全体画像の中から検出する（抽出する，切出す，境界を決める，区画する）ことが必要とされる。特許文献１では，まず肌候補領域を検出し，その後検出された肌候補領域中の主な顔特徴（目，眉，毛，鼻および口）を検出することによって，画像中に含まれる顔領域を検出している。しかしながら，画像中に含まれる顔画像の向きまたは大きさはすべての画像において一定ではないので，顔特徴（目，眉，毛，鼻および口）に基づく検出手法では，検出を失敗してしまうおそれがある。また，肌候補領域の検出についても，背景が肌色に近い色であると，その領域（境界）の検出に失敗してしまう可能性が高い。
特開２００２−２０３２３９号公報

この発明は，画像中に含まれる特定画像領域を，より正確に，その他の画像領域から区画する（領域境界を決める）ことを目的とする。

この発明による特定画像領域区画装置は，与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する特定画像検出手段，上記特定画像検出手段によって特定画像が検出された場合に，検出された特定画像を含む画像データによって表わされる画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定し，設定した複数の射影情報作成用窓内の画像部分のそれぞれについて，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られる射影情報を作成する射影情報作成手段，上記射影情報作成手段によって得られた単位画素位置ごとの射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定する境界位置決定手段，および上記境界位置決定手段によって決定された複数の隣接する境界位置を結ぶことによって，特定画像領域を確定させる特定領域確定手段を備えたことを特徴とする。

この発明よる特定画像領域の区画方法は，与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出し，特定画像が検出された場合に，検出された特定画像を含む画像データによって表わされる画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定し，設定した複数の射影情報作成用窓内の画像部分のそれぞれについて，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られる射影情報を作成し，作成した単位画素位置ごとの射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定し，決定した複数の隣接する境界位置を結ぶことによって，特定画像領域を確定することを特徴とする。

この発明は，上記方法をコンピュータに実行させるためのプログラム（コンピュータを，上記特定画像領域区画装置として機能させるためのプログラム）も提供している。このプログラムは，記憶装置（ハードディスク，メモリ・カード，ＣＤ−ＲＯＭ等）から与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する処理，特定画像が検出された場合に，検出された特定画像を含む画像データによって表わされる画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定し，設定した射影情報作成用窓内の画像部分のそれぞれについて，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られる射影情報を作成する処理，作成した単位画素位置ごとの射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定する処理，および決定した複数の隣接する境界位置を結ぶことによって，特定画像領域を確定する処理をコンピュータに実行させるものである。これらのすべての処理をコンピュータに含まれるＣＰＵによって実行させるようにしてもよいし，一部を処理を専用のハードウエア装置によって実行させるようにしてもよい。

与えられる画像データによって表される画像（以下，入力画像という）中に特定画像が存在すると，その特定画像が検出される。特定画像は，入力画像中に含まれる特定の形状，構造，特徴，色等を持つ画像部分を意味し，たとえば，人物の顔を表す画像部分である。入力画像中に含まれる人物の顔を表す画像部分は，たとえば，パターンマッチングによって検出される。

好ましくは，特定画像領域区画装置は，上記特定画像検出手段によって特定画像が検出された場合に，検出された特定画像を包含する領域（入力画像の一部である，たとえば矩形領域画像）を表す画像データを，上記画像データから切出す切出し手段を備える。この場合には，切出された特定画像を包含する領域を表す画像データ（切出し画像データ）が，その後の処理に用いられる。

検出された特定画像を含む画像データによって表わされる画像（または切出し画像）中の特定点から放射状に，所定形状の複数の射影情報作成用窓が設定される。

検出された特定画像を含む画像データによって表される画像（または切出し画像）中の特定点は，画像（または切出し画像）中の任意の位置に設定される。好ましくは，上記画像または切出し画像が人物の顔画像であれば，両目と口とを結ぶ三角形領域内に上記特定点は設定される。もちろん，画像（または切出し画像）の中心を，特定点としてもよい。

画像中の特定点から放射状に複数設定される射影情報作成用窓は幅と高さを持つ。後述するように，射影情報作成用窓は，入力画像中に含まれる特定画像領域とその他の画像領域との境界位置を検出（決定）するための単位領域になり，射影情報作成用窓内の画像部分のそれぞれに，特定画像領域とその他の画像領域との境界位置が存在することが必要である。この観点から，射影情報作成用窓の幅（放射状方向の長さ）は設定される。射影情報作成窓の高さは，処理速度，処理精度等の観点から任意に定めることができる。

入力画像（または切出し画像）中の特定点を軸にして，上記射影情報作成用窓を所定角度ずつ回転移動させることによって，放射状に複数の射影情報作成用窓を設定するようにしてもよいし，入力画像（または切出し画像）中の特定点を軸にして上記入力画像データ（または切出し画像データ）自体を所定角度ずつ回転移動させることによって，放射状に複数の射影情報作成用窓が設定されるようにしてもよい。

設定した射影情報作成用窓内の画像部分のそれぞれについて射影情報が作成される。作成される射影情報は，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られるものである。

射影情報作成用窓は，上述のように幅と高さを持ち，幅方向が放射状方向に対応する。射影情報作成用窓内の画像部分には，幅方向画素（行方向画素）と高さ方向画素（列方向画素）が含まれる。入力画像（または切出し画像）中の特定点から放射状方向への単位画素位置ごとの画素情報の加算とは，換言すれば，射影情報作成用窓内の画像部分について，射影情報作成用窓の高さ方向（列方向）に，単位画素ごとに，画素情報を加算することを意味する。単位画素は１画素であっても，複数画素であってもよい。

画素情報は，単位画素位置ごとのＹＣｒＣｂデータ（輝度データ（Ｙ），赤色差データ（Ｃｒ）および青色差データ（Ｃｂ）），ＲＧＢデータ等の画像の明るさ（濃度）および色を表すデータである。たとえば，ＹＣｒＣｂデータを例にとると，作成される射影情報は，単位画素位置ごとの輝度データ（Ｙ）の加算値と，単位画素ごとの赤色差データ（Ｃｒ）の加算値と，単位画素ごとの青色差データ（Ｃｂ））の加算値とからなる。たとえば，単位画素を１画素とし，射影情報作成用窓の幅が128 画素とすると，単位画素位置ごとの画素情報の加算値である輝度データ（Ｙ）の加算値，赤色差データ（Ｃｒ）の加算値および青色差データ（Ｃｂ））の加算値は，いずれも128 個の加算値の集合（加算画素情報）になる。

上記射影情報作成手段によって得られた単位画素位置ごとの射影情報に基づいて，入力画像（切出し画像）中の特定点から放射状に設定された複数の射影情報作成用窓のそれぞれにおいて，特定画像と特定画像以外の画像の境界位置が決定されることになる。決定された複数の隣接する境界位置を結ぶことによって，特定画像領域が確定される。決定された複数の隣接する境界位置を結ぶことによって特定画像領域を確定することに代えて，複数の射影情報作成用窓内の画像部分のそれぞれについて決定した境界位置よりも内側の画像部分を組合せた画像部分を，特定画像領域としてもよい。

この発明によると，入力画像（または切出し画像）中の特定点から放射状に，所定形状の複数の射影情報作成用窓（幅と高さを持つ）が設定され，複数設定された射影情報作成用窓内の画像部分ごとに，特定画像と特定画像以外の画像の境界位置が決定される。境界位置は，単位画素位置ごとの射影情報（入力画像（切出し画像）中の特定点から放射状方向への単位画素位置ごとの画素情報を加算して得られた情報）に基づく。たとえば，射影情報を表す値が大きく変位する画素位置が，境界位置と決定される。射影情報作成用窓内の画像部分ごとに射影情報を作成し，作成した射影情報を用いて境界位置を決定することによって，たとえ射影情報作成用窓内の画像部分の一部に不鮮明な境界（境界位置が不明確な画素）が含まれていたとしても，射影情報作成用窓内のそれ以外の画像部分において境界が検出できれば，ほぼ正確に，特定画像と特定画像以外の画像の境界位置を決定（検出）することができる。不鮮明な境界（境界位置が不明確な画素）の影響を排除することができる。

好ましくは，特定画像領域区画装置は，上記射影情報作成手段によって作成された複数の射影情報のそれぞれを，単位画素位置ごとの，射影情報に含まれる加算画素情報と特定画像中に含まれるべき特定画素情報との距離を表すデータに変換する変換手段をさらに備える。この場合，上記境界位置決定手段は，上記変換手段によって得られた単位画素位置ごとの距離データに基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定する。

たとえば，射影情報が，入力画像（切出し画像）から得られた輝度データ（Ｙ）の加算値，赤色差データ（Ｃｒ）の加算値および青色差データ（Ｃｂ）の加算値（加算画素情報）からなるとすると，単位画素位置ごとに，これらの加算値（加算画素情報）と特定画像中に含まれるべき（理想的な）特定画素情報（当然に，輝度データ（Ｙ），赤色差データ（Ｃｒ）および青色差データ（Ｃｂ）から構成される）との距離（色空間（明るさを含む）における距離）が算出される。たとえば，射影情報が，単位画素位置ごとの，特定画素情報（特定の明るさおよび特定の色を表す情報）からの距離を表すデータの集合に変換される。変換手段によって得られた単位画素位置ごとの距離データに基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置が決定される。たとえば，隣接する複数の画素位置における複数の距離データに基づいて，距離データの変動が最も大きい画素位置を，特定画像と特定画像以外の画像の境界位置と決定する。

色空間（明るさを含む）における距離に基づいて境界位置を決定することによって，少しでも色（および明るさ）が異なれば，境界位置を検出することができる。したがって，確定されるべき特定画像領域に隣接して特定画像に似た色（および明るさ）の画像が存在している場合であっても，ほぼ正確に境界位置を検出することができる。

好ましくは，上記射影情報作成用窓は，隣接する他の射影情報作成用窓と重なり合うように設定される。一の方向に設定された射影情報作成用窓内の画像部分について，たとえ境界位置の決定（検出）に失敗したとしても，隣接する他の方向の射影情報作成用窓内の画像部分について正しい境界位置の決定（検出）に成功すれば，失敗した（不正確な）境界位置による最終的に得られる特定画像領域に対する影響を，少なくすることができる。もちろん，決定された境界位置付近の画素情報が特定画像中に含まれるべき画素情報（特定画素情報）と全く異なる場合には，その境界位置を，最終的に特定画像領域を確定するときの隣接する境界位置の結び付けから排除すれば，決定（検出）に失敗した境界位置による，最終的に得られる特定画像領域に対する影響を，完全に排除することができる。

図１は，画像処理装置１の電気的構成を示すブロック図である。図２は画像処理装置１の動作の流れを示すフローチャートである。

画像処理装置１には，入力装置２（キーボード，マウス等）が接続されている。入力装置２が用いられて，次に説明する３つのパラメータ（顔検出最小サイズ，顔検出最小スコアおよび顔抽出最大個数）が入力される。また，画像処理装置１には記憶装置３（ハードディスク，フレキシブル・ディスク，ＣＤ−ＲＯＭ，メモリ・カード等）が接続されている。記憶装置３に記憶されている画像データが読出され，読出された画像データが画像処理装置１に与えられる（以下，記憶装置３から読出されて画像処理装置１に与えられる画像データを「入力画像データ」と言い，入力画像データによって表される画像を「入力画像」と呼ぶ）（ステップ21）。

入力装置２から入力される顔検出最小サイズおよび顔検出最小スコアは，顔検出回路11に与えられる。顔抽出最大個数は顔選択回路12に与えられる。

顔検出回路11は，パターンマッチングによって，入力画像中に，顔画像が含まれているかどうかを検出する。人物の顔は，おおよそ楕円形の形状を持つので，楕円形の形状を持つパターン（一般には複数）を用意し，このパターンを用いてパターンマッチングを行う。

顔検出回路11に与えられる顔検出最小サイズは，顔検出処理において検出すべき最小の顔画像の大きさを示す。顔検出最小サイズよりも小さいサイズの顔画像は，検出対象から除外される。画素数または与えられる画像データによって表される画像の大きさに対する比によって，顔検出最小サイズが入力（指定）される。

顔検出回路11では，パターンマッチングによって得られるマッチングスコアが所定値以上である場合に，顔画像が検出されたことが判断される。顔検出回路11に与えられる顔検出最小スコアは，この所定値（顔画像が検出されたと判断するマッチングスコアの最低値）を表す。

顔抽出最大個数は，入力画像中に複数の顔画像が含まれており，複数の顔画像が顔検出回路11によって検出された場合に，その中から抽出するべき（その後の処理を行うべき）顔画像を選択するために用いられる。顔検出回路11によって検出された顔画像の個数が，顔抽出最大個数よりも多い場合に，その中から顔抽出最大個数の顔画像が選択され，選択された顔画像についての処理が行なわれる。

顔検出最小サイズ，顔検出最小スコアおよび顔抽出最大個数は，顔検出処理およびその後の画像処理装置１における処理の精度および処理速度に影響を与える。顔検出最小サイズが大きいと顔検出処理が高速になり，小さいと顔検出処理の精度が高精度になる。顔検出最小スコアが大きいと顔検出処理が高速になり，小さいと顔検出処理が高精度になる。顔抽出最大個数が大きいと，入力画像中に多数の顔画像が含まれ，かつそれらが顔検出回路11によって検出された場合に多くの顔画像について，その後の画像処理装置１における処理が行われることになり，小さいと画像処理装置１の処理速度が高速になる（処理終了に至るまでの時間が短くなる）。画像処理装置１の処理速度および処理精度の両方の観点から，適切な（所望の）顔検出最小サイズ，顔検出最小スコアおよび顔抽出最大個数を入力すればよい。

上述のように，記憶装置３から読出され，画像処理装置１に与えられた入力画像データは，顔検出回路11に入力する。顔検出回路11では，上述のように，パターンマッチングによって，入力画像に含まれる人物の顔を表す画像（顔画像）を検出する（ステップ22）。顔検出最小スコア以上のマッチングスコアが得られると，顔検出回路11は入力画像に顔画像が含まれることを判断する。顔検出回路11から出力される検出結果を表すデータには，検出された顔画像のおおよその中心を表すデータ（たとえば，相対的な座標），および顔画像のおおよその大きさを表すデータ（パターンマッチングに用いられたパターンの大きさに基づく）が含まれる。

入力画像に複数の顔画像が含まれている場合には，顔検出回路11によって複数の顔画像が検出されることもある。この場合，顔検出回路11からは，検出された複数の顔画像のそれぞれについての，中心を表すデータおよびその大きさを表すデータが出力される。以下の説明では，入力画像中に複数の顔画像が含まれており，複数の顔画像が顔検出回路11によって検出された場合を前提に説明する。

顔検出回路11から出力されるデータ（検出された複数の顔画像のそれぞれについての，中心を表すデータおよび大きさを表すデータ）は顔選択回路12に与えられる。顔検出回路11から出力されるデータの数によって，検出された顔画像の個数が分かる。顔選択回路12は，検出された顔画像の個数と上述の顔抽出最大個数とを比較する（ステップ23）。

顔選択回路12は，検出された顔画像の個数が顔抽出最大個数よりも多い場合に，検出された顔画像の中から，その後の処理を行うべき顔画像を選択する回路である。したがって，検出された顔画像の個数が顔抽出最大個数以下である場合には，顔選択回路12は特段の処理を行わない（ステップ23でNO）。

検出された顔画像の個数が顔抽出最大個数よりも多い場合，顔選択回路12は検出された顔画像の中から顔抽出最大個数の顔画像を選択する処理を実行する（ステップ23でYES ，ステップ24）。

顔選択回路12では，たとえば，検出された複数の顔画像のそれぞれの中心と，入力画像の中心との距離を算出し，算出された距離が短いものから順に顔抽出最大個数分の顔画像を選択する。入力画像の中央に位置する画像ほど，重要な画像であるという経験則に基づいた画像選択である。もちろん，距離を用いた顔画像の選択以外にも，顔画像の大きさ，パターンマッチングのマッチングスコアの大きさ，その他の観点から顔画像を選択することもできる。

顔選択回路12によって選択された顔画像を特定するデータ（検出された顔画像の個数が顔抽出最大個数よりも多い場合である），検出された複数の顔画像のそれぞれについての，中心を表すデータおよび大きさを表すデータが，顔選択回路12から顔近傍切出し回路13に与えられる。また，顔検出回路11に与えられた入力画像データと同じ画像データが，記憶装置３から顔近傍切出し回路13に与えられる。

顔近傍切出し回路13は，顔選択回路12から与えられた検出された複数の顔画像のそれぞれについての，中心を表すデータおよび大きさを表すデータを用いて，入力画像データによって表される入力画像に含まれる顔画像を含む矩形領域（以下，顔近傍領域という）を切出す（区画する）（ステップ25）。

図３(A) は入力画像Ｇの一例を，図３(B) は入力画像Ｇから切出された（区画された）３つの矩形の顔近傍領域ｇ１，ｇ２，ｇ３をそれぞれ示している。顔近傍領域ｇ１，ｇ２，ｇ３の位置は，顔選択回路12から与えられた複数の顔画像のそれぞれについてのおおよその中心を表すデータに基づく。顔近傍領域ｇ１，ｇ２，ｇ３の大きさは，顔選択回路12から与えられた複数の顔画像のそれぞれについてのおおよそ大きさを表すデータに基づく。顔近傍領域ｇ１，ｇ２，ｇ３のそれぞれについて，次に説明する処理が行われる。以下，図３(B) に示す顔近傍領域ｇ１を具体的に取りあげて説明する。図３(B) に示す顔近傍領域ｇ１において，人物の背景は，白色であることを前提とする。

顔近傍領域ｇ１を表す画像データが，顔近傍領域切出し回路13から顔サイズ正規化処理回路14に与えられる。顔サイズ正規化処理回路14では，顔近傍領域ｇ１を表す画像データを，所定のサイズ（たとえば，高さ256画素，幅256画素）に拡大または縮小する（ステップ26）。顔サイズ正規化処理回路14からは，所定サイズの画像データが出力される。顔サイズ正規化処理回路14に与えられた画像データが既に所定サイズのものであれば，顔サイズ正規化処理回路14では特段の処理は行われないのは言うまでもない。

顔サイズ正規化処理回路14から出力された，サイズが正規化された顔近傍領域ｇ１を表す画像データは，射影情報作成回路15に与えられる。

射影情報作成回路15は，その後段に設けられている肌の色らしさ変換回路16および境界検出回路17と協働して，顔近傍領域を表す画像データによって表される画像から，人物の顔領域を抽出（区画）する（顔領域とその他の領域との境界を決定する）ための処理を行う。

射影情報作成回路15の処理を，図４(A) 〜図６(A) を参照しつつ，説明する。

射影情報作成回路15は，サイズが正規化された顔近傍領域を表す画像データの幅方向サイズの半分の幅方向サイズを持ちかつ所定の高さ方向サイズを持つ，幅方向に長い矩形の射影情報作成窓ｗを用いて，射影情報（射影情報については，後述する）を作成する。射影情報作成窓ｗは，顔近傍領域の中心を軸にして所定角度ずつ回転移動し，各角度位置のそれぞれにおいて射影情報作成窓ｗを用いた射影情報が作成される。

図４(A) は，顔近傍領域ｇ１と射影情報作成窓ｗとの位置関係を示している。図４(A) において，顔近傍領域ｇ１に重合わされて示されている複数の矩形領域が，射影情報作成窓ｗである。射影情報作成窓ｗは，その一の短辺の中央が，顔近傍領域ｇ１の中心に合わせられている（この位置は固定である）。射影情報作成窓ｗを，顔近傍領域ｇ１の中心を軸にして，たとえば５．２６度づつ回転移動させたとすると，顔近傍領域ｇ１上における射影情報作成窓ｗは６４方向を向く。６４方向の角度位置のそれぞれにおいて，６４個の射影情報が作成される（図４(A) においては，分かりやすくするために，すべての角度位置（６４方向）における射影情報作成窓ｗは示されていない）。図４(B) は，５．２６度づつ射影情報作成窓ｗを回転移動させている様子を示す（図４(B) には，隣合う３つの角度位置における射影情報作成窓ｗ１，ｗ２，ｗ３が示されている）。隣合う角度位置の射影情報作成窓ｗは半分以上重なりあう。

各角度位置において作成される射影情報の作成の様子が，図５(A) および(B) に示されている。

射影情報は，次のようにして作成（算出）される。

（１）射影情報作成窓ｗ内の画像を構成する各画素ごとに，輝度値（Y）,赤色差値（Cr）および青色差値（Cb）値を取得する。たとえば，射影情報作成窓ｗの高さ方向（短辺）が24画素，幅方向（長辺）が128画素とすると（図５(A) 参照），２４行１２８列の，合計3072個の輝度値（Y），赤色差値（Cr）および青色差値（Cb）値が格納された３つのテーブル・データが得られる。図５(B) には，輝度値（Y）が格納されたテーブル・データが示されている。赤色差値（Cr）および青色差値（Cb）値についても，同様のテーブル・データが得られるのは言うまでもない。

（２）得られた３つのテーブル・データのそれぞれについて，列ごとの値が加算（合計）される。たとえば，図５(B) に示す２４行１２８列の，合計3072個の輝度値（Y）が格納されたテーブル・データが得られた場合には，１２８個の輝度値(Y)の列方向合計値が得られる。この１２８個の輝度値（Y）の列方向合計値が，輝度値についての射影情報である。赤色差値（Cr）および青色差値（Cb）値についても，同様に射影情報（赤色差値（Cr）についての射影情報，青色差値（Cb）値についての射影情報）が得られる（ステップ27）。

図６(A) は縦軸を輝度値（Y）の列方向合計値，横軸を顔近傍領域の中心からの距離ｘとして，上述のようにして得られた輝度値についての射影情報をグラフ化して示したものである。図６(A) に示すグラフ（輝度値についての射影情報）において，ｘ１は，射影情報作成窓ｗ内の画像部分における肌領域（肌色）と髪（黒色）とのおおそよの境界位置（顔近傍領域の中心からの距離）を示している。ｘ２は，射影情報作成窓ｗ内の画像における髪（黒色）と背景（白色）のおおそよの境界位置を示している。

赤色差値（Cr）についての射影情報をグラフ化したもの，および青色差値（Cb）値についての射影情報をグラフ化したものの図示は省略するが，一般には，輝度値についての射影情報と同じようなグラフとなる。

図６(A) に示すグラフ（図５(B) の輝度値についての射影情報）から明らかなように，肌色領域とそれ以外の領域のおおよその境界位置，すなわち，射影情報作成窓ｗ内の画像における顔領域とそれ以外の領域のおおよその境界位置を，射影情報そのものを利用することによって検出することができる。たとえば，輝度値（Ｙ）がマイナス方向に大きく変動する中心からの距離（図６(A) に示すグラフにおいては，中心からの距離ｘ１）を，顔領域とそれ以外の領域のおおよその境界位置として決定すればよい。

検出精度をさらに向上させるために，この実施例では，射影情報そのものを利用した境界位置の検出に代えて，次のようにして境界位置を検出する。

顔近傍領域の中心からの距離ｘと射影情報（Y,CrおよびCb値のそれぞれの列方向合計値）との関係（図６(A) ）を，顔近傍領域の中心からの距離ｘと肌らしさを表す値との関係に変換する処理が行われる。この変換処理が肌の色らしさ変換回路16によって行われる（ステップ28）。

肌の色らしさ変換回路16によって行われる，顔近傍領域の中心からの距離ｘと射影情報（Y,CrおよびCb値の列方向合計値）との関係を，顔近傍領域の中心からの距離ｘと肌らしさを表す値との関係に変換する処理は，次の式によって実現される。

ここで，Y(skin)，Cr(skin)，Cb(skin)は，それぞれ理想的な肌色を表す輝度値（Y），赤色差値（Cr）および青色差値（Cb）である。なお，式１において，Y(0)＝Y(skin)，Cr(0)＝Cr(skin)，Cb(0)＝Cb(skin)とする。

上記の式１に基づいて，輝度値(Y)，赤色差値（Cr）および青色差値（Cb）についての射影情報を変換して得られた値Ｐ(x) に基づいて表されるグラフの一例を，図６(B) に示す。

式１から明らかなように，変換後の肌の色らしさを表すＰ（ｘ）（図６(B) ）は，理想的な肌色からの距離を表すものになる。理想的な肌色の場合，変換後の肌の色らしさＰ（ｘ）は０になる。理想的な肌色から遠ざかるほど，変換後の肌の色らしさＰ（ｘ）はマイナスの大きい値になる。

ここで，肌色と肌色以外の色との境界位置（顔近傍領域の中心からの距離）は，次に示す式２によって得られる最大値を算出するｘ（顔近傍領域の中心からの距離ｘ）とする。

Ｄ(x) ＝（Ｐ(x-1)＋Ｐ(x-2)＋Ｐ(x-3)）−（Ｐ(x+1)＋Ｐ(x+2)＋Ｐ(x+3)）・・式２
ただし，Ｐ(x-1)⊆Ｓ かつ Ｐ(x-2)⊆Ｓ かつＰ(x-3)⊆Ｓ
Ｓは肌色に近い色集合（図６(B) 参照：Ｓは設定値である）

式２によって，肌色から肌色でない色に（急激に）変化する変化位置（顔近傍領域の中心からの距離ｘ）が決定される。決定された顔近傍領域の中心からの距離ｘが，射影情報作成窓ｗ内の画像における肌色と肌色でない色との境界位置，すなわち射影情報作成窓ｗ内の画像部分における顔領域とそれ以外の領域との境界位置と決定される。式２を用いた境界位置の検出（決定）処理が，境界検出回路17によって行われる（ステップ29）。

検出すべき境界位置は，肌色から肌色以外の色に移り変わる境界位置である。射影情報（図６(A) に示すグラフ）に基づく判断では，たとえば，背景に青色から赤色へ変化する画像が含まれているとすると，青色から赤色への境界位置も，肌色から肌色以外の色に移り変わる境界位置と同様に評価されてしまう可能性が高く，また，顔領域の背景に肌色（または肌色に近い色）の物体の画像が存在すると，顔領域とそれ以外の領域との境界位置の検出が失敗してしまう可能性があるが，肌の色らしさを表すデータを用いることによって，そのような可能性を排除することができ，境界位置の検出精度が向上する。

上述の境界位置が，上述した６４方向のそれぞれの角度位置において検出（決定）される（ステップ30でNO ，ステップ27〜ステップ29）。６４個の境界位置が検出（決定）されることになる。図７(A) に，各角度位置において検出（決定）された境界位置を，×によって示す（分かりやすくするために，図７(A) には，６４個のすべての境界位置を示してはいない）。

境界検出回路17において，６４方向の角度位置においてそれぞれ検出（決定）された６４個の境界位置を表すデータ（座標データ）と，顔近傍領域ｇ１の画像データがマスク作成回路18に与えられる（ステップ30でYES）。マスク作成回路18は，隣合う境界位置を結ぶことによって規定される領域の外側をマスクした個別マスク画像（図７(B) ）を表す画像データを作成する（ステップ31）。隣合う境界位置を結ぶことによって規定される領域（内側領域）が，画像処理装置１によって得られる，顔近傍領域ｇ１に含まれる顔画像についての顔画像領域である。もちろん，決定された境界位置付近の画像部分に，顔領域画像中に含まれるべき肌色が全く含まれていない場合（たとえば，境界位置の検出（決定）に失敗した場合である）には，その境界位置を無視して，顔画像領域を確定させてもよい。

図３(A)，(B)に示す画像の場合，顔近傍領域ｇ１の他に，顔近傍領域ｇ２および顔近傍領域ｇ３についても，上述の処理が行われることになる（ステップ32でNO）。顔近傍領域ｇ２および顔近傍領域ｇ３のそれぞれについての個別マスク画像データが作成される。

すべての顔近傍領域についての処理が終了すると（ステップ32でYES ），個別マスク画像データが合成されて出力される（ステップ33）。図３(A) ，(B) に示す画像について，最終的にマスク作成回路18から出力されるマスク画像データによって表される画像を，図８に示す。

上述した実施例では，境界検出回路17において，６４方向の角度位置においてそれぞれ検出（決定）された６４個の境界位置を表すデータ（座標データ）をマスク作成回路18に与え，６４個のすべての境界位置を表すデータが揃った後に，マスク作成回路18において，隣合う境界位置を結ぶことによって規定される領域の外側をマスクした個別マスク画像を表す画像データを作成しているが（図７(A) および図７(B) 参照），各角度位置において，射影情報作成窓ｗ内の画像部分についてのマスク画像データをそれぞれ作成するようにしてもよい。図９(A) は，ある角度位置において一つの境界位置ｅが検出（決定）された様子を示している。図９(B) は，ある角度位置において一つの境界位置が検出（決定）された後に作成されるマスク画像データによって表される画像（窓内マスク画像）を示している。この場合には，検出（決定）された境界位置ｅよりも外側の領域がマスク領域とされる。６４個の窓内マスク画像を表す画像データが合成（合体）されて，個別マスク画像を表すデータが作成される。

上述した実施例では，射影情報作成窓ｗは，顔近傍領域の中心を軸にして回転移動するが，顔近傍領域の中心とは異なる位置を軸にして回転移動させてもよい。顔近傍領域に含まれる人物の顔画像に基づいて，人物の両目および口の位置を検出し，検出された両目および口を結ぶ三角形領域内の任意の位置に，射影情報作成窓ｗの回転軸を設定するようにしてもよい。

また，上述した実施例では，射影情報作成窓ｗを５．２６度づつ回転移動させることによって，６４方向のそれぞれについて射影情報を作成して境界位置を検出しているが，回転させる角度は，射影情報作成窓ｗの大きさ（特に高さ方向），隣り合う射影情報作成窓ｗ同士の重なりの割合等を考慮して適宜定めればよい。また，射影情報作成窓ｗの回転移動することに代えて，入力画像データ（顔近傍領域を表す画像データ）自体を回転移動させてもよいのは言うまでもない。

さらに，上述した実施例では，幅方向に長い矩形の射影情報作成窓ｗを用いているが，矩形形状に限らず，台形の射影情報作成窓，扇型の射影情報作成窓，その他の形状の射影情報作成窓を用いるようにしてもよい。矩形以外の射影情報作成窓を用いる場合には，上述の列方向合計値は，列方向の画素数に応じて正規化された値に補正される。

画像処理装置１は，上述した実施例のように，ハードウエア回路によって実現することもできるし，その一部または全部を，ソフトウエア（プログラム）によって実現することもできる。

画像処理装置の電気的構成を示すブロック図である。 画像処理装置の処理の流れを示すフローチャートである。 (A) は入力画像の一例を，(B) は入力画像と入力画像から切出される顔近傍切出し領域とを示す。 (A) は顔近傍領域画像と射影情報作成窓の位置関係を，(B) は射影情報作成窓が回転移動する様子をそれぞれ示す。 (A) は射影情報作成窓内の画像部分を，(B) は射影情報作成窓内の画像を構成する各画素ごとの輝度値が格納されたテーブルおよび輝度値についての射影情報を，それぞれ示す。 (A) は輝度値についての射影情報を表すグラフを，(B) は肌の色らしさ変換処理後のグラフを，それぞれ示す。 (A) は顔近傍領域画像と境界位置との関係を，(B) は個別マスク画像をそれぞれ示す。 マスク画像を示す。 (A) は射影情報作成窓内の画像部分と境界位置との関係を，(B) は窓内マスク画像をそれぞれ示す。

符号の説明

１ 画像処理装置
２ 入力装置
３ 記憶装置
11 顔検出回路
12 顔選択回路
13 顔近傍領域切出し回路
14 顔サイズ正規化回路
15 射影情報作成回路
16 肌の色らしさ変換回路
17 境界検出回路
18 マスク作成回路

Claims (11)

1. 与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する特定画像検出手段，
   上記特定画像検出手段によって特定画像が検出された場合に，検出された特定画像を含む画像データによって表わされる画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定し，設定した複数の射影情報作成用窓内の画像部分のそれぞれについて，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られる射影情報を作成する射影情報作成手段，
   上記射影情報作成手段によって得られた単位画素位置ごとの射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定する境界位置決定手段，および
   上記境界位置決定手段によって決定された複数の隣接する境界位置を結ぶことによって，特定画像領域を確定させる特定領域確定手段，
   を備えた特定画像領域区画装置。
2. 上記射影情報作成手段によって作成された複数の射影情報のそれぞれを，単位画素位置ごとの，射影情報に含まれる加算画素情報と特定画像中に含まれるべき特定画素情報との距離を表すデータに変換する変換手段をさらに備え，
   上記境界位置決定手段は，
   上記変換手段によって得られた単位画素位置ごとの距離データに基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定するものである，
   請求項１に記載の特定画像領域区画装置。
3. 上記境界位置決定手段は，隣接する複数の画素位置における複数の距離データに基づいて，距離データの変動が最も大きい画素位置を，特定画像と特定画像以外の画像の境界位置と決定するものである，請求項２に記載の特定画像領域区画装置。
4. 上記射影情報作成用窓を，隣接する他の射影情報作成用窓と重なり合うように設定する，請求項１に記載の特定画像領域区画装置。
5. 上記特定画像検出手段によって特定画像が検出された場合に，検出された特定画像を包含する領域を表す画像データを，上記画像データから切出す切出し手段を備え，
   上記射影情報作成手段は，
   上記切出し手段によって切出された画像データによって表わされる切出し画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定するものである，請求項１に記載の特定画像領域区画装置。
6. 上記切出し手段によって切出された画像データによって表される切出し画像中の特定点を軸にして，上記射影情報作成用窓を所定角度ずつ回転移動させることによって，放射状に複数の射影情報作成用窓を設定する，請求項５に記載の特定画像領域区画装置。
7. 上記切出し手段によって切出された画像データによって表される切出し画像中の特定点を軸にして，上記切出し画像データを所定角度ずつ回転移動させることによって，放射状に複数の射影情報作成用窓を設定する，請求項５に記載の特定画像領域区画装置。
8. 与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出し，
   特定画像が検出された場合に，検出された特定画像を含む画像データによって表わされる画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定し，設定した複数の射影情報作成用窓内の画像部分のそれぞれについて，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られる射影情報を作成し，
   作成した単位画素位置ごとの射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定し，
   決定した複数の隣接する境界位置を結ぶことによって，特定画像領域を確定する，
   特定画像領域の区画方法。
9. 作成した複数の射影情報のそれぞれを，単位画素位置ごとの，射影情報に含まれる加算画素情報と特定画像中に含まれるべき特定画素情報との距離を表すデータに変換し，
   特定画像と特定画像以外の画像の境界位置を，変換によって得られた単位画素位置ごとの距離データに基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて決定する，請求項８に記載の特定画像領域の区画方法。
10. 記憶装置から与えられる画像データによって表される画像中に特定画像が含まれているかどうかを検出する処理，
    特定画像が検出された場合に，検出された特定画像を含む画像データによって表わされる画像中の特定点から放射状に，所定形状の複数の射影情報作成用窓を設定し，設定した射影情報作成用窓内の画像部分のそれぞれについて，上記画像中の特定点から放射状方向への単位画素位置ごとに画素情報を加算して得られる射影情報を作成する処理，
    作成した単位画素位置ごとの射影情報に基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて，特定画像と特定画像以外の画像の境界位置を決定する処理，および
    決定した複数の隣接する境界位置を結ぶことによって，特定画像領域を確定する処理，
    をコンピュータに実行させるプログラム。
11. 作成した複数の射影情報のそれぞれを，単位画素位置ごとの，加算画素情報と特定画像中に含まれるべき特定画素情報との距離を表すデータに変換する処理をさらにコンピュータに実行させ，
    特定画像と特定画像以外の画像の境界位置を，上記変換処理によって得られた単位画素位置ごとの距離データに基づいて，複数の射影情報作成用窓内の画像部分のそれぞれについて決定する，
    請求項10に記載のプログラム。
    
    

Images