JP2010166263A - 画像処理装置および画像処理方法、ならびにプログラム - Google Patents

Abstract

【課題】肌色検出の精度を向上し、高画質化を実現する。
【解決手段】画像中に含まれる肌色領域を検出し、当該肌色領域の符号量を増やして高画質に符号化処理する画像処理装置であって、画像信号を入力する画像入力手段と、前記画像信号に係る入力画像から人物の顔領域を検出する顔検出手段と、前記検出された顔領域の顔特徴量を抽出する特徴量抽出手段と、前記検出された顔領域に応じて前記入力画像から肌色領域を検出する肌色検出手段と、前記抽出された顔特徴量に基づいて、前記肌色検出手段により肌色領域を検出するための閾値を設定する設定手段と、を有する。
【選択図】図２

Description

本発明は、画像から人物の肌色領域を検出する画像処理技術に関する。

近年のマルティメディアの発展に伴い様々な動画像圧縮符号化方式が提案されており、代表的なものに、ＭＰＥＧ−１，２，４やＨ．２６Ｌがある。ＭＰＥＧ方式に準拠して画像の圧縮・符号化を行う場合、その符号量は、画像自体の特性である空間周波数特性やシーン及び量子化パラメータに応じて大きく異なる場合が多い。このような符号化特性を実現する上で良好な画質の復号化画像を得られるようにするための重要な技術が符号量制御や量子化制御であり、ＴＭ５（Test Model 5）と呼ばれる方式が一般的に使用されている。

ＴＭ５方式は、大きく３つのステップに分けて実行される。ステップ１は、今から符号化を行うピクチャの目標符号量を決定する。ステップ２は、ピクチャ内で実際の発生符号量が目標符号量に近づくように、マクロブロックについて、量子化パラメータの参照値を設定する。

ステップ３は、視覚特性、即ち、復号化された画像の画質が良好になるように、符号化対象のマクロブロックの空間アクティビティに基づいて、量子化パラメータを決定する処理を実行する。具体的には、マクロブロックにおける８ｘ８のサブブロックにおける空間アクティビティを算出し、ステップ２で算出した量子化パラメータの参照値に乗ずることで量子化に使用する量子化パラメータを決定する。この処理により、視覚的劣化が目立ちやすい平坦部（空間アクティビティが低い）に符号量が多く割り当てられるため、画質の劣化を抑えた符号量制御ならびに量子化制御が実現できる。

一方、ステップ３に、人物の肌色を検出して、肌色と検出された領域に対して多くの符号量を割り当てる処理を組み入れることで注視領域に対する画質の向上を図る手法も提案されている。

肌色検出手法に関しては、その多くは閾値を用いた検出方法であり、過去に様々な提案がされている。その理由は、人物の肌色は色領域の中でも特定の領域に存在することがわかっているためである。以下に肌色検出の一例について説明する。

一般的な肌色検出手法として、所定サイズのブロックに含まれる各画素の色差の平均値を算出し、閾値（ｔｈ０〜ｔｈ１）内に含まれる場合、そのブロックを肌色であると判定する手法がある。

また、他の肌色検出手法として、ブロック内の各画素が持つ色差の値が所定の閾値内（ｔｈ２〜ｔｈ３）に含まれるか判定して、ｔｈ１〜ｔｈ２にある画素が別の閾値（ｔｈ４）を超えた場合、ブロックは肌色が多く含まれていると判定する手法がある。なお、このブロックは符号化（量子化）との整合性を利用してマクロブロックとしてもよい。

また、別の手法として色情報をＲＧＢ空間からＨＩ（Ｖ）空間に変換し、ＨとＩで予め決められた閾値により肌色を抽出する方法（特許文献１参照）や、この手法の応用としてデジタルカメラによるホワイトバランス設定や美肌処理がある。
特開２０００−０４８１８４号公報

しかしながら、上記閾値を用いた肌色検出では、照明条件や気候の変化等の影響によって人物の肌色を正確に検出することが難しくなる。暗い室内や曇りの日には撮像装置に入力される光信号が弱いため、装置内部で信号の増幅（ゲインアップ）を行うので、実際の肌色とは異なる色空間となる場合がある。

また、自然界には木目の机や紅葉といった人物の目には肌色に見えなくても、人物の肌色に近い色空間を持つ物体が数多く存在する。このため、本来肌色として検出したい領域が検出できなかったり、肌色でない領域を肌色と誤検出してしまうことで、肌色の領域よりも肌色以外の領域に符号量が多く割り当てられてしまい、画質低下を引き起こすおそれもある。

本発明は、上記課題に鑑みてなされ、肌色検出の精度を向上し、高画質化を実現するものである。

上記課題を解決するために、本発明に係る画像処理装置は、画像中に含まれる肌色領域を検出し、当該肌色領域の符号量を増やして高画質に符号化処理する画像処理装置であって、画像信号を入力する画像入力手段と、前記画像信号に係る入力画像から人物の顔を検出する顔検出手段と、前記検出された顔の顔特徴量を抽出する特徴量抽出手段と、前記検出された顔に応じて前記入力画像から肌色領域を検出する肌色検出手段と、前記抽出された顔特徴量に基づいて、前記肌色検出手段により肌色領域を検出するための閾値を設定する設定手段と、を有する。

また、本発明に係る画像処理方法は、画像中に含まれる肌色領域を検出し、当該肌色領域の符号量を増やして高画質に符号化処理する画像処理方法であって、画像信号を入力する画像入力工程と、前記画像信号に係る入力画像から人物の顔を検出する顔検出工程と、前記検出された顔の顔特徴量を抽出する特徴量抽出工程と、前記検出された顔に応じて前記入力画像から肌色領域を検出する肌色検出工程と、前記抽出された顔特徴量に基づいて、前記肌色検出工程にて肌色領域を検出するための閾値を設定する設定工程と、を有する。

本発明によれば、肌色検出に用いる閾値を顔検出結果から得られる顔特徴量を用いてダイナミックに変化させることで、肌色検出精度を向上し、高画質化を実現できる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
先ず、本発明に係る第１の実施形態について図１〜図５を参照して説明する。

図１は、本発明に係る第１の実施形態の画像処理装置の全体構成を示すブロック図である。図２は本実施形態の画像処理装置による画像処理方法示すフローチャートである。図３は顔検出処理と肌色検出処理について説明する図である。図４は顔検出されない画像を例示する図である。図５は肌色検出領域の設定方法について説明する図である。

本実施形態の画像処理装置は、符号化方式としてＭＰＥＧ（Moving Pictures of Experts Group）やＨ．２６４／ＡＶＣ（Advanced Video Coding）を適用するデジタルビデオカメラである。また、本実施形態に係る画像処理装置は、画像中に含まれる肌色領域を検出し、当該肌色領域の符号量を増やして高画質に符号化処理する機能を有する。

図１において、１００〜１１０が主にカメラ処理系を構成するブロックであり、１２０〜１３７が主に記録処理系を構成するブロックである。

カメラ処理系のうち、フォーカスレンズを含む結像光学系１００により、被写体の光学像がＣＣＤやＣＭＯＳなどの撮像素子１０１の受光面に結像され、撮像素子１０１により光電変換されて画像信号が生成される。撮像素子１０１から出力される画像信号はカメラ信号処理部１０２で色分離、ガンマ補正、ホワイトバランス調整等の必要な信号処理が施され、輝度・色差信号を形成してフレームメモリ１０３に格納される。フレームメモリ１０３に格納された輝度・色差信号は、画像変倍部１０４により、任意の画像範囲が読み出され、所定の画素補間処理により、画像の拡大／縮小処理を行うと共に、所定の記録フォーマットに変換される。

また、カメラ処理系には顔検出部１０６が設けられ、カメラ信号処理部１０２からの出力信号ならびに画像変倍部１０４で所定の記録フォーマットに変換された信号のいずれかが第１のセレクタ１０５によって選択的に入力される。

第１のセレクタ１０５は顔検出部１０６の性能に依存して入力を切り替えるためにあり、画像変倍部１０４で変換された画像サイズがカメラ信号処理部１０２の出力画像サイズよりも小さいと仮定する。顔検出部１０６の処理性能が十分高い場合や高精度で顔検出を行う場合は、入力画像をそのまま顔検出に使用するため、カメラ信号処理部１０２からの出力信号を第１のセレクタ１０５に入力する。逆に、顔検出部１０６の処理性能が十分ではない場合や高い精度が必要ない場合は画像変倍部１０４で所定の記録フォーマットに変換された信号を第１のセレクタ１０５に入力する。本実施形態では、どちらの信号を選択しても良いし、検出する顔の個数などからダイナミックに切り替えても良く、本発明はこの選択方法について特に限定されるものではない。

顔検出部１０６により顔が検出された場合、検出された顔のサイズや位置情報を顔特徴量抽出部１０９に出力する。顔特徴量抽出部１０９では、検出した顔の色情報を抽出してカメラ系コントローラ１１０に出力する。また、上記顔のサイズや位置情報もカメラ系コントローラ１１０に出力され、肌色検出領域の設定に使用される。ここでの処理の詳細は、後段の記録処理系の肌色検出部１３５と合わせて後述する。

なお、顔検出部１０６の検出結果がカメラ処理系のレンズ制御部１０７に出力され、顔領域にピントを合わせるために結像光学系１００を制御する。同様に、カメラ制御部１０８にも顔検出結果が出力され、顔の画質を向上させるための露出補正や美肌処理も合わせて実行する。ただし、本発明を実現する上で、この機能は必須ではない。

次に、記録処理系のうち、カメラ処理系で所定の記録フォーマットに変換された信号が記録処理系の入力部であるフレームメモリ１２０に保持される。フレームメモリ１２０に保持された信号は、フレーム並べ替え部１２１により所定の符号化フォーマットに準拠した順序で符号化ピクチャタイプに応じた並べ替えが実行される。フレーム並べ替え部１２１による並べ替えが終了した画像はブロックに分割される。その後、符号化ピクチャがフレーム内符号化（イントラ符号化）方式の場合は、直交変換部１２３にてマクロブロック内の信号に対して直交変換処理が実行され、量子化部１２４で直交変換係数が量子化される。また、符号化ピクチャがフレーム間符号化ピクチャ（インター符号化）方式の場合は、既に符号化されたピクチャに対して逆量子化部１２５にて逆量子化、逆直交変換部１２６にて逆直交変換処理が実行されたローカルデコード画像を作成する。

次に、動き予測／動き補償部１２７により、これから符号化するピクチャとの動き予測ならびに動き補償が実行され、ローカルデコード画像との差分値が加減算部１２２により算出される。算出された差分値は、直交変換部１２３にて直交変換処理が実行され、量子化部１２４にて直交変換係数が量子化される。

フレーム内符号化およびフレーム間符号化に関わらず量子化部１２４で量子化された量子化信号は可変長符号化部１３１で符号化され、符号化された信号がストリームバッファ１３２で一旦保持された後、ＨＤＤや光ディスク等の記録媒体１３６に記録される。

一方、符号量制御部１３３は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めてＧＯＰ内でまだ符号化されていないピクチャに対するビット量に応じて割り当てる。この割り当てをＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャごとにピクチャ目標符号量が設定される。

量子化制御部１３４は、各ピクチャに対する目標符号量と可変長符号化部１３１から出力される発生符号量とを一致させるための仮想バッファの容量に基づき、フィードバック制御により量子化パラメータを算出する。そして、肌色検出部１３５で肌色と検出したマクロブロックを、上記算出された量子化パラメータよりも小さくするように制御する。量子化パラメータを小さくすることによって、肌色と検出されたマクロブロックでは符号量が増え、高画質となる。

次に、本実施形態における顔検出処理と肌色検出処理について図２のフローと図３〜図５を参照して説明する。

図２において、ＡＣ電源やバッテリーなどから電力が供給され、画像処理装置が起動されると、Ｓ２０１において、先ず、顔検出部１０６が連続して顔を検出しないフレーム数であるＭの値をゼロにリセットする。この時点でカメラ処理系、記録処理系を含む装置の各ブロックが記録スタンバイ状態に移行する。

Ｓ２０２では、画像入力処理として、結像光学系１００、撮像素子１０１、カメラ信号処理部１０２を介して顔検出部１０６に画像が入力される。なお、顔検出部１０６以外の画像信号の流れは上述した通りである。

Ｓ２０３では、顔検出部１０６で顔検出処理を行う。Ｓ２０３で顔を検出した場合はＳ２０４に移行する。顔を検出しなかった場合はＳ２１２に移行するが、ここでの処理は後述する。

Ｓ２０４では、現在のフレームで顔を検出したので連続して顔を検出しないフレーム数Ｍをゼロにリセットする。

Ｓ２０５では、顔検出部１０６で顔と検出された領域に対して、顔のサイズと位置情報から肌色検出を行う肌色検出領域（ＡM0）を設定する。この設定方法について図５を参照して説明する。

図５において、５０１は入力画像、５０２は顔検出部１０６で顔と検出された領域である。５０３は入力画像５０１に対して顔のサイズと位置情報から肌色検出領域の設定を行った画像である。５０４は領域設定を行う過程の領域であり、５０５が肌色検出領域である。

入力画像５０１に対して、顔と検出された領域５０２のサイズと位置情報から、５０４のように顔の位置を基準として下方向に肌色検出領域が設定される。また、一般的に人物の胴体は顔よりも横方向に広いため、５０５のように顔より下の領域を肌色検出領域５０４よりも横方向に広く設定する。なお、肌色検出領域の形状は、５０５のような四角形に限らず、５０６のような台形でも良く、顔のサイズ等に応じて任意に設定可能である。また、顔検出結果から人物の胴体を検出する機能を有していれば、胴体に対して肌色検出領域を設定しても良い。また、本発明は、上述した肌色検出領域の設定方法に限定されない。

図２の説明に戻り、Ｓ２０６ａにおいて、顔検出部１０６で顔と検出された領域に対して顔特徴量抽出部１０９が顔に含まれる色情報を抽出し、Ｓ２０６ｂにおいて、顔特徴量抽出部１０９での抽出結果から肌色検出部１３５に用いる閾値を設定する。ここでの色情報は、ＹＵＶ（ＹＣｂＣｒ）、ＲＧＢ、ＨＳＶ等の色空間情報である。

ここで、色空間としてＹＣｂＣｒを一例とした顔特徴量抽出処理および肌色検出処理について図３を参照して説明する。

図３において、３０１は入力画像であり、入力画像３０１に対して顔検出を行った結果、図５の５０１，５０２と同様に、顔検出領域３０２で顔が検出されたとする。次に、顔検出領域３０２に含まれるＣｂ値のヒストグラムの中で最も多くの画素数を占めるＣｂ値（ピーク値）をＣｂtopとする。Ｃｂtopは、顔検出領域３０２にある顔を構成する肌色に最も近い色であると考えられる。これより、顔検出領域３０２に含まれる顔だけでなく、人物の首、手、足といった肌色もＣｂtopを中心として構成されていると考えられる。よって、Ｃｂtopから所定の範囲内にあるＣｂ値はこの人物の肌色であるとして、肌色検出部１３５で用いるＣｂ値の閾値としてＣｂLM0、ＣｂHM0を設定する（３０３）。ここでの所定の範囲は任意に決定できるものである。また、Ｃｒ値もＣｂ値と同様に閾値としてＣｒLM0、ＣｒHM0を設定する（３０３）。なお、色空間としてＹＣｂＣｒを例示したが、他の色空間の場合はその空間に応じた閾値を設定すればよい。

次に、Ｓ２０７に移行して、顔のサイズと位置情報から設定された肌色検出領域に対して、Ｓ２０６ｂで設定された肌色検出閾値を用いて肌色検出を行う（図３の３０４）。また、肌色検出領域以外の領域に対しては肌色検出を行わない。これにより、肌色が存在しない可能性が高い領域での肌色の誤検出が発生しにくくなる。

一方、Ｓ２０３において顔を検出しなかった場合、Ｓ２１２に移行して顔を検出しないフレーム数であるＭに１を加算して更新する。

Ｓ２１３において、顔を検出しないフレーム数Ｍが所定の期間Ｔ０よりも短い場合はＳ２１４ａに移行し、Ｔ０よりも長い場合はＳ２１５に移行する。

Ｓ２１４ａ，２１４ｂでは、直近の顔検出時（つまりＭ＝０）の肌色検出領域および肌色検出閾値に設定し、Ｓ２０７に移行して肌色検出を行う。これは、図４の４０１のように人物が一時的に横を向いた場合や下を向いた場合、あるいは顔検出部１０６の処理量等の関係で一瞬だけ顔が検出されなかったのであれば、人物自体は画像内に存在すると考えられるためである。

一方、顔を検出しないフレーム数Ｍが所定の期間ＴＯより長い場合は、Ｓ２１５に移行して肌色検出を行わない。これは、図４の４０２のように人物の顔が一瞬だけ検出されなかったのではなく、画像内に人物が存在しないと考えられるためである。

Ｓ２０８において、顔を検出した場合または顔を検出しないフレーム数Ｍが期間ＴＯより短かい場合には、Ｓ２０６ｂまたはＳ２１４ｂで設定された肌色検出閾値に応じて肌色検出を行い、その結果に基づいて入力画像を符号化する。ここでは、量子化制御部１３４は、肌色領域の符号量を肌色以外の領域よりも多く割り当てるように量子化パラメータを決定する。

次に、Ｓ２０９において、符号化された画像信号は記録媒体１３６に保存され、Ｓ２１０において、記録終了が行われない、つまりそのまま記録を継続する場合は、Ｓ２１１に移行する。Ｓ２１１では、現在の肌色検出閾値を保持した上でＳ２０２に移行し、次フレームの画像の入力を受けて上記Ｓ２０２以降の処理を繰り返し実行する。

一方、Ｓ２１０において、記録終了が行われたならば本処理を終了する。

［第２の実施形態］
第２の実施形態は、入力画像内に複数の人物が存在した場合である。

なお、本実施形態の画像処理装置の構成は図１と同様であるので説明は省略する。

図６は第２の実施形態の画像処理方法を説明する図であり、図５の画像内の人物が複数になったものである。

図６において、６０１は入力画像であり、人物Ａと人物Ｂが存在するものとする。６０２は人物Ａに対して顔検出部１０６で顔と検出された領域であり、６０３は入力画像６０１に対して顔のサイズと位置情報から設定された人物Ａの肌色検出領域である。同様に、６０４は人物Ｂに対して顔検出部１０６で顔と検出された領域であり、６０５は入力画像６０１に対して顔のサイズと位置情報から設定された人物Ｂの肌色検出領域である。

第１の実施形態と同様の方法により、入力画像６０１に対して、人物Ａの顔と検出された領域６０２のサイズと位置情報から、６０３のように人物Ａに対する肌色検出領域が設定される。同様に、人物Ｂの顔と検出された領域６０４のサイズと位置情報から、６０５のように人物Ｂに対する肌色検出領域が設定される。

次に、人物Ａの顔に対して顔特徴量抽出部１０９が顔に含まれる色情報を抽出し、肌色検出領域６０３に対して肌色検出閾値の設定を行う。同様に、人物Ｂの顔に対しても肌色検出領域６０５に対して肌色検出に用いる閾値の設定を行う。なお、これら肌色検出領域と閾値の各設定方法は第１の実施形態と同様であるが、これらに限ったものではない。

次に、顔のサイズと位置情報から設定された肌色検出領域に対して、顔の肌色情報から設定された肌色検出閾値を用いて肌色検出を行う（６０６）。また、肌色検出領域以外の領域に対しては肌色検出を行わないようにする。これにより肌色が存在しない可能性が高い領域での肌色誤検出を発生しにくくなる。

その他の処理は第１の実施形態と同様である。また、第２の実施形態では２人の人物を例示したが、３人以上でも良く、顔検出部１０６により検出可能な顔の数に依存するものとする。

［第３の実施形態］
第３の実施形態は、入力画像内に複数の人物が存在しかつ顔検出結果から設定された肌色検出領域が互いに重複している場合である。

なお、本実施形態の画像処理装置の構成は図１と同様であるので説明は省略する。

図７は第３の実施形態の画像処理方法を説明する図であり、図５の画像内の人物について肌色検出領域が重複したものである。

図７において、７０１は入力画像であり、人物Ａと人物Ｂが存在するものとする。７０２は人物Ａに対して顔検出部１０６で顔と検出された領域であり、７０３は入力画像７０１に対して顔のサイズと位置情報から設定された人物Ａの肌色検出領域である。同様に、７０４は人物Ｂに対して顔検出部１０６で顔と検出された領域であり、７０５は入力画像７０１に対して顔のサイズと位置情報から設定された人物Ｂの肌色検出領域である。また、７０６は人物Ａの肌色検出領域７０３と人物Ｂの肌色検出領域７０５が重複した領域である。

第１の実施形態と同様に、入力画像７０１に対して、人物Ａの顔と検出された領域７０２のサイズと位置情報から、７０３のように人物Ａに対する肌色検出領域が設定される。同様に、人物Ｂの顔と検出された領域７０４のサイズと位置情報から、７０５のように人物Ｂに対する肌色検出領域が設定される。

次に、人物Ａの顔に対して顔特徴量抽出部１０９が顔に含まれる色情報を抽出し、肌色検出領域７０３に対して肌色検出閾値の設定を行う。同様に、人物Ｂの顔に対しても肌色検出領域７０５に対して肌色検出に用いる肌色検出閾値の設定を行う。なお、これらの肌色検出領域と閾値の各設定方法は第１の実施形態と同様であるが、これらに限ったものではない。

次に、重複した領域７０６に関する肌色検出閾値の設定方法について説明する。

第１の方法を説明する。７１１は人物Ａの肌色検出領域７０３に設定された肌色検出閾値、７１２は人物Ｂの肌色検出領域７０５に設定された肌色検出閾値、７１３は重複領域７０６に設定された肌色検出閾値をそれぞれ示している。なお、色情報としてＣｂ値を用いている。この場合、肌色検出領域７０３に設定された閾値７１１が、肌色検出領域７０５に設定された閾値７１２よりも広い範囲の肌色を検出できる可能性が高いため、重複領域７０６に設定する肌色検出閾値は、７１２よりも検出範囲が広い７１１と同じ値にする。

第２の方法を説明する。人物Ａの肌色検出領域７０３と人物Ｂの肌色検出領域７０５を比較すると人物Ａの肌色検出領域７０３の方が広い。この場合、重複領域７０６は人物Ａの肌色が占めている可能性が高いため、重複領域７０６に設定する閾値は７１１と同じ値にする。

第３の方法を説明する。７２１は人物Ａの肌色検出領域７０３に設定された肌色検出閾値、７２２は人物Ｂの肌色検出領域７０５に設定された肌色検出閾値、７２３は重複領域７０６に設定された肌色検出閾値をそれぞれ示している。なお、色情報としてＣｂ値を用いている。この場合、肌色検出領域７０３に設定された閾値７２１と肌色検出領域７０５に設定された閾値７２２の両方を含むように、重複領域７０６に対する肌色検出閾値７２３を設定する。これにより人物Ａと人物Ｂの両方の肌色を検出できる可能性が高くなる。

上記重複領域に対する肌色検出閾値の設定方法や個々の肌色検出領域に対する肌色検出閾値の設定方法は特に上述した方法に限定されるものではない。

また、第３の実施形態では２人の人物を例示したが、３人以上でも良く、顔検出部１０６が検出可能な顔の数に依存するものとする。

［他の実施形態］
尚、上述した各実施形態における各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してコンピュータのＣＰＵ（中央演算装置）が実行することによりその機能を実現させるものであってもよい。

また、ＣＰＵがアクセスするメモリとしては、ＨＤＤ、光ディスク、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリが含まれる。あるいは、これらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体から構成されてもよい。

また、上述した各実施形態における各処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ−ＲＯＭやＤＶＤ等の光ディスクや半導体メモリカードといった可搬媒体、或いはコンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。つまり、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明に係る第１の実施形態の画像処理装置の全体構成を示すブロック図である。 本実施形態の画像処理装置による画像処理方法を示すフローチャートである。 顔検出処理と肌色検出処理について説明する図である。 顔検出されない画像を例示する図である。 肌色検出領域の設定方法について説明する図である。 第２の実施形態の画像処理方法を説明する図である。 第３の実施形態の画像処理方法を説明する図である。

１００ 結像光学系
１０１ 撮像素子
１０２ カメラ信号処理部
１０３ フレームメモリ（カメラ処理系）
１０４ 画像変倍部
１０５ 第１のセレクタ
１０６ 顔検出部
１０７ レンズ制御部
１０８ カメラ制御部
１０９ 顔特徴量抽出部
１１０ カメラ処理系コントローラ
１２０ フレームメモリ（記録処理系）
１２１ フレーム並べ替え部
１２２ 加減算部
１２３ 直交変換部
１２４ 量子化部
１２５ 逆量子化部
１２６ 逆直交変換部
１２７ 動き予測／動き補償部
１２８ 加減算部
１２９ フレームメモリ（記録処理系）
１３０ 第２のセレクタ
１３１ 可変長符号化部
１３２ バッファメモリ
１３３ 符号量制御部
１３４ 量子化制御部
１３５ 肌色検出部
１３６ 記録媒体
１３７ 記録処理系コントローラ

Claims (16)

1. 画像中に含まれる肌色領域を検出し、当該肌色領域の符号量を増やして高画質に符号化処理する画像処理装置であって、
   画像信号を入力する画像入力手段と、
   前記画像信号に係る入力画像から人物の顔を検出する顔検出手段と、
   前記検出された顔の顔特徴量を抽出する特徴量抽出手段と、
   前記検出された顔に応じて前記入力画像から肌色領域を検出する肌色検出手段と、
   前記抽出された顔特徴量に基づいて、前記肌色検出手段により肌色領域を検出するための閾値を設定する設定手段と、を有することを特徴とする画像処理装置。
2. 前記顔検出手段は、前記入力画像から人物の顔ならびに前記顔のサイズと位置情報を検出し、
   前記顔特徴量は、前記顔検出手段により検出された顔に含まれる色情報を含み、
   前記肌色検出手段は、前記顔ごとに顔のサイズと位置情報とを用いて肌色検出を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記肌色検出手段は、前記色情報の値が所定の範囲にある領域を肌色領域として検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記肌色検出手段は、前記顔検出手段により顔が検出されない期間が所定の期間より短い場合は、直近の顔検出時に設定された閾値を用いて肌色検出を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記肌色検出手段は、前記顔検出手段により顔が検出されない期間が所定の期間より長い場合、肌色検出を行わないことを特徴とする請求項１に記載の画像処理装置。
6. 前記色情報は、画素が持つ色空間情報であることを特徴とする請求項２に記載の画像処理装置。
7. 前記肌色検出に用いる閾値は、前記顔に含まれる色空間情報のヒストグラムにおけるピーク値から算出されることを特徴とする請求項６に記載の画像処理装置。
8. 前記顔検出手段により前記入力画像から複数の顔が検出された場合、前記設定手段は、検出されたそれぞれの顔から抽出された顔特徴量に基づいて、前記肌色検出手段により肌色領域を検出するための閾値を設定し、
   前記肌色検出手段は、前記閾値に基づいて顔ごとに肌色領域を検出することを特徴とする請求項１に記載の画像処理装置。
9. 肌色の検出領域が重複する場合、重複する各検出領域の肌色検出に用いる閾値のいずれか１つを選択し、前記選択した閾値を用いて前記重複する検出領域の肌色検出を行うことを特徴とする請求項８に記載の画像処理装置。
10. 肌色の検出領域が重複する場合、重複する各検出領域の肌色検出に用いる閾値から検出範囲が最も広くなる閾値を選択し、前記選択した閾値を用いて前記重複する検出領域の肌色検出を行うことを特徴とする請求項８に記載の画像処理装置。
11. 肌色の検出領域が重複する場合、重複する各検出領域の肌色検出に用いる閾値から検出領域が最も広い領域の閾値を選択し、前記選択した閾値を用いて前記重複する検出領域の肌色検出を行うことを特徴とする請求項８に記載の画像処理装置。
12. 肌色の検出領域が重複する場合、重複する各検出領域の肌色検出に用いる閾値から新たな閾値を設定し、前記新たに設定した閾値を用いて前記重複する検出領域の肌色検出を行うことを特徴とする請求項８に記載の画像処理装置。
13. 肌色の検出領域が重複する場合、重複する各検出領域の肌色検出に用いる閾値から検出範囲が最も広くなる新たな閾値を設定し、前記新たに設定した閾値を用いて前記重複する検出領域の肌色検出を行うことを特徴とする請求項８に記載の画像処理装置。
14. 被写体の光学像から画像信号を生成する撮像手段と、
    前記撮像された画像から検出された肌色領域に対する符号量を肌色以外の領域に対する符号量より多く割り当てて符号化および記録を行う記録手段と、をさらに有することを特徴とする請求項１に記載の画像処理装置。
15. 画像中に含まれる肌色領域を検出し、当該肌色領域の符号量を増やして高画質に符号化処理する画像処理方法であって、
    画像信号を入力する画像入力工程と、
    前記画像信号に係る入力画像から人物の顔を検出する顔検出工程と、
    前記検出された顔の顔特徴量を抽出する特徴量抽出工程と、
    前記検出された顔に応じて前記入力画像から肌色領域を検出する肌色検出工程と、
    前記抽出された顔特徴量に基づいて、前記肌色検出工程にて肌色領域を検出するための閾値を設定する設定工程と、を有することを特徴とする画像処理方法。
16. 請求項１５に記載の画像処理方法を画像処理装置のコンピュータに実行させるためのプログラム。

Images