JP2004005383A - 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 - Google Patents
画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 Download PDFInfo
- Publication number
- JP2004005383A JP2004005383A JP2002371032A JP2002371032A JP2004005383A JP 2004005383 A JP2004005383 A JP 2004005383A JP 2002371032 A JP2002371032 A JP 2002371032A JP 2002371032 A JP2002371032 A JP 2002371032A JP 2004005383 A JP2004005383 A JP 2004005383A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- area
- color
- initial
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】高速かつ正確に所望の領域を抽出することができる画像処理方法を提供する。
【解決手段】表色系変換部１２にて入力カラー画像を色空間上の座標値に変換し、ヒストグラム生成部１３にて色空間上の座標値の出現頻度を示すヒストグラムを生成し、初期クラスタ抽出部１４にてヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出する。初期領域抽出部１５により、同一の初期クラスタに属する画素のカラー画像上の密度分布が所定の閾値以上である長方形領域を抽出し、クラスタ統合部１６にて、選択した任意の２つの初期クラスタが色空間上及び画像上で近接している場合にはこれを統合し、領域分割部１７では、統合クラスタに基づき再度抽出した長方形領域内における同一のクラスタに属する画素の密度分布に基づいて長方形領域を分割し、分割した長方形領域から、特定の色を有する長方形領域を抽出する。
【選択図】 図１
【解決手段】表色系変換部１２にて入力カラー画像を色空間上の座標値に変換し、ヒストグラム生成部１３にて色空間上の座標値の出現頻度を示すヒストグラムを生成し、初期クラスタ抽出部１４にてヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出する。初期領域抽出部１５により、同一の初期クラスタに属する画素のカラー画像上の密度分布が所定の閾値以上である長方形領域を抽出し、クラスタ統合部１６にて、選択した任意の２つの初期クラスタが色空間上及び画像上で近接している場合にはこれを統合し、領域分割部１７では、統合クラスタに基づき再度抽出した長方形領域内における同一のクラスタに属する画素の密度分布に基づいて長方形領域を分割し、分割した長方形領域から、特定の色を有する長方形領域を抽出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばビデオカメラ、スチルカメラ、監視用カメラ、ＴＶ電話、画像データベース、又はプリンタ等から入力される画像から特定の色の領域を抽出し、この領域情報に基づいて、例えば領域追尾、パラメータ制御、画質補正、及び検索等を行なう際に使用される画像処理方法、画像処理装置、画像処理を実行するプログラム、及びそのプログラムが記録された記録媒体、並びに自動トリミング装置及び肖像写真撮影装置に関する。
【０００２】
【従来の技術】
色は物体を識別するための有効な手がかりである。更に、色情報は高速に計算できること、並びに物体の向き及び大きさ等が変化しても色情報自体はあまり変化しないこと等の理由から、特定の物体に対応する領域を抽出するために多く利用されている。例えば、人物の顔に対応する領域を抽出する場合、何らかの色空間上において、肌色に相当する範囲を予め設定しておき、その範囲内に含まれる色を有する画素の集合として顔の領域を抽出する。
【０００３】
しかし、対象物体が特徴的な色を有する場合でも、他の物体が同一の色を有する可能性は排除できない。従って、色に基づいて抽出された領域を最終的に抽出すべき領域の候補とみなし、その後段において領域形状及び領域内の濃淡パターン等を使用してより詳細に判別を施す方法が多く提案されている（以下、従来例１という。）。この場合、対象物体には対応しない領域が色情報によって抽出されたとしても、この対象物に対応しない領域は、その他の情報によって除去することが可能となり、より正確な抽出処理を行なうことができる。また、同一画像において、物体に対応する複数の領域が抽出された場合、それらが画像上において分離されている限りにおいては、ラベリング処理等を使用することによって個々の領域を分離することは容易であり、個別に判別処理を行なうことで正しい領域を抽出することができる。
【０００４】
この従来例１のように、個々の物体に対応する領域が異なる領域として扱える場合には、領域の形状及び領域内部の濃淡パターン等は対応する物体の性質を反映するため、後段の判別処理が効果的に機能する。濃淡パターンのマッチング等では通常、大きさの正規化が要求されるが、すでに抽出されている領域の大きさを利用することでこの正規化処理も容易に行なうことができる。
【０００５】
ところで、各種照明写真では、顔領域の大きさ及び位置に対する制約がある場合があり、本来必要とされるよりも大きなサイズで撮影した後、顔領域が所定の大きさとなるようにトリミングが施されている。
【０００６】
例えば下記特許文献１には、均一な色の背景上に上半身が撮影された肖像画像を所定の大きさのフレーム内において人物の頭部が所定位置になるように処理する画像処理装置が開示されている（以下、従来例２という。）。
【０００７】
従来例２に記載の画像処理装置においては、先ず、読み込んだ肖像画像に対し、肖像画像内の人物の頭部が収まるように、例えば証明写真入りカードに印刷される顔写真の大きさのフレームをオペレータにより設定し、次に、フレーム内の人物の頭部左端、頭部右端及び頭頂部を検出し、この検出結果に基づきフレームの位置を修正し、最後にフレームの外側の背景を削除するトリミングを行うものである。
【０００８】
また、下記特許文献２には、１枚の画像から背景画像を消去して前景画像を抽出する前景画像抽出方法が開示されている（以下、従来例３という。）。
【０００９】
従来例３に記載の前景画像抽出方法においては、先ず、対象物が存在しない背景画像を撮影し、この背景画像と同一フレームで前景に対象物を位置させた対象画像を撮影し、次いで背景画像と対象画像との所定共通領域における明るさの差分を算出する。そして、背景画像と対象画像とから差分画像を求め、上記共通領域の差分から差分画像を補正し、第１のマスク画像を得る。次に、この第１のマスク画像に対して、明るさの膨張・縮小処理及び色の膨張・縮小処理を施し、更に、対象物と背景との境界を判別してこの境界にて領域を分割した第２のマスク画像を生成する。最後に、対象画像と第２のマスク画像とを重ね合わせ、対象画像の背景を単一色に変換した画像を生成する。
【特許文献１】
特開２００２−４２１１６号公報
【特許文献２】
特開２０００−３６０３２号公報
【００１０】
【発明が解決しようとする課題】
ところで、色に基づく領域抽出において、個体差及び照明条件等の変化に対応するために抽出する色の範囲をある程度広く設定すると、不要な領域を抽出してしまう過検出が増加してしまう。一方、過検出を抑制するために、色の範囲を小さくすると、個体差及び照明条件等の変化による影響により、所望の領域が抽出されない検出漏れが増加するという問題点がある。
【００１１】
しかしながら、従来例１のように、後段になんらかの判別処理を設けることを前提とすれば、前処理における検出漏れは大きな問題となり、むしろ過検出は許容され得ると考えられるが、実際には過検出された領域が判別処理の性能を大きく劣化させる可能性がある。例えば、隣接する異なる物体が類似した色を有する場合、各物体に対応する領域が画像上で連結し、１つの領域として抽出される可能性があるが、この場合、もはやその領域形状及び領域内部の濃淡パターンは対応する物体の性質を反映しないため、正しい判別を行なうことが困難になるという問題点がある。
【００１２】
これに対して、抽出された領域内を走査し、特定の形状及び濃淡パターンを探索する方法もあるが、大きさの正規化処理等が複雑になり、判別処理に要する演算量が大きくなるといった問題点がある。
【００１３】
また、従来例２に記載の技術においては、多くの画像を取り込んだ後、一括してトリミングを行うものであるが、少なくとも１枚目の画像についてはフレーム位置を決定するためにオペレータの介在を必要とする。このように、通常の各種証明写真の撮影は、顔領域の位置及び大きさの要求条件を満足するため、その撮影及び後処理等に人手の介入が必要となり、煩雑となるといった問題点がある。
【００１４】
更に、従来例２に記載の技術においては、２枚目以降の画像に対しては、１枚目のフレームの設定条件を使用することにより、再度フレームを設定し直すことなく自動処理を行うことができるものの、処理対象となる肖像画像における頭部が全て１枚目の画像で設定したフレーム位置の内部に存在するとは限らず、撮影時に頭部の位置を制限するか、又はトリミング処理時にフレームの再設定を繰り返す必要がある。更にまた、頭部左端、頭部右端及び頭頂部は、輝度情報が大きく変化した位置として検出するものであるが、このような検出方法は、背景輝度の影響を受けやすく、例えば、背景輝度が均一であることを仮定しても、実際には照明条件等によって陰影及び背景の輝度ムラ等が生じ、このことにより、誤った位置が検出される可能性があるという問題点がある。
【００１５】
また、従来例３に記載の技術においては、背景画像と対象画像との差分によって被写体を抽出するため、予め背景のみの画像を撮影しておく必要がある。更に、背景画像との差分を求めるため、対象画像の背景色の変化に上記差分が影響を受ける虞がある。このため、従来例３に記載の技術においては、背景画像の背景色の補正を行っているものの、背景画像を補正するための閾値の設定が容易ではなく、必ずしも正確に補正できるとは限らない。また、従来例３に記載されている大局的な方法では、照明条件によっては被写体自身による影が背景部分に生じる等の局所的な変化を補正することができない。
【００１６】
更にまた、従来例３に記載の技術においては、顔画像の中心線を肌色画像の水平方向の重心配列により求めているが、顔に水平方向の陰影がある場合、暗い部分が肌色画素として抽出されずに中心線が大きくずれる可能性がある。また、肌色閉領域の最下部をあごの位置としているため、顔の領域が首の領域と連結した閉領域となった場合、あごの位置が大きくずれてしまうという問題が生じる。この問題を回避するため、抽出する肌色の範囲を明るさによって変化させているものの、これについても閾値の設定が容易ではなく、常に顔と首とが分離されるとは限らないという問題点がある。
【００１７】
また、上述の従来例１乃至３においては、複数の人物が存在する画像、即ち、複数の顔領域（肌色領域）が存在するような画像においては、適切なトリミングができないという問題点がある。
【００１８】
本発明はこのような事情に鑑みて提案なされたものであり、カラー画像から、所望の色を有する領域を高速かつ正確に抽出することができる画像処理方法、装置、画像処理プログラム及びその記録媒体、並びに自動トリミング装置及び肖像写真撮影装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理方法は、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程とを有することを特徴とする。
【００２０】
本発明においては、各画素値を色空間上の座標値に変換したヒストグラムの極大点及びその近傍の画素を初期クラスタとして抽出するため、類似した色を有する領域を分離して扱うことが可能となり、抽出した初期クラスタのうち、特定の色、即ち、抽出したい色を判別するのみで、この特定の色に対応する初期クラスタに属する画素を含む入力カラー画像領域を良好に抽出することが可能となるため検出漏れを最小限に抑え、極めて正確に所望色の領域を抽出することができる。
【００２１】
また、上記ヒストグラム生成工程では、上記色空間における上記特定の色を含む予め定義された座標範囲についてのみヒストグラムを生成することが好ましい。
【００２２】
更に、上記初期クラスタ抽出工程では、上記初期クラスタの抽出に先立ち、上記ヒストグラムを平滑化する工程を有することにより、ノイズ等を除去し、誤検出を防止することができる。
【００２３】
更にまた、上記初期クラスタは、上記ヒストグラムにおける上記出現頻度の極大値を始点とし、上記始点に隣接する座標の画素から上記出現頻度が所定の閾値に至る座標の画素まで、順次併合されたものとすることができる。
【００２４】
また、上記所定の閾値は、上記始点となる上記極大値における上記出現頻度が大きいほど大きな値に設定することができる。
【００２５】
更に、上記出現頻度の極大値が所定の閾値以上の場合にのみ該極大値を上記始点とすることにより、ノイズ等による誤検出を防止することができる。
【００２６】
更にまた、上記併合される画素は、この画素の上記出現頻度よりも高い上記出現頻度を有し上記始点に隣接する座標の画素から順次併合された併合済画素に隣接する座標を有するものとし、上記併合される画素が複数の上記併合済画素に隣接する場合は該併合済画素のうち最も大きい出現頻度を有する画素に併合されるものとすることができる。
【００２７】
また、上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に上記初期クラスタを１つのクラスタとして統合することができ、これにより、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことが可能となる。
【００２８】
更に、上記クラスタ統合工程では、上記初期クラスタ及び統合されたクラスタを対象として、統合すべきクラスタの対が存在しなくなるまでクラスタの統合を繰り返すことができる。
【００２９】
更にまた、上記クラスタ統合工程では、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度が所定の閾値以上の場合に、上記２つの初期クラスタを統合することができ、異なる２つの上記初期クラスタのうち、第１の初期クラスタに属する第１の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第１の閉領域とし上記第１の閉領域内における上記第１の画素の数に対する第２の初期クラスタに属する第２の画素の数の比を第１の比の値とし、上記第２の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第２の閉領域とし上記第２の閉領域内における上記第２の画素の数に対する第１の画素の数の比を第２の比の値としたとき、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第１の閉領域と上記第２の閉領域とが重なる共通領域の大きさ、上記第１の比の値及び／又は上記第２の比の値で表すことができる。
【００３０】
また、上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、異なる２つの上記初期クラスタに対し、例えば、各初期クラスタにおける上記出現頻度が最も大きい極大点の各座標の間の距離が所定の閾値以下等、各上記初期クラスタに対応する色の差が所定の閾値以下の場合に、上記２つの初期クラスタを統合することができる。
【００３１】
更に、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有することができ、これにより、同一のクラスタに属する画素を含む閉領域内に画素の塊が複数存在する場合等は閉領域を分割することができ、同一の色、類似の色を有する物体が複数存在する場合、それらを分離して扱うことを可能とし、後段の判別処理における負荷等を軽減することができる。
【００３２】
更にまた、上記抽出された初期クラスタを統合するクラスタ統合工程と、上記初期クラスタ又は上記統合されたクラスタに属する画素群を有する閉領域を抽出し該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタが抽出されている場合に１つのクラスタとして統合し、上記領域抽出工程では、分割された上記閉領域から上記特定の色を有する領域を抽出することができる。
【００３３】
また、上記領域分割工程では、上記閉領域を通過する１以上の直線によって分割することができ、例えば、上記閉領域を通過する任意の方向の直線に直交する上記閉領域内の線分上の上記初期クラスタに属する上記画素の数をカウントし、該カウント数が最も小さくなる上記線分によって上記閉領域を分割することができる。
【００３４】
更に、頭部を含めた人物の顔の領域を抽出する場合、上記クラスタ統合工程は、上記初期クラスタに対応する色を有する画素の集まりを顔領域と仮定し、該顔領域に対応する頭頂部の高さを検出する頭頂部検出工程をさらに有し、検出された該頭頂部の高さに基づいて上記閉領域を設定することができる。
【００３５】
更にまた、上記頭頂部検出工程では、人物の背景が単一色である場合、上記初期クラスタに対応する色を有する画素の上方を画像最上部から走査し、上記背景色と異なる画素がはじめて出現する位置を頭頂部として検出することができる。
【００３６】
また、上記人物の背景が単一色である場合、上記初期クラスタの中で、対応する画素の集まりが画像上の最上部に分布する、唯一の初期クラスタに対応する領域のみを、上記頭頂部の高さに基づいて設定することができる。これにより、人物が肌（肌色）と類似した色の服を着用している場合においても、その顔領域を精度よく検出することが可能となる。
【００３７】
本発明に係る画像処理装置は、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理装置において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを有することを特徴とする。
【００３８】
また、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合することができる。
【００３９】
更に、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有することができる。
【００４０】
本発明に係る自動トリミング装置は、人物が撮影されたカラー画像から、顔面が所定の位置となるようにトリミングを行なう自動トリミング装置において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と、を有することを特徴とする。
【００４１】
本発明においては、極めて正確に肌色領域を抽出可能な肌色領域抽出手段により抽出された肌色領域から、顔か否かを判定し、更に、トリミング対象となる顔を選択してトリミングを行うことにより、正確且つ自動的にトリミング処理を行なうことができる。
【００４２】
また、肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有することができる。
【００４３】
更にまた、上記判定手段は、抽出された上記肌色領域の大きさ、アスペクト比、及び肌色画素の分布状態に基づいて顔領域か否かを判定することができ、これにより、複数の肌色領域が抽出された場合においても、それらの肌色領域が顔か否か判定することが可能であり、更に、複数の顔領域から目的に応じてトリミング対象となる１又は複数の人物の顔領域を選択してトリミング処理を行うことができる。
【００４４】
本発明に係る肖像写真撮影装置は、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、顔面が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有し、上記自動トリミング手段は、人物が撮影された入力カラー画像の各画素の値を色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、選択された上記顔領域からトリミングの位置決めを行なう位置決め手段とを有することを特徴とする。
【００４５】
本発明においては、極めて正確に肌色領域を抽出する肌色抽出手段を具備する自動トリミング手段を有するため、良好な肖像写真を自動で撮影することが可能となる。
【００４６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、入力カラー画像から特定の色、例えば人物の肌の色を有する領域を抽出する画像処理装置に適用したものである。
【００４７】
Ａ．第１の実施の形態
図１は、本発明の第１の実施の形態における画像処理装置を示すブロック図である。図１に示すように、画像処理装置１０は、電子スチルカメラ、ビデオカメラ、又はスキャナ等により、カラー画像が入力されてデジタルデータ（以下、単にカラー画像ともいう。）として出力する画像入力部１１と、画像入力部１１からのカラー画像の各画素値を色空間上の座標値に変換する色変換部である表色系変換部１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部１４と、初期クラスタ抽出部１４にて抽出された初期クラスタ及び画像入力部１１から送られるカラー画像から上記初期クラスタを含む閉領域を抽出する初期領域抽出部１５と、この初期領域内に複数の初期クラスタに対応する複数の領域が抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部１８とから構成される。
【００４８】
画像処理装置１０においては、先ず、入力されたカラー画像の表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、即ち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域（初期領域）として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。こうして、入力カラー画像において、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、即ち、本実施の形態においては、肌色を有する長方形領域を抽出する。
【００４９】
以下、本実施の形態において、各工程毎に更に詳細に説明する。
【００５０】
（１）色変換工程
色変換工程では、表色系変換部１２により、画像入力装置１１で得られた画像データの表色系が所望の領域を抽出するのに適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００５１】
【数１】
【００５２】
ここで、Ｒ、Ｇ、ＢはＲＧＢ表色系の各座標値を表している。従って、画像入力部１１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された画像データは、ヒストグラム生成部１３に送られる。
【００５３】
なお、以下の説明では、このｒ―ｇ表色系を領域抽出に用いる場合を例に説明を行なう。また、特に入力カラー画像上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００５４】
（２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部１３により、表色系変換部１２によって表色系が変換されたデータ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００５５】
【数２】
【００５６】
ここで、ｒｍｉｎ及びｒｍａｘは、夫々ｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、夫々ｇの下限値及び上限値を示す。
【００５７】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００５８】
【数３】
【００５９】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、夫々ｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００６０】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００６１】
【数４】
【００６２】
図２は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図２に示すように、出現頻度は、カラー画像上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００６３】
なお、インクリメントの方法としては、上記式（４）によるもののほかに、１回の増分値を適応的に変化させる方法等もある。例えば、顔の領域を抽出する際、顔が画像中央に存在する確率が多いことが明らかである場合は、例えば注目している画素が画像中央に近いほど大きな増分値を与えること等もできる。
【００６４】
そして、生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部１４に送られる。
【００６５】
（３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部１４により、ヒストグラム生成部１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。例えば、図２においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、夫々初期クラスタ７１１乃至７１３として抽出される。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００６６】
【数５】
【００６７】
即ち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図３（ａ）及び（ｂ）は、夫々入力画像及びクラスタマップＣを示す模式図である。図３（ａ）に示すように、入力カラー画像１０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色変換部にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図３（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ７２，７３として示される。抽出された初期クラスタは図３（ｂ）に示すクラスタマップＣとして、初期領域抽出部１５及びクラスタ統合部１６に送られる。
【００６８】
以下、初期クラスタ抽出部１４について更に詳細に説明する。図４は、初期クラスタ抽出部１４を示すブロック図である。図４に示すように、初期クラスタ抽出部１４は、２次元ヒストグラムから極大点を検出する極大点検出部２１と、検出された極大点を識別するための番号を付してクラスタマップを初期化する初期化部２２と、極大点を始点としてクラスタを成長するクラスタ成長部２３と、クラスタの成長を停止させる停止条件判定部２４とから構成される。
【００６９】
先ず、ヒストグラム生成部１３で生成された２次元ヒストグラムＨが極大点検出部２１及びクラスタ成長部２３に送られる。
【００７０】
そして、極大点検出部２１は、ヒストグラム生成部１３により生成された２次元ヒストグラムＨの極大点を検出する。極大点は、例えば下記式（６）に示すような条件を満たす点（ｉｒ，ｉｇ）として検出することができる。
【００７１】
【数６】
【００７２】
即ち、座標（ｉｒ，ｉｇ）における出現頻度Ｈ（ｉｒ，ｉｇ）が、その近傍ＮＢ内のいずれの座標における出現頻度よりも大きい場合、座標（ｉｒ，ｉｇ）を極大点と見なす。ここで近傍ＮＢは近傍領域を定義するための座標の集合であり、例えば下記式（７）に示すようなものを用いることができる。
【００７３】
【数７】
【００７４】
こうして、上記式（６），（７）から、図２に示すように、極大点１乃至３が抽出される。ここでは１つ以上の極大点が検出されるが、それらの座標は極大点リストＰに格納されてクラスタ成長部２２に送られる。なお、極大点リストのｎ番目Ｐ（ｎ）には、ｎ番目の極大点の座標が下記式（８）のように格納されるものとする。
【００７５】
【数８】
【００７６】
なお、極大点の検出は、上記式（６）の条件に加え、更に出現頻度Ｈ（ｉｒ，ｉｇ）が予め設定された所定の閾値よりも大きいものだけを検出するようにして、ノイズ及び面積が小さい領域等が抽出されることを回避するようにしてもよい。
【００７７】
初期化部２２は、極大点検出部２１によって検出された極大点を使用して、上記式（５）に示したクラスタマップＣの初期化を行う。クラスタマップＣの初期化は、下記式（９）に示すように、極大点リストＰに含まれる全ての極大点座標の位置にその極大点の番号を格納することによって行なうことができる。
【００７８】
【数９】
【００７９】
また、極大点以外の座標には、極大点の番号として使用される可能性がない値を格納する。以下ではこの値を−１とする。初期化されたクラスタマップＣはクラスタ成長部２３に送られる。
【００８０】
クラスタ成長部２３は、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行なう。ここで、初期クラスタと極大点とは１対１に対応するため、ｎ番目の極大点に由来する初期クラスタを初期クラスタｎと表すこととする。
【００８１】
初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出する。併合の条件としては例えば、下記式（１０）等を使用することができる。
【００８２】
【数１０】
【００８３】
ここで、Ｈ（ｉｒ，ｉｇ）はヒストグラム生成部１３で生成された２次元ヒストグラムにおける座標（ｉｒ，ｉｇ）での出現頻度であり、Ｔは出現頻度における閾値である。図２に示すように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域７０における座標を有する画素の抽出を防止する。また、（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）は座標（ｉｒ，ｉｇ）の隣接座標であり、例えば上記式（７）のｎ１、ｎ２を１にした場合の近傍領域ＮＢによって算出される。即ち上記式（１０）の条件は、図２に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合されることを示す。その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出することを示している。
【００８４】
初期クラスタｎに併合されている隣接座標に対して上記式（１０）が満たされた場合、座標（ｉｒ，ｉｇ）は初期クラスタｎに併合され、新たなクラスタマップＣ２の座標（ｉｒ，ｉｇ）にｎが格納される。上記式（１０）が満たされない場合には、元の状態を保存するため、Ｃ２（ｉｒ，ｉｇ）にはＣ（ｉｒ，ｉｇ）の値がそのままコピーされる。
【００８５】
なお、隣接座標の中に異なる初期クラスタに併合されている複数の座標がある場合には、その隣接座標の中で最も大きな出現頻度を有する座標の初期クラスタに併合するものとし、この最も大きな出現頻度を有する座標の初期クラスタ番号を座標（ｉｒ，ｉｇ）の初期クラスタ番号とする。
【００８６】
また、上記式（１０）における出現頻度の閾値Ｔは予め設定された固定の値を用いることもできるが、例えば、下記式（１１）のように、極大点における出現頻度に応じて初期クラスタ毎に変えることもできる。
【００８７】
【数１１】
【００８８】
ここで、（ｉｒｎ，ｉｇｎ）は初期クラスタｎに対する極大点の座標、ｒは１．０以下の係数であり、Ｔｎは初期クラスタｎに対する出現頻度の閾値である。
【００８９】
クラスタマップＣ上の全ての座標を走査した後、クラスタマップＣ２をクラスタマップＣにコピーする。更新されたクラスタマップＣは、停止条件判定部２４に送られる。
【００９０】
停止条件判定部２４は、クラスタ成長部２３における処理により、新たに併合された座標（画素）の数が予め定めた閾値よりも大きい場合、即ち、１回の走査におけるクラスタの成長率が高い場合は、クラスタマップＣをクラスタ成長部２３に送り、更にクラスタの成長処理を繰り返し、クラスタを成長させる。クラスタ成長部２３において、新たに併合された座標数が上記閾値以下である場合は、クラスタの成長がほぼ終了したものと見なし、クラスタの成長を停止させる。
【００９１】
こうして、生成されたクラスタマップＣは初期領域抽出部１５及びクラスタ統合部１６に送られる。
【００９２】
なお、本実施の形態においては、初期クラスタを抽出するために、上述したように、極大点を始点としたクラスタの成長処理を行なっているが、上記式（１０）に示す条件においては、ヒストグラムにおいて本来併合されるべき座標が例えばノイズ等により併合されない場合等がある。そこで、図４に示すクラスタ抽出部の停止条件判定部２４においてクラスタの成長が停止した後に、更にクラスタの拡大処理を追加することもできる。クラスタの拡大処理としては、例えば、停止条件判定部２４で得られたクラスタマップＣに対して、下記式（１２）の条件を満足する座標（ｉｒ，ｉｇ）を更に初期クラスタｎに併合する。
【００９３】
【数１２】
【００９４】
ここで、Ｈ（ｉｒ，ｉｇ）はヒストグラム生成部１３で生成されたヒストグラムであり、Ｔは閾値である。また、（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）は上記式（１０）と同様に、座標（ｉｒ，ｉｇ）の隣接座標を表している。即ち、上記式（１２）は、座標（ｉｒ，ｉｇ）がいまだいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、またその隣接座標の中に既に初期クラスタｎに併合されたものがある場合に、座標（ｉｒ，ｉｇ）をクラスタｎに併合する。このように、クラスタの拡大処理を行うことができる。
【００９５】
（４）初期領域抽出工程
初期領域抽出部１５では、初期クラスタ抽出部１４において得られた、例えば図３（ｂ）に示す初期クラスタ７２，７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像上で集中する長方形の領域を初期領域として抽出する。図３（ｃ）は、領域マップＲを示す模式図である。クラスタ成長部で成長され生成された各初期クラスタから抽出された画素は、図３（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図３（ａ）に示す入力カラー画像の位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図３（ｂ）に示す夫々初期クラスタ７２，７３に含まれるものであり、初期クラスタ７２，７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。即ち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（１３）のように示される。
【００９６】
【数１３】
【００９７】
そして、図５に示す領域マップＲにおいて、抽出画素７６の分布が集中する領域を囲む長方形領域７７を算出する。各初期クラスタに対応して得られた長方形領域は、図６に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。即ち、クラスタｎに対応して得られた長方形領域７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（１４）のように格納されるものとする。
【００９８】
【数１４】
【００９９】
各初期クラスタに対応して得られた抽出画素７６及び長方形領域７７は、夫々領域マップＲ及び頂点リストＶ１としてクラスタ統合部１６に送られる。
【０１００】
ここで、上述したクラスタの拡大処理において、１つの座標が複数の初期クラスタに併合される可能性があり、またこれによって、画像上の１つの画素が異なるクラスタに対応してしまう場合も考えられる。即ち、上述したような拡大処理を施した場合には、クラスタマップＣ及び領域マップＲを夫々上記式（５）及び上記式（１３）のように表現することはできなくなる。従って、これらを表現するために、例えば各クラスタの番号毎にクラスタマップ及び領域マップを用意するようにすることもできる。このように、クラスタの拡大処理を行うことにより、対応する画像上の領域（初期領域）をより安定に抽出することができる。
【０１０１】
また、クラスタマップＣ及び領域マップＲの他の表現方法としては、予め予想される初期クラスタ数の最大値をｎとした場合、クラスタマップＣ（ｉｒ，ｉｇ）及び領域マップＲ（ｘ，ｙ）において、クラスタを示す配列要素を（少なくとも）ｎビット用意し、例えばクラスタマップＣの座標（ｉｒ，ｉｇ）又は画像上の位置（ｘ，ｙ）の画素がクラスタｎに対応している場合、上記標配列要素のｎビット目を１にセットすることで表現することも可能である。逆に、それらが初期クラスタｎに含まれない場合には、ｎビット目をゼロにセットする。この方法によれば、予期される初期クラスタ数の最大値に対して、十分なビット幅を有する２次元配列をクラスタマップ及び領域マップとして使用することで、各クラスタの番号毎にクラスタマップ及び領域マップを用意するよりも、保存に要するメモリ量を削減することができる。
【０１０２】
以下、この初期領域抽出部１５について更に詳細に説明する。図７は初期領域抽出部１５を示すブロック図である。図７に示すように、初期領域抽出部１５は、画像入力部１１からのデジタルカラー画像（Ｒ，Ｇ，Ｂ）と上述した初期クラスタ抽出部１４において抽出された初期クラスタの情報を有するクラスタマップＣとが入力され、初期クラスタ抽出部１４によって抽出された各初期クラスタに含まれる色を持つ画素を抽出する画素抽出部３１と、抽出された画素を含む長方形領域を算出する長方形算出部３２と、長方形領域内に含まれる画素密度等により該長方形を修正する長方形修正部３３とから構成される。
【０１０３】
画素抽出部は、図３（ｂ）に示すように、例えば初期クラスタ７２，７３等の各初期クラスタに含まれる画素を抽出し、図３（ｃ）に示すように、上記式（１３）に示す領域マップＲを生成する。即ち、画像上の位置（ｘ，ｙ）においてその画素の値が下記式（１５）式を満足している場合、上記式（１３）式に示すように、領域マップＲの位置（ｘ，ｙ）に値ｎが格納される。
【０１０４】
【数１５】
【０１０５】
ここで、ｉｒ（ｘ，ｙ）及びｉｇ（ｘ，ｙ）は、位置（ｘ，ｙ）の画素値から、上記式（１）及び上記式（３）によって算出される色の座標であり、Ｃは初期クラスタ抽出部１４で得られたクラスタマップを示す。
【０１０６】
生成された領域マップＲは長方形算出部３２、長方形修正部３３に送られるとともに、後述するクラスタ統合部１６にも送られる。
【０１０７】
長方形算出部３２は、画素抽出部３１で得られた領域マップＲを用い、各初期クラスタ７２，７３によって抽出された画素が集中する領域を取り囲む夫々長方形領域を算出する。長方形領域は、上述した如く、例えば図６に示すように、１つの対角線上の相対する２つの頂点座標で表されるが、１つの初期クラスタに対応する頂点座標（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）は次のように算出される。即ち、先ず、対応する画素のｘ座標の平均値ｘａｖｅ、ｙ座標の平均値ｙａｖｅ、ｘ座標の標準偏差ｘｓｄｖ、及びｙ座標の標準偏差ｙｓｄｖが夫々下記（１６）式により求められる。
【０１０８】
【数１６】
【０１０９】
ここで、ｎは現在注目している初期クラスタの番号である。これらの値を用いて、頂点座標は下記式（１７）によって算出される。
【０１１０】
【数１７】
【０１１１】
ここで、ａは予め設定された係数である。初期クラスタｎに対して上記式（１７）により算出された頂点座標は、上記式（１４）に示すように頂点座標Ｖ１（ｎ）に格納され、長方形修正部３３に送られる。
【０１１２】
なお、上記式（１６）によって座標の平均及び標準偏差を算出する際に、抽出された画素に重みをつけ、算出される値に寄与する割合を変化させることもできる。例えば、抽出すべき領域が画像上のある位置に出現する確率が高いことが明らかである場合には、その位置に近い画素ほど大きな重みを座標値に積算して、平均及び標準偏差を算出するようにすることもできる。また、ノイズの影響を軽減するため、例えば、クラスタによって抽出されたある画素に対し、例えば、その画素に隣接する８画素全てが同じクラスタにより抽出されている場合にのみ、その画素を上記式（１６）の計算に使用すること等も可能である。
【０１１３】
長方形修正部３３は、各初期クラスタによって抽出される画素のｘ座標の最小値ｘｍｉｎ、ｘ座標の最大値ｘｍａｘ、ｙ座標の最小値、ｙｍｉｎ、及びｙ座標の最大値ｙｍａｘを求め、これらと、上記式（１７）によって求められた頂点座標を比較して、頂点座標を下記式（１８）により修正する。
【０１１４】
【数１８】
【０１１５】
ここで、ＭＡＸ（ａ，ｂ）及びＭＩＮ（ａ，ｂ）は、ａ、ｂのうちの夫々最大値及び最小値を算出する関数である。また、Ｖ２（ｎ）は、修正後の頂点座標を示す。図８は、入力カラー画像における長方形領域の修正の例を示す模式図である。図８に示すように、カラー画像上において、上記式（１７）によって算出された修正前の長方形領域８１は、上記式（１８）により修正され、頂点座標（Ｖ２（ｎ）．ｓｔｘ，Ｖ２（ｎ）．ｓｔｙ），（Ｖ２（ｎ）．ｅｄｘ，Ｖ２（ｎ）．ｅｄｙ）＝（ｘｍｉｎ，Ｖ１（ｎ）．ｓｔｙ），（Ｖ１（ｎ）．ｅｄｘ，ｙｍｉｎ）を有する修正後の長方形領域８２が算出される。修正された頂点座標は、頂点リストＶ２としてクラスタ統合部１６に送られる。
【０１１６】
なお、更に正確に長方形を画素の分布に一致させるために、異なる修正処理を追加することも可能である。図９は、修正処理の他の例を示す模式図である。図９に示すように、例えば、頂点座標Ｖ１（ｎ）を有する長方形領域において、ｘ＝Ｖ１（ｎ）．ｓｔｘで示される辺（長方形の左縦辺）８３のｘ軸方向負側に検索用座標ｘＬ（ｘＬ＜Ｖ１（ｎ）．ｓｔｘ）を設定し、この検索用座標からＶ（ｎ）１．ｅｄｘまでの各ｘ座標において、Ｖ１（ｎ）．ｅｄｙ乃至Ｖ１（ｎ）．ｓｔｙの範囲の垂直ライン（ｙ軸方向の線分）上に存在する初期クラスタｎの総画素数を下記式（１９）により計算する。
【０１１７】
【数１９】
【０１１８】
そして、画素数ｐｘＬ（ｘ）値が所定の閾値を超える座標ｘの中で最も小さい位置を、Ｖ２（ｎ）．ｓｔｘとする。また、頂点座標Ｖ１（ｎ）を有する長方形領域において、ｘ＝Ｖ１（ｎ）．ｅｄｘで示される辺（長方形の右縦辺）８４の場合も同様に、ｘ座標Ｖ１（ｎ）．ｅｄｘのｘ軸方向正側に検索用の座標ｘＲ（＞Ｖ１（ｎ）．ｅｄｘ）を設定し、Ｖ１（ｎ）．ｓｔｘから検索用の座標ｘＲまでの各ｘ座標において、Ｖ１（ｎ）．ｅｄｙ乃至Ｖ１（ｎ）．ｓｔｙの範囲の垂直ライン（ｙ軸方向の線分）上に存在する初期クラスタｎの画素数ｐｘＲ（ｘ）を上記式（１９）と同様に算出し、その値が閾値を超えるｘ座標の中で最大のものを、新たなＶ２（ｎ）．ｅｄｘとする。長方形の横の辺に対しても、頂点座標Ｖ１（ｎ）を有する長方形領域において、ｙ＝Ｖ１（ｎ）．ｓｔｙで示される辺（長方形の上横辺）８５のｙ軸方向負側に検索用のｙ座標ｙＴ（＜Ｖ１（ｎ）．ｓｔｙ）を設定し、ｙ＝Ｖ１（ｎ）．ｅｄｙで示される辺（長方形の下横辺）８６のｙ軸方向正側に検索用のｙ座標ｙＢ（＞Ｖ１（ｎ）．ｅｄｙ）を設定し、同様に処理を行なうことで、夫々Ｖ１（ｎ）．ｓｔｙ及びＶ１（ｎ）．ｅｄｙの修正を行なって、夫々Ｖ２（ｎ）．ｓｔｙ及びＶ２（ｎ）．ｅｄｙを得る。このように、閾値の設定によって、所望の画素密度を有する修正後の頂点座標Ｖ２（ｎ）で示される長方形領域を得ることができる。
【０１１９】
（５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部１６により、初期クラスタ抽出部１４で得られたクラスタマップＣ並びに初期領域抽出部１５で得られた領域マップＲ及び頂点リストＶ２を使用して、後述する方法により、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ２が修正され、夫々領域マップＲ２及び頂点リストＶ３として領域分割部１７に送られる。また修正された領域マップＲ２は領域抽出部１８にも送られる。
【０１２０】
以下、このクラスタ統合部１６について更に詳しく説明する。図１０は、クラスタ統合部を示すブロック図である。図１０に示すように、初期クラスタ抽出部１４で生成されたクラスタマップＣが入力され、初期クラスタｍ及び初期クラスタｎの組み合わせを発生する組み合わせ発生部４１と、初期クラスタｍ，ｎ及びクラスタマップＣが入力され初期クラスタｍと初期クラスタｎとの色差を算出する色差算出部４２と、初期クラスタｍ，ｎ並びに初期領域抽出部１５で生成された領域マップＲ及び頂点リストＶ２が入力され、初期クラスタｍと初期クラスタｎとの重なり度を算出する重なり度算出部４３と、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ２、色差、並びに重なり度が入力され、初期クラスタｍ，ｎを統合するか否かの判定を行う統合判定部４４とから構成される。
【０１２１】
組み合わせ発生部４１は、初期クラスタ抽出部で抽出された複数の初期クラスタから、任意の２つの初期クラスタの組み合わせを生成し、その初期クラスタの番号ｍ及びｎを色差算出部４２、重なり度算出部４３に送る。
【０１２２】
色差算出部４２は、組み合わせ発生部４１で指定された初期クラスタｍ及び初期クラスタｎに対し、各初期クラスタｍ，ｎの代表色を算出し、この代表色の色差を求める。代表色としては、例えば下記式（２０）に示すような重心座標（ｉｒｇｒｖ，ｉｇｇｒｖ）を使用することができる。
【０１２３】
【数２０】
【０１２４】
ここで、Ｃ（ｉｒ，ｉｇ）はクラスタマップである。初期クラスタｍ及び初期クラスタｎに対応する夫々重心座標（ｉｒｇｒｖｍ，ｉｇｇｒｖｍ）及び（ｉｒｇｒｖｎ，ｉｇｇｒｖｎ）を求め、この重心座標の差ｄｍｎを下記式（２１）により算出する。算出された色差ｄｍｎは、統合判定部４４に送られる。
【０１２５】
【数２１】
【０１２６】
なお、各クラスタの代表色としては、初期クラスタの重心座標のほかに、例えば、そのクラスタが由来する極大点の座標を使用することもできる。この場合、上述した極大点検出部２１によって検出された極大点の座標を色差算出部４２に送ればよい。
【０１２７】
重なり度算出部４３は、初期領域抽出部１５によって生成された領域マップＲと頂点リストＶ２とを使用して、初期クラスタｍと初期クラスタｎとによって抽出される画素の入力カラー画像上での重なりの程度を評価する。重なりの程度は、例えば図１１（ａ）に示すように、抽出された２つの初期領域が重なる共通領域が大きいほど大きく、図１１（ｂ）に示すように、共通領域がない場合には小さくなる。このような重なり度の評価値としては例えば、下記式（２２）に示すような値ｏｖｌｐｎｍを使用することができる。
【０１２８】
【数２２】
【０１２９】
ここで、Ｒは領域マップであり、Ｒｅｃｔｍは初期クラスタｍに対応する頂点座標Ｖ２（ｍ）で表される長方形領域９１内に存在する画素の集合を表している。即ち、上記式（２２）の分母は、図１１に示す初期クラスタｍに対応する長方形領域９１内に存在する初期クラスタｍの画素９２の数であり、同様にその分子は同じ長方形領域９１内に存在する初期クラスタｎの画素９４の数となる。例えば、図１１（ａ）に示す例では、初期クラスタｍ，ｎに対応する夫々長方形領域９１，９３の重なり度が大きいため、上記式（２２）の値は大きくなる。また、同様に頂点座標Ｖ２（ｎ）で表される長方形領域９３内に含まれる初期クラスタｎの画素９４の数に対する初期クラスタｍの画素９２の数の比ｏｖｐｌｍｎもこれら２つの初期クラスタによる画素の重なりの程度を表すのに使用される。
【０１３０】
画素の重なりの程度を表す評価値として、これら２つの値ｏｖｌｐｎｍ、ｏｖｌｐｍｎが算出され、統合判定部４４に送られる。
【０１３１】
統合判定部４４では、色差算出部４２によって算出された色差ｄｍｎと重なり度算出部４３によって算出された２つの重なり度ｏｖｌｐｎｍ、ｏｖｌｐｍｎ及び、各初期クラスタに対応する長方形領域の位置関係を用いて、２つの初期クラスタの統合を行なうか否かの判定を行なう。統合のための条件としては、例えば下記式（２３）に示す条件を使用することができる。
【０１３２】
【数２３】
【０１３３】
ここで、Ｒｅｃｔｍ、Ｒｅｃｔｎは上記式（２２）と同様、それぞれ初期クラスタｍ及び初期クラスタｎに対応する長方形領域内に存在する画素の集合であり、Ｔ１及びＴ２は、いずれも予め設定された閾値である。即ち、上記式（２３）は、２つのクラスタに対し、対応する長方形領域が共通部分を有し、色差が小さく、抽出される画素が画像上で大きく重なり合って分布している場合にこれらが統合されることを示している。
【０１３４】
２つのクラスタが統合された場合、統合後のクラスタは更に他の初期クラスタ、又は既に統合のなされたクラスタとの統合を行なうため、統合後のクラスタ番号をｎ又はｍとし、領域マップＲ、クラスタマップＣ、及び頂点リストＶ２の修正が行なわれる。統合すべきクラスタが存在しなくなった時点でクラスタ統合の処理を修了し、修正された領域マップＲ２、及び頂点リストＶ３が領域分割部１７に送られる。また領域マップＲ２は領域抽出部１８にも送られる。
【０１３５】
（６）領域分割工程
領域分割工程では、領域分割部１７により、クラスタ統合部１６において修正された領域マップＲ２及び頂点リストＶ３を用いて、同一のクラスタ、即ち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ３に格納されている頂点座標Ｖ３（ｎ）が示す長方形領域を分割する。即ち、図１２に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域９５において複数の塊９６ａ，９６ｂを構成している場合、各塊９６ａ，９６ｂを異なる領域とみなし、長方形領域９５の分割を行なう。この結果、１つの初期クラスタに属する長方形領域９５内に、例えば塊９６ａ，９６ｂ等の複数の画素の塊が対応することになり、各画素の塊９６ａ，９６ｂを取り囲む分割長方形領域９７ａ，９７ｂを算出する。分割長方形領域９７ａ，９７ｂは初期領域抽出部１５と同様、図６に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ４（ｎ，ｍ）に格納される。即ち、クラスタｎに対応するｍ番目の長方形領域が｛（Ｖ４（ｎ，ｍ）．ｓｔｘ，Ｖ４（ｎ，ｍ）．ｓｔｙ），（Ｖ４（ｎ，ｍ）．ｅｄｘ，Ｖ４（ｎ，ｍ）．ｅｄｙ）｝で表される場合、これらの座標は新たな頂点リストＶ４（ｎ，ｍ）に下記式（２４）のように格納されるものとする。新たな頂点リストＶ４（ｎ，ｍ）は、領域抽出部１８に送られる。
【０１３６】
【数２４】
【０１３７】
以下、領域分割部１７について更に詳細に説明する。図１３は、領域分割部１７を示すブロック図である。図１３に示すように、領域分割部１７は、クラスタ統合部１６によって得られた新たな領域マップＲ２及び頂点リストＶ３（ｎ）が入力され、頂点リストＶ３（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点を検出する主分割点検出部５１と、長方形領域が垂直に２分割された場合に領域マップＲ２及び主分割点検出部５１により分割された２つの垂直分割長方形領域の頂点リストが入力され、各垂直分割長方形領域を水平に分割する水平副分割点検出部５２と、長方形領域が水平に２分割された場合に領域マップＲ２及び主分割点検出部５１により分割された２つの水平分割長方形領域の頂点リストが入力され、各水平分割長方形領域を垂直に分割する垂直副分割点検出部５３と、領域マップＲ２及び水平副分割点検出部５２又は垂直副分割点検出部５３により更に分割された長方形領域の頂点リストが入力され頂点を修正する頂点修正部５４とから構成される。
【０１３８】
主分割点検出部５１は、クラスタ統合部１６から送られてくる頂点リストＶ３に含まれる各長方形領域を分割する点を検出する。図１４（ａ）及び（ｂ）は、分割される長方形領域１００を示す模式図である。図１４（ａ）及び（ｂ）に示すように、先ず、頂点リストＶ３の頂点座標（Ｖ３（ｎ）．ｓｔｘ，Ｖ３（ｎ）．ｓｔｙ），（Ｖ３（ｎ）．ｅｄｘ，Ｖ３（ｎ）．ｅｄｙ）で表される長方形領域１００内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積した夫々ヒストグラムＨＨ及びＨＶを下記式（２５）により算出する。即ち、図１４（ａ）においては、長方形領域１００を水平方向に通過する直線（図示せず）に直交する長方形領域１００内の垂直方向の線分上のクラスタｎによって抽出された画素の数をカウントしたヒストグラムを作成する。図１４（ｂ）も同様に、長方形領域１００を垂直方向に通過する直線に直交する長方形領域内の水平方向の線分上のクラスタｎによって抽出された画素の数をカウントしたヒストグラムを作成する。
【０１３９】
【数２５】
【０１４０】
ここで、ｎは現在注目しているクラスタの番号であり、Ｒｅｃｔｎはクラスタｎに対応する長方形領域内に存在する画素の集合、Ｒ２（ｘ，ｙ）はクラスタ統合部１６から送られてきた領域マップを示す。こうして、図１４（ａ）に示すように、横軸にクラスタｎに属する画素が含まれる頂点座標Ｖ３（ｎ）で示される長方形領域１００の水平方向であるｘ座標をとり、縦軸にｘ座標における長方形領域１００内のｙ軸方向の画素数をとって、長方形領域１００内の水平方向の画素分布を示すヒストグラムＨＨが算出される。同様に、図１４（ｂ）に示すように、横軸に頂点座標Ｖ３（ｎ）で示される長方形領域１００の垂直方向であるｙ座標をとり、縦軸にｙ座標における長方形領域１００内のｘ軸方向の画素数をとって、長方形領域１００内の垂直方向の画素分布を示すヒストグラムＨＶが算出される。
【０１４１】
次に、算出されたヒストグラムＨＨ、ＨＶは、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化が施された後、ヒストグラムＨＨ及びＨＶの夫々最小点となるｘ座標：ｘｄｉｖ及びｙ座標：ｙｄｉｖが夫々垂直主分割候補点及び水平主分割候補点として検出され、この分割候補点における夫々垂直方向及び水平方向のライン１０１及び１０２上の画素の夫々密度ｄｎｓｘ及びｄｎｓｙが下記式（２６）によって算出される。
【０１４２】
【数２６】
【０１４３】
そして、算出されたｄｎｓｘとｄｎｓｙとを比較し、ｄｎｓｘ及びｄｎｓｙのうち、例えばｄｎｓｘの方が小さく、且つ予め設定された閾値よりも小さい場合には、ｘｄｉｖを通る垂直ライン１０１を主分割軸とみなし、ｘｄｉｖを主分割点として長方形領域１００を分割する。また、ｄｎｓｙの方が小さく、且つ予め設定された値よりも小さい場合には、ｙｄｉｖを通る水平ライン１０２を主分割軸とみなし、ｙｄｉｖを主分割点として長方形領域１００を分割する。
【０１４４】
この分割により得られた２つの長方形領域の頂点座標は、新たな頂点座標Ｖ４（ｎ，ｍ）のＶ４（ｎ，０）及びＶ４（ｎ，２）に、上記（２４）に示すように格納されて、図１４（ａ）に示すように、主分割軸がｘｄｉｖを通る垂直ライン１０１である場合には水平副分割点検出部５２に送られ、図１４（ｂ）に示すように、主分割軸がｙｄｉｖを通る水平ライン１０２である場合には垂直副分割点検出部５３に送られる。
【０１４５】
また、ｄｎｓｘ及びｄｎｓｙが共に所定の閾値より大きい場合には、いずれの分割点に対しても分割を行なわないように、新たな頂点座標Ｖ４（ｎ，０）にＶ３（ｎ）をコピーするとともに、頂点座標Ｖ４（ｎ，１）、Ｖ４（ｎ，２）、Ｖ４（ｎ，３）の全ての要素ｎに位置座標値として無効な値、例えば−１などが格納されて頂点修正部５４に送られる。
【０１４６】
水平副分割点検出部５２では、図１５（ａ）に示すように、主分割点検出部５１から送られてくる頂点リストＶ４の頂点座標Ｖ４（ｎ，０）及びＶ４（ｎ，２）に対応する２つの長方形領域１０３及び１０４を水平に分割する夫々副分割点候補ｙｄｉｖＬ及びｙｄｉｖＲ、並びに各副分割点候補に対する水平方向のライン上の画素密度である夫々ｄｎｓｙＬ及びｄｎｓｙＲを算出する。これらの副分割点候補及び画素密度の算出は、上記式（２５）及び式（２６）を用いて主分割点検出部５１と同様に行なわれる。
【０１４７】
即ち、画素密度ｄｎｓＬが予め設定された閾値よりも小さい場合には、対応する長方形領域１０３を、ｙｄｉｖＬを副分割点として、このｙｄｉｖＬを通る水平ライン１０３ｃにて分割する。分割された２つの長方形領域１０３ａ，１０３ｂの各頂点座標は、夫々Ｖ４（ｎ，０）及びＶ４（ｎ，１）に格納される。また、画素密度ｄｎｓＬが予め設定された閾値よりも大きい場合には分割は行なわず、頂点座標Ｖ４（ｎ，０）は変更することなく、Ｖ４（ｎ，１）の全ての要素に位置座標値として無効な値、例えば−１などが格納される。
【０１４８】
同様に、画素密度ｄｎｓＲに応じて長方形領域１０４を分割するか否かを判定し、その結果得られる長方形領域の各頂点座標が夫々Ｖ４（ｎ，２）、Ｖ４（ｎ，３）に格納される。算出された頂点座標Ｖ４（ｎ，ｍ）は、頂点リストＶ４として頂点修正部５４に送られる。
【０１４９】
垂直副分割点検出部５３では、水平副分割点検出部５２と同様の方法により、主分割点検出部５１から送られてくる頂点リストＶ４の頂点座標Ｖ４（ｎ，０）及びＶ４（ｎ，２）に対応する２つの長方形領域１０５及び１０６を垂直に分割するための副分割点候補ｘｄｉｖＴ及びｘｄｉｖＢ、並びに各副分割点候補に対する垂直方向のライン上の画素密度である夫々ｄｎｓｘＴ及びｄｎｓｘＢを算出して、対応する長方形領域１０５，１０６を分割するか否かを判定し、その結果得られる長方形領域の各頂点座標をＶ４（ｎ，０）、Ｖ４（ｎ，１）、Ｖ４（ｎ，２）、Ｖ４（ｎ，３）に格納する。算出された頂点座標Ｖ４（ｎ，ｍ）は、頂点リストＶ４として頂点修正部５４に送られる。
【０１５０】
頂点修正部５４では、図７に示す長方形算出部３２及び長方形修正部３３におけるのと同様の処理により、水平副分割点検出部５２、又は垂直副分割点検出部５３で得られた頂点リストＶ４に含まれる有効な全ての長方形領域の修正を行なう。即ち、頂点リストＶ４で表される長方形領域内に存在するクラスタｎの画素のｘ座標の平均値ｘａｖｅ、ｙ座標の平均値ｙａｖｅ、ｘ座標の標準偏差ｘｓｄｖ、及びｙ座標の標準偏差ｙｓｄｖを夫々上記式（１６）により求め、上記式（１７）によって新たな頂点座標を求める。更に、上記式（１８）により頂点座標の修正を行なう。これにより修正された頂点リストＶ５は領域抽出部１８に送られる。
【０１５１】
（７）領域抽出工程
領域抽出部１８では、クラスタ統合部１６において修正された領域マップＲ２と、領域分割部１７において得られた新たな頂点リストＶ５を用いて、下記式（２７）の条件を満たす画素の集合Ｓｎｍを１つの領域として抽出する。
【０１５２】
【数２７】
【０１５３】
即ち、同一のクラスタから抽出された画素であっても、領域分割部１７にて長方形領域が分割された場合は、頂点リストＶ５に記録された、例えば図１２に示す頂点座標Ｖ５（ｎ，ｍ）で示される長方形領域９７ａ，９７ｂ等のような分割された長方形領域を１つの領域と見なして個別に抽出される。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【０１５４】
本実施の形態においては、クラスタ統合部１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことが可能となる。また、領域分割部１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。更に、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、極めて正確に設定された長方形領域が得られ、後段に簡易な判別処理を設けることで、領域抽出部１８により抽出された領域のうち、所望の色を有する極めて高精度に抽出された領域を得ることができる。
【０１５５】
Ｂ．第２の実施の形態
次に、本発明の第２の実施の形態について説明する。図１６は、本発明の第２の実施の形態の構成を示すブロック図である。本実施の形態は、上述の第１の実施の形態における画像処理装置を肖像画像撮影装置に応用したものである。
【０１５６】
図１６に示すように、肖像画像撮影装置６０は、電子スチルカメラ及びビデオカメラ等により、人物が撮影されたカラー画像を入力し、デジタルデータとして出力する撮像器６１と、出力された画像データが入力され、肌色領域が抽出される肌色領域抽出器６２と、抽出された肌色領域が顔領域であるか否かを判定する顔領域判定器６３と、顔領域と判定された領域が複数ある場合に１つの顔領域を選択する領域選択器６４と、選択された顔領域をトリミングするトリミング器６５とから構成される。
【０１５７】
肌色領域抽出器６２は、第１の実施の形態の画像処理装置処理における画像処理方法に従って肌色領域の抽出を行い、頂点リストＶ５、及び領域マップＲ２を算出する。算出された頂点リストＶ５及び領域マップＲ２は顔領域判定器６３に送られる。
顔領域判定器６３では、頂点リストＶ５及び領域マップＲ２から、肌色領域抽出器６２によって抽出された各肌色領域が顔に対応するか否かの判定を行なう。顔領域である条件としては、例えば、下記式（２８）に示す条件を使用することができる。
【０１５８】
【数２８】
【０１５９】
ここで、Ｒｅｃｔｎｍはクラスタｎのｍ番目の長方形領域内に含まれる画素の集合であり、ｘｌｅｎ、ｙｌｅｎは長方形領域の辺の長さを示す。また、上記式（２８）に示す第１乃至第３の条件におけるＴｄｎｓ、Ｔａｓｐｍｉｎ、Ｔａｓｐｍａｘ、及びＴａｒｅａは、予め設定された閾値である。即ち、上記式（２８）の第１乃至第３の条件は、夫々長方形領域内における肌色画素の密度、長方形領域のアスペクト比、及び長方形領域の面積に関するものであり、これらの値が顔の領域として妥当な範囲にある場合に、その領域を顔の領域と判定する。
【０１６０】
なお、上記式（２８）における第１の条件に示す密度の条件は、長方形領域内に肌色画素が密集していることを要求するものであるが、このことを示す値として密度の他に下記式（２９）に示す条件を使用することも可能である。
【０１６１】
【数２９】
【０１６２】
ここで、（ｘｇｒｖ，ｙｇｒｖ）は、長方形領域内に存在するクラスタｎの画素の重心座標である。上記式（２９）の値は、クラスタｎではない画素と重心座標との平均距離に対するクラスタｎの画素と重心座標との平均距離の比を表しており、クラスタｎの画素が重心座標の周囲に密集しているほど大きな値となる。この値が予め設定された閾値Ｔｂｐｆよりも大きくなることを上記式（２８）における第１の条件に示す画素密度の条件の代わりに使用してもよい。
【０１６３】
上記式（２８）に示す条件により、顔ではないと判定された領域に対応する頂点リストには、位置座標値として無効な値、例えば−１などが格納される。修正された頂点リストＶ６は、領域選択器６４に送られる。
【０１６４】
領域選択器６４は、顔領域判定器６３によって複数の領域が顔と判定された場合、それらの中からトリミングの対象となる領域を１つ選択する。例えば、撮像された画像には１人の人物しか存在していないことが明らかであれば、真の顔領域は１つであり、その他の領域は顔領域判定器６３における誤検出と考えられる。このような場合、真の顔領域は他の領域よりも上部に位置するものと考えられるため、頂点リストＶ６に含まれる有効な長方形領域のうち、その中心が最も上部に位置するものを選択するようにすることができる。
【０１６５】
また、撮像された画像に複数の人物が存在している可能性がある場合でも、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が最も画像中央に近い位置に存在することを期待できる場合には、頂点リストＶ６に含まれる有効な長方形領域のうち、その中心が画像中央に最も近いものを選択するようにすることができる。
【０１６６】
更に、複数の顔の領域が抽出される主な理由が、例えば子供の顔を撮像するために、親がその子供を抱いて撮像することである場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると考えられるため、頂点リストＶ６に含まれる有効な長方形領域のうち、その中心が最も下部に位置するものを選択するようにすることができる。
【０１６７】
これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、例えばインターフェース（図示せず）を設けることにより、撮影者又は被撮影者が手動で設定できるようにすること等も可能である。
【０１６８】
選択された顔の領域以外の領域に対応する頂点リストＶ６には位置座標値として無効な値、例えば−１などが格納される。修正された頂点リストＶ６は、トリミング器６５に送られる。
【０１６９】
トリミング器６５は、送られてきた頂点リストＶ６に含まれる有効な長方形領域に対応して、入力カラー画像から切り出す部分画像の位置を決定する。図１７は、トリミング器６５が入力カラー画像１１０から切り出す部分画像を示す模式図である。図１７に示すように、例えば、頂点リストＶ６によって表される長方形領域１１１の中心位置（ｘ０，ｙ０）が予め設定されたトリミング後の画像領域の所定の位置（ｔｘ０，ｔｙ０）と一致するように、下記式（３０）に示す２つの頂点座標で表される長方形領域１１２を部分画像として切り出す。
【０１７０】
【数３０】
【０１７１】
ここで、ｔｗｄｔ、ｔｈｇｔは、予め設定されたトリミング後の画像の幅と高さを表している。
【０１７２】
トリミングされた画像は、例えばプリンタ及びモニタ等の画像表示装置、及び画像記憶装置（図示せず）等に出力される。
【０１７３】
なお、トリミング器６５において、図１８（ａ）に示すように、頂点リストＶ６で表される長方形領域１１１ａが、予め設定されたトリミング後の画像の大きさに比べて大きすぎる場合には、トリミング後の画像よりも大きな部分画像を切り出しておき、これを縮小することで所定の大きさの画像を得る縮小処理を行うことができる。逆に、図１８（ｂ）に示すように、頂点リストＶ６に含まれる長方形領域１１１ｂが、予め設定されたトリミング後の画像の大きさに比べて小さすぎる場合には、トリミング後の画像よりも小さな部分画像を切り出しておき、これを拡大することで所定の大きさの画像を得る拡大処理をすることができる。この場合、切り出す部分画像の幅ｔｗｄｔ０及びｔｈｇｔ０は、例えば下記式（３１）により設定することができる。
【０１７４】
【数３１】
【０１７５】
ここで、ａは予め設定された係数であり、ｔａｓｐはトリミング後の画像のアスペクト比を表している。
また、顔領域判定器６３において複数の領域が顔と判定された場合、それら全てをトリミングの対象として選択するようにすることもできる。この場合、トリミング器６５では、顔と判定された複数の領域を全て含むような部分画像を切り出し、必要に応じて上述した縮小処理を施して所定の大きさの画像を得る。
【０１７６】
本実施の形態においては、第１の実施の形態における画像処理装置を使用した肌色領域抽出器６２により、極めて正確に肌色領域を抽出することができるため、抽出した肌色領域を顔と判定して正確に自動トリミング処理を行なうことが可能となり、これにより、肖像写真を自動で撮影することが可能となる。
【０１７７】
また、画像に複数の人物が含まれている場合においても、アプリケーションに応じて適切なトリミングを行うことができる。例えば、病院等におけるフォトブースで親が子供を抱いて撮影した場合、抽出される顔領域の位置又は大きさ等の情報に基づき、領域選択器６４により、複数の顔領域から特定の顔領域を選択することができる。即ち、例えば、顔領域が２つ抽出された場合に、領域選択器６４により、その位置が画面下方又はその大きさが小さいものを選択するように設定しておけば、親が子供を抱いて撮影した場合に、子供の顔を抽出してトリミングすることができる。また、何れの顔領域についてもトリミングを行うように設定しておけば、１回の画像で複数のトリミング画像を得ることができる。
【０１７８】
Ｃ．第３の実施の形態
次に、本発明の第３の実施の形態について説明する。本実施の形態における機能ブロックの構成は、上述の第１の実施の形態とほぼ同じであるが、上記第２の実施の形態で述べたような肖像写真撮影装置への応用を前提に、更に正確に顔領域の判定を行うために、領域抽出部に頭頂部の検出処理を導入し、これに基づいて肌色領域抽出を行う点が第１の実施の形態とは異なる。
【０１７９】
肖像写真の撮影を目的とする本実施の形態においては、顔領域を抽出することが本来の目的であるが、例えば被写体である人物が、その顔（肌）の色と非常に類似した色を有する服を着用している場合、顔領域と服の領域とが色空間上で同一のクラスタに対応してしまう可能性がある。本実施の形態は、このような場合においても正確顔領域を抽出することができるものである。
【０１８０】
図１９は、本実施の形態の領域抽出部２１０を示すブロック図である。図１９に示すように、領域抽出部２１０は、画像入力部１１からのデジタルカラー画像（Ｒ，Ｇ，Ｂ）と第１の実施の形態と同様の初期クラスタ抽出部において抽出された初期クラスタの情報を有するクラスタマップＣとが入力され、初期クラスタ抽出部によって抽出された各初期クラスタに含まれる色を持つ画素を抽出する画素抽出部２１１と、抽出された画素を含む長方形領域Ｖを算出する長方形算出部２１２と、クラスタ抽出部からの長方形領域と、カラー画像，クラスタマップＣとが供給され人物の頭頂部ＴＯＨを検出する頭頂部検出部２１４と、長方形領域Ｖ及び頭頂部ＴＯＨの情報が供給され、長方形領域内に含まれる画素密度等により該長方形を修正する長方形修正部２１３とから構成される。
【０１８１】
図２０は、肌と同じような色の服を着用している人物のバストショットを示す模式図、図２１は、そのような人物のバストショットから、頭頂部を検出せずに長方形領域を切り出した場合の一例を示す模式図である。画素抽出部２１１では、例えば図２０に示すように、人物Ａが肌と同じような色の服を着用していると、顔領域Ａ１と服の領域Ａ２とが連結して１つの領域として抽出されることになる。このような顔と服の連結領域に対して、長方形算出部２１２は上記（１６）式及び式（１７）式に示すように、肌色画素の座標の平均値及び標準偏差によって長方形を算出するが、図２０に示すようなバストショットでは、通常、顔領域よりも服の領域の面積のほうが大きいため、図２１に示すように顔領域の一部Ｓ１が、算出された長方形領域２００からはみ出す可能性が高い。
【０１８２】
ここで算出される長方形領域２００は、後段の顔領域判定処理に用いられるため、顔領域の一部が欠落するように設定されることは好ましくない。上述の第２の実施の形態では、長方形領域の内部における肌色画素の密度、長方形のアスペクト比、及び長方形の面積に基づいて顔領域の判定を行う例を示したが、更に正確に顔領域の判定を行うために、例えば眼のパターン等を用いる場合には、図２１に示すような顔領域上部の欠落は顔領域抽出性能を大きく劣化させることになると考えられる。
【０１８３】
また、長方形修正部２１３は、長方形算出部２１２で算出された長方形に修正処理を施すものであり、第１の実施の形態ではその修正のためのいくつかの方法について説明したが、いずれも図２１のような欠落を修正することは不可能である。
【０１８４】
そこで、本実施の形態においては、領域抽出部２１０において、人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出部２１４を設け、検出される頭頂部の座標位置（以下、頭頂部の高さという。）ＴＯＨに基づいて長方形を算出する。
【０１８５】
以下、本実施の形態の領域抽出部２１０について更に詳細に説明する。画素抽出部２１１及び長方形算出部２１２は、上述の第１の実施の形態における夫々画素抽出部３１及び長方形算出部３２と同じであり、夫々領域マップＲ及び各初期クラスタに対応する長方形の頂点リストＶを生成する。
【０１８６】
頭頂部検出部２１４は、長方形算出部２１２で算出された長方形の内部における肌色画素の集合を顔領域と仮定し、長方形領域の上方において頭頂部の高さＴＯＨの検出を行う。頭頂部の高さＴＯＨは、例えば人物以外の背景部分は単一色であること、及び人物の上方には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を持つ画素の中で最も高い位置、即ち最も小さい値の垂直座標ｙを検出し、これを頭頂部の高さＴＯＨとすることができる。
【０１８７】
具体的には、図２２に示すように、画像入力部１１から送られる入力カラー画像２２０において、注目する肌色領域２２１に対応する長方形領域２２２の図中上方の領域、即ち、長方形領域２２２よりも垂直座標が小さい領域であって、Ｖ（ｎ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲２２３を図中上方から走査し、各画素の値と背景領域２２４の背景色との差ｄを下記式（３２）式によって算出する。
【０１８８】
【数３２】
【０１８９】
ここで、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は、位置（ｘ，ｙ）における画素のＲ，Ｇ，Ｂの値であり，Ｒｂｇ，Ｇｂｇ，Ｂｂｇは背景色のＲ，Ｇ，Ｂの値である。この背景色としては、例えば下記式（３３）に示すように、現在の注目画素よりも上にある画素の平均値を用いることができる。
【０１９０】
【数３３】
【０１９１】
ここで、Ｖ（ｎ）は長方形算出部２１２において得られた肌色領域ｎに対応する長方形領域の頂点座標であり、従って上記式（３３）は、探索範囲２２３の内部において、現在の注目画素（ｘ，ｙ）の上方ｍライン分の平均値を背景色とすることを示している。この場合、画像最上部からｍラインにおいては上記式（３３）による背景色の算出が不可能となるが、利用できるラインのみを用いて式（３３）と同様に背景色を算出したり、あるいは探索範囲２２３の開始を画像最上部からｍ＋１ライン目から始める等の方法をとることができる。
【０１９２】
上記式（３３）によって順次更新される背景色に対し、上記式（３２）の色の差ｄを算出し、この値が閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは長方形修正部２１３に送られる。
【０１９３】
なお、背景色との差ｄに対する閾値は、予め設定された固定値を用いることもできるが、次に述べるように適応的に変化させることもできる。例えば、背景色の更新に応じて、注目画素（ｘ，ｙ）の上方ｍラインにおける画素値の分散から下記式（３４）式のように算出するようにしてもよい。
【０１９４】
【数３４】
【０１９５】
ここで、ｗは予め設定された係数である。またｖａｒ（Ｒ（ｘ，ｙ）），ｖａｒ（Ｇ（ｘ，ｙ）），ｖａｒ（Ｂ（ｘ，ｙ））は、それぞれＲ，Ｇ，Ｂの値の分散であり下記式（３５）によって算出される。
【０１９６】
【数３５】
【０１９７】
長方形修正部２１３では、長方形算出部２１２において算出された各初期クラスタに対応する長方形に対して、第１の実施の形態と同様、上記式（１９）などによる修正を施した後、更に、頭頂部検出部２１４において検出された頭頂部の高さＴＯＨを用いて、長方形の上側水平の辺の修正を行う。
【０１９８】
すなわち、頭頂部の高さＴＯＨからＶ（ｎ）．ｅｄｙまでの各ｙ座標において，対応する水平ライン上に存在する初期クラスタｎの画素数を下記式（３６）のように計算する。
【０１９９】
【数３６】
【０２００】
ｐＵ（ｙ）値が閾値を超える座標ｙの中で最も小さいものを、新たなＶ（ｎ）．ｓｔｙとする。なお、ｐＵ（ｙ）に対する閾値Ｔｔｏｐは予め設定された値を用いてもよいが、長方形算出部２１２において算出された長方形の幅と、長方形に含まれる初期クラスタｎの画素の総数から下記式（３７）のように算出してもよい。
【０２０１】
【数３７】
【０２０２】
即ち、閾値Ｔｔｏｐは、長方形領域内における水平１ラインあたりの初期クラスタｎの平均画素数に予め設定された係数ｒを積算した値を用いることも可能である。
【０２０３】
なお、図２３に示すように、同一入力カラー画像２３０内に複数の人物２３１，２３２が存在し、なお且つ、それぞれの顔領域２３１ａ，２３２ａが水平方向に重なっている場合には、図２２に示した頭頂部探索範囲２３３，２３４も重なってしまうため，より下に位置する顔領域２３２ａに対しては頭頂部の高さＴＯＨを正しく検出することが困難になる。誤った頭頂部の高さＴＯＨに基づく修正は、長方形領域をかえって肌色領域に適合しないものにしてしまう可能性が高い。
【０２０４】
そこで、このような状況が想定される場合には、長方形算出部２１２において算出された長方形のうち、上側水平の辺の垂直座標Ｖ（ｎ）．ｓｔｙが最も小さいもの（最も上方にあるもの）のみに対して、頭頂部の高さＴＯＨに基づいた修正を行うようにしてもよい。
【０２０５】
本実施の形態においては、領域抽出部２１０に頭頂部検出部２１４を設け、人物の頭頂部を検出し、この検出結果に基づき人物の顔領域を抽出するので、人物が肌と類似した色の服を着用している場合にも、良好にその顔領域を検出することが可能となる。
【０２０６】
【発明の効果】
以上詳細に説明したように、本発明によれば、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程とを有するので、検出漏れを最小限に抑えるとともに、類似した色を有する領域を分離して扱うことが可能となる。
【０２０７】
また、本発明によれば、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことが可能となる。更に、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。更にまた、後段に簡易な判別処理を設けることで所望の領域を良好に抽出することが可能となる。また、本発明によれば、より正確に自動トリミング処理を行なうことが可能となり、良好な肖像写真を自動で撮影することが可能となる。
【０２０８】
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置を示すブロック図である。
【図２】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示すグラフ図である。
【図３】（ａ）乃至（ｃ）は、夫々入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図４】本発明の第１の実施の形態における画像処理装置の初期クラスタ抽出部を示すブロック図である。
【図５】本発明の第１の実施の形態における画像処理装置において作成された領域マップＲを示す模式図である。
【図６】本発明の第１の実施の形態における画像処理装置において抽出される長方形領域を示す模式図である。
【図７】本発明の第１の実施の形態における画像処理装置の初期領域抽出部を示すブロック図である。
【図８】本発明の第１の実施の形態の画像処理装置の初期領域抽出部における長方形領域の修正方法を示す模式図である。
【図９】本発明の第１の実施の形態の画像処理装置の初期領域抽出部における長方形領域の修正方法の他の例を示す模式図である。
【図１０】本発明の第１の実施の形態における画像処理装置のクラスタ統合部を示すブロック図である。
【図１１】本発明の第１の実施の形態の画像処理装置のクラスタ統合部において組み合わされた２つのクラスタを含む長方形領域の関係を示す模式図である。
【図１２】本発明の第１の実施の形態における画像処理装置の領域分割部にて分割される長方形領域を示す模式図である。
【図１３】本発明の第１の実施の形態における画像処理装置の領域分割部を示すブロック図である。
【図１４】（ａ）及び（ｂ）は、本発明の第１の実施の形態における画像処理装置の領域分割部にて夫々垂直及び水平に分割される長方形領域を示す模式図である。
【図１５】（ａ）及び（ｂ）は、本発明の第１の実施の形態における画像処理装置の領域分割部にて夫々垂直及び水平に分割された後、更に夫々水平及び垂直に分割される長方形領域を示す模式図である。
【図１６】本発明の第２の実施の形態における肖像写真撮影装置を示すブロック図である。
【図１７】本発明の第２の実施の形態における肖像写真撮影装置のトリミング器が入力カラー画像から切り出す部分画像を示す模式図である。
【図１８】（ａ）及び（ｂ）は、本発明の第２の実施の形態における肖像写真撮影装置のトリミング器における部分画像の夫々縮小処理及び拡大処理を示す模式図である。
【図１９】本発明の第３の実施の形態の領域抽出部を示すブロック図である。
【図２０】肌と同じような色の服を着用している人物のバストショットを示す模式図である。
【図２１】肌と同じような色の服を着用している人物のバストショットから、頭頂部の高さを検出せずに長方形領域を切り出した場合の一例を示す模式図である。
【図２２】本発明の第３の実施の形態における頭頂部の高さの検出方法を示す図である。
【図２３】本発明の第３の実施の形態における頭頂部の高さの検出方法の他の例を示す図である。
【符号の説明】
１１ 画像入力部、１２ 表色系変換部、１３ ヒストグラム生成部、１４ 初期クラスタ抽出部、１５ 初期領域抽出部、１６ クラスタ統合部、１７ 領域分割部、１８、２１０ 領域抽出部、２１ 極大点検出部、２２ 初期化部、２３ クラスタ成長部、２４ 停止条件判定部、３１，２１１ 画素抽出部、３２，２１２ 長方形算出部、３３，２１３ 長方形修正部、４１ 組み合わせ発生部、４２ 色差算出部、４３ 重なり度算出部、４４ 統合判定部、５１ 主分割点検出部、５２ 水平副分割点検出部、５３ 垂直副分割点検出部、５４ 頂点修正部、６０ 肖像画像撮影装置、６１ 撮像器、６２ 肌色領域抽出器、６３ 顔領域判定器、６４ 領域選択器、６５ トリミング器、２１４ 頭頂部検出部
【発明の属する技術分野】
本発明は、例えばビデオカメラ、スチルカメラ、監視用カメラ、ＴＶ電話、画像データベース、又はプリンタ等から入力される画像から特定の色の領域を抽出し、この領域情報に基づいて、例えば領域追尾、パラメータ制御、画質補正、及び検索等を行なう際に使用される画像処理方法、画像処理装置、画像処理を実行するプログラム、及びそのプログラムが記録された記録媒体、並びに自動トリミング装置及び肖像写真撮影装置に関する。
【０００２】
【従来の技術】
色は物体を識別するための有効な手がかりである。更に、色情報は高速に計算できること、並びに物体の向き及び大きさ等が変化しても色情報自体はあまり変化しないこと等の理由から、特定の物体に対応する領域を抽出するために多く利用されている。例えば、人物の顔に対応する領域を抽出する場合、何らかの色空間上において、肌色に相当する範囲を予め設定しておき、その範囲内に含まれる色を有する画素の集合として顔の領域を抽出する。
【０００３】
しかし、対象物体が特徴的な色を有する場合でも、他の物体が同一の色を有する可能性は排除できない。従って、色に基づいて抽出された領域を最終的に抽出すべき領域の候補とみなし、その後段において領域形状及び領域内の濃淡パターン等を使用してより詳細に判別を施す方法が多く提案されている（以下、従来例１という。）。この場合、対象物体には対応しない領域が色情報によって抽出されたとしても、この対象物に対応しない領域は、その他の情報によって除去することが可能となり、より正確な抽出処理を行なうことができる。また、同一画像において、物体に対応する複数の領域が抽出された場合、それらが画像上において分離されている限りにおいては、ラベリング処理等を使用することによって個々の領域を分離することは容易であり、個別に判別処理を行なうことで正しい領域を抽出することができる。
【０００４】
この従来例１のように、個々の物体に対応する領域が異なる領域として扱える場合には、領域の形状及び領域内部の濃淡パターン等は対応する物体の性質を反映するため、後段の判別処理が効果的に機能する。濃淡パターンのマッチング等では通常、大きさの正規化が要求されるが、すでに抽出されている領域の大きさを利用することでこの正規化処理も容易に行なうことができる。
【０００５】
ところで、各種照明写真では、顔領域の大きさ及び位置に対する制約がある場合があり、本来必要とされるよりも大きなサイズで撮影した後、顔領域が所定の大きさとなるようにトリミングが施されている。
【０００６】
例えば下記特許文献１には、均一な色の背景上に上半身が撮影された肖像画像を所定の大きさのフレーム内において人物の頭部が所定位置になるように処理する画像処理装置が開示されている（以下、従来例２という。）。
【０００７】
従来例２に記載の画像処理装置においては、先ず、読み込んだ肖像画像に対し、肖像画像内の人物の頭部が収まるように、例えば証明写真入りカードに印刷される顔写真の大きさのフレームをオペレータにより設定し、次に、フレーム内の人物の頭部左端、頭部右端及び頭頂部を検出し、この検出結果に基づきフレームの位置を修正し、最後にフレームの外側の背景を削除するトリミングを行うものである。
【０００８】
また、下記特許文献２には、１枚の画像から背景画像を消去して前景画像を抽出する前景画像抽出方法が開示されている（以下、従来例３という。）。
【０００９】
従来例３に記載の前景画像抽出方法においては、先ず、対象物が存在しない背景画像を撮影し、この背景画像と同一フレームで前景に対象物を位置させた対象画像を撮影し、次いで背景画像と対象画像との所定共通領域における明るさの差分を算出する。そして、背景画像と対象画像とから差分画像を求め、上記共通領域の差分から差分画像を補正し、第１のマスク画像を得る。次に、この第１のマスク画像に対して、明るさの膨張・縮小処理及び色の膨張・縮小処理を施し、更に、対象物と背景との境界を判別してこの境界にて領域を分割した第２のマスク画像を生成する。最後に、対象画像と第２のマスク画像とを重ね合わせ、対象画像の背景を単一色に変換した画像を生成する。
【特許文献１】
特開２００２−４２１１６号公報
【特許文献２】
特開２０００−３６０３２号公報
【００１０】
【発明が解決しようとする課題】
ところで、色に基づく領域抽出において、個体差及び照明条件等の変化に対応するために抽出する色の範囲をある程度広く設定すると、不要な領域を抽出してしまう過検出が増加してしまう。一方、過検出を抑制するために、色の範囲を小さくすると、個体差及び照明条件等の変化による影響により、所望の領域が抽出されない検出漏れが増加するという問題点がある。
【００１１】
しかしながら、従来例１のように、後段になんらかの判別処理を設けることを前提とすれば、前処理における検出漏れは大きな問題となり、むしろ過検出は許容され得ると考えられるが、実際には過検出された領域が判別処理の性能を大きく劣化させる可能性がある。例えば、隣接する異なる物体が類似した色を有する場合、各物体に対応する領域が画像上で連結し、１つの領域として抽出される可能性があるが、この場合、もはやその領域形状及び領域内部の濃淡パターンは対応する物体の性質を反映しないため、正しい判別を行なうことが困難になるという問題点がある。
【００１２】
これに対して、抽出された領域内を走査し、特定の形状及び濃淡パターンを探索する方法もあるが、大きさの正規化処理等が複雑になり、判別処理に要する演算量が大きくなるといった問題点がある。
【００１３】
また、従来例２に記載の技術においては、多くの画像を取り込んだ後、一括してトリミングを行うものであるが、少なくとも１枚目の画像についてはフレーム位置を決定するためにオペレータの介在を必要とする。このように、通常の各種証明写真の撮影は、顔領域の位置及び大きさの要求条件を満足するため、その撮影及び後処理等に人手の介入が必要となり、煩雑となるといった問題点がある。
【００１４】
更に、従来例２に記載の技術においては、２枚目以降の画像に対しては、１枚目のフレームの設定条件を使用することにより、再度フレームを設定し直すことなく自動処理を行うことができるものの、処理対象となる肖像画像における頭部が全て１枚目の画像で設定したフレーム位置の内部に存在するとは限らず、撮影時に頭部の位置を制限するか、又はトリミング処理時にフレームの再設定を繰り返す必要がある。更にまた、頭部左端、頭部右端及び頭頂部は、輝度情報が大きく変化した位置として検出するものであるが、このような検出方法は、背景輝度の影響を受けやすく、例えば、背景輝度が均一であることを仮定しても、実際には照明条件等によって陰影及び背景の輝度ムラ等が生じ、このことにより、誤った位置が検出される可能性があるという問題点がある。
【００１５】
また、従来例３に記載の技術においては、背景画像と対象画像との差分によって被写体を抽出するため、予め背景のみの画像を撮影しておく必要がある。更に、背景画像との差分を求めるため、対象画像の背景色の変化に上記差分が影響を受ける虞がある。このため、従来例３に記載の技術においては、背景画像の背景色の補正を行っているものの、背景画像を補正するための閾値の設定が容易ではなく、必ずしも正確に補正できるとは限らない。また、従来例３に記載されている大局的な方法では、照明条件によっては被写体自身による影が背景部分に生じる等の局所的な変化を補正することができない。
【００１６】
更にまた、従来例３に記載の技術においては、顔画像の中心線を肌色画像の水平方向の重心配列により求めているが、顔に水平方向の陰影がある場合、暗い部分が肌色画素として抽出されずに中心線が大きくずれる可能性がある。また、肌色閉領域の最下部をあごの位置としているため、顔の領域が首の領域と連結した閉領域となった場合、あごの位置が大きくずれてしまうという問題が生じる。この問題を回避するため、抽出する肌色の範囲を明るさによって変化させているものの、これについても閾値の設定が容易ではなく、常に顔と首とが分離されるとは限らないという問題点がある。
【００１７】
また、上述の従来例１乃至３においては、複数の人物が存在する画像、即ち、複数の顔領域（肌色領域）が存在するような画像においては、適切なトリミングができないという問題点がある。
【００１８】
本発明はこのような事情に鑑みて提案なされたものであり、カラー画像から、所望の色を有する領域を高速かつ正確に抽出することができる画像処理方法、装置、画像処理プログラム及びその記録媒体、並びに自動トリミング装置及び肖像写真撮影装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理方法は、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程とを有することを特徴とする。
【００２０】
本発明においては、各画素値を色空間上の座標値に変換したヒストグラムの極大点及びその近傍の画素を初期クラスタとして抽出するため、類似した色を有する領域を分離して扱うことが可能となり、抽出した初期クラスタのうち、特定の色、即ち、抽出したい色を判別するのみで、この特定の色に対応する初期クラスタに属する画素を含む入力カラー画像領域を良好に抽出することが可能となるため検出漏れを最小限に抑え、極めて正確に所望色の領域を抽出することができる。
【００２１】
また、上記ヒストグラム生成工程では、上記色空間における上記特定の色を含む予め定義された座標範囲についてのみヒストグラムを生成することが好ましい。
【００２２】
更に、上記初期クラスタ抽出工程では、上記初期クラスタの抽出に先立ち、上記ヒストグラムを平滑化する工程を有することにより、ノイズ等を除去し、誤検出を防止することができる。
【００２３】
更にまた、上記初期クラスタは、上記ヒストグラムにおける上記出現頻度の極大値を始点とし、上記始点に隣接する座標の画素から上記出現頻度が所定の閾値に至る座標の画素まで、順次併合されたものとすることができる。
【００２４】
また、上記所定の閾値は、上記始点となる上記極大値における上記出現頻度が大きいほど大きな値に設定することができる。
【００２５】
更に、上記出現頻度の極大値が所定の閾値以上の場合にのみ該極大値を上記始点とすることにより、ノイズ等による誤検出を防止することができる。
【００２６】
更にまた、上記併合される画素は、この画素の上記出現頻度よりも高い上記出現頻度を有し上記始点に隣接する座標の画素から順次併合された併合済画素に隣接する座標を有するものとし、上記併合される画素が複数の上記併合済画素に隣接する場合は該併合済画素のうち最も大きい出現頻度を有する画素に併合されるものとすることができる。
【００２７】
また、上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に上記初期クラスタを１つのクラスタとして統合することができ、これにより、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことが可能となる。
【００２８】
更に、上記クラスタ統合工程では、上記初期クラスタ及び統合されたクラスタを対象として、統合すべきクラスタの対が存在しなくなるまでクラスタの統合を繰り返すことができる。
【００２９】
更にまた、上記クラスタ統合工程では、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度が所定の閾値以上の場合に、上記２つの初期クラスタを統合することができ、異なる２つの上記初期クラスタのうち、第１の初期クラスタに属する第１の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第１の閉領域とし上記第１の閉領域内における上記第１の画素の数に対する第２の初期クラスタに属する第２の画素の数の比を第１の比の値とし、上記第２の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第２の閉領域とし上記第２の閉領域内における上記第２の画素の数に対する第１の画素の数の比を第２の比の値としたとき、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第１の閉領域と上記第２の閉領域とが重なる共通領域の大きさ、上記第１の比の値及び／又は上記第２の比の値で表すことができる。
【００３０】
また、上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、異なる２つの上記初期クラスタに対し、例えば、各初期クラスタにおける上記出現頻度が最も大きい極大点の各座標の間の距離が所定の閾値以下等、各上記初期クラスタに対応する色の差が所定の閾値以下の場合に、上記２つの初期クラスタを統合することができる。
【００３１】
更に、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有することができ、これにより、同一のクラスタに属する画素を含む閉領域内に画素の塊が複数存在する場合等は閉領域を分割することができ、同一の色、類似の色を有する物体が複数存在する場合、それらを分離して扱うことを可能とし、後段の判別処理における負荷等を軽減することができる。
【００３２】
更にまた、上記抽出された初期クラスタを統合するクラスタ統合工程と、上記初期クラスタ又は上記統合されたクラスタに属する画素群を有する閉領域を抽出し該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタが抽出されている場合に１つのクラスタとして統合し、上記領域抽出工程では、分割された上記閉領域から上記特定の色を有する領域を抽出することができる。
【００３３】
また、上記領域分割工程では、上記閉領域を通過する１以上の直線によって分割することができ、例えば、上記閉領域を通過する任意の方向の直線に直交する上記閉領域内の線分上の上記初期クラスタに属する上記画素の数をカウントし、該カウント数が最も小さくなる上記線分によって上記閉領域を分割することができる。
【００３４】
更に、頭部を含めた人物の顔の領域を抽出する場合、上記クラスタ統合工程は、上記初期クラスタに対応する色を有する画素の集まりを顔領域と仮定し、該顔領域に対応する頭頂部の高さを検出する頭頂部検出工程をさらに有し、検出された該頭頂部の高さに基づいて上記閉領域を設定することができる。
【００３５】
更にまた、上記頭頂部検出工程では、人物の背景が単一色である場合、上記初期クラスタに対応する色を有する画素の上方を画像最上部から走査し、上記背景色と異なる画素がはじめて出現する位置を頭頂部として検出することができる。
【００３６】
また、上記人物の背景が単一色である場合、上記初期クラスタの中で、対応する画素の集まりが画像上の最上部に分布する、唯一の初期クラスタに対応する領域のみを、上記頭頂部の高さに基づいて設定することができる。これにより、人物が肌（肌色）と類似した色の服を着用している場合においても、その顔領域を精度よく検出することが可能となる。
【００３７】
本発明に係る画像処理装置は、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理装置において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを有することを特徴とする。
【００３８】
また、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合することができる。
【００３９】
更に、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有することができる。
【００４０】
本発明に係る自動トリミング装置は、人物が撮影されたカラー画像から、顔面が所定の位置となるようにトリミングを行なう自動トリミング装置において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と、を有することを特徴とする。
【００４１】
本発明においては、極めて正確に肌色領域を抽出可能な肌色領域抽出手段により抽出された肌色領域から、顔か否かを判定し、更に、トリミング対象となる顔を選択してトリミングを行うことにより、正確且つ自動的にトリミング処理を行なうことができる。
【００４２】
また、肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有することができる。
【００４３】
更にまた、上記判定手段は、抽出された上記肌色領域の大きさ、アスペクト比、及び肌色画素の分布状態に基づいて顔領域か否かを判定することができ、これにより、複数の肌色領域が抽出された場合においても、それらの肌色領域が顔か否か判定することが可能であり、更に、複数の顔領域から目的に応じてトリミング対象となる１又は複数の人物の顔領域を選択してトリミング処理を行うことができる。
【００４４】
本発明に係る肖像写真撮影装置は、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、顔面が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有し、上記自動トリミング手段は、人物が撮影された入力カラー画像の各画素の値を色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、選択された上記顔領域からトリミングの位置決めを行なう位置決め手段とを有することを特徴とする。
【００４５】
本発明においては、極めて正確に肌色領域を抽出する肌色抽出手段を具備する自動トリミング手段を有するため、良好な肖像写真を自動で撮影することが可能となる。
【００４６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、入力カラー画像から特定の色、例えば人物の肌の色を有する領域を抽出する画像処理装置に適用したものである。
【００４７】
Ａ．第１の実施の形態
図１は、本発明の第１の実施の形態における画像処理装置を示すブロック図である。図１に示すように、画像処理装置１０は、電子スチルカメラ、ビデオカメラ、又はスキャナ等により、カラー画像が入力されてデジタルデータ（以下、単にカラー画像ともいう。）として出力する画像入力部１１と、画像入力部１１からのカラー画像の各画素値を色空間上の座標値に変換する色変換部である表色系変換部１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部１４と、初期クラスタ抽出部１４にて抽出された初期クラスタ及び画像入力部１１から送られるカラー画像から上記初期クラスタを含む閉領域を抽出する初期領域抽出部１５と、この初期領域内に複数の初期クラスタに対応する複数の領域が抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部１８とから構成される。
【００４８】
画像処理装置１０においては、先ず、入力されたカラー画像の表色系を変換して色空間上の座標値に変換する（色変換工程）。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する（ヒストグラム生成工程）。そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップＣを生成する（初期クラスタ抽出工程）。各初期クラスタには、これらを識別するクラスタ番号ｎが設定される。次いで、クラスタマップＣ上の各初期クラスタを再び、元のカラー画像上の座標値に変換した領域マップＲを形成する。領域マップＲ上の各画素は、座標値と共にクラスタ番号ｎを有する。この領域マップＲ上で同一の初期クラスタに属する画素、即ち、同一のクラスタ番号ｎを有する画素の密度分布が所定の閾値以上である長方形の閉領域（初期領域）として抽出する（初期領域抽出工程）。次に、任意の２つの初期クラスタを選択し、この２つの初期クラスタが、クラスタマップＣ上において近接し、且つ領域マップＲ上において近接する長方形領域に属するものである場合、この２つの初期クラスタを統合する（クラスタ統合工程）。初期クラスタを統合した統合クラスタに基づいて領域マップＲを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号ｎを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する（領域分割工程）。こうして、入力カラー画像において、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、即ち、本実施の形態においては、肌色を有する長方形領域を抽出する。
【００４９】
以下、本実施の形態において、各工程毎に更に詳細に説明する。
【００５０】
（１）色変換工程
色変換工程では、表色系変換部１２により、画像入力装置１１で得られた画像データの表色系が所望の領域を抽出するのに適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の１つとして、下記式（１）に示すｒ−ｇ表色系が知られている。
【００５１】
【数１】
ここで、Ｒ、Ｇ、ＢはＲＧＢ表色系の各座標値を表している。従って、画像入力部１１の出力画像がＲＧＢ表色系で表されている場合、表色系変換部１２では各画素毎に上記式（１）の演算が行なわれ、座標値（ｒ，ｇ）の値が算出される。こうして表色系が変換された画像データは、ヒストグラム生成部１３に送られる。
【００５３】
なお、以下の説明では、このｒ―ｇ表色系を領域抽出に用いる場合を例に説明を行なう。また、特に入力カラー画像上の位置（座標）（ｘ，ｙ）における値を表す場合には、｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝と表現する。
【００５４】
（２）ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部１３により、表色系変換部１２によって表色系が変換されたデータ｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝の色空間上における出現頻度を示す２次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、ｒ及びｇの各値に対する下限値及び上限値を定めることで下記式（２）のように表すことができる。
【００５５】
【数２】
ここで、ｒｍｉｎ及びｒｍａｘは、夫々ｒの下限値及び上限値、ｇｍｉｎ及びｇｍａｘは、夫々ｇの下限値及び上限値を示す。
【００５７】
画像上の位置（ｘ，ｙ）における｛ｒ（ｘ，ｙ），ｇ（ｘ，ｙ）｝が上記式（２）の条件を満足する場合、先ず、これらの値が下記式（３）によって量子化され、ヒストグラム上の座標（ｉｒ，ｉｇ）に変換される。
【００５８】
【数３】
ここで、ｒｓｔｅｐ及びｇｓｔｅｐは、夫々ｒ及びｇに対する量子化ステップであり、ｉｎｔは括弧内の数値の小数点以下を切り捨てる演算を示す。
【００６０】
次に、算出された座標値に対応するヒストグラムの値を下記式（４）によってインクリメントすることで、座標値の出現頻度を示す２次元ヒストグラムＨが生成される。
【００６１】
【数４】
図２は、簡単のため、本来２次元であるヒストグラムを１次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図２に示すように、出現頻度は、カラー画像上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【００６３】
なお、インクリメントの方法としては、上記式（４）によるもののほかに、１回の増分値を適応的に変化させる方法等もある。例えば、顔の領域を抽出する際、顔が画像中央に存在する確率が多いことが明らかである場合は、例えば注目している画素が画像中央に近いほど大きな増分値を与えること等もできる。
【００６４】
そして、生成されたヒストグラムＨは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部１４に送られる。
【００６５】
（３）初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部１４により、ヒストグラム生成部１３によって生成された各座標値の出現頻度を示す２次元ヒストグラムＨから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したｒ−ｇ表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を１つの初期クラスタとして抽出する。例えば、図２においては、極大点１乃至３に対し、この極大点１乃至３を始点としてこの極大点１乃至３近傍の座標の画素群が併合され、夫々初期クラスタ７１１乃至７１３として抽出される。初期クラスタは、２次元ヒストグラムＨの極大点の個数に応じて１つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは２次元配列であるクラスタマップＣ（ｉｒ，ｉｇ）上に多値画像として下記式（５）のように示される。
【００６６】
【数５】
即ち、上記式（５）は、色の座標（ｉｒ，ｉｇ）が初期クラスタｎに含まれていることを示す。図３（ａ）及び（ｂ）は、夫々入力画像及びクラスタマップＣを示す模式図である。図３（ａ）に示すように、入力カラー画像１０１における例えば（ｘ１，ｙ１）、（ｘ２，ｙ２）等の各画素値は、表色変換部にて色座標（ｉｒ１，ｉｇ１）、（ｉｒ２，ｉｇ２）に変換され、その出現頻度から２次元ヒストグラムが生成されて、この２次元ヒストグラムに基づいて抽出された初期クラスタが図３（ｂ）に示す横軸にｉｒ、縦軸にｉｇを取った２次元配列であるクラスタマップＣ上に初期クラスタ７２，７３として示される。抽出された初期クラスタは図３（ｂ）に示すクラスタマップＣとして、初期領域抽出部１５及びクラスタ統合部１６に送られる。
【００６８】
以下、初期クラスタ抽出部１４について更に詳細に説明する。図４は、初期クラスタ抽出部１４を示すブロック図である。図４に示すように、初期クラスタ抽出部１４は、２次元ヒストグラムから極大点を検出する極大点検出部２１と、検出された極大点を識別するための番号を付してクラスタマップを初期化する初期化部２２と、極大点を始点としてクラスタを成長するクラスタ成長部２３と、クラスタの成長を停止させる停止条件判定部２４とから構成される。
【００６９】
先ず、ヒストグラム生成部１３で生成された２次元ヒストグラムＨが極大点検出部２１及びクラスタ成長部２３に送られる。
【００７０】
そして、極大点検出部２１は、ヒストグラム生成部１３により生成された２次元ヒストグラムＨの極大点を検出する。極大点は、例えば下記式（６）に示すような条件を満たす点（ｉｒ，ｉｇ）として検出することができる。
【００７１】
【数６】
即ち、座標（ｉｒ，ｉｇ）における出現頻度Ｈ（ｉｒ，ｉｇ）が、その近傍ＮＢ内のいずれの座標における出現頻度よりも大きい場合、座標（ｉｒ，ｉｇ）を極大点と見なす。ここで近傍ＮＢは近傍領域を定義するための座標の集合であり、例えば下記式（７）に示すようなものを用いることができる。
【００７３】
【数７】
こうして、上記式（６），（７）から、図２に示すように、極大点１乃至３が抽出される。ここでは１つ以上の極大点が検出されるが、それらの座標は極大点リストＰに格納されてクラスタ成長部２２に送られる。なお、極大点リストのｎ番目Ｐ（ｎ）には、ｎ番目の極大点の座標が下記式（８）のように格納されるものとする。
【００７５】
【数８】
なお、極大点の検出は、上記式（６）の条件に加え、更に出現頻度Ｈ（ｉｒ，ｉｇ）が予め設定された所定の閾値よりも大きいものだけを検出するようにして、ノイズ及び面積が小さい領域等が抽出されることを回避するようにしてもよい。
【００７７】
初期化部２２は、極大点検出部２１によって検出された極大点を使用して、上記式（５）に示したクラスタマップＣの初期化を行う。クラスタマップＣの初期化は、下記式（９）に示すように、極大点リストＰに含まれる全ての極大点座標の位置にその極大点の番号を格納することによって行なうことができる。
【００７８】
【数９】
また、極大点以外の座標には、極大点の番号として使用される可能性がない値を格納する。以下ではこの値を−１とする。初期化されたクラスタマップＣはクラスタ成長部２３に送られる。
【００８０】
クラスタ成長部２３は、各極大点を、構成要素が１つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行なう。ここで、初期クラスタと極大点とは１対１に対応するため、ｎ番目の極大点に由来する初期クラスタを初期クラスタｎと表すこととする。
【００８１】
初期クラスタの成長は、既に生成されているクラスタマップをＣとすると、このクラスタマップＣ上の各座標を走査し、新たに併合すべき座標を検出する。併合の条件としては例えば、下記式（１０）等を使用することができる。
【００８２】
【数１０】
ここで、Ｈ（ｉｒ，ｉｇ）はヒストグラム生成部１３で生成された２次元ヒストグラムにおける座標（ｉｒ，ｉｇ）での出現頻度であり、Ｔは出現頻度における閾値である。図２に示すように、出現頻度の閾値Ｔを設けることにより、出現頻度が小さい座標領域７０における座標を有する画素の抽出を防止する。また、（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）は座標（ｉｒ，ｉｇ）の隣接座標であり、例えば上記式（７）のｎ１、ｎ２を１にした場合の近傍領域ＮＢによって算出される。即ち上記式（１０）の条件は、図２に示すヒストグラムにおける出現頻度Ｈ（ｉｒ，ｉｇ）の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度Ｈ（ｉｒ，ｉｇ）が閾値Ｔに至る座標（閾値Ｔ以下になる前の座標）の画素まで順次併合されることを示す。その際、座標（ｉｒ，ｉｇ）がいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、更にその隣接座標（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標（ｉｒ，ｉｇ）を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出することを示している。
【００８４】
初期クラスタｎに併合されている隣接座標に対して上記式（１０）が満たされた場合、座標（ｉｒ，ｉｇ）は初期クラスタｎに併合され、新たなクラスタマップＣ２の座標（ｉｒ，ｉｇ）にｎが格納される。上記式（１０）が満たされない場合には、元の状態を保存するため、Ｃ２（ｉｒ，ｉｇ）にはＣ（ｉｒ，ｉｇ）の値がそのままコピーされる。
【００８５】
なお、隣接座標の中に異なる初期クラスタに併合されている複数の座標がある場合には、その隣接座標の中で最も大きな出現頻度を有する座標の初期クラスタに併合するものとし、この最も大きな出現頻度を有する座標の初期クラスタ番号を座標（ｉｒ，ｉｇ）の初期クラスタ番号とする。
【００８６】
また、上記式（１０）における出現頻度の閾値Ｔは予め設定された固定の値を用いることもできるが、例えば、下記式（１１）のように、極大点における出現頻度に応じて初期クラスタ毎に変えることもできる。
【００８７】
【数１１】
ここで、（ｉｒｎ，ｉｇｎ）は初期クラスタｎに対する極大点の座標、ｒは１．０以下の係数であり、Ｔｎは初期クラスタｎに対する出現頻度の閾値である。
【００８９】
クラスタマップＣ上の全ての座標を走査した後、クラスタマップＣ２をクラスタマップＣにコピーする。更新されたクラスタマップＣは、停止条件判定部２４に送られる。
【００９０】
停止条件判定部２４は、クラスタ成長部２３における処理により、新たに併合された座標（画素）の数が予め定めた閾値よりも大きい場合、即ち、１回の走査におけるクラスタの成長率が高い場合は、クラスタマップＣをクラスタ成長部２３に送り、更にクラスタの成長処理を繰り返し、クラスタを成長させる。クラスタ成長部２３において、新たに併合された座標数が上記閾値以下である場合は、クラスタの成長がほぼ終了したものと見なし、クラスタの成長を停止させる。
【００９１】
こうして、生成されたクラスタマップＣは初期領域抽出部１５及びクラスタ統合部１６に送られる。
【００９２】
なお、本実施の形態においては、初期クラスタを抽出するために、上述したように、極大点を始点としたクラスタの成長処理を行なっているが、上記式（１０）に示す条件においては、ヒストグラムにおいて本来併合されるべき座標が例えばノイズ等により併合されない場合等がある。そこで、図４に示すクラスタ抽出部の停止条件判定部２４においてクラスタの成長が停止した後に、更にクラスタの拡大処理を追加することもできる。クラスタの拡大処理としては、例えば、停止条件判定部２４で得られたクラスタマップＣに対して、下記式（１２）の条件を満足する座標（ｉｒ，ｉｇ）を更に初期クラスタｎに併合する。
【００９３】
【数１２】
ここで、Ｈ（ｉｒ，ｉｇ）はヒストグラム生成部１３で生成されたヒストグラムであり、Ｔは閾値である。また、（ｉｒ＋ｄｒ，ｉｇ＋ｄｇ）は上記式（１０）と同様に、座標（ｉｒ，ｉｇ）の隣接座標を表している。即ち、上記式（１２）は、座標（ｉｒ，ｉｇ）がいまだいずれのクラスタにも併合されておらず、その出現頻度が閾値Ｔよりも大きく、またその隣接座標の中に既に初期クラスタｎに併合されたものがある場合に、座標（ｉｒ，ｉｇ）をクラスタｎに併合する。このように、クラスタの拡大処理を行うことができる。
【００９５】
（４）初期領域抽出工程
初期領域抽出部１５では、初期クラスタ抽出部１４において得られた、例えば図３（ｂ）に示す初期クラスタ７２，７３等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像上で集中する長方形の領域を初期領域として抽出する。図３（ｃ）は、領域マップＲを示す模式図である。クラスタ成長部で成長され生成された各初期クラスタから抽出された画素は、図３（ｃ）に示す２次元配列である領域マップＲ（ｘ，ｙ）上にクラスタを識別するｎを有する多値画像として表現される。ここで、図３（ａ）に示す入力カラー画像の位置（ｘ１，ｙ１），（ｘ２，ｙ２）における画素が、図３（ｂ）に示す夫々初期クラスタ７２，７３に含まれるものであり、初期クラスタ７２，７３のクラスタ番号ｎを１，２としたとき、領域マップＲにおける座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、そのクラスタ番号１，２を有するものとなる。即ち、画像上の位置（ｘ，ｙ）の画素の色がクラスタｎに含まれている場合、下記式（１３）のように示される。
【００９６】
【数１３】
そして、図５に示す領域マップＲにおいて、抽出画素７６の分布が集中する領域を囲む長方形領域７７を算出する。各初期クラスタに対応して得られた長方形領域は、図６に示すように、１つの対角線上で相対する２頂点の座標（ｓｒｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）で表現され、１次元配列である頂点リストＶ１に格納される。即ち、クラスタｎに対応して得られた長方形領域７７の２つの頂点座標が（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）である場合、これらの座標は頂点座標Ｖ１（ｎ）に下記式（１４）のように格納されるものとする。
【００９８】
【数１４】
各初期クラスタに対応して得られた抽出画素７６及び長方形領域７７は、夫々領域マップＲ及び頂点リストＶ１としてクラスタ統合部１６に送られる。
【０１００】
ここで、上述したクラスタの拡大処理において、１つの座標が複数の初期クラスタに併合される可能性があり、またこれによって、画像上の１つの画素が異なるクラスタに対応してしまう場合も考えられる。即ち、上述したような拡大処理を施した場合には、クラスタマップＣ及び領域マップＲを夫々上記式（５）及び上記式（１３）のように表現することはできなくなる。従って、これらを表現するために、例えば各クラスタの番号毎にクラスタマップ及び領域マップを用意するようにすることもできる。このように、クラスタの拡大処理を行うことにより、対応する画像上の領域（初期領域）をより安定に抽出することができる。
【０１０１】
また、クラスタマップＣ及び領域マップＲの他の表現方法としては、予め予想される初期クラスタ数の最大値をｎとした場合、クラスタマップＣ（ｉｒ，ｉｇ）及び領域マップＲ（ｘ，ｙ）において、クラスタを示す配列要素を（少なくとも）ｎビット用意し、例えばクラスタマップＣの座標（ｉｒ，ｉｇ）又は画像上の位置（ｘ，ｙ）の画素がクラスタｎに対応している場合、上記標配列要素のｎビット目を１にセットすることで表現することも可能である。逆に、それらが初期クラスタｎに含まれない場合には、ｎビット目をゼロにセットする。この方法によれば、予期される初期クラスタ数の最大値に対して、十分なビット幅を有する２次元配列をクラスタマップ及び領域マップとして使用することで、各クラスタの番号毎にクラスタマップ及び領域マップを用意するよりも、保存に要するメモリ量を削減することができる。
【０１０２】
以下、この初期領域抽出部１５について更に詳細に説明する。図７は初期領域抽出部１５を示すブロック図である。図７に示すように、初期領域抽出部１５は、画像入力部１１からのデジタルカラー画像（Ｒ，Ｇ，Ｂ）と上述した初期クラスタ抽出部１４において抽出された初期クラスタの情報を有するクラスタマップＣとが入力され、初期クラスタ抽出部１４によって抽出された各初期クラスタに含まれる色を持つ画素を抽出する画素抽出部３１と、抽出された画素を含む長方形領域を算出する長方形算出部３２と、長方形領域内に含まれる画素密度等により該長方形を修正する長方形修正部３３とから構成される。
【０１０３】
画素抽出部は、図３（ｂ）に示すように、例えば初期クラスタ７２，７３等の各初期クラスタに含まれる画素を抽出し、図３（ｃ）に示すように、上記式（１３）に示す領域マップＲを生成する。即ち、画像上の位置（ｘ，ｙ）においてその画素の値が下記式（１５）式を満足している場合、上記式（１３）式に示すように、領域マップＲの位置（ｘ，ｙ）に値ｎが格納される。
【０１０４】
【数１５】
ここで、ｉｒ（ｘ，ｙ）及びｉｇ（ｘ，ｙ）は、位置（ｘ，ｙ）の画素値から、上記式（１）及び上記式（３）によって算出される色の座標であり、Ｃは初期クラスタ抽出部１４で得られたクラスタマップを示す。
【０１０６】
生成された領域マップＲは長方形算出部３２、長方形修正部３３に送られるとともに、後述するクラスタ統合部１６にも送られる。
【０１０７】
長方形算出部３２は、画素抽出部３１で得られた領域マップＲを用い、各初期クラスタ７２，７３によって抽出された画素が集中する領域を取り囲む夫々長方形領域を算出する。長方形領域は、上述した如く、例えば図６に示すように、１つの対角線上の相対する２つの頂点座標で表されるが、１つの初期クラスタに対応する頂点座標（ｓｔｘ，ｓｔｙ）、（ｅｄｘ，ｅｄｙ）は次のように算出される。即ち、先ず、対応する画素のｘ座標の平均値ｘａｖｅ、ｙ座標の平均値ｙａｖｅ、ｘ座標の標準偏差ｘｓｄｖ、及びｙ座標の標準偏差ｙｓｄｖが夫々下記（１６）式により求められる。
【０１０８】
【数１６】
ここで、ｎは現在注目している初期クラスタの番号である。これらの値を用いて、頂点座標は下記式（１７）によって算出される。
【０１１０】
【数１７】
ここで、ａは予め設定された係数である。初期クラスタｎに対して上記式（１７）により算出された頂点座標は、上記式（１４）に示すように頂点座標Ｖ１（ｎ）に格納され、長方形修正部３３に送られる。
【０１１２】
なお、上記式（１６）によって座標の平均及び標準偏差を算出する際に、抽出された画素に重みをつけ、算出される値に寄与する割合を変化させることもできる。例えば、抽出すべき領域が画像上のある位置に出現する確率が高いことが明らかである場合には、その位置に近い画素ほど大きな重みを座標値に積算して、平均及び標準偏差を算出するようにすることもできる。また、ノイズの影響を軽減するため、例えば、クラスタによって抽出されたある画素に対し、例えば、その画素に隣接する８画素全てが同じクラスタにより抽出されている場合にのみ、その画素を上記式（１６）の計算に使用すること等も可能である。
【０１１３】
長方形修正部３３は、各初期クラスタによって抽出される画素のｘ座標の最小値ｘｍｉｎ、ｘ座標の最大値ｘｍａｘ、ｙ座標の最小値、ｙｍｉｎ、及びｙ座標の最大値ｙｍａｘを求め、これらと、上記式（１７）によって求められた頂点座標を比較して、頂点座標を下記式（１８）により修正する。
【０１１４】
【数１８】
ここで、ＭＡＸ（ａ，ｂ）及びＭＩＮ（ａ，ｂ）は、ａ、ｂのうちの夫々最大値及び最小値を算出する関数である。また、Ｖ２（ｎ）は、修正後の頂点座標を示す。図８は、入力カラー画像における長方形領域の修正の例を示す模式図である。図８に示すように、カラー画像上において、上記式（１７）によって算出された修正前の長方形領域８１は、上記式（１８）により修正され、頂点座標（Ｖ２（ｎ）．ｓｔｘ，Ｖ２（ｎ）．ｓｔｙ），（Ｖ２（ｎ）．ｅｄｘ，Ｖ２（ｎ）．ｅｄｙ）＝（ｘｍｉｎ，Ｖ１（ｎ）．ｓｔｙ），（Ｖ１（ｎ）．ｅｄｘ，ｙｍｉｎ）を有する修正後の長方形領域８２が算出される。修正された頂点座標は、頂点リストＶ２としてクラスタ統合部１６に送られる。
【０１１６】
なお、更に正確に長方形を画素の分布に一致させるために、異なる修正処理を追加することも可能である。図９は、修正処理の他の例を示す模式図である。図９に示すように、例えば、頂点座標Ｖ１（ｎ）を有する長方形領域において、ｘ＝Ｖ１（ｎ）．ｓｔｘで示される辺（長方形の左縦辺）８３のｘ軸方向負側に検索用座標ｘＬ（ｘＬ＜Ｖ１（ｎ）．ｓｔｘ）を設定し、この検索用座標からＶ（ｎ）１．ｅｄｘまでの各ｘ座標において、Ｖ１（ｎ）．ｅｄｙ乃至Ｖ１（ｎ）．ｓｔｙの範囲の垂直ライン（ｙ軸方向の線分）上に存在する初期クラスタｎの総画素数を下記式（１９）により計算する。
【０１１７】
【数１９】
そして、画素数ｐｘＬ（ｘ）値が所定の閾値を超える座標ｘの中で最も小さい位置を、Ｖ２（ｎ）．ｓｔｘとする。また、頂点座標Ｖ１（ｎ）を有する長方形領域において、ｘ＝Ｖ１（ｎ）．ｅｄｘで示される辺（長方形の右縦辺）８４の場合も同様に、ｘ座標Ｖ１（ｎ）．ｅｄｘのｘ軸方向正側に検索用の座標ｘＲ（＞Ｖ１（ｎ）．ｅｄｘ）を設定し、Ｖ１（ｎ）．ｓｔｘから検索用の座標ｘＲまでの各ｘ座標において、Ｖ１（ｎ）．ｅｄｙ乃至Ｖ１（ｎ）．ｓｔｙの範囲の垂直ライン（ｙ軸方向の線分）上に存在する初期クラスタｎの画素数ｐｘＲ（ｘ）を上記式（１９）と同様に算出し、その値が閾値を超えるｘ座標の中で最大のものを、新たなＶ２（ｎ）．ｅｄｘとする。長方形の横の辺に対しても、頂点座標Ｖ１（ｎ）を有する長方形領域において、ｙ＝Ｖ１（ｎ）．ｓｔｙで示される辺（長方形の上横辺）８５のｙ軸方向負側に検索用のｙ座標ｙＴ（＜Ｖ１（ｎ）．ｓｔｙ）を設定し、ｙ＝Ｖ１（ｎ）．ｅｄｙで示される辺（長方形の下横辺）８６のｙ軸方向正側に検索用のｙ座標ｙＢ（＞Ｖ１（ｎ）．ｅｄｙ）を設定し、同様に処理を行なうことで、夫々Ｖ１（ｎ）．ｓｔｙ及びＶ１（ｎ）．ｅｄｙの修正を行なって、夫々Ｖ２（ｎ）．ｓｔｙ及びＶ２（ｎ）．ｅｄｙを得る。このように、閾値の設定によって、所望の画素密度を有する修正後の頂点座標Ｖ２（ｎ）で示される長方形領域を得ることができる。
【０１１９】
（５）クラスタ統合工程
クラスタ統合工程では、クラスタ統合部１６により、初期クラスタ抽出部１４で得られたクラスタマップＣ並びに初期領域抽出部１５で得られた領域マップＲ及び頂点リストＶ２を使用して、後述する方法により、本来１つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。初期クラスタの統合に応じて、領域マップＲ及び頂点リストＶ２が修正され、夫々領域マップＲ２及び頂点リストＶ３として領域分割部１７に送られる。また修正された領域マップＲ２は領域抽出部１８にも送られる。
【０１２０】
以下、このクラスタ統合部１６について更に詳しく説明する。図１０は、クラスタ統合部を示すブロック図である。図１０に示すように、初期クラスタ抽出部１４で生成されたクラスタマップＣが入力され、初期クラスタｍ及び初期クラスタｎの組み合わせを発生する組み合わせ発生部４１と、初期クラスタｍ，ｎ及びクラスタマップＣが入力され初期クラスタｍと初期クラスタｎとの色差を算出する色差算出部４２と、初期クラスタｍ，ｎ並びに初期領域抽出部１５で生成された領域マップＲ及び頂点リストＶ２が入力され、初期クラスタｍと初期クラスタｎとの重なり度を算出する重なり度算出部４３と、初期クラスタｍ，ｎ、領域マップＲ及び頂点リストＶ２、色差、並びに重なり度が入力され、初期クラスタｍ，ｎを統合するか否かの判定を行う統合判定部４４とから構成される。
【０１２１】
組み合わせ発生部４１は、初期クラスタ抽出部で抽出された複数の初期クラスタから、任意の２つの初期クラスタの組み合わせを生成し、その初期クラスタの番号ｍ及びｎを色差算出部４２、重なり度算出部４３に送る。
【０１２２】
色差算出部４２は、組み合わせ発生部４１で指定された初期クラスタｍ及び初期クラスタｎに対し、各初期クラスタｍ，ｎの代表色を算出し、この代表色の色差を求める。代表色としては、例えば下記式（２０）に示すような重心座標（ｉｒｇｒｖ，ｉｇｇｒｖ）を使用することができる。
【０１２３】
【数２０】
ここで、Ｃ（ｉｒ，ｉｇ）はクラスタマップである。初期クラスタｍ及び初期クラスタｎに対応する夫々重心座標（ｉｒｇｒｖｍ，ｉｇｇｒｖｍ）及び（ｉｒｇｒｖｎ，ｉｇｇｒｖｎ）を求め、この重心座標の差ｄｍｎを下記式（２１）により算出する。算出された色差ｄｍｎは、統合判定部４４に送られる。
【０１２５】
【数２１】
なお、各クラスタの代表色としては、初期クラスタの重心座標のほかに、例えば、そのクラスタが由来する極大点の座標を使用することもできる。この場合、上述した極大点検出部２１によって検出された極大点の座標を色差算出部４２に送ればよい。
【０１２７】
重なり度算出部４３は、初期領域抽出部１５によって生成された領域マップＲと頂点リストＶ２とを使用して、初期クラスタｍと初期クラスタｎとによって抽出される画素の入力カラー画像上での重なりの程度を評価する。重なりの程度は、例えば図１１（ａ）に示すように、抽出された２つの初期領域が重なる共通領域が大きいほど大きく、図１１（ｂ）に示すように、共通領域がない場合には小さくなる。このような重なり度の評価値としては例えば、下記式（２２）に示すような値ｏｖｌｐｎｍを使用することができる。
【０１２８】
【数２２】
ここで、Ｒは領域マップであり、Ｒｅｃｔｍは初期クラスタｍに対応する頂点座標Ｖ２（ｍ）で表される長方形領域９１内に存在する画素の集合を表している。即ち、上記式（２２）の分母は、図１１に示す初期クラスタｍに対応する長方形領域９１内に存在する初期クラスタｍの画素９２の数であり、同様にその分子は同じ長方形領域９１内に存在する初期クラスタｎの画素９４の数となる。例えば、図１１（ａ）に示す例では、初期クラスタｍ，ｎに対応する夫々長方形領域９１，９３の重なり度が大きいため、上記式（２２）の値は大きくなる。また、同様に頂点座標Ｖ２（ｎ）で表される長方形領域９３内に含まれる初期クラスタｎの画素９４の数に対する初期クラスタｍの画素９２の数の比ｏｖｐｌｍｎもこれら２つの初期クラスタによる画素の重なりの程度を表すのに使用される。
【０１３０】
画素の重なりの程度を表す評価値として、これら２つの値ｏｖｌｐｎｍ、ｏｖｌｐｍｎが算出され、統合判定部４４に送られる。
【０１３１】
統合判定部４４では、色差算出部４２によって算出された色差ｄｍｎと重なり度算出部４３によって算出された２つの重なり度ｏｖｌｐｎｍ、ｏｖｌｐｍｎ及び、各初期クラスタに対応する長方形領域の位置関係を用いて、２つの初期クラスタの統合を行なうか否かの判定を行なう。統合のための条件としては、例えば下記式（２３）に示す条件を使用することができる。
【０１３２】
【数２３】
ここで、Ｒｅｃｔｍ、Ｒｅｃｔｎは上記式（２２）と同様、それぞれ初期クラスタｍ及び初期クラスタｎに対応する長方形領域内に存在する画素の集合であり、Ｔ１及びＴ２は、いずれも予め設定された閾値である。即ち、上記式（２３）は、２つのクラスタに対し、対応する長方形領域が共通部分を有し、色差が小さく、抽出される画素が画像上で大きく重なり合って分布している場合にこれらが統合されることを示している。
【０１３４】
２つのクラスタが統合された場合、統合後のクラスタは更に他の初期クラスタ、又は既に統合のなされたクラスタとの統合を行なうため、統合後のクラスタ番号をｎ又はｍとし、領域マップＲ、クラスタマップＣ、及び頂点リストＶ２の修正が行なわれる。統合すべきクラスタが存在しなくなった時点でクラスタ統合の処理を修了し、修正された領域マップＲ２、及び頂点リストＶ３が領域分割部１７に送られる。また領域マップＲ２は領域抽出部１８にも送られる。
【０１３５】
（６）領域分割工程
領域分割工程では、領域分割部１７により、クラスタ統合部１６において修正された領域マップＲ２及び頂点リストＶ３を用いて、同一のクラスタ、即ち、初期クラスタ又は初期クラスタが統合された統合クラスタ（以下、単にクラスタという。）によって抽出された抽出画素の分布に応じて、頂点リストＶ３に格納されている頂点座標Ｖ３（ｎ）が示す長方形領域を分割する。即ち、図１２に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域９５において複数の塊９６ａ，９６ｂを構成している場合、各塊９６ａ，９６ｂを異なる領域とみなし、長方形領域９５の分割を行なう。この結果、１つの初期クラスタに属する長方形領域９５内に、例えば塊９６ａ，９６ｂ等の複数の画素の塊が対応することになり、各画素の塊９６ａ，９６ｂを取り囲む分割長方形領域９７ａ，９７ｂを算出する。分割長方形領域９７ａ，９７ｂは初期領域抽出部１５と同様、図６に示すように１つの対角線上で相対する２つの頂点座標で表され、新たな頂点リストＶ４（ｎ，ｍ）に格納される。即ち、クラスタｎに対応するｍ番目の長方形領域が｛（Ｖ４（ｎ，ｍ）．ｓｔｘ，Ｖ４（ｎ，ｍ）．ｓｔｙ），（Ｖ４（ｎ，ｍ）．ｅｄｘ，Ｖ４（ｎ，ｍ）．ｅｄｙ）｝で表される場合、これらの座標は新たな頂点リストＶ４（ｎ，ｍ）に下記式（２４）のように格納されるものとする。新たな頂点リストＶ４（ｎ，ｍ）は、領域抽出部１８に送られる。
【０１３６】
【数２４】
以下、領域分割部１７について更に詳細に説明する。図１３は、領域分割部１７を示すブロック図である。図１３に示すように、領域分割部１７は、クラスタ統合部１６によって得られた新たな領域マップＲ２及び頂点リストＶ３（ｎ）が入力され、頂点リストＶ３（ｎ）が示す長方形領域を水平又は垂直に２分割する主分割点を検出する主分割点検出部５１と、長方形領域が垂直に２分割された場合に領域マップＲ２及び主分割点検出部５１により分割された２つの垂直分割長方形領域の頂点リストが入力され、各垂直分割長方形領域を水平に分割する水平副分割点検出部５２と、長方形領域が水平に２分割された場合に領域マップＲ２及び主分割点検出部５１により分割された２つの水平分割長方形領域の頂点リストが入力され、各水平分割長方形領域を垂直に分割する垂直副分割点検出部５３と、領域マップＲ２及び水平副分割点検出部５２又は垂直副分割点検出部５３により更に分割された長方形領域の頂点リストが入力され頂点を修正する頂点修正部５４とから構成される。
【０１３８】
主分割点検出部５１は、クラスタ統合部１６から送られてくる頂点リストＶ３に含まれる各長方形領域を分割する点を検出する。図１４（ａ）及び（ｂ）は、分割される長方形領域１００を示す模式図である。図１４（ａ）及び（ｂ）に示すように、先ず、頂点リストＶ３の頂点座標（Ｖ３（ｎ）．ｓｔｘ，Ｖ３（ｎ）．ｓｔｙ），（Ｖ３（ｎ）．ｅｄｘ，Ｖ３（ｎ）．ｅｄｙ）で表される長方形領域１００内において、クラスタｎによって抽出された画素の数を水平方向及び垂直方向に累積した夫々ヒストグラムＨＨ及びＨＶを下記式（２５）により算出する。即ち、図１４（ａ）においては、長方形領域１００を水平方向に通過する直線（図示せず）に直交する長方形領域１００内の垂直方向の線分上のクラスタｎによって抽出された画素の数をカウントしたヒストグラムを作成する。図１４（ｂ）も同様に、長方形領域１００を垂直方向に通過する直線に直交する長方形領域内の水平方向の線分上のクラスタｎによって抽出された画素の数をカウントしたヒストグラムを作成する。
【０１３９】
【数２５】
ここで、ｎは現在注目しているクラスタの番号であり、Ｒｅｃｔｎはクラスタｎに対応する長方形領域内に存在する画素の集合、Ｒ２（ｘ，ｙ）はクラスタ統合部１６から送られてきた領域マップを示す。こうして、図１４（ａ）に示すように、横軸にクラスタｎに属する画素が含まれる頂点座標Ｖ３（ｎ）で示される長方形領域１００の水平方向であるｘ座標をとり、縦軸にｘ座標における長方形領域１００内のｙ軸方向の画素数をとって、長方形領域１００内の水平方向の画素分布を示すヒストグラムＨＨが算出される。同様に、図１４（ｂ）に示すように、横軸に頂点座標Ｖ３（ｎ）で示される長方形領域１００の垂直方向であるｙ座標をとり、縦軸にｙ座標における長方形領域１００内のｘ軸方向の画素数をとって、長方形領域１００内の垂直方向の画素分布を示すヒストグラムＨＶが算出される。
【０１４１】
次に、算出されたヒストグラムＨＨ、ＨＶは、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化が施された後、ヒストグラムＨＨ及びＨＶの夫々最小点となるｘ座標：ｘｄｉｖ及びｙ座標：ｙｄｉｖが夫々垂直主分割候補点及び水平主分割候補点として検出され、この分割候補点における夫々垂直方向及び水平方向のライン１０１及び１０２上の画素の夫々密度ｄｎｓｘ及びｄｎｓｙが下記式（２６）によって算出される。
【０１４２】
【数２６】
そして、算出されたｄｎｓｘとｄｎｓｙとを比較し、ｄｎｓｘ及びｄｎｓｙのうち、例えばｄｎｓｘの方が小さく、且つ予め設定された閾値よりも小さい場合には、ｘｄｉｖを通る垂直ライン１０１を主分割軸とみなし、ｘｄｉｖを主分割点として長方形領域１００を分割する。また、ｄｎｓｙの方が小さく、且つ予め設定された値よりも小さい場合には、ｙｄｉｖを通る水平ライン１０２を主分割軸とみなし、ｙｄｉｖを主分割点として長方形領域１００を分割する。
【０１４４】
この分割により得られた２つの長方形領域の頂点座標は、新たな頂点座標Ｖ４（ｎ，ｍ）のＶ４（ｎ，０）及びＶ４（ｎ，２）に、上記（２４）に示すように格納されて、図１４（ａ）に示すように、主分割軸がｘｄｉｖを通る垂直ライン１０１である場合には水平副分割点検出部５２に送られ、図１４（ｂ）に示すように、主分割軸がｙｄｉｖを通る水平ライン１０２である場合には垂直副分割点検出部５３に送られる。
【０１４５】
また、ｄｎｓｘ及びｄｎｓｙが共に所定の閾値より大きい場合には、いずれの分割点に対しても分割を行なわないように、新たな頂点座標Ｖ４（ｎ，０）にＶ３（ｎ）をコピーするとともに、頂点座標Ｖ４（ｎ，１）、Ｖ４（ｎ，２）、Ｖ４（ｎ，３）の全ての要素ｎに位置座標値として無効な値、例えば−１などが格納されて頂点修正部５４に送られる。
【０１４６】
水平副分割点検出部５２では、図１５（ａ）に示すように、主分割点検出部５１から送られてくる頂点リストＶ４の頂点座標Ｖ４（ｎ，０）及びＶ４（ｎ，２）に対応する２つの長方形領域１０３及び１０４を水平に分割する夫々副分割点候補ｙｄｉｖＬ及びｙｄｉｖＲ、並びに各副分割点候補に対する水平方向のライン上の画素密度である夫々ｄｎｓｙＬ及びｄｎｓｙＲを算出する。これらの副分割点候補及び画素密度の算出は、上記式（２５）及び式（２６）を用いて主分割点検出部５１と同様に行なわれる。
【０１４７】
即ち、画素密度ｄｎｓＬが予め設定された閾値よりも小さい場合には、対応する長方形領域１０３を、ｙｄｉｖＬを副分割点として、このｙｄｉｖＬを通る水平ライン１０３ｃにて分割する。分割された２つの長方形領域１０３ａ，１０３ｂの各頂点座標は、夫々Ｖ４（ｎ，０）及びＶ４（ｎ，１）に格納される。また、画素密度ｄｎｓＬが予め設定された閾値よりも大きい場合には分割は行なわず、頂点座標Ｖ４（ｎ，０）は変更することなく、Ｖ４（ｎ，１）の全ての要素に位置座標値として無効な値、例えば−１などが格納される。
【０１４８】
同様に、画素密度ｄｎｓＲに応じて長方形領域１０４を分割するか否かを判定し、その結果得られる長方形領域の各頂点座標が夫々Ｖ４（ｎ，２）、Ｖ４（ｎ，３）に格納される。算出された頂点座標Ｖ４（ｎ，ｍ）は、頂点リストＶ４として頂点修正部５４に送られる。
【０１４９】
垂直副分割点検出部５３では、水平副分割点検出部５２と同様の方法により、主分割点検出部５１から送られてくる頂点リストＶ４の頂点座標Ｖ４（ｎ，０）及びＶ４（ｎ，２）に対応する２つの長方形領域１０５及び１０６を垂直に分割するための副分割点候補ｘｄｉｖＴ及びｘｄｉｖＢ、並びに各副分割点候補に対する垂直方向のライン上の画素密度である夫々ｄｎｓｘＴ及びｄｎｓｘＢを算出して、対応する長方形領域１０５，１０６を分割するか否かを判定し、その結果得られる長方形領域の各頂点座標をＶ４（ｎ，０）、Ｖ４（ｎ，１）、Ｖ４（ｎ，２）、Ｖ４（ｎ，３）に格納する。算出された頂点座標Ｖ４（ｎ，ｍ）は、頂点リストＶ４として頂点修正部５４に送られる。
【０１５０】
頂点修正部５４では、図７に示す長方形算出部３２及び長方形修正部３３におけるのと同様の処理により、水平副分割点検出部５２、又は垂直副分割点検出部５３で得られた頂点リストＶ４に含まれる有効な全ての長方形領域の修正を行なう。即ち、頂点リストＶ４で表される長方形領域内に存在するクラスタｎの画素のｘ座標の平均値ｘａｖｅ、ｙ座標の平均値ｙａｖｅ、ｘ座標の標準偏差ｘｓｄｖ、及びｙ座標の標準偏差ｙｓｄｖを夫々上記式（１６）により求め、上記式（１７）によって新たな頂点座標を求める。更に、上記式（１８）により頂点座標の修正を行なう。これにより修正された頂点リストＶ５は領域抽出部１８に送られる。
【０１５１】
（７）領域抽出工程
領域抽出部１８では、クラスタ統合部１６において修正された領域マップＲ２と、領域分割部１７において得られた新たな頂点リストＶ５を用いて、下記式（２７）の条件を満たす画素の集合Ｓｎｍを１つの領域として抽出する。
【０１５２】
【数２７】
即ち、同一のクラスタから抽出された画素であっても、領域分割部１７にて長方形領域が分割された場合は、頂点リストＶ５に記録された、例えば図１２に示す頂点座標Ｖ５（ｎ，ｍ）で示される長方形領域９７ａ，９７ｂ等のような分割された長方形領域を１つの領域と見なして個別に抽出される。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【０１５４】
本実施の形態においては、クラスタ統合部１６により、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことが可能となる。また、領域分割部１７により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。更に、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、極めて正確に設定された長方形領域が得られ、後段に簡易な判別処理を設けることで、領域抽出部１８により抽出された領域のうち、所望の色を有する極めて高精度に抽出された領域を得ることができる。
【０１５５】
Ｂ．第２の実施の形態
次に、本発明の第２の実施の形態について説明する。図１６は、本発明の第２の実施の形態の構成を示すブロック図である。本実施の形態は、上述の第１の実施の形態における画像処理装置を肖像画像撮影装置に応用したものである。
【０１５６】
図１６に示すように、肖像画像撮影装置６０は、電子スチルカメラ及びビデオカメラ等により、人物が撮影されたカラー画像を入力し、デジタルデータとして出力する撮像器６１と、出力された画像データが入力され、肌色領域が抽出される肌色領域抽出器６２と、抽出された肌色領域が顔領域であるか否かを判定する顔領域判定器６３と、顔領域と判定された領域が複数ある場合に１つの顔領域を選択する領域選択器６４と、選択された顔領域をトリミングするトリミング器６５とから構成される。
【０１５７】
肌色領域抽出器６２は、第１の実施の形態の画像処理装置処理における画像処理方法に従って肌色領域の抽出を行い、頂点リストＶ５、及び領域マップＲ２を算出する。算出された頂点リストＶ５及び領域マップＲ２は顔領域判定器６３に送られる。
顔領域判定器６３では、頂点リストＶ５及び領域マップＲ２から、肌色領域抽出器６２によって抽出された各肌色領域が顔に対応するか否かの判定を行なう。顔領域である条件としては、例えば、下記式（２８）に示す条件を使用することができる。
【０１５８】
【数２８】
ここで、Ｒｅｃｔｎｍはクラスタｎのｍ番目の長方形領域内に含まれる画素の集合であり、ｘｌｅｎ、ｙｌｅｎは長方形領域の辺の長さを示す。また、上記式（２８）に示す第１乃至第３の条件におけるＴｄｎｓ、Ｔａｓｐｍｉｎ、Ｔａｓｐｍａｘ、及びＴａｒｅａは、予め設定された閾値である。即ち、上記式（２８）の第１乃至第３の条件は、夫々長方形領域内における肌色画素の密度、長方形領域のアスペクト比、及び長方形領域の面積に関するものであり、これらの値が顔の領域として妥当な範囲にある場合に、その領域を顔の領域と判定する。
【０１６０】
なお、上記式（２８）における第１の条件に示す密度の条件は、長方形領域内に肌色画素が密集していることを要求するものであるが、このことを示す値として密度の他に下記式（２９）に示す条件を使用することも可能である。
【０１６１】
【数２９】
ここで、（ｘｇｒｖ，ｙｇｒｖ）は、長方形領域内に存在するクラスタｎの画素の重心座標である。上記式（２９）の値は、クラスタｎではない画素と重心座標との平均距離に対するクラスタｎの画素と重心座標との平均距離の比を表しており、クラスタｎの画素が重心座標の周囲に密集しているほど大きな値となる。この値が予め設定された閾値Ｔｂｐｆよりも大きくなることを上記式（２８）における第１の条件に示す画素密度の条件の代わりに使用してもよい。
【０１６３】
上記式（２８）に示す条件により、顔ではないと判定された領域に対応する頂点リストには、位置座標値として無効な値、例えば−１などが格納される。修正された頂点リストＶ６は、領域選択器６４に送られる。
【０１６４】
領域選択器６４は、顔領域判定器６３によって複数の領域が顔と判定された場合、それらの中からトリミングの対象となる領域を１つ選択する。例えば、撮像された画像には１人の人物しか存在していないことが明らかであれば、真の顔領域は１つであり、その他の領域は顔領域判定器６３における誤検出と考えられる。このような場合、真の顔領域は他の領域よりも上部に位置するものと考えられるため、頂点リストＶ６に含まれる有効な長方形領域のうち、その中心が最も上部に位置するものを選択するようにすることができる。
【０１６５】
また、撮像された画像に複数の人物が存在している可能性がある場合でも、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が最も画像中央に近い位置に存在することを期待できる場合には、頂点リストＶ６に含まれる有効な長方形領域のうち、その中心が画像中央に最も近いものを選択するようにすることができる。
【０１６６】
更に、複数の顔の領域が抽出される主な理由が、例えば子供の顔を撮像するために、親がその子供を抱いて撮像することである場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると考えられるため、頂点リストＶ６に含まれる有効な長方形領域のうち、その中心が最も下部に位置するものを選択するようにすることができる。
【０１６７】
これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、例えばインターフェース（図示せず）を設けることにより、撮影者又は被撮影者が手動で設定できるようにすること等も可能である。
【０１６８】
選択された顔の領域以外の領域に対応する頂点リストＶ６には位置座標値として無効な値、例えば−１などが格納される。修正された頂点リストＶ６は、トリミング器６５に送られる。
【０１６９】
トリミング器６５は、送られてきた頂点リストＶ６に含まれる有効な長方形領域に対応して、入力カラー画像から切り出す部分画像の位置を決定する。図１７は、トリミング器６５が入力カラー画像１１０から切り出す部分画像を示す模式図である。図１７に示すように、例えば、頂点リストＶ６によって表される長方形領域１１１の中心位置（ｘ０，ｙ０）が予め設定されたトリミング後の画像領域の所定の位置（ｔｘ０，ｔｙ０）と一致するように、下記式（３０）に示す２つの頂点座標で表される長方形領域１１２を部分画像として切り出す。
【０１７０】
【数３０】
ここで、ｔｗｄｔ、ｔｈｇｔは、予め設定されたトリミング後の画像の幅と高さを表している。
【０１７２】
トリミングされた画像は、例えばプリンタ及びモニタ等の画像表示装置、及び画像記憶装置（図示せず）等に出力される。
【０１７３】
なお、トリミング器６５において、図１８（ａ）に示すように、頂点リストＶ６で表される長方形領域１１１ａが、予め設定されたトリミング後の画像の大きさに比べて大きすぎる場合には、トリミング後の画像よりも大きな部分画像を切り出しておき、これを縮小することで所定の大きさの画像を得る縮小処理を行うことができる。逆に、図１８（ｂ）に示すように、頂点リストＶ６に含まれる長方形領域１１１ｂが、予め設定されたトリミング後の画像の大きさに比べて小さすぎる場合には、トリミング後の画像よりも小さな部分画像を切り出しておき、これを拡大することで所定の大きさの画像を得る拡大処理をすることができる。この場合、切り出す部分画像の幅ｔｗｄｔ０及びｔｈｇｔ０は、例えば下記式（３１）により設定することができる。
【０１７４】
【数３１】
ここで、ａは予め設定された係数であり、ｔａｓｐはトリミング後の画像のアスペクト比を表している。
また、顔領域判定器６３において複数の領域が顔と判定された場合、それら全てをトリミングの対象として選択するようにすることもできる。この場合、トリミング器６５では、顔と判定された複数の領域を全て含むような部分画像を切り出し、必要に応じて上述した縮小処理を施して所定の大きさの画像を得る。
【０１７６】
本実施の形態においては、第１の実施の形態における画像処理装置を使用した肌色領域抽出器６２により、極めて正確に肌色領域を抽出することができるため、抽出した肌色領域を顔と判定して正確に自動トリミング処理を行なうことが可能となり、これにより、肖像写真を自動で撮影することが可能となる。
【０１７７】
また、画像に複数の人物が含まれている場合においても、アプリケーションに応じて適切なトリミングを行うことができる。例えば、病院等におけるフォトブースで親が子供を抱いて撮影した場合、抽出される顔領域の位置又は大きさ等の情報に基づき、領域選択器６４により、複数の顔領域から特定の顔領域を選択することができる。即ち、例えば、顔領域が２つ抽出された場合に、領域選択器６４により、その位置が画面下方又はその大きさが小さいものを選択するように設定しておけば、親が子供を抱いて撮影した場合に、子供の顔を抽出してトリミングすることができる。また、何れの顔領域についてもトリミングを行うように設定しておけば、１回の画像で複数のトリミング画像を得ることができる。
【０１７８】
Ｃ．第３の実施の形態
次に、本発明の第３の実施の形態について説明する。本実施の形態における機能ブロックの構成は、上述の第１の実施の形態とほぼ同じであるが、上記第２の実施の形態で述べたような肖像写真撮影装置への応用を前提に、更に正確に顔領域の判定を行うために、領域抽出部に頭頂部の検出処理を導入し、これに基づいて肌色領域抽出を行う点が第１の実施の形態とは異なる。
【０１７９】
肖像写真の撮影を目的とする本実施の形態においては、顔領域を抽出することが本来の目的であるが、例えば被写体である人物が、その顔（肌）の色と非常に類似した色を有する服を着用している場合、顔領域と服の領域とが色空間上で同一のクラスタに対応してしまう可能性がある。本実施の形態は、このような場合においても正確顔領域を抽出することができるものである。
【０１８０】
図１９は、本実施の形態の領域抽出部２１０を示すブロック図である。図１９に示すように、領域抽出部２１０は、画像入力部１１からのデジタルカラー画像（Ｒ，Ｇ，Ｂ）と第１の実施の形態と同様の初期クラスタ抽出部において抽出された初期クラスタの情報を有するクラスタマップＣとが入力され、初期クラスタ抽出部によって抽出された各初期クラスタに含まれる色を持つ画素を抽出する画素抽出部２１１と、抽出された画素を含む長方形領域Ｖを算出する長方形算出部２１２と、クラスタ抽出部からの長方形領域と、カラー画像，クラスタマップＣとが供給され人物の頭頂部ＴＯＨを検出する頭頂部検出部２１４と、長方形領域Ｖ及び頭頂部ＴＯＨの情報が供給され、長方形領域内に含まれる画素密度等により該長方形を修正する長方形修正部２１３とから構成される。
【０１８１】
図２０は、肌と同じような色の服を着用している人物のバストショットを示す模式図、図２１は、そのような人物のバストショットから、頭頂部を検出せずに長方形領域を切り出した場合の一例を示す模式図である。画素抽出部２１１では、例えば図２０に示すように、人物Ａが肌と同じような色の服を着用していると、顔領域Ａ１と服の領域Ａ２とが連結して１つの領域として抽出されることになる。このような顔と服の連結領域に対して、長方形算出部２１２は上記（１６）式及び式（１７）式に示すように、肌色画素の座標の平均値及び標準偏差によって長方形を算出するが、図２０に示すようなバストショットでは、通常、顔領域よりも服の領域の面積のほうが大きいため、図２１に示すように顔領域の一部Ｓ１が、算出された長方形領域２００からはみ出す可能性が高い。
【０１８２】
ここで算出される長方形領域２００は、後段の顔領域判定処理に用いられるため、顔領域の一部が欠落するように設定されることは好ましくない。上述の第２の実施の形態では、長方形領域の内部における肌色画素の密度、長方形のアスペクト比、及び長方形の面積に基づいて顔領域の判定を行う例を示したが、更に正確に顔領域の判定を行うために、例えば眼のパターン等を用いる場合には、図２１に示すような顔領域上部の欠落は顔領域抽出性能を大きく劣化させることになると考えられる。
【０１８３】
また、長方形修正部２１３は、長方形算出部２１２で算出された長方形に修正処理を施すものであり、第１の実施の形態ではその修正のためのいくつかの方法について説明したが、いずれも図２１のような欠落を修正することは不可能である。
【０１８４】
そこで、本実施の形態においては、領域抽出部２１０において、人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出部２１４を設け、検出される頭頂部の座標位置（以下、頭頂部の高さという。）ＴＯＨに基づいて長方形を算出する。
【０１８５】
以下、本実施の形態の領域抽出部２１０について更に詳細に説明する。画素抽出部２１１及び長方形算出部２１２は、上述の第１の実施の形態における夫々画素抽出部３１及び長方形算出部３２と同じであり、夫々領域マップＲ及び各初期クラスタに対応する長方形の頂点リストＶを生成する。
【０１８６】
頭頂部検出部２１４は、長方形算出部２１２で算出された長方形の内部における肌色画素の集合を顔領域と仮定し、長方形領域の上方において頭頂部の高さＴＯＨの検出を行う。頭頂部の高さＴＯＨは、例えば人物以外の背景部分は単一色であること、及び人物の上方には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を持つ画素の中で最も高い位置、即ち最も小さい値の垂直座標ｙを検出し、これを頭頂部の高さＴＯＨとすることができる。
【０１８７】
具体的には、図２２に示すように、画像入力部１１から送られる入力カラー画像２２０において、注目する肌色領域２２１に対応する長方形領域２２２の図中上方の領域、即ち、長方形領域２２２よりも垂直座標が小さい領域であって、Ｖ（ｎ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲２２３を図中上方から走査し、各画素の値と背景領域２２４の背景色との差ｄを下記式（３２）式によって算出する。
【０１８８】
【数３２】
ここで、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は、位置（ｘ，ｙ）における画素のＲ，Ｇ，Ｂの値であり，Ｒｂｇ，Ｇｂｇ，Ｂｂｇは背景色のＲ，Ｇ，Ｂの値である。この背景色としては、例えば下記式（３３）に示すように、現在の注目画素よりも上にある画素の平均値を用いることができる。
【０１９０】
【数３３】
ここで、Ｖ（ｎ）は長方形算出部２１２において得られた肌色領域ｎに対応する長方形領域の頂点座標であり、従って上記式（３３）は、探索範囲２２３の内部において、現在の注目画素（ｘ，ｙ）の上方ｍライン分の平均値を背景色とすることを示している。この場合、画像最上部からｍラインにおいては上記式（３３）による背景色の算出が不可能となるが、利用できるラインのみを用いて式（３３）と同様に背景色を算出したり、あるいは探索範囲２２３の開始を画像最上部からｍ＋１ライン目から始める等の方法をとることができる。
【０１９２】
上記式（３３）によって順次更新される背景色に対し、上記式（３２）の色の差ｄを算出し、この値が閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは長方形修正部２１３に送られる。
【０１９３】
なお、背景色との差ｄに対する閾値は、予め設定された固定値を用いることもできるが、次に述べるように適応的に変化させることもできる。例えば、背景色の更新に応じて、注目画素（ｘ，ｙ）の上方ｍラインにおける画素値の分散から下記式（３４）式のように算出するようにしてもよい。
【０１９４】
【数３４】
ここで、ｗは予め設定された係数である。またｖａｒ（Ｒ（ｘ，ｙ）），ｖａｒ（Ｇ（ｘ，ｙ）），ｖａｒ（Ｂ（ｘ，ｙ））は、それぞれＲ，Ｇ，Ｂの値の分散であり下記式（３５）によって算出される。
【０１９６】
【数３５】
長方形修正部２１３では、長方形算出部２１２において算出された各初期クラスタに対応する長方形に対して、第１の実施の形態と同様、上記式（１９）などによる修正を施した後、更に、頭頂部検出部２１４において検出された頭頂部の高さＴＯＨを用いて、長方形の上側水平の辺の修正を行う。
【０１９８】
すなわち、頭頂部の高さＴＯＨからＶ（ｎ）．ｅｄｙまでの各ｙ座標において，対応する水平ライン上に存在する初期クラスタｎの画素数を下記式（３６）のように計算する。
【０１９９】
【数３６】
ｐＵ（ｙ）値が閾値を超える座標ｙの中で最も小さいものを、新たなＶ（ｎ）．ｓｔｙとする。なお、ｐＵ（ｙ）に対する閾値Ｔｔｏｐは予め設定された値を用いてもよいが、長方形算出部２１２において算出された長方形の幅と、長方形に含まれる初期クラスタｎの画素の総数から下記式（３７）のように算出してもよい。
【０２０１】
【数３７】
即ち、閾値Ｔｔｏｐは、長方形領域内における水平１ラインあたりの初期クラスタｎの平均画素数に予め設定された係数ｒを積算した値を用いることも可能である。
【０２０３】
なお、図２３に示すように、同一入力カラー画像２３０内に複数の人物２３１，２３２が存在し、なお且つ、それぞれの顔領域２３１ａ，２３２ａが水平方向に重なっている場合には、図２２に示した頭頂部探索範囲２３３，２３４も重なってしまうため，より下に位置する顔領域２３２ａに対しては頭頂部の高さＴＯＨを正しく検出することが困難になる。誤った頭頂部の高さＴＯＨに基づく修正は、長方形領域をかえって肌色領域に適合しないものにしてしまう可能性が高い。
【０２０４】
そこで、このような状況が想定される場合には、長方形算出部２１２において算出された長方形のうち、上側水平の辺の垂直座標Ｖ（ｎ）．ｓｔｙが最も小さいもの（最も上方にあるもの）のみに対して、頭頂部の高さＴＯＨに基づいた修正を行うようにしてもよい。
【０２０５】
本実施の形態においては、領域抽出部２１０に頭頂部検出部２１４を設け、人物の頭頂部を検出し、この検出結果に基づき人物の顔領域を抽出するので、人物が肌と類似した色の服を着用している場合にも、良好にその顔領域を検出することが可能となる。
【０２０６】
【発明の効果】
以上詳細に説明したように、本発明によれば、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程とを有するので、検出漏れを最小限に抑えるとともに、類似した色を有する領域を分離して扱うことが可能となる。
【０２０７】
また、本発明によれば、１つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、１つの領域として扱うことが可能となる。更に、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。更にまた、後段に簡易な判別処理を設けることで所望の領域を良好に抽出することが可能となる。また、本発明によれば、より正確に自動トリミング処理を行なうことが可能となり、良好な肖像写真を自動で撮影することが可能となる。
【０２０８】
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置を示すブロック図である。
【図２】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示すグラフ図である。
【図３】（ａ）乃至（ｃ）は、夫々入力画像、クラスタマップＣ及び領域マップＲを示す模式図である。
【図４】本発明の第１の実施の形態における画像処理装置の初期クラスタ抽出部を示すブロック図である。
【図５】本発明の第１の実施の形態における画像処理装置において作成された領域マップＲを示す模式図である。
【図６】本発明の第１の実施の形態における画像処理装置において抽出される長方形領域を示す模式図である。
【図７】本発明の第１の実施の形態における画像処理装置の初期領域抽出部を示すブロック図である。
【図８】本発明の第１の実施の形態の画像処理装置の初期領域抽出部における長方形領域の修正方法を示す模式図である。
【図９】本発明の第１の実施の形態の画像処理装置の初期領域抽出部における長方形領域の修正方法の他の例を示す模式図である。
【図１０】本発明の第１の実施の形態における画像処理装置のクラスタ統合部を示すブロック図である。
【図１１】本発明の第１の実施の形態の画像処理装置のクラスタ統合部において組み合わされた２つのクラスタを含む長方形領域の関係を示す模式図である。
【図１２】本発明の第１の実施の形態における画像処理装置の領域分割部にて分割される長方形領域を示す模式図である。
【図１３】本発明の第１の実施の形態における画像処理装置の領域分割部を示すブロック図である。
【図１４】（ａ）及び（ｂ）は、本発明の第１の実施の形態における画像処理装置の領域分割部にて夫々垂直及び水平に分割される長方形領域を示す模式図である。
【図１５】（ａ）及び（ｂ）は、本発明の第１の実施の形態における画像処理装置の領域分割部にて夫々垂直及び水平に分割された後、更に夫々水平及び垂直に分割される長方形領域を示す模式図である。
【図１６】本発明の第２の実施の形態における肖像写真撮影装置を示すブロック図である。
【図１７】本発明の第２の実施の形態における肖像写真撮影装置のトリミング器が入力カラー画像から切り出す部分画像を示す模式図である。
【図１８】（ａ）及び（ｂ）は、本発明の第２の実施の形態における肖像写真撮影装置のトリミング器における部分画像の夫々縮小処理及び拡大処理を示す模式図である。
【図１９】本発明の第３の実施の形態の領域抽出部を示すブロック図である。
【図２０】肌と同じような色の服を着用している人物のバストショットを示す模式図である。
【図２１】肌と同じような色の服を着用している人物のバストショットから、頭頂部の高さを検出せずに長方形領域を切り出した場合の一例を示す模式図である。
【図２２】本発明の第３の実施の形態における頭頂部の高さの検出方法を示す図である。
【図２３】本発明の第３の実施の形態における頭頂部の高さの検出方法の他の例を示す図である。
【符号の説明】
１１ 画像入力部、１２ 表色系変換部、１３ ヒストグラム生成部、１４ 初期クラスタ抽出部、１５ 初期領域抽出部、１６ クラスタ統合部、１７ 領域分割部、１８、２１０ 領域抽出部、２１ 極大点検出部、２２ 初期化部、２３ クラスタ成長部、２４ 停止条件判定部、３１，２１１ 画素抽出部、３２，２１２ 長方形算出部、３３，２１３ 長方形修正部、４１ 組み合わせ発生部、４２ 色差算出部、４３ 重なり度算出部、４４ 統合判定部、５１ 主分割点検出部、５２ 水平副分割点検出部、５３ 垂直副分割点検出部、５４ 頂点修正部、６０ 肖像画像撮影装置、６１ 撮像器、６２ 肌色領域抽出器、６３ 顔領域判定器、６４ 領域選択器、６５ トリミング器、２１４ 頭頂部検出部
Claims (47)
- 入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、
上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程と
を有することを特徴とする画像処理方法。 - 上記ヒストグラム生成工程では、上記色空間における上記特定の色を含む予め定義された座標範囲についてのみヒストグラムが生成されることを特徴とする請求項１記載の画像処理方法。
- 上記初期クラスタ抽出工程は、上記初期クラスタの抽出に先立ち、上記ヒストグラムを平滑化する工程を有することを特徴とする請求項１記載の画像処理方法。
- 上記初期クラスタは、上記ヒストグラムにおける上記出現頻度の極大値を始点とし、上記始点に隣接する座標の画素から上記出現頻度が所定の閾値に至る座標の画素まで、順次併合されたものであることを特徴とする請求項１記載の画像処理方法。
- 上記所定の閾値は、上記始点となる上記極大値における上記出現頻度が大きいほど大きな値に設定されることを特徴とする請求項４記載の画像処理方法。
- 上記出現頻度の極大値が所定の閾値以上の場合にのみ該極大値を上記始点とすることを特徴とする請求項４記載の画像処理方法。
- 上記併合される画素は、この画素の上記出現頻度よりも高い上記出現頻度を有し上記始点に隣接する座標の画素から順次併合された併合済画素に隣接する座標を有するものであることを特徴とする請求項４記載の画像処理方法。
- 上記併合される画素が複数の上記併合済画素に隣接する場合は該併合済画素のうち最も大きい出現頻度を有する画素に併合されることを特徴とする請求項７記載の画像処理方法。
- 上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に上記初期クラスタが１つのクラスタとして統合されることを特徴とする請求項１記載の画像処理方法。
- 上記クラスタ統合工程は、上記初期クラスタ及び統合されたクラスタを対象として、統合すべきクラスタの対が存在しなくなるまでクラスタの統合を繰り返す工程であることを特徴とする請求項９記載の画像処理方法。
- 上記クラスタ統合工程では、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度が所定の閾値以上の場合に、上記２つの初期クラスタが統合されることを特徴とする請求項９記載の画像処理方法。
- 異なる２つの上記初期クラスタのうち、第１の初期クラスタに属する画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第１の閉領域とし、第２の初期クラスタに属する画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第２の閉領域としたとき、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第１の閉領域と上記第２の閉領域とが重なる共通領域の大きさによって表されることを特徴とする請求項１１記載の画像処理方法。
- 異なる２つの上記初期クラスタのうち、第１の初期クラスタに属する第１の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第１の閉領域とし上記第１の閉領域内における上記第１の画素の数に対する第２の初期クラスタに属する第２の画素の数の比を第１の比の値とし、上記第２の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第２の閉領域とし上記第２の閉領域内における上記第２の画素の数に対する第１の画素の数の比を第２の比の値としたとき、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第１の比の値及び／又は上記第２の比の値で表されることを特徴とする請求項１１記載の画像処理方法。
- 上記異なる２つの上記初期クラスタのうち、第１の初期クラスタに属する第１の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第１の閉領域とし上記第１の閉領域内における上記第１の画素の数に対する第２の初期クラスタに属する第２の画素の数の比を第１の比の値とし、上記第２の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第２の閉領域とし上記第２の閉領域内における上記第２の画素の数に対する第１の画素の数の比を第２の比の値としたとき、異なる２つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第１の閉領域と上記第２の閉領域とが重なる共通領域の大きさ、並びに上記第１の比の値及び／又は上記第２の比の値で表されることを特徴とする請求項１１記載の画像処理方法。
- 上記第１及び第２の閉領域は、矩形領域であることを特徴とする請求項１２記載の画像処理方法。
- 上記クラスタ統合工程では、異なる２つの上記初期クラスタに対し、各上記初期クラスタに対応する色の差が所定の閾値以下である場合に、上記２つの初期クラスタが統合されることを特徴とする請求項９記載の画像処理方法。
- 上記クラスタ統合工程では、上記異なる２つの上記初期クラスタにおいて上記出現頻度が最も大きい極大点の各座標の間の距離が所定の閾値以下の場合に、上記２つの初期クラスタが統合されることを特徴とする請求項１６記載の画像処理方法。
- 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有することを特徴とする請求項１記載の画像処理方法。
- 上記抽出された初期クラスタを統合するクラスタ統合工程と、上記初期クラスタ又は上記統合されたクラスタに属する画素群を有する閉領域を抽出し該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有し、
上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタが抽出されている場合に１つのクラスタとして統合され、
上記領域抽出工程では、分割された上記閉領域から上記特定の色を有する領域が抽出されることを特徴とする請求項１記載の画像処理方法。 - 上記領域分割工程では、上記閉領域を通過する１以上の直線によって該閉領域が分割されることを特徴とする請求項１８記載の画像処理方法。
- 上記領域分割工程では、上記閉領域を通過する任意の方向の直線に直交する該閉領域内の線分上の上記初期クラスタに属する画素の数をカウントし、該カウント数が最も小さくなる上記線分によって上記閉領域が分割されることを特徴とする請求項１８記載の画像処理方法。
- 上記特定の色は、人物の肌の色であることを特徴とする請求項１記載の画像処理方法。
- 頭部を含めた人物の顔の領域を抽出する場合、上記領域抽出工程は、上記初期クラスタに対応する色を有する画素の集まりを顔領域と仮定し、該顔領域に対応する人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程をさらに有し、該頭頂部検出工程にて検出された該頭頂部の位置に基づき初期クラスタに属する画素が上記入力カラー画像上で所定の閾値以上の密度を有する閉領域を抽出することを特徴とする請求項１記載の画像処理方法。
- 上記頭頂部検出工程では、人物の背景が単一色である場合、上記顔領域の上方が画像最上部から走査され、上記背景色と異なる画素がはじめて出現する位置が頭頂部として検出されることを特徴とする請求項２３記載の画像処理方法。
- 上記領域抽出工程では、上記人物の背景が単一色である場合、上記カラー画像上の最上部に位置する顔領域に対してのみ、検出された頭頂部の高さに基づいて閉領域が抽出されることを特徴とする請求項２４記載の画像処理方法。
- 上記色空間は、ＲＧＢ表色系の各座標値をＲ、Ｇ、Ｂとしたとき、（Ｒ／（Ｒ＋Ｇ＋Ｂ），Ｇ／（Ｒ＋Ｇ＋Ｂ））を座標値とする２次元平面であることを特徴とする請求項１記載の画像処理方法。
- 入力されたカラー画像から、特定の色を有する領域を抽出する画像処理装置において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、
上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段と
を有することを特徴とする画像処理装置。 - 上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合する
ことを特徴とする請求項２７記載の画像処理装置。 - 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有する
ことを特徴とする請求項２７記載の画像処理装置。 - 入力されたカラー画像から、特定の色に対応する領域を抽出する動作を実行するためのプログラムにおいて、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、
上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程と
を有することを特徴とするプログラム。 - 上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合する
ことを特徴とする請求項３０記載のプログラム。 - 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有する
ことを特徴とする請求項３０記載のプログラム。 - 入力されたカラー画像から、特定の色を有する領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、 上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程と
を有することを特徴とするプログラムを記録した記録媒体。 - 上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合する
ことを特徴とする請求項３３記載の記録媒体。 - 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有する
ことを特徴とする請求項３３記載の記録媒体。 - 人物が撮影されたカラー画像から、顔面が所定の位置となるようにトリミングを行なう自動トリミング装置において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像か出する領域抽出手段とを具備する肌色領域抽出手段と、
上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、
上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、
選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と、
を有することを特徴とする自動トリミング装置。 - 肌色領域抽出手段は、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は上記入力カラー画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合する
ことを特徴とする請求項３６記載の自動トリミング装置。 - 肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有する
ことを特徴とする請求項３６記載の自動トリミング装置。 - 上記判定手段は、抽出された上記肌色領域の大きさ、アスペクト比、及び肌色画素の分布状態に基づいて顔領域か否かを判定することを特徴とする請求項３６記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域の上記入力カラー画像上における位置に基づいてトリミングの対象を選択することを特徴とする請求項３６記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域のうち、上記入力カラー画像の中央位置に最も近い位置のものをトリミングの対象として選択することを特徴とする請求項３６記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域のうち、上記入力カラー画像の最も上部に位置するものをトリミングの対象として選択することを特徴とする請求項３６記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域のうち、上記入力カラー画像の最も下部に位置するものをトリミングの対象として選択することを特徴とする請求項３６記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された全ての上記肌色領域をトリミングの対象として選択することを特徴とする請求項３６記載の自動トリミング装置。
- 人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、顔面が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有し、
上記自動トリミング手段は、
人物が撮影された入力カラー画像の各画素の値を色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、
上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、
上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、
選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と
を有することを特徴とする肖像写真撮影装置。 - 肌色領域抽出手段は、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は上記入力カラー画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に１つのクラスタとして統合する
ことを特徴とする請求項４５記載の肖像写真撮影装置。 - 肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有する
ことを特徴とする請求項４５記載の肖像写真撮影装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371032A JP2004005383A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002118518 | 2002-04-19 | ||
| JP2002371032A JP2004005383A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005383A true JP2004005383A (ja) | 2004-01-08 |
| JP2004005383A5 JP2004005383A5 (ja) | 2006-02-02 |
Family
ID=30447240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002371032A Pending JP2004005383A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004005383A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006080239A1 (ja) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
| JP2008252779A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 画像処理装置、画像処理方法、プログラムおよびカメラ |
| JP2011170860A (ja) * | 2004-10-28 | 2011-09-01 | Nokia Corp | デバイスメニュー |
| US8620076B2 (en) | 2009-03-04 | 2013-12-31 | Fujifilm Corporation | Region extraction apparatus and region extraction method |
| WO2014136276A1 (ja) * | 2013-03-08 | 2014-09-12 | 株式会社島津製作所 | 分析対象領域設定装置 |
| JP2022539910A (ja) * | 2019-10-28 | 2022-09-13 | 上海万物新生▲環▼保科技集団有限公司 | 電子デバイススクリーンエリア瑕疵検査方法及び装置 |
| CN117333484A (zh) * | 2023-11-30 | 2024-01-02 | 山东罗斯夫新材料科技有限公司 | 一种基于图像处理的丙烯酸乳液生产废水检测方法 |
-
2002
- 2002-12-20 JP JP2002371032A patent/JP2004005383A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011170860A (ja) * | 2004-10-28 | 2011-09-01 | Nokia Corp | デバイスメニュー |
| WO2006080239A1 (ja) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
| JPWO2006080239A1 (ja) * | 2005-01-31 | 2008-06-19 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
| JP4504417B2 (ja) * | 2005-01-31 | 2010-07-14 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
| US8073233B2 (en) | 2005-01-31 | 2011-12-06 | Olympus Corporation | Image processor, microscope system, and area specifying program |
| JP2008252779A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 画像処理装置、画像処理方法、プログラムおよびカメラ |
| US8620076B2 (en) | 2009-03-04 | 2013-12-31 | Fujifilm Corporation | Region extraction apparatus and region extraction method |
| WO2014136276A1 (ja) * | 2013-03-08 | 2014-09-12 | 株式会社島津製作所 | 分析対象領域設定装置 |
| JP2022539910A (ja) * | 2019-10-28 | 2022-09-13 | 上海万物新生▲環▼保科技集団有限公司 | 電子デバイススクリーンエリア瑕疵検査方法及び装置 |
| CN117333484A (zh) * | 2023-11-30 | 2024-01-02 | 山东罗斯夫新材料科技有限公司 | 一种基于图像处理的丙烯酸乳液生产废水检测方法 |
| CN117333484B (zh) * | 2023-11-30 | 2024-02-20 | 山东罗斯夫新材料科技有限公司 | 一种基于图像处理的丙烯酸乳液生产废水检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
| EP1800259B1 (en) | Image segmentation method and system | |
| US7526193B2 (en) | Object determining device and imaging apparatus | |
| JP3684017B2 (ja) | 画像処理装置及び方法 | |
| US7826659B2 (en) | Image processing apparatus and method, computer program, and storage medium dividing an input image into band images | |
| US9256928B2 (en) | Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image | |
| US20080247649A1 (en) | Methods For Silhouette Extraction | |
| CN111183630B (zh) | 一种智能终端的照片处理方法及处理装置 | |
| JP2004005384A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 | |
| CN110490886B (zh) | 一种针对倾斜视角下证件图像的自动纠正方法及系统 | |
| JP2018107593A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN110930321A (zh) | 一种能够自动选取目标区域的蓝/绿幕数字图像抠取方法 | |
| US8885971B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
| JP2004005383A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 | |
| JP2008059534A (ja) | 画像トリミング装置、画像トリミング方法およびそのプログラム | |
| JP2006268820A (ja) | 画像識別方法、画像処理方法、画像識別装置、画像識別プログラムおよび集積回路 | |
| JP7030425B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2022069931A (ja) | 自動トリミングプログラム、自動トリミング装置及び自動トリミング方法 | |
| JP3860540B2 (ja) | エントロピーフィルタ及び該フィルタを用いた領域抽出法 | |
| RU2329535C2 (ru) | Способ автоматического кадрирования фотографий | |
| JP2005141523A (ja) | 画像処理方法 | |
| JP2005250778A (ja) | 画像の天地方向判定 | |
| US20100104182A1 (en) | Restoring and synthesizing glint within digital image eye features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081222 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090203 |