JP2004005383A - 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 - Google Patents
画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 Download PDFInfo
- Publication number
- JP2004005383A JP2004005383A JP2002371032A JP2002371032A JP2004005383A JP 2004005383 A JP2004005383 A JP 2004005383A JP 2002371032 A JP2002371032 A JP 2002371032A JP 2002371032 A JP2002371032 A JP 2002371032A JP 2004005383 A JP2004005383 A JP 2004005383A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- area
- color
- initial
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】表色系変換部12にて入力カラー画像を色空間上の座標値に変換し、ヒストグラム生成部13にて色空間上の座標値の出現頻度を示すヒストグラムを生成し、初期クラスタ抽出部14にてヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出する。初期領域抽出部15により、同一の初期クラスタに属する画素のカラー画像上の密度分布が所定の閾値以上である長方形領域を抽出し、クラスタ統合部16にて、選択した任意の2つの初期クラスタが色空間上及び画像上で近接している場合にはこれを統合し、領域分割部17では、統合クラスタに基づき再度抽出した長方形領域内における同一のクラスタに属する画素の密度分布に基づいて長方形領域を分割し、分割した長方形領域から、特定の色を有する長方形領域を抽出する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、例えばビデオカメラ、スチルカメラ、監視用カメラ、TV電話、画像データベース、又はプリンタ等から入力される画像から特定の色の領域を抽出し、この領域情報に基づいて、例えば領域追尾、パラメータ制御、画質補正、及び検索等を行なう際に使用される画像処理方法、画像処理装置、画像処理を実行するプログラム、及びそのプログラムが記録された記録媒体、並びに自動トリミング装置及び肖像写真撮影装置に関する。
【0002】
【従来の技術】
色は物体を識別するための有効な手がかりである。更に、色情報は高速に計算できること、並びに物体の向き及び大きさ等が変化しても色情報自体はあまり変化しないこと等の理由から、特定の物体に対応する領域を抽出するために多く利用されている。例えば、人物の顔に対応する領域を抽出する場合、何らかの色空間上において、肌色に相当する範囲を予め設定しておき、その範囲内に含まれる色を有する画素の集合として顔の領域を抽出する。
【0003】
しかし、対象物体が特徴的な色を有する場合でも、他の物体が同一の色を有する可能性は排除できない。従って、色に基づいて抽出された領域を最終的に抽出すべき領域の候補とみなし、その後段において領域形状及び領域内の濃淡パターン等を使用してより詳細に判別を施す方法が多く提案されている(以下、従来例1という。)。この場合、対象物体には対応しない領域が色情報によって抽出されたとしても、この対象物に対応しない領域は、その他の情報によって除去することが可能となり、より正確な抽出処理を行なうことができる。また、同一画像において、物体に対応する複数の領域が抽出された場合、それらが画像上において分離されている限りにおいては、ラベリング処理等を使用することによって個々の領域を分離することは容易であり、個別に判別処理を行なうことで正しい領域を抽出することができる。
【0004】
この従来例1のように、個々の物体に対応する領域が異なる領域として扱える場合には、領域の形状及び領域内部の濃淡パターン等は対応する物体の性質を反映するため、後段の判別処理が効果的に機能する。濃淡パターンのマッチング等では通常、大きさの正規化が要求されるが、すでに抽出されている領域の大きさを利用することでこの正規化処理も容易に行なうことができる。
【0005】
ところで、各種照明写真では、顔領域の大きさ及び位置に対する制約がある場合があり、本来必要とされるよりも大きなサイズで撮影した後、顔領域が所定の大きさとなるようにトリミングが施されている。
【0006】
例えば下記特許文献1には、均一な色の背景上に上半身が撮影された肖像画像を所定の大きさのフレーム内において人物の頭部が所定位置になるように処理する画像処理装置が開示されている(以下、従来例2という。)。
【0007】
従来例2に記載の画像処理装置においては、先ず、読み込んだ肖像画像に対し、肖像画像内の人物の頭部が収まるように、例えば証明写真入りカードに印刷される顔写真の大きさのフレームをオペレータにより設定し、次に、フレーム内の人物の頭部左端、頭部右端及び頭頂部を検出し、この検出結果に基づきフレームの位置を修正し、最後にフレームの外側の背景を削除するトリミングを行うものである。
【0008】
また、下記特許文献2には、1枚の画像から背景画像を消去して前景画像を抽出する前景画像抽出方法が開示されている(以下、従来例3という。)。
【0009】
従来例3に記載の前景画像抽出方法においては、先ず、対象物が存在しない背景画像を撮影し、この背景画像と同一フレームで前景に対象物を位置させた対象画像を撮影し、次いで背景画像と対象画像との所定共通領域における明るさの差分を算出する。そして、背景画像と対象画像とから差分画像を求め、上記共通領域の差分から差分画像を補正し、第1のマスク画像を得る。次に、この第1のマスク画像に対して、明るさの膨張・縮小処理及び色の膨張・縮小処理を施し、更に、対象物と背景との境界を判別してこの境界にて領域を分割した第2のマスク画像を生成する。最後に、対象画像と第2のマスク画像とを重ね合わせ、対象画像の背景を単一色に変換した画像を生成する。
【特許文献1】
特開2002−42116号公報
【特許文献2】
特開2000−36032号公報
【0010】
【発明が解決しようとする課題】
ところで、色に基づく領域抽出において、個体差及び照明条件等の変化に対応するために抽出する色の範囲をある程度広く設定すると、不要な領域を抽出してしまう過検出が増加してしまう。一方、過検出を抑制するために、色の範囲を小さくすると、個体差及び照明条件等の変化による影響により、所望の領域が抽出されない検出漏れが増加するという問題点がある。
【0011】
しかしながら、従来例1のように、後段になんらかの判別処理を設けることを前提とすれば、前処理における検出漏れは大きな問題となり、むしろ過検出は許容され得ると考えられるが、実際には過検出された領域が判別処理の性能を大きく劣化させる可能性がある。例えば、隣接する異なる物体が類似した色を有する場合、各物体に対応する領域が画像上で連結し、1つの領域として抽出される可能性があるが、この場合、もはやその領域形状及び領域内部の濃淡パターンは対応する物体の性質を反映しないため、正しい判別を行なうことが困難になるという問題点がある。
【0012】
これに対して、抽出された領域内を走査し、特定の形状及び濃淡パターンを探索する方法もあるが、大きさの正規化処理等が複雑になり、判別処理に要する演算量が大きくなるといった問題点がある。
【0013】
また、従来例2に記載の技術においては、多くの画像を取り込んだ後、一括してトリミングを行うものであるが、少なくとも1枚目の画像についてはフレーム位置を決定するためにオペレータの介在を必要とする。このように、通常の各種証明写真の撮影は、顔領域の位置及び大きさの要求条件を満足するため、その撮影及び後処理等に人手の介入が必要となり、煩雑となるといった問題点がある。
【0014】
更に、従来例2に記載の技術においては、2枚目以降の画像に対しては、1枚目のフレームの設定条件を使用することにより、再度フレームを設定し直すことなく自動処理を行うことができるものの、処理対象となる肖像画像における頭部が全て1枚目の画像で設定したフレーム位置の内部に存在するとは限らず、撮影時に頭部の位置を制限するか、又はトリミング処理時にフレームの再設定を繰り返す必要がある。更にまた、頭部左端、頭部右端及び頭頂部は、輝度情報が大きく変化した位置として検出するものであるが、このような検出方法は、背景輝度の影響を受けやすく、例えば、背景輝度が均一であることを仮定しても、実際には照明条件等によって陰影及び背景の輝度ムラ等が生じ、このことにより、誤った位置が検出される可能性があるという問題点がある。
【0015】
また、従来例3に記載の技術においては、背景画像と対象画像との差分によって被写体を抽出するため、予め背景のみの画像を撮影しておく必要がある。更に、背景画像との差分を求めるため、対象画像の背景色の変化に上記差分が影響を受ける虞がある。このため、従来例3に記載の技術においては、背景画像の背景色の補正を行っているものの、背景画像を補正するための閾値の設定が容易ではなく、必ずしも正確に補正できるとは限らない。また、従来例3に記載されている大局的な方法では、照明条件によっては被写体自身による影が背景部分に生じる等の局所的な変化を補正することができない。
【0016】
更にまた、従来例3に記載の技術においては、顔画像の中心線を肌色画像の水平方向の重心配列により求めているが、顔に水平方向の陰影がある場合、暗い部分が肌色画素として抽出されずに中心線が大きくずれる可能性がある。また、肌色閉領域の最下部をあごの位置としているため、顔の領域が首の領域と連結した閉領域となった場合、あごの位置が大きくずれてしまうという問題が生じる。この問題を回避するため、抽出する肌色の範囲を明るさによって変化させているものの、これについても閾値の設定が容易ではなく、常に顔と首とが分離されるとは限らないという問題点がある。
【0017】
また、上述の従来例1乃至3においては、複数の人物が存在する画像、即ち、複数の顔領域(肌色領域)が存在するような画像においては、適切なトリミングができないという問題点がある。
【0018】
本発明はこのような事情に鑑みて提案なされたものであり、カラー画像から、所望の色を有する領域を高速かつ正確に抽出することができる画像処理方法、装置、画像処理プログラム及びその記録媒体、並びに自動トリミング装置及び肖像写真撮影装置を提供することを目的とする。
【0019】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理方法は、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程とを有することを特徴とする。
【0020】
本発明においては、各画素値を色空間上の座標値に変換したヒストグラムの極大点及びその近傍の画素を初期クラスタとして抽出するため、類似した色を有する領域を分離して扱うことが可能となり、抽出した初期クラスタのうち、特定の色、即ち、抽出したい色を判別するのみで、この特定の色に対応する初期クラスタに属する画素を含む入力カラー画像領域を良好に抽出することが可能となるため検出漏れを最小限に抑え、極めて正確に所望色の領域を抽出することができる。
【0021】
また、上記ヒストグラム生成工程では、上記色空間における上記特定の色を含む予め定義された座標範囲についてのみヒストグラムを生成することが好ましい。
【0022】
更に、上記初期クラスタ抽出工程では、上記初期クラスタの抽出に先立ち、上記ヒストグラムを平滑化する工程を有することにより、ノイズ等を除去し、誤検出を防止することができる。
【0023】
更にまた、上記初期クラスタは、上記ヒストグラムにおける上記出現頻度の極大値を始点とし、上記始点に隣接する座標の画素から上記出現頻度が所定の閾値に至る座標の画素まで、順次併合されたものとすることができる。
【0024】
また、上記所定の閾値は、上記始点となる上記極大値における上記出現頻度が大きいほど大きな値に設定することができる。
【0025】
更に、上記出現頻度の極大値が所定の閾値以上の場合にのみ該極大値を上記始点とすることにより、ノイズ等による誤検出を防止することができる。
【0026】
更にまた、上記併合される画素は、この画素の上記出現頻度よりも高い上記出現頻度を有し上記始点に隣接する座標の画素から順次併合された併合済画素に隣接する座標を有するものとし、上記併合される画素が複数の上記併合済画素に隣接する場合は該併合済画素のうち最も大きい出現頻度を有する画素に併合されるものとすることができる。
【0027】
また、上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に上記初期クラスタを1つのクラスタとして統合することができ、これにより、1つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、1つの領域として扱うことが可能となる。
【0028】
更に、上記クラスタ統合工程では、上記初期クラスタ及び統合されたクラスタを対象として、統合すべきクラスタの対が存在しなくなるまでクラスタの統合を繰り返すことができる。
【0029】
更にまた、上記クラスタ統合工程では、異なる2つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度が所定の閾値以上の場合に、上記2つの初期クラスタを統合することができ、異なる2つの上記初期クラスタのうち、第1の初期クラスタに属する第1の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第1の閉領域とし上記第1の閉領域内における上記第1の画素の数に対する第2の初期クラスタに属する第2の画素の数の比を第1の比の値とし、上記第2の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第2の閉領域とし上記第2の閉領域内における上記第2の画素の数に対する第1の画素の数の比を第2の比の値としたとき、異なる2つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第1の閉領域と上記第2の閉領域とが重なる共通領域の大きさ、上記第1の比の値及び/又は上記第2の比の値で表すことができる。
【0030】
また、上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、異なる2つの上記初期クラスタに対し、例えば、各初期クラスタにおける上記出現頻度が最も大きい極大点の各座標の間の距離が所定の閾値以下等、各上記初期クラスタに対応する色の差が所定の閾値以下の場合に、上記2つの初期クラスタを統合することができる。
【0031】
更に、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有することができ、これにより、同一のクラスタに属する画素を含む閉領域内に画素の塊が複数存在する場合等は閉領域を分割することができ、同一の色、類似の色を有する物体が複数存在する場合、それらを分離して扱うことを可能とし、後段の判別処理における負荷等を軽減することができる。
【0032】
更にまた、上記抽出された初期クラスタを統合するクラスタ統合工程と、上記初期クラスタ又は上記統合されたクラスタに属する画素群を有する閉領域を抽出し該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタが抽出されている場合に1つのクラスタとして統合し、上記領域抽出工程では、分割された上記閉領域から上記特定の色を有する領域を抽出することができる。
【0033】
また、上記領域分割工程では、上記閉領域を通過する1以上の直線によって分割することができ、例えば、上記閉領域を通過する任意の方向の直線に直交する上記閉領域内の線分上の上記初期クラスタに属する上記画素の数をカウントし、該カウント数が最も小さくなる上記線分によって上記閉領域を分割することができる。
【0034】
更に、頭部を含めた人物の顔の領域を抽出する場合、上記クラスタ統合工程は、上記初期クラスタに対応する色を有する画素の集まりを顔領域と仮定し、該顔領域に対応する頭頂部の高さを検出する頭頂部検出工程をさらに有し、検出された該頭頂部の高さに基づいて上記閉領域を設定することができる。
【0035】
更にまた、上記頭頂部検出工程では、人物の背景が単一色である場合、上記初期クラスタに対応する色を有する画素の上方を画像最上部から走査し、上記背景色と異なる画素がはじめて出現する位置を頭頂部として検出することができる。
【0036】
また、上記人物の背景が単一色である場合、上記初期クラスタの中で、対応する画素の集まりが画像上の最上部に分布する、唯一の初期クラスタに対応する領域のみを、上記頭頂部の高さに基づいて設定することができる。これにより、人物が肌(肌色)と類似した色の服を着用している場合においても、その顔領域を精度よく検出することが可能となる。
【0037】
本発明に係る画像処理装置は、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理装置において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを有することを特徴とする。
【0038】
また、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に1つのクラスタとして統合することができる。
【0039】
更に、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有することができる。
【0040】
本発明に係る自動トリミング装置は、人物が撮影されたカラー画像から、顔面が所定の位置となるようにトリミングを行なう自動トリミング装置において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と、を有することを特徴とする。
【0041】
本発明においては、極めて正確に肌色領域を抽出可能な肌色領域抽出手段により抽出された肌色領域から、顔か否かを判定し、更に、トリミング対象となる顔を選択してトリミングを行うことにより、正確且つ自動的にトリミング処理を行なうことができる。
【0042】
また、肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有することができる。
【0043】
更にまた、上記判定手段は、抽出された上記肌色領域の大きさ、アスペクト比、及び肌色画素の分布状態に基づいて顔領域か否かを判定することができ、これにより、複数の肌色領域が抽出された場合においても、それらの肌色領域が顔か否か判定することが可能であり、更に、複数の顔領域から目的に応じてトリミング対象となる1又は複数の人物の顔領域を選択してトリミング処理を行うことができる。
【0044】
本発明に係る肖像写真撮影装置は、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、顔面が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有し、上記自動トリミング手段は、人物が撮影された入力カラー画像の各画素の値を色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、選択された上記顔領域からトリミングの位置決めを行なう位置決め手段とを有することを特徴とする。
【0045】
本発明においては、極めて正確に肌色領域を抽出する肌色抽出手段を具備する自動トリミング手段を有するため、良好な肖像写真を自動で撮影することが可能となる。
【0046】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、入力カラー画像から特定の色、例えば人物の肌の色を有する領域を抽出する画像処理装置に適用したものである。
【0047】
A.第1の実施の形態
図1は、本発明の第1の実施の形態における画像処理装置を示すブロック図である。図1に示すように、画像処理装置10は、電子スチルカメラ、ビデオカメラ、又はスキャナ等により、カラー画像が入力されてデジタルデータ(以下、単にカラー画像ともいう。)として出力する画像入力部11と、画像入力部11からのカラー画像の各画素値を色空間上の座標値に変換する色変換部である表色系変換部12と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部13と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部14と、初期クラスタ抽出部14にて抽出された初期クラスタ及び画像入力部11から送られるカラー画像から上記初期クラスタを含む閉領域を抽出する初期領域抽出部15と、この初期領域内に複数の初期クラスタに対応する複数の領域が抽出されている場合に初期クラスタを1つのクラスタとして統合するクラスタ統合部16と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部17と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部18とから構成される。
【0048】
画像処理装置10においては、先ず、入力されたカラー画像の表色系を変換して色空間上の座標値に変換する(色変換工程)。次に、この色空間上の座標値の出現頻度を示すヒストグラムを生成する(ヒストグラム生成工程)。そして、このヒストグラムにおける出現頻度の極大点及びその極大点近傍の画素を初期クラスタとして抽出し、この初期クラスタの色空間上の分布を示すクラスタマップCを生成する(初期クラスタ抽出工程)。各初期クラスタには、これらを識別するクラスタ番号nが設定される。次いで、クラスタマップC上の各初期クラスタを再び、元のカラー画像上の座標値に変換した領域マップRを形成する。領域マップR上の各画素は、座標値と共にクラスタ番号nを有する。この領域マップR上で同一の初期クラスタに属する画素、即ち、同一のクラスタ番号nを有する画素の密度分布が所定の閾値以上である長方形の閉領域(初期領域)として抽出する(初期領域抽出工程)。次に、任意の2つの初期クラスタを選択し、この2つの初期クラスタが、クラスタマップC上において近接し、且つ領域マップR上において近接する長方形領域に属するものである場合、この2つの初期クラスタを統合する(クラスタ統合工程)。初期クラスタを統合した統合クラスタに基づいて領域マップRを更新し、この更新した領域マップに基づいて長方形領域も再設定する。次に、再設定した長方形領域内における同一のクラスタ番号nを有する画素の密度分布を算出し、この密度分布に基づいて必要に応じて長方形領域を分割する(領域分割工程)。こうして、入力カラー画像において、同一の色を有する複数の長方形領域が設定される。これらの長方形領域から、特定の色、即ち、本実施の形態においては、肌色を有する長方形領域を抽出する。
【0049】
以下、本実施の形態において、各工程毎に更に詳細に説明する。
【0050】
(1)色変換工程
色変換工程では、表色系変換部12により、画像入力装置11で得られた画像データの表色系が所望の領域を抽出するのに適した表色系に変換する。過検出を極力軽減するためには、変換後の表色系は、その表色系による色空間において、抽出すべき領域の色ができるだけ狭い範囲に分布するようなものを選択することが好ましい。これは、抽出すべき領域の性質に依存するが、例えば本実施の形態のように、人物の顔の領域を抽出対象とする場合に効果的な表色系の1つとして、下記式(1)に示すr−g表色系が知られている。
【0051】
【数1】
【0052】
ここで、R、G、BはRGB表色系の各座標値を表している。従って、画像入力部11の出力画像がRGB表色系で表されている場合、表色系変換部12では各画素毎に上記式(1)の演算が行なわれ、座標値(r,g)の値が算出される。こうして表色系が変換された画像データは、ヒストグラム生成部13に送られる。
【0053】
なお、以下の説明では、このr―g表色系を領域抽出に用いる場合を例に説明を行なう。また、特に入力カラー画像上の位置(座標)(x,y)における値を表す場合には、{r(x,y),g(x,y)}と表現する。
【0054】
(2)ヒストグラム生成工程
ヒストグラム生成工程では、ヒストグラム生成部13により、表色系変換部12によって表色系が変換されたデータ{r(x,y),g(x,y)}の色空間上における出現頻度を示す2次元ヒストグラムを生成する。ヒストグラムの生成は、抽出すべき領域の色が十分に含まれる色の範囲に対してのみ行なわれる。このような色の範囲は、例えば、r及びgの各値に対する下限値及び上限値を定めることで下記式(2)のように表すことができる。
【0055】
【数2】
【0056】
ここで、rmin及びrmaxは、夫々rの下限値及び上限値、gmin及びgmaxは、夫々gの下限値及び上限値を示す。
【0057】
画像上の位置(x,y)における{r(x,y),g(x,y)}が上記式(2)の条件を満足する場合、先ず、これらの値が下記式(3)によって量子化され、ヒストグラム上の座標(ir,ig)に変換される。
【0058】
【数3】
【0059】
ここで、rstep及びgstepは、夫々r及びgに対する量子化ステップであり、intは括弧内の数値の小数点以下を切り捨てる演算を示す。
【0060】
次に、算出された座標値に対応するヒストグラムの値を下記式(4)によってインクリメントすることで、座標値の出現頻度を示す2次元ヒストグラムHが生成される。
【0061】
【数4】
【0062】
図2は、簡単のため、本来2次元であるヒストグラムを1次元としたヒストグラムと抽出された初期クラスタとの関係を模式的に示すものである。図2に示すように、出現頻度は、カラー画像上の例えば肌色等の各色領域の大きさに応じて大きさが異なる複数個の極大値を有する。
【0063】
なお、インクリメントの方法としては、上記式(4)によるもののほかに、1回の増分値を適応的に変化させる方法等もある。例えば、顔の領域を抽出する際、顔が画像中央に存在する確率が多いことが明らかである場合は、例えば注目している画素が画像中央に近いほど大きな増分値を与えること等もできる。
【0064】
そして、生成されたヒストグラムHは、例えばノイズを除去し、誤検出を防止するために必要に応じてローパスフィルタによって平滑化された後、初期クラスタ抽出部14に送られる。
【0065】
(3)初期クラスタ生成工程
初期クラスタ生成工程では、初期クラスタ抽出部14により、ヒストグラム生成部13によって生成された各座標値の出現頻度を示す2次元ヒストグラムHから、分布が集中している色の座標の集合を初期クラスタとして抽出する。具体的には、上述したr−g表色系の座標値における出現頻度の極大値及びその近傍に存在する画素群を1つの初期クラスタとして抽出する。例えば、図2においては、極大点1乃至3に対し、この極大点1乃至3を始点としてこの極大点1乃至3近傍の座標の画素群が併合され、夫々初期クラスタ711乃至713として抽出される。初期クラスタは、2次元ヒストグラムHの極大点の個数に応じて1つ以上の初期クラスタが抽出されるが、各初期クラスタには固有の番号が割り当てられ、識別される。こうして抽出された複数の初期クラスタは2次元配列であるクラスタマップC(ir,ig)上に多値画像として下記式(5)のように示される。
【0066】
【数5】
【0067】
即ち、上記式(5)は、色の座標(ir,ig)が初期クラスタnに含まれていることを示す。図3(a)及び(b)は、夫々入力画像及びクラスタマップCを示す模式図である。図3(a)に示すように、入力カラー画像101における例えば(x1,y1)、(x2,y2)等の各画素値は、表色変換部にて色座標(ir1,ig1)、(ir2,ig2)に変換され、その出現頻度から2次元ヒストグラムが生成されて、この2次元ヒストグラムに基づいて抽出された初期クラスタが図3(b)に示す横軸にir、縦軸にigを取った2次元配列であるクラスタマップC上に初期クラスタ72,73として示される。抽出された初期クラスタは図3(b)に示すクラスタマップCとして、初期領域抽出部15及びクラスタ統合部16に送られる。
【0068】
以下、初期クラスタ抽出部14について更に詳細に説明する。図4は、初期クラスタ抽出部14を示すブロック図である。図4に示すように、初期クラスタ抽出部14は、2次元ヒストグラムから極大点を検出する極大点検出部21と、検出された極大点を識別するための番号を付してクラスタマップを初期化する初期化部22と、極大点を始点としてクラスタを成長するクラスタ成長部23と、クラスタの成長を停止させる停止条件判定部24とから構成される。
【0069】
先ず、ヒストグラム生成部13で生成された2次元ヒストグラムHが極大点検出部21及びクラスタ成長部23に送られる。
【0070】
そして、極大点検出部21は、ヒストグラム生成部13により生成された2次元ヒストグラムHの極大点を検出する。極大点は、例えば下記式(6)に示すような条件を満たす点(ir,ig)として検出することができる。
【0071】
【数6】
【0072】
即ち、座標(ir,ig)における出現頻度H(ir,ig)が、その近傍NB内のいずれの座標における出現頻度よりも大きい場合、座標(ir,ig)を極大点と見なす。ここで近傍NBは近傍領域を定義するための座標の集合であり、例えば下記式(7)に示すようなものを用いることができる。
【0073】
【数7】
【0074】
こうして、上記式(6),(7)から、図2に示すように、極大点1乃至3が抽出される。ここでは1つ以上の極大点が検出されるが、それらの座標は極大点リストPに格納されてクラスタ成長部22に送られる。なお、極大点リストのn番目P(n)には、n番目の極大点の座標が下記式(8)のように格納されるものとする。
【0075】
【数8】
【0076】
なお、極大点の検出は、上記式(6)の条件に加え、更に出現頻度H(ir,ig)が予め設定された所定の閾値よりも大きいものだけを検出するようにして、ノイズ及び面積が小さい領域等が抽出されることを回避するようにしてもよい。
【0077】
初期化部22は、極大点検出部21によって検出された極大点を使用して、上記式(5)に示したクラスタマップCの初期化を行う。クラスタマップCの初期化は、下記式(9)に示すように、極大点リストPに含まれる全ての極大点座標の位置にその極大点の番号を格納することによって行なうことができる。
【0078】
【数9】
【0079】
また、極大点以外の座標には、極大点の番号として使用される可能性がない値を格納する。以下ではこの値を−1とする。初期化されたクラスタマップCはクラスタ成長部23に送られる。
【0080】
クラスタ成長部23は、各極大点を、構成要素が1つの初期クラスタと見なし、これらを始点として、隣接する座標を併合することで初期クラスタの成長を行なう。ここで、初期クラスタと極大点とは1対1に対応するため、n番目の極大点に由来する初期クラスタを初期クラスタnと表すこととする。
【0081】
初期クラスタの成長は、既に生成されているクラスタマップをCとすると、このクラスタマップC上の各座標を走査し、新たに併合すべき座標を検出する。併合の条件としては例えば、下記式(10)等を使用することができる。
【0082】
【数10】
【0083】
ここで、H(ir,ig)はヒストグラム生成部13で生成された2次元ヒストグラムにおける座標(ir,ig)での出現頻度であり、Tは出現頻度における閾値である。図2に示すように、出現頻度の閾値Tを設けることにより、出現頻度が小さい座標領域70における座標を有する画素の抽出を防止する。また、(ir+dr,ig+dg)は座標(ir,ig)の隣接座標であり、例えば上記式(7)のn1、n2を1にした場合の近傍領域NBによって算出される。即ち上記式(10)の条件は、図2に示すヒストグラムにおける出現頻度H(ir,ig)の極大値を始点とし、この始点に隣接する座標の画素から、出現頻度H(ir,ig)が閾値Tに至る座標(閾値T以下になる前の座標)の画素まで順次併合されることを示す。その際、座標(ir,ig)がいずれのクラスタにも併合されておらず、その出現頻度が閾値Tよりも大きく、更にその隣接座標(ir+dr,ig+dg)のいずれかにおいて、既にいずれかの初期クラスタに併合されたものがあり、その隣接座標における出現頻度が、自らの出現頻度よりも大きい場合に、座標(ir,ig)を既に併合されている隣接座標と同一の初期クラスタに併合すべき座標として検出することを示している。
【0084】
初期クラスタnに併合されている隣接座標に対して上記式(10)が満たされた場合、座標(ir,ig)は初期クラスタnに併合され、新たなクラスタマップC2の座標(ir,ig)にnが格納される。上記式(10)が満たされない場合には、元の状態を保存するため、C2(ir,ig)にはC(ir,ig)の値がそのままコピーされる。
【0085】
なお、隣接座標の中に異なる初期クラスタに併合されている複数の座標がある場合には、その隣接座標の中で最も大きな出現頻度を有する座標の初期クラスタに併合するものとし、この最も大きな出現頻度を有する座標の初期クラスタ番号を座標(ir,ig)の初期クラスタ番号とする。
【0086】
また、上記式(10)における出現頻度の閾値Tは予め設定された固定の値を用いることもできるが、例えば、下記式(11)のように、極大点における出現頻度に応じて初期クラスタ毎に変えることもできる。
【0087】
【数11】
【0088】
ここで、(irn,ign)は初期クラスタnに対する極大点の座標、rは1.0以下の係数であり、Tnは初期クラスタnに対する出現頻度の閾値である。
【0089】
クラスタマップC上の全ての座標を走査した後、クラスタマップC2をクラスタマップCにコピーする。更新されたクラスタマップCは、停止条件判定部24に送られる。
【0090】
停止条件判定部24は、クラスタ成長部23における処理により、新たに併合された座標(画素)の数が予め定めた閾値よりも大きい場合、即ち、1回の走査におけるクラスタの成長率が高い場合は、クラスタマップCをクラスタ成長部23に送り、更にクラスタの成長処理を繰り返し、クラスタを成長させる。クラスタ成長部23において、新たに併合された座標数が上記閾値以下である場合は、クラスタの成長がほぼ終了したものと見なし、クラスタの成長を停止させる。
【0091】
こうして、生成されたクラスタマップCは初期領域抽出部15及びクラスタ統合部16に送られる。
【0092】
なお、本実施の形態においては、初期クラスタを抽出するために、上述したように、極大点を始点としたクラスタの成長処理を行なっているが、上記式(10)に示す条件においては、ヒストグラムにおいて本来併合されるべき座標が例えばノイズ等により併合されない場合等がある。そこで、図4に示すクラスタ抽出部の停止条件判定部24においてクラスタの成長が停止した後に、更にクラスタの拡大処理を追加することもできる。クラスタの拡大処理としては、例えば、停止条件判定部24で得られたクラスタマップCに対して、下記式(12)の条件を満足する座標(ir,ig)を更に初期クラスタnに併合する。
【0093】
【数12】
【0094】
ここで、H(ir,ig)はヒストグラム生成部13で生成されたヒストグラムであり、Tは閾値である。また、(ir+dr,ig+dg)は上記式(10)と同様に、座標(ir,ig)の隣接座標を表している。即ち、上記式(12)は、座標(ir,ig)がいまだいずれのクラスタにも併合されておらず、その出現頻度が閾値Tよりも大きく、またその隣接座標の中に既に初期クラスタnに併合されたものがある場合に、座標(ir,ig)をクラスタnに併合する。このように、クラスタの拡大処理を行うことができる。
【0095】
(4)初期領域抽出工程
初期領域抽出部15では、初期クラスタ抽出部14において得られた、例えば図3(b)に示す初期クラスタ72,73等の初期クラスタに含まれる色を有する画素のうち、同一初期クラスタに属する画素がカラー画像上で集中する長方形の領域を初期領域として抽出する。図3(c)は、領域マップRを示す模式図である。クラスタ成長部で成長され生成された各初期クラスタから抽出された画素は、図3(c)に示す2次元配列である領域マップR(x,y)上にクラスタを識別するnを有する多値画像として表現される。ここで、図3(a)に示す入力カラー画像の位置(x1,y1),(x2,y2)における画素が、図3(b)に示す夫々初期クラスタ72,73に含まれるものであり、初期クラスタ72,73のクラスタ番号nを1,2としたとき、領域マップRにおける座標(x1,y1),(x2,y2)は、そのクラスタ番号1,2を有するものとなる。即ち、画像上の位置(x,y)の画素の色がクラスタnに含まれている場合、下記式(13)のように示される。
【0096】
【数13】
【0097】
そして、図5に示す領域マップRにおいて、抽出画素76の分布が集中する領域を囲む長方形領域77を算出する。各初期クラスタに対応して得られた長方形領域は、図6に示すように、1つの対角線上で相対する2頂点の座標(srx,sty)、(edx,edy)で表現され、1次元配列である頂点リストV1に格納される。即ち、クラスタnに対応して得られた長方形領域77の2つの頂点座標が(stx,sty)、(edx,edy)である場合、これらの座標は頂点座標V1(n)に下記式(14)のように格納されるものとする。
【0098】
【数14】
【0099】
各初期クラスタに対応して得られた抽出画素76及び長方形領域77は、夫々領域マップR及び頂点リストV1としてクラスタ統合部16に送られる。
【0100】
ここで、上述したクラスタの拡大処理において、1つの座標が複数の初期クラスタに併合される可能性があり、またこれによって、画像上の1つの画素が異なるクラスタに対応してしまう場合も考えられる。即ち、上述したような拡大処理を施した場合には、クラスタマップC及び領域マップRを夫々上記式(5)及び上記式(13)のように表現することはできなくなる。従って、これらを表現するために、例えば各クラスタの番号毎にクラスタマップ及び領域マップを用意するようにすることもできる。このように、クラスタの拡大処理を行うことにより、対応する画像上の領域(初期領域)をより安定に抽出することができる。
【0101】
また、クラスタマップC及び領域マップRの他の表現方法としては、予め予想される初期クラスタ数の最大値をnとした場合、クラスタマップC(ir,ig)及び領域マップR(x,y)において、クラスタを示す配列要素を(少なくとも)nビット用意し、例えばクラスタマップCの座標(ir,ig)又は画像上の位置(x,y)の画素がクラスタnに対応している場合、上記標配列要素のnビット目を1にセットすることで表現することも可能である。逆に、それらが初期クラスタnに含まれない場合には、nビット目をゼロにセットする。この方法によれば、予期される初期クラスタ数の最大値に対して、十分なビット幅を有する2次元配列をクラスタマップ及び領域マップとして使用することで、各クラスタの番号毎にクラスタマップ及び領域マップを用意するよりも、保存に要するメモリ量を削減することができる。
【0102】
以下、この初期領域抽出部15について更に詳細に説明する。図7は初期領域抽出部15を示すブロック図である。図7に示すように、初期領域抽出部15は、画像入力部11からのデジタルカラー画像(R,G,B)と上述した初期クラスタ抽出部14において抽出された初期クラスタの情報を有するクラスタマップCとが入力され、初期クラスタ抽出部14によって抽出された各初期クラスタに含まれる色を持つ画素を抽出する画素抽出部31と、抽出された画素を含む長方形領域を算出する長方形算出部32と、長方形領域内に含まれる画素密度等により該長方形を修正する長方形修正部33とから構成される。
【0103】
画素抽出部は、図3(b)に示すように、例えば初期クラスタ72,73等の各初期クラスタに含まれる画素を抽出し、図3(c)に示すように、上記式(13)に示す領域マップRを生成する。即ち、画像上の位置(x,y)においてその画素の値が下記式(15)式を満足している場合、上記式(13)式に示すように、領域マップRの位置(x,y)に値nが格納される。
【0104】
【数15】
【0105】
ここで、ir(x,y)及びig(x,y)は、位置(x,y)の画素値から、上記式(1)及び上記式(3)によって算出される色の座標であり、Cは初期クラスタ抽出部14で得られたクラスタマップを示す。
【0106】
生成された領域マップRは長方形算出部32、長方形修正部33に送られるとともに、後述するクラスタ統合部16にも送られる。
【0107】
長方形算出部32は、画素抽出部31で得られた領域マップRを用い、各初期クラスタ72,73によって抽出された画素が集中する領域を取り囲む夫々長方形領域を算出する。長方形領域は、上述した如く、例えば図6に示すように、1つの対角線上の相対する2つの頂点座標で表されるが、1つの初期クラスタに対応する頂点座標(stx,sty)、(edx,edy)は次のように算出される。即ち、先ず、対応する画素のx座標の平均値xave、y座標の平均値yave、x座標の標準偏差xsdv、及びy座標の標準偏差ysdvが夫々下記(16)式により求められる。
【0108】
【数16】
【0109】
ここで、nは現在注目している初期クラスタの番号である。これらの値を用いて、頂点座標は下記式(17)によって算出される。
【0110】
【数17】
【0111】
ここで、aは予め設定された係数である。初期クラスタnに対して上記式(17)により算出された頂点座標は、上記式(14)に示すように頂点座標V1(n)に格納され、長方形修正部33に送られる。
【0112】
なお、上記式(16)によって座標の平均及び標準偏差を算出する際に、抽出された画素に重みをつけ、算出される値に寄与する割合を変化させることもできる。例えば、抽出すべき領域が画像上のある位置に出現する確率が高いことが明らかである場合には、その位置に近い画素ほど大きな重みを座標値に積算して、平均及び標準偏差を算出するようにすることもできる。また、ノイズの影響を軽減するため、例えば、クラスタによって抽出されたある画素に対し、例えば、その画素に隣接する8画素全てが同じクラスタにより抽出されている場合にのみ、その画素を上記式(16)の計算に使用すること等も可能である。
【0113】
長方形修正部33は、各初期クラスタによって抽出される画素のx座標の最小値xmin、x座標の最大値xmax、y座標の最小値、ymin、及びy座標の最大値ymaxを求め、これらと、上記式(17)によって求められた頂点座標を比較して、頂点座標を下記式(18)により修正する。
【0114】
【数18】
【0115】
ここで、MAX(a,b)及びMIN(a,b)は、a、bのうちの夫々最大値及び最小値を算出する関数である。また、V2(n)は、修正後の頂点座標を示す。図8は、入力カラー画像における長方形領域の修正の例を示す模式図である。図8に示すように、カラー画像上において、上記式(17)によって算出された修正前の長方形領域81は、上記式(18)により修正され、頂点座標(V2(n).stx,V2(n).sty),(V2(n).edx,V2(n).edy)=(xmin,V1(n).sty),(V1(n).edx,ymin)を有する修正後の長方形領域82が算出される。修正された頂点座標は、頂点リストV2としてクラスタ統合部16に送られる。
【0116】
なお、更に正確に長方形を画素の分布に一致させるために、異なる修正処理を追加することも可能である。図9は、修正処理の他の例を示す模式図である。図9に示すように、例えば、頂点座標V1(n)を有する長方形領域において、x=V1(n).stxで示される辺(長方形の左縦辺)83のx軸方向負側に検索用座標xL(xL<V1(n).stx)を設定し、この検索用座標からV(n)1.edxまでの各x座標において、V1(n).edy乃至V1(n).styの範囲の垂直ライン(y軸方向の線分)上に存在する初期クラスタnの総画素数を下記式(19)により計算する。
【0117】
【数19】
【0118】
そして、画素数pxL(x)値が所定の閾値を超える座標xの中で最も小さい位置を、V2(n).stxとする。また、頂点座標V1(n)を有する長方形領域において、x=V1(n).edxで示される辺(長方形の右縦辺)84の場合も同様に、x座標V1(n).edxのx軸方向正側に検索用の座標xR(>V1(n).edx)を設定し、V1(n).stxから検索用の座標xRまでの各x座標において、V1(n).edy乃至V1(n).styの範囲の垂直ライン(y軸方向の線分)上に存在する初期クラスタnの画素数pxR(x)を上記式(19)と同様に算出し、その値が閾値を超えるx座標の中で最大のものを、新たなV2(n).edxとする。長方形の横の辺に対しても、頂点座標V1(n)を有する長方形領域において、y=V1(n).styで示される辺(長方形の上横辺)85のy軸方向負側に検索用のy座標yT(<V1(n).sty)を設定し、y=V1(n).edyで示される辺(長方形の下横辺)86のy軸方向正側に検索用のy座標yB(>V1(n).edy)を設定し、同様に処理を行なうことで、夫々V1(n).sty及びV1(n).edyの修正を行なって、夫々V2(n).sty及びV2(n).edyを得る。このように、閾値の設定によって、所望の画素密度を有する修正後の頂点座標V2(n)で示される長方形領域を得ることができる。
【0119】
(5)クラスタ統合工程
クラスタ統合工程では、クラスタ統合部16により、初期クラスタ抽出部14で得られたクラスタマップC並びに初期領域抽出部15で得られた領域マップR及び頂点リストV2を使用して、後述する方法により、本来1つの領域に含まれる色でありながら異なる初期クラスタとして抽出された複数の初期クラスタを統合する。初期クラスタの統合に応じて、領域マップR及び頂点リストV2が修正され、夫々領域マップR2及び頂点リストV3として領域分割部17に送られる。また修正された領域マップR2は領域抽出部18にも送られる。
【0120】
以下、このクラスタ統合部16について更に詳しく説明する。図10は、クラスタ統合部を示すブロック図である。図10に示すように、初期クラスタ抽出部14で生成されたクラスタマップCが入力され、初期クラスタm及び初期クラスタnの組み合わせを発生する組み合わせ発生部41と、初期クラスタm,n及びクラスタマップCが入力され初期クラスタmと初期クラスタnとの色差を算出する色差算出部42と、初期クラスタm,n並びに初期領域抽出部15で生成された領域マップR及び頂点リストV2が入力され、初期クラスタmと初期クラスタnとの重なり度を算出する重なり度算出部43と、初期クラスタm,n、領域マップR及び頂点リストV2、色差、並びに重なり度が入力され、初期クラスタm,nを統合するか否かの判定を行う統合判定部44とから構成される。
【0121】
組み合わせ発生部41は、初期クラスタ抽出部で抽出された複数の初期クラスタから、任意の2つの初期クラスタの組み合わせを生成し、その初期クラスタの番号m及びnを色差算出部42、重なり度算出部43に送る。
【0122】
色差算出部42は、組み合わせ発生部41で指定された初期クラスタm及び初期クラスタnに対し、各初期クラスタm,nの代表色を算出し、この代表色の色差を求める。代表色としては、例えば下記式(20)に示すような重心座標(irgrv,iggrv)を使用することができる。
【0123】
【数20】
【0124】
ここで、C(ir,ig)はクラスタマップである。初期クラスタm及び初期クラスタnに対応する夫々重心座標(irgrvm,iggrvm)及び(irgrvn,iggrvn)を求め、この重心座標の差dmnを下記式(21)により算出する。算出された色差dmnは、統合判定部44に送られる。
【0125】
【数21】
【0126】
なお、各クラスタの代表色としては、初期クラスタの重心座標のほかに、例えば、そのクラスタが由来する極大点の座標を使用することもできる。この場合、上述した極大点検出部21によって検出された極大点の座標を色差算出部42に送ればよい。
【0127】
重なり度算出部43は、初期領域抽出部15によって生成された領域マップRと頂点リストV2とを使用して、初期クラスタmと初期クラスタnとによって抽出される画素の入力カラー画像上での重なりの程度を評価する。重なりの程度は、例えば図11(a)に示すように、抽出された2つの初期領域が重なる共通領域が大きいほど大きく、図11(b)に示すように、共通領域がない場合には小さくなる。このような重なり度の評価値としては例えば、下記式(22)に示すような値ovlpnmを使用することができる。
【0128】
【数22】
【0129】
ここで、Rは領域マップであり、Rectmは初期クラスタmに対応する頂点座標V2(m)で表される長方形領域91内に存在する画素の集合を表している。即ち、上記式(22)の分母は、図11に示す初期クラスタmに対応する長方形領域91内に存在する初期クラスタmの画素92の数であり、同様にその分子は同じ長方形領域91内に存在する初期クラスタnの画素94の数となる。例えば、図11(a)に示す例では、初期クラスタm,nに対応する夫々長方形領域91,93の重なり度が大きいため、上記式(22)の値は大きくなる。また、同様に頂点座標V2(n)で表される長方形領域93内に含まれる初期クラスタnの画素94の数に対する初期クラスタmの画素92の数の比ovplmnもこれら2つの初期クラスタによる画素の重なりの程度を表すのに使用される。
【0130】
画素の重なりの程度を表す評価値として、これら2つの値ovlpnm、ovlpmnが算出され、統合判定部44に送られる。
【0131】
統合判定部44では、色差算出部42によって算出された色差dmnと重なり度算出部43によって算出された2つの重なり度ovlpnm、ovlpmn及び、各初期クラスタに対応する長方形領域の位置関係を用いて、2つの初期クラスタの統合を行なうか否かの判定を行なう。統合のための条件としては、例えば下記式(23)に示す条件を使用することができる。
【0132】
【数23】
【0133】
ここで、Rectm、Rectnは上記式(22)と同様、それぞれ初期クラスタm及び初期クラスタnに対応する長方形領域内に存在する画素の集合であり、T1及びT2は、いずれも予め設定された閾値である。即ち、上記式(23)は、2つのクラスタに対し、対応する長方形領域が共通部分を有し、色差が小さく、抽出される画素が画像上で大きく重なり合って分布している場合にこれらが統合されることを示している。
【0134】
2つのクラスタが統合された場合、統合後のクラスタは更に他の初期クラスタ、又は既に統合のなされたクラスタとの統合を行なうため、統合後のクラスタ番号をn又はmとし、領域マップR、クラスタマップC、及び頂点リストV2の修正が行なわれる。統合すべきクラスタが存在しなくなった時点でクラスタ統合の処理を修了し、修正された領域マップR2、及び頂点リストV3が領域分割部17に送られる。また領域マップR2は領域抽出部18にも送られる。
【0135】
(6)領域分割工程
領域分割工程では、領域分割部17により、クラスタ統合部16において修正された領域マップR2及び頂点リストV3を用いて、同一のクラスタ、即ち、初期クラスタ又は初期クラスタが統合された統合クラスタ(以下、単にクラスタという。)によって抽出された抽出画素の分布に応じて、頂点リストV3に格納されている頂点座標V3(n)が示す長方形領域を分割する。即ち、図12に示すように、画像上で同一のクラスタによって抽出された抽出画素が、このクラスタに対応して得られた長方形領域95において複数の塊96a,96bを構成している場合、各塊96a,96bを異なる領域とみなし、長方形領域95の分割を行なう。この結果、1つの初期クラスタに属する長方形領域95内に、例えば塊96a,96b等の複数の画素の塊が対応することになり、各画素の塊96a,96bを取り囲む分割長方形領域97a,97bを算出する。分割長方形領域97a,97bは初期領域抽出部15と同様、図6に示すように1つの対角線上で相対する2つの頂点座標で表され、新たな頂点リストV4(n,m)に格納される。即ち、クラスタnに対応するm番目の長方形領域が{(V4(n,m).stx,V4(n,m).sty),(V4(n,m).edx,V4(n,m).edy)}で表される場合、これらの座標は新たな頂点リストV4(n,m)に下記式(24)のように格納されるものとする。新たな頂点リストV4(n,m)は、領域抽出部18に送られる。
【0136】
【数24】
【0137】
以下、領域分割部17について更に詳細に説明する。図13は、領域分割部17を示すブロック図である。図13に示すように、領域分割部17は、クラスタ統合部16によって得られた新たな領域マップR2及び頂点リストV3(n)が入力され、頂点リストV3(n)が示す長方形領域を水平又は垂直に2分割する主分割点を検出する主分割点検出部51と、長方形領域が垂直に2分割された場合に領域マップR2及び主分割点検出部51により分割された2つの垂直分割長方形領域の頂点リストが入力され、各垂直分割長方形領域を水平に分割する水平副分割点検出部52と、長方形領域が水平に2分割された場合に領域マップR2及び主分割点検出部51により分割された2つの水平分割長方形領域の頂点リストが入力され、各水平分割長方形領域を垂直に分割する垂直副分割点検出部53と、領域マップR2及び水平副分割点検出部52又は垂直副分割点検出部53により更に分割された長方形領域の頂点リストが入力され頂点を修正する頂点修正部54とから構成される。
【0138】
主分割点検出部51は、クラスタ統合部16から送られてくる頂点リストV3に含まれる各長方形領域を分割する点を検出する。図14(a)及び(b)は、分割される長方形領域100を示す模式図である。図14(a)及び(b)に示すように、先ず、頂点リストV3の頂点座標(V3(n).stx,V3(n).sty),(V3(n).edx,V3(n).edy)で表される長方形領域100内において、クラスタnによって抽出された画素の数を水平方向及び垂直方向に累積した夫々ヒストグラムHH及びHVを下記式(25)により算出する。即ち、図14(a)においては、長方形領域100を水平方向に通過する直線(図示せず)に直交する長方形領域100内の垂直方向の線分上のクラスタnによって抽出された画素の数をカウントしたヒストグラムを作成する。図14(b)も同様に、長方形領域100を垂直方向に通過する直線に直交する長方形領域内の水平方向の線分上のクラスタnによって抽出された画素の数をカウントしたヒストグラムを作成する。
【0139】
【数25】
【0140】
ここで、nは現在注目しているクラスタの番号であり、Rectnはクラスタnに対応する長方形領域内に存在する画素の集合、R2(x,y)はクラスタ統合部16から送られてきた領域マップを示す。こうして、図14(a)に示すように、横軸にクラスタnに属する画素が含まれる頂点座標V3(n)で示される長方形領域100の水平方向であるx座標をとり、縦軸にx座標における長方形領域100内のy軸方向の画素数をとって、長方形領域100内の水平方向の画素分布を示すヒストグラムHHが算出される。同様に、図14(b)に示すように、横軸に頂点座標V3(n)で示される長方形領域100の垂直方向であるy座標をとり、縦軸にy座標における長方形領域100内のx軸方向の画素数をとって、長方形領域100内の垂直方向の画素分布を示すヒストグラムHVが算出される。
【0141】
次に、算出されたヒストグラムHH、HVは、ノイズ等を除去するため、必要に応じて1次元ローパスフィルタによって平滑化が施された後、ヒストグラムHH及びHVの夫々最小点となるx座標:xdiv及びy座標:ydivが夫々垂直主分割候補点及び水平主分割候補点として検出され、この分割候補点における夫々垂直方向及び水平方向のライン101及び102上の画素の夫々密度dnsx及びdnsyが下記式(26)によって算出される。
【0142】
【数26】
【0143】
そして、算出されたdnsxとdnsyとを比較し、dnsx及びdnsyのうち、例えばdnsxの方が小さく、且つ予め設定された閾値よりも小さい場合には、xdivを通る垂直ライン101を主分割軸とみなし、xdivを主分割点として長方形領域100を分割する。また、dnsyの方が小さく、且つ予め設定された値よりも小さい場合には、ydivを通る水平ライン102を主分割軸とみなし、ydivを主分割点として長方形領域100を分割する。
【0144】
この分割により得られた2つの長方形領域の頂点座標は、新たな頂点座標V4(n,m)のV4(n,0)及びV4(n,2)に、上記(24)に示すように格納されて、図14(a)に示すように、主分割軸がxdivを通る垂直ライン101である場合には水平副分割点検出部52に送られ、図14(b)に示すように、主分割軸がydivを通る水平ライン102である場合には垂直副分割点検出部53に送られる。
【0145】
また、dnsx及びdnsyが共に所定の閾値より大きい場合には、いずれの分割点に対しても分割を行なわないように、新たな頂点座標V4(n,0)にV3(n)をコピーするとともに、頂点座標V4(n,1)、V4(n,2)、V4(n,3)の全ての要素nに位置座標値として無効な値、例えば−1などが格納されて頂点修正部54に送られる。
【0146】
水平副分割点検出部52では、図15(a)に示すように、主分割点検出部51から送られてくる頂点リストV4の頂点座標V4(n,0)及びV4(n,2)に対応する2つの長方形領域103及び104を水平に分割する夫々副分割点候補ydivL及びydivR、並びに各副分割点候補に対する水平方向のライン上の画素密度である夫々dnsyL及びdnsyRを算出する。これらの副分割点候補及び画素密度の算出は、上記式(25)及び式(26)を用いて主分割点検出部51と同様に行なわれる。
【0147】
即ち、画素密度dnsLが予め設定された閾値よりも小さい場合には、対応する長方形領域103を、ydivLを副分割点として、このydivLを通る水平ライン103cにて分割する。分割された2つの長方形領域103a,103bの各頂点座標は、夫々V4(n,0)及びV4(n,1)に格納される。また、画素密度dnsLが予め設定された閾値よりも大きい場合には分割は行なわず、頂点座標V4(n,0)は変更することなく、V4(n,1)の全ての要素に位置座標値として無効な値、例えば−1などが格納される。
【0148】
同様に、画素密度dnsRに応じて長方形領域104を分割するか否かを判定し、その結果得られる長方形領域の各頂点座標が夫々V4(n,2)、V4(n,3)に格納される。算出された頂点座標V4(n,m)は、頂点リストV4として頂点修正部54に送られる。
【0149】
垂直副分割点検出部53では、水平副分割点検出部52と同様の方法により、主分割点検出部51から送られてくる頂点リストV4の頂点座標V4(n,0)及びV4(n,2)に対応する2つの長方形領域105及び106を垂直に分割するための副分割点候補xdivT及びxdivB、並びに各副分割点候補に対する垂直方向のライン上の画素密度である夫々dnsxT及びdnsxBを算出して、対応する長方形領域105,106を分割するか否かを判定し、その結果得られる長方形領域の各頂点座標をV4(n,0)、V4(n,1)、V4(n,2)、V4(n,3)に格納する。算出された頂点座標V4(n,m)は、頂点リストV4として頂点修正部54に送られる。
【0150】
頂点修正部54では、図7に示す長方形算出部32及び長方形修正部33におけるのと同様の処理により、水平副分割点検出部52、又は垂直副分割点検出部53で得られた頂点リストV4に含まれる有効な全ての長方形領域の修正を行なう。即ち、頂点リストV4で表される長方形領域内に存在するクラスタnの画素のx座標の平均値xave、y座標の平均値yave、x座標の標準偏差xsdv、及びy座標の標準偏差ysdvを夫々上記式(16)により求め、上記式(17)によって新たな頂点座標を求める。更に、上記式(18)により頂点座標の修正を行なう。これにより修正された頂点リストV5は領域抽出部18に送られる。
【0151】
(7)領域抽出工程
領域抽出部18では、クラスタ統合部16において修正された領域マップR2と、領域分割部17において得られた新たな頂点リストV5を用いて、下記式(27)の条件を満たす画素の集合Snmを1つの領域として抽出する。
【0152】
【数27】
【0153】
即ち、同一のクラスタから抽出された画素であっても、領域分割部17にて長方形領域が分割された場合は、頂点リストV5に記録された、例えば図12に示す頂点座標V5(n,m)で示される長方形領域97a,97b等のような分割された長方形領域を1つの領域と見なして個別に抽出される。ここで抽出された複数の領域は図示せぬ判別処理部に送られ、所望の領域か否かの判別が行なわれる。
【0154】
本実施の形態においては、クラスタ統合部16により、1つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、1つの領域として扱うことが可能となる。また、領域分割部17により、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。更に、クラスタを抽出し、これを統合し、更に画素密度分布によって抽出領域を分割することにより、極めて正確に設定された長方形領域が得られ、後段に簡易な判別処理を設けることで、領域抽出部18により抽出された領域のうち、所望の色を有する極めて高精度に抽出された領域を得ることができる。
【0155】
B.第2の実施の形態
次に、本発明の第2の実施の形態について説明する。図16は、本発明の第2の実施の形態の構成を示すブロック図である。本実施の形態は、上述の第1の実施の形態における画像処理装置を肖像画像撮影装置に応用したものである。
【0156】
図16に示すように、肖像画像撮影装置60は、電子スチルカメラ及びビデオカメラ等により、人物が撮影されたカラー画像を入力し、デジタルデータとして出力する撮像器61と、出力された画像データが入力され、肌色領域が抽出される肌色領域抽出器62と、抽出された肌色領域が顔領域であるか否かを判定する顔領域判定器63と、顔領域と判定された領域が複数ある場合に1つの顔領域を選択する領域選択器64と、選択された顔領域をトリミングするトリミング器65とから構成される。
【0157】
肌色領域抽出器62は、第1の実施の形態の画像処理装置処理における画像処理方法に従って肌色領域の抽出を行い、頂点リストV5、及び領域マップR2を算出する。算出された頂点リストV5及び領域マップR2は顔領域判定器63に送られる。
顔領域判定器63では、頂点リストV5及び領域マップR2から、肌色領域抽出器62によって抽出された各肌色領域が顔に対応するか否かの判定を行なう。顔領域である条件としては、例えば、下記式(28)に示す条件を使用することができる。
【0158】
【数28】
【0159】
ここで、Rectnmはクラスタnのm番目の長方形領域内に含まれる画素の集合であり、xlen、ylenは長方形領域の辺の長さを示す。また、上記式(28)に示す第1乃至第3の条件におけるTdns、Taspmin、Taspmax、及びTareaは、予め設定された閾値である。即ち、上記式(28)の第1乃至第3の条件は、夫々長方形領域内における肌色画素の密度、長方形領域のアスペクト比、及び長方形領域の面積に関するものであり、これらの値が顔の領域として妥当な範囲にある場合に、その領域を顔の領域と判定する。
【0160】
なお、上記式(28)における第1の条件に示す密度の条件は、長方形領域内に肌色画素が密集していることを要求するものであるが、このことを示す値として密度の他に下記式(29)に示す条件を使用することも可能である。
【0161】
【数29】
【0162】
ここで、(xgrv,ygrv)は、長方形領域内に存在するクラスタnの画素の重心座標である。上記式(29)の値は、クラスタnではない画素と重心座標との平均距離に対するクラスタnの画素と重心座標との平均距離の比を表しており、クラスタnの画素が重心座標の周囲に密集しているほど大きな値となる。この値が予め設定された閾値Tbpfよりも大きくなることを上記式(28)における第1の条件に示す画素密度の条件の代わりに使用してもよい。
【0163】
上記式(28)に示す条件により、顔ではないと判定された領域に対応する頂点リストには、位置座標値として無効な値、例えば−1などが格納される。修正された頂点リストV6は、領域選択器64に送られる。
【0164】
領域選択器64は、顔領域判定器63によって複数の領域が顔と判定された場合、それらの中からトリミングの対象となる領域を1つ選択する。例えば、撮像された画像には1人の人物しか存在していないことが明らかであれば、真の顔領域は1つであり、その他の領域は顔領域判定器63における誤検出と考えられる。このような場合、真の顔領域は他の領域よりも上部に位置するものと考えられるため、頂点リストV6に含まれる有効な長方形領域のうち、その中心が最も上部に位置するものを選択するようにすることができる。
【0165】
また、撮像された画像に複数の人物が存在している可能性がある場合でも、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が最も画像中央に近い位置に存在することを期待できる場合には、頂点リストV6に含まれる有効な長方形領域のうち、その中心が画像中央に最も近いものを選択するようにすることができる。
【0166】
更に、複数の顔の領域が抽出される主な理由が、例えば子供の顔を撮像するために、親がその子供を抱いて撮像することである場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると考えられるため、頂点リストV6に含まれる有効な長方形領域のうち、その中心が最も下部に位置するものを選択するようにすることができる。
【0167】
これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、例えばインターフェース(図示せず)を設けることにより、撮影者又は被撮影者が手動で設定できるようにすること等も可能である。
【0168】
選択された顔の領域以外の領域に対応する頂点リストV6には位置座標値として無効な値、例えば−1などが格納される。修正された頂点リストV6は、トリミング器65に送られる。
【0169】
トリミング器65は、送られてきた頂点リストV6に含まれる有効な長方形領域に対応して、入力カラー画像から切り出す部分画像の位置を決定する。図17は、トリミング器65が入力カラー画像110から切り出す部分画像を示す模式図である。図17に示すように、例えば、頂点リストV6によって表される長方形領域111の中心位置(x0,y0)が予め設定されたトリミング後の画像領域の所定の位置(tx0,ty0)と一致するように、下記式(30)に示す2つの頂点座標で表される長方形領域112を部分画像として切り出す。
【0170】
【数30】
【0171】
ここで、twdt、thgtは、予め設定されたトリミング後の画像の幅と高さを表している。
【0172】
トリミングされた画像は、例えばプリンタ及びモニタ等の画像表示装置、及び画像記憶装置(図示せず)等に出力される。
【0173】
なお、トリミング器65において、図18(a)に示すように、頂点リストV6で表される長方形領域111aが、予め設定されたトリミング後の画像の大きさに比べて大きすぎる場合には、トリミング後の画像よりも大きな部分画像を切り出しておき、これを縮小することで所定の大きさの画像を得る縮小処理を行うことができる。逆に、図18(b)に示すように、頂点リストV6に含まれる長方形領域111bが、予め設定されたトリミング後の画像の大きさに比べて小さすぎる場合には、トリミング後の画像よりも小さな部分画像を切り出しておき、これを拡大することで所定の大きさの画像を得る拡大処理をすることができる。この場合、切り出す部分画像の幅twdt0及びthgt0は、例えば下記式(31)により設定することができる。
【0174】
【数31】
【0175】
ここで、aは予め設定された係数であり、taspはトリミング後の画像のアスペクト比を表している。
また、顔領域判定器63において複数の領域が顔と判定された場合、それら全てをトリミングの対象として選択するようにすることもできる。この場合、トリミング器65では、顔と判定された複数の領域を全て含むような部分画像を切り出し、必要に応じて上述した縮小処理を施して所定の大きさの画像を得る。
【0176】
本実施の形態においては、第1の実施の形態における画像処理装置を使用した肌色領域抽出器62により、極めて正確に肌色領域を抽出することができるため、抽出した肌色領域を顔と判定して正確に自動トリミング処理を行なうことが可能となり、これにより、肖像写真を自動で撮影することが可能となる。
【0177】
また、画像に複数の人物が含まれている場合においても、アプリケーションに応じて適切なトリミングを行うことができる。例えば、病院等におけるフォトブースで親が子供を抱いて撮影した場合、抽出される顔領域の位置又は大きさ等の情報に基づき、領域選択器64により、複数の顔領域から特定の顔領域を選択することができる。即ち、例えば、顔領域が2つ抽出された場合に、領域選択器64により、その位置が画面下方又はその大きさが小さいものを選択するように設定しておけば、親が子供を抱いて撮影した場合に、子供の顔を抽出してトリミングすることができる。また、何れの顔領域についてもトリミングを行うように設定しておけば、1回の画像で複数のトリミング画像を得ることができる。
【0178】
C.第3の実施の形態
次に、本発明の第3の実施の形態について説明する。本実施の形態における機能ブロックの構成は、上述の第1の実施の形態とほぼ同じであるが、上記第2の実施の形態で述べたような肖像写真撮影装置への応用を前提に、更に正確に顔領域の判定を行うために、領域抽出部に頭頂部の検出処理を導入し、これに基づいて肌色領域抽出を行う点が第1の実施の形態とは異なる。
【0179】
肖像写真の撮影を目的とする本実施の形態においては、顔領域を抽出することが本来の目的であるが、例えば被写体である人物が、その顔(肌)の色と非常に類似した色を有する服を着用している場合、顔領域と服の領域とが色空間上で同一のクラスタに対応してしまう可能性がある。本実施の形態は、このような場合においても正確顔領域を抽出することができるものである。
【0180】
図19は、本実施の形態の領域抽出部210を示すブロック図である。図19に示すように、領域抽出部210は、画像入力部11からのデジタルカラー画像(R,G,B)と第1の実施の形態と同様の初期クラスタ抽出部において抽出された初期クラスタの情報を有するクラスタマップCとが入力され、初期クラスタ抽出部によって抽出された各初期クラスタに含まれる色を持つ画素を抽出する画素抽出部211と、抽出された画素を含む長方形領域Vを算出する長方形算出部212と、クラスタ抽出部からの長方形領域と、カラー画像,クラスタマップCとが供給され人物の頭頂部TOHを検出する頭頂部検出部214と、長方形領域V及び頭頂部TOHの情報が供給され、長方形領域内に含まれる画素密度等により該長方形を修正する長方形修正部213とから構成される。
【0181】
図20は、肌と同じような色の服を着用している人物のバストショットを示す模式図、図21は、そのような人物のバストショットから、頭頂部を検出せずに長方形領域を切り出した場合の一例を示す模式図である。画素抽出部211では、例えば図20に示すように、人物Aが肌と同じような色の服を着用していると、顔領域A1と服の領域A2とが連結して1つの領域として抽出されることになる。このような顔と服の連結領域に対して、長方形算出部212は上記(16)式及び式(17)式に示すように、肌色画素の座標の平均値及び標準偏差によって長方形を算出するが、図20に示すようなバストショットでは、通常、顔領域よりも服の領域の面積のほうが大きいため、図21に示すように顔領域の一部S1が、算出された長方形領域200からはみ出す可能性が高い。
【0182】
ここで算出される長方形領域200は、後段の顔領域判定処理に用いられるため、顔領域の一部が欠落するように設定されることは好ましくない。上述の第2の実施の形態では、長方形領域の内部における肌色画素の密度、長方形のアスペクト比、及び長方形の面積に基づいて顔領域の判定を行う例を示したが、更に正確に顔領域の判定を行うために、例えば眼のパターン等を用いる場合には、図21に示すような顔領域上部の欠落は顔領域抽出性能を大きく劣化させることになると考えられる。
【0183】
また、長方形修正部213は、長方形算出部212で算出された長方形に修正処理を施すものであり、第1の実施の形態ではその修正のためのいくつかの方法について説明したが、いずれも図21のような欠落を修正することは不可能である。
【0184】
そこで、本実施の形態においては、領域抽出部210において、人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出部214を設け、検出される頭頂部の座標位置(以下、頭頂部の高さという。)TOHに基づいて長方形を算出する。
【0185】
以下、本実施の形態の領域抽出部210について更に詳細に説明する。画素抽出部211及び長方形算出部212は、上述の第1の実施の形態における夫々画素抽出部31及び長方形算出部32と同じであり、夫々領域マップR及び各初期クラスタに対応する長方形の頂点リストVを生成する。
【0186】
頭頂部検出部214は、長方形算出部212で算出された長方形の内部における肌色画素の集合を顔領域と仮定し、長方形領域の上方において頭頂部の高さTOHの検出を行う。頭頂部の高さTOHは、例えば人物以外の背景部分は単一色であること、及び人物の上方には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を持つ画素の中で最も高い位置、即ち最も小さい値の垂直座標yを検出し、これを頭頂部の高さTOHとすることができる。
【0187】
具体的には、図22に示すように、画像入力部11から送られる入力カラー画像220において、注目する肌色領域221に対応する長方形領域222の図中上方の領域、即ち、長方形領域222よりも垂直座標が小さい領域であって、V(n).stx≦水平座標(x座標)≦V(n).edxの範囲に設定した頭頂部探索範囲223を図中上方から走査し、各画素の値と背景領域224の背景色との差dを下記式(32)式によって算出する。
【0188】
【数32】
【0189】
ここで、R(x,y),G(x,y),B(x,y)は、位置(x,y)における画素のR,G,Bの値であり,Rbg,Gbg,Bbgは背景色のR,G,Bの値である。この背景色としては、例えば下記式(33)に示すように、現在の注目画素よりも上にある画素の平均値を用いることができる。
【0190】
【数33】
【0191】
ここで、V(n)は長方形算出部212において得られた肌色領域nに対応する長方形領域の頂点座標であり、従って上記式(33)は、探索範囲223の内部において、現在の注目画素(x,y)の上方mライン分の平均値を背景色とすることを示している。この場合、画像最上部からmラインにおいては上記式(33)による背景色の算出が不可能となるが、利用できるラインのみを用いて式(33)と同様に背景色を算出したり、あるいは探索範囲223の開始を画像最上部からm+1ライン目から始める等の方法をとることができる。
【0192】
上記式(33)によって順次更新される背景色に対し、上記式(32)の色の差dを算出し、この値が閾値Tよりも大きい画素が出現した時点で、その垂直座標yを頭頂部の高さTOHとする。検出された頭頂部の高さTOHは長方形修正部213に送られる。
【0193】
なお、背景色との差dに対する閾値は、予め設定された固定値を用いることもできるが、次に述べるように適応的に変化させることもできる。例えば、背景色の更新に応じて、注目画素(x,y)の上方mラインにおける画素値の分散から下記式(34)式のように算出するようにしてもよい。
【0194】
【数34】
【0195】
ここで、wは予め設定された係数である。またvar(R(x,y)),var(G(x,y)),var(B(x,y))は、それぞれR,G,Bの値の分散であり下記式(35)によって算出される。
【0196】
【数35】
【0197】
長方形修正部213では、長方形算出部212において算出された各初期クラスタに対応する長方形に対して、第1の実施の形態と同様、上記式(19)などによる修正を施した後、更に、頭頂部検出部214において検出された頭頂部の高さTOHを用いて、長方形の上側水平の辺の修正を行う。
【0198】
すなわち、頭頂部の高さTOHからV(n).edyまでの各y座標において,対応する水平ライン上に存在する初期クラスタnの画素数を下記式(36)のように計算する。
【0199】
【数36】
【0200】
pU(y)値が閾値を超える座標yの中で最も小さいものを、新たなV(n).styとする。なお、pU(y)に対する閾値Ttopは予め設定された値を用いてもよいが、長方形算出部212において算出された長方形の幅と、長方形に含まれる初期クラスタnの画素の総数から下記式(37)のように算出してもよい。
【0201】
【数37】
【0202】
即ち、閾値Ttopは、長方形領域内における水平1ラインあたりの初期クラスタnの平均画素数に予め設定された係数rを積算した値を用いることも可能である。
【0203】
なお、図23に示すように、同一入力カラー画像230内に複数の人物231,232が存在し、なお且つ、それぞれの顔領域231a,232aが水平方向に重なっている場合には、図22に示した頭頂部探索範囲233,234も重なってしまうため,より下に位置する顔領域232aに対しては頭頂部の高さTOHを正しく検出することが困難になる。誤った頭頂部の高さTOHに基づく修正は、長方形領域をかえって肌色領域に適合しないものにしてしまう可能性が高い。
【0204】
そこで、このような状況が想定される場合には、長方形算出部212において算出された長方形のうち、上側水平の辺の垂直座標V(n).styが最も小さいもの(最も上方にあるもの)のみに対して、頭頂部の高さTOHに基づいた修正を行うようにしてもよい。
【0205】
本実施の形態においては、領域抽出部210に頭頂部検出部214を設け、人物の頭頂部を検出し、この検出結果に基づき人物の顔領域を抽出するので、人物が肌と類似した色の服を着用している場合にも、良好にその顔領域を検出することが可能となる。
【0206】
【発明の効果】
以上詳細に説明したように、本発明によれば、入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程とを有するので、検出漏れを最小限に抑えるとともに、類似した色を有する領域を分離して扱うことが可能となる。
【0207】
また、本発明によれば、1つの物体に対応する領域が類似した複数の色から構成されている場合、それらの色を統合して、1つの領域として扱うことが可能となる。更に、同一の色を持つ物体が複数存在する場合、それらを分離して扱うことが可能となる。更にまた、後段に簡易な判別処理を設けることで所望の領域を良好に抽出することが可能となる。また、本発明によれば、より正確に自動トリミング処理を行なうことが可能となり、良好な肖像写真を自動で撮影することが可能となる。
【0208】
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画像処理装置を示すブロック図である。
【図2】横軸に座標をとり、縦軸に出現頻度をとって、出現頻度を示すヒストグラムとクラスタとの関係を模式的に示すグラフ図である。
【図3】(a)乃至(c)は、夫々入力画像、クラスタマップC及び領域マップRを示す模式図である。
【図4】本発明の第1の実施の形態における画像処理装置の初期クラスタ抽出部を示すブロック図である。
【図5】本発明の第1の実施の形態における画像処理装置において作成された領域マップRを示す模式図である。
【図6】本発明の第1の実施の形態における画像処理装置において抽出される長方形領域を示す模式図である。
【図7】本発明の第1の実施の形態における画像処理装置の初期領域抽出部を示すブロック図である。
【図8】本発明の第1の実施の形態の画像処理装置の初期領域抽出部における長方形領域の修正方法を示す模式図である。
【図9】本発明の第1の実施の形態の画像処理装置の初期領域抽出部における長方形領域の修正方法の他の例を示す模式図である。
【図10】本発明の第1の実施の形態における画像処理装置のクラスタ統合部を示すブロック図である。
【図11】本発明の第1の実施の形態の画像処理装置のクラスタ統合部において組み合わされた2つのクラスタを含む長方形領域の関係を示す模式図である。
【図12】本発明の第1の実施の形態における画像処理装置の領域分割部にて分割される長方形領域を示す模式図である。
【図13】本発明の第1の実施の形態における画像処理装置の領域分割部を示すブロック図である。
【図14】(a)及び(b)は、本発明の第1の実施の形態における画像処理装置の領域分割部にて夫々垂直及び水平に分割される長方形領域を示す模式図である。
【図15】(a)及び(b)は、本発明の第1の実施の形態における画像処理装置の領域分割部にて夫々垂直及び水平に分割された後、更に夫々水平及び垂直に分割される長方形領域を示す模式図である。
【図16】本発明の第2の実施の形態における肖像写真撮影装置を示すブロック図である。
【図17】本発明の第2の実施の形態における肖像写真撮影装置のトリミング器が入力カラー画像から切り出す部分画像を示す模式図である。
【図18】(a)及び(b)は、本発明の第2の実施の形態における肖像写真撮影装置のトリミング器における部分画像の夫々縮小処理及び拡大処理を示す模式図である。
【図19】本発明の第3の実施の形態の領域抽出部を示すブロック図である。
【図20】肌と同じような色の服を着用している人物のバストショットを示す模式図である。
【図21】肌と同じような色の服を着用している人物のバストショットから、頭頂部の高さを検出せずに長方形領域を切り出した場合の一例を示す模式図である。
【図22】本発明の第3の実施の形態における頭頂部の高さの検出方法を示す図である。
【図23】本発明の第3の実施の形態における頭頂部の高さの検出方法の他の例を示す図である。
【符号の説明】
11 画像入力部、12 表色系変換部、13 ヒストグラム生成部、14 初期クラスタ抽出部、15 初期領域抽出部、16 クラスタ統合部、17 領域分割部、18、210 領域抽出部、21 極大点検出部、22 初期化部、23 クラスタ成長部、24 停止条件判定部、31,211 画素抽出部、32,212 長方形算出部、33,213 長方形修正部、41 組み合わせ発生部、42 色差算出部、43 重なり度算出部、44 統合判定部、51 主分割点検出部、52 水平副分割点検出部、53 垂直副分割点検出部、54 頂点修正部、60 肖像画像撮影装置、61 撮像器、62 肌色領域抽出器、63 顔領域判定器、64 領域選択器、65 トリミング器、214 頭頂部検出部
Claims (47)
- 入力されたカラー画像から、特定の色を有する領域を抽出する画像処理方法において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、
上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程と
を有することを特徴とする画像処理方法。 - 上記ヒストグラム生成工程では、上記色空間における上記特定の色を含む予め定義された座標範囲についてのみヒストグラムが生成されることを特徴とする請求項1記載の画像処理方法。
- 上記初期クラスタ抽出工程は、上記初期クラスタの抽出に先立ち、上記ヒストグラムを平滑化する工程を有することを特徴とする請求項1記載の画像処理方法。
- 上記初期クラスタは、上記ヒストグラムにおける上記出現頻度の極大値を始点とし、上記始点に隣接する座標の画素から上記出現頻度が所定の閾値に至る座標の画素まで、順次併合されたものであることを特徴とする請求項1記載の画像処理方法。
- 上記所定の閾値は、上記始点となる上記極大値における上記出現頻度が大きいほど大きな値に設定されることを特徴とする請求項4記載の画像処理方法。
- 上記出現頻度の極大値が所定の閾値以上の場合にのみ該極大値を上記始点とすることを特徴とする請求項4記載の画像処理方法。
- 上記併合される画素は、この画素の上記出現頻度よりも高い上記出現頻度を有し上記始点に隣接する座標の画素から順次併合された併合済画素に隣接する座標を有するものであることを特徴とする請求項4記載の画像処理方法。
- 上記併合される画素が複数の上記併合済画素に隣接する場合は該併合済画素のうち最も大きい出現頻度を有する画素に併合されることを特徴とする請求項7記載の画像処理方法。
- 上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に上記初期クラスタが1つのクラスタとして統合されることを特徴とする請求項1記載の画像処理方法。
- 上記クラスタ統合工程は、上記初期クラスタ及び統合されたクラスタを対象として、統合すべきクラスタの対が存在しなくなるまでクラスタの統合を繰り返す工程であることを特徴とする請求項9記載の画像処理方法。
- 上記クラスタ統合工程では、異なる2つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度が所定の閾値以上の場合に、上記2つの初期クラスタが統合されることを特徴とする請求項9記載の画像処理方法。
- 異なる2つの上記初期クラスタのうち、第1の初期クラスタに属する画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第1の閉領域とし、第2の初期クラスタに属する画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第2の閉領域としたとき、異なる2つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第1の閉領域と上記第2の閉領域とが重なる共通領域の大きさによって表されることを特徴とする請求項11記載の画像処理方法。
- 異なる2つの上記初期クラスタのうち、第1の初期クラスタに属する第1の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第1の閉領域とし上記第1の閉領域内における上記第1の画素の数に対する第2の初期クラスタに属する第2の画素の数の比を第1の比の値とし、上記第2の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第2の閉領域とし上記第2の閉領域内における上記第2の画素の数に対する第1の画素の数の比を第2の比の値としたとき、異なる2つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第1の比の値及び/又は上記第2の比の値で表されることを特徴とする請求項11記載の画像処理方法。
- 上記異なる2つの上記初期クラスタのうち、第1の初期クラスタに属する第1の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第1の閉領域とし上記第1の閉領域内における上記第1の画素の数に対する第2の初期クラスタに属する第2の画素の数の比を第1の比の値とし、上記第2の画素が上記入力カラー画像上で所定の閾値以上の密度を有する領域を第2の閉領域とし上記第2の閉領域内における上記第2の画素の数に対する第1の画素の数の比を第2の比の値としたとき、異なる2つの上記初期クラスタに属する画素が上記入力カラー画像上で重なる重なり程度は、上記第1の閉領域と上記第2の閉領域とが重なる共通領域の大きさ、並びに上記第1の比の値及び/又は上記第2の比の値で表されることを特徴とする請求項11記載の画像処理方法。
- 上記第1及び第2の閉領域は、矩形領域であることを特徴とする請求項12記載の画像処理方法。
- 上記クラスタ統合工程では、異なる2つの上記初期クラスタに対し、各上記初期クラスタに対応する色の差が所定の閾値以下である場合に、上記2つの初期クラスタが統合されることを特徴とする請求項9記載の画像処理方法。
- 上記クラスタ統合工程では、上記異なる2つの上記初期クラスタにおいて上記出現頻度が最も大きい極大点の各座標の間の距離が所定の閾値以下の場合に、上記2つの初期クラスタが統合されることを特徴とする請求項16記載の画像処理方法。
- 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有することを特徴とする請求項1記載の画像処理方法。
- 上記抽出された初期クラスタを統合するクラスタ統合工程と、上記初期クラスタ又は上記統合されたクラスタに属する画素群を有する閉領域を抽出し該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有し、
上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタが抽出されている場合に1つのクラスタとして統合され、
上記領域抽出工程では、分割された上記閉領域から上記特定の色を有する領域が抽出されることを特徴とする請求項1記載の画像処理方法。 - 上記領域分割工程では、上記閉領域を通過する1以上の直線によって該閉領域が分割されることを特徴とする請求項18記載の画像処理方法。
- 上記領域分割工程では、上記閉領域を通過する任意の方向の直線に直交する該閉領域内の線分上の上記初期クラスタに属する画素の数をカウントし、該カウント数が最も小さくなる上記線分によって上記閉領域が分割されることを特徴とする請求項18記載の画像処理方法。
- 上記特定の色は、人物の肌の色であることを特徴とする請求項1記載の画像処理方法。
- 頭部を含めた人物の顔の領域を抽出する場合、上記領域抽出工程は、上記初期クラスタに対応する色を有する画素の集まりを顔領域と仮定し、該顔領域に対応する人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程をさらに有し、該頭頂部検出工程にて検出された該頭頂部の位置に基づき初期クラスタに属する画素が上記入力カラー画像上で所定の閾値以上の密度を有する閉領域を抽出することを特徴とする請求項1記載の画像処理方法。
- 上記頭頂部検出工程では、人物の背景が単一色である場合、上記顔領域の上方が画像最上部から走査され、上記背景色と異なる画素がはじめて出現する位置が頭頂部として検出されることを特徴とする請求項23記載の画像処理方法。
- 上記領域抽出工程では、上記人物の背景が単一色である場合、上記カラー画像上の最上部に位置する顔領域に対してのみ、検出された頭頂部の高さに基づいて閉領域が抽出されることを特徴とする請求項24記載の画像処理方法。
- 上記色空間は、RGB表色系の各座標値をR、G、Bとしたとき、(R/(R+G+B),G/(R+G+B))を座標値とする2次元平面であることを特徴とする請求項1記載の画像処理方法。
- 入力されたカラー画像から、特定の色を有する領域を抽出する画像処理装置において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、
上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段と
を有することを特徴とする画像処理装置。 - 上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に1つのクラスタとして統合する
ことを特徴とする請求項27記載の画像処理装置。 - 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有する
ことを特徴とする請求項27記載の画像処理装置。 - 入力されたカラー画像から、特定の色に対応する領域を抽出する動作を実行するためのプログラムにおいて、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、
上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程と
を有することを特徴とするプログラム。 - 上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に1つのクラスタとして統合する
ことを特徴とする請求項30記載のプログラム。 - 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有する
ことを特徴とする請求項30記載のプログラム。 - 入力されたカラー画像から、特定の色を有する領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換工程と、 上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成工程と、
上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出工程と、
上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出工程と
を有することを特徴とするプログラムを記録した記録媒体。 - 上記抽出された初期クラスタを統合するクラスタ統合工程を有し、上記クラスタ統合工程では、上記入力画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に1つのクラスタとして統合する
ことを特徴とする請求項33記載の記録媒体。 - 上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割工程を有する
ことを特徴とする請求項33記載の記録媒体。 - 人物が撮影されたカラー画像から、顔面が所定の位置となるようにトリミングを行なう自動トリミング装置において、
入力カラー画像の各画素値を、色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像か出する領域抽出手段とを具備する肌色領域抽出手段と、
上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、
上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、
選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と、
を有することを特徴とする自動トリミング装置。 - 肌色領域抽出手段は、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は上記入力カラー画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に1つのクラスタとして統合する
ことを特徴とする請求項36記載の自動トリミング装置。 - 肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有する
ことを特徴とする請求項36記載の自動トリミング装置。 - 上記判定手段は、抽出された上記肌色領域の大きさ、アスペクト比、及び肌色画素の分布状態に基づいて顔領域か否かを判定することを特徴とする請求項36記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域の上記入力カラー画像上における位置に基づいてトリミングの対象を選択することを特徴とする請求項36記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域のうち、上記入力カラー画像の中央位置に最も近い位置のものをトリミングの対象として選択することを特徴とする請求項36記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域のうち、上記入力カラー画像の最も上部に位置するものをトリミングの対象として選択することを特徴とする請求項36記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された上記肌色領域のうち、上記入力カラー画像の最も下部に位置するものをトリミングの対象として選択することを特徴とする請求項36記載の自動トリミング装置。
- 上記選択手段は、上記顔と判定された全ての上記肌色領域をトリミングの対象として選択することを特徴とする請求項36記載の自動トリミング装置。
- 人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、顔面が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有し、
上記自動トリミング手段は、
人物が撮影された入力カラー画像の各画素の値を色空間上の座標値に変換する色変換手段と、上記色空間上に変換された上記座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムにおける上記出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出手段と、上記特定の色に対応する上記初期クラスタに属する画素が含まれる領域を上記入力画像から抽出する領域抽出手段とを具備する肌色領域抽出手段と、
上記抽出された肌色領域が顔に対応するか否かを判定する判定手段と、
上記判定手段により顔と判別された領域から、トリミングの対象となる顔を選択する選択手段と、
選択された上記顔領域からトリミングの位置決めを行なう位置決め手段と
を有することを特徴とする肖像写真撮影装置。 - 肌色領域抽出手段は、上記抽出された初期クラスタを統合するクラスタ統合手段を有し、上記クラスタ統合手段は上記入力カラー画像上の所定領域内に複数の上記初期クラスタに対応する複数の領域が抽出されている場合に1つのクラスタとして統合する
ことを特徴とする請求項45記載の肖像写真撮影装置。 - 肌色領域抽出手段は、上記初期クラスタに属する画素群を有する閉領域を抽出し、該閉領域における上記画素の分布状態に応じて上記閉領域を複数の領域に分割する領域分割手段を有する
ことを特徴とする請求項45記載の肖像写真撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002371032A JP2004005383A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002118518 | 2002-04-19 | ||
JP2002371032A JP2004005383A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004005383A true JP2004005383A (ja) | 2004-01-08 |
JP2004005383A5 JP2004005383A5 (ja) | 2006-02-02 |
Family
ID=30447240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002371032A Pending JP2004005383A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004005383A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006080239A1 (ja) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
JP2008252779A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 画像処理装置、画像処理方法、プログラムおよびカメラ |
JP2011170860A (ja) * | 2004-10-28 | 2011-09-01 | Nokia Corp | デバイスメニュー |
US8620076B2 (en) | 2009-03-04 | 2013-12-31 | Fujifilm Corporation | Region extraction apparatus and region extraction method |
WO2014136276A1 (ja) * | 2013-03-08 | 2014-09-12 | 株式会社島津製作所 | 分析対象領域設定装置 |
JP2022539910A (ja) * | 2019-10-28 | 2022-09-13 | 上海万物新生▲環▼保科技集団有限公司 | 電子デバイススクリーンエリア瑕疵検査方法及び装置 |
CN117333484A (zh) * | 2023-11-30 | 2024-01-02 | 山东罗斯夫新材料科技有限公司 | 一种基于图像处理的丙烯酸乳液生产废水检测方法 |
-
2002
- 2002-12-20 JP JP2002371032A patent/JP2004005383A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170860A (ja) * | 2004-10-28 | 2011-09-01 | Nokia Corp | デバイスメニュー |
WO2006080239A1 (ja) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
JPWO2006080239A1 (ja) * | 2005-01-31 | 2008-06-19 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
JP4504417B2 (ja) * | 2005-01-31 | 2010-07-14 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
US8073233B2 (en) | 2005-01-31 | 2011-12-06 | Olympus Corporation | Image processor, microscope system, and area specifying program |
JP2008252779A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 画像処理装置、画像処理方法、プログラムおよびカメラ |
US8620076B2 (en) | 2009-03-04 | 2013-12-31 | Fujifilm Corporation | Region extraction apparatus and region extraction method |
WO2014136276A1 (ja) * | 2013-03-08 | 2014-09-12 | 株式会社島津製作所 | 分析対象領域設定装置 |
JP2022539910A (ja) * | 2019-10-28 | 2022-09-13 | 上海万物新生▲環▼保科技集団有限公司 | 電子デバイススクリーンエリア瑕疵検査方法及び装置 |
CN117333484A (zh) * | 2023-11-30 | 2024-01-02 | 山东罗斯夫新材料科技有限公司 | 一种基于图像处理的丙烯酸乳液生产废水检测方法 |
CN117333484B (zh) * | 2023-11-30 | 2024-02-20 | 山东罗斯夫新材料科技有限公司 | 一种基于图像处理的丙烯酸乳液生产废水检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
EP1800259B1 (en) | Image segmentation method and system | |
US7526193B2 (en) | Object determining device and imaging apparatus | |
JP3684017B2 (ja) | 画像処理装置及び方法 | |
US7826659B2 (en) | Image processing apparatus and method, computer program, and storage medium dividing an input image into band images | |
US9256928B2 (en) | Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image | |
US20080247649A1 (en) | Methods For Silhouette Extraction | |
CN111183630B (zh) | 一种智能终端的照片处理方法及处理装置 | |
JP2004005384A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 | |
CN110490886B (zh) | 一种针对倾斜视角下证件图像的自动纠正方法及系统 | |
JP2018107593A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN110930321A (zh) | 一种能够自动选取目标区域的蓝/绿幕数字图像抠取方法 | |
US8885971B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
JP2004005383A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 | |
JP2008059534A (ja) | 画像トリミング装置、画像トリミング方法およびそのプログラム | |
JP2006268820A (ja) | 画像識別方法、画像処理方法、画像識別装置、画像識別プログラムおよび集積回路 | |
JP7030425B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
JP2022069931A (ja) | 自動トリミングプログラム、自動トリミング装置及び自動トリミング方法 | |
JP3860540B2 (ja) | エントロピーフィルタ及び該フィルタを用いた領域抽出法 | |
RU2329535C2 (ru) | Способ автоматического кадрирования фотографий | |
JP2005141523A (ja) | 画像処理方法 | |
JP2005250778A (ja) | 画像の天地方向判定 | |
US20100104182A1 (en) | Restoring and synthesizing glint within digital image eye features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090203 |