JP2009218806A - 画像処理装置及び方法、並びに、そのためのプログラム - Google Patents

Abstract

【課題】顔領域の画質に関する確認作業を補助することができる技術を提供する。
【解決手段】画像処理装置は、画像の中に存在する顔を検出して顔領域を決定する顔検出部と、顔領域におけるエッジを抽出してエッジ量を決定するエッジ抽出部と、顔領域におけるエッジ量が第１の所定値以上の場合に顔領域に領域枠を付した画像を画像出力部に出力させる出力制御部と、を備える。
【選択図】図３

Description

本発明は、画像の顔領域等のエッジを抽出する技術に関する。

近年、液晶ディスプレイを搭載したデジタルスチルカメラやカメラ付き携帯電話が普及している。こうした撮像装置では、通常、撮像した画像の画質（特にブレ・ボケの状況）を液晶ディスプレイで確認することができる。こうした確認作業を確実に行うために、例えば、下記の特許文献に記載の装置が知られている。

特開２００５−３０９５５９号公報 特開２００６−７２６６０号公報

特許文献１は、画像の所定の領域のエッジの数を集計し、最もエッジの多い領域の画像を確認用画像として抽出・表示する画像処理装置を開示している。また、特許文献２は、画像データをフーリエ変換して、高周波成分が所定の割合よりも少ない画像であれば、劣化強調処理を施して表示する画像処理装置を開示している。

ところで、一般に、人物を含む画像の良否判定では、顔領域の画質（特に合焦状態か否か）が重要である。しかし、従来の画像処理装置では、画像の確認作業を補助する機能においても顔領域の画質に関してはあまり考慮されていないのが実情であった。

本発明は、顔領域の画質に関する確認作業を補助することができる技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
画像処理装置であって、
画像の中に存在する顔を検出して顔領域を決定する顔検出部と、
前記顔領域におけるエッジを抽出してエッジ量を決定するエッジ抽出部と、
前記顔領域における前記エッジ量が第１の所定値以上の場合に前記顔領域に領域枠を付した前記画像を画像出力部に出力させる出力制御部と、
を備える画像処理装置。
この構成によれば、顔領域における前記エッジ量が第１の所定値以上の場合に前記顔領域に領域枠を付した前記画像を画像出力部に出力させるので、顔領域の画質に関する確認作業を適切に補助することができ、ユーザが、確認を容易に行うことができる。

［適用例２］
適用例１記載の画像処理装置であって、
前記エッジ抽出部は、更に、前記画像内において前記顔領域以外の場所に存在する複数の小領域におけるエッジ量を決定し、
前記出力制御部は、或る小領域における前記エッジ量が第２の所定値以上の場合に当該小領域に領域枠を付して出力する、画像処理装置。
この構成によれば、顔領域以外の小領域に関しても、エッジ量が多い小領域に領域枠が付された画像が出力されるので、ユーザの確認作業がより容易になる。なお、第１と第２の所定値は、同じ値に設定してもよく、異なる値を設定してもよい。

［適用例３］
適用例２記載の画像処理装置であって、
前記顔領域及び前記顔領域用の領域枠のサイズは前記顔のサイズに応じて可変であり、
前記小領域及び前記小領域用の領域枠のサイズは固定である、
画像処理装置。
この構成では、顔のサイズに応じて顔領域及びその領域枠のサイズが可変となるので、ユーザが顔領域の画質をより容易に確認することができる。

［適用例４］
適用例３記載の画像処理装置であって、
前記エッジ抽出部は、前記顔領域に関して、前記小領域よりも大きな重みを付して前記エッジ量を計算する、画像処理装置。
多くの場合に、顔領域は肌色で起伏が少ないので、他の画像部分よりもエッジ量が少ない傾向にある。従って、顔領域に関して小領域よりも大きな重みを付してエッジ量を計算するようにすれば、顔領域の合焦状態をより適切に判定することができる。

［適用例５］
適用例４記載の画像処理装置であって、
前記エッジ抽出部は、前記顔領域におけるエッジ量の決定に使用する前記重みに、さらに、前記小領域の面積Ｗと前記顔領域の面積Ｆとの比（Ｗ／Ｆ）の１／２乗の値√（Ｗ／Ｆ）を乗じる、画像処理装置。
この構成では、顔領域のサイズが変化した場合にも、その合焦状態をより適切に判定できる可能性がある。

［適用例６］
適用例２〜５のいずれかに記載の画像処理装置であって、
前記出力制御部は、前記顔領域と前記複数の小領域のうちで、前記最もエッジ量の大きな領域に対する領域枠を他の領域枠と視覚的に区別可能に出力する、画像処理装置。
この構成では、最もピントの合っている領域を視覚的に容易に認識することが可能である。

［適用例７］
適用例１〜６のいずれかに記載の画像処理装置であって、
前記顔検出部は、
前記顔に含まれる少なくとも１種類の顔器官を検出するとともに、
前記顔器官を包含し、前記顔の全体を包含しない領域を前記顔領域として決定する、画像処理装置。
この構成では、目や口などの個々の顔器官について、合焦状態の有無を判定することができる。

［適用例８］
適用例７記載の画像処理装置であって、
前記顔器官は目である、画像処理装置。
多くの場合に、目の合焦状態の有無が画像の画質にとって重要である。従って、目の領域を顔領域として採用すれば、画像の画質の確認をより容易に行うことができる。

［適用例９］
適用例７記載の画像処理装置であって、
前記顔検出部は、目と口とを含む複数種類の顔器官を検出し、
前記出力制御部は、前記顔器官の種類に応じて前記領域枠の色又は模様を変更する、画像処理装置。
この構成では、ユーザが顔器官の種類を容易に判別することが可能となる。

［適用例１０］
適用例２記載の画像処理装置であって、さらに、
前記エッジ抽出部は、更に、前記画像内において前記顔領域以外の場所に存在する複数の小領域におけるエッジ量を決定し、
前記出力制御部は、前記顔領域と前記複数の小領域のうちで、前記エッジ量の高い順に所定個数以下の領域について前記領域枠を付して出力する、画像処理装置。
この構成によれば、合焦状態が良好な領域を容易に確認することが可能である。

［適用例１１］
適用例２〜１０のいずれかに記載の画像処理装置であって、
前記出力制御部は、前記エッジ量が最も大きな領域の前記領域枠を他の領域枠とは視覚的に区別可能に出力する、画像処理装置。
この構成によれば、合焦状態が最良な領域を容易に確認することが可能である。

なお、エッジ抽出部としては、以下のような各種の構成を採用することが可能である。

［エッジ抽出部の構成例１］
前記エッジ抽出部は、
前記画像の各画素の輝度情報に基づいて該画像の各位置におけるエッジを検出するエッジ検出部と、
前記検出されたエッジから第１の所定値以上の強さを有するエッジを抽出する第１のエッジ抽出部と、
前記抽出されたエッジのエッジ幅を演算するエッジ幅演算部と、
前記演算されたエッジ幅が第２の所定値以下であるエッジを抽出する第２のエッジ抽出部とを備えるものとしてもよい。
この構成では、所定のエッジ強さ及びエッジ幅を有するエッジを抽出でき、合焦状況の判定を正確に行うことができる。

［エッジ抽出部の構成例２］
前記エッジ検出部は、前記画像を構成する各画素について、所定方向に並んだ画素間の輝度の差分の累積値が漸増または漸減している範囲をエッジとして検出するものであり、
前記第１のエッジ抽出部は、前記累積値が漸増または漸減した結果、該累積値の絶対値が所定の所定値を超えたとき、前記エッジの抽出を行なうものであり、
前記エッジ幅演算部は、前記抽出されたエッジの幅を、前記漸増または漸減の全期間として演算するものとしてもよい。
この構成では、より正確にエッジの幅を検出することができる。

［エッジ抽出部の構成例３］
前記エッジ検出部は、前記画像を構成する各画素について、所定方向に並んだ画素間の輝度の差分に基づいて、該画像の各位置におけるエッジを検出するものであるものとしてもよい。
この構成では、画素間の輝度の差分を見るので、処理を簡略化し、高速に全範囲のエッジの検出を行なうことができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、合焦情報の表示方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

次に、本発明の実施の形態を以下の順序で説明する。
A．装置の構成：
B．合焦枠の付加処理：
C．合焦エッジ抽出処理の実施例：
D．変形例

A．装置の構成：
図１は、本発明の一実施例としてのデジタルスチルカメラ１００の構成を示すブロック図である。デジタルスチルカメラ１００は、光学系１０と、ＣＣＤ１２と、画像データ作成部１４と、フレームメモリ２１〜２３と、制御部３０と、入力手段４０と、ＬＣＤドライバ５２と、ＬＣＤ５４と、画像データ出力部６０と、記録媒体制御部７０と、記録媒体７２と、拡張記録媒体７３と、ＵＳＢインターフェース８０とを備えている。

光学系１０は、レンズ、絞り機構等からなり、ＣＣＤ１２上に撮像対象の像を形成する。ＣＣＤ１２は、光学系１０によって形成された光学像を電気信号に変換する。画像データ作成部１４は、ＣＣＤ１２からの信号を処理して多値（Ｒ，Ｇ，Ｂ）のラスタデータ（画像データ）としてフレームメモリ２１に出力する。

フレームメモリ２１は、通常、ＬＣＤ５４の画像表示用メモリとして用いられ、画像データがビットマップイメージで展開される。また、フレームメモリ２２は、必要に応じて、メニュー表示用メモリとして用いられる。フレームメモリ２３は処理対象画像の表示用メモリとして用いられる。そして、ＬＣＤ５４への表示時には、必要に応じてフレームメモリ２１，２２，２３の内容が重畳して表示される。

制御部３０は、図示しないＣＰＵやメモリを有しており、顔検出部３２と、エッジ抽出部３４と、出力制御部３６の機能を実現する。これらの各部の機能については後述する。これらの各部は、ＣＰＵがメモリに格納されたプログラムを実行することによって実現される。あるいは、ハードウェア回路によってこれらの各部の機能を実現することも可能である。

入力手段４０は、ボタン、スイッチ等から構成され、これら操作によるユーザからの指示を入力し、デジタル信号に変換して制御部３０に与える。

ＬＣＤドライバ５２は、液晶を駆動・制御するドライバであり、フレームメモリ２１ないし２３のデータをＬＣＤ５４に表示させる。ＬＣＤ５４は、３２０×２４０ドットの液晶ディスプレイである。

画像データ出力部６０は、入力手段４０を構成する所定のボタンが押されてユーザにより画像記録が指示された場合に、フレームメモリ２１上のＲ，Ｇ，Ｂラスタデータを輝度成分と色差成分とからなるＹＣｂＣｒデータに変換すると共にＪＰＥＧ圧縮し、さらに、サムネイル画像を作成するための縮小処理を行う。

記録媒体制御部７０は、記録媒体７２及び拡張記録媒体７３に画像データを格納する回路である。記録媒体制御部７０は、画像データ出力部６０の出力を受け取ってＪＰＥＧ圧縮された画像データ（以下、ＪＰＥＧ画像データという）及び縮小画像データを記録媒体７２または拡張記録媒体７３の所定の位置に書き込んだり、記録された各ＪＰＥＧ画像データを読み出すなどの記録制御を行う。

ＵＳＢインターフェース８０は、図示しない外部装置とのインターフェースであり、例えば、記録媒体７２，拡張記録媒体７３に格納された画像データを、パソコン等のコンピュータ装置へ送信したり、モデムを介して通信したり、印刷画像データを作成して直接プリンタに送信して記憶させ、印刷させる場合などに使用する。

B．合焦枠の付加処理：
図２は、実施例において画像に合焦枠を付加する処理の手順を示すフローチャートである。以下の処理は、処理対象として選択された写真画像（以下「処理対象画像」又は単に「画像」と呼ぶ）に関して実行される。図２のステップＴ１０では、顔検出部３２が、処理対象画像の中に存在する顔領域を検出する。

図３は、実施例の処理内容を示す説明図である。図３（Ａ）は、処理対象画像ＴＩＭの中に、顔領域ＦＡが検出された状態を示している。この顔領域ＦＡは、顔を構成する器官（目や口）を包含し、肌色を主体とする領域として設定される。本実施例では、顔領域ＦＡは矩形の領域として設定されているが、他の形状（例えば楕円形）の領域として設定しても良い。

図２のステップＴ２０では、エッジ抽出部３４が、処理対象画像ＴＩＭのエッジを抽出してエッジ量を決定する。図３（Ｂ）の例では、処理対象画像ＴＩＭが一定サイズの小領域ＤＡ（「小区画」又は「エッジ検出領域」とも呼ぶ）に区切られている。ステップＴ２０においては、個々の小領域ＤＡ毎にエッジが抽出され、エッジ量が決定される。同様に、顔領域ＦＡ（図３（Ａ））に関してもエッジが抽出され、エッジ量が決定される。

エッジの抽出方法としては、以下のような各種の方法を利用可能である。
（ａ１）１次微分フィルタ（微分フィルタ、Sobelフィルタ，Robertsフィルタ等）を用いたフィルタ処理を画素毎に１回適用する。
（ａ２）２次微分フィルタ（ラプラシアンフィルタ）を用いたフィルタ処理を画素毎に１回適用する。
（ａ３）予め設定された合焦条件に合致するエッジ（「合焦エッジ」と呼ぶ）の抽出処理を実行する。

上記（ａ１），（ａ２）のエッジ抽出方法では、例えば、フィルタ処理によって得られた各画素での演算値を、或る領域で合計した値がその領域のエッジ量として計算される。あるいは、各領域における単位面積当たりのエッジ量を使用することも可能である。上記（ａ３）のエッジ抽出方法では、エッジ量は、或る領域内で抽出された合焦エッジの総数として計算される。合焦エッジ抽出処理の例については、後述する。

図２のステップＴ３０では、エッジ抽出部３４が、顔領域ＦＡにおけるエッジ量Ｎｅに重みαを乗じる。ここで、重みαは１よりも大きな値とすることが好ましく、例えば、２以上の値に設定することが好ましい。なお、小領域ＤＡ（図３（Ｂ））においてエッジ量に重みβを乗ずることも可能であるが、この場合にも、顔領域ＦＡにおける重みαの方が、小領域ＤＡにおける重みβよりも大きいことが好ましい。顔領域ＦＡにおいてより大きな重みを使用する理由は、後で詳述するように、顔領域ＦＡの合焦状態（ピントが合っているか否か）をより正しく判定できるようにするためである。

図２のステップＴ４０では、出力制御部３６が、顔領域ＦＡと複数の小領域ＤＡのうちで、エッジ量が多い領域に枠を付けた状態で、処理対象画像ＴＩＭを液晶パネル５４に表示する。図３（Ｃ）は、エッジ量が多い領域に枠ＥＦＡ，ＥＦが付された状態で表示された画像の例を示している。すなわち、顔領域ＦＡには枠ＥＦＡが付されており、他の３つの小領域ＤＡにも枠ＥＦが付されている。この表示例では、エッジ量が多い領域（すなわち、ピントが合っている合焦領域）に枠ＥＦＡ，ＥＦが付されているので、画像のどの部分にピントが合っているかをユーザが容易に判断することが可能である。なお、合焦領域に付される枠ＥＦＡ，ＥＦは、画像全体に付されるもの（写真フレーム）ではなく、その一部分の領域に付される枠であるため、以下では「領域枠」又は「合焦枠」と呼ぶ。

図３（Ｄ）は、顔領域ＦＡのエッジ量Ｎｅに重みα（＞１）を乗じておらず、この結果、顔領域ＦＡに合焦枠が付されていない状態を示している。多くの場合に、顔領域ＦＡは、肌色で起伏が少なく、エッジがあまり多くないので、顔領域ＦＡのエッジ量は、顔領域ＦＡ以外の部分のエッジ量よりもかなり少ない。従って、顔領域ＦＡのエッジ量に大きな重みαを使用しない場合には、仮に顔にピントが合っている場合にも、図３（Ｄ）のように顔領域ＦＡに枠が付されない場合が生じる。一方、顔領域ＦＡでのエッジ量の決定時に小領域ＤＡよりも大きな重みαを使用すれば、図３（Ｃ）のように顔領域ＦＡにも枠ＥＦＡを付して表示することが可能となる。すなわち、顔領域ＦＡのエッジ量に重みαを乗ずることによって、顔の合焦状態をより正確に判定して合焦枠ＥＦＡを付することが可能となる。

なお、合焦エッジ枠を付する領域（「合焦領域」と呼ぶ）は、顔領域ＦＡと小領域ＤＡの中から以下のような種々の方法で選択することが可能である。
（ｂ１）エッジ量が所定値Ｔedge（「閾値」又は「基準値」とも呼ぶ）以上の領域を選択する。
（ｂ２）エッジ量が多い順にＮ個（Ｎは１以上の所定の整数）の領域を選択する。
（ｂ３）エッジ量が所定値Ｔedge以上の領域の中から、エッジ量が多い順にＮ個（Ｎは１以上の所定の整数）の領域を選択する。
（ｂ４）上記（ｂ１）において、顔領域ＦＡに対する第１の所定値Ｔedge1と、領域ＦＡに対する第２の所定値Ｔedge2として異なる値を用いる。

なお、同じ画像内に複数の合焦枠を表示する場合には、最もエッジ量の多い領域の合焦枠として、他の合焦枠とは視覚的に区別可能な枠（例えば色と模様と太さのうちの少なくとも１つが異なるもの）を使用することが好ましい。こうすれば、ユーザが、最もピントが合っている領域を容易に視認することができる。また、上記（ｂ１）又は（ｂ３）の方法において、エッジ量が所定値Ｔedge以上の領域が無い場合には、最もエッジ量の多い領域に合焦枠を付して表示するようにしてもよい。この場合にも、ピントがあまり合っていない領域であることをユーザが理解できるように、合焦領域に付される合焦枠とは視覚的に区別可能な枠を使用することが好ましい。

なお、図３（Ｃ）からも理解できるように、顔領域ＦＡ及びその枠ＥＦＡのサイズは、小領域ＤＡ及びその枠ＥＦのサイズと異なっていてもよい。本実施例では、小領域ＤＡ及びその枠ＥＦのサイズとは所定の固定値である。一方、顔領域ＦＡ及びその枠ＥＦＡのサイズは、顔検出処理で検出された顔のサイズに応じた大きさに設定される。また、小領域ＤＡの位置は予め決定されているが、顔領域ＦＡの位置は任意である。但し、顔領域ＦＡのサイズを小領域ＤＡのサイズと同じサイズに固定してもよい。例えば、画像内の顔のサイズに拘わらず、その中心に顔領域ＦＡを設定するとともに顔領域ＦＡのサイズを所定の一定値（Ｎ画素×Ｍ画素）に設定するようにしてもよい。但し、顔領域ＦＡのサイズを、顔のサイズに依存して決定するようにした方が、顔の合焦状態をより正確に判定することが可能である。

顔領域ＦＡと小領域ＤＡのサイズが異なる場合には、エッジ量の算出（図２のＴ２０，Ｔ３０）において、以下のような調整を行ってよい。
（ｃ１）各領域のエッジ量として、単位面積当たりのエッジ量を採用する。
（ｃ２）顔領域ＦＡのエッジ量α・Ｎｅに、小領域ＤＡと顔領域ＦＡの面積比（Ｗ／Ｆ）の１／２乗の値（＝√（Ｗ／Ｆ））を乗じる。

上記（ｃ１）は、例えば、各画素に対してフィルタ処理を１回適用してエッジを抽出する場合に適用することが可能である。上記（ｃ２）は、例えば、後述する合焦エッジを使用した場合に適用することが可能である。

図４は、小領域と顔領域の面積比に応じてエッジ量を調整する理由を説明する図である。図４（Ａ）では、顔領域ＦＡと小領域ＤＡのサイズが一致しており、図４（Ｂ）では、顔領域ＦＡの面積Ｆが小領域ＤＡの面積Ｗの４倍となっている。ところで、後述する合焦エッジのエッジ量は、或る領域内に存在する輪郭線の長さにほぼ比例した値を示す量である。このような合焦エッジを使用する場合に、領域の面積が２倍になるとその中の輪郭線の長さは√２倍になり、面積が４倍になると輪郭線の長さは２倍になる。従って、図４（Ｂ）のように、顔領域ＦＡの面積Ｆが小領域ＤＡの面積Ｗの４倍になった場合には、顔の大きさが小領域ＤＡと同じである場合に比べて、顔領域ＦＡ内に存在する輪郭線の長さが２倍となっている。この場合には、顔領域ＦＡ内の合焦エッジ量をそのまま使用して合焦領域の選択を行うと、顔領域ＦＡの合焦状態を過度に良好であると判定してしまう可能性がある。そこで、上記（ｃ２）のように、顔領域ＦＡのエッジ量α・Ｎｅに、小領域ＤＡと顔領域ＦＡの面積比（Ｗ／Ｆ）の１／２乗の値（＝√（Ｗ／Ｆ））を乗じるようにすれば、他の小領域ＤＡと顔領域ＦＡの合焦状態を正しく比較することが可能となる。

なお、上記（ｃ２）の調整は、重みαに√（Ｗ／Ｆ）を乗じたものであると考えることが可能である。重みαに√（Ｗ／Ｆ）を乗じる代わりに、合焦領域の決定時（図２のステップＴ４０）において顔領域ＦＡに対する所定値Ｔedgeを√（Ｗ／Ｆ）で除算しても良いが、両者は実質的に同じである。

なお、顔領域ＦＡ用の合焦枠ＥＦＡと、小領域ＤＡ用の合焦枠ＥＦとは、サイズ以外の属性（色、模様、太さ）が同じ枠としてもよい。あるいは、顔領域ＦＡの合焦枠ＥＦＡを、小領域ＤＡ用の合焦枠ＥＦと視覚的に区別可能な状態で表示してもよい。

以上のように、本実施例では、顔領域ＦＡと小領域ＤＡのそれぞれに関してエッジ量を算出し、エッジ量が所定値を越える領域に合焦枠を付した状態で画像を表示する。従って、ユーザは、ピントが合っている領域を合焦枠によって確認しつつ、画像の画質の確認、画像の選択、画像の削除などの各種の作業を行うことが可能である。例えば、合焦枠が付された画像を観察し、不要な画像は削除する一方、良質な画像のみを記録媒体７３に格納したり、プリンタで印刷したりすることが可能である。特に、本実施例では、顔領域ＦＡのエッジ量の決定時に小領域ＤＡよりも大きな重みを付しているので、顔領域ＦＡの合焦状態をより正確に判定することが可能である。

図５は、エッジを検出する小領域（エッジ検出領域）の他の設定方法を示す説明図である。図５（Ａ）はｊ番目の小領域ＤＡjの位置を示しており、図５（Ｂ）はｊ＋１番目の小領域ＤＡj+1の位置を示している。ｊ＋１番目の小領域ＤＡj+1は、ｊ番目の小領域ＤＡjからｎ画素（ｎは１以上の所定の整数）進んだ位置に設定される。こうして、処理対象画像内において小領域ＤＡを順次走査しながら、各小領域ＤＡにおけるエッジ量を計算する。この例では、隣接する２つの小領域ＤＡj，ＤＡj+1が一部重なることが理解できる。

図５（Ｃ）は、合焦枠が重なった場合の例を示している。この場合には、複数の合焦枠ＥＦ１〜ＥＦ３のうちで、他の合焦枠との重なり数が最も多いものを合焦枠として表示することが好ましい。図５（Ｃ）の例では、第１と第２の合焦枠ＥＦ１，ＥＦ２は、他の合焦枠との重なり数が１であり、第３の合焦枠ＥＦ３は他の合焦枠との重なり数が２である。この場合に、最も重なる数の多い合焦枠ＥＦが付された状態で画像が表示される。なお、合焦枠ＥＦ３と部分的重なっている他の合焦枠ＥＦ１，ＥＦ２は表示を省略してもよく、或いは、合焦枠ＥＦ３と視覚的に区別可能な枠（例えば色と模様と太さのうちの少なくとも１つが異なるもの）を使用して表示しても良い。

図６は、合焦枠の他の形状の例を示す説明図である。図６（Ａ）では、合焦領域の左上と右下に付された一対のＬ字状の線が合焦枠ＬＦ（「Ｌ字枠」とも呼ぶ）として使用されている。図６（Ｂ）では、合焦領域の左右に付された一対の括弧が、合焦枠ＢＦ（「ブラケット枠」とも呼ぶ）として使用されている。このように、本明細書において、領域の「枠」とは、領域の周囲全体を隙間無く囲うものに限らず、その一部が欠けているものを含む広い意味で使用されている。

C．合焦エッジ抽出処理の実施例：
次に、合焦の条件に合致するエッジを抽出する手順について説明する。図７は、合焦エッジ抽出処理の第１実施例の処理手順を示すフローチャートである。

図７の手順では、まず、対象画像データを読み込み、当該画像の各画素ｐ（ｘ，ｙ）における輝度値に基づいてエッジを検出する（ステップＳ１０）。具体的には、記録媒体７２または拡張記録媒体７３に格納された画像の中から、ＬＣＤ５４に表示されたサムネイルを入力手段４０で選択することにより、合焦情報の視覚化の対象とする画像のＹＣｂＣｒデータを制御部３０内のＲＡＭに取得する。そして、輝度値ＹをＳｏｂｅｌフィルタで処理し、エッジを検出する。なお、本実施例では、ＹＣｂＣｒデータを用いてエッジ検出を行ったが、本発明が利用される媒体に応じて、ＬａｂデータやＹＩＱデータを用いて輝度値Ｙからエッジを検出してもよい。

ここで、Ｓｏｂｅｌフィルタについて説明する。Ｓｏｂｅｌフィルタでは、ある注目画素位置（ｘ，ｙ）を中心として上下左右の９つの輝度値に対して、図８に図示する水平方向及び垂直方向の係数行列の該当箇所の係数をそれぞれ乗算し、この乗算結果を合計する。この水平方向及び垂直方向の乗算結果が、注目画素位置（ｘ，ｙ）における水平方向及び垂直方向のエッジ勾配ｄｘ，ｄｙとなる。このとき、画素位置（ｘ，ｙ）におけるエッジは、図９に図示するようにtanθ=ｄｙ/ｄｘを満たす方向θを有し、次式（１）の強さａ（ｘ，ｙ）を有するエッジとして求められる。
ａ（ｘ，ｙ）＝√（ｄｘ² ＋ｄｙ² ） ・・（１）

上述した本実施例では、エッジの検出演算にＳｏｂｅｌフィルタを採用したが、Ｐｒｅｗｉｔｔフィルタ、Ｒｏｂｅｒｔｓフィルタなど種々のエッジ検出用フィルタが利用できる。

次に、ステップＳ１０で検出された強さａ（ｘ，ｙ）のエッジのうち、エッジの強さが第１の閾値Ｔｈ１以上であるエッジを抽出する（ステップＳ２０）。閾値Ｔｈ１は、あらかじめ設定された閾値であるが、検出するエッジの数を制御するために、例えば、数段階から選択できるようにしてもよい。また、閾値Ｔｈ１は、例えば、肖像写真画像、風景写真画像といった画像の種類に応じて設定することもできる。

次に、ステップＳ２０で抽出したエッジ強さａ（ｘ，ｙ）≧Ｔｈ１のエッジについて、エッジの幅を演算する（ステップＳ３０）。具体的には、角度θのエッジについて、０°≦θ＜４５°の場合は水平方向（ｄｘ方向）のエッジであるとし、４５°≦θ≦９０°の場合は垂直方向（ｄｙ方向）のエッジであると見なして、水平方向と垂直方向の２方向についてエッジ幅を演算する。

ここで、エッジ幅について、図１０により説明する。図１０（ａ）は、画像の水平方向（ｄｘ方向）の画素位置ごとの輝度値の一例を表すグラフである。これを前述のステップＳ１０のエッジ検出処理を行うことにより、図１０（ｂ）に示す輝度差演算値（エッジ強さａ（ｘ，ｙ））が得られる。この輝度差演算値のうち、閾値Ｔｈ１以上となる画素Ｘ３ないしＸ５及びＸ１１，Ｘ１２が前述のステップＳ２０で抽出される。この抽出された画素Ｘ３ないしＸ５及びＸ１１，Ｘ１２が水平方向に連続する数を水平方向のエッジ幅として演算する。この例では、図１０（ｃ）に示すように、画素Ｘ３ないしＸ５からなるエッジの水平方向の幅は３であり、画素Ｘ１１，Ｘ１２からなるエッジの水平方向の幅は２である。垂直方向（ｄｙ方向）については図示を省略するが、同様の方法でエッジ幅を演算することができる。

なお、本実施例では、最終的には、ユーザによる画像の合焦の判定を行うことから、合焦情報は、情報の精度よりも演算速度を優先して、任意の方向を水平方向と垂直方向に量子化してエッジ幅を求めた。これに対して、水平ｘ，垂直ｙ方向のエッジ幅ｄｘ，ｄｙを求め、
ｔａｎθ＝ｄｙ／ｄｘ
としてエッジの角度θを求め、エッジの幅ΔＬを、
ΔＬ＝√（ｄｘ² ＋ｄｙ² ）
として求め、角度θ方向の幅ΔＬのエッジとして扱い、判断を行なうものとすることもできる。本来、エッジ幅とは、任意の角度θを有するエッジ（ｄｘ，ｄｙ）が所定の角度θ１の方向に連続する幅である。したがって、例えば、異なる角度θ２，θ３（０°≦θ２＜θ３＜４５°）をもつ隣り合った画素のエッジであっても、本実施例では、連続する水平方向のエッジとして検出してしまう。そこで、さらに高い精度での合焦情報の表示が求められる場合には、エッジの方向θを演算し、あるいはより多くの方向に分類して、その方向ごとにエッジ幅を検出すればよい。また、閾値Ｔｈ１の設定は、方向θの範囲に応じて異なる値を設定してもよい。

次に、ステップＳ２０で抽出されたエッジ強さが第１の閾値Ｔｈ１以上のエッジの中から、ステップＳ３０で演算されたエッジ幅が第２の閾値Ｔｈ２以下であるエッジを抽出する（ステップＳ４０）。本実施例では、前述の通り、ステップＳ３０において水平方向と垂直方向の２方向についてエッジ幅を演算しているので、ステップＳ４０においても水平方向と垂直方向の２方向について閾値Ｔｈ２との比較を行い、Ｔｈ２以下のエッジ幅を有するエッジを抽出する。例えば、図１０（ｃ）に例示するように、水平方向の画素ｘ３ないしｘ５で構成されるエッジのエッジ幅は３であり、画素ｘ１１，ｘ１２で構成されるエッジのエッジ幅は２であり、いずれもエッジ幅が第２の閾値Ｔｈ２以下であることを満たすため、ステップＳ４０において、画素ｘ３ないしｘ５のエッジ及び画素ｘ１１，ｘ１２のエッジが抽出される。なお、閾値Ｔｈ２の設定は、エッジ幅を検出する方向に応じて異なる値を設定してもよい。

なお、第２の閾値Ｔｈ２は、固定値としてもよいが、記録された画像サイズやデジタルスチルカメラ１００が備えるトリミング機能によりトリミングされた画像サイズに応じて設定することとしてもよい。具体的には、Ｌ版印刷を初期設定として選択する場合には、第２の閾値Ｔｈ２は、例えば、Ｌ版サイズ上で０．５ｍｍに相当する画素数として設定することが経験上適切である。また、第２の閾値Ｔｈ２は、同一の画像サイズの画像に対して、印刷用紙サイズに応じて設定することとしてもよい。具体的には、所定の画像サイズの画像をＡ４サイズで印刷する場合には、例えば、入力手段４０の操作により印刷用紙サイズメニューの中からＡ４を選択することで、自動的に第２の閾値Ｔｈ２を初期設定であるＬ版サイズ上で０．５ｍｍに相当する画素数から、Ａ４サイズ上で０．３ｍｍに相当する画素数に変更できるものとしてもよい。さらに、第２の閾値Ｔｈ２は、画像サイズと印刷用紙サイズの組み合わせに応じて設定することとしてもよい。

こうして、ステップＳ４０で抽出されたエッジの数（より正確には、エッジにあると判定された画素の数）を各領域（小領域ＤＡ及び顔領域ＦＡ）で合計した値を、その領域のエッジ量として利用することができる。ステップＳ４０で抽出されたエッジは、その幅が所定の値以下の、ある程度シャープなエッジであり、このエッジを有する画素から形成される領域は、合焦しているものとして考えることができる。

次に、合焦エッジ抽出処理の第２実施例について説明する。第２実施例では、図７に示した第１実施例のステップＳ１０ないしＳ４０の処理に代えて、図１１のフローチャートに示す処理（Ｓ１１０ないしＳ１４０）を実行する。第２実施例では、まず所定方向に並んだ画素の輝度値の差分を検出する処理を行なう（ステップＳ１１０）。第２実施例では、水平方向と垂直方向の両方向について、輝度値の差分を演算している。図１２では、説明を簡略化して水平方向について例示している。図１２（Ａ）は、各画素の輝度値Ｚを例示し、図１２（Ｂ）は、この場合の輝度値の差分ΔＺを例示している。なお、第１実施例では、輝度の変化量は絶対値で求めたが、第２実施例では、輝度値の差分ΔＺは、符号付きの値として演算している。また、差分ΔＺは、画素間について逐次演算されるので、必要に応じて、今回着目している差分をΔＺ（ｎ）として表記し、着目画素の一つ前の画素についての差分をΔＺ（ｎ−１）として表記するものとする。

次に、着目している画素について演算した輝度値の差分ΔＺ（ｎ）の符号が一つの前の画素について演算した求めた輝度値の差分ΔＺ（ｎ−１）の符号と同一か否かの処理を行なう（ステップＳ１１２）。両者が一致していれば（ステップＳ１１２：「ＹＥＳ」）、エッジは継続していると判断し、輝度値の差分ΔＺ（ｎ）を累積した累積値ＳＺを求める処理を行なう（ステップＳ１１４）。具体的には、エッジが開始されたと判断したときに０にリセットされる累積しＳＺに、今回の差分ΔＺ（ｎ）を加算するのである（ＳＺ←ＳＺ＋ΔＺ（ｎ））。累積値ＳＺを求めた後、ステップＳ１１６で、着目画素の位置を所定の方向に１だけ進め（ｎ←ｎ＋１）、上記処理を継続する（ステップＳ１１０ないしＳ１１６）。

上記の処理を繰り返すうちに、着目している画素について演算した輝度値の差分ΔＺ（ｎ）の符号が一つの前の画素について演算した求めた輝度値の差分ΔＺ（ｎ−１）の符号と同一でないと判断されると（ステップＳ１１２：「ＮＯ」）、そこまで求めて来た累積値ＳＺの絶対値｜ＳＺ｜が、予め定めた値Ｔｈ１より大きいか否かの判断を行なう（ステップＳ１２０）。この判断の様子を図１２（Ｂ）に示した。累積値ＳＺの絶対値が閾値Ｔｈ１より大きいと判断されれば（ステップＳ１２０：「ＹＥＳ」）、合焦について判定すべきエッジがある可能性があると考えられるので、次にエッジの幅Ｗｅを求める処理を行なう（ステップＳ１３０）。エッジの幅は、ステップＳ１１０で求めた輝度値の差分ΔＺが同一符号の間の画素数として設定される。

エッジの幅Ｗｅを求めた後、この幅Ｗｅが、予め定めた値Ｔｈ２以下か否かの判断を行ない（ステップＳ１３５）、エッジの幅Ｗｅが閾値Ｔｈ２以下であれば、これらの画素は合焦の状態にあるとして、そのエッジを登録する処理を行なう（ステップＳ１４０）。その後、累積値ＳＺを値０にリセットする処理（ステップＳ１４３）を行なう。他方、ステップＳ１２０またはＳ１３５での判断が「ＮＯ」であれば、合焦の状態にあると判断できるエッジではないとして、何の処理も行なわず、ステップＳ１４３で累積値ＳＺをリセットする処理に移行する。これらの処理により、図１２に示したように、隣接画素の輝度値の差分ΔＺの符号が隣接画素間で同一でなくなったときに、エッジの有無を、この差分ΔＺの累積値ＳＺの大きさで判定し、判定の如何に関わらず、累積値ＳＺを次の判定に備えて、値０にリセットすることになる。

そこで、上記の一連の処理により一つのエッジについての判定が完了すると、総ての画素についての判断が終わったかを判定し（ステップＳ１４５）、終わっていなければ、ステップＳ１１０に戻って、上記の処理（ステップＳ１１０ないしＳ１４３）の処理を繰り返す。総ての画素について上記の判断が終わっていれば（ステップＳ１４５：「ＹＥＳ」）、エッジ抽出処理を終了する。

以上説明した第２実施例によれば、エッジの抽出を、隣接画素の輝度値の差分ΔＺの符号が隣接画素間で同一でなくなったときに、この差分ΔＺの累積値ＳＺの大きさを判定することにより行なっている。したがって、画素の並びがエッジを構成しているとき、途中に差分ΔＺが小さい画素間が存在したとき、その前後を別々のエッジと判定することがない。他方、全体の傾向としては、画素の輝度値が漸増または漸減していても、途中で差分ΔＺが値０になるか、その符号が変更されれば、そこでエッジが分かれていると判断するので、エッジの存在領域を見誤る可能性が低減される。この結果、ノイズなどが存在しても、合焦の情報として扱うべきエッジの存在を的確に判定することができる。

D．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

D１．変形例１：
上記実施例においては、顔全体を顔領域として抽出していたが、顔の１つ以上の器官（目、口など）を顔領域として抽出するようにしてもよい。例えば、目のみを顔領域として抽出してもよい。この場合には、目を含み、顔全体を含まない領域を顔領域（又は、目領域）として抽出することが好ましい。通常は、顔の合焦の有無は、目にピントが合っているか否かに大きく依存する。従って、目領域を顔領域として使用すれば、顔の合焦状態をより正しく判定できる可能性がある。また、目と口とを含む複数種類の顔器官を別の領域として設定してもよい。この場合には、顔器官の種類に応じて、合焦枠（領域枠）のを互いに視覚的に区別可能に表示してもよい。

D２．変形例２：
上記実施例では、顔領域ＦＡと複数の小領域ＤＡのうちで、合焦条件に一致する領域に合焦枠を付して表示していたが、合焦枠は顔領域のみに付するようにしてもよい。この場合には、顔領域が合焦条件に一致する場合には合焦枠が付された状態で画像が表示され、合焦条件に一致しない場合には合焦枠が付されない状態で画像が表示される。

D３．変形例３：
上記実施例では、合焦領域に合焦枠を付して画像を表示する例を説明したが、合焦枠の代わりに、合焦領域を他の領域と視覚的に可能するための他の種類の合焦表示を行うようにしてもよい。例えば、合焦領域以外の領域に一様なグレー色のマスクをかけるようにしてもよい。なお、この場合にも、合焦領域のみが明るく表示されるので、枠が付されているものと考えることが可能である。

D４．変形例４：
上記実施例では、主としてデジタルカメラの液晶パネルに画像を表示する場合の例を説明したが、本発明は、他の種々の方法で画像で出力する場合にも適用可能である。例えば、コンピュータの画面への画像表示や、プリンタにおける画像の印刷などにも本発明を適用可能である。

本発明の一実施例としてのデジタルスチルカメラの構成を示すブロック図である。 実施例における処理手順を示すフローチャートである。 実施例の処理内容を示す説明図である。 小領域と顔領域の面積比に応じてエッジ量を調整する理由を説明するための説明図である。 エッジを検出する小領域の他の設定方法を示す説明図である。 合焦枠の他の形状の例を示す説明図である。 合焦エッジ抽出処理の第１実施例の処理手順を示すフローチャートである。 Ｓｏｂｅｌフィルタを示す説明図である。 エッジ勾配ｄｘ，ｄｙとエッジ方向θとの関係を示す説明図である。 エッジ幅の説明図である。 合焦エッジ抽出処理の第２実施例の処理手順を示すフローチャートである。 画素間の輝度値の差分からエッジ抽出を行なう様子を示す説明図である。

符号の説明

１０…光学系
１２…ＣＣＤ
１４…画像データ作成部
２１〜２３…フレームメモリ
３０…制御部
３２…顔検出部
３４…エッジ抽出部
３６…出力制御部
４０…入力手段
５２…ＬＣＤドライバ
５４…ＬＣＤ（液晶パネル）
６０…画像データ出力部
７０…記録媒体制御部
７２…記録媒体
７３…拡張記録媒体
８０…ＵＳＢインターフェース
１００…デジタルスチルカメラ

Claims (13)

1. 画像処理装置であって、
   画像の中に存在する顔を検出して顔領域を決定する顔検出部と、
   前記顔領域におけるエッジを抽出してエッジ量を決定するエッジ抽出部と、
   前記顔領域における前記エッジ量が第１の所定値以上の場合に前記顔領域に領域枠を付した前記画像を画像出力部に出力させる出力制御部と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記エッジ抽出部は、更に、前記画像内において前記顔領域以外の場所に存在する複数の小領域におけるエッジ量を決定し、
   前記出力制御部は、或る小領域における前記エッジ量が第２の所定値以上の場合に当該小領域に領域枠を付して出力する、画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記顔領域及び前記顔領域用の領域枠のサイズは前記顔のサイズに応じて可変であり、
   前記小領域及び前記小領域用の領域枠のサイズは固定である、
   画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記エッジ抽出部は、前記顔領域に関して、前記小領域よりも大きな重みを付して前記エッジ量を計算する、画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記エッジ抽出部は、前記顔領域におけるエッジ量の決定に使用する前記重みに、さらに、前記小領域の面積Ｗと前記顔領域の面積Ｆとの比（Ｗ／Ｆ）の１／２乗の値√（Ｗ／Ｆ）を乗じる、画像処理装置。
6. 請求項２〜５のいずれかに記載の画像処理装置であって、
   前記出力制御部は、前記顔領域と前記複数の小領域のうちで、前記最もエッジ量の大きな領域に対する領域枠を他の領域枠と視覚的に区別可能に出力する、画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置であって、
   前記顔検出部は、
   前記顔に含まれる少なくとも１種類の顔器官を検出するとともに、
   前記顔器官を包含し、前記顔の全体を包含しない領域を前記顔領域として決定する、画像処理装置。
8. 請求項７記載の画像処理装置であって、
   前記顔器官は目である、画像処理装置。
9. 請求項７記載の画像処理装置であって、
   前記顔検出部は、目と口とを含む複数種類の顔器官を検出し、
   前記出力制御部は、前記顔器官の種類に応じて前記領域枠の色又は模様を変更する、画像処理装置。
10. 請求項２記載の画像処理装置であって、さらに、
    前記エッジ抽出部は、更に、前記画像内において前記顔領域以外の場所に存在する複数の小領域におけるエッジ量を決定し、
    前記出力制御部は、前記顔領域と前記複数の小領域のうちで、前記エッジ量の高い順に所定個数以下の領域について前記領域枠を付して出力する、画像処理装置。
11. 請求項２〜１０のいずれかに記載の画像処理装置であって、
    前記出力制御部は、前記エッジ量が最も大きな領域の前記領域枠を他の領域枠とは視覚的に区別可能に出力する、画像処理装置。
12. 画像処理方法であって、
    （ａ）コンピュータが、画像の中に存在する顔を検出して顔領域を決定する工程と、
    （ｂ）前記コンピュータが、前記顔領域におけるエッジを抽出してエッジ量を決定する工程と、
    （ｃ）前記コンピュータが、前記顔領域における前記エッジ量が第１の所定値以上の場合に前記顔領域に領域枠を付した前記画像を出力する工程と、
    を備える画像処理方法。
13. 画像処理のためのプログラムであって、
    （ａ）画像の中に存在する顔を検出して顔領域を決定する工程と、
    （ｂ）前記顔領域におけるエッジを抽出してエッジ量を決定する工程と、
    （ｃ）前記顔領域における前記エッジ量が第１の所定値以上の場合に前記顔領域に領域枠を付した前記画像を出力する工程と、
    をコンピュータに実行させるプログラム。

Images