JP2011071573A - 画像処理装置 - Google Patents

Abstract

【構成】被写界像は、メモリ制御回路３０によってＳＤＲＡＭ３２に取り込まれる。後処理回路３４に設けられた第１のγ補正回路は、ＳＤＲＡＭ３２に取り込まれた被写界像の色調を、ＬＣＤモニタ３８の特性に対応して調整する。調整された色調を有する被写界像は、ＬＣＤドライバ３６によってＬＣＤモニタ３８に表示される。また、後処理回路３４に設けられた第２のγ補正回路は、ＳＤＲＡＭ３２に取り込まれた被写界像の色調を、第１のγ補正回路の色調調整処理と並列して調整する。ＣＰＵ２６は、第２のγ補正回路によって調整された色調を有する被写界像から、登録顔パターンに符合する物体像を探索する。
【効果】登録顔パターンに符合する物体像の再現性能および探索性能の両方を向上させることができる。
【選択図】図２

Description

この発明は、画像処理装置に関し、特にディジタルカメラに適用され、登録物体像に符合する物体像を被写界像から探索する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、人物領域検出部は、画像入力部により入力された画像を参照して、撮影対象領域に存在する人物の顔領域を検出する。また、明るさ変動領域検出部は、画像入力部により入力された画像を局所領域に分割し、各々の局所領域における明るさ情報の時間的変化の分布を求める。入力制御部は、これらの検出部の検出結果に基づいて入力画像調整要素を制御する。

一方、人物特徴抽出部は、人物領域検出部によって検出された顔領域から人物の顔の特徴情報を抽出する。認識部は、抽出された人物の顔の特徴情報と予め登録された人物の顔の特徴情報とを照合して、撮影対象領域内に存在する人物を認識する。

特開２００９−４４５２６号公報

しかし、背景技術では、入力画像調整要素に従う品質を有する共通の入力画像が入力制御部および認識部の各々において参照される。このため、人物の顔の色によっては、顔画像の再現性能および探索性能のいずれか一方が低下するおそれがある。

それゆえに、この発明の主たる目的は、特定物体像の再現性能および探索性能の両方を向上させることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界像を取り込む取り込み手段(30)、取り込み手段によって取り込まれた被写界像の色調を表示装置(38)の特性に対応して調整する第１調整手段(54)、第１調整手段によって調整された色調を有する被写界像を表示装置に向けて出力する被写界像出力手段(36)、取り込み手段によって取り込まれた被写界像の色調を第１調整手段の調整処理と並列して調整する第２調整手段(58)、および第２調整手段によって調整された色調を有する被写界像から登録物体像に符合する物体像を探索する第１探索手段(S41~S59)を備える。

好ましくは、第１探索手段によって発見された物体像を指向するグラフィック画像を表示装置に向けて出力するグラフィック画像出力手段(46)がさらに備えられる。

好ましくは、被写界像出力手段およびグラフィック画像出力手段は互いに並列して出力処理を実行する。

好ましくは、取り込み手段によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付け手段(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第２探索手段(S127~S137)、および第２探索手段によって発見された既定物体像を登録物体像として定義する定義手段(S145)がさらに備えられる。

ある局面では、複数の既定物体像は複数の品種にそれぞれ対応する複数の動物の画像を含み、指定操作は動物の画像を指定する操作に相当する。

他の局面では、指定操作によって指定された物体像の色調を互いに異なる複数の色調の各々に設定する設定手段(S121~S123, S139~S141)、および第２調整手段の色調調整のために参照されるパラメータを設定手段によって設定された色調を有する物体像に注目した第２探索手段の探索結果に基づいて決定する第１決定手段(S147)がさらに備えられる。

その他の局面では、指定手段によって指定された物体像の属性を検出する属性検出手段(S151~S159, S171~S177, S181~S191, S201~S205)、および第２調整手段の色調調整のために参照されるパラメータを属性検出手段によって検出された属性に基づいて決定する第２決定手段(S161~S167, S193, S207~S209)がさらに備えられる。

ある形態では、属性は物体像上の複数の位置にそれぞれ対応する複数の明るさを含む。他の形態では、属性は物体像のエッジ量を含む。その他の形態では、属性は物体像の色を含む。

好ましくは、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)がさらに備えられ、取り込み手段は撮像手段によって生成された被写界像を取り込む。

さらに好ましくは、第１探索手段によって発見された物体像に注目して撮像条件を調整する撮像条件調整手段(S27~S29)がさらに備えられる。

この発明によれば、表示装置の特性に対応して調整された色調を有する被写界像は表示装置に向けて出力され、登録物体像の色調に対応して調整された色調を有する被写界像は登録物体像に符合する物体像の探索の対象となる。これによって、登録物体像に符合する物体像の再現性能および探索性能の両方を向上させることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 評価エリアを撮像面に割り当てた状態の一例を示す図解図である。 図２実施例に適用される後処理回路の構成の一例を示すブロック図である。 コントラスト調整動作において参照されるレジスタの構成の一例を示す図解図である。 抽出辞書の構成の一例を示す図解図である。 顔検出動作において参照されるレジスタの一例を示す図解図である。 顔認識処理のために用いられる顔検出枠の一例を示す図解図である。 顔検出動作の一部を示す図解図である。 （Ａ）は表示画像の一例を示す図解図であり、（Ｂ）は探索画像の一例を示す図解図である。 （Ａ）は表示画像の他の一例を示す図解図であり、（Ｂ）は探索画像の他の一例を示す図解図である。 （Ａ）は再生画像の一例を示す図解図であり、（Ｂ）はズーム処理およびスクロール処理を施された再生画像の一例を示す図解図である。 一般辞書の構成の一例を示す図解図である。 γ補正曲線の一例を示すグラフである。 コントラスト調整動作の一部を示す図解図である。 （Ａ）は抽出辞書作成動作において参照される一時レジスタの一例を示す図解図であり、（Ｂ）は抽出辞書作成動作において参照される一時レジスタの他の一例を示す図解図であり、（Ｃ）は抽出辞書作成動作において参照される一時レジスタのその他の一例を示す図解図であり、（Ｄ）は抽出辞書作成動作において参照される一時レジスタのさらにその他の一例を示す図解図である。 抽出辞書の構成の他の一例を示す図解図である。 コントラスト調整動作において参照されるレジスタの構成の他の一例を示す図解図である。 （Ａ）は表示画像のその他の一例を示す図解図であり、（Ｂ）は探索画像のその他の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 さらにその他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 他の実施例で表示される問い合せ画面の一例を示す図解図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段１は、被写界像を取り込む。第１調整手段２は、取り込み手段１によって取り込まれた被写界像の色調を表示装置６の特性に対応して調整する。被写界像出力手段３は、第１調整手段２によって調整された色調を有する被写界像を表示装置６に向けて出力する。第２調整手段４は、取り込み手段１によって取り込まれた被写界像の色調を第１調整手段２の調整処理と並列して調整する。第１探索手段５は、第２調整手段４によって調整された色調を有する被写界像から登録物体像に符合する物体像を探索する。

したがって、表示装置６に向けて出力される被写界像の色調は表示装置６の特性に対応して調整される一方、登録物体像に符合する物体像の探索の対象となる被写界像は表示装置６の特性に対応することなく調整される。これによって、登録物体像に符合する物体像の再現性能および探索性能の両方を向上させることができる。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。

電源が投入されると、ＣＰＵ２６は、キー入力装置２８に設けられたモード切り換えスイッチ２８ｍｄの設定（つまり現時点の動作モード）をメインタスクの下で判別する。現時点の動作モードがカメラモードであれば撮像タスクおよび顔検出タスクが起動され、現時点の動作モードが再生モードであれば再生タスクが起動される。

撮像タスクが起動されたとき、ＣＰＵ２６は、動画取り込み処理を開始するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。

前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。

後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理および白バランス調整処理を施し、さらに調整された白バランスを有する画像データに表示用のγ補正処理およびＹＵＶ変換処理と探索用のγ補正処理およびＹＵＶ変換処理とを個別に施す。これによって、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。

表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。

ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。なお、探索画像データに対する処理については、後述する。

図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。

ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。

また、ＡＦ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアＥＶＡに属するＧデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。

ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を動画取り込み処理と並列して実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。

シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２の出力に基づいてＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４からの出力に基づくＡＦ処理を実行する。フォーカスレンズ１２はドライバ１８ａによって合焦点に設定され、これによってスルー画像の鮮鋭度が向上する。

シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、記録処理のために、Ｉ／Ｆ４０を起動する。Ｉ／Ｆ４０は、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの表示画像データをメモリ制御回路３０を通して表示画像エリア３２ｂから読み出し、読み出された表示画像データが収められた画像ファイルを記録媒体４２に記録する。

後処理回路３４は、図４に示すように構成される。メモリ制御回路３０によって読み出された生画像データは、色分離回路５０によって色分離処理を施され、色分離された画像データの白バランスは白バランス調整回路５２によって調整される。調整された白バランスを有する画像データは、γ補正回路５４および５６に与えられる。

γ補正回路５４は、ＬＣＤモニタ３８の特性（色再現性）に対応したγ補正曲線に従って画像データのコントラストを調整する。調整されたコントラストを有する画像データは、ＹＵＶ変換回路５６によるＹＵＶ変換処理を経て、表示画像データとして出力される。

レジスタＲＧＳＴ１には、図１４に示すガンマ補正曲線ＣＶ＿０〜ＣＶ＿３（詳細は後述）のいずれか１つが図５に示す要領で登録される。γ補正回路５８は、レジスタＲＧＳＴ１に格納されたγ補正曲線に従って画像データのコントラストを調整する。調整されたコントラストを有する画像データは、ＹＵＶ変換回路６０によるＹＵＶ変換処理を経て、探索画像データとして出力される。

ＣＰＵ２６は、撮像タスクと並列して実行される顔検出タスクの下で、探索画像エリア３２ｃに格納された画像データから動物の顔画像を繰り返し検索する。このような顔検出タスクのために、図６に示す抽出辞書ＥＸＤＣ，図７に示すレジスタＲＧＳＴ２および図８に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…が準備される。

図６によれば、猫の品種の１つであるエジプシャンマウの顔の特徴が顔パターンＦＰ＿１として抽出辞書ＥＸＤＣに収められ、猫の品種の他の１つであるアメリカンショートヘアの顔の特徴が顔パターンＦＰ＿２として抽出辞書ＥＸＤＣに収められる。なお、図６では“エジプシャンマウ”の文字と“アメリカンショートヘア”の文字とが記述されているが、実際にはエジプシャンマウの顔の特徴とアメリカンショートヘアの顔の特徴とが登録される。

また、図７に示すレジスタＲＧＳＴ２は顔枠情報を記述するためのレジスタに相当し、検出された顔画像の位置（顔画像が検出された時点の顔検出枠ＦＤの位置）を記述するカラムと検出された顔画像のサイズ（顔画像が検出された時点の顔検出枠ＦＤのサイズ）を記述するカラムとによって形成される。

さらに、図８に示す顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、探索画像エリア３２ｃ上を図９に示す評価エリアＥＶＡに対応してラスタ走査態様で移動する。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。

ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｃから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、抽出辞書ＥＸＤＣに収められた顔パターンＦＰ＿１〜ＦＰ＿２の各々と照合される。照合度が閾値ＴＨを上回ると、顔検出枠ＦＤの現時点の位置およびサイズが顔枠情報としてレジスタＲＧＳＴ２に登録される。

最小サイズ（＝２０）の顔検出枠ＦＤのラスタ走査が終了すると、ＣＰＵ２６は、レジスタＲＧＳＴ２に登録された顔枠情報を検出し、検出された顔枠情報に対応する顔枠キャラクタ表示命令をグラフィックジェネレータ４６に向けて発行する。ただし、レジスタＲＧＴＳ２に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。

グラフィックジェネレータ４６は、与えられた顔枠キャラクタ表示命令に基づいて顔枠を表すグラフィック画像データを作成し、作成されたグラフィック画像データをＬＣＤドライバ３６に与える。ＬＣＤドライバ３６は、与えられたグラフィック画像データに基づいてＬＣＤモニタ３８に顔枠キャラクタＫＦ１を表示する。

エジプシャンマウＥＭ１が撮像面で捉えられると、図１０（Ａ）に示す表示画像データおよび図１０（Ｂ）に示す探索画像データが互いに並列して作成される。表示画像データはＬＣＤドライバ３６によって表示処理を施され、探索画像データはＣＰＵ２６によって顔検出処理を施される。

顔検出処理の結果、エジプシャンマウＥＭ１の顔画像の特徴と図６に示す顔パターンＦＰ＿１との照合度が閾値ＴＨを上回る。顔枠キャラクタＫＦ１は、エジプシャンマウＥＭ１の顔画像を囲うようにＬＣＤモニタ３８に表示される（図１０（Ａ）参照）。

一方、シベリアンハスキーＳＨ１が撮像面で捉えられたときは、図１１（Ａ）に示す表示画像データおよび図１１（Ｂ）に示す探索画像データが互いに並列して作成される。上述のように、表示画像データはＬＣＤドライバ３６によって表示処理を施され、探索画像データはＣＰＵ２６によって顔検出処理を施される。

ただし、シベリアンハスキーＳＨ１の顔画像の特徴と図６に示す顔パターンＦＰ＿１およびＦＰ＿２の各々との照合度はいずれも閾値ＴＨを下回る。したがって、顔枠キャラクタＫＦ１は非表示とされる（図１１（Ａ）参照）。

顔枠キャラクタＫＦ１が表示されたとき、上述のＡＥ処理およびＡＦ処理は、顔枠キャラクタＫＦ１内の画像に注目して実行される。一方、顔枠キャラクタＫＦ１が非表示とされたとき、上述のＡＥ処理およびＡＦ処理は、評価エリアＥＶＡの全体画像に注目して実行される。こうして、露光量やフォーカスなどの撮像パラメータが良好に調整される。

再生タスクが起動されると、ＣＰＵ２６は、記録媒体４２に記録された最新の画像ファイルを再生画像ファイルとして指定し、指定画像ファイルに注目した再生処理の実行をＩ／Ｆ４０およびＬＣＤドライバ３６に命令する。

Ｉ／Ｆ４０は、指定された画像ファイルの画像データを記録媒体４２から読み出し、読み出された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込む。

ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、指定画像ファイルの画像データに基づく再生画像がＬＣＤモニタ３８に表示される。

ＣＰＵ２６は、このような再生処理に続いて、登録枠キャラクタ表示命令をグラフィックジェネレータ４６に向けて発行する。グラフィックジェネレータ４６は、与えられた登録枠キャラクタ表示命令に基づいて登録枠を表すグラフィック画像データを作成し、作成されたグラフィック画像データをＬＣＤドライバ３６に与える。ＬＣＤドライバ３６は、与えられたグラフィック画像データに基づいてＬＣＤモニタ３８の画面中央に登録枠キャラクタＲＦ１を表示する。

したがって、図１１（Ａ）に示す表示画像データがカメラモードにおいて記録媒体４２に記録され、かつこの表示画像データが再生モードにおいて記録媒体４２から再生されたとき、再生画像および登録枠キャラクタＲＦ１は図１２（Ａ）に示す要領でＬＣＤモニタ３８に表示される。

キー入力装置２８の送り／戻しボタン２８ｆｒが操作されると、ＣＰＵ２６は、後続の画像ファイルまたは先行する画像ファイルを再生画像ファイルとして指定する。指定画像ファイルは上述と同様の再生処理を施され、この結果、再生画像が更新される。

キー入力装置２８のテレ／ワイドボタン２８ｔｗが操作されると、ＬＣＤモニタ３８に表示された再生画像が縮小または拡大される。これによって、表示画像の倍率が変化する。キー入力装置２８の十字ボタン２８ｃｓが操作されると、ＬＣＤモニタ３８に表示された再生画像がスクロールされる。これによって、表示画像の位置が変化する。

したがって、図１２（Ａ）に示す再生画像が表示されている状態でテレ／ワイドボタン２８ｔｗおよび十字ボタン２８ｃｓが操作されると、再生画像はたとえば図１２（Ａ）から図１２（Ｂ）に遷移する。

いずれかの再生画像が表示されている状態でキー入力装置２８の登録ボタン２８ｒｇが操作されると、図１３に示す一般辞書ＧＬＤＣに収められた顔パターンＦＰ＿１〜ＦＰ＿７０の一部を抽出辞書ＥＸＤＣに登録し、かつ図１４に示すγ補正曲線ＣＶ＿０〜ＣＶ＿３のいずれか１つをレジスタＲＧＳＴ１に登録するべく、以下の要領で抽出処理が実行される。

図１３に示す一般辞書ＧＬＤＣにおいて、顔パターンＦＰ＿１〜ＦＰ＿４５はそれぞれ４５品種の犬の顔の特徴を表し、顔パターンＦＰ＿４６〜ＦＰ＿６０はそれぞれ１５品種の猫の顔の特徴を表し、そして顔パターンＦＰ＿６１〜ＦＰ＿７０はそれぞれ１０品種のウサギの顔の特徴を表す。

また、図１４を参照して、ガンマ補正曲線の曲率を定義するガンマ値はＣＶ＿０→ＣＶ＿１→ＣＶ＿２→ＣＶ＿３の順で増大する。また、画像の明るさは、ガンマ値の増大に伴って増大する。したがって、ガンマ補正処理を施されたシベリアンハスキーＳＨ１の画像の明るさは、参照されるガンマ補正曲線の曲率に応じて、図１５に示す要領で変化する。

抽出処理ではまず、変数Ｎが“０”〜“３”の各々に設定され、表示画像エリア３２ｂに格納された表示画像データのコントラストがγ補正曲線ＣＶ＿Ｎを参照して調整される。コントラスト調整が完了すると、登録枠キャラクタＲＦ１に属する一部の表示画像データが表示画像エリア３２ｂから読み出され、読み出された表示画像データの特徴量が算出される。

算出された特徴量は、一般辞書ＧＬＤＣに収められた顔パターンＦＰ＿０〜ＦＰ＿７０の各々と照合される。照合度が閾値ＴＨを上回る顔パターンの識別番号は、照合度とともに図１６（Ａ）〜図１６（Ｄ）に示す一時レジスタＴＭＰ＿０〜ＴＭＰ＿３に登録される。

照合度が閾値ＴＨを上回る顔パターンの識別番号および照合度は、ガンマ補正曲線ＣＶ＿０を参照して調整された表示画像データに対応して一時レジスタＴＭＰ＿０に登録され、ガンマ補正曲線ＣＶ＿１を参照して調整された表示画像データに対応して一時レジスタＴＭＰ＿１に登録され、ガンマ補正曲線ＣＶ＿２を参照して調整された表示画像データに対応して一時レジスタＴＭＰ＿２に登録され、ガンマ補正曲線ＣＶ＿３を参照して調整された表示画像データに対応して一時レジスタＴＭＰ＿３に登録される。

こうして一時レジスタＴＭＰ＿０〜ＴＭＰ＿３に対する登録処理が完了すると、最大値を示す照合度（最大照合度）が一時レジスタＴＭＰ＿０〜ＴＭＰ＿３に登録された複数の照合度の中から検出され、検出された最大照合度を登録している一時レジスタが注目一時レジスタとして指定される。そして、注目一時レジスタに登録された上位２個の照合度に対応する２個の顔パターンが、一般辞書ＧＬＤＣから抽出辞書ＥＸＤＣに複製される。

複製処理が完了すると、注目一時レジスタの識別番号と同じ識別番号を有するγ補正曲線がレジスタＲＧＳＴ１に登録される。たとえば、注目一時レジスタが“ＴＭＰ＿１”であればγ補正曲線ＣＶ＿１がレジスタＲＧＳＴ１に登録され、注目一時レジスタが“ＴＭＰ＿３”であればγ補正曲線ＣＶ＿３がレジスタＲＧＳＴ１に登録される。

その後のカメラモードにおいてγ補正回路５８（図４参照）に与えられる画像データの色調は、抽出辞書ＥＸＤＣに新規に登録された顔パターンＦＰ＿１およびＦＰ＿２の色調に対応して調整される。また、ＹＵＶ変換回路６０（図４参照）から出力された探索画像データは、抽出辞書ＥＸＤＣに新規に登録された顔パターンＦＰ＿１およびＦＰ＿２と照合される。

したがって、図１２（Ｂ）に示す表示状態で抽出処理が実行されると、抽出辞書ＥＸＤＣは図６に示す状態から図１７に示す状態に更新され、レジスタＲＧＳＴ１は図５から図１８に更新される。

図１７によれば、犬の品種の１つであるシベリアンハスキーの顔の特徴が顔パターンＦＰ＿１として抽出辞書ＥＸＤＣに収められ、犬の品種の他の１つであるアラスカンマラミュートの顔の特徴が顔パターンＦＰ＿２として抽出辞書ＥＸＤＣに収められる。また、図１８によれば、ガンマ補正曲線ＣＶ＿３がレジスタＲＧＳＴ１に登録される。

その後のカメラモードにおいてシベリアンハスキーＳＨ１が捉えられると、図１９（Ａ）に示す表示画像データおよび図１９（Ｂ）に示す探索画像データが互いに並列して作成される。表示画像データはＬＣＤドライバ３６によって表示処理を施され、探索画像データはＣＰＵ２６によって顔検出処理を施される。

顔検出処理の結果、シベリアンハスキーＳＨ１の顔画像の特徴と図１７に示す顔パターンＦＰ＿１との照合度が閾値ＴＨを上回る。顔枠キャラクタＫＦ１は、シベリアンハスキーＳＨ１の顔画像を囲うようにＬＣＤモニタ３８に表示される（図１９（Ａ）参照）。

ＣＰＵ２６は、図２０に示すメインタスク，図２１に示す撮像タスク，図２２〜図２４に示す顔検出タスク，図２５〜図２７に示す再生タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図２０を参照して、ステップＳ１では現時点の動作モードがカメラモードであるか否かを判別し、ステップＳ３では現時点の動作モードが再生モードであるか否かを判別する。ステップＳ１でＹＥＳであれば、ステップＳ５で撮像タスクを起動し、ステップＳ７で顔検出タスクを起動する。ステップＳ３でＹＥＳであればステップＳ９で再生タスクを起動する。ステップＳ１およびＳ３のいずれもＮＯであれば、ステップＳ１１で他の処理を実行する。ステップＳ７，Ｓ９またはＳ１１の処理が完了すると、モード切り換え操作が行われたか否かをステップＳ１３で繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、起動中のタスクをステップＳ１５で停止し、その後にステップＳ１に戻る。

図２１を参照して、ステップＳ２１では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ２３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ２５の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。ステップＳ２３でＹＥＳであれば、ステップＳ２７でＡＥ処理を実行し、ステップＳ２９でＡＦ処理を実行する。この結果、スルー画像の明るさおよびフォーカスが厳格に調整される。

ステップＳ３１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ３３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ３１でＹＥＳであればステップＳ３５で記録処理を実行し、その後にステップＳ２３に戻る。ステップＳ３３でＹＥＳであれば、そのままステップＳ２３に戻る。ステップＳ３５の記録処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す画像データがファイル形式で記録媒体４２に記録される。

図２２を参照して、ステップＳ４１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ４３で顔検出枠ＦＤのサイズを“２００”に設定し、ステップＳ４５で顔検出枠ＦＤを開始位置（評価エリアＥＶＡの左上）に配置する。ステップＳ４７では顔検出枠ＦＤに属する一部の画像データを探索画像エリア３２ｃから読み出し、読み出された画像データの特徴量を算出する。

ステップＳ４９では、算出された特徴量を抽出辞書ＥＸＤＣに収められた顔パターンＦＰ＿１およびＦＰ＿２の各々と照合する照合処理を実行する。照合処理が完了すると、顔検出枠ＦＤが終了位置（評価エリアＥＶＡの右下）に達したか否かをステップＳ５１で判別する。

判別結果がＮＯであれば、ステップＳ５３で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ４７に戻る。判別結果がＹＥＳであれば、顔検出枠ＦＤのサイズが“２０”まで縮小したか否かをステップＳ５５で判別する。判別結果がＮＯであれば、ステップＳ５７で顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ５９で顔検出枠を開始位置に配置し、その後にステップＳ４７に戻る。

ステップＳ５５の判別結果がＹＥＳであればステップＳ６１に進み、レジスタＲＧＳＴ２に記述された顔枠情報を検出し、検出された顔枠情報に対応する顔枠キャラクタ表示命令をグラフィックジェネレータ４６に向けて発行する。ただし、レジスタＲＧＴＳ２に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。この結果、顔枠キャラクタＫＦ１がスルー画像上にＯＳＤ態様で表示される。ステップＳ６１の処理が完了すると、ステップＳ４１に戻る。

図２３に示すステップＳ４９の照合処理は、図２４に示すサブルーチンに従って実行される。まずステップＳ７１で変数Ｌを“１”に設定する。ステップＳ７３では顔検出枠ＦＤに属する画像データの特徴量を抽出辞書ＥＸＤＣに収められた顔パターンＦＰ＿Ｌと照合し、ステップＳ７５では照合度が閾値ＴＨを上回るか否かを判別する。

判別結果がＮＯであれば、ステップＳ７９で変数Ｌをインクリメントし、インクリメントされた変数Ｌが“２”を上回るか否かをステップＳ８１で判別する。そして、Ｌ≦２であればステップＳ７３に戻る一方、Ｌ＞２であれば上階層のルーチンに復帰する。ステップＳ７５でＹＥＳであればステップＳ７７に進み、顔検出枠ＦＤの現在の位置およびサイズを顔枠情報としてレジスタＲＧＳＴ２に記述する。ステップＳ７７の処理が完了すると、上階層のルーチンに復帰する。

図２５を参照して、ステップＳ９１では記録媒体４２に記録された最新の画像ファイルを指定し、ステップＳ９３では指定画像ファイルに注目した再生処理を実行する。この結果、指定画像ファイルに収められた表示画像データがＳＤＲＡＭ３２の表示画像エリア３２ｂに転送され、この表示画像データに基づく再生画像がＬＣＤモニタ３８に表示される。ステップＳ９５では、登録枠キャラクタ表示命令をグラフィックジェネレータ４６に向けて発行する。この結果、登録枠キャラクタＲＦ１がスルー画像上にＯＳＤ態様で表示される。

ステップＳ９７では送り／戻しボタン２８ｆｒが操作されたか否かを判別し、ステップＳ１０３ではテレ／ワイドボタン２８ｔｗが操作されたか否かを判別する。また、ステップＳ１０７では十字ボタン２８ｃｓが操作されたか否かを判別し、ステップＳ１１１では登録ボタン２８ｒｇが操作されたか否かを判別する。

ステップＳ９７の判別結果がＹＥＳであればステップＳ９９に進み、後続する画像ファイルまたは先行する画像ファイルを次の再生画像ファイルとして指定する。ステップＳ９９の処理が完了すると、ステップＳ１０１で上述と同様の再生処理を実行し、その後にステップＳ９７に戻る。

ステップＳ１０３の判別結果がＹＥＳであればステップＳ１０５に進み、ＬＣＤモニタ３８に表示された再生画像を縮小または拡大する。これによって、表示画像の倍率が変化する。縮小／拡大処理が完了すると、ステップＳ９７に戻る。

ステップＳ１０７の判別結果がＹＥＳであればステップＳ１０９に進み、ＬＣＤモニタ３８に表示された再生画像をスクロールする。これによって、表示される再生画像の位置が変化する。スクロール処理が完了すると、ステップＳ９７に戻る。

ステップＳ１１１でＹＥＳであればステップＳ１１３に進み、一般辞書ＧＬＤＣに収められた顔パターンＦＰ＿１〜ＦＰ＿７０の一部を抽出辞書ＥＸＤＣに登録する抽出処理を実行する。抽出処理が完了すると、ステップＳ９７に戻る。

ステップＳ１１３の抽出処理は、図２６に示すサブルーチンに従って実行される。ステップＳ１２１では変数Ｎを“０”に設定し、ステップＳ１２３では表示画像エリア３２ｂに格納された表示画像データのコントラストをγ補正曲線ＣＶ＿Ｎを参照して調整する。ステップＳ１２５では、登録枠キャラクタＲＦ１に属する一部の表示画像データを表示画像エリア３２ｂから読み出し、読み出された表示画像データの特徴量を算出する。

ステップＳ１２７では変数Ｌを“１”に設定し、ステップＳ１２９ではステップＳ１２５で算出された特徴量を一般辞書ＧＬＤＣに収められた顔パターンＦＰ＿Ｌと照合する。ステップＳ１３１では照合度が閾値ＴＨを上回るか否かを判別し、判別結果がＮＯであればそのままステップＳ１３５に進む一方、判別結果がＹＥＳであればステップＳ１３３の処理を経てステップＳ１３１に進む。ステップＳ１３３では、互いに関連する識別番号Ｌおよび照合度を一時レジスタＴＭＰ＿Ｎに登録する。

ステップＳ１３５では変数Ｌをインクリメントし、ステップＳ１３７ではインクリメントされた変数Ｌが一般辞書ＧＬＤＣに登録された顔パターンの数に相当する“７０”を上回るか否かを判別する。判別結果がＮＯであればステップＳ１２９に戻り、判別結果がＹＥＳであればステップＳ１３９で変数ＮをインクリメントしてからステップＳ１４１に進む。ステップＳ１４１では変数Ｎが“３”を上回るか否かを判別し、判別結果がＮＯであればステップＳ１２３に戻る一方、判別結果がＹＥＳであればステップＳ１４３に進む。

ステップＳ１４３では、一時レジスタＴＭＰ＿０〜ＴＭＰ＿３に登録された複数の照合度の中から最大照合後を検出し、検出された最大照合度を登録している一時レジスタを注目一時レジスタとして指定する。ステップＳ１４５では、注目一時レジスタに登録された上位２個の照合度に対応する２個の顔パターンを一般辞書ＧＬＤＣから検出し、検出された顔パターンを抽出辞書ＥＸＤＣに登録する。ステップＳ１４７では、注目一時レジスタの識別番号と同じ識別番号を有するγ補正曲線をレジスタＲＧＳＴ１に登録する。ステップＳ１４７の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、被写界像は、メモリ制御回路３０によってＳＤＲＡＭ３２に取り込まれる。後処理回路３４のγ補正回路５４は、ＳＤＲＡＭ３２に取り込まれた被写界像の色調を、ＬＣＤモニタ３８の特性に対応して調整する。調整された色調を有する被写界像は、ＬＣＤドライバ３６によってＬＣＤモニタ３８に表示される。また、後処理回路３４に設けられたγ補正回路５８は、ＳＤＲＡＭ３２に取り込まれた被写界像の色調を、登録顔パターンの色調に対応して調整する。また、γ補正回路５４および５８は、互いに並列して色調調整処理を実行する。ＣＰＵ２６は、γ補正回路５８によって調整された色調を有する被写界像から、登録顔パターンに符合する物体像を探索する(S41~S59)。

したがって、ＬＣＤモニタ３８に向けて出力される被写界像の色調はＬＣＤモニタ３８の特性に対応して調整される一方、登録顔パターンに符合する物体像の探索の対象となる被写界像はＬＣＤモニタ３８の特性に対応することなく調整される。これによって、登録顔パターンに符合する物体像の再現性能および探索性能の両方を向上させることができる。

なお、この実施例の抽出処理では、γ補正曲線ＣＶ＿０〜ＣＶ＿３にそれぞれ対応する４回の探索処理(S125~S137)を実行するようにしている。しかし、探索処理の前にγ補正曲線を確定させるようにすれば、探索処理は１回で済ませることができる。

この場合、ＣＰＵ２６は、図２６〜図２７に示す抽出処理に代えて、図２８〜図２９に示す抽出処理を実行する。

まずステップＳ１５１で、登録枠キャラクタＲＦ１に属する表示画像データ上の複数の位置にそれぞれ対応する複数の明るさを検出する。ステップＳ１５３では、検出された複数の明るさの平均値を“Ｙａｖ”として算出する。ステップＳ１５５では平均値Ｙａｖが基準値Ｙ０を上回るか否かを判別し、ステップＳ１５７では平均値Ｙａｖが基準値Ｙ１を上回るか否かを判別し、ステップＳ１５９では平均値Ｙａｖが基準値Ｙ２を上回るか否かを判別する。なお、基準値Ｙ０〜Ｙ２の間では、Ｙ０＞Ｙ１＞Ｙ２の関係が成り立つ。

ステップＳ１５５でＹＥＳであればステップＳ１６１に進み、γ補正曲線ＣＶ＿０をレジスタＲＧＳＴ１に登録する。ステップＳ１５７でＹＥＳであればステップＳ１６３に進み、γ補正曲線ＣＶ＿１をレジスタＲＧＳＴ１に登録する。ステップＳ１５９でＹＥＳであればステップＳ１６５に進み、γ補正曲線ＣＶ＿２をレジスタＲＧＳＴ１に登録する。ステップＳ１５９でＮＯであればステップＳ１６７に進み、γ補正曲線ＣＶ＿３をレジスタＲＧＳＴ１に登録する。

ステップＳ１６１，Ｓ１６３，Ｓ１６５またはＳ１６７の処理が完了するとステップＳ１６９に進み、表示画像エリア３２ｂに格納された表示画像データのコントラストをレジスタＲＧＳＴ１に登録されたγ補正曲線を参照して調整する。コントラスト調整が完了すると、上述したステップＳ１２５〜Ｓ１３７およびＳ１４５の処理を実行し、その後に上階層のルーチンに復帰する。

ＣＰＵ２６は、図２８に示すステップＳ１５１〜Ｓ１５９の処理に代えて、図３０に示すステップＳ１７１〜Ｓ１７７の処理を実行するようにしてもよい。

まずステップＳ１７１で、登録枠キャラクタＲＦ１に属する表示画像データのエッジ量を“ＥＤＧ”として検出する。ステップＳ１７３ではエッジ量ＥＤＧが基準値Ｅ０を上回るか否かを判別し、ステップＳ１７５ではエッジ量ＥＤＧが基準値Ｅ１を上回るか否かを判別し、ステップＳ１７７ではエッジ量ＥＤＧが基準値Ｅ２を上回るか否かを判別する。なお、基準値Ｅ０〜Ｅ２の間では、Ｅ０＞Ｅ１＞Ｅ２の関係が成り立つ。

ステップＳ１７３でＹＥＳであればステップＳ１６１に進み、ステップＳ１７５でＹＥＳであればステップＳ１６３に進み、ステップＳ１７７でＹＥＳであればステップＳ１６５に進み、ステップＳ１７７でＮＯであればステップＳ１６７に進む。

また、ＣＰＵ２６は、図２８に示すステップＳ１５１〜Ｓ１６７の処理に代えて、図３１に示すステップＳ１８１〜Ｓ１９３の処理を実行するようにしてもよい。

まずステップＳ１８１で変数Ｎを“０”に設定する。ステップＳ１８３では、表示画像エリア３２ｂに格納された表示画像データのコントラストをγ補正曲線ＣＶ＿Ｎを参照して調整する。ステップＳ１８５では、登録枠キャラクタＲＦ１に属する一部の表示画像データのエッジ量を“ＥＤＧ＿Ｎ”として検出する。

ステップＳ１８７では変数Ｎをインクリメントし、ステップＳ１８９では変数Ｎが“３”を上回るか否かを判別する。判別結果がＮＯであればステップＳ１８３に戻り、判別結果がＹＥＳであればステップＳ１９１に進む。ステップＳ１９１では、エッジ量ＥＤＧ＿０〜ＥＤＧ＿３の中から最大値を特定する。ステップＳ１９３では、ステップＳ１９１で特定された最大値に対応するγ補正曲線をレジスタＲＧＳＴ１に登録する。

ＣＰＵ２６は、図２８に示すステップＳ１５１〜Ｓ１６７の処理に代えて、図３２に示すステップＳ２０１〜Ｓ２０９の処理を実行するようにしてもよい。

ステップＳ２０１では、グラフィックジェネレータ４６を制御して図３３に示す問い合せ画面をＬＣＤモニタ３８に表示する。図３３によれば、問い合せ画面は、“指定画像は黒い？”との問い合せメッセージと“ＹＥＳ”および“ＮＯ”の項目とを有する。ステップＳ２０３では“ＹＥＳ”の項目が操作者によって選択されたか否かを判別し、ステップＳ２０５では“ＮＯ”の項目が操作者によって選択されたか否かを判別する。ステップＳ２０３の判別結果がＹＥＳであればステップＳ２０７に進み、γ補正曲線ＣＶ＿０をレジスタＲＧＳＴ１に登録する。一方、ステップＳ２０５の判別結果がＹＥＳであればステップＳ２０９に進み、γ補正曲線ＣＶ＿３をレジスタＲＧＳＴ１に登録する。

なお、この実施例では、所望の物体像を指定するにあたって、テレ／ワイドボタン２８ｔｗ，十字ボタン２８ｃｓおよび登録ボタン２８ｒｇの操作が要求される。しかし、これらのボタン操作の代わりにモニタ画面に対するタッチ操作を要求するようにしてもよい。また、この実施例では、所望の物体像の指定操作は再生モードにおいて受け付けられるが、所望の物体像の指定操作はカメラモードにおいて受け付けるようにしてもよい。さらに、この実施例では、静止画像を記録するスチルカメラを想定しているが、この発明は動画像を記録するムービーカメラにも適用できる。

１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ
ＧＬＤＣ …一般辞書
ＥＸＤＣ …抽出辞書

Claims (12)

1. 被写界像を取り込む取り込み手段、
   前記取り込み手段によって取り込まれた被写界像の色調を表示装置の特性に対応して調整する第１調整手段、
   前記第１調整手段によって調整された色調を有する被写界像を前記表示装置に向けて出力する被写界像出力手段、
   前記取り込み手段によって取り込まれた被写界像の色調を前記第１調整手段の調整処理と並列して調整する第２調整手段、および
   前記第２調整手段によって調整された色調を有する被写界像から登録物体像に符合する物体像を探索する第１探索手段を備える、画像処理装置。
2. 前記第１探索手段によって発見された物体像を指向するグラフィック画像を前記表示装置に向けて出力するグラフィック画像出力手段をさらに備える、請求項１記載の画像処理装置。
3. 前記被写界像出力手段および前記グラフィック画像出力手段は互いに並列して出力処理を実行する、請求項１または２記載の画像処理装置。
4. 前記取り込み手段によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付け手段、
   前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第２探索手段、および
   前記第２探索手段によって発見された既定物体像を前記登録物体像として定義する定義手段をさらに備える、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記複数の既定物体像は複数の品種にそれぞれ対応する複数の動物の画像を含み、
   前記指定操作は動物の画像を指定する操作に相当する、請求項４記載の画像処理装置。
6. 前記指定操作によって指定された物体像の色調を互いに異なる複数の色調の各々に設定する設定手段、および
   前記第２調整手段の色調調整のために参照されるパラメータを前記設定手段によって設定された色調を有する物体像に注目した前記第２探索手段の探索結果に基づいて決定する第１決定手段をさらに備える、請求項４または５記載の画像処理装置。
7. 前記指定手段によって指定された物体像の属性を検出する属性検出手段、および
   前記第２調整手段の色調調整のために参照されるパラメータを前記属性検出手段によって検出された属性に基づいて決定する第２決定手段をさらに備える、請求項４または５記載の画像処理装置。
8. 前記属性は前記物体像上の複数の位置にそれぞれ対応する複数の明るさを含む、請求項７記載の画像処理装置。
9. 前記属性は前記物体像のエッジ量を含む、請求項７記載の画像処理装置。
10. 前記属性は前記物体像の色を含む、請求項７記載の画像処理装置。
11. 被写界を捉える撮像面を有して被写界像を生成する撮像手段をさらに備え、
    前記取り込み手段は前記撮像手段によって生成された被写界像を取り込む、請求項１ないし１０のいずれかに記載の画像処理装置。
12. 前記第１探索手段によって発見された物体像に注目して撮像条件を調整する撮像条件調整手段をさらに備える、請求項１１記載の画像処理装置。

Images