JP2007124521A - 画像処理装置 - Google Patents

Abstract

【課題】撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行う。
【解決手段】撮影画像から特定の被写体を抽出する被写体抽出手段と、前記撮影画像と前記抽出された特定の被写体とを含む画像を表示面に表示する表示手段と、を備えることを特徴とする画像処理装置。例えば、前記抽出された特定の被写体に対して所定画像処理を施す画像処理手段をさらに備え、前記表示手段は、前記撮影画像と前記所定画像処理が施された特定の被写体とを含む画像を表示面に表示する。また例えば、前記所定画像処理は、前記抽出された被写体の拡大処理である。また例えば、前記被写体抽出手段は、前記撮影画像から特定の被写体として人物の顔を抽出する。
【選択図】 図２

Description

本発明は、画像処理装置に係り、特に撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行うための技術に関する。

従来、デジタルカメラ等の撮影装置においては、その背面等に設けられた液晶ディスプレイの表示面等にいわゆるスルー画像（固体撮像素子から出力される蓄積電荷に対応した電気信号がデジタル化され（画像データ）、この画像データに基づいて表示される、リアルタイム性かつ連続性のある画像、すなわち動画）を表示し、このスルー画像をファインダー代わりに確認しつつ、構図等を決定して、撮影することが行われている。

しかしながら、スルー画像を確認しつつ撮影する場合、構図等の決定に気をとられること等が原因で、画像中の注目すべき領域（例えば画像中に人物が含まれる場合、同人物の顔）を見逃してしまい、結果として、撮影に失敗してしまう（例えば目が閉じているのに撮影してしまう）ことがある。

なお、本発明に関連すると思われるものとして、赤目の色修正やしみ・しわ消し処理やトリミング処理等を効率的に行なう観点より、画像中の主要被写体に相当する主要被写体領域を抽出し、この主要被写体領域を中心に画像を拡大表示するもの（特許文献１）や、逆光シーンやハイコントラストシーンにおいて好ましい画像を得る観点より、画像内の人物の顔に相当する領域を抽出し、この顔領域から得られる情報を撮影者に対して提供するもの（特許文献２）が提案されている。しかしながら、いずれの文献にも、撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行うための具体的構成については言及されていない。
特開２００４−２４６２２０号公報

本発明の課題は、撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行うための技術を提供することにある。

本発明は、上記課題を解決するためになされたものであり、次の構成を採る。

撮影画像から特定の被写体を抽出する被写体抽出手段と、前記撮影画像と前記抽出された特定の被写体とを含む画像を表示面に表示する表示手段と、を備えることを特徴とする画像処理装置。

本発明によれば、撮影画像とこの撮影画像から抽出された特定の被写体（例えば人物の顔）とを含む画像が同一の表示面に表示されることになるから、撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行うことが可能となる。しかも、撮影画像とは別個に特定の被写体を含んだ形態で表示されるから、特定の被写体が注目すべき領域であることが明確となる。したがって、従来のように、画像中の注目すべき領域を見逃すことが少なくなるから、撮影に失敗することを低減することが可能となる。

上記画像処理装置においては、例えば、前記抽出された特定の被写体に対して所定画像処理を施す画像処理手段をさらに備え、前記表示手段は、前記撮影画像と前記所定画像処理が施された特定の被写体とを含む画像を表示面に表示する。例えば、前記所定画像処理は、前記抽出された被写体の拡大処理である。

このようにすれば、特定の被写体をより詳細に確認することができるから、撮影に失敗することをより有効に低減することが可能となる。

なお、本発明の所定画像処理は、画像拡大処理に限定されない。要は、抽出された特定の被写体に対して、抽出元の撮影画像とは異なる画像処理が施されていればよい。したがって、例えば、解像度（例えばより鮮明にする）等を変更することも考えられるし、抽出された特定の被写体を色付き枠で囲う等して、抽出された特定の被写体が注目すべき領域であることをより明確にすることも考えられる。

また、上記画像処理装置においては、例えば、前記被写体抽出手段は、前記撮影画像から特定の被写体として人物の顔を抽出する。

これは、特定の被写体の例示である。したがって、本発明の特定の被写体はこれに限定されない。例えば、動物の顔であってもいいし、建造物であってもよい、車、バイク等であってもよい。

また、上記画像処理装置においては、例えば、前記撮影画像は、記録メディアから読み出された画像データである。前記撮影画像は、固体撮像素子から出力される電気信号をデジタルデータ化した画像データであってもよい。これは、撮影画像の例示である。したがって、本発明の撮影画像はこれらに限定されない。

なお、記録メディアから読み出された画像データを撮影画像として処理するようにすれば、例えば、同一場所同一被写体を撮影した複数の撮影画像の中から、特定の被写体の状態に着目して最適なもの（最適と思われるもの）を迅速に選別することが可能となる。

また、上記画像処理装置においては、例えば、前記撮影画像と前記抽出された特定の被写体の少なくとも一方に対してサイズ調整を行うサイズ調整手段をさらに備え、前記サイズ調整手段は、前記抽出された特定の被写体が前記撮影画像よりも小サイズとなるように調整し、または、前記抽出された特定の被写体が前記撮影画像よりも大サイズとなるように調整し、前記表示手段は、前記抽出され小サイズに調整された特定の被写体を前記撮影画像に重ねて表示し、または、前記抽出され大サイズに調整された特定の被写体に前記撮影画像を重ねて表示する。

これは、撮影画像と抽出された特定の被写体とを含む画像の表示態様（重ね合わせ表示）の一例である。

また、上記画像処理装置においては、例えば、前記撮影画像と前記抽出された特定の被写体の少なくとも一方に対してサイズ調整を行うサイズ調整手段をさらに備え、前記サイズ調整手段は、前記抽出された特定の被写体が前記撮影画像よりも小サイズとなるように調整し、または、前記抽出された特定の撮影画像が前記撮影画像よりも大サイズとなるように調整し、前記表示手段は、前記抽出され小サイズに調整された特定の被写体と前記撮影画像とを隣接させて表示し、または、前記抽出され大サイズに調整された特定の被写体と前記撮影画像とを隣接させて表示する。

これも、撮影画像と抽出された特定の被写体とを含む画像の表示態様（隣接表示）の一例である。

また、上記画像処理装置においては、前記表示手段は、前記抽出された特定の被写体を、前記撮影画像中の該特定の被写体に重ならない位置に表示する。

このようにすれば、撮影画像における特定の被写体の位置と特定の被写体とを、常に確認することが可能になる。

本発明は、デジタルカメラとして次のように特定することができる。

固体撮像素子と、前記固体撮像素子から出力される電気信号をデジタルデータ化する変換手段と、前記デジタルデータ化された画像データから特定の被写体に対応する画像データを抽出する抽出手段と、前記デジタルデータ化された画像データに基づく画像と前記抽出された特定の被写体に対応する画像データとに基づく被写体画像とを含む画面を表示面に表示する表示手段と、を備えることを特徴とするデジタルカメラ。

このようにすれば、撮影画像とこの撮影画像から抽出された特定の被写体（例えば人物の顔）とを含む画像が同一の表示面に表示されることになるから、撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行うことが可能となる。しかも、撮影画像とは別個に特定の被写体を含んだ形態で表示されるから、特定の被写体が注目すべき領域であることが明確となる。したがって、従来のように、画像中の注目すべき領域を見逃すことが少なくなるから、撮影に失敗することを低減することが可能となる。

また、本発明は、デジタルカメラとして次のように特定することもできる。

画像データ記憶手段と、前記画像データ記憶手段に格納された画像データから特定の被写体に対応する画像データを抽出する抽出手段と、前記画像データ記憶手段に格納された画像データに基づく画像と前記抽出された特定の被写体に対応する画像データとに基づく被写体画像とを含む画面を表示面に表示する表示手段と、を備えることを特徴とするデジタルカメラ。

このようにすれば、例えば、画像データ記憶手段に格納された同一場所同一被写体を撮影した複数の撮影画像の中から、特定の被写体の状態に着目して最適なもの（最適と思われるもの）を迅速に選別することが可能となる。

本発明によれば、撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる特定の被写体の確認（例えば被写体が人物である場合、目を閉じているかどうかの確認）とを容易に行うことが可能となる。

以下、本発明の一実施形態であるデジタルカメラの構成（第１実施形態）について図面を参照しながら説明する。

図１は、本発明の一実施形態であるデジタルカメラのハード構成を説明するためのブロック図である。

デジタルカメラ１０は、静止画や動画の記録及び再生機能を備えており、その全体の動作は中央処理装置（ＣＰＵ）１１によって統括制御される。ＣＰＵ１１は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

バス１２を介してＣＰＵ１１と接続されたＲＯＭ等（図示せず）には、ＣＰＵ１１が実行するプログラム及び制御に必要な各種データ等や、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、プログラムの展開領域及びＣＰＵ１１の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用されるメモリ２５、２６も備えている。ＶＲＡＭ１３は画像データ専用の一時記憶メモリである。

カメラ１０にはモード選択スイッチ、撮影ボタン、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作キー１４が設けられている。各操作キー１４からの信号はＣＰＵ１１に入力され、ＣＰＵ１１は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶ディスプレイ等の表示パネル１５の表示制御などを行う。

モード選択スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチの操作により、撮影モードあるいは記録済みの画像を再生する再生モードが選択される。

撮影ボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。

メニュー／ＯＫキーは、表示パネル１５の表示面にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

表示パネル１５は、カラー表示可能な液晶ディスプレイで構成されている。表示パネル１５は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示パネル１５は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。

デジタルカメラ１０は、メディアソケット１６を有し、メディアソケット１６には記録メディアを装着することができる。記録メディアの形態は特に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。

メディアコントローラ１７は、メディアソケット１６に装着される記録メディアに適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、カメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部を備えていることもある。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth その他の通信方式を適用してもよい。

次に、デジタルカメラ１０の撮影機能について説明する。

モード選択スイッチによって撮影モードが選択されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）１８を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニットは、フォーカスレンズを含む撮影レンズと絞り兼用メカシャッターとを含む光学ユニットである。レンズユニットは、ＣＰＵ１１によって制御されるモータドライバ１９、ズームアイリスフォーカス機能２０等によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。

レンズユニットを通過した光は、ＣＣＤ１８の受光面に結像される。ＣＣＤ１８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ１８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１１は、タイミングジェネレータ２１を介してＣＣＤ１８での電荷蓄積時間を制御する。なお、ＣＣＤ１８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。

ＣＣＤ１８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１の指令に従いタイミングジェネレータ２１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ１８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）２２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器２３に加えられる。Ａ／Ｄ変換器２３によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ２４を介してメモリ２５、２６等に記憶される。

画像信号処理回路２７は、メモリ２５、２６等に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１１の指令に従って処理する。即ち、画像信号処理回路２７は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１１からのコマンドに従ってメモリ２５、２６等を活用しながら所定の信号処理を行う。

画像信号処理回路２７に入力されたＲＧＢの画像データは、画像信号処理回路２７において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路２７で処理された画像データはＶＲＡＭ１３に格納される。

撮影画像を表示パネル１５の表示面に表示する場合、ＶＲＡＭ１３から画像データが読み出され、バス１２を介してビデオエンコーダ２８に送られる。ビデオエンコーダ２８は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示パネル１５に出力する。

ＣＣＤ１８から出力される画像信号によって、１コマ分の画像を表す画像データがＶＲＡＭ１３の二つの領域間で交互に書き換えられる。ＶＲＡＭ１３の各領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ１３内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示パネル１５に供給されることにより、撮像中の映像がリアルタイムに表示パネル１５に表示される。撮影者は、表示パネル１５に表示される映像（スルー画像）によって撮影画角等を確認できる。

撮影ボタンが半押しされ、Ｓ１がオンすると、カメラ１０はＡＥ及びＡＦ処理を開始する。すなわち、ＣＣＤ１８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ２４を介してＡＦ検出回路２９並びにＡＥ検出回路３０に入力される。

ＡＥ検出回路３０は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１１に提供する。ＣＰＵ１１は、ＡＥ検出回路３０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１１はＣＣＤ１８の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、ＡＥ検出回路３０は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１１に提供する。ＣＰＵ１１は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。前述した各比の値を１以外の値になるようにホワイトバランス調整回路のゲイン値を調整すると、ある色味が残った画像を生成することができる。

デジタルカメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズを構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路２９は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路２９で求めた積算値のデータはＣＰＵ１１に通知される。ＣＰＵ１１は、モータドライバ１９やズームアイリスフォーカス２０等を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにモータドライバ１９やズームアイリスフォーカス２０等を制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

撮影ボタンが半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタンが全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路２７において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ２５、２６等に格納される。

メモリ２５、２６等に格納されたＹ／Ｃ信号は、圧縮処理回路３１によって所定のフォーマットに従って圧縮された後、メディアコントローラ１７を介して記録メディアに記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。

モード選択スイッチにより再生モードが選択されると、記録メディアに記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮処理回路３１を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路２７及びビデオエンコーダ２８を介して表示用の信号に変換された後、表示パネル１５に出力される。これにより、当該ファイルの画像内容が表示パネル１５の画面上に表示される。

静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディアから読み出され、上記と同様にして静止画像や動画が表示パネル１５の表示面に再生表示される。

次に、上記構成のデジタルカメラ１０における特定の被写体を抽出して表示する処理（第１実施形態）についてフローチャートを参照しながら説明する。

図２は、上記構成のデジタルカメラ１０における特定の被写体を抽出して表示する処理（第１実施形態）について説明するためのフローチャートである。

以下の処理は、ＣＰＵ１１等の制御部が、ＲＯＭ等からメモリ２５、２６等に読み込まれた所定プログラムを実行することによって実現される。あるいは、図１に示す、主要被写体検出回路３２が行うようにしてもよい。

デジタルカメラ１０においては、その主電源スイッチがオンされるとともに、モード選択スイッチによって撮影モードが選択されると、表示パネル１５の表示面にいわゆるスルー画像が表示される。スルー画像とは、固体撮像素子１８から出力される蓄積電荷に対応した電気信号がデジタル化され（撮影画像データ）、この撮影画像データに基づいて表示される、リアルタイム性かつ連続性のある画像、すなわち動画のことである。

スイッチＳ１がオンされると（ステップＳ１：ＹＥＳ）、ＡＥ制御、ＡＦ制御を行った後（ステップＳ２）、主要被写体の抽出処理として人物の顔（本発明の特定の被写体に相当）の抽出処理が行われる（ステップＳ３）。

この顔抽出処理は、撮影画像（撮影画像データ）から人物の顔（顔画像データ）を抽出する処理である。顔抽出処理としては各種のものが考えられる。例えば、顔認識用の色データを予め保持しておき、撮影画像の全領域の色データと前記顔認識用の色データとを比較し、一致する部分を人物の顔として認識し、この人物の顔を含む領域を切り出すもの（特開平10-334213参照）を適用することが考えられる。その他、各種の顔抽出処理を適用することが可能である。

抽出された人物の顔（以下顔画像ともいう）に対しては、抽出元の撮影画像に対するのとは異なる画像処理（例えば拡大する処理）が施される。

次に、被写体と主要被写体の表示処理が実行される（ステップＳ４）。この処理により、撮影画像と抽出された顔画像とを含む画像が表示面に表示される。この表示形態としては様々なものが考えられる。

例えば、図３、図４に示すように、小画像表示領域１５ａを大画像表示領域１５ｂに重ねて（図３、図４は、大画像表示領域１５ｂの右上に重ねた例を示す）表示することが考えられる。具体的には、撮影画像と抽出された各人物Ａ、Ｂの顔画像Ａ、Ｂの少なくとも一方に対してサイズ調整する（本発明のサイズ調整手段に相当）。

図３は、抽出された顔画像（例えば顔画像Ａ）が撮影画像（表示面に表示される撮影画像）よりも小サイズになるように調整して、撮影画像を大画像表示領域１５ｂに表示するとともに、顔画像（例えばＡの顔画像）を小画像表示領域１５ａに表示（重ね合わせ表示）した例である。図４は、抽出された各顔画像Ａ、Ｂが撮影画像（表示面に表示される撮影画像）よりも小サイズになるように調整して、撮影画像を大画像表示領域１５ｂに表示するとともに、各顔画像Ａ、Ｂ全てを各小画像表示領域１５ａにそれぞれ表示（重ね合わせ表示）した例である。

あるいは逆に、図５、図６に示すように、撮影画像を小画像表示領域１５ａに、抽出された各人物Ａ、Ｂの顔画像のうち一方の顔画像（例えば顔画像Ａ）を大画像表示領域１５ｂに、それぞれ表示することも考えられる。

図５は、抽出された顔画像（例えば顔画像Ａ）が撮影画像よりも大サイズになるように、かつ、撮影画像がこれよりも小サイズになるように調整して、顔画像（例えば顔画像Ａ）を大画像表示領域１５ｂに表示するとともに、撮影画像を小画像表示領域１５ａに表示（重ね合わせ表示）した例である。図６は、抽出された一方の顔画像（例えば顔画像Ａ）が撮影画像よりも大サイズになるように、かつ、抽出された他方の顔画像（例えば顔画像Ｂ）と撮影画像がこれよりも小サイズになるように調整して、一方の顔画像（例えば顔画像Ａ）を大画像表示領域１５ｂに表示するとともに、他方の画像（例えば顔画像Ｂ）と撮影画像を各小画像表示領域１５ａにそれぞれ表示（重ね合わせ表示）した例である。

あるいは、図７から図１１に示すように、小画像表示領域１５ａを大画像表示領域１５ｂに重ねることなく、各領域１５ａ、１５ｂを隣接させて表示することも考えられる。

また、図７から図１１に示すように、各領域１５ａ、１５ｂに表示される画像に対する撮影情報（シャッター速度、絞り、撮影日時、ヒストグラム等）１５ｃを、大画像表示領域１５ｂまたは小画像表示領域１５ａに隣接させて表示することも考えられる。図７、図９は、大画像表示領域１５ｂ直下に撮影情報１５ｃを表示した例を示している。図８、図１０は、小画像表示領域直下１５ａにも撮影情報１５ｃを表示した例を示している。

なお、大画像表示領域１５ｂに対する撮影情報１５ｃと、小画像領域表示領域１５ａに対する撮影情報１５ｃとは異なるものとするのが望ましい。例えば、大画像表示領域１５ｂの撮影画像に対する撮影情報１５ｃとしてシャッター速度、絞り、撮影日時等を表示し、小画像領域１５ａの顔画像に対する撮影情報１５ｃとして同顔画像に対するヒストグラムを表示することが考えられる。

なお、上記大サイズは大画像表示領域１５ｂに対応した座標値等として、上記小サイズは小画像表示領域１５ａに対応した座標値等として、予めデジタルカメラ１０のメモリ等に登録しておくことが望ましい。

なお、表示パネル１５の画面サイズによっては、図１１、図１２に示すように、横長に表示することも考えられる。図１１、図１２は、１６：９の画面サイズの表示例を示している。

なお、上記いずれの形態で表示するかについては、予め登録しておくことも考えられるし、所定スイッチを操作することにより、選択することも考えられる。所定スイッチを操作することにより選択する場合については、第２実施形態で改めて説明する。

次に、スイッチＳ２がオンされると（ステップＳ５：ＹＥＳ）、撮影が行われる（ステップ６）。すなわち、撮影画像（画像データ）が所定形式で記録メディアに記録される。一方、スイッチＳ２がオンされないと（ステップＳ５：ＮＯ）、上記ステップＳ１に戻り、スイッチＳ１がオンされていれば（ステップＳ１：ＹＥＳ）、再度上記各処理が繰り返される。

以上説明したように、本実施形態のデジタルカメラ１０によれば、図３等に示すように、撮影画像とこの撮影画像から抽出された人物の顔（顔画像）とを含む画像が表示パネル１５の表示面に表示されることになるから、撮影画像の確認（例えば構図の確認）とこの撮影画像に含まれる人物の顔の確認（例えば目を閉じているかどうかの確認）とを同一画面で容易に行うことが可能となる。しかも、撮影画像とは別個に人物の顔を含んだ形態で表示されるから、人物の顔が注目すべき領域であることが明確となる。したがって、従来のように、注目すべき領域である人物の顔の状態を見逃すことが少なくなるから、撮影に失敗することを低減することが可能となる。

さらに、抽出された顔画像に対しては、抽出元の撮影画像に対するのとは異なる画像処理（例えば拡大する処理）が施されるから、注目すべき対象である人物の顔をより詳細に確認することができる。したがって、撮影に失敗することをより有効に低減することが可能となる。

なお、抽出された顔画像は、撮影画像中の該顔画像に重ならない位置に表示するのが望ましい。このようにすれば、撮影画像における人物の位置とその人物の顔とを、常に同一画面で確認することが可能になる。具体的には、顔画像を抽出する範囲は座標として把握されているので、この範囲と重ならない領域を判定して、この領域に抽出した顔画像を表示することが考えられる。

次に、上記構成のデジタルカメラにおける特定の被写体を抽出して表示する他の処理（第２実施形態）についてフローチャートを参照しながら説明する。

図１３は、上記構成のデジタルカメラ１０における特定の被写体を抽出して表示する処理（第２実施形態）について説明するためのフローチャートである。

以下の処理は、ＣＰＵ１１等の制御部が、ＲＯＭ等からメモリ２５、２６等に読み込まれた所定プログラムを実行することによって実現される。あるいは、図１に示す、主要被写体検出回路３２が行うようにしてもよい。

デジタルカメラ１０においては、その主電源スイッチがオンされるとともに、モード選択スイッチによって撮影モードが選択されると、表示パネル１５の表示面にいわゆるスルー画像が表示される。

スイッチＳ１がオンされると（ステップＳ１０：ＹＥＳ）、ＡＥ制御、ＡＦ制御を行った後（ステップＳ１１）、主要被写体の抽出処理として人物の顔の抽出処理が行われる（ステップＳ１２）。

この抽出処理は、上記実施形態のステップＳ３で説明したものと同じであるのでその説明を省略する。

抽出された人物の顔画像に対しては、抽出元の撮影画像に対するのとは異なる画像処理（例えば拡大する処理）が施される。

次に、主要被写体表示指示があるか否かが判断される（ステップＳ１３）。これは、ユーザーからの指示（主要被写体表示指示）があった場合にだけ、以下の処理を行うために設けたステップである。例えば、所定操作スイッチがオンされた場合に、主要被写体表示指示があったと判定することが考えられる。

主要被写体表示指示があったと判断されると（ステップＳ１３：ＹＥＳ）、被写体と主要被写体の表示処理が実行される（ステップＳ１４）。この処理により、撮影画像と抽出された顔画像とを含む画像が表示面に表示される。この表示形態については、上記実施形態で説明したものと同じであるのでその説明を省略する。なお、主要被写体表示指示がないと判断されると（ステップＳ１３：ＮＯ）、被写体表示処理（ステップＳ１５）、すなわち、スルー画像の表示が継続して行われる。

次に、表示変更指示があるか否かが判定される（ステップＳ１６）。これは、ユーザーからの指示（表示変更指示）があった場合にだけ、表示変更処理を行うために設けたステップである。例えば、所定操作スイッチがオンされた場合に、表示変更指示があったと判定することが考えられる。

表示変更指示があったと判定されると（ステップＳ１６：ＹＥＳ）、表示変更処理が実行される（ステップＳ１７）。

この表示変更処理としては様々なものが考えられる。例えば、図３に示すように、抽出された各人物の顔画像のうち一方の顔画像を小画像表示領域１５ａに、撮影画像を大画像表示領域１５ｂに、それぞれ表示している場合には、表示変更指示があるごとに、各領域１５ａ、１５ｂに表示する画像を変更することが考えられる。例えば、図３の場合、撮影画像、抽出された各人物の顔画像Ａ、Ｂ（二枚）の合計三枚の画像があるから、表示変更指示があるごとに、撮影画像（大画像表示領域１５ｂに表示）と顔画像Ａ（小画像表示領域１５ａに表示）、撮影画像（大画像表示領域１５ｂに表示）と顔画像Ｂ（小画像表示領域１５ａに表示）、顔画像Ａ（大画像表示領域１５ｂに表示）と撮影画像（小画像表示領域１５ａに表示）、顔画像Ｂ（大画像表示領域１５ｂに表示）と撮影画像（小画像表示領域に表示ａ）のように、順次変更して表示することが考えられる。

あるいは、図４に示すように、抽出された各人物の顔画像Ａ、Ｂ全てを各小画像表示領域１５ａに、撮影画像を大画像表示領域１５ｂに、それぞれ表示している場合にも、表示変更指示があるごとに、各領域１５ａ、１５ｂに表示する画像を変更することが考えられる。例えば、図４の場合、撮影画像、抽出された各人物の顔画像Ａ、Ｂ（二枚）の合計三枚の画像があるから、表示変更指示があるごとに、撮影画像（大画像領域１５ｂに表示）と顔画像Ｂ（小画像領域１５ａ上に表示）と顔画像Ａ（小画像領域１５ａ下に表示）、顔画像Ａ（大画像領域１５ｂに表示）と撮影画像（小画像領域１５ａ上に表示）と顔画像Ｂ（小画像領域１５ａ下に表示）、顔画像Ｂ（大画像領域１５ｂに表示）と顔画像Ａ（小画像領域１５ａ上に表示）と撮影画像（小画像領域１５ａに表示）のように、順次変更して変更することが考えられる。

あるいは、図４に示すように、撮影情報１５ｃが表示されていない場合に、表示変更指示があると、図８に示すように、撮影情報１５ｃを表示することも考えられる。あるいは逆に、図８に示すように、撮影情報１５ｃが表示されている場合に、表示変更指示があると、図４に示すように、撮影情報１５ｃを表示しないようにすることも考えられる。

あるいは、ステップＳ１３で指示された主要被写体表示指示を解除することも可能である。解除の指示があった場合は、ステップＳ１０の状態に戻る。

次に、スイッチＳ２がオンされると（ステップＳ１８：ＹＥＳ）、撮影が行われる（ステップＳ１９）。すなわち、撮影画像（画像データ）が所定形式で記録メディアに記録される。一方、スイッチＳ２がオンされないと（ステップＳ１８：ＮＯ）、上記ステップＳ１０に戻り、スイッチＳ１がオンされていれば（ステップＳ１０：ＹＥＳ）、再度上記各処理が繰り返される。

以上説明したように、本実施形態のデジタルカメラ１０によれば、上記実施形態で説明した効果に加えて、さらに、ユーザーが望むときに、望む画像を、各領域１５ａ、１５ｂに表示させることが可能となる。

（変形例）
上記各実施形態においては、撮影画像がいわゆるスルー画像として表示される場合について説明したが、本発明はこれに限定されない。例えば、記録メディアから読み出された画像データを撮影画像として処理することも考えられる。このようにすれば、例えば、記録メディアに同一場所同一被写体を撮影した複数の撮影画像等が格納されている場合、各画像の中から、特定の被写体の状態に着目して最適なもの（最適と思われるもの）を迅速に選別することが可能となる。

また、上記各実施形態においては、抽出された顔画像を色付き枠で囲う等して、抽出された顔画像が注目すべき領域であることをより明確にすることも考えられる。

上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。

本発明の一実施形態であるデジタルカメラのハード構成を説明するためのブロック図である。 特定の被写体を抽出して表示する処理（第１実施形態）について説明するためのフローチャートである。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 撮影画像と抽出された顔画像とを含む画像の表示例である。 特定の被写体を抽出して表示する処理（第２実施形態）について説明するためのフローチャートである。

符号の説明

１０…デジタルカメラ、１１…ＣＰＵ、１４…操作手段、１６…記録メディア、１８…カラーＣＣＤ固体撮像素子（ＣＣＤ）、２５、２６…メモリ、２７…画像信号処理回路、３２…主要被写体検出回路

Claims (12)

1. 撮影画像から特定の被写体を抽出する被写体抽出手段と、
   前記撮影画像と前記抽出された特定の被写体とを含む画像を表示面に表示する表示手段と、
   を備えることを特徴とする画像処理装置。
2. 前記抽出された特定の被写体に対して所定画像処理を施す画像処理手段をさらに備え、
   前記表示手段は、前記撮影画像と前記所定画像処理が施された特定の被写体とを含む画像を表示面に表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定画像処理は、前記抽出された被写体の拡大処理であることを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体抽出手段は、前記撮影画像から特定の被写体として人物の顔を抽出することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記撮影画像は、記録メディアから読み出された画像データであることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記撮影画像は、固体撮像素子から出力される電気信号をデジタルデータ化した画像データであることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
7. 前記撮影画像と前記抽出された特定の被写体の少なくとも一方に対してサイズ調整を行うサイズ調整手段をさらに備え、
   前記サイズ調整手段は、前記抽出された特定の被写体が前記撮影画像よりも小サイズとなるように調整し、または、前記抽出された特定の被写体が前記撮影画像よりも大サイズとなるように調整し、
   前記表示手段は、前記抽出され小サイズに調整された特定の被写体を前記撮影画像に重ねて表示し、または、前記抽出され大サイズに調整された特定の被写体に前記撮影画像を重ねて表示することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記撮影画像と前記抽出された特定の被写体の少なくとも一方に対してサイズ調整を行うサイズ調整手段をさらに備え、
   前記サイズ調整手段は、前記抽出された特定の被写体が前記撮影画像よりも小サイズとなるように調整し、または、前記抽出された特定の撮影画像が前記撮影画像よりも大サイズとなるように調整し、
   前記表示手段は、前記抽出され小サイズに調整された特定の被写体と前記撮影画像とを隣接させて表示し、または、前記抽出され大サイズに調整された特定の被写体と前記撮影画像とを隣接させて表示することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
9. 前記小画面表示領域と前記大画像表示領域とは隣接していることを特徴とする請求項７に記載の画像処理装置。
10. 前記表示手段は、前記抽出された特定の被写体を、前記撮影画像中の該特定の被写体に重ならない位置に表示することを特徴とする請求項１に記載の画像処理装置。
11. 固体撮像素子と、
    前記固体撮像素子から出力される電気信号をデジタルデータ化する変換手段と、
    前記デジタルデータ化された画像データから特定の被写体に対応する画像データを抽出する抽出手段と、
    前記デジタルデータ化された画像データに基づく画像と前記抽出された特定の被写体に対応する画像データとに基づく被写体画像とを含む画面を表示面に表示する表示手段と、
    を備えることを特徴とするデジタルカメラ。
12. 画像データ記憶手段と、
    前記画像データ記憶手段に格納された画像データから特定の被写体に対応する画像データを抽出する抽出手段と、
    前記画像データ記憶手段に格納された画像データに基づく画像と前記抽出された特定の被写体に対応する画像データとに基づく被写体画像とを含む画面を表示面に表示する表示手段と、
    を備えることを特徴とするデジタルカメラ。

Images