JP2010114568A - 撮像装置、撮像装置の表示制御方法 - Google Patents

撮像装置、撮像装置の表示制御方法 Download PDF

Info

Publication number
JP2010114568A
JP2010114568A JP2008284292A JP2008284292A JP2010114568A JP 2010114568 A JP2010114568 A JP 2010114568A JP 2008284292 A JP2008284292 A JP 2008284292A JP 2008284292 A JP2008284292 A JP 2008284292A JP 2010114568 A JP2010114568 A JP 2010114568A
Authority
JP
Japan
Prior art keywords
display panel
unit
display
person
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008284292A
Other languages
English (en)
Other versions
JP4748204B2 (ja
Inventor
Saneho Akita
実穂 秋田
Kazuyuki Marukawa
和幸 丸川
Susumu Tanaka
奨 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008284292A priority Critical patent/JP4748204B2/ja
Priority to KR1020090098109A priority patent/KR20100050392A/ko
Priority to US12/589,400 priority patent/US8400547B2/en
Priority to CN2009102118558A priority patent/CN101742101B/zh
Publication of JP2010114568A publication Critical patent/JP2010114568A/ja
Application granted granted Critical
Publication of JP4748204B2 publication Critical patent/JP4748204B2/ja
Priority to US13/753,043 priority patent/US8582012B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

【課題】前面と背面などに2つの表示パネル部を設けるようにした場合に、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示を実現する。
【解決手段】第2表示パネル部(前面表示パネル)については、被写体方向に人物が存在するか否かに応じて必要な表示動作が行われる。例えばモニタリング期間には、撮像装置の使用者は、第1表示パネル部(主表示パネル)で、被写体画像のモニタリングを行うが、被写体側に人物が存在する場合は、第2表示パネル部でもモニタリング表示を行う。これにより被写体人物が、撮されようとしている自分の表情やポーズなどを確認できる。また風景撮像時など第2表示パネル部の表示を見る人物が存在しないときは、第2表示パネル部をオフにして省電を図る。
【選択図】図6

Description

本発明は撮像装置と、その表示制御方法に関し、特に筐体上に複数の表示パネル部を設けた撮像装置の表示動作に関するものである。
特開2007−158799号公報
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及しており、多くの撮像装置では、例えば液晶パネルなどによる表示パネル部が形成されている。
例えば上記特許文献1に示されているようにカメラ筐体上に比較的大きな面積で表示パネルが設けられ、撮像時には被写体画像のモニタリングが行われたり、撮像した画像の再生時には、再生表示が行われるようになされている。
ここで本出願人は、撮像装置において筐体上に2つの表示パネル部を設けることを新規に考える。
即ち従来と同様、撮像装置筐体上で使用者(撮像者)方向に向かって表示を行うようにされた表示パネル部を設ける他、装置筐体上の前面側(被写体側となる面)などに、被写体方向に向かって表示を行うようにされた表示パネル部を設ける。
このように2つの表示パネル部を設けるようにした場合には、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示、即ち、見る人にとって有用な表示動作や無駄な消費電力を回避するような表示動作を実現することが求められる。
そこで本発明では、2つの表示パネル部を有する撮像装置において適切な表示を実現することを目的とする。
本発明の撮像装置は、装置筐体上で使用者方向に向かって表示を行う第1表示パネル部と、装置筐体上で被写体方向に向かって表示を行う第2表示パネル部と、上記被写体方向からの入射光を光電変換して撮像画像信号を得る撮像処理部と、上記被写体方向に人物が存在するか否かを検出する人物検出部と、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第1表示パネル部で実行させると共に、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を少なくとも上記人物検出部の検出結果に応じて制御する制御部とを備える。
また本発明の撮像装置は、レンズ系を介して入射された入射光を光電変換し、撮像画像信号を得る撮像処理部と、装置筐体上で上記入射光が入射される面に配置された第1表示パネル部と、上記第1の表示パネル部と対向する面に配置された第2表示パネル部と、被写体方向に人物が存在するか否かを検出する人物検出部と、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第1表示パネル部で実行させると共に、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する制御部とを備える。
上記制御部は、上記人物検出部により人物の存在が検出された場合に、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第2表示パネル部で実行させる制御を行う。
また上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第2表示パネル部の表示をオフとする制御を行う。
或いは、上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第2表示パネル部において、上記撮像処理部で得られた撮像画像信号に基づく表示を通常動作と比較して低輝度状態で実行させる制御を行う。
或いは、記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第2表示パネル部に、上記画像データ読出部によって読み出した画像データに基づく表示を実行させる制御を行う。
また上記制御部は、上記人物検出部の検出結果と、撮像装置の動作に関する使用者の操作に応じた設定状態とに基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記制御部は、上記人物検出部の検出結果と、撮像装置の内部検出情報とに基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記制御部は、上記人物検出部の検出結果と、上記撮像処理部で得られた撮像画像信号の画像解析情報とに基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、上記被写体方向に人物が存在するか否かを検出する。
またこの場合、上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、撮像画像信号内に被写体としての人物の顔が含まれているか否かにより人物検出を行う。
或いは上記人物検出部は、上記被写体方向の人物の存在を検出する近接センサにより構成される。
また、記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、上記制御部は、上記画像データ読出部で読み出された画像データに基づく表示を上記第1表示パネル部で実行させると共に、上記第2表示パネル部での上記画像データ読出部で読み出された画像データに基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する。
また上記制御部は、上記第1表示パネル部で、上記画像データ読出部で読み出された複数の画像データの表示を実行させる際には、上記第2表示パネル部では、上記第1表示パネル部で表示された複数の画像データのうちで選択された画像データによる表示を実行させる。
本発明の撮像装置の表示制御方法は、被写体方向に人物が存在するか否かを検出する人物検出ステップと、上記被写体方向からの入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で使用者方向に向かって表示を行うようにされた第1表示パネル部において表示させるとともに、装置筐体上で被写体方向に向かって表示を行うようにされた第2表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップとを有する。
また本発明の撮像装置の表示制御方法は、被写体方向に人物が存在するか否かを検出する人物検出ステップと、レンズ系を介して入射された入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で上記入射光が入射される面に配置された第1表示パネル部において表示させるとともに、上記第1の表示パネル部と対向する面に配置された第2表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップとを有する。
即ち本発明では、第2表示パネル部については、被写体方向に人物が存在するか否かに応じて必要な表示動作が行われる。
例えば静止画撮像の際のモニタリング期間(静止画撮像のためのシャッタタイミングを狙っているとき)には、撮像装置の使用者(つまり撮像装置により静止画撮像を行おうとしている撮像者)は、第1表示パネル部で、被写体画像のモニタリングを行う。このモニタリング画像は、その期間に撮像素子部で得られる撮像画像信号であり、スルー画とも呼ばれる、被写体光景のリアルタイムの動画像である。撮像者は、これによって撮像される被写体画像を確認し、所望のタイミングでレリーズ操作(シャッタ操作)を行う。これは通常の撮像装置と同様である。
このモニタリング期間には、第2表示パネル部でも撮像画像信号に基づく表示、即ちスルー画としてのモニタリング画像を表示すると好適である。例えば被写体が人物である場合、その人物が、第2表示パネル部の表示を見て、撮されようとしている自分の表情やポーズなどを確認できるからである。
ところが、これはあくまで、被写体側に人物が居るときのみ有用となる。例えば撮像者が人のいない風景を撮像しようとしているときには、第2表示パネル部の表示を見る人物は存在しないと考えられる。従って、そのようなときに第2表示パネル部にモニタリング画像を表示しても意味がないことになる。そこで第2表示パネル部をオフにして省電を図ることが適切である。
例えばこのように、状況に応じて第2表示パネル部の表示動作を適切に制御することで、2つの表示パネル部による有用な表示や娯楽性の高い表示、或いは2つの表示パネル部を装備してもむやみに消費電力が高くならないようにすること等を実現できる。
本発明によれば、撮像装置において、使用者側と被写体側でそれぞれ視認できる2つの表示パネル部を設けるようにするとともに、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示を行うことができる。特に被写体側の人物の存在の有無に応じて第2表示パネル部の表示動作を制御することで、有用な表示、娯楽性の高い表示、さらには無駄な表示の回避などを実現でき、新規で有用な撮像装置を提供できる。
以下、本発明の実施の形態について、次の順序で説明していく。
[1.撮像装置の構成]
[2.動作遷移]
[3.両表示パネル部の画面表示例]
[4.モニタリング時の前面表示パネル部の表示制御]
<4−1:人物認識に基づく処理例>
<4−2:人物認識とユーザ設定に基づく処理例>
<4−3:人物認識と内部検出情報に基づく処理例>
<4−4:人物認識と他の画像解析情報に基づく処理例>
[5.再生時の前面表示パネル部の表示制御]
[6.変形例]
[1.撮像装置の構成]
本発明の実施の形態として、例えばデジタルスチルカメラとしての撮像装置の構成を図1,図2で説明する。
図1(a)(b)は、本例の撮像装置1を背面側(使用者側)及び前面側(被写体側)から見た外観例を示している。
撮像装置1には、前面側に撮像レンズ部20、フラッシュ発光部15などが設けられる。
また、筐体上面や背面側などの各所にユーザ操作のための操作子が形成される。例えばレリーズ操作キー5a、ダイヤル操作部5b、ワイド/テレ操作キー5c、各種操作キー5d、十字キー5eなどが設けられる。
ダイヤル操作部5bは、例えば撮像モードの選択などに用いられる。操作キー5dとして、メニュー指示、再生指示、露出補正指示などの操作が可能とされる。
十字キー5eは、例えば表示パネル6に表示される操作メニュー項目の選択/決定を始めとして各種操作に用いられる。
そして撮像装置1には、背面側には図1(a)のように、液晶パネルや有機EL(Electroluminescence)パネルなどによる主表示パネル6Mが設けられるとともに、前面側には図1(b)のように、同じく液晶パネルや有機ELパネルなどによる前面表示パネル6Fが設けられている。つまり主表示パネル6Mと前面表示パネル6Fは筐体上で互いに対向する面(反対側の面)に設けられている。
この主表示パネル6Mと前面表示パネル6Fは、例えば同等の画面サイズとされ、それぞれ筐体背面及び筐体前面において比較的広い面積を占めるようにして設けられている。
主表示パネル6Mでは、基本的には、モニタリング期間(撮像モードでシャッタタイミングを狙っているとき)には、使用者が被写体のモニタリング画像(スルー画)の表示が行われ、撮像対象となっている被写体光景を使用者が確認できるようにしている。また再生モードでは、使用者の操作に従って、再生画像やサムネイル画像の表示が行われる。
一方、前面表示パネル6Fは、被写体側に向けて表示を行うことになる。後述するが、この前面表示パネル6Fでも、モニタリング画像等の表示を行い、被写体側となっている人物が表示内容を見ることができるようにされている。
このような撮像装置1の構成例を図2で説明する。
図2に示すように撮像装置1は、撮像系2、制御系3、カメラDSP(Digital Signal Processor)4、操作部5、主表示パネル6M、前面表示パネル6F、表示コントローラ7、外部インターフェース8、SDRAM(Synchronous Dynamic Random Access Memory)9、媒体インターフェース10を備える。
撮像系2は、撮像動作を実行する部位とされ、レンズ機構部21,絞り/NDフィルタ機構22、撮像素子部23、アナログ信号処理部24、A/D変換部25、レンズ駆動部26、レンズ位置検出部27、タイミング生成回路28、ブレ検出部13、発光駆動部14、フラッシュ発光部15、レンズ駆動ドライバ17、絞り/ND駆動ドライバ18、撮像素子ドライバ19を備える。
被写体からの入射光は、レンズ機構部21及び絞り/NDフィルタ機構22を介して撮像素子部23に導かれる。
レンズ機構部21は、上記図1(b)の撮像レンズ部20の内部構成であり、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。またレンズ駆動部26は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。レンズ駆動部26はレンズ駆動ドライバ17によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するCPU(Central Processing Unit)31はレンズ駆動ドライバ17を制御することで、焦点制御やズーム動作を実行させる。
絞り/NDフィルタ機構22は、絞り機構と、レンズ光学系内に挿入されることによって入射光量を減衰させる(調整する)NDフィルタ機構を有し、光量調整を行う。
絞り/ND駆動ドライバ18は、絞り機構の開閉により入射光量の調節を行う。また絞り/ND駆動ドライバ18は、NDフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。CPU31は、絞り/ND駆動ドライバ18を制御して絞り機構やNDフィルタを駆動させることで入射光量制御(露光調整制御)を行うことができる。
被写体からの光束はレンズ機構部21、絞り/NDフィルタ機構22を通過し、撮像素子部23上に被写体像が結像される。
撮像素子部23は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部23は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部24に出力する。撮像素子部23としては、例えばCCD(Charge Coupled Device)センサアレイ、CMOS(Complementary Metal Oxide Semiconductor)センサアレイなどが用いられる。
アナログ信号処理部24は、内部にCDS(相関2重サンプリング)回路や、AGC(オートゲインコントロール)回路などを有し、撮像素子部23から入力される画像信号に対して所定のアナログ処理を行う。
A/D変換部25は、アナログ信号処理部24で処理されたアナログ信号をデジタル信号に変換し、カメラDSP4に供給する。
タイミング生成回路28は、CPU31により制御され、撮像素子部23、アナログ信号処理部24、A/D変換部25の各動作のタイミングを制御する。
即ちタイミング生成回路28は、撮像素子部23の撮像動作タイミングを制御するために、露光/電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ19を介して撮像素子部23に供給する。またアナログ信号処理部24で、撮像素子部23での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部24にも供給する。
CPU31は、タイミング生成回路28により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御(フレーム内の露光時間可変制御)を行うことができる。またCPU31は、例えばタイミング生成回路28を介してアナログ信号処理部24にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
ブレ検出部13は、手ぶれ量や撮像装置1自体の動きの量を検出する。例えば加速度センサ、振動センサなどで構成され、ブレ量としての検出情報をCPU31に供給する。
フラッシュ発光部15は発光駆動部14によって発光駆動される。CPU31は、ユーザの操作その他による所定タイミングで、発光駆動部14にフラッシュ発光を指示し、フラッシュ発光部15を発光させることができる。
カメラDSP4は、撮像系2のA/D変換部25から入力される撮像画像信号に対して、各種のデジタル信号処理を行う。
このカメラDSP4では、例えば図示のように画像信号処理部41,圧縮/解凍処理部42、SDRAMコントローラ43、画像解析部44等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
画像信号処理部41は入力される撮像画像信号に対する処理を行う。例えば撮像画像信号を用いた撮像系2の駆動制御用の演算処理として、オートフォーカス(AF)用処理、オートアイリス(AE)用処理などを行い、また入力される撮像画像信号自体に対する処理としてオートホワイトバランス(AWB)処理などを行う。
例えばオートフォーカス用処理としては、画像信号処理部41は入力される撮像画像信号についてコントラスト検出を行い、検出情報をCPU31に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストAFと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちCPU31は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部41で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
また、撮像中のフォーカス制御としては、いわゆるウォブリングAFと呼ばれる検出方式が実行できる。CPU31は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部41で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部26における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部27は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてCPU31に供給することができる。これによってCPU31は、合焦状態としている主たる被写体までの距離を判別できる。
カメラDSP4の画像信号処理部41が実行するオートアイリス用処理としては、例えば被写体輝度の算出が行われる。例えば入力される撮像画像信号の平均輝度を算出し、これを被写体輝度情報、即ち露光量情報としてCPU31に供給する。平均輝度の算出としては例えば1フレームの撮像画像データの全画素の輝度信号値の平均値、或いは画像の中央部分に重みを与えた輝度信号値の平均値の算出など、各種の方式が考えられる。
CPU31は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、NDフィルタ、或いは撮像素子部23における電子シャッタ制御、アナログ信号処理部24へのゲイン制御により、露光調整を行うことができる。
カメラDSP4の画像信号処理部41は、これらのオートフォーカス動作、オートアイリス動作に用いる信号生成処理の他、撮像画像信号自体の信号処理として、オートホワイトバランス、γ補正、エッジ強調処理、手ブレ補正処理等を行う。
カメラDSP4における圧縮/解凍処理部42は、撮像画像信号に対する圧縮処理や、圧縮された画像データに対する解凍処理を行う。例えばJPEG(Joint Photographic Experts Group)、MPEG(Moving Picture Experts Group)などの方式による圧縮処理/解凍処理を行う。
SDRAMコントローラ43は、SDRAM9に対する書込/読出を行う。SDRAM9は、例えば撮像系2から入力された撮像画像信号の一時保存、画像処理部41や圧縮/解凍処理部42での処理過程における保存やワーク領域の確保、情報生成部44で得られた情報の保存などに用いられ、SDRAMコントローラ43は、これらのデータについてSDRAM9に対する書込/読出を行う。
画像解析部44は、例えば画像信号処理部41で処理された撮像画像データについて画像解析を行い、各種の画像認識を行う。
本例の場合、画像解析部44は被写体画像に含まれている人物認識や顔認識の処理を行う。また人物の顔を認識した場合の、顔の向きや視線方向などの認識処理を行う場合もある。さらに画像解析部44は外光状況、撮像装置1と被写体の相対的な動きの大きさなど、画像解析によって認識可能な各種の情報を検出する場合もある。
制御系3は、CPU31、RAM32、フラッシュROM33、時計回路34を備える。制御系3の各部、及びカメラDSP4、撮像系2の各部、表示コントローラ7、外部インターフェース8、媒体インターフェース10は、システムバスによって相互に画像データや制御情報の通信が可能とされている。
CPU31は、撮像装置1の全体を制御する。即ちCPU31は内部のROM等に保持したプログラム及び操作部5によるユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。特に主表示パネル6Mにおける表示制御とともに、後述する前面表示パネル6Fの表示動作のための制御処理なども行う。
RAM(Random Access Memory)32は、カメラDSP4で処理された撮像画像信号(各フレームの画像データ)の一時的な保存や、CPU31の各種処理に応じた情報が記憶される。
フラッシュROM33は、撮像画像としての(ユーザが静止画又は動画として撮像した)画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置1の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路34は、現在日時情報(年月日時分秒)を計数する。
操作部5は、図1に示した各種操作子(5a〜5e等)及びその操作に基づく信号発生部からなる。各種操作子によるユーザの操作情報は、操作部5からCPU31に伝達される。
なお、操作部5としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。例えば主表示パネル6Mにタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
表示コントローラ7は、CPU31の制御に基づいて、主表示パネル6M、及び前面表示パネル6Fに所要の表示動作を実行させる。
主表示パネル6Mにおける表示動作としては、モニタリング表示(いわゆるスルー画表示)や、記録媒体90やフラッシュROMから読み出した再生画像表示、操作メニュー表示、各種アイコン表示、時刻表示などが行われる。
また前面表示パネル6Fにおける表示動作としては、モニタリング表示や、再生画像表示が行われる。
媒体インタフェース10は、CPU31の制御に基づいて、撮像装置1の内部にセットされたメモリカード(カード状のリムーバブルメモリ)等の記録媒体90に対してデータの読出/書込を行う。例えば媒体インタフェース10は、撮像結果としての静止画データや動画データについて記録媒体90に記録する動作を行う。また再生モード時には画像データを記録媒体90から読み出す動作を行う。
なお、ここでは記録媒体90として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、HDD(Hard Disk Drive)を搭載して記録するようにしてもよい。
外部インタフェース8は、例えばUSB(Universal Serial Bus)などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。もちろんUSB方式に限らず、IEEE(Institute of Electrical and Electronics Engineers)1394方式など、他の規格による外部インターフェースとしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース8を構成しても良い。
撮像装置1は、この外部インターフェース8を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像画像データを外部機器に転送することができる。
なお図2には近接センサ50を示している。この近接センサ50は、撮像装置1の前方(被写体側)に人物が居るか否かを検出するセンサとする。例えば焦電センサなどを採用できる。
上記したように人物検出を画像解析部44の画像解析処理により行うものとする場合は、この近接センサ50は設けなくてもよいし、或いは画像解析による人物検出と近接センサ50による検出を併用してもよい。
[2.動作遷移]

本例の撮像装置1の動作状態遷移について図3で説明する。ここでいう各動作状態とは、特に主表示パネル6Mの表示内容の観点からみた動作状態である。
撮像装置1の動作状態としては、ユーザの操作等に応じてモニタリング期間、記録期間、プレビュー期間、再生期間を遷移する。なお、実際には外部機器との通信を行う期間など他の動作状態もあるが、説明の簡略化のため省略する。
撮像装置1は例えばパワーオンとなると、モニタリング動作を開始する。なお、ユーザが電源オフ状態から再生操作を行う場合など、パワーオンの際に再生動作状態となる場合もある。
モニタリング期間とは、撮像系2による撮像を行うための動作期間である。ユーザが、通常に撮像装置1を用いて静止画撮像を行う場合、まずこのモニタリング動作が行われる。
このモニタリング期間は、主表示パネル6Mに被写体画像(スルー画)が表示される。
即ちCPU31は、モニタリング期間においては撮像系2、カメラDSP4にそれぞれ撮像時に必要な動作を実行させる。そしてカメラDSP4から供給されるフレーム毎の撮像画像データを例えばRAM32に取り込む。そしてこのフレーム毎の撮像画像データを表示コントローラ7に受け渡し、主表示パネル6Mにモニタリング表示を実行させる。後述するが、このときに前面表示パネル6Fにもモニタリング表示を実行させる場合もある。
このモニタリング期間において、ユーザは、この主表示パネル6Mの表示を見ながら、被写体を選択したり、シャッタータイミングを狙うこととなる。
モニタリング期間において、ユーザがレリーズ操作キー5aを押すと、即ちシャッタ操作を行うと、動作状態は記録期間となる。
CPU31は、このレリーズ操作のタイミングで撮像される1フレームの撮像画像データを、静止画データとして保存する処理を行う。即ちCPU31は当該タイミングで取り込んだ撮像画像データを媒体インターフェース10に転送し、記録媒体90に記録させる。
なおレリーズ操作に応じた記録動作としては、記録媒体90ではなく、フラッシュROM33において行うようにしてもよい。また、通常は記録媒体90に記録するが、記録媒体90が装填されていない場合はフラッシュROM33に記録するような動作方式でも良い。
この記録期間は、ユーザからみるとレリーズ操作直後の、時間的には一瞬の期間であり、その間、例えば主表示パネル6Mは何も表示されない状態などとなる。
レリーズ操作に応じた記録動作の直後は、一定時間、プレビュー期間とされる。プレビュー期間とは、主表示パネル6Mに、直前の記録動作で記録した画像が表示される期間である。即ちユーザが、撮像した静止画像を、直後に確認できるようにする期間である。
例えば2秒〜数秒程度の期間がプレビュー期間とされ、CPU31はこの期間、記録した静止画像データを、主表示パネル6Mに表示させる制御を行う。
プレビュー期間としての所定時間が経過すると、CPU31は動作状態をモニタリング状態に戻し、モニタリング期間としての動作制御を行う。
つまり、モニタリング期間、記録期間、プレビュー期間として、静止画撮像としての一連の動作が行われるものとなる。
なお、撮像装置1では動画撮像も可能であるが、動画の場合は記録期間が、その動画撮像の開始から終了までの期間、継続するものとなる。またプレビュー期間は設けられない。
ユーザが再生動作を指示する操作を行った場合、再生動作状態(再生期間)に移行する。
再生期間には、撮像等によって記録媒体90やフラッシュROM33に記録された画像を再生する動作が行われる。
CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録されている画像を読み出し、表示コントローラ7に指示して、主表示パネル6Mでサムネイル画像や1枚の再生画像を表示させる制御を行う。また前面表示パネル6Fで再生画像を表示させる場合もある。
[3.両表示パネル部の画面表示例]

本例の撮像装置1において主表示パネル6M、前面表示パネル6Fで行われる画面表示例を図4,図5で説明する。
図4(a)(b)(c)及び図5(a)は、モニタリング期間に行われる画面表示の例を示している。
図4(a)は、主表示パネル6Mにおいてモニタリング画像(スルー画)が表示されているが、前面表示パネル6Fでは表示オフとされている状態を示している。
図4(b)は、主表示パネル6Mにおいてモニタリング画像が表示されており、前面表示パネル6Fでも同じくモニタリング画像が表示されている状態を示している。
図4(c)は、主表示パネル6Mにおいてモニタリング画像が表示されており、前面表示パネル6Fでは、他の画像、例えば再生画像が表示されている状態を示している。再生画像とは、記録媒体90やフラッシュROM33に記録されている、過去に撮像した画像の再生画像としてもよいし、予め撮像装置1内に記憶された画像としてもよい。例えば前面表示パネル6Fにおいてモニタリング画像を表示しないときに表示させる画像データを用意してフラッシュROM33等に予めプリセット画像として記憶させておき、そのプリセット画像データを読み出して表示させるような例である。さらにはいわゆる撮像画像としての画像データに限られず、テキストデータ、アニメーションデータ、コンピュータグラフィックデータなどを記録媒体90やフラッシュROM33に記録させておき、これらを表示させるようにしてもよい。つまり再生画像とは、表示可能なあらゆる画像を含む。
図5(a)は、主表示パネル6Mでは表示をオフとし、前面表示パネル6Fではモニタリング画像を表示している例である。
モニタリング期間の主表示パネル6M、前面表示パネル6Fの表示状態としては、これらの各例が考えられるが、どのような表示を行うかは、モニタリング期間における被写体の状況、撮像装置1の動作状況、撮像モードなどに応じて、CPU31が制御する。
図5(b)(c)は、再生期間に行われる画面表示の例を示している。
図5(b)は、主表示パネル6Mにおいて再生画像のサムネイル画像による一覧表示が行われ、一方、前面表示パネル6Fでは、サムネイル画像の中でカーソルKによって選択中となっている再生画像が表示されている状態を示している。
図5(c)は、主表示パネル6Mにおいて1枚の再生画像の表示が行われ、前面表示パネル6Fでも、同じく再生画像が表示されている状態を示している。
再生期間の主表示パネル6M、前面表示パネル6Fの表示状態としては、これらの各例が考えられる。もちろん他の例も考えられる。
例えば主表示パネル6Mでは再生画像を表示し、前面表示パネル6Fではプリセット画像を表示することが考えられる。
また主表示パネル6Mでサムネイル画像の一覧表示を行いながら、前面表示パネル6Fでは、各再生画像の順次表示(スライドショウとしての表示)を行うことなども考えられる。
図4,図5に表示例を示したが、撮像操作や再生操作等を行う使用者に対するものとされている主表示パネル6Mでの表示は、基本的には次のようになる。
まずモニタリング期間には、モニタリング画像を表示する。またプレビュー期間では、撮像して記録した画像を一定時間表示する。
再生期間には、ユーザの操作等に応じて、サムネイル画像や、再生画像を表示する。
CPU31は、主表示パネル6Mについては、動作状態や操作に応じてこれらの表示を実行させるように制御する。
一方、前面表示パネル6Fについては、前面表示パネル6Fを見る者に対して有用な表示や面白みのある表示を実行したり、或いは無駄な表示の排除という観点から、CPU31が表示制御を行う。
以下では、前面表示パネル6Fについての表示制御例を各種説明していく。
[4.モニタリング時の前面表示パネル部の表示制御]
<4−1:人物認識に基づく処理例>

図6(a)は、モニタリング期間における前面表示パネル6Fについて、CPU31が実行する表示制御例を示している。
上述のようにモニタリング期間には、撮像系2,カメラDSP4の処理で得られるモニタリング画像が主表示パネル6Mにおいて表示される。即ちCPU31はモニタリング期間には、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っている。
このときに、前面表示パネル6Fについての表示制御を行うために、CPU31は主表示パネル6Mの表示制御と並行して図6(a)の処理を行う。
まずステップF101では、画像解析部44での画像解析結果を確認する。画像解析部44では、モニタリング期間において、撮像系2で撮像され、カメラDSP4に取り込まれた撮像画像データについての画像解析処理を行っている。例えば画像信号処理部41で処理された各フレームの画像データについて、或いは間欠的にフレームを抽出して、画像解析処理を行う。そして、解析対象とした撮像画像データ内に、人物と認識できる画像が含まれているか否かを判定する。即ち人物と認識できる輪郭部分が画像内に含まれるか否かを判定する。そして、その判定結果をCPU31に供給する。ステップF101で、CPU31は、その判定結果として、人物の存在が認識されたか否かを確認する。
CPU31は、画像解析結果として人物の存在が確認された場合は、処理をステップF102からF103に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。
この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
一方、CPU31はステップF101の画像解析結果確認により、人物は存在しないと確認した場合は、処理をステップF102からF104に進め、前面表示パネル6Fの表示をオフに制御する。
この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
CPU31は、この図6(a)の処理を、モニタリング期間において繰り返し実行する。
モニタリング期間が終了するのは、例えばレリーズ操作が行われて記録動作に移行する場合、或いは再生操作が行われて再生動作に移行する場合、或いは撮像装置1の電源オフ操作が行われて電源オフ処理を行う場合などである。これらによりモニタリング期間が終了するまで、CPU31は図6(a)の処理を繰り返し実行することになる。
従ってモニタリング期間中に、使用者が、人物を被写体となるように撮像装置1を向けているときには、図4(b)のように前面表示パネル6Fにモニタリング画像が表示され、また風景等、人物を含まない被写体光景を狙っているときには、図4(a)のように前面表示パネル6Fはオフとされる。また、その図4(a)の状態から、再び人物を被写体として捉えた場合には前面表示パネル6Fで人物を含むモニタリング画像が表示されることになる。
つまりこの処理例によれば、モニタリング中の被写体として、前方に人物が存在する場合に、前面表示パネル6Fでモニタリング画像が表示され、被写体として人物が含まれていないときは前面表示パネル6Fがオフされる。
人物が被写体となるときは、その被写体の人物は、前面表示パネル6Fを見ることができる。このため、自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。例えば写真として好ましい表情であるか否かなどを自分で確認できるなど、前面表示パネル6Fの表示を有効に利用できる。
一方、被写体として人物が存在しない場合は、前面表示パネル6Fを見る人がいないと判断できる。従って、前面表示パネル6Fの表示をオフとする(例えば前面表示パネル6Fのみを電源オフ状態とする)ことで、消費電力の節減を図ることができる。つまり誰も見ていない無駄な表示は行わないということである。
なお、ステップF101では画像解析により、被写体として前方に人物が居るか否かを検出することとしたが、ステップF101は、図2に示した近接センサ50の検出結果を確認する処理としてもよい。また、ステップF101で、画像解析結果と近接センサ50の検出結果の両方を確認するものとしてもよい。
また後述する図7〜図14の各処理例では、画像解析により顔検出を行うことで、前方の人物の存在有無を判定するものとして説明するが、近接センサ50を利用した変形例は図7〜図14の場合もそれぞれ同様に考えられる。
ところで、図6(a)の処理は、人物検出を行って前面表示パネル6Fの表示動作を制御することとしているが、人物検出として、「顔」の検出を行うようにしてもよい。
例えば画像解析部44においては、撮像画像データにおいて、顔と認識できる輪郭や、目、鼻、口等の顔の要素の存在を判定し、撮像画像データに被写体としての人物の「顔」が含まれているか否かを判定する。
この場合のCPU31の処理を図6(b)に示す。
CPU31は、ステップF101で画像解析部44の画像解析結果を確認し、「顔」が存在するか否かを判別する。そして「顔」が検出されていればステップF102AからF103に進んで、前面表示パネル6Fでモニタリング画像表示を実行させ、一方「顔」が検出されていなければステップF102AからF104に進んで、前面表示パネル6Fをオフとする。
このように、人物の身体の全体の判定ではなく、顔の判定により、前方の人物の存在を確認しても良い。
図7は他の処理例であり、前方に人がいなくても、前面表示パネル6Fを電源オフ状態にはしない例である。
ステップF101,F102は図6(a)と同様である。
CPU31は、被写体として前方に人物が居ると判定した場合は、ステップF103Aに進み、前面表示パネル6Fにおいて表示輝度を上昇させた状態で、モニタリング画像を表示するように表示コントローラ7に指示する。
またCPU31は、被写体として前方に人物がいないと判定した場合は、ステップF104Aに進み、前面表示パネル6Fにおいて表示輝度を低下させた状態で、モニタリング画像を表示するように表示コントローラ7に指示する。
つまり、前面表示パネル6Fを見ることのできる人物が存在するときは、前面表示パネル6Fの表示輝度を上げて、モニタリング画像を、その人物に見やすいようにする。一方、前方に人がいないと推定されるときは、表示輝度を下げ、消費電力の削減を図るものである。前面表示パネル6Fとして例えば有機ELパネルのような自発光素子による表示デバイスを用いる場合、表示輝度を下げることは、消費電力削減に有用である。
次に図8の処理例を説明する。
ステップF101,F102は図6(a)と同様である。
CPU31は、被写体として前方に人物が居ると判定した場合は、ステップF103に進み、前面表示パネル6Fにおいてモニタリング画像を表示するように表示コントローラ7に指示する。
またCPU31は、被写体として前方に人物がいないと判定した場合は、ステップF105に進み、記録媒体90等に記録された画像データやプリセット画像データなどを読み出す処理を行う。例えばCPU31は媒体インターフェース10に指示して、記録媒体90からの画像データ(撮像画像データその他)の再生を実行させる。或いはCPU31はフラッシュROM33から、プリセット画像データや撮像画像データの読み出しを実行する。そしてCPU31は、その読み出された画像データを前面表示パネル6Fにおいて表示するように表示コントローラ7に指示する。つまり図4(c)のように、モニタリング画像とは異なる画像表示を前面表示パネル6Fにおいて実行させる。
この場合、被写体となる人物が居た場合は、図4(b)のような状態となり、その人物は写されようとしている自分の画像をモニタリングできる。
一方、被写体としての人物がいない場合は、図4(c)のように前面表示パネル6Fに無関係な画像が表示される。被写体となっている人物がいないとしても、そばに人がいる状況は多々ある。それらの周囲に居る人にとっては、前面表示パネル6Fでの表示が撮像装置1の外観デザインの一部として認識され、興味深いものとなる。
またこのような場合に前面表示パネル6Fに表示させる画像をユーザが選択できるようにすることで、ユーザが自分の撮像装置1の外観を自由に設定できるものとなり、カメラ使用上の楽しみを広げることができる。
なお、この図7,図8の処理例の場合も、人物認識を、図6(b)で述べた顔認識として実行してもよい。
また、記録媒体90から読み出して表示する画像データとしては、テキストデータやアニメーションデータなどとされる場合もあり得る。
<4−2:人物認識とユーザ設定に基づく処理例>

上記図6〜図8では、前方の人物の有無の認識によって前面表示パネル6Fの表示状態を制御する例を述べたが、ここでは、人物認識に加えて、撮像装置1に対するユーザ設定の状態も考慮して、前面表示パネル6Fの表示制御を行う例を説明する。
ユーザ設定とは、例えば撮像モード設定、フラッシュ発光設定、ズーム位置操作など、ユーザの操作に応じた設定状態のことである。
図9は、モニタリング期間における前面表示パネル6Fについて、CPU31が実行する表示制御例を示している。
モニタリング期間には、撮像系2,カメラDSP4の処理で得られるモニタリング画像が主表示パネル6Mにおいて表示される。CPU31は、図9の処理と並行して、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っている。
このときに、前面表示パネル6Fについての表示制御を行うために、CPU31は図9の処理を行う。
CPU31はステップF201では、画像解析部44での画像解析結果を確認する。この例では、上記図6(b)の場合と同様に、画像解析部44では、モニタリング期間において、撮像系2で撮像され、カメラDSP4に取り込まれた撮像画像データについての画像解析処理を行い、被写体として人物の顔が含まれているか否かを判定することとしている。このステップF201でCPU31は、その画像解析部44の画像解析結果として、人物の顔の存在が認識されたか否かを確認する。
CPU31は、画像解析結果として人物の顔の存在が確認された場合は、処理をステップF202からF203に進め、現在のユーザ設定状態が、前面表示パネル6Fにおけるモニタリング画像の表示に適した設定状態であるか否かにより、処理を分岐する。
そしてユーザ設定が前面表示パネル6Fにおけるモニタリング画像の表示に適した設定状態であると判定した場合は、処理をステップF204に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
一方、CPU31はステップF201の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップF102からF104に進め、前面表示パネル6Fの表示をオフに制御する。
またCPU31はステップF203で、ユーザ設定が前面表示パネル6Fにおけるモニタリング画像の表示に適した設定状態でないと判定した場合も、処理をステップF205に進め、前面表示パネル6Fの表示をオフに制御する。
これらの場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
CPU31は、この図9の処理を、モニタリング期間において繰り返し実行する。
従ってモニタリング期間中に、使用者が、人物の顔が被写体に含まれるように撮像装置1を向けており、かつ、その時点でユーザ設定状態が所定の状態であるときは、図4(b)のように前面表示パネル6Fにモニタリング画像が表示される。
一方、風景等、人物を含まない被写体光景を狙っているときや、人物の顔を被写体としているときであってもユーザ設定状態が所定の状態でないときは、図4(a)のように前面表示パネル6Fはオフとされる。
つまりこの処理例は、モニタリング中の被写体として、前方の人物の顔が存在する場合であって、ユーザ設定状態に応じて、その被写体人物が、前面表示パネル6Fを適切に視認できると推定される状況で、前面表示パネル6Fでモニタリング画像が表示される。一方、被写体として人物の顔が含まれていないときや、被写体人物が前面表示パネル6Fを適切に視認できないと推定される状況では前面表示パネル6Fがオフされる。
ユーザ設定としては、上記のように、例えば撮像モード設定、フラッシュ発光設定、ズーム位置操作などがある。それぞれについて図9の処理の適用を説明する。
撮像モードとは、夜景モード、夜景&人物モード、ポートレートモード、風景モード、ソフトスナップモード、スノーモード、ビーチモード、高速シャッターモード、高感度モード、スマイルシャッターモードなど、各種の状況で適切な状態で撮像を行うことができるようにユーザが選択するモードである。
これらの撮像モードとしては、それぞれ適切なシャッタ速度、露出設定、撮像画像信号に対する信号ゲイン設定、エッジ強調や色処理等の信号処理設定などが予め決められており、例えば図1に示したダイヤル操作部5bの操作により、ユーザが選択できる。
夜景モードは、夜景撮像に適した設定で撮像が行われる撮像モードである。
夜景&人物モードは、バックの夜景と人物の表情をそれぞれ鮮明に撮像できるようにした設定で撮像が行われる撮像モードである。
ポートレートモードは、人物撮像に適した設定で撮像が行われる撮像モードである。
風景モードは、風景撮像に適した設定で撮像が行われる撮像モードである。
ソフトスナップモードは、人物の肌の質感を明るく柔らかな印象とする設定で撮像されるようにした撮像モードである。
高速シャッターモードは、動きのある被写体に適した設定で撮像が行われる撮像モードである。
高感度モードは、暗いシーンもフラッシュを使わずに自然な雰囲気で撮像が行われる撮像モードである。
スマイルシャッターモードは、被写体人物が笑顔になると、自動でシャッター処理(レリーズ)が行われる撮像モードである。
例えばこれらの各撮像モードのうちで、CPU31がステップF203で、前面表示パネル6Fについての表示に適した撮像モードと判定するのは、夜景&人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードなどとする。
これらの撮像モードは、人物の撮像を目的とする場合に選択されるものであり、従って、被写体として人物が含まれる可能性が高い。つまり、前面表示パネル6Fの表示を見ることのできる人物が被写体として存在する可能性が高い。
そこでCPU31はステップF203において、撮像モードが、夜景&人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードのいずれかであれば、ステップF204で前面表示パネル6Fでモニタリング画像を表示させるようにする。
これら以外の撮像モード、即ち夜景モード、風景モード、高速シャッターモード、高感度モードの場合は、人物の撮像を目的としない場合に選択されたり、或いは、前面表示パネル6Fの視認性が悪い状態と推定される。
例えば夜景モード、風景モードは、風景撮像を目的とするもので、被写体に人物が存在しないか、或いは存在したとしても、画像内の中心的な存在ではないと推定できる。また夜景モードや高感度モードの場合は、もし前方に人物が居たとしても、暗い風景を撮像している際のモニタリング画像は、前面表示パネル6Fに表示させたとしても、当該前方の人物からは視認性が悪い。
また高速シャッターモードの被写体は動きのある被写体となる。例えば人が被写体であったとしても、その人はスポーツ競技中、ダンス中などの状況にあり、落ち着いて前面表示パネル6Fを見る状況ではない。
つまり、これらの撮像モードの場合、前方に人が居ないか、或いは人物が居たとして前面表示パネル6Fが視認性よく表示される状況でない、或いは前面表示パネル6Fを見る状況でないと推定される。
そこでCPU31は撮像モードが夜景モード、風景モード、高速シャッターモード、高感度モードのいずれかの場合は、ステップF202で人物の顔が検出されたとしても、ステップF205に進み、前面表示パネル6Fをオフとする。
なお、以上は例示であり、これら以外にも、夕景撮像に適した設定で撮像が行われる夕景モード、植物や昆虫等の接写に適したマクロモード、花火の撮像に適した花火モード、水中での撮像に適した水中モードなどが用意される場合もある。また、ゲレンデや雪景色の白銀をそのまま表現できるようにした設定で撮像が行われるスノーモードや、海や空の青色を際だたせるようにした設定で撮像が行われるビーチモードなども用意される場合もある。
これらの場合も、それぞれ人物の存在、前面表示パネル6Fの表示内容の視認性、被写体側の人物の状況に応じて、ステップF203でどのように処理すべきか(前面表示パネル6Fの表示を行うべき所定の撮像モードに含まれるか否か)を予め設定しておけばよい。
ユーザ設定のうちの撮像モード設定については以上のように考えればよい。
ユーザ設定のうちのフラッシュ発光設定については、次のように考える。フラッシュ発光設定とは、フラッシュ発光を実行させる(フラッシュ:オン)か、させないか(フラッシュ:オフ)、或いは自動制御でフラッシュオン/オフを行う(フラッシュ:オート)かをユーザが選択する設定である。
この場合、ユーザがフラッシュ:オンに設定とする場合は、周囲が暗い状況であることが通常である。
暗い状況の場合、モニタリング期間のモニタリング画像も輝度の低い状態となり、前面表示パネル6Fの表示の視認性は良くないと考えられる。
そこで、フラッシュ発光設定については、「フラッシュ:オン」とされている場合は、CPU31はステップF205に進み、前面表示パネル6Fの表示をオフに制御するようにする。
ユーザ設定のうちでズーム位置操作設定については次のように考える。ズーム位置操作設定とは、例えばユーザが図1のワイド/テレ操作キー5cを操作してズーム操作した場合のズーム位置の設定のことである。
例えば人物を被写体としていたとしても、ズーム位置が所定以上にテレ側(望遠)にあるときは、その被写体人物は撮像装置1よりかなり離れた位置に居ると推定できる。当然、あまり遠ければ、その人物は、前面表示パネル6Fの表示を適切に見ることができない。
そこでCPU31はステップF203において、ユーザの操作によるズーム位置が、所定以上の望遠状態の位置である場合は、ステップF205に進むものとし、前面表示パネル6Fの表示をオフに制御する。
図9のステップF203では、CPU31が以上のようなユーザ設定に応じた判断を行うようにすることで、前面表示パネル6Fについて適切な表示制御を行うことができる。
つまり図9の処理によれば、顔検出がされ、かつユーザ設定が所定状態であるときにステップF204で前面表示パネル6Fでモニタリング画像が表示される。換言すれば、人物が被写体となるとともに、その人物が適切にモニタリング画像を視認すると考えられる状況において、前面表示パネル6Fでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル6Fにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。
一方、被写体として人物が存在しない場合や、人物が存在したとしても前面表示パネル6Fでモニタリング画像表示を行っても意味がないとされる場合は、前面表示パネル6Fの表示をオフとする(例えば前面表示パネル6Fのみを電源オフ状態とする)。これにより、より適切に消費電力の節減を図ることができる。
なお以上ではユーザ設定として、撮像モード設定、フラッシュ発光設定、ズーム位置操作について説明したが、これらのうち全てを用いた判断をステップF203で行うようにしても良いし、一部のユーザ設定のみについてステップF203で判断するようにしてもよい。
またユーザ設定としては、上記した以外に、感度設定、露光設定、手ブレ補正オン/オフ設定、特殊撮像設定などが想定される。これらのそれぞれについても、被写体人物が適切に前面表示パネル6Fの表示を見るという行為について適切な状況が推定されるか否かにより、ステップF203の判断に反映させることが考えられる。
図10に他の処理例を示す。図10は、上述した撮像モードの1つとして、自分撮りモードを選択できるようにした場合に対応する処理である。自分撮りモードとは、ユーザが撮像装置1の前面を自分の方に向けて撮る場合の撮像モードである。
図10のステップF201〜F205は図9のステップF201〜F205と同様としている。なお、撮像モードが自分撮りモードとされている場合は、CPU31はステップF203において、他のユーザ設定に関わらず、ステップF204に進むものとする。
撮像モードが自分撮りモード以外の場合は、図9の処理と同様となる。
撮像モードが自分撮りモードの場合は、CPU31はステップF204で前面表示パネル6Fでモニタリング画像を表示させる制御をするとともに、ステップF210からF211に進み、主表示パネル6Mの表示をオフとする処理を行う。
つまりユーザ設定として自分撮りモードが選択されている場合は、前面表示パネル6F及び主表示パネル6Mを図5(a)の状態とする。
自分撮りモードの場合は、ユーザが撮像装置1を自分の方に向けて撮像操作を行うことになるため、主表示パネル6Mを見ることはできない。従って、前面表示パネル6Fでモニタリング画像を見ることで、被写体を確認できるようにする。そして主表示パネル6Mはオフとすることで、消費電力の削減を図る。
なお、以上の図9、図10の処理例に準じた変形例として、ステップF205では、前面表示パネル6Fの表示をオフとする以外に、図7で述べたように低輝度状態の表示としたり、図8で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
<4−3:人物認識と内部検出情報に基づく処理例>

続いて、人物認識に加えて、撮像装置1が内部的に検出するカメラ検出情報(内部検出情報)も考慮して、前面表示パネル6Fの表示制御を行う例を説明する。
ここでいうカメラ検出情報とは、撮像装置1の内部センサで検出される情報や、撮像装置の動作制御に伴ってCPU31が認識できる情報などである。例えばフラッシュ制御や露光制御に用いる外光光量検出情報、ズーム位置情報、フォーカス情報、手ブレ検出情報、被写体距離情報などである。
図11は、モニタリング期間における前面表示パネル6Fについて、CPU31が実行する表示制御例を示している。
モニタリング期間には、CPU31は、カメラDSP4から供給される撮像画像データをスルー画として主表示パネル6Mに表示させる制御を行っているが、これと並行して、前面表示パネル6Fについての表示制御を行うために図11の処理を行う。
CPU31はステップF301では、画像解析部44での画像解析結果を確認する。この例も画像解析部44では、モニタリング期間において、撮像系2で撮像され、カメラDSP4に取り込まれた撮像画像データについての画像解析処理を行い、被写体として人物の顔が含まれているか否かを判定することとする。
このステップF301でCPU31は、その画像解析部44の画像解析結果として、人物の顔の存在が認識されたか否かを確認する。
CPU31は、画像解析結果として人物の顔の存在が確認された場合は、処理をステップF302からF303に進め、所定のカメラ検出情報を確認し、前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であるか否かにより、処理を分岐する。
そしてカメラ検出情報から、現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であると判定した場合は、CPU31は処理をステップF304に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
一方、CPU31はステップF301の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップF305に進め、前面表示パネル6Fの表示をオフに制御する。
また、CPU31は、ステップF303で、カメラ検出情報から、現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態でないと判定した場合も、処理をステップF305に進め、前面表示パネル6Fの表示をオフに制御する。
これらの場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
CPU31は、この図9の処理を、モニタリング期間において繰り返し実行する。
従ってモニタリング期間中に、使用者が、人物の顔が被写体に含まれるように撮像装置1を向けており、かつ、その時点でカメラ検出情報によって認識される状態が所定の状態であるときは、図4(b)のように前面表示パネル6Fにモニタリング画像が表示される。
一方、風景等、人物を含まない被写体光景を狙っているときや、人物の顔を被写体としているときであってもカメラ検出情報によって認識される状態が所定の状態でないときは、図4(a)のように前面表示パネル6Fはオフとされる。
つまりこの処理例は、モニタリング中の被写体として、前方の人物の顔が存在する場合であって、カメラ検出情報により、被写体人物が、前面表示パネル6Fを適切に視認できると推定される状況で、前面表示パネル6Fでモニタリング画像が表示される。一方、被写体として人物の顔が含まれていないときや、被写体人物が前面表示パネル6Fを適切に視認できないと推定される状況では前面表示パネル6Fがオフされる。
カメラ検出情報とは、上記のように例えば外光光量検出情報、ズーム位置情報、被写体距離情報、フォーカス情報、ブレ検出情報などである。これらのカメラ検出情報を用いたステップF303の判断は以下のようになる。
外光光量は、撮像画像データの輝度平均値や、画面内の一部に重み付けを行って得た重み付け輝度平均値などから検出でき、これらは通常、自動露光制御や、フラッシュ発光設定がオートの場合のフラッシュ発光制御などに用いられる。例えばカメラDSP4の画像信号処理部41で、これらの輝度値が算出されるため、CPU31はその情報を得ることができる。
また、図2にには示していないが、外光光量センサ等を設けて直接的に外光光量を検出するようにしてもよい。
これらの手法で検出される外光光量が低い場合は、前面表示パネル6Fでモニタリング画像表示を行っても、画像自体の輝度が低く、良好な視認性が得られない状況であると推定できる。また、いわゆる逆光状態など、あまりに外光光量レベルが高い場合も、前面表示パネル6Fでのモニタリング表示は良好に視認できないと推定できる。
そこでCPU31は、顔検出がなされた場合であっても、外光光量が所定レベルより低い場合や逆光状態と判定されるような場合は、前面表示パネル6Fでモニタリング画像表示に適切な状況ではないとし、ステップF303からF305に進み、前面表示パネル6Fの表示をオフに制御する。
ズーム位置情報については、CPU31はユーザ操作等に応じてズームレンズを駆動制御することから、ズーム位置を検出できる。そして人物を被写体としていたとしても、ズーム位置が所定以上にテレ側(望遠)にあるときは、その被写体人物は撮像装置1よりかなり離れた位置に居ると推定できる。つまり被写体人物は、前面表示パネル6Fの表示を適切に見ることができないと推定できる。
そこでCPU31はステップF303において、ズーム位置が所定以上の望遠状態の位置である場合は、ステップF305に進むものとし、前面表示パネル6Fの表示をオフに制御する。
被写体距離情報とは、撮像装置1から被写体までの距離の情報であり、例えばCPU31は、上述したようにレンズ位置検出部27からの情報を用いて、被写体距離情報を得ることができる。
例えば人物を被写体としていたとしても、被写体距離情報により、その被写体人物が撮像装置1よりかなり離れた位置に居ると判別できる場合は、被写体人物は、前面表示パネル6Fの表示を適切に見ることができないと推定できる。
そこでCPU31はステップF303において、被写体距離情報により、被写体が所定以上の遠い位置にあると検出される場合は、ステップF305に進むものとし、前面表示パネル6Fの表示をオフに制御する。
フォーカス情報とは、画像信号処理部41でのオートフォーカスのための処理に用いる合焦状態の判定の情報である。
CPU31は、合焦状態でない場合は、適切なモニタリング画像表示が実行できないとして、ステップF303からステップF305に進み、前面表示パネル6Fの表示をオフに制御することが考えられる。つまり合焦状態となっている場合のみに前面表示パネル6Fでモニタリング表示を実行させるようにする。
ブレ検出情報は、手ブレや撮像装置1の動きの検出情報である。CPU31は例えばぶれ検出部13からの情報としてブレ検出情報を得ることができる。
手ブレが大きい場合、或いはユーザが動きのある被写体に追従するなどして撮像装置1を動かしている場合などは、前面表示パネル6Fでのモニタリング画像は適正に視認できない。そこでCPU31はステップF303において、ブレ検出情報により、ブレや撮像装置1の動きが大きいと判断される場合は、ステップF305に進み、前面表示パネル6Fの表示をオフに制御することが考えられる。
図11のステップF303では、CPU31が以上のようなカメラ検出情報に応じた判断を行うようにすることで、前面表示パネル6Fについて適切な表示制御を行うことができる。
つまり図11の処理によれば、顔検出がされ、かつカメラ検出情報から所定の状態であるとき、即ち人物が被写体となり、かつその人物が適切にモニタリング画像を視認できると考えられる状況において、前面表示パネル6Fでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル6Fにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。
また被写体として人物が存在しない場合や、人物が存在したとしても前面表示パネル6Fでモニタリング画像表示を行っても意味がないとされる場合は、前面表示パネル6Fの表示をオフとする。これにより、より適切に消費電力の節減を図ることができる。
なお、図11の処理例に準じた変形例として、ステップF305では、前面表示パネル6Fの表示をオフとする以外に、図7で述べたように低輝度状態の表示としたり、図8で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
<4−4:人物認識と他の画像解析情報に基づく処理例>

続いて、画像解析部44で行われる画像解析結果として、単なる人物認識に加えて、多様な解析結果情報も考慮して、前面表示パネル6Fの表示制御を行う例を説明する。
画像解析部44での画像解析処理によっては、人物認識や顔認識以外でも各種の画像認識結果を得ることができる。例えば外光光量の判定情報を得ることができる。またフレーム比較での動き検出や画素毎のぼけ量の解析などで、撮像装置1と被写体の相対的な動きの量を判定することもできる。
さらに顔画像が検出された場合の画像認識処理として、画面内での顔のサイズ(1フレームの画像内に占める顔部分の割合)や、顔の向き、視線の向きなどを解析結果として得ることもできる。
ここでは、これらのようにより多様な画像解析結果を用いる場合を述べる。
図12は、モニタリング期間における前面表示パネル6Fについて、CPU31が実行する表示制御例を示している。
モニタリング期間には、CPU31はモニタリング画像を主表示パネル6Mにおいて表示させるとともに、これと並行して前面表示パネル6Fについての表示制御を行うために図12の処理を行う。
CPU31はステップF401では、画像解析部44での画像解析結果を確認する。この例も画像解析部44では、モニタリング期間において、撮像系2で撮像され、カメラDSP4に取り込まれた撮像画像データについての画像解析処理を行い、被写体として人物の顔が含まれているか否かを判定することとする。
但し本例では、画像解析部44は、顔の存在の検出だけでなく、上記したように他にも各種の画像認識処理を行う。
CPU31はステップF401で、その画像解析部44の各種の画像解析結果を確認する。
そしてCPU31は、ステップF402で、画像解析結果の1つとして人物の顔の存在が確認されたか否かを確認し、存在が確認された場合は、処理をステップF403に進める。
またステップF403では、他の画像解析結果を確認し、前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であるか否かを判断して、処理を分岐する。
即ちCPU31は、各種の画像解析結果から、現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態であると判定した場合は、処理をステップF404に進め、前面表示パネル6Fでモニタリング画像表示を実行させる。即ち、主表示パネル6Mに表示させているモニタリング画像を、前面表示パネル6Fにおいても表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(b)のような状態となる。
一方、CPU31はステップF401の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップF405に進め、前面表示パネル6Fの表示をオフに制御する。
またCPU31は、人物の顔は検出されたとしても、ステップF403で他の解析結果から現在は前面表示パネル6Fにおけるモニタリング画像の表示に適した状態でないと判定した場合も、ステップF405で前面表示パネル6Fの表示をオフに制御する。
これらの場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図4(a)のような状態となる。
CPU31は、この図9の処理を、モニタリング期間において繰り返し実行する。
従ってモニタリング期間中に、使用者が、人物の顔が被写体に含まれるように撮像装置1を向けており、かつ、その時点で各種の画像解析結果によって認識される状態が所定の状態であるときは、図4(b)のように前面表示パネル6Fにモニタリング画像が表示される。
一方、風景等、人物を含まない被写体光景を狙っているときや、人物の顔を被写体としているときであっても各種の画像解析結果によって認識される状態が所定の状態でないときは、図4(a)のように前面表示パネル6Fはオフとされる。
顔の存在以外の画像解析結果に応じたステップF403の処理例は以下のようになる。
画像解析結果として、外光光量が判定できる。上述のカメラ検出情報としても説明したが、外光光量が低い場合や、逆光状態など極端に高い場合は、前面表示パネル6Fでのモニタリング表示は良好に視認できないと推定できる。
そこでCPU31は、顔検出がなされた場合であっても、外光光量が所定レベルより低い場合や逆光状態と判定されるような場合は、前面表示パネル6Fでモニタリング画像表示に適切な状況ではないとし、ステップF405で前面表示パネル6Fの表示をオフに制御する。
また画像解析結果として、撮像装置1と被写体の相対的な動きの量が判定できる。つまり、撮像装置1自体がブレたり動いている(ユーザが撮像装置1を動かしている)場合、或いは被写体が動いている場合、或いは双方が動いている場合を判定できる。
これらの場合において動きの量が大きいときは、被写体となっている人物が居たとしても適切に前面表示パネル6Fを視認できないと考えられる。
そこでCPU31はステップF403において、撮像装置1と被写体の相対的な動きが大きいと判断される場合は、ステップF405に進み、前面表示パネル6Fの表示をオフに制御することが考えられる。
画像解析として、単に顔検出だけでなく、顔の大きさ(画面内での顔部分の割合)を判定することができる。
ズーム位置状態にもよるが、或る一定のズーム状態を考えれば、顔の大きさは、撮像装置1からの被写体となっている人物までの距離を判定する指標の1つとなる。
例えばズーム状態がワイド状態であっても顔が小さく撮されている場合は、その人物は遠くに居ると推定できる。
そこでCPU31はステップF403において、ズーム位置を考慮して、顔の大きさにより被写体人物の遠近を判断する。そして、その人物は遠くに居て前面表示パネル6Fの表示内容を見ることができないと判定する場合、ステップF405で前面表示パネル6Fの表示をオフに制御することが考えられる。
また画像解析として、顔の向きや視線の向きを認識することもできる。
撮像画像上で顔が正面方向でない場合、或いは視線が正面方向でない場合は、その被写体人物は撮像装置1を見ていないこととなる。つまり前面表示パネル6Fを見ていないと判断できる。
そこでCPU31はステップF403において、顔の向き、或いは視線方向を確認する。そして、その人物が前面表示パネル6Fの表示内容を見ていないと判定する場合、ステップF405で前面表示パネル6Fの表示をオフに制御することが考えられる。
図12のステップF403では、CPU31が以上のような画像解析結果に応じた判断を行うようにすることで、前面表示パネル6Fについて適切な表示制御を行うことができる。
つまり図12の処理によれば、顔検出がされ、かつ他の画像解析結果から所定の状態であるとき、即ち人物が被写体となり、かつその人物が適切にモニタリング画像を視認できる(或いは視認している)と考えられる状況において、前面表示パネル6Fでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル6Fにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できる。
また被写体として人物が存在しない場合や、人物が存在したとしても前面表示パネル6Fでモニタリング画像表示を行っても意味がないとされる場合は、前面表示パネル6Fの表示をオフとする。これにより、より適切に消費電力の節減を図ることができる。
なお、図12の処理例に準じた変形例として、ステップF405では、前面表示パネル6Fの表示をオフとする以外に、図7で述べたように低輝度状態の表示としたり、図8で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
図13は、上述したスマイルシャッターモードとされている場合に適用できる、上記図12の処理例の変形例である。
図13のステップF401〜F405は図12と同様である。なお、図12ではユーザのレリーズ操作(撮像期間への移行のトリガ)については示していないが、図13では撮像期間への移行する処理までを示している。
画像解析処理によれば、顔検出や上記各種検出に加え、被写体人物の表情判定も可能である。
そこで、被写体人物の存在や他の解析結果に応じて前面表示パネル6Fでモニタリング表示を行っている際に、CPU31はステップF410で被写体人物の表情判定の結果を確認する。
そして表情判定として、笑顔の状態が画像解析結果として得られた場合は、自動的にステップF412に進んでCPU31はレリーズ処理、即ちその時点の撮像画像データの記録処理を行う。
なお、ユーザが手動でレリーズ操作を行った場合には、ステップF411からF412に進んでレリーズ処理を行うことになる。
このように前面表示パネル6Fでのモニタリング表示とスマイルシャッターモード処理を組み合わせることで、被写体となっている人物は、前面表示パネル6Fを自分の表情を見ながら笑顔にすることで、撮像画像の記録が行われるようにすることができる。
[5.再生時の前面表示パネル部の表示制御]

ここまで説明してきた各処理例は、モニタリング期間における前面表示パネル6Fの制御処理例としたが、ここでは再生期間における前面表示パネル6Fの表示制御の例を述べる。
図3で述べたように、ユーザが再生動作を指示する操作を行った場合、再生動作状態(再生期間)に移行する。そして再生期間には、記録媒体90やフラッシュROM33に記録された画像を再生する動作が行われる。
CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録されている画像を読み出し、表示コントローラ7に指示して、主表示パネル6Mでサムネイル画像や1枚の再生画像を表示させる制御を行う。
このときに、前面表示パネル6Fに関しては、CPU31は図14の処理を行う。
即ち再生期間においてCPU31はステップF501では、画像解析部44での画像解析結果を確認する。
なお通常は、再生期間には、通常は撮像系2及びカメラDSPは撮像処理を行う必要はないが、本例の処理を行う場合、撮像系2及びカメラDSPは撮像処理を行うこととする。そして画像解析部44では、撮像系2で撮像され、カメラDSP4に取り込まれた撮像画像データについての画像解析処理を行い、被写体方向に人物が存在する否かを判定する。
CPU31はステップF501で、画像解析部44の画像解析結果を確認し、人物の顔の存在が確認された場合は、処理をステップF502からF503に進める。
ここでCPU31は、現在の主表示パネル6Mでの再生表示状態に応じて処理を分岐する。即ち、現在、主表示パネル6Mにおいて再生画像のサムネイル一覧表示を行っているか、或いは1つの画像を表示しているか否かにより処理を分岐する。
現在、主表示パネル6Mにおいて1枚の再生画像を表示させているのであれば、CPU31は処理をステップF504に進め、前面表示パネル6Fにも、その同じ再生画像データを表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図5(c)のような状態となる。
一方、現在、主表示パネル6Mにおいてサムネイル一覧表示を実行させているのであれば、CPU31は処理をステップF505に進める。この場合、前面表示パネル6Fには、サムネイル一覧表示上でカーソルKで選択中となっている再生画像データを表示させるように表示コントローラ7に指示する。この場合、主表示パネル6Mと前面表示パネル6Fの表示状態は図5(b)のような状態となる。
る。
またCPU31は、再生時であっても、ステップF502で人物の顔の存在が確認されない場合は、処理をステップF502からF506に進め、前面表示パネル6Fをオフとする制御を行う。
このような処理を行うことで、前面側に人がいる場合は、前面表示パネル6F側でも同時に再生画像を見ることができる。従って撮像装置1のユーザと、前面側にいる人物が、再生画像を楽しむことができる。
また図5(b)のように主表示パネル6Mでサムネイル一覧表示を行っている場合は、撮像装置1のユーザがカーソルKを移動させていくことで、前面表示パネル6F側で、選択した再生画像を前面側に居る人物に見せることができる。
また、前面側に見る人がいない場合は、前面表示パネル6Fをオフとして消費電力の削減を図ることができる。
なお、図14の処理例に準じた変形例として、ステップF506では、前面表示パネル6Fの表示をオフとする以外に、図7で述べたように低輝度状態の表示としたり、特定の再生画像やプリセット画像を表示させるような処理例も考えられる。
[6.変形例]

以上、実施の形態としての各種の処理例や変形例を説明してきたが、本発明の実施の形態としてはさらに多様な変形例が考えられる。
図9〜図14の処理例では、画像解析による顔検出によって、前面側に前面表示パネル6Fを視認可能な人物が居るか否かを判定したが、顔検出ではなく、人物検出(画像内での人物の身体の検出)によるものとしてもよい。また近接センサ50による検出結果を用いても良い。
また、前面に人物が居ない、或いは居ても見られない、又は見ていないと判定される場合に、場合前面表示パネル6Fをオフとするか、低輝度表示とするか、再生画像やプリセット画像を表示するかを、ユーザが選択できるようにしてもよい。
実施の形態では、顔認識等による人物の存在検出を前提として、さらにユーザ設定状態、カメラ検出情報(内部検出情報)による判定、或いはさらに他の画像解析結果を組み合わせて前面表示パネル6Fの表示制御を行う例を述べた。これらをさらに組み合わせてもよい。
例えば人物の存在検出と、ユーザ設定状態と、カメラ検出情報とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
また、人物の存在検出と、ユーザ設定状態と、人物認識以外の画像解析結果とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
また、人物の存在検出と、カメラ検出情報と、人物認識以外の画像解析結果とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
また、人物の存在検出と、ユーザ設定状態と、カメラ検出情報と、人物認識以外の画像解析結果とによって、前面表示パネル6Fの表示制御を行う例が考えられる。
実施の形態では、静止画撮像を前提に説明した。しかし本発明は動画撮像にも適用できる。
動画撮像の場合は、上記モニタリング期間が、撮像開始までのスタンバイ期間に相当する。そして上記記録期間が、記録開始から記録終了までの動画記録期間となる。
従って、スタンバイ期間や記録期間において、人物の存在検出、さらにはユーザ設定状態、カメラ検出情報による判定、或いはさらに他の画像解析結果を組み合わせて前面表示パネル6Fの動画表示制御を行うようにすることが考えられる。
本例では撮像装置1として、一般にデジタルスチルカメラと呼ばれる機器を例に挙げたが、例えばビデオカメラ、撮像機能を有する携帯電話機、PDA(Personal Digital Assistant)など、多様な機器において本発明は適用できる。
本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置の動作遷移の説明図である。 実施の形態の撮像装置の画像表示例の説明図である。 実施の形態の撮像装置の画像表示例の説明図である。 実施の形態の人物認識に基づく前面表示パネルの表示制御例のフローチャートである。 実施の形態の人物認識に基づく前面表示パネルの表示制御例のフローチャートである。 実施の形態の人物認識に基づく前面表示パネルの表示制御例のフローチャートである。 実施の形態の人物認識とユーザ設定に基づく前面表示パネルの表示制御例のフローチャートである。 実施の形態の前面表示パネルの自分撮りモードを考慮した表示制御例のフローチャートである。 実施の形態の人物認識とカメラ検出情報に基づく前面表示パネルの表示制御例のフローチャートである。 実施の形態の人物認識と画像解析結果に基づく前面表示パネルの表示制御例のフローチャートである。 実施の形態のスマイルシャッターモードを考慮した前面表示パネルの表示制御例のフローチャートである。 実施の形態の再生時の前面表示パネルの表示制御例のフローチャートである。
符号の説明
1 撮像装置、2 撮像系、3 制御系、4 カメラDSP、5 操作部、6M 主表示パネル、6F 前面表示パネル、7 表示コントローラ、8 外部インターフェース、9 SDRAM、10 媒体インターフェース、13 ブレ検出部、14 発光駆動部、15 フラッシュ発光部、17 レンズ駆動ドライバ、18 絞り/ND駆動ドライバ、19 撮像素子ドライバ21 レンズ機構部、22 絞り/NDフィルタ機構、23 撮像素子部、24 アナログ信号処理部、25 A/D変換部、28 タイミング生成回路、26 レンズ駆動部、27 レンズ位置検出部、31 CPU、32 RAM、33 フラッシュROM、34 時計回路、41 画像信号処理部,42 圧縮/解凍処理部、43 SDRAMコントローラ、44 画像解析部、50 近接センサ

Claims (16)

  1. 装置筐体上で使用者方向に向かって表示を行う第1表示パネル部と、
    装置筐体上で被写体方向に向かって表示を行う第2表示パネル部と、
    上記被写体方向からの入射光を光電変換し、撮像画像信号を得る撮像処理部と、
    上記被写体方向に人物が存在するか否かを検出する人物検出部と、
    上記撮像処理部で得られた撮像画像信号に基づく表示を上記第1表示パネル部で実行させると共に、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する制御部と、
    を備えた撮像装置。
  2. 上記制御部は、上記人物検出部により人物の存在が検出された場合に、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第2表示パネル部で実行させる制御を行う請求項1に記載の撮像装置。
  3. 上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第2表示パネル部の表示をオフとする制御を行う請求項2に記載の撮像装置。
  4. 上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第2表示パネル部において、上記撮像処理部で得られた撮像画像信号に基づく表示を通常動作と比較して低輝度状態で実行させる制御を行う請求項2に記載の撮像装置。
  5. 記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、
    上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第2表示パネル部に、上記画像データ読出部によって読み出した画像データに基づく表示を実行させる制御を行う請求項2に記載の撮像装置。
  6. 上記制御部は、
    上記人物検出部の検出結果と、撮像装置の動作に関する使用者の操作に応じた設定状態とに基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項1に記載の撮像装置。
  7. 上記制御部は、
    上記人物検出部の検出結果と、撮像装置の内部検出情報とに基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項1に記載の撮像装置。
  8. 上記制御部は、
    上記人物検出部の検出結果と、上記撮像処理部で得られた撮像画像信号の画像解析情報とに基づいて、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項1に記載の撮像装置。
  9. 上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、上記被写体方向に人物が存在するか否かを検出する請求項1に記載の撮像装置。
  10. 上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、撮像画像信号内に被写体としての人物の顔が含まれているか否かにより人物検出を行う請求項9に記載の撮像装置。
  11. 上記人物検出部は、上記被写体方向の人物の存在を検出する近接センサにより構成される請求項1に記載の撮像装置。
  12. 記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、
    上記制御部は、上記画像データ読出部で読み出された画像データに基づく表示を上記第1表示パネル部で実行させると共に、上記第2表示パネル部での上記画像データ読出部で読み出された画像データに基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する請求項1に記載の撮像装置。
  13. 上記制御部は、上記第1表示パネル部で、上記画像データ読出部で読み出された複数の画像データの表示を実行させる際には、上記第2表示パネル部では、上記第1表示パネル部で表示された複数の画像データのうちで選択された画像データによる表示を実行させる請求項12に記載の撮像装置。
  14. レンズ系を介して入射された入射光を光電変換し、撮像画像信号を得る撮像処理部と、
    装置筐体上で上記入射光が入射される面に配置された第1表示パネル部と、
    上記第1の表示パネル部と対向する面に配置された第2表示パネル部と、
    被写体方向に人物が存在するか否かを検出する人物検出部と、
    上記撮像処理部で得られた撮像画像信号に基づく表示を上記第1表示パネル部で実行させると共に、上記第2表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する制御部と、
    を備えた撮像装置。
  15. 被写体方向に人物が存在するか否かを検出する人物検出ステップと、
    上記被写体方向からの入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で使用者方向に向かって表示を行うようにされた第1表示パネル部において表示させるとともに、装置筐体上で被写体方向に向かって表示を行うようにされた第2表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップと、
    を有する撮像装置の表示制御方法。
  16. 被写体方向に人物が存在するか否かを検出する人物検出ステップと、
    レンズ系を介して入射された入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で上記入射光が入射される面に配置された第1表示パネル部において表示させるとともに、上記第1の表示パネル部と対向する面に配置された第2表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップと、
    を有する撮像装置の表示制御方法。
JP2008284292A 2008-11-05 2008-11-05 撮像装置、撮像装置の表示制御方法 Expired - Fee Related JP4748204B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008284292A JP4748204B2 (ja) 2008-11-05 2008-11-05 撮像装置、撮像装置の表示制御方法
KR1020090098109A KR20100050392A (ko) 2008-11-05 2009-10-15 촬상 장치, 촬상 장치의 표시 제어 방법
US12/589,400 US8400547B2 (en) 2008-11-05 2009-10-22 Imaging apparatus and display control method in imaging apparatus
CN2009102118558A CN101742101B (zh) 2008-11-05 2009-11-05 成像设备和成像设备中的显示控制方法
US13/753,043 US8582012B2 (en) 2008-11-05 2013-01-29 Imaging apparatus and display control method in imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008284292A JP4748204B2 (ja) 2008-11-05 2008-11-05 撮像装置、撮像装置の表示制御方法

Publications (2)

Publication Number Publication Date
JP2010114568A true JP2010114568A (ja) 2010-05-20
JP4748204B2 JP4748204B2 (ja) 2011-08-17

Family

ID=42130882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008284292A Expired - Fee Related JP4748204B2 (ja) 2008-11-05 2008-11-05 撮像装置、撮像装置の表示制御方法

Country Status (4)

Country Link
US (2) US8400547B2 (ja)
JP (1) JP4748204B2 (ja)
KR (1) KR20100050392A (ja)
CN (1) CN101742101B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017001625T5 (de) 2016-03-31 2018-12-20 Fujifilm Corporation Digitalkamera und Anzeigeverfahren für die Digitalkamera

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748204B2 (ja) * 2008-11-05 2011-08-17 ソニー株式会社 撮像装置、撮像装置の表示制御方法
US8831687B1 (en) * 2009-02-02 2014-09-09 Dominic M. Kotab Two-sided dual screen mobile phone device
KR20110060295A (ko) * 2009-11-30 2011-06-08 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP5761953B2 (ja) * 2009-12-08 2015-08-12 キヤノン株式会社 情報処理装置およびその制御方法
US9471826B2 (en) * 2010-05-21 2016-10-18 Blackberry Limited Determining fingerprint scanning mode from capacitive touch sensor proximate to lens
DE112010005650B4 (de) * 2010-06-09 2014-01-30 Mitsubishi Electric Corporation Bildgebungssystem, Bildgebungsvorrichtung und Anzeigevorrichtung
US8913005B2 (en) * 2011-04-08 2014-12-16 Fotonation Limited Methods and systems for ergonomic feedback using an image analysis module
TWI446275B (zh) * 2011-09-16 2014-07-21 Hon Hai Prec Ind Co Ltd 電子裝置及其使用的監控方法
US20130235245A1 (en) * 2012-03-09 2013-09-12 Research In Motion Corporation Managing two or more displays on device with camera
KR20140104220A (ko) * 2013-02-20 2014-08-28 삼성전자주식회사 투명 디스플레이를 이용하는 전자장치에서 화면전환 방법 및 장치
CN103442170A (zh) * 2013-08-07 2013-12-11 广东欧珀移动通信有限公司 一种拍摄方法及移动终端
US9361502B2 (en) * 2014-07-31 2016-06-07 Symbol Technologies, Llc System for, and method of, controlling target illumination for an imaging reader
CN106161911A (zh) * 2015-03-24 2016-11-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN105049730A (zh) * 2015-08-20 2015-11-11 天脉聚源(北京)传媒科技有限公司 一种图像拍摄方法及装置
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
CN107257439B (zh) * 2017-07-26 2019-05-17 维沃移动通信有限公司 一种拍摄方法及移动终端
CN110618559B (zh) * 2019-09-20 2022-08-19 青岛海信移动通信技术股份有限公司 一种显示装置及其屏幕补光方法
US11165953B1 (en) 2020-12-17 2021-11-02 Gopro, Inc. Framing recommendations by image capture device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228053A (ja) * 2007-03-14 2008-09-25 Nikon Corp カメラ

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0127331B1 (ko) * 1991-12-19 1997-12-29 구자홍 티브이의 시청거리 경고메세지 출력 및 부재시 메세지전달을 위한 음성녹음재생장치 및 그 제어방법
US7173665B2 (en) * 2001-03-30 2007-02-06 Sanyo Electric Co., Ltd. Folding mobile communication terminal
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
JP4536311B2 (ja) * 2002-04-30 2010-09-01 シャープ株式会社 撮影装置、および、それを用いた携帯機器
WO2004027504A1 (ja) * 2002-09-20 2004-04-01 Matsushita Electric Industrial Co., Ltd. 液晶表示装置と液晶表示装置を用いた携帯電話装置
JP2004248055A (ja) * 2003-02-14 2004-09-02 Pentax Corp 被写体像を表示可能なデジタルカメラ及び撮影用表示装置
US20050099533A1 (en) * 2003-11-10 2005-05-12 Casio Computer Co., Ltd. Image capturing apparatus and camera module
JP4254529B2 (ja) * 2003-12-25 2009-04-15 カシオ計算機株式会社 モニタ付き撮像機器
JP2006101466A (ja) * 2004-09-03 2006-04-13 Nikon Corp デジタルスチルカメラ
KR101128075B1 (ko) * 2005-03-15 2012-07-17 삼성전자주식회사 두개의 디스플레이 패널을 갖는 디지털 촬영 장치 및 그제어 방법
JP2007158799A (ja) 2005-12-06 2007-06-21 Sony Corp 撮像装置
US7969497B2 (en) * 2005-11-21 2011-06-28 Sony Corporation Image capturing apparatus having a movable display screen
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
US20090322690A1 (en) * 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP4697289B2 (ja) * 2008-11-05 2011-06-08 ソニー株式会社 撮像装置、撮像装置の表示制御方法
JP4748204B2 (ja) * 2008-11-05 2011-08-17 ソニー株式会社 撮像装置、撮像装置の表示制御方法
JP4670939B2 (ja) * 2008-11-05 2011-04-13 ソニー株式会社 撮像装置、撮像装置の表示制御方法
US8223241B2 (en) * 2008-12-15 2012-07-17 Robbyn Gayer Self shot camera
KR20110015309A (ko) * 2009-08-07 2011-02-15 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
KR20110047613A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 촬영가이드 모드를 제공하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228053A (ja) * 2007-03-14 2008-09-25 Nikon Corp カメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017001625T5 (de) 2016-03-31 2018-12-20 Fujifilm Corporation Digitalkamera und Anzeigeverfahren für die Digitalkamera
US10602069B2 (en) 2016-03-31 2020-03-24 Fujifilm Corporation Digital camera and display method of digital camera

Also Published As

Publication number Publication date
CN101742101A (zh) 2010-06-16
US20100110215A1 (en) 2010-05-06
CN101742101B (zh) 2012-12-12
US20130141623A1 (en) 2013-06-06
KR20100050392A (ko) 2010-05-13
JP4748204B2 (ja) 2011-08-17
US8582012B2 (en) 2013-11-12
US8400547B2 (en) 2013-03-19

Similar Documents

Publication Publication Date Title
JP4748204B2 (ja) 撮像装置、撮像装置の表示制御方法
JP4670939B2 (ja) 撮像装置、撮像装置の表示制御方法
US11696016B2 (en) Imaging apparatus and display control method thereof
US8848097B2 (en) Image processing apparatus, and method, for providing special effect
US9277124B2 (en) Imaging apparatus in which an operating mode can be changed based on a change in incline angle and/or a switch operation
JP5105298B2 (ja) 撮像装置及びそのプログラム
JP5510353B2 (ja) 表示装置、表示方法
JP4807218B2 (ja) 撮像装置及びプログラム
CN101742100B (zh) 成像装置及其显示控制方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees