JP2015059998A - 撮影機器及び撮影方法 - Google Patents

Abstract

【課題】ピントが合っている画像部分についての案内表示を表示することによって、ユーザの撮影操作を効果的に支援する。
【解決手段】 撮影機器は、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定部と、記録する上記撮像画像の各部のコントラストを求める記録画像コントラスト判定部と、上記基準コントラスト判定部が取得した基準コントラストと上記記録画像コントラスト判定部が求めたコントラストとの比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定部と、上記合焦判定部による判定結果を、記録する上記撮像画像と共に上記表示部に表示する表示制御部とを具備する。

【選択図】図１

Description

本発明は、コントラスト法によるオートフォーカスが可能なものに好適な撮影機器及び撮影方法に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。

このような表示部は、携帯機器本体の背面に設けられることが多く、ユーザは撮影時に、背面の表示部に表示されたスルー画を確認しながら撮影操作をすることも可能である。また、この種の撮影機器においては、記録画像を確認するためのレックビュー機能を搭載したものがある。レックビュー機能は、撮像して記録した画像を撮像の直後において所定時間表示させるものである。ユーザは、表示部に表示されたレックビューによって撮影状態を確認することができる。

しかしながら、携帯機器に設けられた表示部のサイズは比較的小さく、表示された画像のサイズも小さいことから、レックビューによって撮像画像の細部まで確認することは容易ではない。このため、撮像画像のピントが合っていない場合等、ユーザが意図していない撮影が行われたとしても、レックビューによって簡単に確認することができないことがある。

そこで、特許文献１においては、画像判定部によって撮影画像が失敗画像であるか否かを判定し、失敗画像の部分領域を拡大表示する技術が開示されている。

特開２００８−９２２９９号公報

しかしながら、特許文献１の提案においては、失敗部分の拡大表示によって失敗部分を確認するようになっており、成功部分や失敗部分を含む撮像画像全体の様子を一目で確認することはできない。例えば、被写界深度が比較的浅い場合には、画像の一部にのみピントが合うようになっており、このような画像について、ユーザは撮像画像の状態を簡単に把握することはできず、また、次回の撮影のための有効な示唆も得られないという問題があった。

本発明は、ピントが合っている画像部分についての案内表示を表示することによって、ユーザの撮影操作を効果的に支援することができる撮影機器及び撮影方法を提供することを目的とする。

本発明に係る撮影機器は、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定部と、記録する上記撮像画像の各部のコントラストを求める記録画像コントラスト判定部と、上記基準コントラスト判定部が取得した基準コントラストと上記記録画像コントラスト判定部が求めたコントラストとの比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定部と、上記合焦判定部による判定結果を、記録する上記撮像画像と共に上記表示部に表示する表示制御部とを具備する。
また、本発明に係る撮影方法は、被写体を撮像し撮像画像を得る撮像ステップと、上記撮像画像を表示部に表示する第１の表示制御ステップと、上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定ステップと、記録する上記撮像画像の各部のコントラストを求める記録画像コントラスト判定ステップと、上記基準コントラスト判定ステップにおいて取得した基準コントラストと上記記録画像コントラスト判定ステップにおいて求めたコントラストとの比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定ステップと、上記合焦判定ステップにおける判定結果を、記録する上記撮像画像と共に上記表示部に表示する第２の表示制御ステップとを具備する。

また、本発明に係る撮影機器は、撮像用の画素及び焦点検出用の画素を備え、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準位相差を上記焦点検出用の画素の出力に基づいて取得する基準位相差判定部と、記録する上記撮像画像の各部について上記焦点検出用の画素の出力に基づく位相差を求める記録画像位相差判定部と、上記基準位相差判定部が取得した基準位相差と上記記録画像位相差判定部が求めた位相差との比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定部と、上記合焦判定部による判定結果を、記録する上記撮像画像と共に上記表示部に表示する表示制御部とを具備する。
また、本発明に係る撮影方法は、撮像用の画素及び焦点検出用の画素を備え、被写体を撮像し撮像画像を得る撮像ステップと、上記撮像画像を表示部に表示する第１の表示制御ステップと、上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準位相差を上記焦点検出用の画素の出力に基づいて取得する基準位相差判定ステップと、記録する上記撮像画像の各部について上記焦点検出用の画素の出力に基づく位相差を求める記録画像位相差判定ステップと、上記基準位相差判定ステップにおいて取得した基準位相差と上記記録画像位相差判定ステップにおいて求めた位相差との比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定ステップと、上記合焦判定ステップにおける判定結果を、記録する上記撮像画像と共に上記表示部に表示する第２の表示制御ステップとを具備する。

本発明によれば、ピントが合っている画像部分についての案内表示を表示することによって、ユーザの撮影操作を効果的に支援することができるという効果を有する。

本発明の第１の実施の形態に係る撮影機器を示すブロック図。 撮影画像における合焦部分と非合焦部分とを説明するための説明図。 本実施の形態における案内表示を説明するための説明図。 カメラ制御を説明するためのフローチャート。 合焦判定を説明するための説明図。 合焦判定を説明するための説明図。 合焦判定の具体例を示すフローチャート。 案内表示の表示例を示す説明図。 合焦状態の判定方法の変形例を示すフローチャート。 本発明の第２の実施の形態に採用されるフローチャート。 横軸にピント位置をとって、丸印によって図５の１〜９の数字で示す各領域１〜９におけるコントラストの変化を示す説明図。 本発明の第３の実施の形態に採用されるフローチャート。 絞りとぼけ量（コントラスト）との関係を説明するための説明図。 横軸にピント位置をとって、丸印によって図５の１〜９の数字で示す各領域１〜９におけるコントラストの変化を示す説明図。 本発明の第４の実施の形態に採用されるフローチャート。 本実施の形態において採用するピントデータベースの内容を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器を示すブロック図である。本実施の形態は、撮像画像の各部について合焦、非合焦の判定に用いるコントラスト（以下、基準コントラストという）を求め、記録する撮像画像の各部のコントラストと基準コントラストとを比較することで合焦状態を判定し、判定結果を表示するものである。例えば、記録直前における合焦時の画像各部のコントラストを基準コントラストとし、記録する画像の各部のコントラストとの変化を検出することで、ピントが合っている画像部分を示す案内表示を表示することを可能にする
図２は撮影画像における合焦部分と非合焦部分とを説明するための説明図であり、図３は本実施の形態における案内表示を説明するための説明図である。

図２（ａ）はユーザ３０が樹木の枝３３を撮影する様子を示している。ユーザ３０は右手３１及び左手３２でカメラの筐体１０ａを保持し、枝３３を撮影範囲に収めた状態でシャッタボタン（図示せず）を押下する。図２（ｂ）〜（ｄ）はこの場合におけるレックビュー表示された撮像画像４１〜４３の例を示している。

図２（ｂ）に示す撮像画像４１は、例えば合焦操作の失敗によって、被写体である枝３３の画像３３ａの全ての部分が非合焦となっていることを示している。図２（ｃ）に示す撮像画像４２は、レックビュー画像では一見ピントが合っているように見えるが、枝３３の画像３３ｂには枝３３が揺れたことなどの理由によってぶれが生じたことを示している。また、図２（ｄ）に示す画像４３は、枝３３の画像３３ｃの一部の領域が合焦部分となっており、他の領域が非合焦部分となっていることを示している。

レックビュー表示は、撮影機器に設けられた比較的小さい表示画面上に表示されることから、合焦部分及び非合焦部分を確認することは容易ではない。この場合でも、図２（ｂ），（ｃ）のように、画像の全ての部分でピントがぼけている場合、ぶれが生じている場合には、レックビュー表示での確認も比較的容易である。しかしながら、図２（ｄ）のように、非合焦部分と合焦部分とが混在している場合には、撮像画像の確認は容易ではない。即ち、ユーザは、撮像画像の各部を順次拡大表示して合焦状態を確認する必要があり、確認作業に長時間を要する。

図２（ｂ），（ｃ）の撮像画像は、明確な失敗画像であり、次の撮影操作のために撮像画像を利用することは困難である。しかし、図２（ｄ）の撮像画像は、一部に合焦部分又は鮮明な部分があるので、この合焦部分等を確認することで、次の撮影操作のための有効な情報が得られることがある。或いは、図２（ｄ）の撮像画像は、ユーザが意図した合焦状態である可能性もある。

そこで、本実施の形態においては、記録前後における画像各部のコントラストの変化を検出することで、ユーザが意図した合焦状態の撮像画像が得られているか否かを判別すると共に、次の撮影操作の為に有効な情報が得られる領域を特定し、この情報を案内表示によってユーザに提示するようになっている。

図３（ａ）は図２（ｄ）と同一のレックビュー表示による画像４３を示している。ここで、ユーザが、画像を確認するために、レックビュー表示を見ながら適当な領域の拡大を指示するものとする。図３（ａ）の領域４４は、ユーザがレックビュー表示上からピントが合っていると想定した領域、或いは、ユーザが撮影時にピントを合わせようとした領域、或いは画面の中央の領域である。

図３（ｂ）は図３（ａ）の撮像画像の一部の領域４４を画面一杯に拡大表示した画像４４ａを示している。画像４４ａ中には、枝３３の一部の拡大画像４４ｂ及び葉っぱの一部の拡大画像４４ｃ等が含まれている。図３（ｂ）の例は、これらの画像４４ｂ，４４ｃにピントが合っておらず、領域４４が非合焦領域であることを示している。ユーザは、この領域４４の拡大画像を見ただけでは、次の撮影操作のための有効な情報を得ることはできない。即ち、予め設定されている中央の領域やユーザが闇雲に指定した領域を拡大しただけでは、次の撮影操作に有効な情報を得られず、有効な情報を得るために、ユーザは拡大領域を順次ずらしながら画面の各部分の状態を確認する必要があった。

これに対し、本実施の形態は、今回の撮影の状態を簡単に把握可能にすると共に、次の撮影操作のための有効な情報が得られる候補の領域を指示する案内表示を表示することができるようになっている。図３（ｃ）は本実施の形態における案内表示の一例を示している。図３（ａ）の撮像画像４３中の一部の領域４５は合焦部分となっており、案内表示によって、この合焦部分が撮像画像４３中のどの位置であるかを示すことができるようになっている。図３（ｃ）では、合焦部分を、近傍に「候補」と表示した四角の枠による案内表示４６によって示している。この案内表示４６は拡大する候補の領域として最適な領域を示すものである。

図３（ｄ）は案内表示４６の部分を拡大した拡大画像４６ａを示している。拡大画像４６ａ中には、ピントが合った葉っぱの画像部分４６ｂが含まれる。この拡大画像４６ａを参照することで、領域４５においてはピントが合っていることをユーザは簡単に確認することができる。また、図３（ｃ）の案内表示４６によって、ユーザが想定しているピント合わせの位置に対して、ピントのずれが奥行き方向にずれていたか手前側にずれていたかを把握することもできる。

また、図３（ｅ）は図３（ｄ）の案内表示４６の部分を拡大した拡大画像４６ａの他の例を示すものである。図３（ｅ）の拡大画像４６ａ中には、ぶれが生じている葉っぱの画像部分４６ｃが含まれる。即ち、図３（ｅ）の例は、領域４５の画像部分にはぶれが生じていることを示している。このように、案内表示４６によって指定された領域４５を拡大することで、ピントのずれやボケについてより詳細な情報を得ることができる。

図１において、本実施の形態における撮影機器１は、本体部１０及び交換レンズ２０によって構成されている。本体部１０は、撮影機器１の主要な回路部分が収納されており、前面に交換レンズ２０が着脱自在に取り付けられている。

交換レンズ２０は、本体部１０の撮像部１２に被写体像を導く光学系２１を有している。光学系２１は、物体側から撮像部１２の撮像面（像面）に至る光軸上に図示しない複数のレンズが配置されて構成される。即ち、光学系２１中には、ピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズ及びフォーカス状態で変倍するズームレンズを有する。また、光学系２１は、これらのレンズ及び絞りを駆動する図示しない機構部を有する。

駆動部２４は光学系２１の機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。なお、絞りは、例えば、光学系２１の所定のレンズ相互間に配置される。

交換レンズ２０には、ユーザによる撮影に関するパラメータ、例えば、ピント、ズームや絞りに関するパラメータの設定操作のために、図示しない操作リング等の操作部が設けられており、操作検出部２７は、この操作部に対するユーザ操作を検出して検出結果を制御部２３に出力するようになっている。制御部２３は、マイコン等によって構成されており、操作検出部２７の検出結果と後述する本体部１０の信号処理及び制御部１１からの信号とに基づいて、交換レンズ２０の各部を制御する。

制御部２３の駆動制御部２３ａは、操作検出部２７の検出結果と信号処理及び制御部１１の制御とに従って各種制御信号を発生する。例えば、駆動制御部２３ａは、フォーカス信号、ズーム信号及び絞り制御信号を発生して、駆動部２４を制御する。駆動部２４は、フォーカス信号に基づいてフォーカスレンズを駆動制御し、ズーム信号に基づいてズームレンズを駆動制御し、絞り制御信号に基づいて絞りを駆動制御する。

状態判定部２５は、ズームレンズ、フォーカスレンズのレンズ位置を判定してレンズ状態を示す信号を制御部２３に出力すると共に、絞り量を判定して絞り状態を示す信号を制御部２３に出力する。制御部２３は、ピント位置、ズーム位置及び絞り量の判定結果を用いて、操作検出部２７の検出結果や信号処理及び制御部１１からの制御信号に応じたピント位置、ズーム位置、絞り量となるように、駆動部２４を制御する。

交換レンズ２０には、通信部２８が設けられている。また、本体部１０には通信部１３が設けられている。通信部２８は、所定の伝送路を介して本体部１０の通信部１３との間で情報の送受を行う。制御部２３は、本体部１０の通信部１３との間の通信が確立すると、記録部２９に格納したレンズ固有の情報及びズーム操作に関する情報、ピント位置、絞り状態等の情報をレンズ情報として通信部２８，１３によって本体部１０に送信させることができる。

本体部１０は、レンズ情報により、交換レンズ２０がどのようなズーム機能を有しているか、ズームレンズの焦点距離範囲（倍率）、焦点距離、最短焦点距離、無限遠距離、明るさナンバー等を認識することができる。また、制御部２３は、操作検出部２７の検出結果の情報も本体部１０に送信するようになっている。

撮影機器１を構成する本体部１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１２を有している。撮像部１２は、本体部１０の前面に設けられた交換レンズ２０からの被写体像を光電変換して撮影画像を得る。撮像部１２は、信号処理及び制御部１１によって駆動制御されて、撮像画像を出力する。

信号処理及び制御部１１は、例えばＣＰＵ等によって構成されて撮影機器１の各部を制御する。信号処理及び制御部１１は、撮像部１２に撮像素子の駆動信号を出力すると共に、撮像部１２からの撮像画像を読み出す。信号処理及び制御部１１は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

本体部１０には、時計部１４及び操作判定部１５も配設されている。時計部１４は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部１５は、本体部１０に設けられた図示しないレリーズボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部に対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

信号処理及び制御部１１は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、信号処理及び制御部１１は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部１９に与えて記録させることができる。記録部１９としては、例えばカードインターフェースを採用することができ、記録部１９はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。本実施の形態において、記録部１９には、後述するように、各画像部分のコントラストを記述したテーブル１９ａが記録されるようになっている。

信号処理及び制御部１１の表示制御部１１ａは表示に関する各種処理を実行する。表示制御部１１ａは、信号処理後の撮影画像を表示部１７及び接眼表示部１８に与えることができる。表示部１７及び接眼表示部１８は、ＬＣＤ等の表示画面を有しており、表示制御部１１ａから与えられた画像を表示する。また、表示制御部１１ａは、各種メニュー表示等を表示部１７及び接眼表示部１８の表示画面に表示させることもできるようになっている。

また、本体部１０には、ユーザが目を接眼表示部１８に近接させたことを検出するアイセンサ１８ａが設けられている。アイセンサ１８ａの検出結果によって、信号処理及び制御部１１は、ユーザが目を接眼表示部１８に近接させたか否かを判定することができるようになっている。

信号処理及び制御部１１は、記録部１９に記録されている撮像画像を読み出して伸張処理することができる。表示制御部１１ａは伸張処理された撮像画像を表示部１７や接眼表示部１８に与えることで、記録画像の再生が可能である。

表示部１７は、後述するように、撮像画像を表示する表示画面１７ｂを有している。また、表示画面１７ｂ上には、タッチパネル１７ａが設けられている。タッチパネル１７ａは、ユーザが指で指し示した表示画面１７ｂ上の位置に応じた操作信号を発生することができる。この操作信号は、信号処理及び制御部１１に供給される。これにより、信号処理及び制御部１１は、ユーザが表示画面１７ｂ上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部１７は、本体部１０の例えば背面の略全域を占めるように配設されており、撮影者は、撮影時に表示部１７の表示画面１７ｂ上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

本体部１０には、振動判定部１６が設けられている。振動判定部１６は、ジャイロセンサ、加速度センサ等によって構成されており、本体部１０を収納する筐体のぶれや振動を検出することができるようになっている。振動判定部１６の判定結果は信号処理及び制御部１１に与えられる。

また、本体部１０には、手ブレ補正部１２ａが設けられている。手ブレ補正部１２ａは、信号処理及び制御部１１に制御されて、手ブレの状態に応じて撮像部１２を制御することにより、撮像部１２から手ブレの影響を除去した撮像画像を出力させるようになっている。

本実施の形態においては、上述したように、撮像画像についてユーザが合焦状態を確認することを容易にすると共に、次回の撮影操作にとって有効な情報が得られるように、案内表示を表示することができる。

このような案内表示を表示させるために、本実施の形態においては、信号処理及び制御部１１は、顔検出部１１ｂ、コントラスト判定記録部１１ｃ、合焦判定部１１ｄ及びレックビュー制御部１１ｅを有している。

顔検出部１１ｂは、撮像画像に対する公知の手法によって、撮像画像から顔検出処理を行う。例えば、顔検出部１１ｂは、顔の明るさの特徴をモデル化した複数の濃淡画像と撮影画像とを順次比較することで、人物の顔を検出することもできる。また、顔検出部１１ｂは、人物の顔だけでなく、人物の体全体を検出することも可能である。更に、顔検出部１１ｂは、例えばパターン判定により、ペットや特定の物体の被写体又はその一部等の領域を検出することも可能である。

コントラスト判定記録部１１ｃは、基準コントラストを求めると共に、記録する画像のコントラストを求める。コントラスト判定記録部１１ｃは、ピント位置を変化させながら撮像画像の各部のコントラストを判定することができる。例えば、コントラスト判定記録部１１ｃは、撮像画像を複数の領域に分割し、分割した各部のコントラストを判定する。コントラスト判定記録部１１ｃは、求めた各部のコントラストを記述したテーブル１９ａを記録部１９に記録する。コントラスト判定記録部１１ｃは、コントラストが最も大きくなったピント位置を合焦位置と判定し、例えば、このピント位置におけるコントラストを合焦時の基準コントラストとする。

例えば、コントラスト判定記録部１１ｃは、いわゆる山登り方式のオートフォーカスによって各部毎に求められたコントラストを記録するようにしてもよい。また、コントラスト判定記録部１１ｃは、マニュアルフォーカスによる各ピント位置における撮像画像の各部のコントラストを求めて記録するようにしてもよい。コントラスト判定記録部１１ｃによるコントラストの判定及び記録は、例えば実際の撮影の直前に行われる。直前と書いたのは、被写体と撮影者の位置関係が、撮影時と大きく変わっていない事が重要だということで、比較的固定された状況や、焦点深度、被写界深度が深い状態では、これに限る必要はない。画像を比較して、状況が変わっていないことを判定して、記録結果が有効かどうかを判定しても良い。複数のピント位置での結果を持っていれば、基準としての信頼性が高まる。
なお、このコントラスト情報は、ピント合わせ時の相対変化が重要で、もともとコントラストが低い物のジャスピン（ピントがぴったり合った状態の通称）状態と、もともとコントラストの高いもののジャスピンでない状態では、ジャスピン状態のものの方がコントラストが低かったりするので、図５のように、ピント合わせによって、コントラストがどのような変化をするかを判定しなければ、正しいピント合わせ制御は困難である。したがって、ピント合わせ時のコントラスト情報は、同じ被写体部位に対しては比較が有効であるが、異なる被写体同士では比較は、ピントの判定という意味では意味をなさない。そこで、ピント合わせ時のコントラスト変化の情報を持つことに意味がある。画像のどの位置で、どのようなコントラストが得られたかを比較してもよいが、同じ被写体同士を画像判定で比較してもよい。また、コントラスト判定、記録部位は多いほど情報量を増加させられるが、記録容量や通信スピードに影響するので、特定のブロックや特定の特徴画像（顔など）についてのみデータを残すようにしても良い。

また、コントラスト判定記録部１１ｃは、撮影されて実際に記録される撮像画像の各部のコントラストを求めて、記録部１９に記録させるようになっている。

合焦判定部１１ｄは、記録される撮像画像の各部のコントラストを記録部１９から読出す。また、合焦判定部１１ｄは、記録部１９に記録されたテーブル１９ａの情報（基準コントラスト）を読み出す。合焦判定部１１ｄは、記録される撮像画像の各部のコントラストとテーブル１９ａに記述されている撮影直前（記録直前）における各部のコントラストとを撮像画像の各部毎に比較する。即ち、合焦判定部１１ｄは、記録前のコントラストと記録後のコントラストとを撮像画像の各部毎に比較することで、撮像画像の各部毎に合焦の状態を判定する。合焦判定部１１ｄは、判定結果をレックビュー制御部１１ｅに出力する。

例えば、合焦判定部１１ｄは、顔検出による主被写体の位置や、画面中央の位置や、最も近い被写体の位置等、ピントを合わせることを想定した領域（以下、ピント合わせ想定部という）についてのコントラストを調べる。なお、マニュアルフォーカス時においては、マニュアルフォーカスを支援するために、ユーザが指定した領域を部分拡大して表示することがあり、この場合には、部分拡大する領域をピント合わせ想定部にしてもよい。また、ピーキング機能時にユーザが指定した領域をピント合わせ想定部にしてもよい。

ピント合わせ想定部におけるコントラストが記録後において記録前よりも同等以上に大きくなった場合には、合焦に関して撮影が成功したものと判定する。この場合には、合焦判定部１１ｄは、ピント合わせ想定部を拡大表示するのに適した領域の候補（以下、拡大候補領域という）に設定してもよい。

また、例えば、合焦判定部１１ｄは、ピント合わせ想定部についてのコントラストが、記録後において記録前よりも小さくなった場合には、ピント合わせ想定部以外の他の部分についてのコントラストが、記録後において記録前よりも同等以上に大きくなったか否かを判定する。そのような部分が存在する場合には、当該部分を拡大候補領域であるものと判定する。合焦判定部１１ｄは、判定結果をレックビュー制御部１１ｅに出力する。

レックビュー制御部１１ｅは、表示制御部１１ａを制御することで、撮影直後において信号処理及び制御部１１によって撮像部２から取り込まれて画像処理された撮像画像を、レックビュー画像として接眼表示部１８又は背面表示部１７の表示画面上に表示させるレックビュー表示を行う。本実施の形態においては、レックビュー制御部１１ｅは、合焦判定部１１ｄの判定結果が与えられ、判定結果に基づく案内表示をレックビュー表示に重ねて表示画面上に表示させるようになっている。

例えば、レックビュー制御部１１ｅは、拡大候補領域の位置を示す枠による案内表示を表示させる。また、レックビュー制御部１１ｅは、枠の近傍に拡大表示の候補の位置であることを示す「候補」の文字を表示させるようにしてもよい。

更に、レックビュー制御部１１ｅは、ユーザの拡大操作又はレックビュー表示から所定の時間経過後に、拡大候補領域を表示画面一杯に拡大表示するようにしてもよい。

次に、このように構成された実施の形態の動作について図４乃至図８を参照して説明する。図４はカメラ制御を説明するためのフローチャートであり、図５及び図６は合焦判定を説明するための説明図である。図７は合焦判定の具体例を示すフローチャートであり、図８は案内表示の表示例を示す説明図である。

撮影機器１の電源が投入されると、信号処理及び制御部１１は、図４のステップＳ１において、撮影モードが指示されたか否かを判定する。撮影モードが指示されると、信号処理及び制御部１１は、ステップＳ２において、カメラ撮影制御を行う。これにより、信号処理及び制御部１１は、撮像部１２から画像信号を取得し、表示部１７に撮像画像（スルー画）をライブビュー表示させる。信号処理及び制御部１１は、ステップＳ３において、顔検出処理、ピント合わせ処理、コントラスト判定処理及びコントラストの記録処理等を行う。

即ち、顔検出部１１ｂは、撮像画像中の顔を検出して検出結果をコントラスト判定記録部１１ｃに出力する。信号処理及び制御部１１は、被写体の検出結果に従って被写体を追尾しながらピント合わせ処理（オートフォーカス処理）を行ったり、予め設定された位置、例えば、画面中央の位置にピントを合わせるようにオートフォーカス処理を行う。

コントラスト判定記録部１１ｃは、このピント合わせ処理、例えば、山登り方式のオートフォーカス処理において求められた各レンズ位置におけるコントラストを撮像画像の各部毎に記録する。即ち、コントラスト判定記録部１１ｃは、ピント合わせ想定部だけでなく、撮像画像の各部におけるコントラストを判定する。各レンズ位置における撮像画像の各部のコントラストによるテーブル１９ａが作成されて記録部１９に記録される。ここで注意すべきは、このコントラスト情報は、ピント合わせによって、コントラストがどのような変化をするかを判定した結果と、撮影した後の、同じ被写体部位のコントラストを比較することが重要である。ピント合わせ時のコントラスト情報は、同じ被写体部位に対しては比較が有効であるが、異なる被写体同士では比較は、ピントの判定という意味では意味をなさないので、同じ被写体部位（顔など）で比較する必要がある。厳密に言えば、同じ顔でも、動きによって光線の当たり方が変わって、厳密なピント変化によるコントラスト変化が生じうるので、このような場合は、色分布や陰影分布で画像の一致度を判定してから、極端な変化がないときにのみ、コントラスト比較を有効にしても良い。つまり、このように、被写体にピントがあったかどうかを判定するための基準コントラストは、そのときの状況、被写体等によって異なる。このような問題を解決するには、画面内の同じ部位同士を撮影前後で比較したり、撮影前後の画像を比較して同じ形状や色のものなどを比較対象とする。同様の考え方で、撮影前より撮影時にむしろピントが良くなった被写体も判定しようとしている。撮影前に複数のピント位置での結果を持っていれば、判定基準としての信頼性が高まる。

図５は表示画面１７ｂ上に表示されているスルー画５１と、コントラストの判定領域との関係を示している。図５は画面中央の１〜９の数字を配置した枠にて示す９箇所の部分にて、コントラストが判定されることを示している。なお、図５のスルー画５１中には、図２（ａ）の枝３３を撮像して得られた枝の画像５１ａを含む。

図６は横軸にピント位置をとって図５の１〜９の数字で示す各領域（以下、領域１〜９という）におけるコントラストの変化を示している。なお、領域５はピント合わせ想定部である。図６の縦線は撮影直前におけるピント位置を示しており、このタイミングでは、領域５のコントラストが最も高く、領域５にピントが合っている状態になっていることが分かる。図６に示す各領域１〜９の各ピント位置におけるコントラストが、テーブル１９ａに記録される。

ステップＳ４では、撮影操作が行われたか否かが判定される。例えばレリーズボタン操作等によって静止画撮影が指示されると、信号処理及び制御部１１は、撮影を行う。即ち、信号処理及び制御部１１は、撮像部１２からの撮像画像に信号処理を施して圧縮した後、記録部１９に与えて記録する。また、コントラスト判定記録部１１ｃは、撮影されて記録される撮像画像の各画像部分（被写体）についてコントラストを求め、求めたコントラストを記録部１９に記録する（ステップＳ５）。

次に、信号処理及び制御部１１は、ステップＳ６において、レックビューの表示時間を監視しながら、記録した撮像画像を表示部１７に与えてレックビュー表示させる（ステップＳ７）。レックビューの表示開始から所定の時間が経過すると、信号処理及び制御部１１は、ステップＳ１２において電源オフ操作があったか否かを判定する。電源オフ操作があるまでは、ステップＳ１〜Ｓ１１の処理が繰り返される。電源オフ操作が行われると、信号処理及び制御部１１は、電源をオフにして処理を終了する。

本実施の形態においては、レックビュー表示期間において、撮像画像中の合焦状態に基づく案内表示をユーザに提示することができる。即ち、合焦判定部１１ｄは、ステップＳ８において、合焦状態を判定する。

図７はこの場合の動作フローを示しており、合焦判定部１１ｄは、ステップＳ３１において、テーブル１９ａから撮影直前の各部のコントラストを読出す。次に、合焦判定部１１ｄは、ステップＳ３２において記録部１９に記録されている各部のコントラストを読出す。次に、合焦判定部１１ｄは、撮影直前のコントラストが合焦時の基準コントラストであるものとし、この基準コントラストと記録される撮像画像のコントラストとを各部毎に比較する（ステップＳ３３）。

合焦判定部１１ｄは、撮影直前にコントラストが最も高い領域、即ち、ピント合わせ想定部における撮影直前のコントラスト（基準コントラスト）と、記録される撮像画像の同一領域のコントラストとが同等であるか否か、又は撮影直前のコントラスが低下していないか否かを判定する（ステップＳ３４）。撮影直前のコントラストが記録される撮像画像のコントラストに比べて同等以上である場合には、当該ピント合わせ想定部を拡大表示の候補とする（ステップＳ３５）。また、この場合には、合焦判定部１１ｄは、撮影は成功したものと判定してもよい。

また、合焦判定部１１ｄは、撮影直前にコントラストが最も高い領域、即ち、ピント合わせ想定部における撮影直前のコントラストよりも、記録される撮像画像の同一領域のコントラストの方が大きい場合には、ピント合わせ想定部以外の部分において、記録される撮像画像のコントラストが撮影直前のコントラストよりも大きくなった部分を検出する（ステップＳ３６）。そのような部分が存在しない場合には、処理をステップＳ３５に移行し、存在する場合には、処理をステップＳ３７に移行して、当該部分を拡大表示の候補とする。

図６は黒丸によって記録される撮像画像の領域５，３におけるコントラストを示しており、領域５は撮影直前よりもコントスラトが低下し、領域３では撮影直前よりもコントラストが増大したことを示している。従って、図６の例では、領域３が拡大表示の候補に設定される。

レックビュー制御部１１ｅは、合焦判定部１１ｄの判定結果が与えられて、表示画面上にピントが合っている領域であって拡大候補の領域を示す案内表示４６（図３（ｃ）参照）を表示する（ステップＳ９）。レックビュー制御部１１ｅは、ステップＳ１０において、ユーザによる拡大操作の有無を判定する。拡大操作があった場合には、レックビュー制御部１１ｅは、拡大表示の候補の領域を拡大表示する（ステップＳ１１）。
このように、ここでは、領域ごとの変化を見て、撮影前のコントラスト変化を基準とし、同じ領域で撮影後にコントラストがどうなったを判定している。大きなぶれや、大きな被写体の画面内の揺れがなければ、この方法は有効であるが、撮影前後で被写体の画面内位置が変わってしまう場合などは、領域ごとでなく、上下左右に被写体が揺れた場合を想定し、隣接領域（ブロック）のコントラストデータを利用したり、同じ画像を追尾した結果で、コントラスト変化を判定しても良い。ここでは、このような領域分割で同じ領域の利用という例で単純化したが、他に隣接領域の利用、類似画像判定などを駆使して、同じ被写体に対するコントラスト変化を撮影前後で判定しようとしている。
また、同じ領域であっても、図６のような撮影前のコントラストカーブを判定して、このカーブに即した（このカーブ内で検出された）コントラスト変化なら信用に値するが、比較してあまりに大きな変化であれば、コントラストが上昇しても、ピントが合ったという判定はしないようにする。つまり、複数のピント位置での結果を持っていれば、基準としての信頼性が高まる。
つまり、図７のＳ３６の上昇判定で、上昇判定結果が所定量を超えたり、コントラスト変化カーブで検出された値を外れる場合はＮｏに分岐するようにする。
また、Ｓ３６の判定も、想定部以外のコントラストが上昇しているかどうかを、分割された領域内のコントラスト変化で判定するのみならず、画像認識や追尾を行って、追尾した結果、同じ被写体のコントラストが上昇した場合は、Ｓ３６をＹｅｓに分岐するようにしても良い。つまり、上記基準コントラストは、合焦制御時に得られたコントラスト変化データに従って得られた値であり、それは同一ブロック（領域）隣接ブロック（領域）の値を利用したり、被写体追尾して、撮影前後で同じ被写体を判定して利用できるようにする。同様の考え方で、撮影前より撮影時にむしろピントが良くなった被写体も判定しようとしている。つまり、以上の処理は、上記基準コントラストは、撮影前後の同じ被写体に対するコントラストを利用して決定するとも言え、撮影後の被写体から、撮影前の被写体のコントラスト情報を選択して判定するようにしても良い。

図８は案内表示及び拡大表示の表示例を示している。図８（ａ）は、表示画面１７ｂ上に、撮像画像全体の縮小画像６１ａ及び候補領域の拡大画像６２ａを２画面表示する例を示している。縮小画像６１ａ中に案内表示４６が表示されている。また、図８（ｂ）は、表示画面１７ｂ上に撮像画像全体を親画像６１ｂとして親画面表示し、表示画面の一部の領域に拡大画像６２ｂを子画面表示する例を示している。親画像６１ｂ中に案内表示４６が表示されている。また、図８（ｃ）は、表示画面上に拡大画像６２ｃを親画面表示し、表示画面の一部の領域に撮像画像全体を子画像６１ｃとして子画面表示する例を示している。子画像６１ｃ中に案内表示４６が表示されている。ステップＳ１１においては、ユーザ操作に従って、図８の各表示の切り換えが可能である。

ユーザは図８の表示によって、撮影が失敗したか成功したかを比較的簡単に把握することができる。また、撮影が失敗している場合でも、拡大表示を参照することで、次の撮影操作の有効な示唆を得ることができる。

信号処理及び制御部１１は、図４のステップＳ１において撮影モードが指示されていないものと判定した場合には、ステップＳ１５において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部１１は、ステップＳ１６において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップＳ１７からステップＳ１８に処理を移行して、信号処理及び制御部１１は選択画像の再生を行う。なお、信号処理及び制御部１１は、ステップＳ２４において再生が終了したものと判定すると、ファイル一覧表示（ステップＳ１６）を繰り返す。ファイル選択が行われない場合には、ステップＳ１９において再生モードの終了を判定する。

本実施の形態においては、再生時においても合焦状態の確認が可能である。信号処理及び制御部１１は、ステップＳ２０において、合焦状態の確認を行うための操作が行われた否かを判定する。この操作が行われない場合には、処理をステップＳ２４に移行して再生モードの終了が判定される。合焦状態の確認のための操作が行われると、ステップＳ２１〜Ｓ２３において、ステップＳ８〜Ｓ１０と同様の処理が行われる。即ち、再生時においても、案内表示及び候補領域の拡大表示が行われる。

このように本実施の形態においては、記録直前の撮像画像の各部のコントラストと記録後の撮像画像の各部のコントラストとを比較することによって、合焦状態を判定して判定結果をユーザに提示するようになっている。これにより、ピントを合わせを行った部分のピントが合った撮像画像が得られたか否かを一目で確認することができる。また、ピントを合わせを行った部分以外でピントが合った部分がどこにあるかを簡単に確認することができると共に、その部分の拡大画像を簡単に確認することができ、撮影の分析を自分で行うことで、次回の撮影操作に有効な示唆を容易に得ることができる。

（変形例）
図９は合焦状態の判定方法の変形例を示すフローチャートであり、図７に代えて採用することができる。図９の例は、山登りコントラスト方式に代えて像面位相差法によるフォーカス制御を利用したものである。即ち、本変形例は、撮像画像の各部について合焦、非合焦の判定に用いる位相差（以下、基準位相差という）を求め、記録する撮像画像の各部の位相差と基準位相差とを比較することで合焦状態を判定し、判定結果を表示するものである。例えば、記録直前における合焦時の画像各部の位相差を基準位相差とし、記録する画像の各部の位相差との変化を検出することで、ピントが合っている画像部分を示す案内表示を表示することを可能にする
像面位相差法においては、被写体からの各光路を射出瞳において例えば右方向と左方向とに分割して、右方向からの光束（右光束）と左方向からの光束（左光束）とを撮像素子の撮像面（受光面）に入射させる。撮像素子に、右光束を受光する画素（以下、Ｒ画素という）と左光束を受光する画素（以下、Ｌ画素）とを構成して、右光束と左光束とをＲ画素とＬ画素（以下、これらをＡＦ画素という）の各撮像面に別々に結像させる。

Ｒ画素とＬ画素とに夫々入射する画像信号同士の撮像面上における位相差は、ピントのずれ量に比例する。従って、ＡＦ画素から得た位相差と所定の演算パラメータを用いて、デフォーカス量及びデフォーカス方向を算出することができる。撮像部１２の撮像画素中には、画像を生成するための通常の画素の他に、画面の各部にＡＦ画素が配置されており、ＡＦ画素の画素値から画面の各部におけるピントのずれ量を求めることができる。

合焦判定部１１ｄは、ステップＳ４１において、テーブル１９ａから撮影直前の各部の位相差を基準位相差として読出す。次に、合焦判定部１１ｄは、ステップＳ４２において記録部１９に記録されている各部の位相差を読出す。次に、合焦判定部１１ｄは、撮影直前の位相差と記録された撮像画像の位相差とを各部毎に比較する（ステップＳ４３）。なお、撮像部１２から出力される撮像画像には、通常画素及びＡＦ画素のデータが含まれている。信号処理及び制御部１１は、圧縮処理前の撮像画像からＡＦ画素のデータを取りだして、撮像画像の各部の位相差を取得することができる。

合焦判定部１１ｄは、撮影直前に位相差が最も小さい領域、即ち、ピント合わせ想定部における撮影直前の位相差（基準位相差）と、記録された撮像画像の同一領域の位相差とが同等であるか否か、又は撮影直前の位相差が増大していないか否かを判定する（ステップＳ４４）。記録された撮像画像の位相差が撮影直前の位相差に比べて増大していない場合には、当該ピント合わせ想定部を拡大表示の候補とする（ステップＳ４５）。また、この場合には、合焦判定部１１ｄは、撮影は成功したものと判定してもよい。

また、合焦判定部１１ｄは、撮影直前に位相差が最も小さい領域、即ち、ピント合わせ想定部における撮影直前の位相差よりも、記録された撮像画像の同一領域の位相差の方が大きい場合には、ピント合わせ想定部以外の部分において、記録された撮像画像の位相差が撮影直前の位相差よりも低下した部分を検出する（ステップＳ４６）。そのような部分が存在しない場合には、処理をステップＳ４５に移行し、存在する場合には、処理をステップＳ４７に移行して、当該部分を拡大表示の候補とする。
このように、ここでは、領域ごとの変化を見て、撮影前の位相差を基準とし、同じ領域で撮影後に位相差がどうなったを判定している。大きなぶれや、大きな被写体の画面内の揺れがなければ、この方法は有効であるが、撮影前後で被写体が変わってしまう場合などは、領域ごとでなく、同じ画像を追尾した結果で、位相差変化を判定しても良い。つまり、Ｓ４４で位相差が増大した場合、ピント合わせ対象が、横のブロックに揺れただけの場合があり得る。この場合は、失敗写真ではないかもしれず、狙った被写体と同じ形状や色のものを被写体判定して追尾し、その位相差が良好なら、その部分を拡大すればよい。上記基準位相差情報は、撮影前後の同じ被写体に対する位相差情報を利用して決定するようにしても良い。
この場合は、Ｓ４４で、像を追尾した結果で位相差判定してＹｅｓに分岐するような設計にしても良いし、Ｓ４４では同一エリアでの比較とし、仮にとなりのブロックやエリア、領域に被写体がずれても、Ｓ４６で救えるようにすれば良い。この場合もＹｅｓに分岐して、ピントの合った部分が拡大され視認確認可能である。この場合、ピント合わせした領域の隣接ブロックを重点的に検出するようにしたり、あまりに大きく離れたブロックは見ないようにしても良い。また、複数のピント位置での位相差変化の結果を持っていれば、基準として使ってピント変化の状況を判断する時の信頼性が高まる。例えば、撮影前と後で、同じ被写体の位置がずれたのか、完全に消失して、別被写体が現れたのか、などの判定が可能となる。
大きなぶれや、大きな被写体の画面内の揺れがなければ、同じブロック（領域）の位相差情報を利用する方法は有効であるが、撮影前後で被写体の画面内位置が変わってしまう場合などは、領域ごとでなく、上下左右に被写体が揺れた場合を想定し、隣接領域（ブロック）の位相差データを利用したり、同じ画像を追尾した結果で、位相差変化を判定しても良い。ここでは、このような領域分割で同じ領域の利用、隣接領域の利用、類似画像判定などを駆使して、同じ被写体に対する位相差変化を撮影前後で判定しようとしている。
このような用途があるため、撮影時の画像から画像ファイル等に位相差情報を記録しておくと、狙った部分にピントが合ったかどうかが撮影後、いつでも判定しやすい。同様の考え方で、撮影前より撮影時にむしろピントが良くなった被写体も判定しようとしている。

このように、図９の変形例では、像面位相差法を利用した合焦判定が可能である。

（第２の実施の形態）
図１０は本発明の第２の実施の形態に採用されるフローチャートである。図１０において図４と同一の手順には同一符号を付して説明を省略する。なお、図１０では再生時の動作フローは図示を省略している。本実施の形態のハードウェア構成は第１の実施の形態と同様である。また、図１１は横軸にピント位置をとって、丸印によって図５の１〜９の数字で示す各領域１〜９におけるコントラストの変化を示す説明図である。

第１の実施の形態においては、撮影直前の各部のコントラストを合焦時の基準コントラストとし、基準コントラストと記録する撮像画像の各部のコントラストとを比較することで、合焦状態を判定した。しかし、撮影直前にオートフォーカスが行われずにマニュアルフォーカスが行われた場合には多くのピント位置でのコントラスト判定が行われないことがあることから、画像各部においてピント位置に応じたコントラストの変化を、合焦判定に必要な分だけ記録することができないことが考えられる。

そこで、本実施の形態においては、撮影直後において、レンズを高速に微小振動させるウォブリング動作を実施させることで、撮影後において合焦判定に用いる各部のコントラストを基準コントラストとして取得する。撮影後の極めて短い時間にウォブリング動作を行うことで、撮影時と略同様の撮影範囲の画像について基準コントラストを求めることができる。

ウォブリング動作によって撮影時に対してピント位置が遠側及び近側にずれた状態の２つの基準コントラストが各部毎に求められる。撮影時におけるコントラストは、記録する撮像画像から取得することができる。撮像画像の各部において、撮影時におけるコントラストが遠側及び近側にピント位置をずらした場合の２つの基準コントラストよりも大きいか否かによって、各部における合焦状態を判定することができる。

図１０において、ステップＳ３’は、図４のステップＳ３と同様の処理が行われるが、本実施の形態のステップＳ３’においては、コントラストの判定及び記録処理は不要である。撮影操作に応答して、ステップＳ５０では撮影及び撮像画像の記録が行われる。

次のステップＳ５１においては、コントラスト判定記録部１１ｃは、撮影時のピント位置を遠側にずらす。コントラスト判定記録部１１ｃは、次のステップＳ５２において、撮像部１２からの撮像画像が与えられて、各部のコントラストを求める。こうして、撮影時のピント位置よりも遠側にずらされたピント位置での各部のコントラストが求められる。

同様にして、コントラスト判定記録部１１ｃは、ステップＳ５３において、ピント位置を撮影時のピント位置から近側にずらし、その状態において撮像された画像から各部のコントラストを求める（ステップＳ５４）。こうして、撮影時のピント位置よりも近側にずらされたピント位置での各部のコントラストが求められる。

コントラスト判定記録部１１ｃは、ステップＳ５５において、記録される撮像画像の各部のコントラスト、即ち、撮影時における各部のコントラストを求める。コントラスト判定記録部１１ｃの判定結果は合焦判定部１１ｄに与えられる。

合焦判定部１１ｄは、ステップＳ５６において、合焦状態を判定する。即ち、合焦判定部１１ｄは、撮像画像の各部について、撮影時のコントラストとピント位置を遠側及び近側にずらした場合のコントラストとを比較する。合焦判定部１１ｄは、ピント合わせ想定部において、撮影時のコントラストがピント位置を遠側及び近側にずらした場合の基準コントラストの両方よりも大きい場合には、ピント合わせ想定部を拡大表示の候補とする。また、この場合には、合焦判定部１１ｄは、合焦に関して撮影が成功したものと判定してもよい。

また、合焦判定部１１ｄは、ピント合わせ想定部において、撮影時のコントラストがピント位置を遠側及び近側にずらした場合のコントラストのいずれか一方よりも小さい場合には、ピント合わせ想定部以外の各部分について、撮影時のコントラストがピント位置を遠側及び近側にずらした場合のコントラストの両方よりも大きいか否かを判定する。そのような部分が存在しない場合には、ピント合わせ想定部を拡大表示の候補とし、存在する場合には、当該部分を拡大表示の候補とする。

図１１は領域５において、撮影時のコントラストに比べてピント位置を遠側にずらした場合のコントラストの方が大きい。一方、領域３については、撮影時のコントラストは、ピント位置を遠側及び近側にずらした場合のコントラストのいずれよりも大きい。従って、図１１の例では、領域３が拡大表示の候補に設定される。この場合も、同一領域（ブロック）で撮影前後で比較するだけでなく、被写体が縦横にずれて隣のブロックにずれた場合も考慮し、隣接ブロックのコントラスト変化を基準に、ピントが合ったかどうかを判定してもよく、被写体追尾結果を併用しても良いことは言うまでもない。大きなぶれや、大きな被写体の画面内の揺れがなければ、同じ領域で判定する方法は有効であるが、撮影前後で被写体の画面内位置が変わってしまう場合などは、領域ごとでなく、上下左右に被写体が揺れた場合を想定し、隣接領域（ブロック）のコントラストデータを利用したり、同じ画像を追尾した結果で、コントラスト変化を判定しても良い。ここでは、このような領域分割で同じ領域の利用、隣接領域の利用、類似画像判定などを駆使して、極力、同じ被写体に対するコントラスト変化を撮影前後で判定しようとしており、同様の考え方で、撮影前より撮影時にむしろピントが良くなった被写体も判定しようとしている。

他の作用及び効果は第１の実施の形態と同様である。本実施の形態は、撮影直前に、合焦判定を可能とする程度のコントラストの変化を検出することができない場合等であっても、確実に合焦判定が可能である。

なお、絞りを開くことで、コントラストの変化を強調することが可能である。従って、ステップＳ５１に先だって絞りを開くようにしてもよい。また、上記説明では、撮影直前におけるコントラストは記録しないものとして説明したが、撮影直前において有効なコントラストの記録が行われた場合には、第１の実施の形態と同様に、撮影直前の各部のコントラストと記録する撮像画像の各部のコントラストとの比較によって合焦状態を判定するようにしてもよい。

（第３の実施の形態）
図１２は本発明の第３の実施の形態に採用されるフローチャートである。図１２において図１０と同一の手順には同一符号を付して説明を省略する。本実施の形態のハードウェア構成は第１の実施の形態と同様である。また、図１３は絞りとぼけ量（コントラスト）との関係を説明するための説明図である。図１４は横軸にピント位置をとって、丸印によって図５の１〜９の数字で示す各領域１〜９におけるコントラストの変化を示す説明図である。

第２の実施の形態においては、撮影時における各部のコントラストと撮影直後に遠側及び近側にピント位置を変化させた場合の各部の基準コントラストとを比較することで、合焦状態を判定した。本実施の形態においては、撮影直後において絞りを変化させた場合の各部のコントラストを基準コントラストとし、撮影時における各部のコントラストと各部の基準コントラストとを比較することで、合焦状態を判定するものである。

図１３（ａ）は合焦時の様子を示しており、被写体から発した光がレンズ７１を介して、撮像面に導かれることを示している。レンズ７１からの光線７３ａは絞り７２が閉状態の場合を示しており、レンズ７１からの光線７３ｂ（破線）は絞り７２が開状態の場合を示している。ピントが合っている場合には、絞り７２の開閉状態に拘わらず、レンズ７１からの光線は撮像面において結像する。

一方、図１３（ｂ）は非合焦時の様子を示している。図１３（ｂ）の例は、ピントが近側にずれて、撮像面からずれた位置に合焦面が位置することを示している。絞り７２が閉状態では、レンズ７１からの光線は実線の光線７４ａで表され、絞りが開状態の場合にはレンズ７１からの光線は破線の光線７４ｂで表される。絞り７２が閉状態では、点光源から発した光は、撮像面上では、図１３（ｂ）のずれ量（閉）だけ広がって受光される。また、絞り７２が開状態では、点光源から発した光は、撮像面上では、図１３（ｂ）のずれ量（開）だけ広がって受光される。

図１３（ａ），（ｂ）から、絞りが閉状態では、合焦時と非合焦時のボケ量は比較的小さく、絞りが開状態では、合焦時と非合焦時のボケ量は比較的大きいことが分かる。ボケ量とコントラストとは対応しており、撮影時におけるコントラストと、絞りを変化させた場合のコントラストとの変化量が小さいほど合焦状態に近く、変化量が大きいほどピントのずれ量が大きいことが分かる。

本実施の形態においては、撮影直後において、絞りを変化させて、各部のコントラストを取得する。なお、この場合にも、撮影後の極めて短い時間に絞りの開閉及びコントラストの判定を行った方がよい。

図１２のステップＳ６１においては、コントラスト判定記録部１１ｃは、交換レンズ２０の制御部２３と通信を行って、図示しない絞りを開方向に変化させることができるか否かを判定する。絞りが閉状態の場合には、十分な光量を受光するためにシャッタースピードを遅くする必要があり、撮影直後の短時間での計測が困難となるので、なるべく絞りを開方向に変化させてコントラストを求めた方がよい。

絞りを開方向に変化させることができる場合には、コントラスト判定記録部１１ｃは、制御部２３によって図示しない絞りを開方向に変化させる。コントラスト判定記録部１１ｃは、ステップＳ６２において、撮像部１２からの撮像画像が与えられて、絞り開の状態での各部のコントラストを求める。こうして、撮影時の絞り状態と異なる絞り状態での各部の基準コントラストが求められる。

絞りを開方向に変化させることができない場合には、コントラスト判定記録部１１ｃは、絞りを閉方向に変化させるように制御部２３を制御する。この場合には、コントラスト判定記録部１１ｃは、ステップＳ６３において、各部の基準コントラストを求める。こうして、ステップＳ６２又はステップＳ６３において、撮影時の絞り状態と異なる絞り状態での各部の基準コントラストが求められる。

コントラスト判定記録部１１ｃは、ステップＳ５５において、記録される撮像画像の各部のコントラスト、即ち、撮影時における各部のコントラストを求める。コントラスト判定記録部１１ｃの判定結果は合焦判定部１１ｄに与えられる。

合焦判定部１１ｄは、ステップＳ６４において、合焦状態を判定する。即ち、合焦判定部１１ｄは、撮像画像の各部について、撮影時のコントラストと絞り状態を変化させた場合のコントラストとの変化量を比較する。合焦判定部１１ｄは、ピント合わせ想定部において、コントラストの変化量が最も小さいか否かを判定する。合焦判定部１１ｄは、ピント合わせ想定部において、コントラストの変化量が最も小さい場合には、ピント合わせ想定部を拡大表示の候補とする。また、この場合には、合焦判定部１１ｄは、合焦に関して撮影が成功したものと判定してもよい。

また、合焦判定部１１ｄは、ピント合わせ想定部において、コントラストの変化量が比較的大きい場合には、ピント合わせ想定部以外の各部分について、コントラストの変化量が十分に小さいか否かを判定する。そのような部分が存在しない場合には、ピント合わせ想定部を拡大表示の候補とし、存在する場合には、当該部分を拡大表示の候補とする。

図１４の黒丸は、各領域１〜９について、撮影時のコントラストと絞りを変化させた場合の基準コントラストとを示している。２つの黒丸の位置が一致している場合には、合焦状態と判定することができ、２つの黒丸同士の距離が大きいほど、ピントのずれ量が大きいと判断することができる。図１４の例では、領域５において、撮影時のコントラストと絞りを変化させた場合のコントラストとの差が比較的大きい。一方、領域３については、撮影時のコントラストと絞りを変化させた場合のコントラストとは相互に一致している。従って、図１４の例では、領域３が拡大表示の候補に設定される。

他の作用及び効果は第２の実施の形態と同様である。なお、上記説明においても、撮影直前におけるコントラストは記録しないものとして説明したが、撮影直前において有効なコントラストの記録が行われた場合には、第１の実施の形態と同様に、撮影直前の各部のコントラストと記録する撮像画像の各部のコントラストとの比較によって合焦状態を判定するようにしてもよい。

（第４の実施の形態）
図１５は本発明の第４の実施の形態に採用されるフローチャートである。図１５において図１２と同一の手順には同一符号を付して説明を省略する。本実施の形態のハードウェア構成は第１の実施の形態と同様である。また、図１６は本実施の形態において採用するピントデータベースの内容を説明するための説明図である。

上記各実施の形態においては、撮影直前のピント位置、撮影直後のピント位置又は撮影直後の絞りを変化させてコントラストを判定することで、合焦状態を判定した。これに対し、本実施の形態においては、被写体（対象物）や撮影環境毎に予め規定された合焦時の基準コントラスト等の情報を保持するピントデータベースを用い、記録される撮像画像の各部のコントラスト等の被写体情報とピントデータベースから読出した基準コントラスト等の情報との比較によって、撮影パラメータを変更することなく、合焦状態を判定するものである。

図１６は記録部１９に記録されたピントデータベースの内容を示している。図１６では、対象物の例として、人間の眼と文字とを例示している。人間の眼の近傍のまつげや文字等は、合焦状態ではある一定のコントラストが得られるものと考えられる。この場合、例えば、明るい環境下ではコントラストの値は比較的高くなり、暗い環境下ではコントラストの値は比較的低くなる。対象物毎で且つ環境毎に、合焦時に得られるであろうコントラストが基準コントラストとしてピントデータベースに記述されている。

図１６の例では、人間の眼は、明るい屋外においては、合焦時にＣｏｎｔ１という基準コントラストが得られ、暗い屋内においては、合焦時にＣｏｎｔ２という基準コントラストが得られることを示している。同様に、文字については、明るい屋外において合焦時にＣｏｎｔ３という基準コントラストが得られ、暗い屋内において合焦時にＣｏｎｔ４という基準コントラストが得られる。

また、人間の眼の画像の輪郭の幅についても合焦時においては規定の値が得られるものと考えられる。ピントデータベースには、この値として基準輪郭幅が、明るい屋外用と暗い屋内用とで設定されている。

更に、コントラスト判定記録部１１ｃは、記録部９に記録するピントデータベースを更新する機能を有する。図１６の現状新設１（パターン判定）及び現状新設２（パターン判定）は、コントラスト判定記録部１１ｃによって更新記録された情報を示している。コントラスト判定記録部１１ｃは、実際の撮像画像について被写体検出や明るさ検出を行い、検出した被写体毎で撮影環境毎に、合焦時に得られるコントラストを基準コントラストとして記録する。また、コントラスト判定記録部１１ｃは、同一の被写体の撮影についての履歴を記録部９等に保持することにより、最適な基準コントラストに更新する学習機能を備えていてもよい。

図１５のステップＳ７１においては、顔検出部１１ｂは、撮像画像中の被写体を検出する。コントラスト判定記録部１１ｃは、検出された被写体毎に、ピントデータベースの情報を参照する（ステップＳ７２）。コントラスト判定記録部１１ｃは、ステップＳ７３において、ピントデータベースが想定している被写体のサイズに合わせて、撮像画像中の被写体のサイズを拡大又は縮小することで一致させる。この状態で、コントラスト判定記録部１１ｃは、撮影画像の各被写体のコントラストを求める（ステップＳ５５）。コントラスト判定記録部１１ｃの判定結果は合焦判定部１１ｄに与えられる。

合焦判定部１１ｄは、ステップＳ７４において、合焦状態を判定する。即ち、合焦判定部１１ｄは、撮像画像の各被写体について、撮像画像のコントラストとピントデータベースに記述された基準コントラストとを比較する。合焦判定部１１ｄは、ピント合わせ想定部において、撮像画像のコントラストと基準コントラストとの差が最も小さいか否かを判定する。合焦判定部１１ｄは、ピント合わせ想定部において、コントラストの差が最も小さい場合には、ピント合わせ想定部を拡大表示の候補とする。また、この場合には、合焦判定部１１ｄは、合焦に関して撮影が成功したものと判定してもよい。

また、合焦判定部１１ｄは、ピント合わせ想定部について、撮像画像のコントラストと基準コントラストとの差が比較的大きい場合には、ピント合わせ想定部以外の各被写体について、コントラストの差が十分に小さいか否かを判定する。そのような部分が存在しない場合には、ピント合わせ想定部を拡大表示の候補とし、存在する場合には、当該部分を拡大表示の候補とする。

なお、合焦判定部１１ｄは、撮像画像中の被写体の輪郭幅とピントデータベース中の基準輪郭幅との差を用いて、合焦判定してもよい。

他の作用及び効果は第３の実施の形態と同様である。なお、上記説明においても、撮影直前におけるコントラストは記録しないものとして説明したが、撮影直前において有効なコントラストの記録が行われた場合には、第１の実施の形態と同様に、撮影直前の各部のコントラストと記録する撮像画像の各部のコントラストとの比較によって合焦状態を判定するようにしてもよい。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。撮影機器でなくとも、このような工夫によって、ユーザが希望する画像を正確に観察できる観察装置、表示装置を提供することが可能となる。

また、撮影機器でなくとも、撮影の失敗判定用の表示機器にも、こうした画像の特徴を判定して、ユーザに次回撮影時の示唆や教訓やアドバイスを与える技術は重要である。ここで分析する画像ファイルに、カメラの設定情報が入っていれば、画像の特徴としてコントラストの情報を含ませる事も可能である。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影機器を実現することができる。

１…撮影機器、１０…本体部、１１…信号処理及び制御部、１１ａ…表示制御部、１１ｂ…顔検出部、１１ｃ…コントラスト判定記録部、１１ｄ…合焦判定部、１１ｅ…レックビュー制御部、１２…撮像部、１６…振動判定部、１７…背面表示部、１７ａ…タッチパネル、２０…交換レンズ、２３…制御部。

本発明に係る撮影機器は、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、第１のタイミングにおいて上記撮像部が撮像した得た第１の撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定部と、上記第１のタイミングより後の第２のタイミングにおいて上記撮像部が記録のために撮像して得た第２の撮像画像の各部のコントラストを求める記録画像コントラスト判定部と、上記基準コントラスト判定部が取得した基準コントラストと上記記録画像コントラスト判定部が求めたコントラストとの比較によって、上記第２の撮像画像の合焦状態を上記各部についてそれぞれ判定する合焦判定部と、上記合焦判定部による判定結果を、上記第２の撮像画像と共に上記表示部に表示する表示制御部とを具備する。
また、本発明に係る撮影方法は、被写体を撮像し撮像画像を得る撮像ステップと、上記撮像画像を表示部に表示する第１の表示制御ステップと、第１のタイミングにおいて上記撮像部が撮像した得た第１の撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定ステップと、上記第１のタイミングより後の第２のタイミングにおいて上記撮像部が記録のために撮像して得た第２の撮像画像の各部のコントラストを求める記録画像コントラスト判定ステップと、記基準コントラスト判定ステップにおいて取得した基準コントラストと上記記録画像コントラスト判定ステップにおいて求めたコントラストとの比較によって、上記第２の撮像画像の合焦状態を上記各部についてそれぞれ判定する合焦判定ステップと、上記合焦判定ステップにおける判定結果を、上記第２の撮像画像と共に上記表示部に表示する第２の表示制御ステップとを具備する。

本発明に係る撮影機器は、撮像用の画素及び焦点検出用の画素を備え、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、第１のタイミングにおいて上記撮像部が撮像した得た第１の撮像画像の各部について、合焦及び非合焦の判定に用いる基準位相差を上記焦点検出用の画素の出力に基づいて取得する基準位相差判定部と、上記第１のタイミングより後の第２のタイミングにおいて上記撮像部が記録のために撮像して得た第２の撮像画像の各部について上記焦点検出用の画素の出力に基づく位相差を求める記録画像位相差判定部と、上記基準位相差判定部が取得した基準位相差と上記記録画像位相差判定部が求めた位相差との比較によって、上記第２の撮像画像の合焦状態を上記各部についてそれぞれ判定する合焦判定部と、上記合焦判定部による判定結果を、上記第２の撮像画像と共に上記表示部に表示する表示制御部とを具備する。
また、本発明に係る撮影方法は、撮像用の画素及び焦点検出用の画素を備え、被写体を撮像し撮像画像を得る撮像ステップと、上記撮像画像を表示部に表示する第１の表示制御ステップと、第１のタイミングにおいて上記撮像部が撮像した得た第１の撮像画像の各部について、合焦及び非合焦の判定に用いる基準位相差を上記焦点検出用の画素の出力に基づいて取得する基準位相差判定ステップと、上記第１のタイミングより後の第２のタイミングにおいて上記撮像部が記録のために撮像して得た第２の撮像画像の各部について上記焦点検出用の画素の出力に基づく位相差を求める記録画像位相差判定ステップと、上記基準位相差判定ステップにおいて取得した基準位相差と上記記録画像位相差判定ステップにおいて求めた位相差との比較によって、上記第２の撮像画像の合焦状態を上記各部についてそれぞれ判定する合焦判定ステップと、上記合焦判定ステップにおける判定結果を、上記第２の撮像画像と共に上記表示部に表示する第２の表示制御ステップとを具備する。

Claims (14)

1. 被写体を撮像し撮像画像を得る撮像部と、
   上記撮像画像を表示する表示部と、
   上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定部と、
   記録する上記撮像画像の各部のコントラストを求める記録画像コントラスト判定部と、
   上記基準コントラスト判定部が取得した基準コントラストと上記記録画像コントラスト判定部が求めたコントラストとの比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定部と、
   上記合焦判定部による判定結果を、記録する上記撮像画像と共に上記表示部に表示する表示制御部と
   を具備したことを特徴とする撮影機器。
2. 上記基準コントラストは、合焦制御時に得られたコントラスト変化データに従って得られた値である
   ことを特徴とする請求項１に記載の撮影機器。
3. 上記基準コントラストは、撮影前後の同じ被写体に対するコントラストを利用して決定する
   ことを特徴とする請求項１又は２に記載の撮影機器。
4. 上記合焦判定部は、記録する上記撮像画像の各部のうち合焦状態の部分を示す案内表示を上記判定結果として上記表示制御部に表示させる
   ことを特徴とする請求項１乃至３のいずれか１つに記載の撮影機器。
5. 上記合焦判定部は、上記撮像画像中に設定されるピント合わせ想定部以外の部分について上記案内表示を上記表示制御部に表示させる
   ことを特徴とする請求項４に記載の撮影機器。
6. 上記表示制御部は、上記案内表示の部分を拡大表示する
   ことを特徴とする請求項４又は５に記載の撮影機器。
7. 上記基準コントラスト判定部は、記録する上記撮像画像の撮影前におけるフォーカス操作時のコントラストの最大値を上記基準コントラストとする
   ことを特徴とする請求項１乃至６のいずれか１つに記載の撮影機器。
8. 上記基準コントラスト判定部は、記録する上記撮像画像の撮影後においてピント位置を遠側及び近側に移動させて取得したコントラストを上記基準コントラストとする
   ことを特徴とする請求項１乃至６のいずれか１つに記載の撮影機器。
9. 上記基準コントラスト判定部は、記録する上記撮像画像の撮影後において絞りを変化させて取得したコントラストを上記基準コントラストとする
   ことを特徴とする請求項１乃至６のいずれか１つに記載の撮影機器。
10. 上記基準コントラスト判定部は、被写体及び撮影環境毎に予め求められた合焦時のコントラストを上記基準コントラストとする
    ことを特徴とする請求項１乃至６のいずれか１つに記載の撮影機器。
11. 被写体を撮像し撮像画像を得る撮像ステップと、
    上記撮像画像を表示部に表示する第１の表示制御ステップと、
    上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準コントラストを取得する基準コントラスト判定ステップと、
    記録する上記撮像画像の各部のコントラストを求める記録画像コントラスト判定ステップと、
    上記基準コントラスト判定ステップにおいて取得した基準コントラストと上記記録画像コントラスト判定ステップにおいて求めたコントラストとの比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定ステップと、
    上記合焦判定ステップにおける判定結果を、記録する上記撮像画像と共に上記表示部に表示する第２の表示制御ステップと
    を具備したことを特徴とする撮影方法。
12. 撮像用の画素及び焦点検出用の画素を備え、被写体を撮像し撮像画像を得る撮像部と、
    上記撮像画像を表示する表示部と、
    上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準位相差を上記焦点検出用の画素の出力に基づいて取得する基準位相差判定部と、
    記録する上記撮像画像の各部について上記焦点検出用の画素の出力に基づく位相差を求める記録画像位相差判定部と、
    上記基準位相差判定部が取得した基準位相差と上記記録画像位相差判定部が求めた位相差との比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定部と、
    上記合焦判定部による判定結果を、記録する上記撮像画像と共に上記表示部に表示する表示制御部と
    を具備したことを特徴とする撮影機器。
13. 上記基準位相差は、合焦制御時に得られた位相差データに従って得られた値である
    ことを特徴とする請求項１２に記載の撮影機器。
14. 撮像用の画素及び焦点検出用の画素を備え、被写体を撮像し撮像画像を得る撮像ステップと、
    上記撮像画像を表示部に表示する第１の表示制御ステップと、
    上記撮像画像の各部について、合焦及び非合焦の判定に用いる基準位相差を上記焦点検出用の画素の出力に基づいて取得する基準位相差判定ステップと、
    記録する上記撮像画像の各部について上記焦点検出用の画素の出力に基づく位相差を求める記録画像位相差判定ステップと、
    上記基準位相差判定ステップにおいて取得した基準位相差と上記記録画像位相差判定ステップにおいて求めた位相差との比較によって、記録する上記撮像画像の合焦状態を判定する合焦判定ステップと、
    上記合焦判定ステップにおける判定結果を、記録する上記撮像画像と共に上記表示部に表示する第２の表示制御ステップと
    を具備したことを特徴とする撮影機器。

Images