JP2015105996A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単に撮影後の画像のピント具合を確認することができるようにする。
【解決手段】合焦領域判定処理部は、撮影画像に基づいて、撮影画像の各領域の合焦度合いを示す合焦スコアを算出する。表示制御処理部は、各領域の合焦スコアに基づいて撮影画像上の合焦スコアの高い領域を表示中心位置とする。表示用処理部は、撮影画像上の表示中心位置を中心とする所定領域を切り出して拡大表示画像とし、表示部に表示させる。これにより、最もピントの合った領域を中心に撮影画像の一部を拡大した画像が表示される。本技術は、デジタルスチルカメラに適用することができる。
【選択図】図２

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単に撮影後の画像のピント具合を確認することができるようにした画像処理装置および方法、並びにプログラムに関する。

近年のデジタルカメラや、デジタルカメラを搭載したモバイルフォンでは、撮像素子、すなわち記録画素の高画素化が進むと同時に、撮影画像を確認するために搭載されている表示装置もその高サイズ化、多画素化が進んでいる。

ところが、撮像素子（記録画素）の高画素化と比較すると、一般的に搭載されている表示装置の画素数は十分とはいえない状況にある。

そのため、撮影直後に再生機能を利用して撮影した画像を確認し、ピントが合っていると判断しても、例えば自宅に戻りテレビジョン受像機やパーソナルコンピュータ等の大画面モニタに表示させたり、あるいはプリンタで大きいサイズに引き延ばして印刷してみたりすると、実際にはピントがボケていてがっかりしてしまうといった事象が良く起きる。

これに対し、近年ではデジタルカメラ等において、再生時に電子ズームの機能を使って所望の位置を拡大（トリミング）して再生表示するといった機能が登場している。これを使えば撮影直後にユーザ自身が画像の所望の位置を選択し、拡大表示することができるので、搭載されている表示装置でも狭範囲ながら子細なピント具合を確認することができる。

しかしながら、上記機能の多くは画面中央を中心とした拡大表示を基本とし、ユーザ自身が表示位置を中心から所望の位置まで何らかのUI（User Interface）操作を施しながら移動させるため、実際にピント具合を確認するまでに多くの手間がかかってしまう。

そこで、撮影直前のスルー画像におけるAF（Autofocus）情報を使って、フォーカス（ピント）を合わせようとしている部分を中心に自動的に拡大表示をして、ユーザがピント具合をチェックした後、シャッタ操作を行うようにする技術が提案されている（例えば、特許文献１参照）。

また、被写体の顔を検出し、検出された顔にフォーカス（ピント）を合わせたうえで、撮影直前または直後に、その顔の位置を中心として拡大表示をし、撮影直前または直後のピント具合をチェックすることができるようにする技術も提案されている（例えば、特許文献２参照）。

特許第４３８０６４４号公報 特許第４９３９２０３号公報

しかしながら上述した技術では、フォーカス（ピント）を合わせようとしている領域を中心に拡大表示が行われるため、結果としてピントが合っている部分が中心に拡大されるわけではない。特にコントラスト方式等のオートフォーカスでは、フォーカス（ピント）を合わせようとしている領域は比較的広い面積を持つため、最もピントが合っている部分を中心とした表示とはならない。したがって、ユーザは画像上のどの領域にピントが合っているかを確認することが困難であった。

さらに、マニュアルフォーカス撮影の場合には、カメラ等の機器にはフォーカスターゲットが不明であるため、一部の領域を拡大表示させるときには、ユーザのUI操作による表示位置移動操作が必要となってしまい、面倒であった。また、特許文献２では、被写体として顔を含まない場合や、顔以外のものにピントを合わせたい場合には、ユーザがピント具合を確認しようとすると面倒な操作が必要となってしまう。

本技術は、このような状況に鑑みてなされたものであり、より簡単に撮影後の画像のピント具合を確認することができるようにするものである。

本技術の一側面の画像処理装置は、撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出する合焦領域判定処理部と、前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出する表示制御処理部と、前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する表示用処理部とを備える。

前記表示用処理部には、前記表示中心位置を中心とする前記拡大表示画像を生成させることができる。

前記表示制御処理部には、前記撮影画像の撮影時にフォーカス対象とされたフォーカス領域を含む判定対象領域内の各領域の前記合焦スコアに基づいて、前記判定対象領域から前記表示中心位置を検出させることができる。

前記合焦領域判定処理部には、前記撮影画像上の前記判定対象領域のみを対象として前記合焦スコアの算出を行わせることができる。

画像処理装置には、前記拡大表示画像を表示する表示部をさらに設けることができる。

前記表示制御処理部には、前記合焦スコアが最も高い領域を前記表示中心位置とさせることができる。

前記表示制御処理部には、前記撮影画像上の複数の領域を前記表示中心位置とさせ、前記表示用処理部には、複数の前記表示中心位置ごとに前記拡大表示画像を生成させることができる。

複数の前記拡大表示画像が、前記合焦スコアの高いものから順番に表示されるようにすることができる。

本技術の一側面の画像処理方法またはプログラムは、撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出し、前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成するステップを含む。

本技術の一側面においては、撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアが算出され、前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域が表示中心位置として検出され、前記撮影画像上の前記表示中心位置を含む所定の大きさの領域が切り出されて拡大表示画像が生成される。

本技術の一側面によれば、より簡単に撮影後の画像のピント具合を確認することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

撮像装置の外観の構成例を示す図である。 撮像装置の機能の構成例を示す図である。 撮影処理について説明する図である。 拡大再生処理について説明する図である。 撮影処理を説明するフローチャートである。 拡大再生処理を説明するフローチャートである。 撮影処理について説明する図である。 拡大再生処理について説明する図である。 撮影処理を説明するフローチャートである。 拡大再生処理を説明するフローチャートである。 拡大再生処理を説明するフローチャートである。 拡大再生処理について説明する図である。 拡大再生処理を説明するフローチャートである。 多機能型携帯電話機の外観の構成例を示す図である。 多機能型携帯電話機の機能の構成例を示す図である。 撮影処理を説明するフローチャートである。 拡大再生処理を説明するフローチャートである。 ウェアラブルカメラの外観の構成例を示す図である。 ウェアラブルカメラの機能の構成例を示す図である。 撮影処理を説明するフローチャートである。 拡大表示画像生成処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈撮像装置の外観の構成例〉
まず、本技術の概要について説明する。

本技術は、オートフォーカス撮影であるか、マニュアル撮影であるかによらず、被写体の撮影後に、得られた画像のピント具合を、撮影者であるユーザが小さな表示画面でもより簡単に、かつ直感的に確認することができるようにするものである。

ユーザがより簡単かつ直感的に画像のピント具合を確認することができるようになれば、これまでピント具合の確認操作が面倒で、ピントずれに気付かなかったことによる撮影機会の損失も減少させることができるようになる。また、本技術によれば、ユーザは、ユーザがピントを合わせようとした部分と、撮影の結果としてピントが合った部分とがずれているかどうかも確認することができるようになる。

本技術は、デジタルスチルカメラや、デジタルビデオカメラ、カメラ機能を有する多機能型携帯電話機、ウェアラブルカメラなど、画像を撮影可能な機器全般に適用可能である。以下においては、まず本技術をデジタルスチルカメラに適用した例について説明する。

図１は、本技術を適用した撮像装置の外観の構成例を示す図である。

撮像装置１１はデジタルスチルカメラからなり、図１では矢印Ａ１１に示す図は撮像装置１１を表面側から見た図であり、矢印Ａ１２に示す図は撮像装置１１を裏面側から見た図である。

撮像装置１１の表面には、被写体から入射してくる光を図示せぬイメージャへと導く光学系２１が設けられており、ユーザは光学系２１を所望の被写体に向けて撮影を行う。

また、撮像装置１１の上面には、シャッタボタン２２およびダイヤル２３が設けられており、撮像装置１１の裏面には、再生ボタン２４やダイヤル２５が設けられている。ユーザは、これらのシャッタボタン２２乃至ダイヤル２５等を操作しながら撮影や再生などの作業を行う。

さらに、撮像装置１１の裏面には、液晶パネル等からなる表示部２６も設けられており、ユーザは表示部２６に表示される画像等を見て、撮影された画像や、その画像のピント具合などを確認することができる。

〈撮像装置の機能の構成例〉
また、図１に示した撮像装置１１の機能の構成は、例えば図２に示す構成とされる。なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２の撮像装置１１は、光学系２１、イメージャ５１、デジタル信号処理LSI（Large Scale Integration）５２、ユーザインターフェース５３、制御部５４、レンズ駆動用ドライバIC（Integrated Circuit）５５、手ぶれセンサ５６、記録部５７、および表示部２６を有している。

光学系２１は、ズームレンズやフォーカスレンズ等の複数のレンズや絞り機構などからなり、被写体から入射した光をイメージャ５１の受光面に集光する。

イメージャ５１は、例えばCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子からなる。イメージャ５１は、光学系２１から入射した光を受光して光電変換し、その結果得られた撮影画像、より詳細には撮影画像の画像データをデジタル信号処理LSI５２に供給する。

デジタル信号処理LSI５２は、イメージャ５１から供給された撮影画像に各種の信号処理を施す。デジタル信号処理LSI５２は、プリ処理部６１、同時化部６２、YC生成部６３、解像度変換部６４、CODEC６５、AF検波処理部６６、合焦領域判定処理部６７、メモリ６８、および表示用処理部６９を備えている。

プリ処理部６１は、撮影画像に対してクランプ処理や欠陥画素補正処理などを施す。同時化部６２は、欠陥画素補正処理等が施された撮影画像の各画素がR，G，Bの各色成分を有するように撮影画像に対するデモザイク処理を行う。

YC生成部６３は、デモザイク処理された撮影画像から、輝度信号と色信号を生成する。解像度変換部６４は、撮影画像に対する解像度変換を行う。CODEC６５は、解像度変換された撮影画像に対して符号化処理を行ったり、符号化された撮影画像を復号したりする。

AF検波処理部６６は、オートフォーカス動作を行うときに、必要に応じて撮影画像等を用いて、オートフォーカスの状態を示す評価値を算出する。合焦領域判定処理部６７は、デモザイク処理された撮影画像に基づいて合焦領域判定処理を行い、撮影画像の各領域における合焦の度合いを示す合焦スコアを算出する。

メモリ６８は、プリ処理部６１乃至解像度変換部６４の一部または全部により適宜処理された撮影画像（以下、現像処理された撮影画像とも称する）などを一時的に記録する。表示用処理部６９は、例えば撮影画像を表示部２６に表示可能なフォーマットに変換し、表示部２６に供給する。

ユーザインターフェース５３は、例えば図１に示したシャッタボタン２２乃至ダイヤル２５や、表示部２６に重畳されているタッチパネルなどからなり、ユーザの操作に応じた信号を制御部５４に供給する。

制御部５４は、撮像装置１１全体の動作を制御する。例えば、制御部５４は、イメージャ５１による撮影画像の撮影を制御する。また、制御部５４は、手ぶれセンサ５６の出力に基づいて、レンズ駆動用ドライバIC５５を制御し、光学系２１のレンズを移動させて光学的な手ぶれ補正を行ったり、レンズ駆動用ドライバIC５５を制御して光学系２１の絞り機構を駆動させたりする。

さらに制御部５４は、表示制御処理部７０およびフォーカスレンズ制御処理部７１を備えている。表示制御処理部７０は、デジタル信号処理LSI５２の各部に撮影画像の表示に関する処理の実行を指示する。フォーカスレンズ制御処理部７１は、AF検波処理部６６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。

レンズ駆動用ドライバIC５５は、制御部５４の制御に従って光学系２１を構成するフォーカスレンズ等を移動させてフォーカス動作を実行したり、絞り機構の駆動や光学手ぶれ補正を行ったりする。手ぶれセンサ５６は、例えばジャイロセンサからなり、撮像装置１１の動きを検出して制御部５４に供給する。

記録部５７は、例えば撮像装置１１に着脱可能なリムーバブルメディアからなり、デジタル信号処理LSI５２から供給された撮影画像等のデータを記録したり、記録しているデータをデジタル信号処理LSI５２に供給したりする。

〈撮像装置の処理の概要〉
続いて、図３および図４を参照して、撮像装置１１の処理の概要について説明する。なお、この例では、オートフォーカス撮影が行われる。

例えば図３に示すように、撮影動作が開始されると、イメージャ５１は、光学系２１を介して入射する光を受光して光電変換する。これにより各時刻、すなわち各フレームの撮影画像Ｆ１１乃至撮影画像Ｆ１６が得られる。

ここで、撮影画像Ｆ１１乃至撮影画像Ｆ１６のうち、図中、手前側にあるものほど後の時刻、つまり現在時刻により近い時刻に撮影された撮影画像となっている。したがって、この例では、最初に撮影されたものが撮影画像Ｆ１１であり、最後に撮影されたものが撮影画像Ｆ１６となっている。

このような各フレームの撮影画像の撮影時には、AF検波処理部６６は、各フレームの撮影画像に基づいてオートフォーカスの状態を示す評価値を算出し、制御部５４に供給する。制御部５４のフォーカスレンズ制御処理部７１は、AF検波処理部６６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。

これにより、レンズ駆動用ドライバIC５５によって光学系２１のフォーカスレンズ等が駆動され、被写体にピントが合う状態とされる。

また、各フレームの撮影画像Ｆ１１乃至撮影画像Ｆ１６が得られると、順次、これらの撮影画像に対して現像処理が行われ、その結果得られた撮影画像Ｒ１１乃至撮影画像Ｒ１６が撮影時のスルー画像として表示部２６に順番に表示される。

ユーザは、表示部２６に表示されたスルー画像を見ながら被写体を確認し、シャッタボタン２２等を操作して、撮影を行う。

この例では、ユーザは矢印Ｑ１１に示すように、撮影画像Ｆ１３の取り込み時（撮影時）にシャッタボタン２２を半押している。そのため、撮影画像Ｆ１３に対応するスルー画像である撮影画像Ｒ１３と、それ以降のフレームの撮影画像Ｒ１４および撮影画像Ｒ１５とには、オートフォーカスのターゲットの枠ＦＲ１１が表示されている。

この枠ＦＲ１１は、フォーカスレンズ制御処理部７１がフォーカスを合わせようとする領域を示す枠の画像であり、撮影画像上の被写体の大きさに応じて、各フレームにおける枠ＦＲ１１の大きさも変化する。

ユーザは、枠ＦＲ１１内の被写体にフォーカス（ピント）が合った状態となったと判断すると、シャッタボタン２２を全押しして、つまり半押しの状態よりもより深くシャッタボタン２２を押し込んで、画像の撮影を指示する。

この例では、矢印Ｑ１２に示すように、撮影画像Ｆ１６の取り込み時にシャッタボタン２２が全押しされているので、撮影画像Ｆ１６を現像処理して得られた撮影画像Ｒ１６が、撮影により得られた画像としてキャプチャされる。

このようにして撮影された撮影画像Ｒ１６は、図中、右下に示すようにメモリ６８に保持された後、記録部５７に記録されるとともに、撮影後のプレビュー画像として表示部２６に表示される。ここで、プレビュー画像とは、撮影の直後に、ユーザが撮影した画像を確認するために表示される画像である。

以上のように撮影画像Ｒ１６がプレビュー画像として表示された状態で、例えば図４の左下部分の矢印Ｑ２１に示すように、ユーザがユーザインターフェース５３に対する操作を行い、拡大表示を指示したとする。

すると、撮像装置１１では、撮影した撮影画像Ｒ１６のピントが合っている部分を中心として拡大表示を行う拡大再生処理が行われる。

なお、拡大再生処理は、ユーザにより指示されたときに行われる他、メニュー設定等により、自動的に開始されるようにしてもよい。そのような場合、例えばプレビュー画像が表示されてから、所定時間が経過した後、自動的に拡大再生処理が開始されるようにすればよい。

拡大再生処理が開始されると、まず、処理対象となっている撮影画像Ｒ１６が、必要に応じて記録部５７から読み出され、メモリ６８に供給される。なお、撮影直後に拡大再生処理が行われる場合には、撮影画像Ｒ１６はすでにメモリ６８に保持されているため、撮影画像Ｒ１６のロードは不要である。

撮影画像Ｒ１６がメモリ６８に保持された状態とされると、制御部５４の表示制御処理部７０は、合焦領域判定処理部６７に合焦領域判定処理の実行を指示する。

すると、合焦領域判定処理部６７は、メモリ６８から撮影画像Ｒ１６を読み出して、撮影画像Ｒ１６に対する合焦領域判定処理を行う。

合焦領域判定処理では、例えば矢印Ｑ２２に示すように撮影画像Ｒ１６が、図中、横方向にＭ分割、縦方向にＮ分割される。つまり、撮影画像Ｒ１６全体がＭ×Ｎ個の領域に分割される。そして、Ｍ×Ｎ個の各領域について、合焦の度合いを示す合焦スコアが算出され、各領域の合焦スコアが合焦領域判定処理の結果として表示制御処理部７０に供給される。

表示制御処理部７０は、各領域の合焦スコアに基づいて、矢印Ｑ２３に示すように、最も合焦スコアが高い領域、つまり最も合焦の度合いが高くピントが合っている１つの領域を、拡大表示の中心となる表示中心位置として選択する。なお、１つの四角形は１つの分割された領域を表しており、その四角形内の数値は合焦スコアを表している。

この例では、座標（Ｘｐ，Ｙｐ）により特定される領域が、表示中心位置として選択されている。このようにして得られた表示中心位置の領域が、撮影画像Ｒ１６において最もピントが合っている領域である。

表示制御処理部７０は、表示用処理部６９に対して、求めた表示中心位置を中心とする撮影画像Ｒ１６の拡大表示画像の表示を指示する。

すると、表示用処理部６９は、解像度変換部６４による解像度変換によって拡大された撮影画像Ｒ１６から、座標（Ｘｐ，Ｙｐ）の位置を中心とする拡大表示画像Ｅ１１を生成し、表示部２６に供給して表示させる。これにより、図中、右下に示されるように表示部２６に拡大表示画像Ｅ１１が表示される。なお、拡大表示画像Ｅ１１において、点線で表される各領域は、合焦領域判定処理時に合焦スコアが算出された各領域を表すものであり、実際には拡大表示画像Ｅ１１には表示されない。

拡大表示画像Ｅ１１は、座標（Ｘｐ，Ｙｐ）の位置を中心とする撮影画像Ｒ１６上の所定の大きさの領域を拡大した画像である。すなわち、撮影画像Ｒ１６において最もピントが合っている領域周辺の画像である。したがって、ユーザは、拡大表示画像Ｅ１１を見ることで、最もピントが合っている部分のピント具合、すなわち十分にピントが合っているかどうかを簡単かつ直感的に確認することができる。

〈撮影処理の説明〉
次に、以上において説明した撮像装置１１の具体的な動作について説明する。

まず、図５のフローチャートを参照して、撮像装置１１による撮影処理について説明する。

ステップＳ１１において、イメージャ５１は、撮影画像を撮影する。

具体的には、イメージャ５１は、光学系２１を介して被写体から入射した光を受光して光電変換し、その結果得られた撮影画像をデジタル信号処理LSI５２に供給する。プリ処理部６１や同時化部６２等のデジタル信号処理LSI５２を構成する各部は、イメージャ５１から供給された撮影画像に対して各種の処理を施して撮影画像の現像を行う。

また、現像処理された撮影画像は、表示用処理部６９により表示部２６に供給され、表示される。すなわち、現像処理された撮影画像がスルー画像として表示される。さらに、AF検波処理部６６は、必要に応じて撮影画像や、イメージャ５１等で取得されたフォーカス動作のための情報に基づいて、オートフォーカスの状態の評価値を算出し、フォーカスレンズ制御処理部７１に供給する。

ステップＳ１２において、フォーカスレンズ制御処理部７１は、AF検波処理部６６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。

ステップＳ１３において、制御部５４は、ユーザインターフェース５３としてのシャッタボタン２２から供給される信号に基づいて、シャッタボタン２２が押されたか否かを判定する。例えば、シャッタボタン２２が全押しされて撮影が指示されると、シャッタボタン２２が押されたと判定される。

ステップＳ１３において、シャッタボタン２２が押されていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。

これに対して、ステップＳ１３において、シャッタボタン２２が押されたと判定された場合、ステップＳ１４において、デジタル信号処理LSI５２は、制御部５４の制御に従って現像処理された撮影画像をキャプチャする。

すなわち、デジタル信号処理LSI５２は、現像処理された撮影画像を、撮影された撮影画像としてメモリ６８に供給し、保持させる。

このようにして撮影画像が撮影されると、撮影処理は終了する。

以上のようにして撮影画像が得られると、得られた撮影画像は表示用処理部６９により表示部２６に供給され、プレビュー画像として表示される。また、撮影画像は、適切なタイミングで、適宜CODEC６５により符号化されて記録部５７に記録される。

〈拡大再生処理の説明〉
また、プレビュー画像が表示されている状態等において、ユーザがユーザインターフェース５３を操作して拡大表示画像の表示を指示した場合や、拡大再生処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合、拡大再生処理が開始される。以下、図６のフローチャートを参照して、撮像装置１１による拡大再生処理について説明する。

ステップＳ４１において、表示制御処理部７０は、合焦領域判定処理部６７に合焦領域判定処理の実行を指示する。

ステップＳ４２において、合焦領域判定処理部６７は、表示制御処理部７０の指示に応じてメモリ６８から撮影画像を読み出して、合焦領域判定処理を行う。

例えば、合焦領域判定処理部６７は、撮影画像をＭ×Ｎ個の領域に分割し、分割された各領域について、領域内の各画素の輝度信号を生成する。例えば輝度信号はYC生成部６３が生成するようにしてもよい。

また、合焦領域判定処理部６７は、分割された領域内の各画素の輝度信号に対してハイパスフィルタ等を用いたフィルタ処理を施して高域成分を抽出し、得られた高域成分を絶対値化する。さらに、合焦領域判定処理部６７は、分割された領域内の各画素について得られた高域成分の絶対値に対して高域成分ノイズ除去とリミッタ処理を行った後、領域内の各画素の高域成分の絶対値を積分することで、分割された領域の合焦スコアを算出する。すなわち、分割された領域内の各画素の高域成分の絶対値の総和が、その領域の合焦スコアとされる。

撮影画像では、ピントが合っている領域、つまり合焦の度合いの高い領域ではエッジ成分が顕著に表れることから、ピントが合っている領域ほど、高域成分の積算値である合焦スコアが大きい値となる。

合焦領域判定処理部６７は、このようにして得られた撮影画像の各領域の合焦スコアを、合焦領域判定処理の結果として表示制御処理部７０に供給する。

なお、合焦領域判定処理は、以上において説明した処理に限らず、撮影画像の各領域の合焦度合いが得られるものであれば、どのような処理であってもよい。

例えば、ピントが合っている学習画像と、ピントが合っていない、ぶれやぼけが生じた学習画像とを用いた機械学習により得られた識別器（辞書）が用いられて、撮影画像の各領域の合焦スコアが求められてもよい。そのような場合、合焦領域判定処理部６７は、撮影画像の各領域から特徴量を抽出するとともに、各領域の特徴量を識別器に代入して演算を行い、その結果得られた値を各領域の合焦スコアとする。

ステップＳ４３において、表示制御処理部７０は、合焦領域判定処理部６７から、合焦領域判定処理の結果として撮影画像の各領域の合焦スコアを取得する。

ステップＳ４４において、表示制御処理部７０は、取得した各領域の合焦スコアに基づいて、表示中心位置を求める。

例えば、表示制御処理部７０は撮影画像上のＭ×Ｎ個の各領域のうち、合焦スコアが最も大きい（高い）領域を表示中心位置とする。すなわち、合焦スコアが最も大きい領域の位置を示す座標（Ｘｐ，Ｙｐ）が、表示中心位置とされる。表示中心位置を求める処理は、撮影画像から最もピントが合っている領域を検出する処理であるということができる。

ステップＳ４５において、表示制御処理部７０は、ユーザインターフェース５３からオフセット量を取得する。

例えば、表示部２６に拡大表示画像が表示されている場合、ユーザはユーザインターフェース５３を操作することで、拡大表示画像の中心位置を上下左右に移動させることができる。ユーザがユーザインターフェース５３を操作して、拡大表示画像の中心位置の移動量（Xofst，Yofst）を入力すると、表示制御処理部７０は、ユーザインターフェース５３から、ユーザにより入力された移動量（Xofst，Yofst）を、オフセット量として取得する。

ステップＳ４６において、表示制御処理部７０は、取得したオフセット量に基づいて表示中心位置を補正する。

具体的には、表示制御処理部７０は、オフセット量だけ表示中心位置を移動させることで、表示中心位置を補正する。したがって、補正前の表示中心位置（Ｘｐ，Ｙｐ）がオフセット量（Xofst，Yofst）だけ移動され、補正後の表示中心位置（Ｘｃ，Ｙｃ）＝（Xp+Xofst，Yp+Yofst）とされる。

ステップＳ４７において、表示制御処理部７０は、表示中心位置（Ｘｃ，Ｙｃ）と、所定の表示倍率とを指定して、表示用処理部６９に拡大表示画像の生成を指示する。

ステップＳ４８において、表示用処理部６９は、表示制御処理部７０の指示に応じて拡大表示画像を生成し、表示部２６に表示させる。

例えば表示用処理部６９は、メモリ６８に保持されている撮影画像に対する、表示制御処理部７０により指定された表示倍率に応じた解像度変換を解像度変換部６４に指示する。そして、表示用処理部６９は、解像度変換により得られた撮影画像から、表示中心位置（Ｘｃ，Ｙｃ）を中心とする、表示部２６の画面サイズにより定まる大きさの領域を切り出して、拡大表示画像とする。表示用処理部６９は、このようにして得られた拡大表示画像を表示部２６に供給して表示させる。

ステップＳ４９において、表示制御処理部７０は、拡大表示画像の表示を終了するか否かを判定する。例えば、ユーザにより表示の終了が指示された場合、拡大表示画像が表示されてから、予め定められた所定時間が経過した場合などに拡大表示画像の表示を終了すると判定される。

ステップＳ４９において、拡大表示画像の表示を終了しないと判定された場合、処理はステップＳ４５に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ４９において拡大表示画像の表示を終了すると判定された場合、表示制御処理部７０は、表示用処理部６９に表示終了を指示し、拡大表示画像の表示が終了される。拡大表示画像の表示が終了すると、拡大再生処理は終了する。

以上のようにして、撮像装置１１は、撮影により得られた撮影画像に対して合焦領域判定処理を行って、最もピントが合っている領域を検出し、検出の結果得られた領域の位置を、表示中心位置とする。そして、撮像装置１１は、表示中心位置を中心とする撮影画像の所定の領域を拡大表示画像として表示させる。

このように、最もピントの合った領域を検出し、検出された領域を表示中心とする拡大表示画像を生成することで、ユーザは、撮影後、より簡単かつ直感的に撮影画像のピント具合を確認することができる。

例えば撮像装置１１によれば、最もピントがあっている部分が画面中心に表示されるので、ユーザは、画面中心にピントを合わせたかった部分が表示されているかどうかで、直感的に狙った部分にピントが合っているかを知ることができる。また、最もピントがあっている部分が画面中心に表示されるので、ユーザは、所望の領域のピント具合が十分であるかを直ぐに確認することができる。

特に撮像装置１１では、撮影前ではなく撮影後にピント具合を確認することができるので、撮影の結果として得られた撮影画像が十分なものであるかを知ることができる。すなわち、撮影前に十分に時間をかけてピント具合を確認した後、撮影を行ったが、実際に得られた撮影画像ではピントが合っていなかったといったことが生じることもない。

例えば、ユーザがピント具合等が十分でないと感じた場合には、すぐに画像の撮り直しをすることができ、撮影機会の損失を防止することができる。

また、撮像装置１１では、撮影により得られた撮影画像に対して合焦領域判定処理が行われて拡大表示画像が生成される。そのため、オートフォーカスでの撮影であるか、マニュアルフォーカスの撮影であるかによらず、合焦領域付近が拡大表示される。したがって、撮影方法やフォーカスを合わせる方法などによらず、より簡単かつ直感的に撮影画像のピント具合を確認することができる。

〈第２の実施の形態〉
〈撮像装置の処理の概要〉
なお、以上においては撮影画像の分割された各領域の合焦スコアを全て用いて、表示中心位置を検出する例について説明したが、オートフォーカスで撮影画像を撮影するときには、撮影時に得られる情報を利用すれば、より効率的に表示中心位置を得ることができる。

そのような場合、例えば図７および図８に示すように、撮影処理および拡大再生処理が行われる。なお、図７および図８において、図３および図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

例えば図７に示すように、撮影動作が開始されると撮影画像Ｆ１１乃至撮影画像Ｆ１６が撮影され、これらの撮影画像に対する現像処理が行われて撮影画像Ｒ１１乃至撮影画像Ｒ１６が得られる。

そして、矢印Ｑ１２に示すように、撮影画像Ｆ１６の取り込み時にシャッタボタン２２が全押しされると、撮影画像Ｆ１６を現像処理して得られた撮影画像Ｒ１６が、撮影により得られた画像としてキャプチャされる。

このとき、撮像装置１１では、撮影画像Ｒ１６がメモリ６８に保持されるが、撮影画像Ｒ１６とともに、撮影画像Ｆ１６の撮影時にオートフォーカスにおける合焦（フォーカス）の対象とされた領域、つまりAFターゲットの領域を示す情報もAF領域情報としてメモリ６８に保持される。

例えば、コントラスト方式によりフォーカス動作が行われる場合には、フォーカスレンズ制御処理部７１により定められた、AFターゲットの領域、すなわちオートフォーカスのターゲットの枠ＦＲ１１の領域を示す情報がAF領域情報とされる。

また、例えば位相差センサ方式によりフォーカス動作が行われる場合には、予め定められた複数のAFポイントのうち、撮影画像Ｆ１６の撮影時に、フォーカスを合わせる位置として選択されたAFポイントを示す情報がAF領域情報とされる。

さらに図７の例では、メモリ６８には、AF領域情報に加えて、AF領域情報が格納されたEXIF（Exchangeable Image File Format）データも保持されている。このEXIFデータは、撮影画像Ｒ１６のメタデータとして付加されるデータであり、例えばAF領域情報は、EXIFデータの自由領域に記録される。

以上のようにして撮影画像Ｒ１６、AF領域情報、およびEXIFデータがメモリ６８に保持されると、その後、適切なタイミングで、撮影画像Ｒ１６にEXIFデータが付加されて、EXIFデータが付加された撮影画像Ｒ１６が記録部５７に記録される。また、撮影画像Ｒ１６が、撮影後のプレビュー画像として表示部２６に表示される。

撮影画像Ｒ１６がプレビュー画像として表示された状態で、例えば図８の左下部分の矢印Ｑ２１に示すように、ユーザがユーザインターフェース５３に対する操作を行い、拡大表示を指示すると、撮像装置１１では拡大再生処理が行われる。なお、拡大再生処理は、メニュー設定等により、自動的に開始されるようにしてもよい。

拡大再生処理が開始されると、まず、処理対象となっている撮影画像Ｒ１６が、必要に応じて記録部５７から読み出され、メモリ６８に供給される。なお、撮影直後に拡大再生処理が行われる場合には、撮影画像Ｒ１６はすでにメモリ６８に保持されているため、撮影画像Ｒ１６のロードは不要である。この場合、メモリ６８には、AF領域情報とEXIFデータも保持されている。

次に、表示制御処理部７０は、合焦領域判定処理部６７に合焦領域判定処理の実行を指示し、合焦領域判定処理部６７は、メモリ６８から撮影画像Ｒ１６を読み出して合焦領域判定処理を行う。

合焦領域判定処理では、例えば矢印Ｑ２２に示すように撮影画像Ｒ１６が、Ｍ×Ｎ個の領域に分割され、各領域について合焦スコアが算出される。

続いて、表示制御処理部７０は、矢印Ｑ４１に示すように、メモリ６８に保持されているAF領域情報またはEXIFデータに基づいて、撮影画像Ｒ１６における、表示中心位置を求める対象となる判定対象領域ＦＤ１１を定める。

この例では、AF領域情報により示される、オートフォーカスのターゲットの枠ＦＲ１１の領域全体を含む領域が判定対象領域ＦＤ１１とされている。この判定対象領域ＦＤ１１は、AF領域情報により示される領域を含む領域であれば、どのような大きさや形状であってもよい。

また、表示制御処理部７０は、矢印Ｑ４２に示すように、定めた判定対象領域ＦＤ１１内の各領域のうち、最も合焦スコアが高い（大きい）領域を表示中心位置として選択する。

この例では、判定対象領域ＦＤ１１内にあるＭ’×Ｎ’個の分割された領域のなかから、座標（Ｘｐ，Ｙｐ）により特定される領域が、表示中心位置として選択されている。

判定対象領域ＦＤ１１とされる領域は、撮影画像の撮影時にフォーカスを合わせる対象とされた領域であるので、判定対象領域ＦＤ１１から検出された表示中心位置の領域が、撮影画像Ｒ１６において最もピントが合っている領域となるはずである。

表示制御処理部７０は、表示用処理部６９に対して、表示中心位置を中心とする撮影画像Ｒ１６の拡大表示画像の表示を指示する。

すると、表示用処理部６９は、解像度変換部６４による解像度変換によって拡大された撮影画像Ｒ１６から、座標（Ｘｐ，Ｙｐ）の位置を中心とする拡大表示画像Ｅ１１を生成し、図中、右下に示されるように表示部２６に拡大表示画像Ｅ１１を表示させる。

拡大表示画像Ｅ１１は、撮影画像Ｒ１６において最もピントが合っている領域周辺の画像であるので、ユーザは、拡大表示画像Ｅ１１を見ることで、所望の部分に十分にピントが合っているかどうかを簡単かつ直感的に確認することができる。

例えば、撮影時にユーザがシャッタボタン２２を半押しすると、フォーカスがロックされた状態となるが、フォーカスがロックされた後、シャッタボタン２２が全押しされて撮影画像がキャプチャされるまでの間に、被写体が動いてしまうことがある。そうすると、実際に撮影した撮影画像では、ユーザが狙った部分にピントが合っていないこともある。

また、例えば位相差センサ方式のオートフォーカスでは、AFポイントは予め定められた位置にしかないため、ピントを合わせたい部分にAFポイントがないこともある。さらに、コントラスト方式のオートフォーカスでは、フォーカスターゲットとなる領域の面積が大きいことも多く、撮影時には実際にどこにピントが合っているのかが分からない。

このような場合であっても、撮像装置１１ではユーザは拡大表示画像Ｅ１１を見ることで、ピント具合を簡単に確認することができるので、ピント具合が不十分であるときには、直ちに撮り直しを行うことができる。したがって、ユーザは、リアルタイム性を重視して撮影作業に集中することができる。

〈撮影処理の説明〉
次に、図７および図８を参照して説明した処理が行われる場合における、撮像装置１１の具体的な動作について説明する。

まず、図９のフローチャートを参照して、撮像装置１１による撮影処理について説明する。なお、ステップＳ７１乃至ステップＳ７４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ７５において、フォーカスレンズ制御処理部７１は、撮影時のフォーカス動作に用いた情報に基づいてAF領域情報を生成するとともに、AF領域情報をデジタル信号処理LSI５２に供給し、保持させる。

デジタル信号処理LSI５２は、フォーカスレンズ制御処理部７１から供給されたAF領域情報をメモリ６８に供給し、撮影画像と対応付けて保持させる。なお、必要に応じてEXIFデータにAF領域情報が格納されて、そのEXIFデータがメモリ６８に保持されるようにしたり、AF領域情報が格納されたEXIFデータが撮影画像に付加されたりしてもよい。

このようにしてAF領域情報が保持されると、撮影処理は終了する。

〈拡大再生処理の説明〉
また、プレビュー画像が表示されている状態等において、ユーザがユーザインターフェース５３を操作して拡大表示画像の表示を指示した場合や、拡大再生処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合、拡大再生処理が開始される。以下、図１０のフローチャートを参照して、撮像装置１１による拡大再生処理について説明する。

ステップＳ１０１において、表示制御処理部７０は、メモリ６８からAF領域情報を取得する。なお、AF領域情報は、メモリ６８に保持されている撮影画像に付加されているEXIFデータから読み出されてもよい。

AF領域情報が取得されると、その後、ステップＳ１０２乃至ステップＳ１０４の処理が行われるが、これらの処理は図６のステップＳ４１乃至ステップＳ４３の処理と同様であるので、その説明は省略する。

これらの処理では、合焦領域判定処理が行われ、その処理結果として得られた撮影画像のＭ×Ｎ個の各領域の合焦スコアが表示制御処理部７０により取得される。

ステップＳ１０５において、表示制御処理部７０は、取得したＭ×Ｎ個の各領域の合焦スコアのなかから、AF領域情報により定まる判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアを抽出する。

ステップＳ１０６において、表示制御処理部７０は、抽出したＭ’×Ｎ’個の各領域の合焦スコアに基づいて、表示中心位置を求める。例えば、撮影画像上のＭ’×Ｎ’個の各領域のうち、合焦スコアが最も大きい領域が表示中心位置とされる。

表示中心位置が求められると、その後、ステップＳ１０７乃至ステップＳ１１１の処理が行われて拡大再生処理は終了するが、これらの処理は図６のステップＳ４５乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

以上のようにして、撮像装置１１は、撮影により得られた撮影画像に対して合焦領域判定処理を行って、AF領域情報により定まる判定対象領域内から、最もピントが合っている領域を検出し、検出の結果得られた領域の位置を表示中心位置とする。そして、撮像装置１１は、表示中心位置を中心とする撮影画像の領域を拡大表示画像として表示させる。

このように最もピントの合った領域を表示中心として拡大表示画像を表示することで、ユーザは、撮影後、より簡単かつ直感的に撮影画像のピント具合を確認することができる。特に、表示中心位置の検索範囲を判定対象領域内とすることで、より迅速に拡大表示画像を得ることができる。

〈第２の実施の形態の変形例１〉
〈拡大再生処理の説明〉
なお、第２の実施の形態では、撮影画像全体を対象として合焦領域判定処理を行う場合について説明したが、判定対象領域のみが対象とされて合焦領域判定処理が行われるようにしてもよい。

そのような場合、図９を参照して説明した撮影処理が行われた後、図１１に示す拡大再生処理が行われる。以下、図１１のフローチャートを参照して、撮像装置１１による拡大再生処理を説明する。

なお、ステップＳ１４１の処理は、図１０のステップＳ１０１の処理と同様であるので、その説明は省略する。

ステップＳ１４２において、表示制御処理部７０は、AF領域情報により定まる判定対象領域を示す情報を合焦領域判定処理部６７に供給して、判定対象領域のみを対象とする合焦領域判定処理の実行を合焦領域判定処理部６７に指示する。

ステップＳ１４３において、合焦領域判定処理部６７は、表示制御処理部７０の指示に応じて、メモリ６８から撮影画像のうちの判定対象領域の部分を読み出して、合焦領域判定処理を行う。これにより、判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアが得られる。

ステップＳ１４４において、表示制御処理部７０は、合焦領域判定処理部６７から、合焦領域判定処理の結果として判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアを取得する。

ステップＳ１４５において、表示制御処理部７０は、Ｍ’×Ｎ’個の各領域の合焦スコアに基づいて、表示中心位置を求める。例えば、撮影画像上のＭ’×Ｎ’個の各領域のうち、合焦スコアが最も大きい領域が表示中心位置とされる。

表示中心位置が求められると、その後、ステップＳ１４６乃至ステップＳ１５０の処理が行われて拡大再生処理は終了するが、これらの処理は図６のステップＳ４５乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

以上のようにして、撮像装置１１は、撮影画像上の判定対象領域を対象として合焦領域判定処理を行って、判定対象領域内から最もピントが合っている領域を検出し、検出の結果得られた領域の位置を表示中心位置とする。そして、撮像装置１１は、表示中心位置を中心とする撮影画像の領域を拡大表示画像として表示させる。

このように最もピントの合った領域を表示中心として拡大表示画像を表示することで、ユーザは、撮影後、より簡単かつ直感的に撮影画像のピント具合を確認することができる。特に、判定対象領域のみを対象として合焦領域判定処理を行うことで、図１０を参照して説明した例よりも、さらに合焦領域判定処理の処理時間を短くすることができる。また、メモリ６８から読み出される撮影画像の帯域（領域）も少なくて済むので、より迅速に処理を行うことができるだけでなく、消費電力も少なくすることができる。

〈第３の実施の形態〉
〈撮像装置の処理の概要〉
さらに、以上においては、表示中心位置が１つである場合について説明したが、表示中心位置が複数選択されるようにしてもよい。

そのような場合、図３を参照して説明した撮影処理が行われた後、例えば図１２に示す拡大再生処理が行われる。なお、図１２において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

拡大再生処理が開始されると、撮影画像Ｒ１６が必要に応じて記録部５７から読み出され、メモリ６８に供給される。

そして表示制御処理部７０が、合焦領域判定処理部６７に合焦領域判定処理の実行を指示すると、合焦領域判定処理部６７は、メモリ６８から撮影画像Ｒ１６を読み出して合焦領域判定処理を行う。

合焦領域判定処理では、例えば矢印Ｑ２２に示すように撮影画像Ｒ１６がＭ×Ｎ個の領域に分割されて合焦スコアが算出される。

表示制御処理部７０は、各領域の合焦スコアに基づいて、矢印Ｑ６１に示すように合焦スコアが所定値以上である領域を表示中心位置として選択する。なお、１つの四角形は１つの分割された領域を表しており、その四角形内の数値は合焦スコアを表している。

この例では、座標（Xp1，Yp1）により特定される領域、座標（Xp2，Yp2）により特定される領域、および座標（Xp3，Yp3）により特定される領域が表示中心位置として選択されている。このようにして得られた３つの表示中心位置の領域が、撮影画像Ｒ１６において、十分にピントが合っている領域である。

表示制御処理部７０は、表示用処理部６９に対して、求めた表示中心位置を中心とする撮影画像Ｒ１６の拡大表示画像の表示を指示する。

すると、表示用処理部６９は、合焦スコアの高い順番に、表示中心位置とされた領域を中心とする拡大表示画像を生成して表示させる。このとき、他の表示中心位置から近い位置にある表示中心位置については、処理対象から除外され、拡大表示画像の生成は行われない。

この例では、座標（Xp1，Yp1）乃至座標（Xp3，Yp3）の各領域の合焦スコアは、それぞれ85、83、および80となっている。また、ここでは、座標（Xp1，Yp1）の領域と、座標（Xp2，Yp2）の領域との距離が近いとされ、それらの領域のうち、より合焦スコアの低い座標（Xp2，Yp2）の領域が処理対象から除外されるとする。

このような場合、まず表示用処理部６９は、解像度変換部６４による解像度変換によって拡大された撮影画像Ｒ１６から、最も合焦スコアが高い座標（Xp1，Yp1）の位置を中心とする拡大表示画像Ｅ２１を生成し、表示部２６に供給して表示させる。これにより、矢印Ｑ６２に示されるように、表示部２６に拡大表示画像Ｅ２１が表示される。

また、拡大表示画像Ｅ２１が表示されている状態で、矢印Ｑ６３に示すようにユーザがユーザインターフェース５３を操作し、次の拡大表示画像の表示を指示したとする。

すると、表示用処理部６９は、解像度変換部６４による解像度変換によって拡大された撮影画像Ｒ１６から、２番目に合焦スコアが高い座標（Xp3，Yp3）の位置を中心とする拡大表示画像Ｅ２２を生成し、表示部２６に供給して表示させる。これにより、矢印Ｑ６４に示されるように、表示部２６に拡大表示画像Ｅ２２が表示される。

さらに、拡大表示画像Ｅ２２が表示されている状態で、矢印Ｑ６５に示すようにユーザがユーザインターフェース５３を操作し、次の拡大表示画像の表示を指示したとする。この例では、処理対象となる次の表示中心位置はないので、矢印Ｑ６２に示すように拡大表示画像Ｅ２１が表示された状態に戻る。すなわち、最初に表示された拡大表示画像の表示へと戻る。

なお、拡大表示画像Ｅ２１および拡大表示画像Ｅ２２において、点線で表される各領域は、合焦領域判定処理時に合焦スコアが算出された各領域を表すものであり、実際には拡大表示画像Ｅ２１や拡大表示画像Ｅ２２には表示されない。

このように、複数の表示中心位置について拡大表示画像を生成し、合焦スコアが高い順番で表示させることで、ユーザは、撮影画像Ｒ１６において、それなりにピントが合っている各部分のピント具合を、より簡単かつ迅速に確認することができる。

なお、拡大表示画像の表示の切り替えは、ユーザによる指示があったときに限らず、拡大表示画像が表示されてから所定時間が経過したときに自動的に切り替えられるようにしてもよい。

〈拡大再生処理の説明〉
次に、図１２を参照して説明した処理が行われる場合における、撮像装置１１の具体的な動作について説明する。

以下、図１３のフローチャートを参照して、撮像装置１１による拡大再生処理について説明する。なお、この拡大再生処理は、プレビュー画像が表示されている状態等において、ユーザにより拡大表示画像の表示が指示された場合や、拡大再生処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合に開始される。

拡大再生処理が開始されると、ステップＳ１８１乃至ステップＳ１８３の処理が行われるが、これらの処理は図６のステップＳ４１乃至ステップＳ４３の処理と同様であるので、その説明は省略する。これらの処理により、撮影画像のＭ×Ｎ個の各領域の合焦スコアが得られる。

ステップＳ１８４において、表示制御処理部７０は、取得したＭ×Ｎ個の領域を、合焦スコアの高い順番にソートし（並び替え）、所定値以上の合焦スコアの領域を表示中心位置とする。

ステップＳ１８５において、表示制御処理部７０は、表示中心位置のうち、互いに距離が近い表示中心位置を削除する。例えば所定の表示中心位置が、撮影画像上において他の表示中心位置から所定の距離以内の位置にある場合、所定の表示中心位置と他の表示中心位置のうちの合焦スコアが低い方が削除（除外）される。

表示制御処理部７０は、このようにして合焦スコア順に並べられた表示中心位置のリストを候補リストとして保持する。

ステップＳ１８６において、表示制御処理部７０は、次の拡大表示画像を表示させるか否かを判定する。

例えば、ユーザにより次の拡大表示画像の表示が指示された場合や、拡大表示画像が表示されてから所定時間が経過した場合、次の拡大表示画像を表示させると判定される。

ステップＳ１８６において、まだ次の拡大表示画像を表示させないと判定された場合、ステップＳ１８７の処理はスキップされて、その後、処理はステップＳ１８８に進む。

これに対して、ステップＳ１８６において、次の拡大表示画像を表示させると判定された場合、ステップＳ１８７において、表示制御処理部７０は、処理対象の表示中心位置を選択する。例えば、候補リストにある、まだ処理対象とされていない表示中心位置のうち、最も上位にあるもの、つまり最も合焦スコアが高い表示中心位置が、次の処理対象の表示中心位置として選択される。これにより、拡大表示画像が合焦スコアの高いものから順番に、１つずつ表示されていくことになる。

ステップＳ１８７の処理が行われて処理対象とする表示中心位置が選択されたか、またはステップＳ１８６において次の拡大表示画像を表示させないと判定された場合、処理はステップＳ１８８に進む。

そして、ステップＳ１８８乃至ステップＳ１９１の処理が行われるが、これらの処理は図６のステップＳ４５乃至ステップＳ４８の処理と同様であるので、その説明は省略する。これらの処理により、処理対象とする表示中心位置についての拡大表示画像が表示される。

ステップＳ１９２において、表示制御処理部７０は、拡大表示画像の表示を終了するか否かを判定する。例えば、ユーザにより表示の終了が指示された場合、最後に表示すべき拡大表示画像が表示されてから、予め定められた所定時間が経過した場合などに拡大表示画像の表示を終了すると判定される。

ステップＳ１９２において、拡大表示画像の表示を終了しないと判定された場合、処理はステップＳ１８６に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ１９２において拡大表示画像の表示を終了すると判定された場合、表示制御処理部７０は、表示用処理部６９に表示終了を指示し、拡大表示画像の表示が終了される。拡大表示画像の表示が終了すると、拡大再生処理は終了する。

以上のようにして、撮像装置１１は合焦領域判定処理を行って、ピントが合っている１または複数の領域を検出し、検出の結果得られた領域の位置を表示中心位置とする。そして、撮像装置１１は、各表示中心位置を中心とする撮影画像の領域を、それぞれ拡大表示画像として表示させる。

このようにピントの合った１または複数の領域を表示中心として、１または複数の拡大表示画像を表示することで、ユーザは、撮影後、より簡単かつ直感的に撮影画像のピント具合を確認することができる。

〈第４の実施の形態〉
〈多機能型携帯電話機の外観の構成例〉
さらに、以上においては、本技術をデジタルスチルカメラ等の撮像装置１１に適用した場合について説明したが、上述したように本技術は、多機能型携帯電話機等にも適用可能である。以下、本技術を多機能型携帯電話機に適用した場合を例として説明する。

図１４は、本技術を適用した多機能型携帯電話機の外観の構成例を示す図である。

多機能型携帯電話機１２１は、カメラ機能を有する携帯型電話機からなり、図１４では矢印Ａ４１に示す図は多機能型携帯電話機１２１を表面側から見た図であり、矢印Ａ４２に示す図は多機能型携帯電話機１２１を裏面側から見た図である。

多機能型携帯電話機１２１の表面には、液晶パネル等からなる表示部１３１が設けられており、表示部１３１には図示せぬタッチパネルが重畳して設けられている。例えばユーザは、表示部１３１に表示される画像等を見たり、表示部１３１に表示されるアイコン等を操作したりする。

また、多機能型携帯電話機１２１の側面には、カメラ機能による撮影時にシャッタボタンとして機能するシャッタボタン１３２や、音量調整などのためのボタン１３３等の各種のボタンが設けられている。

さらに、多機能型携帯電話機１２１の裏面には、被写体から入射してくる光を図示せぬイメージャへと導く光学系１３４が設けられており、ユーザは光学系１３４を所望の被写体に向けて撮影を行う。

〈多機能型携帯電話機の機能の構成例〉
また、図１４に示した多機能型携帯電話機１２１の機能の構成は、例えば図１５に示す構成とされる。なお、図１５において、図１４または図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

多機能型携帯電話機１２１は、光学系１３４、イメージャ１６１、デジタル信号処理LSI１６２、ユーザインターフェース１６３、制御部１６４、手ぶれセンサ１６５、記録部１６６、表示部１３１、スピーカ１６７、マイクロホン１６８、および無線通信部１６９を有している。

なお、光学系１３４、イメージャ１６１、デジタル信号処理LSI１６２、ユーザインターフェース１６３、制御部１６４、手ぶれセンサ１６５、記録部１６６、および表示部１３１は、撮像装置１１の光学系２１、イメージャ５１、デジタル信号処理LSI５２、ユーザインターフェース５３、制御部５４、手ぶれセンサ５６、記録部５７、および表示部２６と同様であるので、その説明は適宜省略する。

この例では、制御部１６４には、表示制御処理部７０およびフォーカスレンズ制御処理部７１が設けられている。また、ユーザインターフェース１６３は、例えば表示部１３１に重畳されたタッチパネルや、シャッタボタン１３２、ボタン１３３などから構成される。

デジタル信号処理LSI１６２は、手ぶれセンサ１６５の出力に基づいて、撮影画像に対して電子的な手ぶれ補正を施す。さらに、デジタル信号処理LSI１６２は、プリ処理部６１、同時化部６２、YC生成部６３、解像度変換部６４、CODEC６５、AF検波処理部６６、合焦領域判定処理部６７、メモリ６８、表示用処理部６９、および通話処理部１７１を備えている。

通話処理部１７１は、ユーザによる他の電話機との通話に関する処理を行う。例えば通話処理部１７１は、マイクロホン１６８がユーザの音声を収音することで得られた音声信号を無線通信部１６９に供給し、基地局等を介して通話相手の電話機に送信させる。また、例えば通話処理部１７１は、通話相手の電話機から送信され、無線通信部１６９により受信された音声信号をスピーカ１６７に供給し、再生させる。

無線通信部１６９は、制御部１６４の制御に従って無線通信を行う。例えば、無線通信部１６９は、基地局等を介して通話相手との音声信号の送受信を行ったり、Wi-Fi（登録商標）等の比較的近距離での無線による情報の送受信を行ったりする。

〈撮影処理および拡大再生処理の説明〉
次に、以上において説明した多機能型携帯電話機１２１の具体的な動作について説明する。まず、図１６のフローチャートを参照して、多機能型携帯電話機１２１による撮影処理について説明する。なお、撮影処理では、ステップＳ２３１乃至ステップＳ２３４の処理が行われるが、これらの処理は図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

また、多機能型携帯電話機１２１は、撮影処理を行った後、プレビュー画像が表示されている状態等で、ユーザがユーザインターフェース１６３を操作して拡大表示画像の表示を指示した場合や、拡大再生処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合、拡大再生処理を行う。

以下、図１７のフローチャートを参照して、多機能型携帯電話機１２１による拡大再生処理について説明する。図１７の拡大再生処理では、ステップＳ２６１乃至ステップＳ２６９の処理が行われるが、これらの処理は図６のステップＳ４１乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

また、多機能型携帯電話機１２１では、図９に示した撮影処理と同様の処理、図１０や図１１、図１３に示した拡大再生処理と同様の処理が行われるようにしてもよい。

〈第５の実施の形態〉
〈ウェアラブルカメラの外観の構成例〉
さらに、本技術はウェアラブルカメラと呼ばれる、小型でユーザの頭部等に装着可能なデジタルビデオカメラなどにも適用可能である。以下、本技術をウェアラブルカメラに適用した場合を例として説明する。

図１８は、本技術を適用したウェアラブルカメラの外観の構成例を示す図である。

ウェアラブルカメラ２０１の正面には、被写体から入射してくる光を図示せぬイメージャへと導く光学系２１１が設けられており、ユーザは光学系２１１を所望の被写体に向けて撮影を行う。

また、ウェアラブルカメラ２０１の背面には、図示せぬ録画ボタン等の各種のボタンが設けられており、ユーザはそれらのボタンを操作して、撮影や再生を指示する。さらに、ウェアラブルカメラ２０１は、無線通信により他の機器、例えば図１５に示した多機能型携帯電話機１２１と情報の授受を行うことができるようになされている。

〈ウェアラブルカメラの機能の構成例〉
また、図１８に示したウェアラブルカメラ２０１の機能の構成は、例えば図１９に示す構成とされる。なお、図１９において、図１８または図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

ウェアラブルカメラ２０１は、光学系２１１、イメージャ２４１、デジタル信号処理LSI２４２、ユーザインターフェース２４３、制御部２４４、レンズ駆動用ドライバIC２４５、手ぶれセンサ２４６、記録部２４７、および無線通信部２４８を有している。

なお、光学系２１１、およびイメージャ２４１乃至記録部２４７は、図２の光学系２１、およびイメージャ５１乃至記録部５７と同様であるので、その説明は適宜省略する。

この例では、制御部２４４には、表示制御処理部７０およびフォーカスレンズ制御処理部７１が設けられている。また、デジタル信号処理LSI２４２は、プリ処理部６１、同時化部６２、YC生成部６３、解像度変換部６４、CODEC６５、AF検波処理部６６、合焦領域判定処理部６７、メモリ６８、および表示用処理部６９を備えている。

無線通信部２４８は、デジタル信号処理LSI２４２の制御に従って無線通信を行う。例えば、無線通信部２４８は、Wi-Fi（登録商標）等の比較的近距離での無線による情報の送受信を行う。

〈撮影処理の説明〉
次に、以上において説明したウェアラブルカメラ２０１の具体的な動作について説明する。まず、図２０のフローチャートを参照して、ウェアラブルカメラ２０１による撮影処理について説明する。

図２０の撮影処理では、ステップＳ２９１乃至ステップＳ２９４の処理が行われるが、これらの処理は図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ２９４の処理が行われて、撮影画像がキャプチャされると、デジタル信号処理LSI２４２は、撮影画像を無線通信部２４８に供給し、例えば多機能型携帯電話機１２１に送信したり、撮影画像を記録部２４７に供給して記録させたりする。以上のようにして撮影画像がキャプチャされると、撮影処理は終了する。

また、このような場合、多機能型携帯電話機１２１の無線通信部１６９は、無線通信部２４８から無線により送信されてきた撮影画像を受信してデジタル信号処理LSI１６２に供給する。表示用処理部６９は、無線通信部１６９で受信された撮影画像を表示部１３１に供給して表示させる。

〈拡大表示画像生成処理の説明〉
ウェアラブルカメラ２０１は、撮影処理を行って撮影画像をキャプチャすると、その後、例えば拡大表示画像を生成して多機能型携帯電話機１２１に送信する拡大表示画像生成処理を行う。例えば拡大表示画像生成処理は、ユーザがウェアラブルカメラ２０１や多機能型携帯電話機１２１を操作して拡大表示画像の表示を指示したときや、設定等により自動的に開始される場合において、拡大表示画像が所定時間表示されたときに開始される。

以下、図２１のフローチャートを参照して、ウェアラブルカメラ２０１による拡大表示画像生成処理について説明する。

なお、ステップＳ３３１乃至ステップＳ３３７の処理は、図６のステップＳ４１乃至ステップＳ４７の処理と同様であるので、その説明は省略する。ここで、ステップＳ３３５におけるオフセット量の取得は、例えば多機能型携帯電話機１２１から取得されるようにすればよい。

ステップＳ３３８において、表示用処理部６９は、表示制御処理部７０の指示に応じて拡大表示画像を生成し、無線通信部２４８に供給する。

例えば表示用処理部６９は、メモリ６８に保持されている撮影画像に対する、表示制御処理部７０により指定された表示倍率に応じた解像度変換を解像度変換部６４に指示する。そして、表示用処理部６９は、解像度変換により得られた撮影画像から、表示中心位置を中心とする所定の大きさの領域を切り出して、拡大表示画像とする。表示用処理部６９は、このようにして得られた拡大表示画像を無線通信部２４８に供給する。

ステップＳ３３９において、無線通信部２４８は、表示用処理部６９から供給された拡大表示画像を無線により多機能型携帯電話機１２１に送信する。

ステップＳ３４０において、表示制御処理部７０は、拡大表示画像の表示を終了するか否かを判定する。例えば、ユーザにより終了が指示された場合、拡大表示画像が多機能型携帯電話機１２１に表示されてから、予め定められた所定時間が経過した場合などに拡大表示画像の表示を終了すると判定される。

ステップＳ３４０において、拡大表示画像の表示を終了しないと判定された場合、処理はステップＳ３３５に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ３４０において拡大表示画像の表示を終了すると判定された場合、表示制御処理部７０は、表示用処理部６９に表示終了を指示し、表示用処理部６９により無線通信部２４８を介して、多機能型携帯電話機１２１に拡大表示画像の表示終了が指示される。拡大表示画像の表示が終了すると、拡大表示画像生成処理は終了する。

以上のようにして、ウェアラブルカメラ２０１は、撮影により得られた撮影画像に対して合焦領域判定処理を行って、最もピントが合っている領域を検出し、検出の結果得られた領域の位置を表示中心位置とする。そして、ウェアラブルカメラ２０１は、表示中心位置を中心とする撮影画像の領域を拡大表示画像として多機能型携帯電話機１２１に送信し、表示させる。

このように、最もピントの合った領域を検出し、検出された領域を表示中心とする拡大表示画像を生成することで、ユーザは、撮影後、より簡単かつ直感的に撮影画像のピント具合を確認することができる。

なお、ウェアラブルカメラ２０１が表示中心位置および表示倍率を多機能型携帯電話機１２１に送信し、多機能型携帯電話機１２１において拡大表示画像を生成するようにしてもよい。

〈再生処理の説明〉
また、多機能型携帯電話機１２１は、ウェアラブルカメラ２０１から拡大表示画像が送信されてくると、拡大表示画像を受信して表示する再生処理を開始する。以下、図２２のフローチャートを参照して、多機能型携帯電話機１２１による再生処理を説明する。

ステップＳ３７１において、無線通信部１６９は、ウェアラブルカメラ２０１から無線通信により送信されてきた拡大表示画像を受信して、デジタル信号処理LSI１６２に供給する。

ステップＳ３７２において、表示用処理部６９は、無線通信部１６９から供給された拡大表示画像を表示部１３１に供給し、拡大表示画像を表示させる。表示部１３１に拡大表示画像が表示されると、ユーザは、撮影画像を撮影しているウェアラブルカメラ２０１とは別の機器である多機能型携帯電話機１２１において、撮影画像のピント具合を確認することができるようになる。

ステップＳ３７３において、制御部１６４は、拡大表示を終了するか否かを判定する。例えば無線通信部１６９により、ウェアラブルカメラ２０１から送信された、拡大表示を終了する旨の指示が受信された場合、拡大表示を終了すると判定される。また、例えばユーザがユーザインターフェース１６３を操作して拡大表示の終了を指示した場合に、拡大表示を終了すると判定されてもよい。

ステップＳ３７３において、拡大表示を終了しないと判定された場合、処理はステップＳ３７１に戻り、上述した処理が繰り返し行われる。また、このときユーザがユーザインターフェース１６３を操作してオフセット量を入力し、そのオフセット量がウェアラブルカメラ２０１に送信されるようにしてもよい。

これに対して、ステップＳ３７３において、拡大表示を終了すると判定された場合、制御部１６４は、表示用処理部６９に拡大表示画像の表示終了を指示し、再生処理は終了する。

以上のようにして、多機能型携帯電話機１２１は、ウェアラブルカメラ２０１から拡大表示画像を受信して表示させる。これにより、ユーザは、より大きい画面で、より簡単かつ直感的に撮影画像のピント具合を確認することができる。

なお、ウェアラブルカメラ２０１においても図９に示した撮影処理と同様の処理、図１０や図１１、図１３に示した拡大再生処理と同様の処理が行われるようにしてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本技術は、以下の構成とすることも可能である。

（１）
撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出する合焦領域判定処理部と、
前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出する表示制御処理部と、
前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する表示用処理部と
を備える画像処理装置。
（２）
前記表示用処理部は、前記表示中心位置を中心とする前記拡大表示画像を生成する
（１）に記載の画像処理装置。
（３）
前記表示制御処理部は、前記撮影画像の撮影時にフォーカス対象とされたフォーカス領域を含む判定対象領域内の各領域の前記合焦スコアに基づいて、前記判定対象領域から前記表示中心位置を検出する
（１）または（２）に記載の画像処理装置。
（４）
前記合焦領域判定処理部は、前記撮影画像上の前記判定対象領域のみを対象として前記合焦スコアの算出を行う
（３）に記載の画像処理装置。
（５）
前記拡大表示画像を表示する表示部をさらに備える
（１）乃至（４）の何れか一項に記載の画像処理装置。
（６）
前記表示制御処理部は、前記合焦スコアが最も高い領域を前記表示中心位置とする
（１）乃至（５）の何れか一項に記載の画像処理装置。
（７）
前記表示制御処理部は、前記撮影画像上の複数の領域を前記表示中心位置とし、
前記表示用処理部は、複数の前記表示中心位置ごとに前記拡大表示画像を生成する
（１）乃至（５）の何れか一項に記載の画像処理装置。
（８）
複数の前記拡大表示画像は、前記合焦スコアの高いものから順番に表示される
（７）に記載の画像処理装置。
（９）
撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出し、
前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する
ステップを含む画像処理方法。
（１０）
撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出し、
前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 撮像装置， ５３ ユーザインターフェース， ６７ 合焦領域判定処理部， ６８ メモリ， ６９ 表示用処理部， ７０ 表示制御処理部， ７１ フォーカスレンズ制御処理部， １２１ 多機能型携帯電話機， ２０１ ウェアラブルカメラ

Claims (10)

1. 撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出する合焦領域判定処理部と、
   前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出する表示制御処理部と、
   前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する表示用処理部と
   を備える画像処理装置。
2. 前記表示用処理部は、前記表示中心位置を中心とする前記拡大表示画像を生成する
   請求項１に記載の画像処理装置。
3. 前記表示制御処理部は、前記撮影画像の撮影時にフォーカス対象とされたフォーカス領域を含む判定対象領域内の各領域の前記合焦スコアに基づいて、前記判定対象領域から前記表示中心位置を検出する
   請求項１に記載の画像処理装置。
4. 前記合焦領域判定処理部は、前記撮影画像上の前記判定対象領域のみを対象として前記合焦スコアの算出を行う
   請求項３に記載の画像処理装置。
5. 前記拡大表示画像を表示する表示部をさらに備える
   請求項１に記載の画像処理装置。
6. 前記表示制御処理部は、前記合焦スコアが最も高い領域を前記表示中心位置とする
   請求項１に記載の画像処理装置。
7. 前記表示制御処理部は、前記撮影画像上の複数の領域を前記表示中心位置とし、
   前記表示用処理部は、複数の前記表示中心位置ごとに前記拡大表示画像を生成する
   請求項１に記載の画像処理装置。
8. 複数の前記拡大表示画像は、前記合焦スコアの高いものから順番に表示される
   請求項７に記載の画像処理装置。
9. 撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
   前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出し、
   前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する
   ステップを含む画像処理方法。
10. 撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
    前記合焦スコアに基づいて、前記撮影画像上の最もピントが合っている領域を表示中心位置として検出し、
    前記撮影画像上の前記表示中心位置を含む所定の大きさの領域を切り出して拡大表示画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images