JP2016136683A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】より簡単な操作でユーザが意図する被写体に正確にピントを合わせることができる撮像装置及びその制御方法を提供する。
【解決手段】撮像光学系と、被写体の画像を取得する撮像素子と、撮像光学系と被写体との間の距離情報を取得する手段と、距離情報に基づき画像に対応した距離マップを生成する手段と、撮像素子が取得した画像を表示する表示部と、画像を表示した表示部へのユーザのタッチ操作を検出し、ユーザがタッチした位置に対応する画像における位置を検出する手段と、取得した画像の前記位置における距離情報を距離マップから取得し、取得した距離情報に応じて、前記位置をフォーカスポイントに設定し、又は、前記位置を含む画像の一部の領域を切り出した拡大画像を表示部に表示するように構成された制御手段と、を有する。
【選択図】図３

Description

本発明は、撮像装置及びその制御方法に関する。

従来、タッチパネルを装着した液晶パネルを有する撮像装置において、表示画面を押圧することによりフォーカスエリア（以下、「ＡＦポイント」或いは「フォーカスポイント」とも言う）を設定する技術が提案されている。特許文献１には、設定したＡＦポイントの合焦確認のため、取得した画像の一部の領域を拡大表示することが記載されている。

特開２００５−０７８００９号公報

しかしながら、撮像装置の画面上でＡＦポイントの指定を指で行う場合、意図している被写体にピントが合わなかったり、遠近競合が起きたりすることがあった。また、特許文献１に記載の技術では、ＡＦポイントを拡大して合焦の確認ができるが、仮に意図した部分に合焦していない場合には、再度全体画面表示からやり直す必要があった。

また、近年では、マルチタッチ操作によりタッチした２本の指を広げる操作を識別して画像を拡大する手法が普及している。しかしながら、撮影の際に撮像装置を構えた状態でマルチタッチ操作をするのは難しく、所望の被写体位置にＡＦポイントを設定するのには手間がかかっていた。

本発明の目的は、より簡単な操作でユーザが意図する被写体に正確にピントを合わせることができる撮像装置及びその制御方法を提供することにある。

本発明の一観点によれば、被写体の光学像を形成する撮像光学系と、前記光学像から前記被写体の画像を取得する撮像素子と、前記撮像光学系と前記被写体との間の距離情報を取得する手段と、前記距離情報に基づき前記画像に対応した距離マップを生成する手段と、前記撮像素子が取得した前記画像を表示する表示部と、前記画像を表示した前記表示部へのユーザのタッチ操作を検出し、前記ユーザがタッチした位置に対応する前記画像における位置を検出する手段と、取得した前記画像の前記位置における前記距離情報を前記距離マップから取得し、取得した前記距離情報に応じて、前記位置をフォーカスポイントに設定し、又は、前記位置を含む前記画像の一部の領域を切り出した拡大画像を前記表示部に表示するように構成された制御手段とを有することを特徴とする撮像装置が提供される。

また、本発明の他の一観点によれば、被写体の光学像を形成する撮像光学系と、前記光学像から前記被写体の画像を取得する撮像素子と、前記撮像光学系と前記被写体との間の距離情報を取得する手段と、前記撮像素子が取得した前記画像を表示する表示部と、前記画像を表示した前記表示部へのユーザのタッチ操作を検出する手段とを有する撮像装置の制御方法であって、取得した前記距離情報に基づき前記画像に対応した距離マップを生成するステップと、取得した前記画像を前記表示部に表示するステップと、前記表示部へのユーザのタッチ操作を検出し、前記ユーザがタッチした位置に対応する前記画像における位置を取得するステップと、取得した前記画像の前記位置における前記距離情報を前記距離マップから取得するステップと、取得した前記距離情報に応じて、前記位置をフォーカスポイントに設定し、又は、前記位置を含む前記画像の一部の領域を切り出した拡大画像を前記表示部に表示するステップとを有することを特徴とする撮像装置の制御方法が提供される。

本発明によれば、より簡単な操作によってユーザが意図する被写体に正確にピントを合わせることができるようになる。

本発明の第１実施形態による撮像装置の構成を示すブロック図である。 本発明の第１実施形態による撮像装置において用いられる距離マップを説明する図である。 本発明の第１実施形態による撮像装置の制御方法を示すフローチャートである。 本発明の第１実施形態による撮像装置の制御方法におけるＡＦポイントの選択方法を説明する図である。 本発明の第１実施形態による撮像装置において用いられる距離ヒストグラムを説明する図である。 距離ヒストグラムのピークパターンの種類を説明する図である。 距離ヒストグラムのピークを検出する方法の一例を説明する図である。 距離ヒストグラムが単独ピークパターンを示すときの画像の拡大処理を説明する図である。 距離ヒストグラムが複数ピークパターンを示すときの画像の拡大処理を説明する図である。 本発明の第１実施形態による撮像装置の制御方法における拡大画像からのＡＦポイントの選択方法を説明する図である。 ＡＦポイントにおける遠近競合の発生例を説明する図である。 本発明の第２実施形態による撮像装置の制御方法を示す表示画面の模式図である。 本発明の第３実施形態による撮像装置の制御方法において表示する距離ヒストグラムの一例を示す図である。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

［第１実施形態］
本発明の第１実施形態による撮像装置及びその駆動方法について、図１乃至図１０を用いて説明する。

図１は、本実施形態による撮像装置の構成を示すブロック図である。図２は、本実施形態による撮像装置で用いる距離マップを説明する図である。図３は、本実施形態による撮像装置の動作を示すフローチャートである。図４は、本実施形態による撮像装置の制御方法におけるＡＦポイントの選択方法を説明する図である。図５は、本実施形態による撮像装置において用いられる距離ヒストグラムを説明する図である。図６は、距離ヒストグラムのピークパターンの種類を説明する図である。図７は、距離ヒストグラムのピークを検出する方法の一例を説明する図である。図８は、距離ヒストグラムが単独ピークパターンを示すときの画像の拡大処理を説明する図である。図９は、距離ヒストグラムが複数ピークパターンを示すときの画像の拡大処理を説明する図である。図１０は、本実施形態による撮像装置の制御方法における拡大画像からのＡＦポイントの選択方法を説明する図である。

はじめに、本実施形態による撮像装置の構造について、図１を用いて説明する。

本実施形態による撮像装置１０は、図１に示すように、撮像光学系１０１、フォーカス制御部１０２、撮像センサ１０３、画像処理部１０４、距離情報生成部１０５、メモリ１０６、記録処理部１０７、記録媒体１０８、ＲＯＭ１０９を有している。また、撮像装置１０は、システム制御部１１０、表示処理部１１１、表示部１１２、位置検出部１１３、タッチパネル１１４、バス１１５を有している。

撮像センサ１０３は、ＣＭＯＳセンサ等の固体撮像素子であり、被写体の画像（以下、「被写体像」とも言う）を取得するためのものである。撮像センサ１０３には位相差検出用のセンサが埋め込まれており、撮像センサ１０３から出力される位相差信号をもとに撮影する被写体との間の距離情報を取得することもできる。撮像光学系１０１は、撮像センサ１０３に被写体の光学像を形成するためのものであり、フォーカス位置制御機構を有する。フォーカス制御部１０２は、撮像光学系１０１のフォーカス位置制御機構の動作を制御するためのものである。

距離情報生成部１０５は、撮像センサ１０３から出力される位相差信号をもとに、被写体との間の距離情報を算出するためのものである。算出された被写体の距離情報は、メモリ１０６に保存される。画像処理部１０４は、撮像センサ１０３から出力される画像信号をデジタル化して所定の処理を施すためのものである。処理後の画像データは、メモリ１０６に一時的に保存される。

メモリ１０６は、ＤＲＡＭ等の半導体メモリからなる内部記憶装置である。メモリ１０６には、記録情報部１０７で生成される記録データ、撮像装置１０を制御するプログラム、表示部１１２に表示する画像や文字、アイコン等のＧＵＩ（グラフィカル・ユーザー・インタフェース）データ等が保存される。

記録処理部１０７は、メモリ１０６に保存されている画像データや被写体の距離情報を読み出して所定の記録フォーマットに変換し、記録媒体１０８に書きこむためのものである。記録媒体１０８は、特に限定されるものではないが、例えば、ＳＤメモリカード等の、不揮発性半導体メモリを用いたメモリカードを適用することができる。

システム制御部１１０は、撮像装置１０全体を制御するための制御部（ＣＰＵ）である。ＲＯＭ（リードオンリーメモリ）１０９は、制御プログラム、文字フォント、アイコンリソースデータ等を保存するためのものである。

表示部１１２は、液晶パネル等の表示装置により構成される。表示部１１２の表示面、例えば液晶パネル上には、タッチパネル１１４が装着されている。表示処理部１１１は、メモリ１０６に保存されている映像や、アイコン、文字等の情報を表示部１１２に表示させるための処理を行うためのものである。

位置検出部１１３は、タッチパネル１１４へのユーザのタッチ操作やユーザが指で押圧した位置を検出してシステム制御部１１０に出力するためのものである。

バス１１５は、上記の各モジュール間を接続してモジュール間でデータを交換するための経路である。システム制御部１１０は、所定の制御信号を、バス１１５を介して各モジュールに伝達することで、撮像装置１０の全体を制御する。

ここで、本実施形態による撮像装置１０の具体的な動作を説明する前に、距離情報生成部１０５において生成される距離情報の一例について、図２を用いて説明する。

図２（ａ）は、撮像装置１０と被写体２１０，２１１，２１２との位置関係を示す概略図である。撮像装置１０から被写体２１０，２１１，２１２までの距離は、それぞれ距離Ｌ１，Ｌ２，Ｌ３であるものとする。

撮像センサ１０３は、前述の通り、撮像面の各画素の信号を分割して取り込むことにより、各画素単位でＡＦ（オートフォーカス）用の位相差情報を取得することができる。そして、距離情報生成部１０５は、撮像センサ１０３から取得した位相差情報をもとに、撮影している被写体までの距離情報を所定の分解能で生成する。なお、撮像面位相差検出による距離情報の生成には、公知の技術を適用することができるため、ここでは詳細な説明は省略する。

図２（ｂ）は、取得した距離情報を２次元の画像情報として表した距離マップの模式図である。図２（ｂ）の距離マップ２１５では、撮影した画像を９×９の単位領域に分割し、各単位領域について、被写体までの距離に対応した異なるパターンで塗り分けている。距離データ２２０，２２１，２２２は、図２（ａ）の被写体２１０，２１１，２１２からの距離を表すデータである。図２（ｂ）の右側には、距離マップ２１５内の各領域のパターンと撮像装置から被写体までの距離との関係を示している。

距離データは、撮像センサ１０３の各画素単位で検出することが可能である。ただし、処理性能を向上するために、例えば初期状態では、撮像センサ１０３のＮ×Ｎ画素毎に１つの距離データを割り当てた距離マップを生成するように設定することができる。撮像センサ１０２の総画素数がＨ×Ｖ画素の場合、初期状態の距離マップの分解能は（Ｈ／Ｎ）×（Ｖ／Ｎ）となる。距離マップ２１５の分解能は、システム制御部１１０の設定により変更が可能である。

なお、距離マップ２１５上に示される距離データの形式は、上記の例に限られるものではなく、撮像装置１０と被写体との間の距離を示すデータであれば、任意の形式のデータを用いることが可能である。

距離情報生成部１０５において生成した距離マップデータは、メモリ１０６の所定の領域に一時的に保存される。そして、システム制御部１１０の制御により、メモリ１０６に保存されている画像データと共に記録処理部１０７で所定の記録フォーマットに変換され、記録媒体１０８に記録される。なお、この画像データと距離マップデータとは、撮像センサ１０３における同じタイミングの信号を基に生成されたものである。

次に、本実施形態による撮像装置の動作について、図３乃至図１０を用いて説明する。

本実施形態による撮像装置１０は、例えば図３に示すフローチャートに従って制御することができる。

まず、ステップＳ３０１において、不図示の操作部を介して電源が投入され、撮像装置１０の動作が開始する。

次いで、ステップＳ３０２において、撮像光学系１０１を介して撮像センサ１０３に入射する撮影中の被写体像が、撮像センサ１０３において電気信号に変換されて画像処理部１０４に入力される。そして、この画像データに対して画像処理部１０４において所定の画像処理が施され、処理後の画像データがメモリ１０６に保存される。メモリ１０６に保存された画像データは、表示処理部１１１に読み出され、表示部１１２に表示される。

また、撮像センサ１０３からは、ＡＦ用の焦点検出用信号（前述の位相差情報）も出力され、距離情報生成部１０５に入力される。距離情報生成部１０５は、焦点検出用信号に基づき距離マップを生成し、メモリ１０６に保存する。

次いで、ステップＳ３０３において、タッチパネル１１４に対するユーザの指等によるタッチ操作を検出すると、タッチパネル１１４はその操作に応じた信号を位置検出部１１３に出力する。タッチパネル１１４が出力する信号としては、指の押下状態を示す信号、押下されている場合にはその位置を示す信号等が挙げられる。

位置検出部１１３は、タッチパネル１１４から、所定のサンプリングレートで、押下に応じた信号を受け取る。そして、タッチパネル１１４の押下状態、タッチパネル１１４が押下されているときには表示部１１２の画面上の２次元的な位置を示すデータを、システム制御部１１０に出力する。

システム制御部１１０は、位置検出部１１３から受信したデータをもとに、タッチパネルに対する指の操作状態を検出する。指の操作状態としては、タッチパネル１１４に指が触れた状態（以下、「プレス」と呼ぶ）、タッチパネル１１４から指を離した状態（以下、「アンプレス」と呼ぶ）、プレスしたまま移動中の状態（以下、「ムーブ」と呼ぶ）等が挙げられる。

操作状態が「プレス」であるとシステム制御部１１０が判断した場合には、ステップＳ３０４に移行する。一方、操作状態が「プレス」ではない場合には、ステップＳ３０３において位置検出部１１３からの次のデータを待ち受ける。

ステップＳ３０４では、システム制御部１１０は、指の操作状態が「ムーブ」であるかどうかを、位置検出部１１３から受信したデータに基づいて判定する。その結果、指の操作状態が「ムーブ」であると判定された場合には、ステップＳ３０７に移行する。

ステップＳ３０７において、システム制御部１１０は、表示部１１２に表示されている被写体像が拡大表示状態か否かを判定する。なお、拡大表示状態とは、後述するステップＳ３０８において被写体像の一部の領域が拡大表示されたときの状態である。その結果、拡大表示状態であると判定された場合には、ムーブした移動量及び方向に応じて、拡大表示画像を移動する。一方、表示部１１２に表示されている被写体像が拡大表示状態ではないと判定された場合には、そのままの状態を保持し、ステップＳ３０２に戻る。

ステップＳ３０４において、システム制御部１１０により、指の操作状態が「ムーブ」ではないと判定された場合には、ステップＳ３０５に移行する。

ステップＳ３０５では、距離情報生成部１０５で生成されメモリ１０６に保存されている距離マップデータの解析が行われる。ステップＳ３０５における距離マップデータの解析手法について、図４及び図５を用いて説明する。

図４（ａ）に示すように、表示部１１２に表示されている撮影中の画面（被写体像４０１）の中に、被写体４０３，４０４，４０５が含まれているものとする。この被写体像４０１に対応する距離マップが、図４（ｂ）に示す距離マップ４０２であるものとする。距離マップ４０２中、距離データ４０６，４０７，４０８は、それぞれ、被写体４０３，４０４，４０５までの距離を表している。

ユーザの指４０９が、被写体像４０１を表示する表示部１１２に装着されているタッチパネル１１４をプレスすると、システム制御部１１０は、タッチパネル１１４及び位置検出部１１３を介して、被写体像４０１上のプレスされた位置を検出する。例えば、図４（ａ）の被写体像４０１において、点Ａが検出されたプレス位置（以下、「プレス位置Ａ」と呼ぶ）であるものとする。

システム制御部１１０は、プレス位置Ａを中心に所定の領域Ｐを設定する。領域Ｐに対応する距離マップ４０２上の領域が、図４（ｂ）の領域４２１である。図４（ｂ）の例では、領域４２１内に２５個の単位領域が含まれており、各単位領域に、被写体像までの距離情報を表す距離データが対応づけられている。

システム制御部１１０は、領域４２１内の距離データを解析して、図５に示すような距離ヒストグラムを生成する。すなわち、システム制御部１１０は、領域４２１内の複数の単位領域について、それらの距離データが表す距離毎に数を集計し、距離毎の単位領域の数を、距離の最小値から最大値の昇順に並べる。例えば、図４（ｂ）の領域４２１については、各距離に対応する単位領域の数は表１に示すようになるので、これをグラフ化すると図５に示す距離ヒストグラムとなる。

次いで、ステップＳ３０６において、システム制御部１１０は、生成した距離ヒストグラムに基づいてフォーカスポイント（ＡＦポイント）を確定できるかどうかを判断する。

まず、システム制御部１１０は、生成された距離ヒストグラムを基にして、距離データを３つの距離パターンに分類する。３つの距離パターンとは、１つ目は単独ピークパターンであり、２つ目は複数ピークパターンであり、３つ目は単一距離パターンである。

これら３つの距離パターンについて、図６を用いて説明する。図６（ａ）は、単独ピークパターンの距離ヒストグラムの概略図である。単独ピークパターンは、図６（ａ）に示すように、単独のピークを示すデータ区間があり、且つ、単独のピークを示すデータ区間の度数の全データ数に占める割合が所定値以下の場合である。すなわち、単独ピーク以外の距離データも相当数含まれるケースである。図６（ｂ）は、複数ピークパターンの距離ヒストグラムの概略図である。複数ピークパターンは、図６（ｂ）に示すように、ピークを示すデータ区間が複数ある場合である。図６（ｃ）は、単一距離パターンの距離ヒストグラムの概略図である。単一距離パターンは、単独のピークを示すデータ区間があり、且つ、単独のピークを示すデータ区間の度数の全データ数に占める割合が所定値以上の場合である。すなわち、単独ピーク以外の距離データが少数のケースである。

距離ヒストグラムにおけるピーク検出には、例えば以下の方法を用いることができる。ただし、ピーク検出の方法は、以下の方法に限定されるものではなく、公知の他の方法を用いることもできる。

まず、システム制御部１１０において、距離ヒストグラムにおける度数の平均値を算出する。例えば、図７の距離ヒストグラムにおいて、度数Ｍが平均値であったものとする。次に、各距離の度数と平均値Ｍとの差を、それぞれ算出する。そして、その差が所定値以上の場合に、その距離をピークと検出する。例えば図７の例において、平均の度数Ｍ及び差の所定値Ｄが図示するような値であった場合、度数が（Ｍ＋Ｄ）以上である距離（３ｍ〜４ｍ）がピークとして検出される。

このようにしてピーク検出を行った結果、単一距離パターンと検出された場合には、ＡＦポイントが確定したと判定し、検出されたピークに対応するデータ区間の距離情報をシステム制御部１１０に保存して、ステップＳ３０９に移行する。

一方、単独ピークパターン又は複数ピークパターンと検出された場合には、システム制御部１１０は、ＡＦポイントが確定しないと判定し、ステップＳ３０８に移行する。ステップＳ３０８では、ＡＦポイントを確定するために、画像の一部を拡大して再表示するための処理を行う。

ステップＳ３０６におけるピーク検出の結果、単独ピークパターンと判定された場合の処理について、図８の概略図を用いて説明する。図８（ａ）は距離マップの概略図であり、図８（ｂ）は図８（ａ）の距離マップをもとに生成した距離ヒストグラムである。

図８（ａ）の距離マップ６００において、領域６０２は、ＡＦポイントを選択する際にユーザが指でプレスした点を中心にシステム制御部１１０が設定した領域である。図８（ｂ）は、この領域６０２内の単位領域の距離データをもとにシステム制御部１１０が生成した距離ヒストグラムである。

図８（ｂ）の距離ヒストグラムを用い、システム制御部１１０において前述のピークパターンの検出を行った結果、ピーク６０１を有する単独ピークパターンであると検出されたものとする。

単独のピーク６０１が検出された場合、システム制御部１１０において、ピーク６０１に対応するデータ区間（３ｍ−４ｍ）を示す単位領域を、距離マップ６００から抽出し、抽出した単位領域の重心の位置を算出する。そして、システム制御部１１０は、算出した重心の位置を中心として、切り出し領域を設定する。この際、ピーク６０１のデータ区間に対応する距離情報を示す単位領域の切り出し領域内に占める割合が所定値、例えば５０％程度になるように、切り出しサイズを算出する。図８（ａ）の例では、点線で示した領域６０３が、切り出し領域としてシステム制御部１１０により設定されたものとする。

ステップＳ３０６におけるピーク検出の結果、複数ピークパターンと判定された場合の処理について、図９の概略図を用いて説明する。図９（ａ）は距離マップデータの概略図であり、図９（ｂ）は図９（ａ）の距離マップデータをもとに生成した距離ヒストグラムである。

図９（ａ）は、図４（ａ）に示した撮影中の画像４０１に対応する距離マップ４０２であり、領域４２１はプレス位置Ａに対応してシステム制御部１１０が設定した領域である。図９（ｂ）は、領域４２１内の単位領域の距離データをもとにシステム制御部１１０が生成した距離ヒストグラムである。図９（ｂ）の距離ヒストグラムは、複数のピーク７０１，７０２を有する複数ピークパターンに分類される。

複数ピークパターンが検出された場合、システム制御部１１０において、ピーク７０１に対応するデータ区間（１ｍ−２ｍ）及びピーク７０２に対応するデータ区間（３ｍ−４ｍ）を示す単位領域を、距離マップデータから抽出する。そして、システム領域１１０は、抽出した単位領域の重心の位置を算出し、算出した重心の位置を中心として、切り出し領域を設定する。この際、ピーク７０１，７０２のデータ区間に対応する距離情報を示す単位領域の切り出し領域内に占める割合が所定値、例えば５０％程度になるように、切り出しサイズを算出する。図９（ａ）の例では、点線で示した領域７０４が、切り出し領域としてシステム制御部１１０により設定されたものとする。

このようにして切り出し領域を設定した後、ステップＳ３０２に戻り、拡大画像の表示が行われる。すなわち、システム制御部１１０は、メモリ１０６に保存されている撮影中の画像から切り出し領域に対応するデータを読み出して拡大処理するように、表示処理部１１１に指示を出す。表示処理部１１１は、メモリ１０６から読み出したデータを拡大処理して表示部１１２に出力する。その結果、領域６０３に対応する撮影中の画像の一部が拡大され、表示部１１２に表示される。

距離ヒストグラムのピークパターンに応じてＡＦポイントを確定するか拡大画像を表示するかを自動的に判断することにより、ユーザが画面上でピンチアウトなどして所望の位置を所望のサイズに拡大するステップを省略することができる。特に、撮像装置を手持ちしている状態でピンチアウト等を行う操作は煩雑であり手間がかかるため、本実施形態の方法は極めて有用である。

図１０（ａ）は、複数ピークパターンと判定された場合の拡大画像であり、図９（ａ）の領域７０４に対応する画像を拡大したものである。拡大画像８０１には、被写体８０２と被写体８０４とが含まれている。

ステップＳ３０２において表示部１１２に拡大画像が表示された後は、以後のステップにおいては、拡大画像に対して上述の処理が行われる。すなわち、拡大画像８０１に対してユーザが指で被写体８０２をタッチすると、ステップＳ３０３において、タッチパネル押下が検出される。次いで、ステップＳ３０４において、システム制御部１１０は、ムーブ操作か否かの検出を行う。次いで、ステップＳ３０５において、押下した領域の距離マップデータの解析が行われる。

図１０（ａ）の例においては、領域８０３に対応する距離マップが解析対象となる。図１０（ｂ）に、領域８０３において検出される距離ヒストグラムの概略図を示す。

ステップＳ３０６において、システム制御部１１０は、領域８０３において検出された距離ヒストグラムのピークパターンを分析する。図１０（ｂ）の距離ヒストグラムは、単独のピークを有し、且つ、ピークの距離の度数が全データ数に対して占める割合が所定数以上なので、単一距離パターンと判定され、領域８０３内は略同一の距離と判断することができる。この結果、システム制御部１１０は、ＡＦポイントが確定したと判断し、当該ピークの距離情報を保存して、ステップＳ３０９に移行する。

ステップＳ３０８において設定された領域の画像を拡大処理して表示する際には、拡大した被写体に合焦するようにフォーカス制御を行った画像を取得して表示することが望ましい。例えば、単独ピークパターンの場合には、距離ヒストグラムのピークの距離に合わせてフォーカス制御を行うことにより、拡大表示したときにピークの距離に位置する被写体はフォーカスが合った状態にすることができる。また、複数ピークパターンの場合には、複数ピークの中で最大の度数の距離に合わせてフォーカスを合わせることにより、拡大表示したとき最大度数のピークの距離に位置する被写体にフォーカスが合った画像となる。これにより、拡大画像でＡＦポイントを選択する際に視認性を向上することができる。

次いで、ステップＳ３０９において、システム制御部１１０は、保存されているピークの距離情報を用い、フォーカス制御部１０２にフォーカス制御の指示を出す。フォーカス制御部１０２では、指示された距離で合焦するように撮像光学系１０１を制御する。その結果、ピーク領域の被写体にフォーカスが合った画像を取得し表示部１１２に表示することができる。

このように、本実施形態の撮像装置では、タッチパネル操作でフォーカスを合わせる被写体領域を選択する際に、距離データマップに基づいて自動的に適切なサイズに拡大表示するので、簡便かつ確実にＡＦポイントを設定することができる。これにより、利便性、使い勝手の優れた撮像装置を実現することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置及びその駆動方法について、図１１及び図１２を用いて説明する。図１乃至図１０に示す第１実施形態による撮像装置と同様の構成要素には同様の符号を付し説明を省略し或いは簡潔にする。

図１１は、ＡＦポイントにおける遠近競合の発生例を説明する図である。図１２は、本発明の第２実施形態による撮像装置の制御方法を示す表示画面の模式図である。

本実施形態による撮像装置の制御方法は、第１実施形態による撮像装置の駆動方法において、拡大表示した画像においてもＡＦポイントの選択が困難な場合に対応するものである。以下、本実施形態による撮像装置の駆動方法の特徴的な部分について、図を用いて説明する。

図１１（ａ）は拡大表示した画像の一例を示す模式図であり、図１１（ｂ）は図１１（ａ）の拡大画像を生成する際に用いられた距離ヒストグラムの一例を示す概略図である。

図１１（ａ）において、密なハッチングを付した４本の帯状の領域１１０２は、図１１（ｂ）の距離ヒストグラムのデータ区間（２ｍ−３ｍ）に位置するピークに対応する被写体であるものとする。また、疎なハッチングを付した４本の帯状の領域１１０３は、図１１（ｂ）の距離ヒストグラムのデータ区間（４ｍ−５ｍ）に位置するピークに対応する被写体であるものとする。このような場合、拡大画像１１０１を指でプレスしてＡＦポイントを設定しようとしても、領域１１０２，１１０３が細くて隣接しているため、領域１１０２又は領域１１０３のいずれかを選んで正確にプレスすることは難しい。

そこで、本実施形態による撮像装置においては、不図示の操作部又は表示部１１２にＧＵＩを表示して、ユーザが表示モードを切り換えることができるように構成されている。

例えば、システム制御部１１０は、操作部又はタッチパネル１１４の操作を検出し、更にその操作が表示モード切り換えボタンの操作であることを検出すると、表示部１１２の表示を、例えば図１２の画面１２０１のような構成に変更する。

画面１２０１は、拡大画像１２０２と、距離ヒストグラム１２０３とを含む。拡大画像１２０２は、第１実施形態で説明した拡大画像（拡大画像８０１に相当）であり、表示処理部１１１により生成される。また、距離ヒストグラム１２０３は、拡大画像のもとになる距離ヒストグラムである。システム制御部１１０は、距離ヒストグラムデータを算出し、算出した距離ヒストグラムデータを用いて図１２に示すようなＧＵＩデータを生成し、メモリ１０６に保存する。表示処理部１１１は、メモリ１０６に保存されているＧＵＩデータを読み出し、表示部１１２に表示する。

ユーザは、拡大画像１２０２の代わりに距離ヒストグラム１２０３をプレスすることで、被写体を選択することができる。例えば、ＡＦポイントとして領域１１０２の被写体を選択しようとする場合、領域１１０２に対応する距離ヒストグラム１２０３のデータ区間１２０４をプレスする。このようにすることで、所望の被写体をＡＦポイントとして容易に選択することができる。プレス位置の検出等については第１実施形態1と同様であるため、ここでは説明を省略する。

なお、図１２のように、距離ヒストグラム１２０３のデータ区間毎に色やパターンを変え、各データ区間に対応する距離に位置する被写体に同じ色やパターンを付けるようにしてもよい。このようにすることで、距離ヒストグラム１２０３のデータ区間と拡大画像の被写体との関連を明確にすることができ、所望の被写体に対応するデータ区間をユーザが容易に指定できるようになる。

このように、本実施形態によれば、ユーザが選択したフォーカスエリアにおいて遠近競合が生じるような場合にも、所望の被写体をＡＦポイントとして容易に選択することができる。

［第３実施形態］
本発明の第３実施形態による撮像装置及びその駆動方法ついて、図１３を用いて説明する。図１乃至図１２に示す第１及び第２実施形態による撮像装置及びその駆動方法と同様の構成要素には同様の符号を付し説明を省略し或いは簡潔にする。

図１３は、本実施形態による撮像装置の制御方法において表示する距離ヒストグラムの一例を示す図である。

本実施形態による撮像装置の駆動方法は、段階的に距離マップデータの精度を向上することにより、より高精度のフォーカス合わせに対応するものである。

第２実施形態による撮像装置の駆動方法において、表示部１１２に、例えば図１０（ａ）に示す拡大画像８０１と、その基になった距離ヒストグラム（図１３（ａ））とを含むＧＵＩが表示されていたものとする。

この場合、第２実施形態による撮像装置の駆動方法に従うと、ユーザは距離（１ｍ−２ｍ）に対応するデータ区間をＡＦポイントとして選択することになるが、より高精度の距離範囲に基づくＡＦポイントの設定をユーザが望むことも想定される。そこで、本実施形態による撮像装置の駆動方法では、以下の処理を行うことにより、より高精度のフォーカス合わせを可能とする。

システム制御部１１０は、拡大画像８０１がプレスされたことを検出すると、ＧＵＩとして図１３（ａ）の距離ヒストグラムを表示するとともに、プレス開始からの経過時間を計測する。

拡大画像８０１のプレスからの経過時間が所定時間に達する前に、ＧＵＩとして表示されている距離ヒストグラムのあるデータ区間がプレスされた場合には、第２実施形態の駆動方法に従って処理を継続する。

拡大画像８０１のプレスからの経過時間が所定時間を超えるまでに距離ヒストグラムに対するプレスが検出されなかった場合、システム制御部１１０は、距離情報生成部１０５に対して、生成する距離情報の単位をより細かい単位に設定するように指示する。距離情報生成部１０５は、新たに設定された単位に従って、距離マップデータを再生成する。そして、システム制御部１１０は、再生成された距離マップデータに基づいて、データ区間の解像度をより高くした距離ヒストグラムを生成する。

図１３（ｂ）は、再生成した距離ヒストグラムの一例である。図１３（ａ）の距離ヒストグラムでは１ｍ単位でデータ区間が分けられていたが、図１３（ｂ）の距離ヒストグラムでは０．２ｍ単位でデータ区間が分けられており、５倍の精度となっている。

再生成された距離ヒストグラムは、表示処理部１１１により、ＧＵＩとして表示部１１２に表示される。そして、表示された距離ヒストグラムの特定のデータ区間をユーザが指でプレスすることにより、被写体の所望のポイントにフォーカスを合わせることが可能となる。

このように、本実施形態によれば、より高い精度で所望の被写体にＡＦポイントを設定することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記第１実施形態による撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は図１に示した構成に限定されるものではない。

また、上記実施形態に示した撮像装置の制御方法における各ステップは、それらを実現するためのプログラムをメモリから読み出してシステム制御部１１０のＣＰＵが実行することによりその機能を実現させるものである。各ステップの全部又は一部の機能は、専用のハードウェアにより実現してもよい。

なお、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性メモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上記各ステップを実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。これらは、一定時間プログラムを保持する記憶媒体である。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１・・・撮像光学系
１０２・・・フォーカス制御部
１０３・・・撮像センサ
１０４・・・画像処理部
１０５・・・距離情報生成部
１０６・・・メモリ
１０７・・・記録処理部
１０８・・・記録媒体
１０９・・・ＲＯＭ
１１０・・・システム制御部
１１１・・・表示処理部
１１２・・・表示部
１１３・・・位置検出部
１１４・・・タッチパネル

Claims (14)

1. 被写体の光学像を形成する撮像光学系と、
   前記光学像から前記被写体の画像を取得する撮像素子と、
   前記撮像光学系と前記被写体との間の距離情報を取得する手段と、
   前記距離情報に基づき前記画像に対応した距離マップを生成する手段と、
   前記撮像素子が取得した前記画像を表示する表示部と、
   前記画像を表示した前記表示部へのユーザのタッチ操作を検出し、前記ユーザがタッチした位置に対応する前記画像における位置を検出する手段と、
   取得した前記画像の前記位置における前記距離情報を前記距離マップから取得し、取得した前記距離情報に応じて、前記位置をフォーカスポイントに設定し、又は、前記位置を含む前記画像の一部の領域を切り出した拡大画像を前記表示部に表示するように構成された制御手段と
   を有することを特徴とする撮像装置。
2. 前記位置を検出する手段は、前記拡大画像を表示した前記表示部への前記ユーザのタッチ操作を検出し、前記ユーザがタッチした位置に対応する前記拡大画像における位置を検出し、
   前記制御手段は、取得した前記拡大画像の前記位置の前記距離情報を前記距離マップから取得し、取得した前記位置をフォーカスポイントに設定するように構成されている
   ことを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、設定した前記フォーカスポイントにおいて合焦するように、取得した前記距離情報に基づいて前記撮像光学系のフォーカス位置を制御するように構成されている
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記制御手段は、前記撮像光学系を前記画像の前記位置に合焦するフォーカス位置に制御した状態で取得した前記画像から前記拡大画像を切り出すように構成されている
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、
   前記距離マップに基づき、取得した前記画像の前記位置を中心とする領域の距離ヒストグラムを生成し、
   前記距離ヒストグラムからピークを示すデータ区間を検出し、
   前記ピークを示すデータ区間の度数の全体のデータ数に占める割合に基づいて、前記フォーカスポイントの設定か前記拡大画像の表示かを判定するように構成されている
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記距離ヒストグラムが単一距離パターンであるときに前記フォーカスポイントを設定し、前記距離ヒストグラムが単独ピークパターン又は複数ピークパターンであるときに前記拡大画像を表示するように構成されている
   ことを特徴とする請求項５記載の撮像装置。
7. 前記制御手段は、取得した前記距離情報と同じ距離情報を示す部分の前記拡大画像に占める割合が所定値となるように、前記画像から切り出す前記拡大画像の範囲を設定するように構成されている
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、
   前記拡大画像に対応する距離マップをもとに生成した距離ヒストグラムを前記表示部に表示し、
   前記表示部に表示した前記距離ヒストグラムへのユーザのタッチ操作を検出し、
   前記ユーザがタッチした前記距離ヒストグラムのデータ区間に対応する距離情報を示す位置をフォーカスポイントに設定するように構成されている
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記距離ヒストグラムの表示からの経過時間が所定値を超えた場合に、前記距離ヒストグラムよりもデータ区間の解像度を高くした第２の距離ヒストグラムを生成し、前記表示部に表示するように構成されている
   ことを特徴とする請求項８に記載の撮像装置。
10. 被写体の光学像を形成する撮像光学系と、前記光学像から前記被写体の画像を取得する撮像素子と、前記撮像光学系と前記被写体との間の距離情報を取得する手段と、前記撮像素子が取得した前記画像を表示する表示部と、前記画像を表示した前記表示部へのユーザのタッチ操作を検出する手段とを有する撮像装置の制御方法であって、
    取得した前記距離情報に基づき前記画像に対応した距離マップを生成するステップと、
    取得した前記画像を前記表示部に表示するステップと、
    前記表示部へのユーザのタッチ操作を検出し、前記ユーザがタッチした位置に対応する前記画像における位置を取得するステップと、
    取得した前記画像の前記位置における前記距離情報を前記距離マップから取得するステップと、
    取得した前記距離情報に応じて、前記位置をフォーカスポイントに設定し、又は、前記位置を含む前記画像の一部の領域を切り出した拡大画像を前記表示部に表示するステップと
    を有することを特徴とする撮像装置の制御方法。
11. 被写体の光学像を形成する撮像光学系と、前記光学像から前記被写体の画像を取得する撮像素子と、前記撮像素子が取得した前記画像を表示する表示部と、前記表示部へのユーザのタッチ操作を検出する手段とを有する撮像装置を制御するプログラムであって、
    コンピュータを、
    前記撮像光学系と前記被写体との間の距離情報を取得する手段、
    前記距離情報に基づき前記画像に対応した距離マップを生成する手段、
    前記画像を表示した前記表示部の前記ユーザがタッチした位置に対応する前記画像における位置を検出する手段、
    取得した前記画像の前記位置における前記距離情報を前記距離マップから取得し、取得した前記距離情報に応じて、前記位置をフォーカスポイントに設定し、又は、前記位置を含む前記画像の一部の領域を切り出した拡大画像を前記表示部に表示する手段
    として機能させるプログラム。
12. 請求項１１のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるプログラム。
14. コンピュータを、請求項１乃至９のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images