JP2019203967A - 表示制御装置、撮像装置、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】所望の被写体に焦点を合わせる場合に、フォーカスレンズをどのように移動すればよいかを容易に把握できない場合がある。【解決手段】表示制御装置は、撮像装置が備えるフォーカスレンズのレンズ位置を特定する第１特定部を備えてよい。表示制御装置は、撮像装置により撮像される画像内の複数の位置において、撮像装置から被写体までの距離を特定する第２特定部を備えてよい。表示制御装置は、レンズ位置と距離との関係を示すオブジェクトを、撮像装置により撮像された画像に重畳させて表示部に表示させる表示制御部を備えてよい。【選択図】図５

Description

本発明は、表示制御装置、撮像装置、表示制御方法、及びプログラムに関する。

特許文献１には、フォーカスレンズの移動に伴う合焦調節状態の変化の度合いを表示するフォーカスアシスト装置が開示されている。
特許文献１ 特開２００７−２５６４６４号公報

所望の被写体に焦点を合わせる場合に、フォーカスレンズをどのように移動すればよいかを容易に把握できない場合がある。

本発明の一態様に係る表示制御装置は、撮像装置が備えるフォーカスレンズのレンズ位置を特定する第１特定部を備えてよい。表示制御装置は、撮像装置により撮像される画像内の複数の位置において、撮像装置から被写体までの距離を特定する第２特定部を備えてよい。表示制御装置は、レンズ位置と距離との関係を示すオブジェクトを、撮像装置により撮像された画像に重畳させて表示部に表示させる表示制御部を備えてよい。

表示制御部は、フォーカスレンズがレンズ位置にある場合の撮像装置から合焦点までの合焦距離が撮像装置から被写体までの距離より長い距離に対応する画像内の位置に第１オブジェクトを重畳させて表示部に表示させ、合焦距離が撮像装置から被写体までの距離より短い距離に対応する画像内の位置に第１オブジェクトとは異なる第２オブジェクトを表示部に表示させてよい。

表示制御部は、合焦距離が撮像装置から被写体までの距離に対応する画像内の位置に第１オブジェクト及び第２オブジェクトとは異なる第３オブジェクトを重畳させて表示部に表示させてよい。

表示制御部は、フォーカスレンズがレンズ位置にある場合の撮像装置から合焦点までの合焦距離と撮像装置から被写体までの距離との差に応じて異なるオブジェクトを、画像に重畳させて表示部に表示させてよい。

表示制御部は、フォーカスレンズがレンズ位置にある場合の撮像装置から合焦点までの合焦距離と撮像装置から被写体までの距離との差に応じて異なる色のオブジェクトを、画像に重畳させて表示部に表示させてよい。

第２特定部は、画像内の予め定められた範囲を複数の領域に分割して、撮像装置から複数の領域内のそれぞれの被写体までの距離をそれぞれ特定してよい。表示制御部は、レンズ位置と距離との関係を示すオブジェクトを、画像内の複数の領域のそれぞれに重畳させて表示部に表示させてよい。

第２特定部は、フォーカスレンズのレンズ位置がそれぞれ異なる状態で撮像装置により撮像された複数の画像を取得する取得部を有してよい。第２特定部は、複数の画像のそれぞれのぼけ量を算出する算出部を有してよい。第２特定部は、複数の画像のぼけ量に基づいて、撮像装置により撮像される画像内の複数の位置において、撮像装置から被写体までの距離を予測する予測部を有してよい。

表示制御部は、フォーカスレンズのレンズ位置を示すオブジェクトと、被写体に合焦させるためのフォーカスレンズのレンズ位置である合焦レンズ位置を示すオブジェクトとを、レンズ位置と合焦レンズ位置との関係に対応する位置関係で、表示部に表示させてよい。

本発明の一態様に係る撮像装置は、上記表示制御装置を備えてよい。撮像装置は、フォーカスレンズを備えてよい。撮像装置は、フォーカスレンズを介して結像する光学像を電気信号に変換するイメージセンサを備えてよい。撮像装置は、表示部を備えてよい。

本発明の一態様に係る表示制御方法は、撮像装置が備えるフォーカスレンズのレンズ位置を特定する段階を備えてよい。表示制御方法は、撮像装置により撮像される画像内の複数の位置において、撮像装置から被写体までの距離を特定する段階を備えてよい。表示制御方法は、レンズ位置と距離との関係を示すオブジェクトを、撮像装置により撮像された画像に重畳させて表示部に表示させる段階を備えてよい。

本発明の一態様に係るプログラムは、上記表示制御装置としてコンピュータを機能させるためのプログラムでよい。

本発明の一態様によれば、所望の被写体に焦点を合わせる場合に、フォーカスレンズをどのように移動すればよいかを容易に把握できる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置の機能ブロックの一例を示す図である。 ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。 ぼけ量に基づいてオブジェクトまでの距離を算出する手順の一例を示す図である。 被写体の位置、レンズの位置、及び焦点距離との関係について説明するための図である。 レンズ位置と被写体距離との関係を示すオブジェクトを重畳させた画像の一例を示す図である。 レンズ位置と被写体距離との関係を示すオブジェクトを重畳させた画像の一例を示す図である。 フォーカスレンズのレンズ位置と、画像のぼけ量（Ｃｏｓｔ）との関係の一例を示す図である。 フォーカスレンズのレンズ位置と被写体距離との関係を示すオブジェクトを重畳させた画像、及び現在のレンズ位置と合焦レンズ位置との関係に対応する位置関係で示した画像の一例を示す図である。 撮像装置の背面図の一例を示す図である。 ハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、本実施形態に係る撮像装置１００の機能ブロックの一例を示す。撮像装置１００は、撮像部１０２及びレンズ部２００を備える。撮像部１０２は、イメージセンサ１２０、撮像制御部１１０、メモリ１７０、表示部１６０、及び操作部１６２を有する。イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、複数のレンズ２１０を介して結像する光学像を電気信号に変換する。イメージセンサ１２０は、複数のレンズ２１０を介して結像された光学像の画像データを撮像制御部１１０に出力する。

撮像制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部１１０は、操作部１６２からの動作命令に応じて、撮像装置１００を制御してよい。

メモリ１７０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ１７０は、撮像制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１７０は、撮像装置１００の筐体の内部に設けられてよい。メモリ１７０は、撮像装置１００の筐体から取り外し可能に設けられてよい。

表示部１６０は、イメージセンサ１２０から出力された画像データを表示してよい。表示部１６０は、撮像装置１００の各種の設定情報を表示してよい。表示部１６０は、液晶ディスプレイ、タッチパネルディスプレイなどでよい。表示部１６０は、複数の液晶ディスプレイ、またはタッチパネルディスプレイを含んでよい。

レンズ部２００は、複数のレンズ２１０、レンズ移動機構２１２、及びレンズ制御部２２０を有する。複数のレンズ２１０は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ２１０の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部２００は、撮像部１０２に対して着脱可能に設けられる交換レンズでよい。レンズ移動機構２１２は、複数のレンズ２１０の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部２２０は、撮像部１０２からのレンズ制御命令に従って、レンズ移動機構２１２を駆動して、１または複数のレンズ２１０を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。

撮像装置１００は、オートフォーカスにより所望の被写体に焦点を合わせるために撮像装置１００から被写体までの距離（被写体距離）を決定して、フォーカスレンズのレンズ位置を調整する場合がある。被写体距離を決定するための方式として、レンズと撮像面との位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて決定する方式がある。ここで、この方式を、ぼけ検出オートフォーカス（Ｂｏｋｅｈ Ｄｅｔｅｃｔｉｏｎ Ａｕｔｏ Ｆｏｕｃｕｓ：ＢＤＡＦ）方式と称する。

例えば、画像のぼけ量（Ｃｏｓｔ）は、ガウシアン関数を用いて次式（１）で表すことができる。式（１）において、ｘは、水平方向における画素位置を示す。σは、標準偏差値を示す。

図２は、式（１）に表される曲線の一例を示す。曲線５００の極小点５０２に対応するレンズ位置にフォーカスレンズを合わせることで、画像Ｉに含まれる被写体に焦点を合わせることができる。

図３は、ＢＤＡＦ方式の距離算出手順の一例を示すフローチャートである。まず、撮像装置１００で、レンズと撮像面とが第１位置関係にある状態で、１枚目の画像Ｉ_１を撮像してメモリ１７０に格納する。次いで、フォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させることで、レンズと撮像面とが第２位置関係にある状態にして、撮像装置１００で２枚目の画像Ｉ_２を撮像してメモリ１７０に格納する（Ｓ１０１）。例えば、いわゆる山登りＡＦのように、合焦点を超えないようにフォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させる。フォーカスレンズまたはイメージセンサ１２０の撮像面の移動量は、例えば、１０μｍでよい。

次いで、撮像装置１００は、画像Ｉ_１を複数の領域に分割する（Ｓ１０２）。画像Ｉ２内の画素ごとに特徴量を算出して、類似する特徴量を有する画素群を一つの領域として画像Ｉ_１を複数の領域に分割してよい。画像Ｉ_１のうちＡＦ処理枠に設定されている範囲の画素群を複数の領域に分割してもよい。撮像装置１００は、画像Ｉ_１の複数の領域に対応する複数の領域に画像Ｉ_２を分割する。撮像装置１００は、画像Ｉ_１の複数の領域のそれぞれのぼけ量と、画像Ｉ_２の複数の領域のそれぞれのぼけ量とに基づいて、複数の領域ごとに複数の領域のそれぞれに含まれる被写体までの距離を算出する（Ｓ１０３）。

図４を参照して距離の算出手順についてさらに説明する。レンズＬ（主点）から被写体５１０（物面）までの距離をＡ、レンズＬ（主点）から被写体５１０が撮像面で結像する位置（像面）までの距離をＢ、焦点距離をＦとする。この場合、距離Ａ、距離Ｂ、及び焦点距離Ｆの関係は、レンズの公式から次式（２）で表すことができる。

焦点距離Ｆはレンズ位置で特定される。したがって、被写体５１０が撮像面で結像する距離Ｂが特定できれば、式（２）を用いて、レンズＬから被写体５１０までの距離Ａを特定することができる。

図４に示すように、撮像面上に投影された被写体５１０のぼけの大きさ（錯乱円５１２及び５１４）から被写体５１０が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することができる。つまり、ぼけの大きさ（ぼけ量）が撮像面と結像位置とに比例することを考慮して、結像位置を特定できる。

ここで、撮像面から近い像Ｉ_１からレンズＬまでの距離をＤ_１とする。像面から遠い像Ｉ_２からレンズＬまでの距離をＤ_２とする。それぞれの画像はぼけている。このときの点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をＰＳＦ、Ｄ_１及びＤ_２における画像をそれぞれ、Ｉ_ｄ１及びＩ_ｄ２とする。この場合、例えば、像Ｉ_１は、畳み込み演算により次式（３）で表すことができる。

さらに、画像データＩ_ｄ１及びＩ_ｄ２のフーリエ変換関数をｆとして、画像Ｉ_ｄ１及びＩ_ｄ２の点像分布関数ＰＳＦ_１及びＰＳＦ_２をフーリエ変換した光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）をＯＴＦ_１及びＯＴＦ_２として、次式（４）のように比をとる。

式（４）に示す値Ｃは、画像Ｉ_ｄ１及びＩ_ｄ２のそれぞれのぼけ量の変化量、つまり、値Ｃは、画像Ｉ_ｄ１のぼけ量と画像Ｉ_ｄ２ｎのぼけ量との差に相当する。

ところで、ユーザが手動でフォーカスレンズを移動させて、所望の被写体に焦点を合わせる場合に、フォーカスレンズをどのように移動すればよいかを容易に把握できない場合がある。

そこで、本実施形態に係る撮像装置１００によれば、所望の被写体に合焦させるためにフォーカスレンズをどのように移動すればよいかを容易に把握できるようにする。

図１に示す撮像装置１００において、撮像制御部１１０は、被写体距離特定部１３０、合焦制御部１４０、レンズ位置特定部１４２、信頼度特定部１４４、及び表示制御部１５０を有する。

レンズ位置特定部１４２は、撮像装置１００が備えるフォーカスレンズのレンズ位置を特定する。レンズ位置特定部１４２は、フォーカスレンズの現在のレンズ位置を特定してよい。レンズ位置特定部１４２は、第１特定部の一例である。

被写体距離特定部１３０は、撮像装置１００により撮像される画像内の複数の位置において、撮像装置１００から被写体までの距離を特定する。被写体距離特定部１３０は、図４に示すレンズＬ（主点）から被写体５１０（物面）までの距離Ａを撮像装置１００から被写体までの距離として特定してよい。合焦制御部１４０は、フォーカス制御命令に応じたレンズ位置にフォーカスレンズを移動させることで、被写体に合焦させる。

被写体距離特定部１３０は、撮像面とフォーカスレンズとの位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて被写体が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することで、被写体距離を特定してよい。被写体距離特定部１３０は、第２特定部の一例である。

被写体距離特定部１３０は、取得部１３２、算出部１３４、及び予測部１３６を含む。取得部１３２は、撮像面とフォーカスレンズとが第１位置関係にある状態で撮像された画像内の特定の位置における第１画像と、撮像面とフォーカスレンズとが第２位置関係にある状態で撮像された画像内の特定の位置における第２画像とを取得する。算出部１３４は、第１画像及び第２画像のそれぞれのぼけ量を算出する。予測部１３６は、第１画像及び第２画像のそれぞれのぼけ量に基づいて、画像内の特定の位置における被写体距離を予測する。予測部１３６は、第１画像及び第２画像のそれぞれのぼけ量に基づいて、特定の位置における被写体が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することで、画像内の特定の位置における被写体距離を予測してよい。被写体距離特定部１３０は、画像内の複数の位置のそれぞれについて被写体距離を特定する。

被写体距離特定部１３０は、例えば、マニュアルフォーカスでユーザが操作環を操作することで、フォーカスレンズを移動させた場合にフォーカスレンズの異なるレンズ位置で撮像装置１００により撮像された少なくとも２つの画像のぼけ量に基づいて、画像内の複数の位置のそれぞれについて被写体距離を特定してよい。被写体距離特定部１３０は、撮像装置１００が赤外線センサ、超音波センサなどの測距センサ、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の距離画像センサ、ステレオカメラなどで測定された測定結果から、被写体距離を特定してよい。

表示制御部１５０は、フォーカスレンズのレンズ位置と被写体距離との関係を示すオブジェクトを、撮像装置１００により撮像された画像に重畳させて表示部１６０に表示させる。表示制御部１５０は、フォーカスレンズの現在のレンズ位置と被写体距離との関係を示すオブジェクトを、撮像装置１００により撮像された画像に重畳させて表示部１６０に表示させてよい。フォーカスレンズの現在のレンズ位置と被写体距離との関係の違いは、オブジェクトの色の違い、透過率の違い、形の違い、文字、及び記号の少なくとも１つの違いなどで表現されてよい。

表示制御部１５０は、フォーカスレンズが現在のレンズ位置にある場合の撮像装置１００から合焦点までの合焦距離が撮像装置１００から被写体までの距離より長い距離に対応する画像内の位置に第１オブジェクトを重畳させて表示部１６０に表示させてよい。合焦点は、フォーカスレンズが現在のレンズ位置で撮像装置１００が撮像した場合に合焦状態となる撮像装置１００が存在する空間上の点である。合焦距離は、撮像装置１００から、フォーカスレンズが現在のレンズ位置で撮像装置１００が撮像した場合に合焦状態となる被写体までの距離である。合焦状態は、例えば、撮像装置１００により撮像された画像でコントラストの評価値が予め定められた値以上となる状態をいう。

表示制御部１５０は、合焦距離が撮像装置から被写体までの距離より短い距離に対応する画像内の位置に第１オブジェクトとは異なる第２オブジェクトを重畳させて表示部１６０に表示させてよい。表示制御部１５０は、合焦距離が撮像装置１００から被写体までの距離に一致する距離に対応する画像内の位置に第１オブジェクト及び第２オブジェクトとは異なる第３オブジェクトを重畳させて表示部１６０に表示させてよい。なお、合焦距離が撮像装置１００から被写体までの距離に一致するとは、合焦状態を得られる程度に一致していればよく、合焦距離と被写体距離との差が予め定められた範囲内にある場合も含む概念である。

表示制御部１５０は、フォーカスレンズがレンズ位置にある場合の撮像装置１００から合焦点までの合焦距離と撮像装置１００から被写体までの距離との差に応じて異なる色のオブジェクトを、画像に重畳させて表示部１６０に表示させてよい。表示制御部１５０は、フォーカスレンズがレンズ位置にある場合の撮像装置１００から合焦点までの合焦距離と撮像装置１００から被写体までの距離との差に応じて段階的に色を変化させたオブジェクトを、画像に重畳させて表示部１６０に表示させてよい。表示制御部１５０は、第１オブジェクト、第２オブジェクト、及び第３オブジェクトをそれぞれ異なる色で表示部１６０に表示させてよい。表示制御部１５０は、第１オブジェクト、第２オブジェクト、及び第３オブジェクトをそれぞれ異なる半透明の色で、画像内のそれぞれの位置に重畳させて表示部１６０に表示させてよい。

表示制御部１５０は、フォーカスレンズがレンズ位置にある場合の撮像装置１００から合焦点までの合焦距離と撮像装置１００から被写体までの距離との差に応じて異なるオブジェクトを、画像に重畳させて表示部１６０に表示させてよい。表示制御部１５０は、その差に応じた色のオブジェクトを、画像に重畳させて表示部１６０に表示させてよい。表示制御部１５０は、その差に応じた半透明の色のオブジェクトを、画像に重畳させて表示部１６０に表示させてよい。

被写体距離特定部１３０は、画像内の予め定められた範囲を複数の領域に分割して、撮像装置１００から複数の領域内のそれぞれの被写体までの距離をそれぞれ特定してよい。表示制御部１５０は、フォーカスレンズのレンズ位置と撮像装置１００から被写体までの距離との関係を示すオブジェクトを、画像内の複数の領域のそれぞれに重畳させて表示部１６０に表示させてよい。予め定められた範囲は、例えば、画像内の中央領域でよい。予め定められた範囲は、ユーザにより指定された画像内の領域でよい。予め定められた範囲は、画像内に点在する複数の領域でよい。

図５は、オブジェクトが重畳された画像３００の一例を示す。被写体距離特定部１３０は、画像３００内の予め定められた範囲３１０を予め定められたブロック単位に分割して、それぞれのブロックごとに被写体までの距離を特定する。表示制御部１５０は、フォーカスレンズの現在のレンズ位置で合焦距離の位置にある被写体を含むブロック３１２、及びフォーカスレンズの現在のレンズ位置で合焦距離より遠い位置にある被写体を含むブロック３１１をそれぞれ異なる半透明の色で、オブジェクトとして画像３００に重畳して表示部１６０に表示する。

図６は、オブジェクトが重畳された画像３２０の一例を示す。表示制御部１５０は、フォーカスレンズの現在のレンズ位置で合焦距離より近い位置にある被写体を含むブロック３３１、フォーカスレンズの現在のレンズ位置で合焦距離の位置にある被写体を含むブロック３３３、及びフォーカスレンズの現在のレンズ位置で合焦距離より遠い位置にある被写体を含むブロック３３２をそれぞれ異なる半透明の色で、オブジェクトとして画像３２０に重畳して表示部１６０に表示する。

以上のように、表示制御部１５０は、撮像装置１００に撮像された画像内のそれぞれの位置に、フォーカスレンズの現在のレンズ位置での合焦距離と、それぞれの位置の被写体までの距離との差に応じたオブジェクトを重畳させて表示部１６０に表示させる。オブジェクトは、フォーカスレンズの現在のレンズ位置に対して、そのオブジェクトに重畳されて表示されている被写体が至近端側に存在するか、無限遠側に存在するかを示す。したがって、ユーザは、オブジェクトを参照することで、所望の被写体に焦点を合わせるためにフォーカスレンズを至近端側に移動すべきか、無限遠側に移動すべきかを容易に把握することができる。

図７は、フォーカスレンズのレンズ位置と、画像のぼけ量（Ｃｏｓｔ）との関係の一例を示す。図７では、現在のレンズ位置に対して、至近端側に、Ｃｏｓｔの極値３４０に対応するレンズ位置が一か所、無限遠側に、Ｃｏｓｔの極値３４１に対応するレンズ位置が一か所、存在することを示している。合焦制御部１４０は、フォーカスレンズのレンズ位置を、至近端側のＣｏｓｔの極値３４０に対応するレンズ位置に合わせることで、至近端側の被写体に焦点を合わせることができる。また、合焦制御部１４０は、フォーカスレンズのレンズ位置を、無限遠側のＣｏｓｔの極値３４１に対応するレンズ位置に合わせることで、無限遠側の被写体に焦点を合わせることができる。

図５または図６に示す例では、フォーカスレンズの現在のレンズ位置に対して、所望の被写体に焦点を合わせるために、フォーカスレンズを至近端側に移動させればよいか、無限遠側に移動させればよいかを把握することができる。しかし、フォーカスレンズの移動量を把握することは難しい。

そこで、表示制御部１５０は、フォーカスレンズのレンズ位置と被写体距離との関係を示すオブジェクトを重畳させた画像に加えて、表示制御部１５０は、フォーカスレンズの現在のレンズ位置を示すオブジェクトと、被写体に合焦させるためのフォーカスレンズのレンズ位置である合焦レンズ位置を示すオブジェクトとを、現在のレンズ位置と合焦レンズ位置との関係に対応する位置関係で示した他の画像を表示部１６０にさらに表示させてよい。表示制御部１５０は、図８に示しように、現在のレンズ位置での合焦距離と被写体距離との差に応じたブロック３１１、及びブロック３１２を重畳させた画像３００に加えて、現在のレンズ位置を示すオブジェクト４０１と、合焦レンズ位置を示すオブジェクト４０２及びオブジェクト４０３とを、現在のレンズ位置と合焦レンズ位置との関係に対応する位置関係で示した表示バー４００を表示部１６０にさらに表示させてよい。

表示制御部１５０は、フォーカスレンズのレンズ位置が変化することに応じてオブジェクト４０２及びオブジェクト４０３に対してオブジェクト４０１が表示バー４００の長手方向に沿って移動するように、オブジェクト４０１、オブジェクト４０２及びオブジェクト４０３を表示部１６０に表示させてよい。表示制御部１５０は、フォーカスレンズが移動することに応じて、表示バー４００の長手方向に沿ってオブジェクト４０１が移動するように、表示バー４００上にオブジェクト４０１を表示してよい。オブジェクト４０１と、オブジェクト４０２またはオブジェクト４０３とが重なると、フォーカスレンズが所望の被写体に合焦するレンズ位置にあることを意味する。

信頼度特定部１４４は、被写体距離特定部１３０により特定された合焦レンズ位置の信頼度を特定する。信頼度特定部１４４は、被写体距離特定部１３０により特定された合焦レンズ位置の予測確度が高いほど信頼度が大きくなるように、合像レンズ位置の信頼度を特定してよい。信頼度特定部１４４は、撮像装置１００により撮像された画像内の被写体のぼけ量に基づいて、合像レンズ位置の信頼度を特定してよい。信頼度特定部１４４は、例えば、ガウシアン関数を用いた式（１）で算出される画像のぼけ量（Ｃｏｓｔ）に基づいて合焦レンズ位置の信頼度を特定してよい。表示制御部１５０は、オブジェクト４０２およびオブジェクト４０３を信頼度に応じた大きさで表示部１６０に表示させてよい。表示制御部１５０は、オブジェクト４０２及びオブジェクト４０３の表示バー４００の幅方向の幅を信頼度に応じた幅で表示部１６０に表示させてよい。

以上のように、表示制御部１５０が、フォーカスレンズのレンズ位置と被写体距離との関係を示すオブジェクトを重畳させた画像に加えて、フォーカスレンズの現在のレンズ位置を示すオブジェクトと、被写体に合焦させるためのフォーカスレンズのレンズ位置である合焦レンズ位置を示すオブジェクトとを、現在のレンズ位置と合焦レンズ位置との関係に対応する位置関係で示す画像を表示する。これにより、ユーザは、フォーカスレンズの現在のレンズ位置に対して、所望の被写体に焦点を合わせるために、フォーカスレンズを至近端側に移動させればよいか、無限遠側に移動させればよいかに加えて、フォーカスレンズをどれだけ移動すればよいかを容易に把握することができる。

図９は、撮像装置１００の背面図の一例を示す図である。表示制御部１５０は、筐体の外面に設けられた表示パネル６００に、フォーカスレンズのレンズ位置と被写体距離との関係を示すオブジェクトを重畳させた画像を表示させてよい。また、表示制御部１５０は、表示パネル６００の下方に隣接して配置された表示パネル６０２に、現在のレンズ位置と合焦レンズ位置との関係に対応する位置関係で示す画像（表示バー）を表示させてよい。

図１０は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１００ 撮像装置
１０２ 撮像部
１１０ 撮像制御部
１２０ イメージセンサ
１３０ 被写体距離特定部
１３２ 取得部
１３４ 算出部
１３６ 予測部
１４０ 合焦制御部
１４２ レンズ位置特定部
１４４ 信頼度特定部
１５０ 表示制御部
１６０ 表示部
１６２ 操作部
１７０ メモリ
２００ レンズ部
２１０ レンズ
２１２ レンズ移動機構
２２０ レンズ制御部
６００ 表示パネル
６０２ 表示パネル
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (11)

1. 撮像装置が備えるフォーカスレンズのレンズ位置を特定する第１特定部と、
   前記撮像装置により撮像される画像内の複数の位置において、前記撮像装置から被写体までの距離を特定する第２特定部と、
   前記レンズ位置と前記距離との関係を示すオブジェクトを、前記撮像装置により撮像された画像に重畳させて表示部に表示させる表示制御部と
   を備える表示制御装置。
2. 前記表示制御部は、前記フォーカスレンズが前記レンズ位置にある場合の前記撮像装置から合焦点までの合焦距離が前記撮像装置から被写体までの距離より長い距離に対応する画像内の位置に第１オブジェクトを重畳させて前記表示部に表示させ、前記合焦距離が前記撮像装置から被写体までの距離より短い距離に対応する前記画像内の位置に前記第１オブジェクトとは異なる第２オブジェクトを重畳させて前記表示部に表示させる、請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記合焦距離が前記撮像装置から被写体までの距離に対応する前記画像内の位置に前記第１オブジェクト及び前記第２オブジェクトとは異なる第３オブジェクトを重畳させて前記表示部に表示させる、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記フォーカスレンズが前記レンズ位置にある場合の前記撮像装置から合焦点までの合焦距離と前記撮像装置から被写体までの距離との差に応じて異なるオブジェクトを、前記画像に重畳させて前記表示部に表示させる、請求項１に記載の表示制御装置。
5. 前記表示制御部は、前記フォーカスレンズが前記レンズ位置にある場合の前記撮像装置から合焦点までの合焦距離と前記撮像装置から被写体までの距離との差に応じて異なる色のオブジェクトを、前記画像に重畳させて前記表示部に表示させる、請求項１に記載の表示制御装置。
6. 前記第２特定部は、前記画像内の予め定められた範囲を複数の領域に分割して、前記撮像装置から前記複数の領域内のそれぞれの被写体までの距離をそれぞれ特定し、
   前記表示制御部は、前記レンズ位置と前記距離との関係を示すオブジェクトを、前記画像内の前記複数の領域のそれぞれに重畳させて前記表示部に表示させる、請求項１に記載の表示制御装置。
7. 前記第２特定部は、
   前記フォーカスレンズのレンズ位置がそれぞれ異なる状態で前記撮像装置により撮像された複数の画像を取得する取得部と、
   前記複数の画像のそれぞれのぼけ量を算出する算出部と、
   前記複数の画像のぼけ量に基づいて、前記撮像装置により撮像される画像内の複数の位置において、前記撮像装置から被写体までの距離を予測する予測部と
   を有する、請求項１に記載の表示制御装置。
8. 前記表示制御部は、前記フォーカスレンズのレンズ位置を示すオブジェクトと、被写体に合焦させるための前記フォーカスレンズのレンズ位置である合焦レンズ位置を示すオブジェクトとを、レンズ位置と合焦レンズ位置との関係に対応する位置関係で、前記表示部にさらに表示させる、請求項１に記載の表示制御装置。
9. 請求項１から８の何れか１つに記載の表示制御装置と、
   前記フォーカスレンズと、
   前記フォーカスレンズを介して結像する光学像を電気信号に変換するイメージセンサと、
   前記表示部と
   を備える撮像装置。
10. 撮像装置が備えるフォーカスレンズのレンズ位置を特定する段階と、
    前記撮像装置により撮像される画像内の複数の位置において、前記撮像装置から被写体までの距離を特定する段階と、
    前記レンズ位置と前記距離との関係を示すオブジェクトを、前記撮像装置により撮像された画像に重畳させて表示部に表示させる段階と
    を備える表示制御方法。
11. 請求項１から８の何れか１つに記載の表示制御装置としてコンピュータを機能させるためのプログラム。