JP2023116360A - 制御装置、電子機器、制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影環境輝度に応じて、ユーザビリティの低下を抑制しつつ、画像の表示と焦点検出を適切に実行可能な制御装置を提供すること。【解決手段】制御装置は、第１の光学系を通過した光束を受光する第１の撮像素子で取得される第１の信号、及び第１の光学系に対して視差を有するように配置された第２の光学系を通過した光束を受光する第２の撮像素子で取得される第２の信号を取得する取得部と、第１の信号を用いて焦点検出を行う焦点検出部と、第１の信号と第２の信号の少なくとも一方に基づいて表示部に表示させるための表示画像を生成する画像生成部とを有し、焦点検出部は、撮影環境輝度に応じて、第１の撮像素子の撮像面における第１の信号の第１取得範囲を変化させる。【選択図】図６

Description

本発明は、制御装置、電子機器、制御方法、及びプログラムに関する。

近年、リアルタイムに映像を撮影して、３次元情報を表示させる３次元立体視装置が普及している。また、２次元配置された画素の各々にマイクロレンズが設けられた撮像素子を用い、瞳分割方式の焦点検出を行う撮像装置が知られている（特許文献１参照）。

特開２０１４－１８２３６０号公報

３次元立体装置で撮像する際に、特許文献１の撮像装置で焦点検出を行う場合、ユーザの周辺輝度が低下するシーンにおいては撮像素子の感度を上げる、又は蓄積時間を長くする等の方法が考えられる。暗所において蓄積時間を長くする方法を用いる場合、表示画像の取得間隔が広がることで、表示画像の表示レートが下がり、ユーザビリティが低下してしまう。

本発明は、撮影環境輝度に応じて、ユーザビリティの低下を抑制しつつ、画像の表示と焦点検出を適切に実行可能な制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、第１の光学系を通過した光束を受光する第１の撮像素子で取得される第１の信号、及び第１の光学系に対して視差を有するように配置された第２の光学系を通過した光束を受光する第２の撮像素子で取得される第２の信号を取得する取得部と、第１の信号を用いて焦点検出を行う焦点検出部と、第１の信号と第２の信号の少なくとも一方に基づいて表示部に表示させるための表示画像を生成する画像生成部とを有し、焦点検出部は、撮影環境輝度に応じて、第１の撮像素子の撮像面における第１の信号の第１取得範囲を変化させることを特徴とする。

本発明によれば、撮影環境輝度に応じて、ユーザビリティの低下を抑制しつつ、画像の表示と焦点検出を適切に実行可能な制御装置を提供することができる。

本発明の実施形態に係る電子機器の一例であるヘッドマウントディスプレイの構成の一例を示す図である。 ヘッドマウントディスプレイをユーザが装着した場合の構成の一例を示す模式図である。 撮像素子の画素配列の一例を示す概略図である。 デフォーカス量と一対の焦点検出信号間の像ずれ量の概略関係図である。 撮影環境輝度に応じた焦点検出の取得範囲変更方法を示すフローチャートである。 撮影環境輝度に応じた焦点検出の取得範囲変更を示す模式図である。 撮影環境輝度に応じた焦点検出の取得範囲の位置や範囲を変更する方法の説明図である。 焦点検出方法を示すフローチャートである。 画像表示処理方法を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
＜ヘッドマウントディスプレイの構成＞
図１（ａ）は、本発明の実施形態に係る電子機器の一例であるヘッドマウントディスプレイ（立体撮像装置）１００の構成の一例を示す図である。ヘッドマウントディスプレイ１００は、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌとを有する。また、ヘッドマウントディスプレイ１００は、システム制御部２１８、システムメモリ２１９、不揮発性メモリ２２０、システムタイマ２２１、通信部２２２、姿勢検出部２２３、及び接眼検出部１１８を有する。更に、ヘッドマウントディスプレイ１００は、ファインダ外表示駆動回路２２４、電源制御部２２５、電源部２２６、記録媒体Ｉ／Ｆ２２７、及び操作部２２９を有する。

右眼用撮像・表示部２５０Ｒは、画像撮影部２００、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ（表示部）２１７、接眼部１１６、及び眼球情報取得部２４０を有する。

画像撮影部２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、シャッター２１０、及び撮像部２１１を備える。絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、フォーカスレンズを含む複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、フォーカスレンズを駆動させて焦点を合わせる。レンズシステム制御回路２０５は、システム制御部２１８の指示に基づいて、絞り駆動回路２０３及びＡＦ駆動回路２０４を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行うと共に、ＡＦ駆動回路２０４を介してフォーカスレンズの位置を変位させることで焦点を合わせる。シャッター２１０は、システム制御部２１８の指示に基づいて撮像部２１１の露光時間を制御するフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）を備える。撮像部２１１は、システム制御部２１８にデフォーカス量情報を出力する撮像面位相差センサを備えていてもよい。

Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータ又はメモリ制御部２１３からのデータに対して所定の処理（画素補間、縮小等のリサイズ処理、及び色変換処理等）を行う。また、画像処理部２１４は、画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて、システム制御部２１８による、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、及びＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４及びメモリ制御部２１３を介して、又は画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、所定枚数の静止画像や所定時間の動画像及び音声を格納する。具体的には、メモリ２１５は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、ＥＶＦ２１７に表示させるための画像データ（表示画像）を格納する。また、メモリ２１５は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている画像表示用のデータをアナログ信号に変換してＥＶＦ２１７に供給する。したがって、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介してＥＶＦ２１７に表示される。ＥＶＦ２１７は、例えば、ＬＣＤ（液晶ディスプレイ）や有機ＥＬ等のディスプレイであり、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、ＥＶＦ２１７に逐次転送して表示させることで、ライブビュー表示が行われる。

眼球情報取得部２４０は、まず、ユーザの眼球画像データを取得し、取得した眼球画像データから視線情報を演算し、演算した視線情報をシステム制御部２１８に送る。システム制御部２１８は、視線情報を用いて後述の撮影環境輝度に応じた焦点検出の取得範囲を演算する。

左眼用撮像・表示部２５０Ｌは、前述した右眼用撮像・表示部２５０Ｒと同様の構成を備えるため、本実施形態では詳細な説明は省略する。

システム制御部２１８は、少なくとも１つのプロセッサ及び／又は少なくとも１つの回路を備える。すなわち、システム制御部２１８は、プロセッサであってもよいし、回路であってもよいし、プロセッサと回路の組み合わせであってもよい。システム制御部２１８は、ヘッドマウントディスプレイ１００全体を制御する制御装置として機能する。システム制御部２１８は、図１（ｂ）に示されるように、取得部２１８ａ、焦点検出部２１８ｂ、及び画像生成部２１８ｃを備え、不揮発性メモリ２２０に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。取得部２１８ａは、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌの一方のレンズ２０２（第１の光学系）を通過した光束を受光する一方の撮像部２１１に含まれる撮像素子（第１の撮像素子）で取得される第１の信号を取得する。また、取得部２１８ａは、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌの他方のレンズ２０２（第２の光学系）を通過した光束を受光する他方の撮像部２１１に含まれる撮像素子（第２の撮像素子）で取得される第２の信号を取得する。焦点検出部２１８ｂは、第１の信号と第２の信号の少なくとも一方を用いて焦点検出を行う。また、焦点検出部２１８ｂは、撮影環境輝度に応じて、第１の信号と第２の信号の少なくとも一方の取得範囲を変化させる。画像生成部２１８ｃは、第１の信号と第２の信号の少なくとも一方に基づいてＥＶＦ２１７に表示させるための画像データを生成する。また、システム制御部２１８は、メモリ２１５、Ｄ／Ａ変換器２１６、及びＥＶＦ２１７等を制御することにより表示制御も行う。

システムメモリ２１９は、例えばＲＡＭが用いられる。システムメモリ２１９には、システム制御部２１８の動作用の定数、変数、及び不揮発性メモリ２２０から読み出したプログラム等が展開される。不揮発性メモリ２２０は、ＥＥＰＲＯＭ等の電気的に消去・記録可能なメモリである。不揮発性メモリ２２０には、システム制御部２１８の動作用の定数やプログラム等が記録される。ここでのプログラムとは、後述するフローチャートを実行するためのプログラムである。システムタイマ２２１は、各種制御に用いる時間や、内蔵された時計の時間を計測する。通信部２２２は、無線又は有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部２２２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２２は、撮像部２１１で撮影した画像（ライブ画像を含む）や、記録媒体２２８に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。姿勢検出部２２３は、例えば、加速度センサやジャイロセンサ等であり、重力方向に対するヘッドマウントディスプレイ１００の姿勢を検出する。システム制御部２１８は、姿勢検出部２２３で検出された姿勢に基づいて、撮像部２１１で撮影された画像が、ヘッドマウントディスプレイ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、システム制御部２１８は、姿勢検出部２２３で検出された姿勢に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。また、システム制御部２１８は、姿勢検出部２２３で検出された姿勢に基づいて、ヘッドマウントディスプレイ１００の動作（パン、チルト、持ち上げ、静止しているか否か等）を検出可能である。

接眼検出部１１８は、赤外線近接センサ等の接近（接眼）とみなせる状態を検出可能なセンサであり、接眼部１１６に対する物体（眼）の接近（接眼）及び物体からの離反（離眼）を検出することができる。接眼部１１６に物体が接近した場合、接眼検出部１１８の投光部から投光された赤外線は物体で反射して接眼検出部１１８の受光部で受光される。接眼検出部１１８は、受光された赤外線の量によって接眼部１１６から物体までの距離を判別することができる。接眼検出部１１８は、接眼部１１６に対して非接近状態（非接眼状態）から所定距離以内に近づいた物体を検出した場合、物体の接近を検出する。一方、接眼検出部１１８は、接眼部１１６に対して接近状態（接眼状態）から所定距離以上に離れた物体を検出した場合、物体の離反を検出する。接近を検出する閾値と離反を検出する閾値とは、同一であってもよいし、例えばヒステリシスを設ける等して異なっていてもよい。物体の接近を検出した後、離反を検出するまでの間、接眼検出部１１８は物体の接近状態を検出しているものとする。また、物体の離反を検出した後、接近を検出するまでの間、接眼検出部１１８は物体の非接近状態を検出しているものとする。システム制御部２１８は、接眼検出部１１８で検出された状態に応じて、ＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、システム制御部２１８は、撮影待機状態であり、かつ、表示先の切替設定が自動切替である場合、ＥＶＦ２１７を非表示とする。また、システム制御部２１８は、接眼検出部１１８により物体の接近が検出されている間、表示先をＥＶＦ２１７としてＥＶＦ２１７の表示をオンとする。

電源制御部２２５は、電池検出回路、ＤＣ－ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路を備え、電池の装着の有無、電池の種類、及び電池残量の電池に関する検出を行う。また、電源制御部２２５は、電池に関する検出の結果及びシステム制御部２１８の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間だけ記録媒体２２８を含む各部に供給する。電源部２２６は、アルカリ電池及びリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池及びＬｉ電池等の二次電池、ＡＣアダプタ等である。記録媒体Ｉ／Ｆ２２７は、記録媒体２２８とのインターフェースである。記録媒体２２８は、撮影された画像を記録するためのメモリカードやハードディスク等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２８は、本実施形態では、ヘッドマウントディスプレイ１００に着脱可能に構成されているが、ヘッドマウントディスプレイ１００に内蔵されていてもよい。

操作部２２９は、ユーザからの操作を受け付ける入力部であり、システム制御部２１８に各種の指示を入力するために用いられる。操作部２２９は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、及び他の操作部２３０を備える。シャッターボタン１０１は、第１シャッタースイッチ２３１と第２シャッタースイッチ２３２とを備える。第１シャッタースイッチ２３１は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生させる。第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、及びＥＦ処理等の撮影準備処理が開始される。第２シャッタースイッチ２３２は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生させる。第２シャッタースイッチ信号ＳＷ２により、撮像部２１１からの信号読み出しから、撮影された画像を含む画像ファイルの生成と記録媒体２２８への書き込みまでの一連の撮影処理が開始される。モード切替スイッチ１０３は、システム制御部２１８の動作モードを撮影・表示モード、再生モード、及びＡＲ表示モード等の何れかに切り替えるために使用される。ユーザは、モード切替スイッチ１０３を用いてシステム制御部２１８を上述した動作モードの何れかに直接、切り替えてもよい。また、ユーザは、モード切替スイッチ１０３を用いて動作モードの一覧画面に一旦切り替えた後、操作部２２９を用いてシステム制御部２１８を表示された動作モードの何れかに切り替えてもよい。他の操作部２３０は、電子ダイヤル、方向キー、及びメニューボタン等を備える。

図２は、ヘッドマウントディスプレイ１００をユーザが装着した場合の一例を示す模式図である。図２において、ＲとＬが付された構成はそれぞれ、右眼用と左眼用の構成である。

右眼用撮像・表示部２５０Ｒは、画像撮影部２００Ｒ、ＥＶＦ２１７Ｒ、及び眼球情報取得部２４０Ｒを有する。左眼用撮像・表示部２５０Ｌは、画像撮影部２００Ｌ、ＥＶＦ２１７Ｌ、及び眼球情報取得部２４０Ｌを有する。

画像撮影部２００Ｒは、レンズ２０２Ｒと撮像部２１１Ｒとを備える。画像撮影部２００Ｌは、レンズ２０２Ｌと撮像部２１１Ｌとを備える。レンズ２０２Ｒ，２０２Ｌは、互いに視差を有するように配置される。撮像部２１１Ｒは、レンズ２０２Ｒを通過した光束を受光する。撮像部２１１Ｌは、レンズ２０２Ｌを通過した光束を受光する。

回転調節部３２０Ｒ，３２０Ｌは夫々、Ｚ軸周りでＹａｗ方向へ回転し、撮影画像の輻輳角を調整する。ＥＶＦ間隔３２２は、ＥＶＦ２１７Ｒ，ＥＶＦ２１７Ｌとの距離であり、不図示の調整機構にて変更可能である。人間の眼球間隔３２１は個人差があるため、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌとの距離であるヘッドマウントディスプレイ１００の撮像部間隔３２３も調整できることが好ましい。本実施形態では、撮像部間隔３２３は、不図示の調整機構にて変更可能である。回転調節部３２０Ｒ，３２０Ｌは常に撮像部間隔３２３を維持し、人間の眼球中心を模擬した構成となっている。
＜撮像素子の構成＞
図３は、撮像部２１１内の撮像素子の画素配列の一例を示す概略図であり、撮像素子として用いられる２次元ＣＭＯＳセンサの画素配列を、撮像画素の４列×４行の範囲（焦点検出画素の配列としては８列×４行の範囲）で示している。

本実施形態では、画素群４００は２列×２行の画素からなり、ベイヤー配列のカラーフィルタにより覆われているものとする。画素群４００において、Ｒ（赤）の分光感度を有する画素４００Ｒが左上の位置に、Ｇ（緑）の分光感度を有する画素４００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素４００Ｂが右下の位置に配置されている。更に、撮像部２１１内の撮像素子が撮像面位相差方式の焦点検出を行うために、各画素は１つのマイクロレンズ４０１に対して複数のフォトダイオード（光電変換部）を保持している。本実施形態では、各画素は、２列×１行に配列された第１フォトダイオード４０２と第２フォトダイオード４０３により構成されている。

撮像部２１１内の撮像素子では、図３に示される２列×２行の画素（４列×２行のフォトダイオード）からなる画素群４００を撮像面上に多数配置することで、撮像信号及びフォーカス用信号を取得可能である。このような構成を有する各画素では、光束をマイクロレンズ４０１で分離し、第１フォトダイオード４０２と第２フォトダイオード４０３に結像する。そして、２つのフォトダイオードからの信号を加算した信号（Ａ＋Ｂ信号）を撮像信号、個々のフォトダイオードからそれぞれ読み出した一対の焦点検出信号（Ａ像信号とＢ像信号）をフォーカス用信号として用いる。

なお、撮像信号とフォーカス用信号とをそれぞれ読み出してもよいが、処理負荷を考慮して、撮像信号（Ａ＋Ｂ信号）と一方のフォーカス用信号（例えばＡ像信号）とを読み出し、差分を取ることで、他方のフォーカス用信号（例えばＢ像信号）を取得してもよい。

また、本実施形態では、各画素は、１つのマイクロレンズ４０１に対して２つのフォトダイオードを保持するが、フォトダイオードの数は２つ以上であってもよい。

また、撮像部２１１内の撮像素子は、マイクロレンズ４０１に対して受光部の開口位置が異なる画素を複数有してもよい。すなわち、撮像部２１１内の撮像素子は、Ａ像信号とＢ像信号等の位相差を検出可能な位相差検出用の２つの信号を取得可能であればよい。

また、図３では、全ての画素が複数のフォトダイオードを保持するが、本発明はこれに限定されない。焦点検出用画素が離散的に設けられていてもよい。
＜デフォーカス量と像ずれ量との関係＞
以下、本実形態の撮像素子により取得される一対の焦点検出信号（Ａ像信号とＢ像信号）から算出されるデフォーカス量と像ずれ量との関係について説明する。以下の説明では、撮像中心と光軸中心とが一致しているものする。また、右眼用撮像・表示部２５０Ｒのみでデフォーカス量を算出し、該デフォーカス量から距離情報を算出するものとする。ただし、目的に応じて、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌのそれぞれでデフォーカス量を算出し、算出されたデフォーカス量を組み合わせて距離情報を算出してもよい。また、本実施形態では、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌに同じ撮像素子が組み込まれているが、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌの何れかにデフォーカス量を算出可能な撮像素子が組み込まれていてもよい。また、距離情報の取得方法は、本実施形態の方法に限定されない。

図４は、デフォーカス量dと一対の焦点検出信号（Ａ像信号とＢ像信号）間の像ずれ量の概略関係図である。撮像面１３００に本実施形態の撮像素子（不図示）が配置され、結像光学系の射出瞳が、第１の光束が透過する第１瞳部分領域１３０３と第２の光束が透過する第２瞳部分領域１３０４に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面１３００までの距離である。デフォーカス量ｄの大きさを｜ｄ｜とする。また、被写体の結像位置が撮像面１３００より被写体側にある前ピン状態でのデフォーカス量ｄを負（ｄ＜０）、被写体の結像位置が撮像面１３００より被写体の反対側にある後ピン状態でのデフォーカス量ｄを正（ｄ＞０）とする。被写体の結像位置が撮像面１３００にある合焦状態では、デフォーカス量ｄは０である。図４は、被写体１３０１の結像位置が撮像面１３００であり（ｄ＝０）、被写体１３０２の結像位置が撮像面１３００より被写体側である（ｄ＜０）場合を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体１３０２からの光束のうち、第１瞳部分領域１３０３（第２瞳部分領域１３０４）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面１３００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する図３の第１フォトダイオード４０２（第２フォトダイオード４０３）により受光され、一対の焦点検出信号（Ａ像信号とＢ像信号）が生成される。一対の焦点検出信号（Ａ像信号とＢ像信号）は、撮像面１３００上の重心位置Ｇ１（Ｇ２）に、被写体１３０２がボケ幅Γ１（Γ２）だけボケた被写体像として記録される。ボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね、比例して増加していく。同様に、一対の焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、一対の焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

したがって、本実施形態では、像ずれ量ｐ、及び像ずれ量pをデフォーカス量dに換算するための換算係数Ｋからデフォーカス量dを算出可能である。なお、換算係数Ｋは、結像光学系の入射角度、Ｆ値、及び光軸位置に依存する。
＜撮影環境輝度に応じた焦点検出の取得範囲変更＞
３次元立体視画像を表示させつつ、良好な焦点検出結果を得るために、撮影環境輝度に応じて、焦点検出の取得範囲を変更する方法について説明する。なお、本実施形態では、撮影環境をＣａｓｅ１からＣａｓｅ４までの４つのＣａｓｅに分けて説明するが、Ｃａｓｅの数はこれに限定されない。

図５は、本実施形態の撮影環境輝度に応じた焦点検出の取得範囲変更方法を示すフローチャートである。

ステップＳ１では、システム制御部２１８は、ＡＥ処理の結果を用いて撮影環境輝度判定を行う。なお、撮影環境輝度判定は、本実施形態ではＡＥ処理の結果を用いて行われるが、画像処理部２１４の画像データを用いて行われてもよい。

図６は、撮影環境輝度に応じた焦点検出の取得範囲変更を示す模式図である。図６（ａ）のＣａｓｅ１は、最も明るい撮影環境であり、３次元画像処理に必要な画像の取得では高フレームレート（ＦＲ）かつ高速なセンサ読み出しが可能で、焦点検出では広範囲な信号の取得範囲（Ａｒｅａ１）が設定可能な撮影環境である。図６（ｂ）のＣａｓｅ２は、比較的明るい撮影環境であり、３次元画像処理に必要な画像の取得では高ＦＲから中ＦＲかつ高速から中速なセンサ読み出しが可能で、焦点検出では中範囲な信号の取得範囲（Ａｒｅａ２）が設定可能な撮影環境である。図６（ｃ）のＣａｓｅ３は、比較的暗い撮影環境であり、３次元画像処理に必要な画像の取得では中ＦＲかつ中速なセンサ読み出しが可能で、焦点検出では狭範囲な信号の取得範囲（Ａｒｅａ３Ｒ，Ａｒｅａ３Ｌ）が設定可能な撮影環境である。図６（ｄ）のＣａｓｅ４は、最も暗い撮影環境であり、３次元画像処理に必要な画像の取得では中ＦＲから低ＦＲかつ中速から低速なセンサ読み出しが可能で、焦点検出では狭範囲な信号の取得範囲（Ａｒｅａ４Ｒ，Ａｒｅａ４Ｌ）が設定可能な撮影環境である。

ステップＳ２（取得ステップ）では、システム制御部２１８は、ステップＳ１で判定した撮影環境輝度を用いて、以降のフローで必要な各種情報を取得する。

ステップＳ１において、撮影環境輝度が最も明るい撮影環境であるＣａｓｅ１の輝度であると判定された場合について説明する。システム制御部２１８は、撮像部２１１Ｒ内の撮像素子の撮像面における焦点検出の取得範囲（第１取得範囲）と撮像部２１１Ｌ内の撮像素子の撮像面における焦点検出の取得範囲（第２取得範囲）をＡｒｅａ１に設定する。Ａｒｅａ１は広範囲であるため、撮像部２１１Ｒ，２１１Ｌで、取得範囲の位置や大きさを変更する必要はない。Ｃａｓｅ１は最も明るい撮影環境であるため、短秒蓄積時間で画面全体から焦点検出信号を取得して焦点検出を行うことが可能となる。また、システム制御部２１８は、撮像部２１１Ｒ，２１１Ｌの少なくとも一方からの信号を用いて主被写体を検出する被写体検出部としても機能し、主被写体情報Ｔａｒｇｅｔ１を検出することで、主被写体の種類情報や画面内の位置情報等を取得する。Ａｒｅａ１内の主被写体情報Ｔａｒｇｅｔ１の近傍の焦点検出結果は、後段の焦点検出で用いられる。また、システム制御部２１８は、ユーザの視線情報ＥｙｅＰｏｉｎｔ１に基づくユーザの着目領域を取得する。システム制御部２１８は、主被写体情報Ｔａｒｇｅｔ１と着目領域から、ユーザが主被写体に着目していると判定して、着目領域の近傍の焦点検出結果を後段の焦点検出で用いてもよい。

ステップＳ１において、撮影環境輝度が比較的明るい撮影環境であるＣａｓｅ２の輝度であると判定された場合、具体的には撮影環境輝度が第１の所定値より小さいと判定された場合について説明する。Ｃａｓｅ２はＣａｓｅ１よりも暗い撮影環境であるため、蓄積時間がＣａｓｅ１よりも長くなる。システム制御部２１８は、撮像部２１１Ｒ内の撮像素子の撮像面における焦点検出の取得範囲と撮像部２１１Ｌ内の撮像素子の撮像面における焦点検出の取得範囲をＡｒｅａ１よりも狭いＡｒｅａ２に設定する。Ａｒｅａ２は比較的、広範囲であるため、撮像部２１１Ｒ，２１１Ｌで、取得範囲の位置や大きさを変更する必要はない。また、システム制御部２１８は、主被写体情報Ｔａｒｇｅｔ２を検出することで、主被写体の種類情報や画面内の位置情報等を取得する。また、Ａｒｅａ２内の主被写体情報Ｔａｒｇｅｔ２の近傍の焦点検出結果は、後段の焦点検出で用いられる。また、システム制御部２１８は、ユーザの視線情報ＥｙｅＰｏｉｎｔ２に基づくユーザの着目領域を取得する。システム制御部２１８は、主被写体情報Ｔａｒｇｅｔ２と着目領域から、ユーザが主被写体に着目していると判定して、着目領域の近傍の焦点検出結果を後段の焦点検出で用いてもよい。

ステップＳ１において、撮影環境輝度が比較的暗い撮影環境であるＣａｓｅ３の輝度であると判定された場合、具体的には撮影環境輝度が第２の所定値より小さいと判定された場合について説明する。第２の所定値は、第１の所定値より小さい。Ｃａｓｅ３はＣａｓｅ２よりも暗い撮影環境であるため、蓄積時間がＣａｓｅ２よりも長くなる。システム制御部２１８は、撮像部２１１Ｒ内の撮像素子の撮像面における焦点検出の取得範囲を所定範囲より小さいＡｒｅａ３Ｒ（第３取得範囲）に設定する。また、システム制御部２１８は、撮像部２１１Ｌ内の撮像素子の撮像面における焦点検出の取得範囲を所定範囲より小さいＡｒｅａ３Ｌ（第４取得範囲）に設定する。Ａｒｅａ３ＲとＡｒｅａ３Ｌはそれぞれ、ＥＶＦ２１７Ｒ，２１７Ｌの光軸中心に位置するように設定される。そのため、Ａｒｅａ３Ｒの位置とＡｒｅａ３Ｌの位置は、撮像部２１１Ｒ，２１１Ｌ上ではずれている。なお、主被写体情報Ｔａｒｇｅｔ３やユーザの視線情報ＥｙｅＰｏｉｎｔ３に基づくユーザの着目領域から、取得範囲の位置や範囲を変更してもよい。

以下、図７を参照して、取得範囲の位置や範囲を変更する方法について説明する。図７は、撮影環境輝度に応じた焦点検出の取得範囲の位置や範囲を変更する方法の説明図であり、撮影環境がＣａｓｅ３の場合にＡｒｅａ３ＲとＡｒｅａ３Ｌの位置や範囲を変更する方法を示している。

図７（ａ）は、画面中央付近にＡｒｅａ３ＲとＡｒｅａ３Ｌが設定されている状態を表している。図７（ｂ）は、図７（ａ）の状態に対して、ユーザの視線情報ＥｙｅＰｏｉｎｔ３と取得可動範囲（ＭｏｖｅＡｒｅａ）が追加された状態を表している。着目領域が検出された後、着目領域の位置を中心にＡｒｅａ３ＲとＡｒｅａ３Ｌを取得可動範囲（ＭｏｖｅＡｒｅａ）内で移動させる。これにより、必要最低限の範囲を設定することが可能である。

図７（ｃ）は、図７（ａ）の状態に対して、主被写体情報Ｔａｒｇｅｔ３と取得可動範囲（ＭｏｖｅＡｒｅａ）が追加された状態を表している。図７（ｃ）において、着目領域が検出された後、主被写体位置を中心にＡｒｅａ３ＲとＡｒｅａ３Ｌを取得可動範囲（ＭｏｖｅＡｒｅａ）内で移動させる。また、図７（ｃ）に示されるように、主被写体情報Ｔａｒｇｅｔ３から、Ａｒｅａ３ＲとＡｒｅａ３Ｌを更に狭めてもよい。これにより、必要最低限の範囲を設定することが可能である。

ステップＳ１において、撮影環境輝度が最も暗い撮影環境であるＣａｓｅ４の輝度であると判定された場合、具体的には撮影環境輝度が第３の所定値より小さいと判定された場合について説明する。第３の所定値は、第２の所定値より小さい。Ｃａｓｅ４はＣａｓｅ３よりも暗い撮影環境であるため、蓄積時間が長秒となる。システム制御部２１８は、撮像部２１１Ｒ内の撮像素子の撮像面における焦点検出の取得範囲を所定範囲より小さいＡｒｅａ４Ｒ（第３取得範囲）に設定する。また、システム制御部２１８は、撮像部２１１Ｌ内の撮像素子の撮像面における焦点検出の範囲を所定範囲より小さいＡｒｅａ４Ｒ（第４取得範囲）に設定する。Ａｒｅａ４ＲとＡｒｅａ４Ｌはそれぞれ、ＥＶＦ２１７Ｒ，２１７Ｌの光軸中心に位置するように設定される。そのため、Ａｒｅａ４Ｒの位置とＡｒｅａ４Ｌの位置は、撮像部２１１Ｒ，２１１Ｌ上ではずれている。なお、主被写体情報Ｔａｒｇｅｔ４やユーザの視線情報に基づくユーザの着目領域から、取得範囲の位置や範囲を変更してもよい。

ステップＳ３では、システム制御部２１８は、ステップＳ２で取得した蓄積時間に従い、ＥＶＦ２１７Ｒ，ＥＶＦ２１７Ｌに表示させるための画像データの表示パラメータを決定する。本実施形態では、通常、ＥＶＦ２１７Ｒ，２１７Ｌにそれぞれ異なる画像を表示させることで３次元立体視画像の表示が行われる。同時に、撮像部２１１Ｒ，２１１Ｌ内の撮像素子の撮像面における焦点検出の取得範囲からの信号を用いて焦点検出が行われる。なお、撮像部２１１Ｒ，２１１Ｌの一方の撮像素子の撮像面における焦点検出の取得範囲からの信号を用いて焦点検出が行われてもよい。蓄積時間は表示画像信号取得と焦点検出信号取得において略一致しているため、高ＦＲ表示かつ高速な焦点検出が可能となる。しかしながら、特にＣａｓｅ４のように暗い撮影環境では、高ＦＲを維持することが困難になりうる場合もある。この場合、撮像部２１１Ｒで表示画像信号を取得し、ＥＶＦ２１７Ｒ，２１７Ｌに略同一の画像を出力し、２次元画像の表示が行われてもよい。また、撮像部２１１Ｒに焦点検出信号を取得させ、画像表示と焦点検出を継続させるための動作をさせてもよい。また、焦点検出頻度が低下するが、３次元立体視表示を継続させるために、数フレームの加算信号（複数のタイミングで取得された信号）を用いて焦点検出が行われてもよい。更に、焦点検出が不能なほど暗い場合、焦点検出を行わず、焦点検出が行われないことを示す表示画像を生成し、表示させてもよい。

ステップＳ４（検出ステップ）では、システム制御部２１８は、ステップＳ２で取得した取得範囲を用いて焦点検出を行う。

以下、図８を参照して、焦点検出方法について説明する。図８は、焦点検出方法を示すフローチャートである。右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌでは、メカ要因等により合焦位置は異なるが、焦点検出方法に差はない。そのため、右眼用撮像・表示部２５０Ｒと左眼用撮像・表示部２５０Ｌの区別なく焦点検出方法を説明する。

本実施形態では、図３の撮像素子の各画素の第１フォトダイオード４０２から第１焦点検出信号が読み出されると共に、第２フォトダイオード４０３から第２焦点検出信号が読み出される。具体的には、第１焦点検出信号と第２焦点検出信号として、緑（Ｇ）、赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）の４画素の出力を加算することで取得される信号Ｙが用いられる。位相差ＡＦでは、２つの焦点検出信号間の被写体像の像ずれ量pを用いてデフォーカス量ｄが検出される。

ステップＳ５０１では、システム制御部２１８は、ステップＳ２で取得した取得範囲を設定する。

ステップＳ５０２では、システム制御部２１８は、焦点検出領域の第１焦点検出画素から第１焦点検出信号を取得すると共に、焦点検出領域の第２焦点検出画素から第２焦点検出信号を取得する。

ステップＳ５０３では、システム制御部２１８は、第１焦点検出信号と第２焦点検出信号を用いて、画素加算処理を行う。これにより、信号データ量を抑制することが可能である。具体的には、列方向において画素加算処理を行うと共に、ＲＧＢ信号の加算処理を行い、Ｙ信号を生成する。画素加算数が２である場合、画素ピッチが２倍となるためナイキスト周波数は非加算時の１／２となり、画素加算数が３である場合、画素ピッチが３倍となるためナイキスト周波数は非加算時の１／３となる。

ステップＳ５０４では、システム制御部２１８は、第１焦点検出信号と第２焦点検出信号に対して、シェーディング補正処理（光学補正処理）を行う。これにより、第１焦点検出信号と第２焦点検出信号の強度を揃えることが可能である。シェーディング補正値は、結像光学系の入射角度、Ｆ値、及び光軸位置に依存する。

ステップＳ５０５では、システム制御部２１８は、第１焦点検出信号と第２焦点検出信号に対して、バンドパスフィルターを用いてフィルター処理を行う。これにより、相関（信号の一致度）を良くして焦点検出精度を向上させることが可能である。バンドパスフィルターは、例えば、ＤＣ成分をカットしてエッジ抽出を行う｛１，４，４，４，０，－４，－４，－４，－１｝等の差分型フィルターや、高周波ノイズ成分を抑制する｛１，２，１｝等の加算型フィルターがある。

ステップＳ５０６では、システム制御部２１８は、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向へシフトさせるシフト処理により算出された信号の一致度を表す相関量を取得する。

相関量ＣＯＲ（ｓ）は、以下の式（１）により算出される。なお、Ａ（ｋ）はフィルター処理後のｋ番目の第１焦点検出信号、Ｂ（ｋ）はフィルター処理後のｋ番目の第２焦点検出信号、Ｗは焦点検出領域に対応する番号ｋの範囲、ｓはシフト処理によるシフト量、Γはシフト量ｓのシフト範囲である。

なお、必要に応じて、行ごとに算出された相関量ＣＯＲ（ｓ）を、シフト量ごとに、複数行に渡って加算してもよい。また、相関量ＣＯＲ（ｓ）が算出された際にその変化量やピークボトム等を用いて、デフォーカス量の信頼性を評価することが可能である。

ステップＳ５０７では、システム制御部２１８は、ステップＳ５０６で取得した相関量が最小値となる実数値のシフト量である像ずれ量ｐに変換係数Ｋが掛けられたデフォーカス量ｄを取得する。なお、変換係数Ｋを用いて、デフォーカス量の信頼性を評価することが可能である。

ステップＳ５０８では、システム制御部２１８は、ステップＳ５０７で取得したデフォーカス量から変換したレンズ駆動量を用いて、フォーカスレンズを駆動する。

ステップＳ５（生成ステップ）では、システム制御部２１８は、ステップＳ３で決定した画像の表示パラメータを用いて、画像表示処理を行う。画像表示処理では、ＥＶＦ２１７Ｒ，２１７Ｌに表示させるための画像データの生成と、生成された画像データのＥＶＦ２１７Ｒ，２１７Ｌへの表示とが行われる。

以下、図９を参照して、画像表示処理方法について説明する。図９は、画像表示処理方法を示すフローチャートである。

ステップＳ６０１は、システム制御部２１８は、３次元立体視画像の表示を行うかどうかを判定する。３次元立体視画像の表示を行うと判定された場合、ステップＳ６０３に進み、そうでないと判定された場合、すなわち２次元画像の表示を行うと判定された場合、ステップＳ６０２に進む。

ステップＳ６０２では、システム制御部２１８は、撮像部２１１Ｒ又は撮像部２１１Ｌで取得された画像を複製する。画像は、ＥＶＦ２１７Ｒ，２１７Ｌに表示される。

ステップＳ６０３では、システム制御部２１８は、それぞれの画像に対して、表示のための画像調整処理を行う。ステップＳ６０１で３次元立体視画像の表示を行うと判定された場合、撮像部２１１Ｒ又は撮像部２１１Ｌで取得された画像に対して、それぞれの画像の位置や輝度の調整処理が行われる。また、ステップＳ６０１で２次元画像の表示を行うと判定された場合、ステップＳ６０２で複製された画像に対して、画像の位置や輝度の調整処理が行われる。

ステップＳ６０４では、システム制御部２１８は、ステップＳ６０３で得られた画像をＥＶＦ２１７Ｒ，２１７Ｌのそれぞれに表示させる。

ステップＳ６では、システム制御部２１８は、ユーザの停止命令、ヘッドマウントディスプレイ１００の電源オフ、及び眼球情報取得部２４０又は接眼検出部１１８の情報を用いて、画像表示と焦点検出を終了するかどうかを判定する。画像表示と焦点検出を終了すると判定された場合、本フローを終了し、そうでないと判定された場合、ステップＳ１に戻る。

以上説明したように、本実施形態の構成によれば、撮影環境輝度に応じて焦点検出の取得範囲を変更することで、撮影環境輝度に応じて、ユーザビリティの低下を抑制しつつ、画像の表示と焦点検出を適切に実行可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０２Ｒ レンズ（第１の光学系）
２０２Ｌ レンズ（第２の光学系）
２１７ ＥＶＦ（表示部）
２１８ システム制御部（制御装置）
２１８ａ 取得部
２１８ｂ 焦点検出部
２１８ｃ 画像生成部

Claims (17)

1. 第１の光学系を通過した光束を受光する第１の撮像素子で取得される第１の信号、及び前記第１の光学系に対して視差を有するように配置された第２の光学系を通過した光束を受光する第２の撮像素子で取得される第２の信号を取得する取得部と、
   前記第１の信号を用いて焦点検出を行う焦点検出部と、
   前記第１の信号と前記第２の信号の少なくとも一方に基づいて表示部に表示させるための表示画像を生成する画像生成部とを有し、
   前記焦点検出部は、撮影環境輝度に応じて、前記第１の撮像素子の撮像面における前記第１の信号の第１取得範囲を変化させることを特徴とする制御装置。
2. 前記撮影環境輝度が小さくなると、前記焦点検出部は、前記第１取得範囲を狭くすることを特徴とする請求項１に記載の制御装置。
3. 前記焦点検出部は、前記第１の信号と前記第２の信号の少なくとも一方を用いて検出された被写体位置を用いて、前記第１取得範囲を設定することを特徴とする請求項１又は２に記載の制御装置。
4. 前記焦点検出部は、ユーザの視線情報を用いて、前記第１取得範囲を設定することを特徴とする請求項１乃至３の何れか一項に記載の制御装置。
5. 前記焦点検出部は、前記撮影環境輝度に応じて、前記第２の撮像素子の撮像面における前記第２の信号の第２取得範囲を変化させることを特徴とする請求項１乃至４の何れか一項に記載の制御装置。
6. 前記撮影環境輝度が小さくなると、前記焦点検出部は、前記第２取得範囲を狭くすることを特徴とする請求項５に記載の制御装置。
7. 前記焦点検出部は、前記第１の信号と前記第２の信号の少なくとも一方を用いて検出された被写体位置を用いて、前記第２取得範囲を設定することを特徴とする請求項５又は６に記載の制御装置。
8. 前記焦点検出部は、ユーザの視線情報を用いて、前記第２取得範囲を設定することを特徴とする請求項５乃至７の何れか一項に記載の制御装置。
9. 前記撮影環境輝度が所定値より小さい場合、前記焦点検出部は、前記第１取得範囲を所定範囲より小さい第３取得範囲に設定すると共に、前記第２取得範囲を前記所定範囲より小さい第４取得範囲に設定することを特徴とする請求項５乃至８の何れか一項に記載の制御装置。
10. 前記第３取得範囲は、前記第４取得範囲と異なることを特徴とする請求項９に記載の制御装置。
11. 前記焦点検出部は、前記第２の信号を用いて焦点検出を行うことを特徴とする請求項１乃至１０の何れか一項に記載の制御装置。
12. 前記焦点検出部は、前記第１の信号を用いて焦点検出を行い、
    前記画像生成部は、前記第２の信号を用いて前記表示画像を生成することを特徴とする請求項９又は１０に記載の制御装置。
13. 前記第１の信号及び前記第２の信号は、複数のタイミングで取得された信号を加算した信号であり、
    前記画像生成部は、前記第１の信号及び第２の信号を用いて前記表示画像を生成することを特徴とする請求項９又は１０に記載の制御装置。
14. 前記焦点検出部は、焦点検出を行わず、
    前記画像生成部は、前記焦点検出部による焦点検出が行われないことを示す前記表示画像を生成することを特徴とする請求項９又は１０に記載の制御装置。
15. 第１の光学系を通過した光束を受光する第１の撮像素子と、
    前記第１の光学系に対して視差を有するように配置された第２の光学系を通過した光束を受光する第２の撮像素子と、
    請求項１乃至１４の何れか一項に記載の制御装置とを有することを特徴とする電子機器。
16. 第１の光学系を通過した光束を受光する第１の撮像素子で取得される第１の信号、及び前記第１の光学系に対して視差を有するように配置された第２の光学系を通過した光束を受光する第２の撮像素子で取得される第２の信号を取得する取得ステップと、
    前記第１の信号を用いて焦点検出を行う検出ステップと、
    前記第１の信号と前記第２の信号の少なくとも一方に基づいて表示部に表示させるための表示画像を生成する生成ステップとを有し、
    前記検出ステップにおいて、撮影環境輝度に応じて、前記第１の撮像素子の撮像面における前記第１の信号の第１取得範囲を変化させることを特徴とする制御方法。
17. 請求項１６に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。