JP2021092672A - 撮像装置 - Google Patents

Abstract

【課題】立体視可能な画像を容易に（少ない処理負荷やユーザー負荷で）撮影可能な撮像装置を提供する。【解決手段】本発明の撮像装置は、外光を撮像センサに集光する複数の光学系と、被写体距離を検出する距離検出手段と、情報を通知する通知手段とを有する撮像装置であって、前記通知手段は、前記被写体距離が短い場合に当該被写体距離が長い場合よりも高精度に前記撮像装置の傾きを調整させるための通知を行うことを特徴とする。【選択図】図２

Description

本発明は、複数の光学系を有する撮像装置に関する。

２つの光学系を用いて視差のある２枚の広角画像を得て、仮想球体上にマッピングして表示することで立体感のあるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を観賞可能にする技術が知られている。視差のある２枚の画像を撮像するための２眼ＶＲカメラは２つの光学系を同じ方向に向けて有しており、１度の撮影操作により、視差のある２枚の画像を撮影する。こうして撮影された２枚の画像は、専用のビューワで再生したときに、立体感のあるＶＲ画像として観賞することができる。

ＶＲカメラがロール方向に傾いた状態で撮影されたＶＲ画像は、何も処理を施さなければ、水平線が傾いた状態で再生される。ＶＲ画像の傾きを補正するには、天頂補正と呼ばれる処理を行う必要がある。ここで、２眼ＶＲカメラで撮影された２枚の画像にそれぞれ天頂補正として単純な回転処理を施すと、各画像における水平線の傾きは低減するが、２枚の画像で同じ高さに存在すべき特徴点が異なる高さに存在することになるため、立体視不可能な画像となる。

特許文献１では、視差のある２枚の画像を撮像し、２枚の画像から被写体のデプスマップを作成し、２枚の画像の一方とデプスマップとに回転処理をそれぞれ適用し、それらの処理結果から立体視のための他方の画像を生成する技術が提案されている。

他の技術として、カメラの傾斜角度を検出し、検出された傾斜角度に対応したガイドを表示することで、カメラが傾いていることを撮影者に通知する技術が提案されている。

特許文献２では、特定の撮影シーンのための複数の撮影モードのいずれかを設定し、設定した撮影モードに応じてガイド表示の制御を変更することが提案されている。

特開２０１３−２１９５７９号公報 特許第４５５７９２９号公報

しかしながら、特許文献１の技術では、立体視のための２枚の画像の一方は、撮像された画像に回転処理を施した画像となるが、当該２枚の画像の他方は、デプスマップ生成、回転処理、画像生成という複数の処理を経た画像となる。このため、立体視のための２枚の画像の間で画質が異なってしまう。さらに、立体視のための画像をデプスマップから生成するには、多大な演算量（多大な処理負荷）が必要になる。

傾斜角度に対応したガイドを表示すれば、ユーザーがカメラを精度高く水平に保持するようにできるが、常にカメラを精度高く水平に保持することは困難である（常にカメラを精度高く水平に保持するには、多大なユーザー負荷が必要になる）。特許文献２の技術では、立体視可能な画像を撮影するために必要な情報を通知することができない。

本発明は、立体視可能な画像を容易に（少ない処理負荷やユーザー負荷で）撮影可能な
撮像装置を提供することを目的とする。

本発明の撮像装置は、外光を撮像センサに集光する複数の光学系と、被写体距離を検出する距離検出手段と、情報を通知する通知手段とを有する撮像装置であって、前記通知手段は、前記被写体距離が短い場合に当該被写体距離が長い場合よりも高精度に前記撮像装置の傾きを調整させるための通知を行うことを特徴とする。

本発明によれば、立体視可能な画像が容易に（少ない処理負荷やユーザー負荷で）撮影可能になる。

撮像装置の外観図である。 第１実施形態に係る撮像装置のブロック図である。 第１実施形態に係る撮影モード処理のフローチャートである。 注目点の一例を示す図である。 注目点の一例を示す図である。 被写体距離などの一例を示す図である。 表示例を示す図である。 第２実施形態に係る撮像装置のブロック図である。 第２実施形態に係る撮影モード処理のフローチャートである。 撮像面上の注目点などの一例を示す図である。 天頂補正前の注目点の一例を示す図である。 天頂補正後の注目点の一例を示す図である。 グラフィックの一例を示す図である。 グラフィックの一例を示す図である。 グラフィックの表示例を示す図である。 第３実施形態に係る撮影モード処理のフローチャートである。 注目領域の一例を示す図である。 注目領域の一例を示す図である。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。以下では、まずＶＲ画像について説明し、その後、本実施形態に係る撮像装置について説明する。

［ＶＲ画像］
本実施形態において、ＶＲ画像とは、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。

また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮像（撮影）可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂
直角度２１０度の視野分（画角分）の被写体を撮像可能な全天球カメラで撮像された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮像可能なカメラで撮像された画像はＶＲ画像の一種である。即ち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。

このＶＲ画像をＶＲ表示（表示モード「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を観賞することができる。上下方向（垂直回転方向）には、真上（天頂）から±１０５度の範囲では継ぎ目のない全方位の映像を観賞することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して観賞する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤで観賞している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。

なお、ＶＲ画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて、表示範囲を移動（スクロール）させてもよい。ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタンの押下などに応じて表示範囲を変更できるようにしてもよい。

［撮像装置の外観］
図１（ａ）は、本実施形態に係る撮像装置１の前面斜視図（外観図）であり、図１（ｂ）は、撮像装置１の背面斜視図（外観図）である。撮像装置１は、前面側の上下左右１８０度の半球範囲を撮像可能であり、２つの光学系（レンズ１０１，１０２）を同じ方向に向けて有する２眼ＶＲカメラであるとする。レンズ１０１，１０２のそれぞれは、魚眼レンズなどの広角レンズである。撮像装置１は、２枚のレンズ１０１，１０２を介して、視差のある２枚の画像（各々が上下左右１８０度分の２枚のＶＲ画像）を同時に（セットで）撮像できる。シャッターボタン１０３は撮影指示を行うための操作部（操作部材）である。表示部１０４は、各種情報を表示する。なお、撮像装置１自体が備える構成としては表示部１０４に表示させるための映像信号を出力するためのインターフェースまでとし、表示部１０４は外付けのモニタなどで構成してもよい。

＜第１実施形態＞
本発明の第１実施形態について説明する。第１実施形態では、被写体距離に基づいて、
撮像される２枚の画像が天頂補正を施すことで立体視不可能な画像になる可能性が高い場合に、警告通知を行う。これにより、ユーザーは再生時に立体視が不可能となりやすい撮影条件を把握して、撮像装置１の傾きを容易に調整することができる。

［撮像装置の構成］
図２は、第１実施形態に係る撮像装置１の構成例を示すブロック図である。ＣＰＵ２０１は、撮像装置１全体を制御する制御部である。不揮発性メモリ２０２は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭなどである。不揮発性メモリ２０２には、ＣＰＵ２０１の動作用の定数、プログラムなどが記録（格納）される。ここでいうプログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。ＣＰＵ２０１は、不揮発性メモリ２０２に記録されたプログラムを実行することで、後述する各処理を実現する。メモリ２０３は例えばＲＡＭであり、ＣＰＵ２０１は、メモリ２０３をワークメモリとして用い、ＣＰＵ２０１の動作用の定数、変数、不揮発性メモリ２０２から読み出したプログラムなどをメモリ２０３に展開する。

光学系２０４，２０５のそれぞれは、外光（被写体光）を撮像センサ２０７に集光して、外光による光学像を撮像センサ２０７に結像する光学系であり、光学系２０４は図１（ａ）のレンズ１０１を含み、光学系２０５は図１（ａ）のレンズ１０２を含む。光学系制御部２０６は光学系２０４，２０５を制御する。撮像センサ２０７は、結像された光学像を電気信号（画像データ）に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像センサ制御部２０８は撮像センサ２０７を制御する。画像処理部２０９は各種画像処理を行う。被写体距離検出部２１０は被写体距離（撮像装置１から被写体までの距離）を検出する。第１実施形態では、被写体距離検出部２１０は、撮像センサ２０７の画素構造上に設けられたマイクロレンズと、光電変換領域（画素構造）の半分を遮光する遮光部材とを複数有する位相差センサであるとする。演算部２１１は各種演算を行う。通知部２１２は図１（ｂ）の表示部１０４を含み、各種情報を通知する。操作部２１３は、ユーザーからの指示を受け付ける受付部であり、図１（ａ），１（ｂ）のシャッターボタン１０３を含む。操作部２１３は、その他の押しボタン、ダイヤル、ジョイスティック、タッチパネルなどの操作部材を含んでもよい。

第１実施形態では、撮像装置１は２つの光学系２０４，２０５と１つの撮像センサ２０７とを有し、光学系２０４による光学像が撮像センサ２０７の半分の領域に結像され、光学系２０５による光学像が撮像センサ２０７の残り半分の領域に結像されるとする。ここで、ユーザーが撮影された画像を再生して、その立体視を行おうとしたとする。その場合には、ユーザーは、撮像センサ２０７のうち、右側の光学系２０４が結像する半分の領域から読み出された画像を右目で、左側の光学系２０５が結像する残り半分の領域から読み出された画像を左目で見る。以後、右目で見る画像を「右目用画像」と記載し、左目で見る画像を「左目用画像」と記載する。なお、光学系や撮像センサの数は特に限定されず、例えば、撮像装置１は、右目用画像を得るための撮像センサと、左目用画像を得るための撮像センサとの２つの撮像センサを有してもよい。

［撮像装置の動作］
図３は、第１実施形態に係るフローチャートであり、撮像装置１で行われる撮影モード処理の詳細を示すフローチャートである。この処理は、ＣＰＵ２０１が不揮発性メモリ２０２に記録されたプログラムをメモリ２０３に展開して実行することにより実現される。撮像装置１を撮影モードで起動したり、ＣＰＵ２０１が撮影モードに切り替えたりすると、図３の処理が開始する。撮像装置１は、図３の処理を撮影モード中に繰り返し行う。

Ｓ３０１では、ＣＰＵ２０１は、被写体の注目点（注目方位）を撮像画角（撮像範囲；撮像装置１の前面側における上下左右１８０度の半球範囲）の中央に自動で設定する。例
えば、撮像装置１は、注目点を中心とする領域でオートフォーカスを行う。注目点の位置は撮像装置１の左右方向の角度と上下方向の角度とで示せるが、以下では簡単のため、光軸方向（レンズ１０１，１０２の光軸と平行な方向）から注目点までの左右方向の角度θのみを用いて説明する。光軸方向から注目点までの上下方向の角度についても同様に用いることができる。図４は、撮像画角４０１と注目点４０２の一例を示し、注目点４０２は撮像画角４０１の中央に設定されている。なお、自動で注目点を設定する方法は特に限定されず、例えば、撮像画角内の複数の被写体のうち、既知の被写体検出処理で検出された特定の被写体（顔など）の位置を注目点の位置として自動で設定してもよい。

Ｓ３０２では、ＣＰＵ２０１は、ユーザーからの注目点設定操作があったか否かを判定する。注目点設定操作があった場合はＳ３０３に進み、そうでない場合はＳ３０４に進む。注目点設定操作は操作部２１３に対する操作であり、例えば注目点の座標を指定する操作などである。

Ｓ３０３では、ＣＰＵ２０１は、注目点の位置を、Ｓ３０２の注目点設定操作（指示）で指定された位置に設定する。図５は、撮像画角５０１と、ユーザーが指定した注目点５０２との一例を示し、注目点５０２は撮像画角５０１の中央よりも下側に設定されている。

Ｓ３０４〜Ｓ３０６の処理は、ＬＶ（ライブビュー）画像の撮像や表示などのために行う。ＬＶ画像は被写体をほぼリアルタイムで表した画像であり、例えば右目用画像と左目用画像の一方がＬＶ画像として撮像されて表示部１０４に表示される。Ｓ３０４では、ＣＰＵ２０１は、光学系制御部２０６を用いて、光学系２０４，２０５のそれぞれのレンズ、絞り、シャッタなどを駆動するように、光学系２０４，２０５を制御する。Ｓ３０５では、ＣＰＵ２０１は、撮像センサ制御部２０８を用いて、露光やＬＶ画像の読み出しなどを行うように、撮像センサ２０７を制御する。これによりＬＶ画像が撮像される。Ｓ３０６では、ＣＰＵ２０１は、撮像センサ２０７から読み出されたＬＶ画像に対して各種画像処理（補正処理、現像処理、圧縮処理など）を施すように、画像処理部２０９を制御する。画像処理部２０９は画像処理後のＬＶ画像を表示部１０４に出力する。これによりＬＶ画像が表示部１０４に表示される。

Ｓ３０７では、ＣＰＵ２０１は、Ｓ３０１またはＳ３０３で設定された注目点の方位角度θを被写体距離検出部２１０に出力する。Ｓ３０８では、ＣＰＵ２０１は、被写体距離検出部２１０を用いて、方位角度θの注目点までの被写体距離ｄを検出し、被写体距離ｄを演算部２１１に出力する。図６は、注目点６０１と被写体距離検出部２１０（位相差センサ）上の任意の基準点６０２との位置関係の一例を示す図である。撮像センサ２０７の領域６０３は、左側の光学系２０５が結像する撮像面であり、撮像センサ２０７の領域６０４は、右側の光学系２０４が結像する撮像面である。図６では、基準点６０２が撮像面６０３，６０４とは異なる位置にあるが、基準点６０２は撮像面６０３または撮像面６０４上にあってもよい。注目点６０１は、撮像面６０３，６０４に対して垂直な方向から方位角度θだけずれた位置に存在し、被写体距離検出部２１０は、基準点６０２から注目点６０１までの距離を被写体距離ｄとして検出する。

Ｓ３０９では、ＣＰＵ２０１は、演算部２１１を用いて、Ｓ３０８で検出した被写体距離ｄが所定の距離ｄ１（しきい値）よりも短いか否かを判定する。被写体距離ｄが距離ｄ１よりも短い場合はＳ３１１に進み、そうでない場合はＳ３１０に進む。ここで、撮像装置１の傾きの不要な調整を促すような通知を抑制し、立体視可能な右目用画像と左目用画像が撮影できるような調整を促すような通知が行えるように、距離ｄ１は、以下の２つの値に基づいて決定された距離であることが好ましい。
・ユーザーが撮像装置１を水平に構えようとしている状況で生じ得る撮像装置１の最大
の傾き
・撮像される右目用画像と左目用画像の間における、被写体の鉛直方向のずれ量に対する、当該被写体を立体視可能な限界値

Ｓ３１０では、ＣＰＵ２０１は、画像処理部２０９から出力されたＬＶ画像のみを表示部１０４に表示する。図７（ａ）は、Ｓ３１０での表示部１０４の表示例を示し、ＬＶ画像７０１のみが表示されている。

Ｓ３１１では、ＣＰＵ２０１は、画像処理部２０９から出力されたＬＶ画像と、撮像装置１の傾きを調整させるための警告メッセージ（所定のアイテム）とを表示部１０４に表示する。図７（ｂ）は、Ｓ３１１での表示部１０４の表示例を示し、ＬＶ画像７０２と警告メッセージ７０３が表示されている。ユーザーは、警告メッセージ７０３を見ることで、立体視可能な右目用画像と左目用画像を撮影するために撮像装置１の傾きを調整する必要があることを容易に把握して、撮像装置１の傾きを好適に調整することができる。なお、撮像装置１の傾きを調整させるための通知は、表示するアイテムの有無の変更によって実現されるものに限られず、例えば、表示するアイテムの態様の変更によって実現されてもよいし、スピーカーなどの発音部からの発音によって実現されてもよい。また、撮像装置１の傾きを調整させるための所定のアイテムは、警告メッセージに限られず、例えばアイコンなどであってもよい。

＜第２実施形態＞
本発明の第２実施形態について説明する。第２実施形態では、被写体距離と撮像装置の傾きとから、撮像される右目用画像と左目用画像の間における、被写体の鉛直方向のずれ量を算出する。そして、このずれ量に基づいて、表示する水準器（撮像装置の傾きを示すグラフィック）における線の幅や、表示する角度（撮像装置の傾きを示す数値）の桁数などを変更する。これにより、ユーザーは再生時の立体視が可能となるのに必要十分な精度で撮像装置の傾きを調整することができる。つまり、不必要に高い精度での調整を抑制でき、ユーザーの負荷を低減できる。

［撮像装置の構成］
図８は、第２実施形態に係る撮像装置１の構成例を示すブロック図である。第２実施形態に係る撮像装置１は、第１実施形態（図２）の構成に傾き検出部８０１を追加した構成を有する。傾き検出部８０１は、加速度センサなどを有し、撮像装置１の傾きを検出する。

［撮像装置の動作］
図９は、第２実施形態に係るフローチャートであり、撮像装置１で行われる撮影モード処理の詳細を示すフローチャートである。この処理は、ＣＰＵ２０１が不揮発性メモリ２０２に記録されたプログラムをメモリ２０３に展開して実行することにより実現される。撮像装置１を撮影モードで起動したり、ＣＰＵ２０１が撮影モードに切り替えたりすると、図９の処理が開始する。撮像装置１は、図９の処理を撮影モード中に繰り返し行う。

Ｓ９０１〜Ｓ９０６の処理は、第１実施形態（図３）のＳ３０１〜Ｓ３０６の処理と同様である。

Ｓ９０７では、ＣＰＵ２０１は、傾き検出部８０１を用いて、撮像装置１の傾きψを検出し、傾きψを出力する。ここでは、傾きψとして、鉛直方向（重力方向）から撮像装置１の上下方向までの、撮像装置１のロール方向（正面方向（レンズ１０１，１０２の光軸と平行な方向）を軸とする回転方向）における角度が検出されるとする。

Ｓ９０８とＳ９０９の処理は、第１実施形態（図３）のＳ３０７とＳ３０８の処理と同様である。但し、Ｓ９０８では、ＣＰＵ２０１は、Ｓ９０１またはＳ９０３で設定された注目点の方位角度θを被写体距離検出部２１０と演算部２１１に出力する。

Ｓ９１０では、ＣＰＵ２０１は、演算部２１１を用いて、注目点の方位角度θ、撮像装置１の傾きψ、及び、注目点までの被写体距離ｄから、撮像される右目用画像と左目用画像の間における、注目点の鉛直方向のずれ量δを算出する。ずれ量δは、天頂補正後の右目用画像と左目用画像の間における、注目点の上下方向のずれ量とも言える。ここでは、天頂補正は、右目用画像と左目用画像のそれぞれを、対応する光軸を中心として回転させる処理であるとする。画像処理部２０９が天頂補正を実行可能であってもよいが、画像処理部２０９は天頂補正を行わず、撮像装置１で撮影された画像を再生可能な外部機器（スマートフォンなど）で天頂補正が行われ得るものとする。ずれ量δの算出方法の具体例は後述する。

Ｓ９１１では、ＣＰＵ２０１は、演算部２１１を用いて、Ｓ９１０で算出したずれ量δが所定のしきい値δ１よりも大きいか否かを判定する。ずれ量δがしきい値δ１よりも大きい場合はＳ９１３に進み、そうでない場合はＳ９１２に進む。Ｓ９１２では、ＣＰＵ２０１は、演算部２１１に対して、表示する水準器（撮像装置の傾きを示すグラフィック）における線幅Ｔ１、表示する角度（撮像装置の傾きを示す数値）の桁数Ｄ１、及び、当該角度の量子化数Ｑ１を設定する。演算部２１１は、設定された上記値に従って水準器や角度を示すグラフィックを生成し、表示部１０４に出力する。

同様に、Ｓ９１３では、ＣＰＵ２０１は、Ｓ９１０で算出したずれ量δが所定のしきい値δ２よりも大きいか否かを判定する。ずれ量δがしきい値δ２よりも大きい場合はＳ９１５に進み、そうでない場合はＳ９１４に進む。Ｓ９１４では、ＣＰＵ２０１は、演算部２１１に対して、表示する水準器における線幅Ｔ２、表示する角度の桁数Ｄ２、及び、当該角度の量子化数Ｑ２を設定する。演算部２１１は、設定された上記値に従って水準器や角度を示すグラフィックを生成し、表示部１０４に出力する。

Ｓ９１５では、ＣＰＵ２０１は、Ｓ９１０で算出したずれ量δが所定のしきい値δ３よりも大きいか否かを判定する。ずれ量δがしきい値δ３よりも大きい場合はＳ９１７に進み、そうでない場合はＳ９１６に進む。Ｓ９１６では、ＣＰＵ２０１は、演算部２１１に対して、表示する水準器における線幅Ｔ３、表示する角度の桁数Ｄ３、及び、当該角度の量子化数Ｑ３を設定する。Ｓ９１７では、ＣＰＵ２０１は、演算部２１１に対して、表示する水準器における線幅Ｔ４、表示する角度の桁数Ｄ４、及び、当該角度の量子化数Ｑ４を設定する。演算部２１１は、設定された上記値に従って水準器や角度を示すグラフィックを生成し、表示部１０４に出力する。

しきい値δ１〜δ３の大小関係はδ１＞δ２＞δ３である。しきい値δ１〜δ３、撮像される右目用画像と左目用画像の間における、被写体の鉛直方向のずれ量δに対する、当該被写体を立体視可能な限界値に基づいて決定されることが好ましく、しきい値δ３は当該限界値であることが好ましい。そして、しきい値δ１，δ２は、水準器などの把握しやすさや、撮像装置１の傾きの調整しやすさなどを考慮し、しきい値δ１〜δ３の間隔が等間隔となるように決定されることが好ましい。

ずれ量δが大きい場合に当該ずれ量δが小さい場合よりも高精度に撮像装置１の傾きを調整させるための通知が行えるように、線幅Ｔ１〜Ｔ４の大小関係はＴ１＞Ｔ２＞Ｔ３＞Ｔ４となっている。そして、桁数Ｄ１〜Ｄ４の大小関係はＤ１＜Ｄ２＜Ｄ３＜Ｄ４となっており、量子化数Ｑ１〜Ｑ４の大小関係はＱ１＜Ｑ２＜Ｑ３＜Ｑ４となっている。なお、線幅や桁数、量子化数などが４段階で切り替えられるものとしたが、段階数は４段階より
多くても少なくてもよく、任意に変更可能であってもよい。被写体距離ｄが短いほど大きいずれ量δが得られる傾向にあるため、上記の通知は、被写体距離ｄが短い場合に当該被写体距離ｄが長い場合よりも高精度に撮像装置１の傾きを調整させるための通知とも言える。

Ｓ９１８では、ＣＰＵ２０１は、画像処理部２０９から出力されたＬＶ画像と、演算部２１１から出力されたグラフィック（水準器や角度）とを表示部１０４に表示する。グラフィックの具体例と、グラフィックの表示例とは後述する。

［ずれ量δの算出方法］
Ｓ９１０でのずれ量δの算出方法の具体例について説明する。図１０は、図６に光学系２０４，２０５（レンズ１０１，１０２）の光軸と画角を加えて示した図である。点１００３は左側の光学系２０５の光学中心であり、点１００４は右側の光学系２０４の光学中心であり、点１００５は左側の撮像面６０３上に結像した注目点６０１であり、点１００６は右側の撮像面６０４上に結像した注目点６０１である。演算部２１１は、以下の式（１）を用いて、注目点６０１の方位角度θと被写体距離ｄから、点１００５，１００６の位置を算出する。

式（１）において、「Ｘ」は、注目点６０１と、基準点６０２や光学中心１００３、光学中心１００４との間の光軸方向（光軸と平行な方向）の距離である。「Ｘ_Ｌ」は、注目点６０１と左側の光学系２０５の光軸との間の、当該光軸と直交する撮像装置１の左右方向の距離であり、「Ｘ_Ｒ」は、注目点６０１と右側の光学系２０４の光軸との間の、当該光軸と直交する左右方向の距離である。「θ_Ｌ」は、左側の光学系２０５の光軸から、光学系２０５の光学中心１００３と注目点６０１とを通る方向までの、左右方向の角度である。「θ_Ｒ」は、右側の光学系２０４の光軸から、光学系２０４の光学中心１００４と注目点６０１とを通る方向までの、左右方向の角度である。「ｆ」は、光学系２０４，２０５の焦点距離であり、「Ｓ_ＬＸ」は、左側の撮像面６０３上の注目点１００５と当該撮像面６０３の中央との間の距離であり、「Ｓ_ＲＸ」は、右側の撮像面６０４上の注目点１００６と当該撮像面６０４の中央との間の距離である。「ｐ」は、光学系２０４の光軸と光学系２０５の光軸との間の距離である。なお、光学系２０４の焦点距離と光学系２０５の焦点距離とは等しいものとし、基準点６０２と光学中心１００３と光学中心１００４の光
軸方向の位置は等しいものとする。

具体的には、式（１）より、以下の式（２）が求まる。演算部２１１は、以下の式（２）を用いて、撮像面６０３，６０４上に結像した注目点１００５，１００６の左右位置Ｓ_ＬＸ，Ｓ_ＲＸ（撮像装置１の左右方向の位置）を算出する。演算部２１１は、同様の演算で、注目点１００５，１００６の上下位置Ｓ_ＬＸ，Ｓ_ＲＸ（撮像装置１の上下方向の位置）も算出する。

図１１は、撮像面６０３，６０４を光学中心１００３，１００４の側から見た図である。左側の撮像面６０３では、撮像面６０３の中心１１０１（画角中心）を原点として、座標（左右位置，上下位置）＝（Ｓ_ＬＸ，Ｓ_ＬＹ）に注目点１００５が結像されている。同様に、右側の撮像面６０４では、撮像面６０４の中心１１０２（画角中心）を原点として、座標（Ｓ_ＲＸ，Ｓ_ＲＹ）に注目点１００６が結像されている。

図１２は、画角中心を中心として撮像装置１の傾きψと同じ回転角で撮像装置１が傾いた方向と逆方向に画像を回転させる天頂補正後の状態に対応する撮像面１２０１，１２０２を示す。撮像面１２０１は左側の撮像面６０３に対応し、撮像面１２０２は右側の撮像面６０４に対応する。天頂補正により、撮像面６０３，６０４（左目用画像と右目用画像）上の注目点１００５，１００６も移動し、注目点１２０３，１２０４となる。演算部２１１は、以下の式（３）を用いて、座標（Ｓ_ＬＸ，Ｓ_ＬＹ）と座標（Ｓ_ＲＸ，Ｓ_ＲＹ）と傾きψとから、注目点１２０３，１２０４の上下位置Ｓ_ＬＹ’，Ｓ_ＲＹ’を算出する。

そして、演算部２１１は、以下の式（４）を用いて、上下位置Ｓ_ＬＹ’と上下位置Ｓ_ＲＹ’との差分を、注目点１２０３と注目点１２０４との（注目点１００５と注目点１００６との）鉛直方向のずれ量δとして算出する。

δ＝｜Ｓ_ＬＹ’−Ｓ_ＲＹ’｜ ・・・・（４）

［グラフィックの具体例］
Ｓ９１８でのグラフィック（水準器や角度）の具体例について説明する。図１３（ａ）は、ずれ量δが小さい場合のグラフィックの一例を示し、図１３（ｂ）は、ずれ量δが大きい場合のグラフィックの一例を示す。線１３０１，１３１１は、撮像装置１の左右方向を示す直線（左右方向と平行な直線）であり、線１３０２，１３１２は、実空間の水平方向（つまり水平線）を示す直線であり、数値１３０３，１３１３は撮像装置１の傾きを示す数値（角度）である。

ずれ量δが小さい場合の図１３（ａ）では、水平方向を示す直線１３０２の線幅が太く設定されている。そして、数値１３０３の小数点以下の桁数が０桁に設定されており、数値１３０３が「０°」となっている。ここで量子化数は１９に設定されおり、数値１３０３として、「−９０°」から「９０°」までが１０°刻みで表示されるとする。一方で、ずれ量δが大きい場合の図１３（ｂ）では、水平方向を示す直線１３１２の線幅が細く設定されている。そして、数値１３１３の小数点以下の桁数が１桁に設定されており、数値１３１３が「２．６°」となっている。ここで量子化数は１８０１に設定されおり、数値１３１３として、「−９０°」から「９０°」までが０．１°刻みで表示されるとする。

ユーザーは、水平方向を示す直線１３０２，１３１２の線幅から、立体視可能な右目用画像と左目用画像を撮影するための撮像装置１の傾きの範囲を把握できる。ユーザーは直線１３０１が直線１３０２からはみ出さないように（直線１３１１が直線１３１２からはみ出さないように）撮像装置１の傾きを調整すれば、立体視可能な右目用画像と左目用画像を撮影することができる。直線１３０２，１３１２の線幅を太く設定したり、数値１３０３，１３１３の桁数や量子化数を小さく設定したりすることにより、ユーザーは再生時の立体視が可能となるのに必要十分な精度で撮像装置の傾きを調整することができる。つまり、不必要に高い精度での調整を抑制でき、ユーザーの負荷を低減できる。

図１４（ａ）〜１４（ｆ）は，Ｓ９１８でのグラフィック（水準器や角度）の他の例を示す。図１４（ａ），１４（ｃ），１４（ｅ）は、ずれ量δが小さい場合のグラフィックの一例を示し、図１４（ｂ），１４（ｄ），１４（ｆ）は、ずれ量δが大きい場合のグラフィックの一例を示す。

図１４（ａ），１４（ｂ）の例では、水平方向を示す直線１４０２，１４１２の線幅は変更せず、撮像装置１の左右方向を示す直線１４０１，１４１１の線幅を変更する。これにより、図１３の例と同様の効果を得ることができる。

図１４（ｃ），１４（ｄ）の例では、水平方向を示す直線１４２２，１４３２の傾きに、数値１３０３，１３１３（角度）の量子化数を適用している。図１４（ｃ）では、直線１４２２の傾きが−９０°から９０°まで１０度刻みで変更され、図１４（ｄ）では、直線１４３２の傾きが−９０°から９０°まで０．１度刻みで変更される。こうすることで、立体視可能な右目用画像と左目用画像を撮影できるにもかかわらず、水平方向を示す直線が傾いて表示されることなどを抑制でき、不必要に高い精度での調整を抑制できる。なお、直線１４２２，１４３２の傾きの量子化数と、数値１３０３，１３１３の量子化数とを個別に設定してもよい。

図１４（ｅ），１４（ｆ）の例では、水平方向を示す直線１４４２，１４５２の色をずれ量δに応じて変更する。さらに、ずれ量δが所定の値（例えば上述した限界値）よりも大きい場合に、再生時に立体視ができない可能性があることをユーザーに知らせるための警告メッセージ１４５４を表示する。水平方向を示す直線の色を変更する段階数は特に限定されず、例えばずれ量δが上述した限界値よりも大きいか否かの１段階で色を変更してもよい。こうすることで、再生時に立体視ができない可能性があることや、当該可能性が高まっていることなどを、撮影時にユーザーに通知することができる。ユーザーはこの通知に基づき、撮像装置１の傾きや被写体からの距離などを調整することで、再生時に立体視ができない画像の撮影を未然に防止することができる。なお、水平方向を示す直線１４４２，１４５２の色は変更せず、撮像装置１の左右方向を示す直線１３０１，１３１１の色を変更してもよいし、水平方向を示す直線と左右方向を示す直線との両方の色を変更してもよい。

なお、通知の方法は、表示するアイテムの態様や有無の変更によって実現されるものに限られない。例えば、撮像装置１の傾きを示す数値（角度）などは、スピーカーなどの発音部からの発音によって通知してもよい。また、水準器が目盛を含む場合には、目盛の数（間隔）をずれ量が小さいほど多くしてもよい。

［グラフィックの表示例］
Ｓ９１８でのグラフィック（水準器や角度）の表示例について説明する。図１５（ａ）〜１５（ｃ）は、グラフィックの表示例を示す。図１５（ａ）は、グラフィック１５０１のみを表示部１０４に表示した例を示す。図１５（ｂ）は、ＬＶ画像１５１０上に、ＬＶ画像１５１０と同じ大きさのグラフィック１５０２を重ねて表示した例である。図１５（ｂ）では、ＬＶ画像１５１０とグラフィック１５０２を区別するために、それらを互いにずらして示しているが、実際にはＬＶ画像１５１０の領域とグラフィック１５０２の領域とは一致する。図１５（ｃ）は、ＬＶ画像１５１０の一部の領域に、ＬＶ画像１５１０よりも小さいグラフィック１５０３を重ねて表示した例である。このように、グラフィックの表示方法には種々の方法を採用できる。ユーザーからの指示に応じてグラフィックの表示方法を切り替えることができてもよく、例えば図１５（ａ）の表示、図１５（ｂ）の表示、及び、図１５（ｃ）の表示の間でグラフィックの表示を切り替えることができてもよい。

＜第３実施形態＞
本発明の第３実施形態について説明する。第１実施形態や第２実施形態では、ユーザーは、１つの注目点（ユーザーが指定した注目点、または、撮像装置が自動で指定した注目点）が再生時に立体視可能となるように撮像装置の傾きを容易に調整することができる。しかし、上記１つの注目点以外の領域は、再生時に立体視不可能となることがある。第３実施形態では、第２実施形態での１つの注目点を、複数の注目点を含む注目領域に拡張することにより、再生時に多くの箇所で立体視可能となる調整をユーザーが容易に行えるようにする。具体的には、注目領域で立体視可能となる調整をユーザーが容易に行えるようにする。

［撮像装置の動作］
図１６は、第３実施形態に係るフローチャートであり、撮像装置１で行われる撮影モード処理の詳細を示すフローチャートである。この処理は、ＣＰＵ２０１が不揮発性メモリ２０２に記録されたプログラムをメモリ２０３に展開して実行することにより実現される。撮像装置１を撮影モードで起動したり、ＣＰＵ２０１が撮影モードに切り替えたりすると、図１６の処理が開始する。撮像装置１は、図１６の処理を撮影モード中に繰り返し行う。

Ｓ１６０１では、ＣＰＵ２０１は、被写体の注目領域を設定する。ここでは、撮像画角全体を注目領域として設定してもよいし、既知の被写体検出処理で検出された特定の被写体（顔など）の領域を注目領域として設定してもよい。図１７は、撮像画角１７０１と注目領域１７０２、注目領域１７０２に含まれた複数の注目点１７０３の一例を示し、撮像画角１７０１の全体が注目領域１７０２として設定されている。図１７では、撮像画角１７０１と注目領域１７０２を区別するために、それらを互いにずらして示しているが、実際には撮像画角１７０１の領域と注目領域１７０２の領域とは一致する。

Ｓ１６０２では、ＣＰＵ２０１は、ユーザーからの注目領域設定操作があったか否かを判定する。注目領域設定操作があった場合はＳ１６０３に進み、そうでない場合はＳ１６０４に進む。注目領域設定操作は操作部２１３に対する操作であり、例えば注目領域の頂点の座標を指定する操作や、予め定められた複数の領域のいずれかを注目領域として選択する操作などである。

Ｓ１６０３では、ＣＰＵ２０１は、注目領域を、Ｓ１６０２の注目領域設定操作（指示）で指定された領域に設定する。図１８は、撮像画角１８０１、ユーザーが指定した注目領域１８０２、及び、注目領域１８０２に含まれた複数の注目点１８０３の一例を示し、撮像画角１８０１の一部が注目領域１８０２となっている。

なお、Ｓ１６０１やＳ１６０３で注目領域として矩形領域が設定される例を説明したが、注目領域の形状やサイズなどは特に限定されない。また、注目点の数、位置、間隔なども特に限定されず、任意に変更可能であってもよい。複数の注目点は離散的に配置されてもよいし、連続的に配置されてもよい。

Ｓ１６０４〜Ｓ１６１０の処理は、第２実施形態（図９）のＳ９０４〜Ｓ９１０の処理と同様である。但し、Ｓ１６０８では、ＣＰＵ２０１は、Ｓ１６０１またはＳ１６０３で設定された注目領域内の各注目点の方位角度θを、被写体距離検出部２１０と演算部２１１に出力する。そして、ＣＰＵ２０１は、注目領域内の複数の注目点のいずれか１つを演算対象として選択し、選択した注目点についてＳ１６０９とＳ１６１０の演算を行う。

Ｓ１６１１では、ＣＰＵ２０１は、注目領域内の全ての注目点に対して演算（ずれ量δの算出）が完了したか否か判定する。演算が完了した場合はＳ１６１２に進み、そうでない場合は、ずれ量δが算出されていない注目点に演算対象を更新して、Ｓ１６０９に進む。

Ｓ１６１２では、ＣＰＵ２０１は、算出した複数のずれ量δ（注目領域内の複数の注目点にそれぞれ対応する複数のずれ量δ）の最大値ｍａｘ（δ）を算出する。

Ｓ１６１３〜Ｓ１６２０の処理は、第２実施形態（図９）のＳ９１１〜Ｓ９１８の処理と同様である。但し、Ｓ１６１３とＳ１６１５とＳ１６１７では、Ｓ１６１２で算出したずれ量ｍａｘ（δ）をしきい値と比較する。

図１６のフローチャートによれば、注目領域内の複数の注目点にそれぞれ対応する複数のずれ量δ）の最大値ｍａｘ（δ）に基づく通知が行われる。このため、ユーザーは、通知に従って、再生時に注目領域全体が立体視可能となるように、撮像装置１の傾きを調整することができる。なお、被写体距離ｄが短いほど大きいずれ量δが得られる傾向にあるため、最大値ｍａｘ（δ）に基づく通知は、注目領域内の複数の注目点にそれぞれ対応する複数の被写体距離ｄの最小値に基づく通知とも言える。また、注目領域（複数の注目点）を代表するずれ量δは最大値でなくてもよいし、注目領域を代表する被写体距離ｄは最小値でなくてもよい。例えば、注目領域を代表する値（ずれ量δや被写体距離ｄ）として、最頻値や中間値を使用してもよい。

なお、ＣＰＵ２０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をカメラに適用した場合を例にして説明したが、これはこの例に限定されず、複数の光学系を撮像装置であれば適用可能である。例
えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置や車載装置などに適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：撮像装置 ２０１：ＣＰＵ １０１，１０２：レンズ ２０４，２０５：光学系
２１０：被写体距離検出部 ２１２：通知部

Claims (16)

1. 外光を撮像センサに集光する複数の光学系と、
   被写体距離を検出する距離検出手段と、
   情報を通知する通知手段と
   を有する撮像装置であって、
   前記通知手段は、前記被写体距離が短い場合に当該被写体距離が長い場合よりも高精度に前記撮像装置の傾きを調整させるための通知を行う
   ことを特徴とする撮像装置。
2. 前記通知手段は、前記被写体距離が所定の距離よりも短い場合に、前記撮像装置の傾きを調整させるための通知を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記所定の距離は、
   ユーザーが前記撮像装置を水平に構えようとしている状況で生じ得る前記撮像装置の最大の傾きと、
   撮像される右目用画像と左目用画像の間における、被写体の鉛直方向のずれ量に対する、前記被写体を立体視可能な限界値と
   に基づいて決定された距離である
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像装置の傾きを検出する傾き検出手段をさらに有する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記通知手段は、前記距離検出手段で検出された前記被写体距離と、前記傾き検出手段で検出された前記傾きとに基づいて、撮像される右目用画像と左目用画像の間における、被写体の鉛直方向のずれ量が大きい場合に当該ずれ量が小さい場合よりも高精度に前記撮像装置の傾きを調整させるための通知を行う
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記通知手段は、前記ずれ量が所定の値よりも大きい場合に、前記撮像装置の傾きを調整させるための通知を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記所定の値は、前記被写体を立体視可能な限界値である
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記通知手段による前記通知は、
   表示手段または発音手段が通知する、前記撮像装置の傾きを示す数値の桁数、
   前記数値の量子化数、
   前記表示手段が表示する、前記撮像装置の傾きを示すグラフィックにおける線の幅、
   前記線の色、
   前記線の傾きの量子化数、及び、
   前記グラフィックにおける目盛の数
   の少なくともいずれかの変更を含む
   ことを特徴とする請求項４〜７のいずれか１項に記載の撮像装置。
9. 前記グラフィックは、水平方向を示す第１の線と、前記撮像装置の左右方向を示す第２の線とを含み、
   前記通知手段による前記通知は、
   前記第１の線と前記第２の線の一方の幅、
   前記第１の線と前記第２の線の少なくとも一方の色、及び、
   前記第１の線の傾きの量子化数
   の少なくともいずれかの変更を含む
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記通知手段による前記通知は、表示手段が表示するアイテムの態様と有無の少なくとも一方の変更を含む
    ことを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記距離検出手段は、ユーザーからの指示または自動で指定された注目点または注目領域の被写体距離を検出する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記通知手段は、被写体の複数の注目点または注目領域を代表する被写体距離に基づいて前記通知を行う
    ことを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記通知手段は、前記複数の注目点または前記注目領域の最小の被写体距離に基づいて前記通知を行う
    ことを特徴とする請求項１２に記載の撮像装置。
14. 外光を撮像センサに集光する複数の光学系を有する撮像装置の制御方法であって、
    被写体距離を検出する距離検出ステップと、
    情報を通知する通知ステップと
    を有し、
    前記通知ステップでは、前記被写体距離が短い場合に当該被写体距離が長い場合よりも高精度に前記撮像装置の傾きを調整させるための通知を行う
    ことを特徴とする制御方法。
15. コンピュータを、請求項１〜１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１〜１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images