JP2015033056A - 撮像装置、表示装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】撮影者の意図した通りの３Ｄの画像を撮影又は表示することが可能な撮像装置、表示装置、撮像方法及び撮像プログラムを提供すること
【解決手段】本発明にかかる撮像装置は、観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する。撮像装置は、レンズ部を通過する光の一部を選択的に遮断して右眼用の光及び左眼用の光を前記撮像装置内に入射させる光遮断部と、撮影者の視差方向を検出する視差方向検出部と、前記視差方向検出部が検出した視差方向に基づき前記光遮断部が光を遮断する領域を選択し、前記右眼用画像又は左眼用画像を撮像するタイミングにおいて前記光遮断部に前記左眼用の光又は右眼用の光を遮断させて、前記右眼用画像及び左眼用画像を異なるタイミングで前記撮像装置に撮像させる撮像制御部を備える。撮像装置は、撮像した前記右眼用画像及び左眼用画像に、視差方向に関する情報を関連付けて記録する。
【選択図】図１

Description

本発明は撮像装置、表示装置、撮像方法及び撮像プログラムに関する。

近年、３Ｄ画像を撮像可能なデジタルカメラ等の撮像装置が開発されている。

例えば、特許文献１には、撮像素子へ入射する光のうち、一部の光を遮断して右眼用の光のみを通過させることにより右眼用の画像を撮像し、さらに左眼用の光のみを通過させることにより右眼用の画像を撮像する撮像装置が提案されている。この処理により、撮像装置は３Ｄ用の画像を撮影することができる。

また、特許文献２には、重力を検出することでカメラの姿勢向きを判断し、撮像装置の姿勢向きが縦向きか横向きかに応じて絞り部における光の遮断位置を９０度変更させる撮像装置の技術が提案されている。この処理により、撮像装置は姿勢が横向きの場合だけでなく縦向きの場合でも３Ｄ画像の撮影をすることができる。

特開２０１２−２２０９０７号公報 特開２０１２−１２８２５１号公報

撮像装置において撮影者の意図した通りの３Ｄの画像を撮影するためには、撮像装置が撮影者の視差方向を適切に判断し、その視差方向に従って光の遮断位置を変更する必要がある。特許文献１に記載の撮像装置では、撮像装置が撮影者の視差方向を判断することができないため、３Ｄの画像を撮影者の意図した通りに撮影することができない。

特許文献２に記載の撮像装置では、重力を検出することにより撮像装置の姿勢向きを判断している。しかしながら、重力により撮像装置の向きを検出するのは、撮像装置が直接的に視差方向を判断している訳ではないため、撮像装置は必ずしも適切な３Ｄ画像の撮影ができる訳ではない。たとえば、カメラを上に向けて天井を撮影する場合、下に向けて地面に置かれた被写体を撮影する場合など、重力方向検出による方法では視差方向の適切な判断が不可能であることは容易に想像できる。

本発明は、このような問題点を解決するためになされたものであり、撮影者の意図した通りの３Ｄの画像を撮影又は表示することが可能な撮像装置、表示装置、撮像方法及び撮像プログラムを提供することを目的とする。

本発明にかかる撮像装置は、観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する。撮像装置は、レンズ部を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を前記撮像装置内に入射させる光遮断部と、撮影者の視差方向を検出する視差方向検出部と、前記視差方向検出部が検出した視差方向に基づき前記光遮断部が光を遮断する領域を選択し、前記右眼用画像を撮像するタイミングにおいて前記光遮断部に前記左眼用の光を遮断させ、前記左眼用画像を撮像するタイミングにおいて前記光遮断部に前記右眼用の光を遮断させて、前記右眼用画像及び前記左眼用画像を異なるタイミングで前記撮像装置に撮像させる撮像制御部を備える。前記撮像装置は、撮像した前記右眼用画像及び前記左眼用画像に、前記視差方向検出部が検出した視差方向に関する情報を関連付けて記録する。

本発明にかかる撮像方法は、観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する撮像装置の撮像方法である。この撮像方法は、レンズ部を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を前記撮像装置内に入射させるステップと、撮影者の視差方向を検出するステップと、検出した視差方向に基づき光を遮断する領域を選択し、前記右眼用画像を撮像するタイミングにおいて前記左眼用の光を遮断させ、前記左眼用画像を撮像するタイミングにおいて前記右眼用の光を遮断させて、前記右眼用画像及び前記左眼用画像を異なるタイミングで撮像するステップと、撮像した前記右眼用画像及び前記左眼用画像に、検出した視差方向に関する情報を関連付けて記録するステップと、を備える。

本発明にかかる撮像プログラムは、観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する撮像装置の撮像プログラムである。この撮像プログラムは、レンズ部を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を前記撮像装置内に入射させるステップと、撮影者の視差方向を検出するステップと、検出した視差方向に基づき光を遮断する領域を選択し、前記右眼用画像を撮像するタイミングにおいて前記左眼用の光を遮断させ、前記左眼用画像を撮像するタイミングにおいて前記右眼用の光を遮断させて、前記右眼用画像及び前記左眼用画像を異なるタイミングで撮像するステップと、撮像した前記右眼用画像及び前記左眼用画像に、検出した視差方向に関する情報を関連付けて記録するステップと、を撮像装置に実行させる。

本発明により、撮影者の意図した通りの３Ｄの画像を撮影又は表示することが可能な撮像装置、表示装置、撮像方法及び撮像プログラムを提供することができる。

実施の形態１にかかる撮像装置の構成例を示したブロック図である。 実施の形態１にかかる撮像装置の被写体側の面の外観例を示した図である。 実施の形態１にかかる撮像装置の撮影者側の面の外観例を示した図である。 実施の形態１にかかる撮影者の顔画像の一例を示した図である。 実施の形態１にかかる光遮断部において左半分が光遮断された例を示す模式図である。 実施の形態１にかかる光遮断部において右半分が光遮断された例を示す模式図である。 実施の形態１にかかる撮影者の顔画像の一例を示した図である。 実施の形態１にかかる光遮断部において上半分が光遮断された例を示す模式図である。 実施の形態１にかかる光遮断部において下半分が光遮断された例を示す模式図である。 実施の形態１にかかる撮影者の顔画像の一例を示した図である。 実施の形態１にかかる光遮断部において左下半分が光遮断された例を示す模式図である。 実施の形態１にかかる光遮断部において右上半分が光遮断された例を示す模式図である。 実施の形態２にかかる撮像装置の構成例を示したブロック図である。

実施の形態１
以下、図面を参照して本発明の実施の形態１について説明する。図１は、実施の形態１にかかる撮像装置の構成例を示したブロック図である。撮像装置１０は、レンズ部１０１、光遮断部１０２、撮像部１０３、画像処理部１０４、レンズ部１０５、撮像部１０６、視差方向検出部１０７、表示部１０８、操作指示部１０９、制御部１１０及び記録部１１１を備える。

撮像装置１０は、３Ｄ画像（観視者の右眼に与える右眼用画像および左眼に与える左眼用画像）を撮像する撮像装置である。撮像装置１０は、１枚の３Ｄ画像を撮影してもよいし、表示画像が連続することにより構成される動画を撮影してもよい。撮像装置１０は、一般的な撮像装置（例えばデジタルカメラ）であってもよいし、スマートフォンなどの携帯端末であってもよい。なお、撮像装置１０における他の構成要素は、説明を省略する。

レンズ部１０１は、撮影対象とする被写体からの光が入射されるレンズである。被写体からの光はレンズ部１０１を介して光遮断部１０２に入射される。ここで、レンズ部１０１は撮像用として１つのレンズを有する。

光遮断部１０２は、レンズ部１０１から入射される光の一部を遮断することで、撮像部１０３に入射する光を変化させ、画像において視差を発生させる装置である。これにより撮像装置１０は、３Ｄ画像のための左眼用画像、右眼用画像を撮像することができる。

光遮断部１０２は、例えば液晶シャッターなど、光遮断部１０２における光の通過領域（又は遮断領域）を電気的に変更することが可能な装置を利用することができる。この構成により、撮影者の視差方向に基づいて光遮断部１０２における光の通過領域を変更する後述の処理において、光が通過領域を変更する自由度を高めることができる。ただし、光遮断部１０２として、光の通過領域である穴が開いた絞り部を用いてもよい。この場合、制御部１１０の制御に応じて絞り部が回転することにより、撮影者の視差方向に基づいて光遮断部１０２における光の通過領域を変更することができる。

撮像部１０３は、光遮断部１０２から入射された被写体からの光を撮像し、撮像したイメージデータを画像処理部１０４に出力する。撮像部１０３は、例えばＣＭＯＳ（Complementary MOS）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサから構成されている。

なお、レンズ部１０１、光遮断部１０２及び撮像部１０３は、いわゆる背面カメラ（アウトカメラ）を構成する。レンズ部１０１は、撮像装置１０において表示部１０８の反対側（表示部１０８が設けられていない側）に設けられている。

レンズ部１０５は、撮像装置１０においてレンズ部１０１と反対側の面に設けられたレンズ部である。換言すれば、レンズ部１０１とレンズ部１０５は反対の方向を向いている。レンズ部１０５は、撮影者を被写体とし、その撮影者の顔からの光が入射されるレンズである。撮影者の顔からの光はレンズ部１０５を介して撮像部１０６に入射される。

撮像部１０６は、レンズ部１０５から入射された被写体からの光を撮像し、撮像したイメージデータを画像処理部１０４に出力する。撮像部１０６の具体例は、撮像部１０３と同様である。

なお、レンズ部１０５と撮像部１０６は、いわゆるインカメラを構成する。レンズ部１０５は、撮像装置１０において表示部１０８が設けられた側（例えば、表示部１０８が設けられた面と同一の面）に設けられている。撮影者は表示部１０８を視認するため、レンズ部１０５には、撮影者の顔からの光が入射される。

画像処理部１０４は、撮像部１０３が出力したイメージデータの補間や補正の演算処理を実行し、ＲＧＢ形式やＹＣｂＣｒ形式などの人が認識できる形式の画像を生成する。光遮断部１０２から入射される光の領域が変化するため、画像処理部１０４は、撮影した被写体にかかる右眼用画像及び左眼用画像を生成することができる。

さらに画像処理部１０４は、撮像部１０６が出力したイメージデータの補間や補正の演算処理を実行し、ＲＧＢ形式やＹＣｂＣｒ形式などの画像データを出力する。これにより、画像処理部１０４は、撮影者の顔を撮影した画像を生成することができる。

視差方向検出部１０７は、画像処理部１０４が生成した撮影者の顔を撮影した画像（例えばＲＧＢ形式やＹＣｂＣｒ形式などの画像）から、撮影者の左右の眼の位置関係、すなわち撮影者の視差方向を検出する。視差方向検出部１０７は、例えば一般的な方法である顔検出を行い、撮影者の顔の方向から視差の方向を導き出すことができる。例えば、視差方向検出部１０７は、レンズ部１０５が撮影した画像における水平方向から撮影者の視差方向（あるいは撮影者の顔の方向）がどの角度だけずれているかを検出することにより、撮影者の視差方向を検出することができる。

表示部１０８は、制御部１１０の制御により、レンズ部１０１が撮影した被写体の画像を表示することができる。これにより、撮影者は、撮影対象である被写体が適切に撮影されているか否かを、表示部１０８を見ることにより確認することができる。撮影者は、被写体が適切に撮影されていない場合は、撮像装置１０を動かすことにより、レンズ部１０１に被写体が適切に収まるような撮影をすることができる。

操作指示部１０９は、撮影者が撮影に伴う操作を撮像装置１０に行うことにより、撮像装置１０の制御部１１０に指示を与える。操作指示部１０９は、例えばボタン（一例として撮影を開始するレリーズボタン）を有してもよいし、タッチパネルを有してもよい。

制御部１１０は、撮像装置１０の各部を制御する装置であり、特に、撮像処理を制御する撮像制御装置として機能する。制御部１１０は、例えば光遮断部１０２の遮断領域を制御することにより、撮影者が意図する右眼用画像及び左眼用画像を撮像することができる。この処理の詳細については後述する。なお、制御部１１０は、例えばＣＰＵ（Central Processing Unit）から構成される。

記録部１１１には、制御部１１０の制御に応じて、画像処理部１０４で生成した撮影画像（即ち右眼用画像及び左眼用画像）が記録される。さらに記録部１１１には、制御部１１０の制御に応じて、画像を撮影した際に視差方向検出部１０７が検出した視差方向に関する情報が、各撮影画像に関連付けて記録される。記録部１１１には、例えばフラッシュメモリやメモリーカードなどの記録媒体を用いてもよいし、撮像装置１０に内蔵されたメモリを用いてもよい。

以下、撮像装置１０の一例である、スマートフォンの外観の図を示す。図２Ａは、スマートフォンの被写体側の面の外観例を示した図である。図２Ａに示した面は、スマートフォンの筐体の主面であり、この面には、レンズ部１０１が設けられている。

図２Ｂは、撮影者側に面したスマートフォンの撮影者側の面の外観例を示した図である。図２Ｂに示した面は図２Ａに示した面と反対側の筐体の主面であり、図２Ｂに示した面には、レンズ部１０５、表示部１０８及び操作指示部１０９が設けられている。このように、スマートフォンは、撮影者が表示部１０８を確認しながら操作指示部１０９を操作して撮影を実行することを可能にするとともに、表示部１０８と同じ面に設けられたレンズ部１０５によって撮影者を撮影することを可能にする。ここで、撮像装置１０の他の構成要素については、スマートフォンの筐体内に内蔵されている。

なお、撮像装置１０が他の種類の撮像装置（例えばカメラ）であった場合でも、撮像装置１０は同様の外観上の構成を有する。

次に、撮像装置１０における撮影制御の詳細について述べる。

図３Ａ〜図３Ｃ、図４Ａ〜図４Ｃ及び図５Ａ〜図５Ｃは、それぞれ、撮影者の視差方向と光遮断部１０２の光遮断領域の関係の例を示した模式図である。

ここで、視差方向検出部１０７は、所定の方向を基準とした（以下基準方向と記載）視差方向の角度を検出することができる。例えば、レンズ部１０５が撮影した画像において水平に撮影者の右眼及び左眼が位置しており、レンズ部１０５側から見て撮影者の右眼が左に、撮影者の左眼が右に位置している状態を、撮影者の両目が基準方向に並んでいると定義する。換言すれば、視差方向検出部１０７は、撮像装置１０の基準軸（例えば画像の表示装置の視差方向）に対する撮影者の両目の位置関係を検出することができる。

図３Ａは、レンズ部１０５の撮影した画像における撮影者の顔画像の一例を示した図である。視差方向検出部１０７は、図３Ａに示した撮影者の顔画像から、撮影者の両目が基準方向に並んでいると判定する。視差方向検出部１０７は、基準方向からの視差方向の角度が０°であると判定する。

このとき、制御部１１０は、光遮断部１０２において、左半分又は右半分の領域の光を遮断するように制御する。例えば、撮像装置１０が被写体の右眼用画像を撮影する場合には、図３Ｂに示すように、制御部１１０は撮像部１０３側（撮影者側）から見て光遮断部１０２の左半分からの光を遮断し、右半分からの光を撮像部１０３に入射させるようにする。逆に、撮像装置１０が被写体の左眼用画像を撮影する場合には、図３Ｃに示すように、制御部１１０は撮像部１０３側から見て光遮断部１０２の右半分からの光を遮断し、左半分からの光を撮像部１０３に入射させるようにする。

図４Ａは、レンズ部１０５の撮影した画像における撮影者の顔画像の一例を示した図である。視差方向検出部１０７は、図４Ａに示した撮影者の顔画像から、撮影者の両目が垂直方向に並んでおり、左眼が上、右眼が下の位置関係にあることを検出する。視差方向検出部１０７は、基準方向からの視差方向の角度が左回り（反時計回り）に９０°、又は右回り（時計回り）に２７０°であると判定する。

このとき、制御部１１０は、光遮断部１０２において、上半分又は下半分の領域の光を遮断するように制御する。例えば、撮像装置１０が被写体の右眼用画像を撮影する場合には、図４Ｂに示すように、制御部１１０は撮像部１０３側から見て光遮断部１０２の上半分からの光を遮断し、下半分からの光を撮像部１０３に入射させるようにする。逆に、撮像装置１０が被写体の左眼用画像を撮影する場合には、図４Ｃに示したように、制御部１１０は撮像部１０３側から見て光遮断部１０２の下半分からの光を遮断し、上半分からの光を撮像部１０３に入射させるようにする。

なお、図３Ｂ、図３Ｃ、図４Ｂ及び図４Ｃでは、光遮断部１０２が、その領域の縦方向において光の一部を遮断するか、又は領域の横方向において光の一部を遮断するとして説明した。換言すれば、光遮断部１０２は、２方向において光を遮断できる構成（つまり、光遮断部１０２の右上、右下、左上、左下の４領域において光の遮断又は透過を選択可能な構成）を有している。しかしながら、光遮断部１０２における光遮断領域は、これらの位置に限定されない。

図５Ａは、レンズ部１０５の撮影した画像における撮影者の顔画像の一例を示した図である。視差方向検出部１０７は、図５Ａに示した撮影者の顔画像から、撮影者の両目が斜め方向に並んでおり、左眼が上側、右眼が下側の位置関係にあることを検出する。視差方向検出部１０７は、基準方向からの視差方向の角度が左回り（反時計回り）に３０°、又は右回り（時計回り）に３３０°であると判定する。

このとき、制御部１１０は、光遮断部１０２において、左下半分又は右上半分の領域の光を遮断するように制御する。例えば、撮像装置１０が被写体の右眼用画像を撮影する場合には、図５Ｂに示すように、制御部１１０は撮像部１０３側から見て光遮断部１０２の左下半分からの光を遮断し、右上半分からの光を撮像部１０３に入射させるようにする。逆に、撮像装置１０が被写体の左眼用画像を撮影する場合には、図５Ｃに示したように、制御部１１０は撮像部１０３側から見て光遮断部１０２の右上半分からの光を遮断し、左下半分からの光を撮像部１０３に入射させるようにする。ここで、図５Ｂに示した光遮断部１０２の状態は、図３Ｂに示した光遮断部１０２の状態から、光遮断部１０２を左回り（反時計回り）に３０°回転させた状態と同じである。同様に、図５Ｃに示した光遮断部１０２の状態は、図３Ｂに示した光遮断部１０２の状態から、光遮断部１０２を左回り（反時計回り）に３０°回転させた状態と同じである。

このように、光遮断部１０２が任意の領域で光遮断を実現することができるため、撮影者の顔（即ち撮影者の視差方向）がレンズ部１０５に対して水平方向又は垂直方向以外の向きであっても、光遮断部１０２は表示する際に右眼と左眼とで視差が生ずるような画像（即ち左眼用画像及び右眼用画像）を撮影することができる。なお、光遮断部１０２が液晶シャッターである場合には、制御部１１０は液晶シャッターに印加する電圧を変化させることにより、液晶シャッターの複数の所定の領域において、光を遮断するか否かを制御することができる。そのため、制御部１１０は、図３Ｂ、図３Ｃ、図４Ｂ、図４Ｃ、図５Ｂ及び図５Ｃのように、液晶シャッターの光遮断領域を制御することができる。このように、液晶シャッターを用いることにより、光の通過領域を変更する自由度を高めることができる。

なお、図３Ｂ、図４Ｂ及び図５Ｂにおいては光遮断部１０２において左眼用の光を遮断しており、図３Ｃ、図４Ｃ及び図５Ｃにおいては光遮断部１０２において右眼用の光を遮断している。

以上のように、視差方向検出部１０７が撮影者の視差方向を検出し、制御部１１０がその検出結果に応じて光遮断部１０２の遮断領域（遮断位置）を適切に選択することにより、撮像装置１０は左眼用画像及び右眼用画像を撮影することができる。

制御部１１０は、撮像部１０３が撮像したデータに基づいて画像処理部１０４が生成した右眼用画像及び左眼用画像に、個々の画像撮影の際に視差方向検出部１０７が検出した視差方向に関する情報（視差方向情報）を、関連付けて記録部１１１に記録する。例えば、制御部１１０は、右眼用画像、左眼用画像及び視差方向情報を、１つのファイルとして記録媒体である記録部１１１に記録する。ここで、視差方向情報は、撮影の際の視差方向を特定することが可能な情報である。例えば、図３Ａに示す状態で撮影がなされた場合には、視差方向情報は「０°」としてもよい。同様に、図４Ａに示す状態で撮影がなされた場合には、視差方向情報は「左回りに９０°」、図５Ａに示す状態で撮影がなされた場合には、視差方向情報は「左回りに３０°」としてもよい。

以上の処理により、記録部１１１に記録された画像を３Ｄ画像の表示装置で表示（再生）する時に、表示装置は画像に関連付けられた視差方向の情報に基づいて画像を表示する角度を調整することができる。例えば、図５Ａに示す状態で撮影がなされた場合には、視差方向情報「左回りに３０°」に関連付けられた画像をそのままの状態でディスプレイ等に表示すると、観視者が３Ｄ画像を視認する際の位置から視認した場合に、通常の画像と比較して、水平方向から左回りに３０°傾いた状態で表示される。つまり、画像の表示装置の視差方向と、画像撮影の視差方向の角度差が３０°あることになる。このため、観視者は、画像を適切に見ることができない。

この状態を解消するため、表示装置は、画像を右回りに３０°傾けた状態でディスプレイ等に表示することにより、表示装置は、通常の画像と同じ向きに画像を表示することができる。換言すると、表示装置は、表示の際に画像撮影の視差方向を修正することにより、画像の表示装置の視差方向と、画像撮影の視差方向の角度差を０°又はほぼ０°にする。表示装置は、このようにして適切な立体視表示を行うことができる。なお、撮像装置１０の基準軸と、表示装置の視差方向とを同じにしておくことにより、表示装置は、画像撮影の視差方向の撮像装置１０の基準軸からの角度差を示した視差方向情報をそのまま用いて、画像の角度の調整を実行できる。

撮像装置１０の実行する処理及び効果をまとめると、次のようになる。

撮像装置１０は、観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する。光遮断部１０２は、レンズ部１０１（１つの光学系）を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を撮像装置１０内に入射させる。視差方向検出部１０７は、撮影者の視差方向を検出する。制御部１１０は、視差方向検出部１０７が検出した視差方向に基づき光遮断部１０２が光を遮断する領域を選択し、右眼用画像を撮像するタイミングにおいて光遮断部１０２に左眼用の光を遮断させ、左眼用画像を撮像するタイミングにおいて光遮断部１０２に右眼用の光を遮断させて、右眼用画像及び左眼用画像を異なるタイミングで撮像装置１０に撮像させる。この構成により、撮像装置１０は、撮影者の視差方向を直接検出することによって撮影者の意図した通りの３Ｄの画像を撮影することができる。具体的には、撮像装置１０は、３Ｄ画像を構成する右眼用画像及び左眼用画像を生成するための適切な光遮断の制御を行うことができる。

さらに、撮像装置１０は、撮像した右眼用画像及び左眼用画像に、視差方向検出部１０７が検出した視差方向に関する情報を関連付けて記録する。表示装置は、記録された画像を表示（再生）するときに、関連付けられて記憶された視差方向情報に基づいて、画像の表示角度を適切に調整して表示を行うことができる。これにより、表示角度が調整された右眼用画像及び左眼用画像が、観視者の右眼及び左眼にそれぞれ与えられる。つまり、表示装置は、撮影者の意図した通りの３Ｄの画像を表示することができる。

関連技術では、撮影した画像の表示のときに、表示装置が適切な視差方向で画像を表示できないことも考えられる。例えば、立体画像の表示装置は、表示する際の視差方向が固定されていることが多い。画像を適切な立体視画像として表示するためには、撮影時の視差方向と表示装置の視差方向を合わせる（即ち、撮影時の視差方向に応じて表示の際に画像を回転させる）必要がある。しかし、関連技術では、表示画像の撮影時における撮影者の視差方向に関する情報が何ら記録されていない。従って、表示装置で視差方向を合わせることができず、適切な表示が行えない場合が発生する。しかしながら、撮像装置１０では、表示装置が適切な立体視表示を行うことができる。

なお、表示装置ではなく、撮像装置１０の画像処理部１０４が、視差方向検出部１０７が検出した視差方向に関する情報に基づいて、画像の生成処理の際に、撮像した右眼用画像及び左眼用画像を表示する角度を調整し、表示装置に表示する画像を生成してもよい。生成された画像は、記録部１１１に格納される。表示装置が記録されたその画像をそのまま表示することにより、観視者は、３Ｄの画像を適切に見ることができる。なお、表示角度が調整されることにより、生成される画像は通常の画像よりも小さい大きさになり、画像が表示されない領域は黒などで表現される。

また、撮像装置１０は、以下の構成を有する。

撮像装置１０において、レンズ部１０１が設けられた面とは異なる面（例えばレンズ部１０１が設けられた面と反対側の面）に、撮影者を撮像する撮影者撮像部（レンズ部１０５及び撮像部１０６）が設けられている。視差方向検出部１０７は、撮影者撮像部が撮像した撮影者の目の位置を検出することにより、撮影者の視差方向を検出することができる。これにより、視差方向検出部１０７に対して撮影者の視差方向を特定可能な情報を与える装置を、特別な部品ではなく、撮像装置においてよく使用されるインカメラで構成することができる。

撮像装置１０において、光遮断部１０２は、液晶シャッターにより構成される。そのため、物理的に穴が開いている絞り部により光遮断部１０２を構成する場合と比較して、光遮断部１０２における遮断制御において、高い自由度で光の遮断領域を変更することができる。そのため、撮影者の視差方向に基づいたより適切な３Ｄ画像の撮影を実行することができる。

撮像装置１０は、以上に説明した処理の他、さらに以下の処理を実行することもできる。

（１）制御部１１０は、視差方向検出部１０７を常に動作させず、一定の条件下で動作させるよう制御することができる。これにより、視差方向検出部１０７が消費する電力を抑制し、ひいては撮像装置１０の消費電力を抑えることができる。

（２）一定の条件の一例として、制御部１１０は、例えば撮影者が被写体の右眼用画像および左眼用画像を撮像する場合に、視差方向検出部１０７を動作させるようにしてもよい。具体的には、撮影者が撮像装置１０に撮像を実行させる指示を操作指示部１０９に入力した場合に、制御部１１０はその入力を検出して、視差方向検出部１０７が動作していない状態から動作させる状態に移行させるよう制御してもよい。他にも、撮影者が操作指示部１０９であるレリーズボタンを半押ししたとき（フォーカスをロックしようとしたとき、即ち撮影の準備段階）に、制御部１１０は視差方向検出部１０７を動作させてもよい。そして、視差方向検出部１０７の検出結果に応じて制御部１１０が光遮断部１０２の遮断を制御することにより、撮像装置１０は被写体の撮影を行う。

そして、撮影が終了した場合（撮影時間として撮像装置１０に設定された所定の時間が経過後、又は撮影者が操作指示部１０９を操作して撮影終了の指示を出力したとき）には、制御部１１０は、視差方向検出部１０７の動作を停止させてもよい。これにより、撮影時以外の不必要な時間に視差方向検出部１０７が動作することにより消費電力が生じることを防ぐことができる。

レンズ部１０５及び撮像部１０６（インカメラ）についても、視差方向検出部１０７と同様の処理により、制御部１１０は動作及びその停止を制御することができる。

その他、撮影者が操作指示部１０９により指定した期間内、又は撮像装置１０に予め設定された期間内に、制御部１１０が視差方向検出部１０７を動作させるようにしてもよい。

（３）制御部１１０は、視差方向検出部１０７が撮影者の視差方向を検出できない場合に、視差方向検出部１０７が最後に（直近に）検出した視差方向の情報に基づいて、光遮断部１０２が光を遮断する領域を選択してもよい。

例えば、撮影者が撮像装置であるカメラに顔を近づけてＶＦ（View Finder）を覗き込み、撮影者の顔がカメラに対して近づき過ぎる（顔がカメラに対して一定の距離以内の距離に近づいてしまう）ことが撮影時の状態として考えられる。これにより、レンズ部１０５及び撮像部１０６が撮影者の顔を明確に撮影できなくなってしまい、視差方向検出部１０７が撮影者の顔を検出できなくなることが想定される。

このような場合には、制御部１１０は、撮影者が顔をカメラに近づけつつある間に検出された最後の顔検出結果に基づいて、視差方向を判断すればよい。制御部１１０は、最後に検出された視差方向に基づいて光遮断部１０２の遮断領域を決定するため、最も確からしいデータに基づいて３Ｄ画像の撮影を実行することができる。このため、撮影者が煩わしい操作を行うことなく、撮像装置１０は適切な視差方向に基づいて３Ｄ撮影を行うことができる。

（４）撮像装置１０の表示部１０８は、視差方向検出部１０７が最後に検出した視差方向の情報、又は直前に検出した視差方向に基づいて制御部１１０が選択した光遮断部１０２の遮断領域の情報の少なくともいずれかを表示してもよい。なお表示部１０８の制御は制御部１１０によりなされる。

撮影の状況によっては、撮影者が、自身の視差位置とは異なる視差位置で撮影を実行するような場合がありうる。そのような場合に、表示部１０８が最後に検出した視差方向の情報又はその制御部１１０が選択した光遮断部１０２の遮断領域の情報のいずれかを表示することにより、撮像装置１０は撮影者に対し、視差方向又は光遮断部１０２の遮断領域が撮影者の意図している通りであるか否かを通知することができる。これにより、撮影者は、適切な視差方向で撮影可能かどうかを判断できる。

また、視差方向検出部１０７が撮影者の視差方向を検出できない場合にも、表示部１０８は、視差方向検出部１０７が最後に検出した視差方向の情報、又は直前に検出した視差方向に基づいて制御部１１０が選択した光遮断部１０２の遮断領域の情報の少なくともいずれかを表示することができる。この場合、視差方向検出部１０７は撮影者の視差方向を検出できていない状態であるため、適切な視差方向に基づいて撮影がされているか否かを撮影者が確認する必要はより高いといえる。これにより、撮影者は、適切な視差方向で撮影可能かどうかを判断できる。

関連技術では、撮影者の視差方向を撮像装置が適切に判断できなかった場合に、適切な判断がされなかったことを撮影者が知ることができず、不適切な光遮断領域で撮影がされたことを撮影者が知ることができないという問題もあった。これに対し、本実施形態の撮像装置は視差方向の情報について通知することが可能であるため、撮影者は、適切な視差方向で撮影可能かどうかを判断できる。

撮影者は、撮像装置１０の検出した視差方向が、撮影に意図していた視差方向と異なる場合（例えば撮影者の本当の視差方向ではない場合）には、操作指示部１０９を操作することにより、制御部１１０における視差方向の設定の見直し又は光遮断部１０２の遮断領域を変更するようにしてもよい。この機能により、撮像装置１０は、撮影者の意図する視差方向と、撮影者自身の視差方向が異なる場合などでも、適切な視差方向で撮影を行うことができる。そのため撮像装置１０は、より柔軟に、多くの撮影状況に対処して、撮影者の意図通りの撮影を実行することができる。

なお、撮影者の視差方向を撮像装置が適切に判断できなかった場合に、表示部１０８はその旨を表示して、撮影者に通知してもよい。

実施の形態２
以下、図面を参照して本発明の実施の形態２について説明する。図６は、実施の形態２にかかる撮像装置の構成例を示したブロック図である。撮像装置２０は、レンズ部２０１、光遮断部２０２、撮像部２０３、画像処理部２０４、レンズ部２０５、撮像部２０６、視差方向検出部２０７、表示部２０８、操作指示部２０９、制御部２１０、記録部２１１及び姿勢変化検出部２１２を備える。撮像装置２０は、撮像装置１０と比較して、姿勢変化検出部２１２を新たに備える。レンズ部２０１〜記録部２１１は、撮像装置１０におけるレンズ部１０１〜記録部１１１と同様の構成を有し、同様の処理を実行するため、説明を省略する。

姿勢変化検出部２１２は、撮像装置２０の姿勢（向き）が変更されたことを検出するための装置（センサ）であり、例えば重力の向きを検出することが可能である。姿勢変化検出部２１２には、一例として、加速度センサを用いることができる。本実施の形態では、この姿勢変化検出部２１２を用いて撮像装置２０の姿勢の変化の有無を検出することにより、撮像装置２０の消費電力を抑えたり、視差方向の変更を判断したりすることができる。換言すれば、制御部２１０は、視差方向検出部２０７が検出動作を実行していない状態において、姿勢変化検出部２１２の検出結果に基づいて、視差方向検出部２０７の検出動作を実行するか否かを制御することができる。

例えば、視差方向検出部２０７が最後に視差方向を検出した状態から、姿勢変化検出部２１２は撮像装置２０の姿勢変化を検出しなかったとする。ここで、視差方向検出部２０７は動作を停止している。この場合、撮影者は撮像装置２０をそのままの状態で保持していることから、撮影者の視差方向にも変更がないと撮像装置２０は判断することができる。従って、制御部２１０は、視差方向検出部２０７を動作させて再度の検出動作を実行させずに、動作を停止したままにすることができる。制御部２１０は、視差方向検出部２０７が最後に検出した視差方向の情報及び姿勢変化検出部２１２の検出結果に基づいて、光遮断部２０２の遮断領域を選択する。このようにしても、撮像装置２０は、適切な視差位置に基づいて撮影をすることができる。

一般に、画像に基づいて顔を検出する視差方向検出部２０７の処理に比較して、センサ等を用いる姿勢変化検出部２１２の処理の方が、消費電力が少なくてすむ。そのため、撮像装置２０は、適切な３Ｄ画像の撮影を可能にしつつ、消費電力を削減することができる。

視差方向検出部２０７が最後に視差方向を検出した状態（視差方向検出部２０７は現在動作していない状態）から、姿勢変化検出部２１２が撮像装置２０の姿勢変化を検出した場合に、制御部２１０は、次のいずれかの処理を実行することができる。

第１に、制御部２１０は、視差方向検出部２０７が最後に検出した視差方向の情報及び姿勢変化検出部２１２の検出結果に基づいて、光遮断部２０２の遮断領域を選択してもよい。制御部２１０は、視差方向検出部２０７が最後に検出した視差方向の情報及び姿勢変化検出部２１２の検出結果に基づいて、光遮断部２０２の遮断領域を選択する。例えば、レンズ部２０１のレンズの光軸を中心に撮像装置２０が所定の角度だけ回転したと姿勢変化検出部２１２が判断した場合に、視差方向検出部２０７が再度の検出動作を行わずに（視差方向検出部２０７の動作が停止された状態のまま）、制御部２１０が光遮断部２０２の制御位置を変更するということが可能である。

具体的には、図３Ａに示した撮影者の顔の状態から、撮影者が自分の顔をそのままにして、撮像装置２０をレンズの光軸を中心に右回りに３０°傾けた場合には、レンズ部１０５に映る撮影者の顔は図５Ａに示した状態になる。この場合には、姿勢変化検出部２１２は、撮像装置２０がレンズの光軸を中心に右回りに３０°傾けられたことを検出する。制御部２１０はその検出結果に応じて、光遮断部２０２の一部を図５Ｂ及び図５Ｃに示したように遮断する。撮像装置２０をレンズの光軸を中心に右回りに９０°傾けた場合にも、同様の処理により、制御部２１０は、光遮断部２０２の一部を図４Ｂ及び図４Ｃに示したように遮断する。

この場合、撮像装置２０はレンズの光軸に対して回転しているだけなので、撮影者の位置及び撮影の被写体に変更がないと推定することが可能である。従って、制御部２１０は、視差方向検出部２０７を動作させることなく、光遮断部２０２の遮断領域を設定することが可能と考えられる。

また、姿勢変化検出部２１２が撮像装置２０の姿勢変化を検出しても、撮像装置２０の姿勢変化が所定の閾値以下である場合には、制御部２１０は、視差方向検出部２０７が最後に検出した視差方向の情報及び姿勢変化検出部２１２の検出結果に基づいて、光遮断部２０２の遮断領域を選択してもよい。

上述の通り、一般に姿勢変化検出部２１２の消費電力は、視差方向検出部２０７の消費電力よりも小さい。そのため、撮像装置２０は、適切な３Ｄ画像の撮影を可能にしつつ、消費電力を削減することができる。

第２に、制御部２１０は、姿勢変化検出部２１２が撮像装置２０の姿勢変化を検出したことをトリガとして、視差方向検出部２０７に視差方向の検出動作を実行させてもよい。

また、姿勢変化検出部２１２の検出結果において、姿勢変化が所定の閾値よりも大きいと判断される場合は、制御部２１０は視差方向検出部２０７を制御して検出動作を再実施させるということも考えられる。例えば、撮像装置２０が３次元空間において、任意の軸を中心として５°以上回転されることにより、撮像装置２０の姿勢（向き）が変化した場合には、制御部２１０は視差方向検出部２０７を制御して、検出動作を再実施させてもよい。なお、閾値は５°に限られず、任意の値を設定することができる。

本発明は、撮像装置（例えばデジカメ、スマートフォンなど）や、その撮像装置で撮影した画像を表示する表示装置（例えばテレビなどのディスプレイを有する表示装置）に応用できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、実施の形態１において視差方向検出部１０７における基準方向は、レンズ部１０５が撮影したときの水平方向であるとしたが、垂直方向であってもよいし、その他の方向でもよい。

また、実施の形態１において、画像に関連付けられて記録される視差方向に関する情報は、基準方向からの視差方向のずれの角度であるとしたが、これはあくまで一例であり、撮影者の視差方向を特定しうる情報であるならば、他の情報でもよい。

実施の形態１又は２にかかる撮像装置は、撮像装置の姿勢（向き）の変化だけでなく、撮像装置の移動を検出可能な装置を有していてもよい。撮像装置の制御部は、視差方向検出部が動作を停止しており、装置の検出結果が、撮像装置の移動距離が０又は所定の閾値未満である場合には、被写体及び撮影者の視差方向に変化がないものとみなして、視差方向検出部の動作を停止させたままにしてもよい。逆に、撮像装置の移動距離が所定の閾値以上である場合には、視差方向検出部の検出動作を再開するように制御することもできる。

上述した装置の処理は、制御方法の１つとして、撮像装置に実行させることができる。例えば、実施の形態１及び２に示した処理を、制御プログラムとして撮像装置に実行させてもよい。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０、２０ 撮像装置
１０１、２０１ レンズ部
１０２、２０２ 光遮断部
１０３、２０３ 撮像部
１０４、２０４ 画像処理部
１０５、２０５ レンズ部
１０６、２０６ 撮像部
１０７、２０７ 視差方向検出部
１０８、２０８ 表示部
１０９、２０９ 操作指示部
１１０、２１０ 制御部
１１１、２１１ 記録部
２１２ 姿勢変化検出部

Claims (16)

1. 観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する撮像装置であって、
   レンズ部を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を前記撮像装置内に入射させる光遮断部と、
   撮影者の視差方向を検出する視差方向検出部と、
   前記視差方向検出部が検出した視差方向に基づき前記光遮断部が光を遮断する領域を選択し、前記右眼用画像を撮像するタイミングにおいて前記光遮断部に前記左眼用の光を遮断させ、前記左眼用画像を撮像するタイミングにおいて前記光遮断部に前記右眼用の光を遮断させて、前記右眼用画像及び前記左眼用画像を異なるタイミングで前記撮像装置に撮像させる撮像制御部と、を備え、
   撮像した前記右眼用画像及び前記左眼用画像に、前記視差方向検出部が検出した視差方向に関する情報を関連付けて記録する、撮像装置。
2. 前記撮像装置には、前記レンズ部が設けられた面とは異なる面に、前記撮影者を撮像する撮影者撮像部が設けられ、
   前記視差方向検出部は、前記撮影者撮像部が撮像した撮影者の目の位置を検出することにより前記撮影者の視差方向を検出する、
   請求項１に記載の撮像装置。
3. 前記撮像制御部は、前記視差方向検出部を一定の条件下で動作させるよう制御する、
   請求項１又は２に記載の撮像装置。
4. 前記撮像制御部は、前記右眼用画像及び左眼用画像を撮像する場合に前記視差方向検出部を動作させるよう制御する、
   請求項３に記載の撮像装置。
5. 前記撮像制御部は、前記視差方向検出部が撮影者の視差方向を検出できない場合に、前記視差方向検出部が最後に検出した視差方向の情報に基づいて前記光遮断部が光を遮断する領域を選択する、
   請求項１ないし４のいずれか一項に記載の撮像装置。
6. 前記撮像装置は、前記視差方向検出部が検出した撮影者の視差方向の情報、又は検出した視差方向に基づいて前記撮像制御部が選択した前記光遮断部の遮断領域の情報の少なくともいずれかを撮影者に表示する表示部をさらに備える、
   請求項１ないし５のいずれか一項に記載の撮像装置。
7. 前記表示部は、前記視差方向検出部が撮影者の視差方向を検出できない場合に、前記視差方向検出部が最後に検出した視差方向の情報、又は最後に検出した視差方向に基づいて前記撮像制御部が選択した前記光遮断部の遮断領域の情報の少なくともいずれかを表示する、
   請求項６に記載の撮像装置。
8. 前記撮像装置は、撮影者が前記光遮断部の遮断領域を指定することが可能な指定部をさらに備える、
   請求項６又は７に記載の撮像装置。
9. 前記撮像装置は、前記撮像装置の姿勢変化を検出する姿勢変化検出部をさらに備え、
   前記撮像制御部は、前記視差方向検出部が検出動作を実行していない状態において、前記姿勢変化検出部の検出結果に基づいて、前記視差方向検出部の検出動作を実行するか否かを制御する、
   請求項１ないし８のいずれか一項に記載の撮像装置。
10. 前記撮像制御部は、前記姿勢変化検出部の検出結果に基づいて、前記視差方向検出部の検出動作を実行しない場合に、前記視差方向検出部が最後に検出した視差方向の情報及び前記姿勢変化検出部の検出結果に基づいて、前記光遮断部の遮断領域を選択する、
    請求項９に記載の撮像装置。
11. 前記姿勢変化検出部が前記レンズ部のレンズの光軸に対して前記撮像装置が回転したことを検出した場合に、前記撮像制御部は、前記視差方向検出部の検出動作を実行させずに、前記視差方向検出部が最後に検出した視差方向の情報及び前記姿勢変化検出部の検出結果に基づいて前記光遮断部の遮断領域を選択する、
    請求項９又は１０に記載の撮像装置。
12. 前記撮像装置は、前記撮像装置が撮像した前記右眼用画像及び左眼用画像に関連付けられた視差方向に関する情報に基づいて、撮像した前記右眼用画像及び左眼用画像を表示する角度を調整し、表示装置に表示する画像を生成する、
    請求項１ないし１１のいずれか一項に記載の撮像装置。
13. 前記光遮断部は、液晶シャッターにより構成される、
    請求項１ないし１２のいずれか一項に記載の撮像装置。
14. 請求項１ないし１３のいずれか一項に記載の前記撮像装置が撮像した前記右眼用画像及び左眼用画像に関連付けられた視差方向に関する情報に基づいて、当該右眼用画像及び左眼用画像を表示する角度を調整し、表示する角度を調整した当該右眼用画像及び左眼用画像を観視者の右眼及び左眼にそれぞれ与える、
    表示装置。
15. 観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する撮像装置の撮像方法であって、
    レンズ部を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を前記撮像装置内に入射させるステップと、
    撮影者の視差方向を検出するステップと、
    検出した視差方向に基づき光を遮断する領域を選択し、前記右眼用画像を撮像するタイミングにおいて前記左眼用の光を遮断させ、前記左眼用画像を撮像するタイミングにおいて前記右眼用の光を遮断させて、前記右眼用画像及び前記左眼用画像を異なるタイミングで撮像するステップと、
    撮像した前記右眼用画像及び前記左眼用画像に、検出した視差方向に関する情報を関連付けて記録するステップと、
    を備える撮像方法。
16. 観視者の右眼に与える右眼用画像および左眼に与える左眼用画像を撮像する撮像装置の撮像プログラムであって、
    レンズ部を通過する光の一部を選択的に遮断することにより、右眼用の光及び左眼用の光を前記撮像装置内に入射させるステップと、
    撮影者の視差方向を検出するステップと、
    検出した視差方向に基づき光を遮断する領域を選択し、前記右眼用画像を撮像するタイミングにおいて前記左眼用の光を遮断させ、前記左眼用画像を撮像するタイミングにおいて前記右眼用の光を遮断させて、前記右眼用画像及び前記左眼用画像を異なるタイミングで撮像するステップと、
    撮像した前記右眼用画像及び前記左眼用画像に、検出した視差方向に関する情報を関連付けて記録するステップと、
    を撮像装置に実行させる撮像プログラム。

Images