JP2012023557A - 画像撮像装置 - Google Patents

Abstract

【課題】縦位置であっても横位置であっても立体画像を得ることが可能な画像撮像装置を提供する。
【解決手段】画像撮像装置は、２つの撮像素子１００，１０１と、これら撮像素子で撮像した画像を用いて立体画像を生成する画像処理部１０２とを備える。画像処理部１０２は、撮像素子１００，１０１で撮像した第１及び第２の画像の視差を算出し、算出した視差と、第１の画像を使用して、第１の画像に対して撮像素子１０１，１０２の配列方向の直交方向に視差を有する推定画像を生成し、推定画像とから立体画像を生成する。
【選択図】図１

Description

本発明は画像撮像装置に関する技術であり、特に、立体画像を撮像して表示する技術に関する。

左眼には左眼用の画像を視認させ、右眼には右眼用の画像を視認させ、両画像内の被写体のずれ（視差）により立体像として認識させる立体画像技術が開発されている。立体画像を表示するディスプレイでは、立体画像を見るための眼鏡と組み合わせて、左右の画像を時分割で表示したり、偏光方向を変えて表示したりすることで視聴者に左右画像を分離して視認させるものがある。また、立体画像を撮影するカメラとして、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）といった固体撮像素子を２個備えて、各撮像素子を左右に配置して撮影した画像をそれぞれ左眼用および右眼用の画像とするものがある。

しかしながら、２個の撮像素子を左右に配置したカメラでは縦位置による立体画像の撮影ができない。例えば、図１３は通常の撮影をする場合で、撮像素子の長手方向が、２個の撮像素子が配置される方向と等しく、左眼用画像と右眼用画像とを撮影することができる。図１４は図１１のカメラで縦位置にした場合であり、撮像素子が上下に配置されてしまい、左右画像として撮影することができない。

この課題を解決する方法として、撮像素子自身を回転する方法が挙げられ、例えば、特許文献１が挙げられる。特許文献１では図１５に示すように、カメラ本体４に回動可能に支持されたカメラヘッド３ａ，３ｂと、カメラヘッド３ａ，３ｂにそれぞれ支持された複数の撮影レンズ１ａ，１ｂ、および撮像素子２ａ，２ｂとを備えた複眼カメラ装置が開示されている。この複眼カメラ装置は、通常撮影をする場合には図１５（Ａ）のような状態であるが、縦位置撮影をする場合には図１５（Ｂ）のような状態にする。図１５（Ａ）から図１５（Ｂ）へは撮像素子２ａ，２ｂが回転しており、撮像素子の短手方向と撮像素子の配置される方向（左右）とが等しくなり、縦位置撮影で左右画像を撮影することが可能となっている。

特開平１０−２２４８２０号公報

しかしながら、上記方法では以下のような課題を有する。
特許文献１の構成では、物理的に撮像素子を回転する必要があるため、回転するための機構と、回転を許容する空間と、回転に耐えられる配線が必要となり、装置の大型化、複雑化、高コスト化が発生してしまう。

本発明は、上述ごとき実情に鑑みてなされたものであり、装置の大型化を発生させることなく、縦位置であっても横位置であっても立体画像を生成し、表示できるようにした画像撮像装置を提供することを目的とする。

本発明の画像撮像装置は、２つの撮像素子と、画像を生成する画像処理部とを備えている。そして画像処理部は、撮像素子で撮像した第１及び第２の画像の視差を算出し、算出した視差と、第１の画像を使用して、第１の画像に対して撮像素子の配列方向と直交方向に視差を有する推定画像を生成し、推定画像から立体画像を生成する。

また、本発明の画像撮像装置は、画像処理部が、撮像素子の配列方向と直交方向に視差を有する推定画像から生成した立体画像を第１の立体画像として生成する処理と、撮像素子で撮像した第１及び第２の画像から、または、撮像素子で撮像した第１及び第２の画像から撮像素子の配列方向に視差を有する推定画像を生成し配列方向に視差を有する推定画像から、第２の立体画像を生成する処理と、を切り換えて行う。

また、本発明の画像撮像装置は、画像処理部で生成された立体画像を表示する画像表示部と、画像表示部が立体画像を表示する際に、立体画像を生成した２つの画像のそれぞれの画像光の進行を制御する光制御部とを備える。そして光制御部は、第１の立体画像を表示するときと第２の立体画像と表示するときとで、各立体画像に応じて画像光の進行の制御を切り換える。

また、本発明の画像撮像装置は、画像撮像装置の姿勢を検出する姿勢検出部を備える。そして画像処理部は、姿勢検出部で検出された画像撮像装置の姿勢に応じて、第１の立体画像を生成する処理と、第２の立体画像を生成する処理とを切り換える。

本発明によれば、装置の大型化を発生させることなく、縦位置であっても横位置であっても立体画像を得ることが可能となる。また、光の進行を制御することで立体画像の視認を実現する画像表示部を備えることで、被写体を立体画像として画像表示部で確認しながら撮影することができる。さらに、撮像装置の姿勢を姿勢検出部により検出することで、立体画像を形成する左右画像の向きを自動で切り替えることができる。

本発明の画像撮像装置の一実施例を示すブロック図である。 図１の画像処理部の構成例を示す図である。 視差情報を算出する方法の例を説明するための図である。 視差変換による画像推定処理を説明するための図である。 視差と画素の移動量との関係の設定例を示す図である。 視差変換による画像推定処理を説明するための図である。 視差バリアに対応した立体画像情報の一例を示す図である。 視差バリアに対応した立体画像情報の他の例を示す図である。 視差バリアを使った立体ディスプレイを示す図である。 立体画像に応じた視差バリアの状態を示す図である。 本発明の画像撮像装置の他の実施例を示すブロック図である。 本発明の画像撮像装置に適用可能な撮像素子の配置関係の他の例を示す図である。 画像撮像装置の撮像素子の配置例を示す図である。 図１３の撮像素子を縦位置にしたとき配置を示す図である。 特開平１０−２２４８２０号公報に記載された技術を示す図である。

以下、図面を使って本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のとは異なる場合がある。
図１は、本発明における画像撮像装置の構成例を示すブロック図である。画像撮像装置には撮像素子１００と撮像素子１０１の２つの撮像素子を備えている。撮像素子１００および１０１で撮影された画像は画像処理部１０２にてデモザイク、色変換、ガンマ補正などの基本的な画像処理と、後述する立体画像として必要な画像処理が行われる。画像処理部１０２から出力される画像情報は、立体表示が可能なディスプレイ（画像表示部）１０３で表示されたり、記憶装置１０４で記録されたりする。

図２は、画像処理部１０２の処理ブロックを示す図である。入力される画像は異なる位置で撮影された２つの画像Ａ，Ｂで、本発明の第１の画像及び第２の画像に相当するものである。まず視差算出部１０５により撮影画像から得られる情報として視差情報が算出される。視差は平行に配置されたカメラの間隔（基線長）と、カメラの焦点距離と、被写体までの距離により決まり、被写体までの距離が小さいと視差は大きくなり、被写体までの距離が大きいと視差は小さくなる。

視差の算出には様々な方法を適用することができ、例えばブロックマッチングによる方法が挙げられる。図３はブロックマッチングの概要を示す図で、図３（Ａ）は左側に配置された撮像素子（カメラ）で撮影された入力画像Ａ、図３（Ｂ）は右側に配置された撮像素子（カメラ）で撮影された入力画像Ｂ、図３（Ｃ）は入力画像Ａ，Ｂから計算した視差情報を示している。

ここでは入力画像Ａに任意の基準マクロブロックｍを定義し、右側に配置された撮像素子（カメラ）で撮影された入力画像Ｂには基準マクロブロックｍと同じ大きさの探索マクロブロックｎを定義する。探索マクロブロックｎを入力画像Ｂ内で移動させるとともに、基準マクロブロックｍと探索マクロブロックｎの差分絶対値和を計算し、最も差分絶対値和が小さくなったときの入力画像Ａと入力画像Ｂとの座標の差が視差となる。図３において、入力画像Ａにおける被写体Ｘが、入力画像Ｂにおいて被写体Ｘが水平方向に２４画素ずれていた場合、被写体Ｘの視差を２４としている。同様に被写体Ｘより遠くにある被写体Ｙが水平方向に８画素ずれていれば、被写体Ｙの視差は８となる。

視差算出部１０５で算出された視差情報は視差変換部１０６に伝達される。視差変換部１０６は入力される画像と視差情報を使用して、入力された画像とは異なる位置で撮影された画像を推定し生成する。
例えば、図４に示すように入力画像Ａの各画素に対応する視差の大小にしたがって、画素の値を右方向へ移動させる。このとき生成される画像はＡ’となり、視差の値が大きい被写体Ｘは大きく移動し、視差の値が小さい被写体Ｙは少し移動し、視差がない背景領域は移動しない。これは、入力画像Ａを撮影したカメラ位置から左方向に移動したカメラ位置で撮影した画像を推定したことになる。同様に、画素の移動を左方向にした場合には、カメラ位置を右に移動した位置で撮影した画像を推定したことになる。さらに、各画素に対応した視差の分だけ左方向に移動した場合には、入力画像Ｂが撮影された位置での撮影画像を推定したことになる。

入力画像Ａと視差情報とから画像Ａ’を生成するときの処理例を説明する。ここでは視差値の最大値を２５５とする。入力画像Ａの被写体として、Ｘ，ＹがありＸの視差値は２４、Ｙの視差値は８とする。入力画像Ｂの位置での画像Ａ’を作成する場合、被写体Ｘの移動量は２４で立体画像の視差が２４、被写体Ｙの移動量は８で立体画像の視差が８となる。
画像Ａと画像Ｂとの基線長（カメラ間隔）の１／２の位置の画素Ａ’を生成する場合には、各画素の移動量は、基線長が１のときの１／２とすればよい。例えば被写体Ｘの移動量は１２で立体画像の視差は１２、被写体Ｙの移動量は４で立体画像の視差が４となる。
つまり、各画素の視差値に従って被写体を移動することで、画像Ａ’を生成することができる。

また、上記の処理の他、さらに視差のコントラストが大きくなるようにすることで、主要被写体の立体感が強調された立体画像とすることもできる。例えば、視差と移動量との関係を上記のような線形の関係ではなく、図５に示すような関係として設定してもよい。この場合、視差の大きい前景の被写体の移動量がより大きく、視差の小さい背景の移動量がより小さくなって、前景と背景との視差のコントラスが大きくなる。これにより、視差が中程度の主要被写体の立体感が強調された立体画像が得られる。

また、立体画像の立体感を制御するために、一方または両方の画像に対して一様に移動させる処理を付加しても良い。例えば、図３において、入力画像Ｂの全画素を右に８画素移動させると、入力画像Ａと入力画像Ｂの視差は、被写体Ｘで１６、被写体Ｙで０、背景で−８となる。このとき、立体画像としてディスプレイに表示したときに、視差の符号が正の場合には被写体がディスプレイ面より飛び出し、視差の符号が正の場合には被写体がディスプレイ面より引っ込んで見える。

上記のような処理によって被写体を移動させることにより、入力された画像とは異なる位置で撮影された画像を推定し生成することができる。
ここで、被写体が移動したあとに対応する画素値が存在しない未確定画素が発生する場合があるが、これらの領域は周辺の画素値で補間することで画質劣化を防ぐことができる。特に、画像Ａ’のように被写体が右方向へ移動する場合は、未確定画素が移動被写体の左側に発生する。未確定画素の左側の画素値は背景であるため、左側の画素値で補間することで画質劣化を低減することができ好適である。カメラの移動方向が右である場合は左右が逆転するが、同様に画質劣化を低減することが可能である。上記の方法により、視差変換部１０６では入力画像と視差情報とから入力画像の視差を変換した画像Ａ’を生成して出力する。

出力画像生成部１０７では、表示や保存のための画像処理をする。立体画像をディスプレイ１０３に表示する場合には、ディスプレイ１０３の表示方式に対応したデータを生成する必要がある。例えば、ディスプレイの行ごとに偏光方向を変化させる方式では、左右の画像に対応する２つの画像を行ごとに挿入して１枚の画像にする必要がある。また、左右の画像を時分割で表示する方式では、左右の画像に対応した２つの画像を交互にしたフレーム構成にする必要がある。さらに、画像データとして記憶装置１０４に保存する場合には、立体画像に対応したファイルフォーマットにしたがって、左右画像に対応する２つの画像や、基準となるカラー画像と視差情報などを変換、圧縮する必要がある。

ここで、出力画像生成部１０７に入力される画像は、画像撮像装置が備える２つの撮像素子１００，１０１で撮影した入力画像Ａ、入力画像Ｂ、および入力画像を視差変換した画像Ａ’の３種類がある。入力画像Ａおよび入力画像Ｂを左右画像として出力画像情報とした場合には、２つの撮像素子１００，１０１が撮影した立体画像となる。視差変換した画像Ａ’は本発明の第２の推定画像に相当し、得られた立体画像は本発明の第２の立体画像に相当する。

入力画像Ｂと画像Ａ’を左右画像として出力画像情報とした場合には、２つの撮像素子が撮影した画像の視差が調整された立体画像となる。このとき、画像Ａ’の視差変換が入力画像Ｂを撮影した位置に近くなるような処理が行われた場合には、被写体の視差は小さくなるような変換処理となり、立体画像の飛び出し（引っ込み）量は小さくなる。一方、画像Ａ’の視差変換が入力画像Ｂを撮影した位置から遠ざかるような処理が行われた場合には、被写体の視差は大きくなるような変換処理となり、立体画像の飛び出し（引っ込み）量は大きくなる。また、視差情報に対して画像の移動量を工夫する、例えば、上述したように主要被写体が有する視差と、背景および前景が有する視差とのコントラストが大きくなるようにすることで、主要被写体の立体感が強調された立体画像となる。左右画像は、入力画像Ａと画像Ａ’であってもよい。

以上では図１３に示すような、撮像素子の長手方向と２つの撮像素子の配置方向が水平である場合について説明したが、以下では図１４に示すような、撮像素子の長手方向と２つの撮像素子の配置方向が垂直である場合、すなわち縦位置での撮影について説明する。
立っている人物を撮影する場合など、画像撮像装置を縦位置にして撮影する機会が発生するが、２つの撮像素子を備えた通常の画像撮像装置では立体画像を撮影することができない。これは、撮像素子１００と撮像素子１０１を左右に配置した状態から、図６に示すような縦位置での撮影状態にすると、撮像素子１００と撮像素子１０１が垂直方向に配置されてしまう。縦位置での撮影で立体画像を得るためには、撮像素子１００を左眼用の画像とする場合、図６中の右カメラ位置に撮像素子を配置した撮影画像がなければならない。

しかしながら、撮像素子１００と撮像素子１０１とから撮影画像の視差を算出することは可能である。これは視差が被写体までの距離に応じて変化する値であるためで、撮像素子１００と撮像素子１０１との視差が縦方向に発生する。したがって、縦位置での撮影であっても視差変換部１０６で視差情報を算出することが可能である。

次に、撮像素子１００で撮影された入力画像Ａと、撮像素子１００と撮像素子１０１とから算出された視差情報を視差変換部１０６に入力する。縦位置での撮影により立体画像を得たい場合には、視差情報を算出した方向と垂直となる方向、すなわち、水平方向の位置で撮影した画像を推定する。
推定画像を生成する元となる入力画像としては入力画像Ｂを用いてもよい。このときの視差情報は、基準を入力画像Ｂとして算出した視差情報を使用した方が良い。これにより、入力画像ＡまたはＢと視差情報とを使用して、撮像素子の配列方向の垂直方向に推定画像を生成することができる。

視差変換部１０６で生成された画像Ａ’は出力画像生成部１０７に伝達され、出力画像情報として左右画像を選択する。横位置での撮影の場合には左右画像のうち一つは入力画像Ｂとし、もう一方を入力画像Ａまたは画像Ａ’としていた。縦位置での撮影の場合には、左右画像を入力画像Ａと画像Ａ’との組み合わせとする。画像Ａ’は入力画像Ａから生成されているが、入力画像Ａと入力画像Ｂとから算出された視差情報により、被写体に視差が発生するように視差変換処理が行われているため、入力画像Ａと画像Ａ’との間にも視差が発生している。従って入力画像Ａと画像Ａ’との組み合わせで立体画像の生成が可能となっている。この立体画像は本発明の第１の立体画像に相当する。
以上の方法により、物理的に撮像素子を回転させたりすることなく、小型で低コストの画像撮像装置でありながら縦位置においても立体画像を生成することが可能となる。そして横位置と縦位置とで立体画像の生成処理を切り換えて実行させることができる。

一方で、画像処理部１０２から出力される出力画像情報をディスプレイ１０３で表示する場合においても、横位置での撮影と縦位置での撮影とで、左右画像に発生させる視差の方向も変化してしまう。コンパクトデジタルカメラやカメラ付携帯電話などのモバイル機器において、立体表示が可能なディスプレイには、ユーザーが眼鏡を装着する必要のない裸眼での立体表示が可能な方式が好ましい。

立体画像を裸眼で視認可能にするために、ディスプレイ１０３では左右画像が各々の眼にのみ光が到達するように光の進行方向を制限する。例えば、横位置の立体画像の場合は、図７のように左眼用画像Ｌと右眼用画像Ｒを列ごとにＬ、Ｒ、Ｌ、Ｒ・・・と交互になるように変換しておく。また、縦位置の立体画像の場合も、図８のように左眼用画像Ｌと右目用画像Ｒとが交互になるように変換しておく。

そして、図９に示すように、左眼には左眼用画像Ｌが、右眼には右眼用画像Ｒの画素の光が到達するように画像光の進行を制御する光制御部（視差バリア１１０）が配置される。これにより裸眼での立体表示が可能となる。ここで、視差バリア１１０には液晶を用いる。例えば液晶パネルの光シャッター効果を利用して、液晶パネルの光透過領域を制御することで視差バリア１１０を発生させたり、無くしたりを電気的に制御可能となる。つまり、同一のディスプレイ１０３で電気的に２次元画像表示と立体画像表示を切り替えることができる。

図１０は立体画像と視差バリアの状態を示した図である。横位置での立体画像（図１０（Ａ））を立体表示する場合には、視差バリア１１０は図１０（Ｂ）の状態とすることで立体表示が可能となる。一方、縦位置での立体画像（図１０（Ｃ））を立体表示する場合には視差バリア１１０の発生を制御する必要がある。視差バリア１１０の状態が図１０（Ｂ）のまま縦方向にすると図１０（Ｄ）に示す状態となる。この状態では縦位置立体画像を立体画像として視認することはできない。そこで、視差バリア１１０が構成する縞の方向を垂直方向となるように液晶を制御することで図１０（Ｅ）のような視差バリア１１０の状態となる。これにより、縦位置立体画像（図１０（Ｃ））を立体画像として表示することが可能となる。

ここで、立体画像を表示するディスプレイには、時分割方式の立体ディスプレイも適用することができ、ディスプレイの表示と眼鏡を同期して制御することにより実現することができる。
さらに、本実施例では入力画像Ａと画像Ａ’で立体画像を生成することで、縦位置での立体画像の撮影を可能とすることを説明したが、算出した視差情報を使用して、画像Ａ’とは異なる入力画像Ａから生成される画像Ａ”を使用しても良い。すなわち、本発明を応用することで、入力画像Ａから生成される異なる画像Ａ’および画像Ａ”によって立体画像を生成することも可能である。この方法により、被写体の移動に伴い発生する未確定画素の量を左右画像に分割することができる。すなわち、連続した未確定画素により形成される面積の最大値を減少させることにより、画質劣化を低減することができる。

以上で説明したように、本発明の画像撮像装置によれば、撮像素子を物理的に回転することなく、簡易、低コストで横位置でも縦位置でも立体画像が撮影可能となる。さらに、横位置でも縦位置でも立体画像を表示することが可能なディスプレイを備えることで、立体画像として画像を確認しながら撮影をすることが可能となる。

図１１は、画像撮像装置の姿勢を検出する姿勢検出部を備えた構成を示す図である。本例では、上述した画像撮像装置の構成に加えて、画像撮像装置の横位置および縦位置を検出する姿勢検出部１０８を備える。画像処理部１０２は、姿勢検出部１０８により検出された画像撮像装置の姿勢（横位置または縦位置）を示す情報に応じて、撮影する向きを自動で切り替えて立体画像を生成する。姿勢検出部１０８には加速度センサなどを適用することが可能である。また、プレビュー画面が回転するデジタルカメラや、サイクロイド式のカメラ付携帯電話などではディスプレイ１０３の向きを検知することで撮影の向きを自動で適切に切り換えることが可能である。

ここで、上記の実施例では撮像素子の長手方向と、２つの撮像素子が配置される方向とが同じになる様な場合について説明したが、図１２のように、撮像素子１００，１０１の短手方向と、２つの撮像素子１００，１０１が配置される方向とが同じになる場合についても本発明を適用することができる。
視差情報は、撮像素子１００の撮影画像と撮像素子１０１の撮影画像とから算出する。縦位置での立体画像を得たい場合には、左右画像のうち一つを撮像素子１０１の撮影画像とし、左右画像のもう一方を撮像素子１００の撮影画像Ａ、撮影画像Ａを視差変換した画像Ａ’から選択する。横位置での立体画像を得たい場合には、左右画像を撮像素子１００の撮影画像Ａ、撮影画像Ａを視差変換した画像Ａ’とすることで立体画像を得ることができる。

さらに、立体画像を生成するときの左右画像の選択において、入力画像Ｂを使用せずに縦位置、横位置によらず撮影画像Ａと、撮影画像Ａを視差変換した画像Ａ’とを選択することでも立体画像を得ることができる。
しかしながら、立体画像を入力画像Ｂ側に生成するときに、生成する立体画像の基線長が、入力画像Ａと入力画像Ｂとの基線長の１／２より大きいときには、入力画像Ａを視差変換するよりも、入力画像Ｂを視差変換した方が画素の移動量が小さくなる。したがって、入力画像Ｂを使用できる状態であり、かつ、入力画像Ｂ側に生成する立体画像の基線長が入力画像Ａと入力画像Ｂの基線長の１／２より大きいときには、入力画像Ｂを使用した方が好適である。
また、記憶装置１０４記録された画像を再生するときに、縦位置で表示するのか横位置で表示するのかを適切に判別できるようにするため、画像データを記録するときに、縦位置で撮影した画像なのか横位置で撮影した画像なのかの付加情報も同時に記録することが望ましい。

１ａ，１ｂ…撮影レンズ、２ａ，２ｂ…撮像素子、３ａ，３ｂ…カメラヘッド、１００，１０１…撮像素子、１０２…画像処理部、１０３…ディスプレイ、１０４…記憶装置、１０５…視差算出部、１０６…視差変換部、１０７…出力画像生成部、１０８…姿勢検出部、１１０…視差バリア。

Claims (4)

1. ２つの撮像素子と、画像を生成する画像処理部とを備えた画像撮像装置であって、
   前記画像処理部は、前記撮像素子で撮像した第１及び第２の画像の視差を算出し、該算出した視差と、前記第１の画像を使用して、該第１の画像に対して前記撮像素子の配列方向と直交方向に視差を有する推定画像を生成し、前記推定画像から立体画像を生成することを特徴とする、画像撮像装置。
2. 前記画像処理部は、前記撮像素子の配列方向と直交方向に視差を有する推定画像から生成した立体画像を第１の立体画像として生成する処理と、
   前記撮像素子で撮像した第１及び第２の画像から、または、前記撮像素子で撮像した第１及び第２の画像から前記撮像素子の配列方向に視差を有する推定画像を生成し該配列方向に視差を有する推定画像から、第２の立体画像を生成する処理と、を切り換えて行うことを特徴とする、請求項１に記載の画像撮像装置。
3. 前記画像処理部で生成された立体画像を表示する画像表示部と、該画像表示部が前記立体画像を表示する際に、前記立体画像を生成した２つの画像のそれぞれの画像光の進行を制御する光制御部とを備え、該光制御部は、前記第１の立体画像を表示するときと前記第２の立体画像と表示するときとで、各前記立体画像に応じて前記画像光の進行の制御を切り換えることを特徴とする、請求項２に記載の画像撮像装置。
4. 前記画像撮像装置の姿勢を検出する姿勢検出部を備え、
   前記画像処理部は、前記姿勢検出部で検出された前記画像撮像装置の姿勢に応じて、前記第１の立体画像を生成する処理と、前記第２の立体画像を生成する処理とを切り換えることを特徴とする、請求項２〜３のいずれか１項に記載の画像撮像装置。

Images