JP2012257105A - 立体画像取得装置 - Google Patents

Abstract

【課題】近景の立体画像を自然な立体画像にすることのできる立体画像取得装置を提供する。
【解決手段】少なくとも２つの視差画像を取得する光学系と、１つの２Ｄ画像から第１立体画像を生成する第１画像生成手段と、少なくとも２つの視差画像から第２立体画像を生成する第２画像生成手段と、第１画像生成手段と第２画像生成手段を選択する立体画像選択手段と、を備え、立体画像選択手段は、第１画像生成手段が第２画像生成手段より遠景の被写体に用いられるように選択を行う。
【選択図】図１

Description

本発明は、立体画像取得装置に関するものである。

３Ｄ画像を生成する手法として、２Ｄ画像（２次元画像）から奥行情報を推定し、画像処理で３Ｄ画像（立体画像）を生成する２Ｄ３Ｄ変換技術がある。これは、被写体の色、エッヂ、ボケ、コントラストその他の情報に基づいて、２Ｄ画像から少なくとも２枚の視差画像を生成し、３Ｄ画像として鑑賞する技術である。
このような変換技術を用いた装置として、特許文献１〜３が提案されている。

特許文献１記載の奥行きデータ生成装置では、背景画像と被写体である対象物画像を分離し、奥行き値データを生成し、奥行きデータを出力している。
特許文献２記載の画像処理装置では、２次元画像を左右にシフトさせ、左右眼用の画像を生成し、２次元画像を立体的に表示させることができる。
特許文献３記載の疑似立体画像作成装置では、撮影シーンを推測して推測データを作成することにより、擬似立体画像を生成している。

特開２００９−２１１５６１号公報 特開２０１０−１７１６０８号公報 特許第４２１４９７６号公報

しかしながら、従来の装置では、特に近景において誤った立体画像を生成しやすいという問題があった。例えば、信号機の赤、青、黄色部分の飛び出し感が色ごとに異なる場合や、平面に描かれたポスターが飛び出して見えてしまう場合である。

特許文献１記載の奥行きデータ生成装置では、２次元画像から立体画像を生成しており、画像の輪郭を抽出して処理を実施している。このため、例えば、ポスターや看板が被写体内にあった場合は、誤認識してしまうことにより正確な距離情報の取得ができず、立体画像生成ができないおそれがある。

また、特許文献２記載の画像処理装置のように単純に２次元画像をシフトするだけでは、質の高い３Ｄ画像を表示することが難しい。
さらに、特許文献３記載の疑似立体画像作成装置では、撮影シーンを推測するときに色情報を加味しているため、色によっては、疑似立体画像の生成において破綻が起こりやすいという問題点がある。

本発明は、上記に鑑みてなされたものであって、近景の立体画像を自然な立体画像にすることのできる立体画像取得装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る立体画像取得装置は、少なくとも２つの視差画像を取得する光学系と、１つの２Ｄ画像から第１立体画像を生成する第１画像生成手段と、少なくとも２つの視差画像から第２立体画像を生成する第２画像生成手段と、第１画像生成手段と第２画像生成手段を選択する立体画像選択手段と、を備え、立体画像選択手段は、第１画像生成手段が第２画像生成手段より遠景の被写体に用いられるように選択を行うことを特徴としている。

本発明に係る立体画像取得装置において、第１画像形成手段は、２つの視差画像のうち１つの２Ｄ画像又は光学系による２Ｄ画像から第１立体画像を生成することが好ましい。

本発明に係る立体画像取得装置において、光学系は、入射光の瞳を分割して少なくとも２つの視差画像を取得し、少なくとも２つの視差画像の光軸の差は人間の眼幅の１／１００以上、１／５以下であることが好ましい。

本発明に係る立体画像取得装置において、立体画像選択手段は、少なくとも２つの視差画像の視差量に基づいて選択を行うことが好ましい。

本発明に係る立体画像取得装置において、第１画像生成手段が生成した第１立体画像と、第２画像生成手段が生成した第２立体画像と、が混在可能であることが好ましい。

本発明に係る立体画像取得装置において、光学系のフォーカスレンズの位置により被写体までの距離を予測し、撮影シーンを判断する撮影シーン取得手段を備えることが好ましい。

本発明に係る立体画像取得装置において、第１画像生成手段は、取得した２Ｄ画像を左右方向にシフトして２枚の画像を生成することが好ましい。

本発明に係る立体画像取得装置において、取得した少なくとも２枚の視差画像を左右方向に一律にシフトして保存することが好ましい。

本発明に係る立体画像取得装置において、取得した少なくとも２枚の視差画像に基づいて視差量の分布を作成し、視差量を制御できることが好ましい。

本発明に係る立体画像取得装置は、近景の立体画像を自然な立体画像にすることができる、という効果を奏する。

本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。 瞳分割撮影の原理を示す概念図である。 （ａ）は、図２における左画像を示す概念図であり、（ｂ）は、図２における右画像を示す概念図である。 本発明の実施形態に係るデジタルカメラを用いた立体画像の取得の流れを示すフローチャートである。 近景について立体画像を生成する過程を概念的に説明する図である。 遠景について立体画像を生成する過程を概念的に説明する図である。 近景の人物と遠景の風景が混在している場合に立体画像を生成する過程を概念的に示す図である。

以下に、本発明に係る立体画像取得装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
図１は本発明の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。
立体画像撮像装置としてのデジタルカメラ１００は、レンズモジュール１１０と、このレンズモジュール１１０が脱着可能なカメラボディ１７０と、を備える。
レンズモジュール１１０は、少なくとも２つの視差画像を取得する光学系として、複数のレンズ（フォーカスレンズ）１１１、１１２、１１３と、瞳分割部材１２１と、撮像素子１２０と、を備える。

撮像素子１２０は撮像面に結像された被写体像を光電変換し電気的な画像信号を生成する。
瞳分割部材１２１は、第１レンズ１１１と第２レンズ１１２との間に配置され、レンズモジュール１１０への入射光の瞳を分割して撮像素子１２０の撮像面上に２つの視差画像を結像させる。
なお、瞳分割部材１２１は、デジタルカメラ１００の仕様に応じて、第１レンズ１１１と第２レンズ１１２との間以外の位置に配置することができる。また、瞳分割部材１２１は、３つ以上の視差画像を結像させる構成を取ることもできる。

カメラボディ１７０は、画像処理部１４０、出力処理部１４３、記録部１４４、指示部１４５、及びシステム制御部１５０を備える。
画像処理部１４０は、２Ｄ３Ｄ変換部１４１及び３Ｄフォーマット変換部１４２を備える。
システム制御部１５０は、保存方法判断部１５１、シーン判断部１５２、レンズ制御部１５３、及び瞳分割部材制御部１５４を備える。

２Ｄ３Ｄ変換部１４１は、第１画像生成手段として、１つの２Ｄ画像から第１立体画像を生成する。

３Ｄフォーマット変換部１４２は、第２画像生成手段として、少なくとも２つの視差画像から第２立体画像を生成する。
また、３Ｄフォーマット変換部１４２は、指示部１４５が３Ｄモードを選択すると、システム制御部１５０によって３Ｄモードに設定される。３Ｄフォーマット変換部１４２は、設定されたモードに対応し、３Ｄフォーマット変換を行う。３Ｄフォーマット変換としては、例えば、ＳＩＤＥ ＢＹ ＳＩＤＥ、ＬＩＮＥ ＢＹ ＬＩＮＥ、ＡＢＯＶＥ−ＢＥＬＯＷ、ＣＨＥＣＫＥＲＢＯＡＲＤを用いる。

出力処理部１４３は、画像処理部１４０により表示用に処理された画像（３Ｄフォーマット変換された画像を含む）を、ＴＶ等の外部表示装置への画像出力を行う。さらに、このデジタルカメラ１００の操作に係るメニューの表示などを行う表示デバイスへの画像出力処理も行う。

記録部１４４は、画像処理部１４０により記録用に処理された画像データを不揮発に記憶するものであり、例えばメモリカードなどのデジタルカメラ１００の外部に搬出し得るリムーバブルメモリとして構成されている。従って、記録部１４４は、デジタルカメラ１００に固有の構成でなくても構わない。

指示部１４５は、デジタルカメラ１００に対する操作入力を行うためのユーザーインタフェースであり、電源のオン／オフを指示するための電源ボタンや撮影開始を指示するための撮影ボタン、３Ｄモード等を設定するための撮像モード設定ボタン、その他各種の設定ボタンなどを含む。

シーン判断部１５２は、撮影シーン取得手段として、レンズモジュール１１０の第１レンズ１１１、第２レンズ１１２、及び第３レンズ１１３の位置により前記被写体までの距離を予測し、撮影シーンを判断する。
保存方法判断部１５１は、シーン判断部１５２が判断した撮影シーンに基づいて保存方法を判断し、この判断結果にしたがって、撮像素子１２０によって得られた画像を保存する。保存方法判断部１５１は、立体画像選択手段として、第１画像生成手段と第２画像生成手段を選択する。この選択は、第１画像生成手段が第２画像生成手段より遠景の被写体に用いられるように行う。

レンズ制御部１５３は、システム制御部１５０からの指示信号にしたがって、第１レンズ１１１、第２レンズ１１２、及び第３レンズ１３を駆動するための制御信号を不図示のレンズ駆動部に対してそれぞれ出力する。

瞳分割部材制御部１５４は、システム制御部１５０からの指示信号にしたがって、瞳分割部材１２１を第１レンズ１１１、第２レンズ１１２、及び第３レンズ１１３の光軸ＡＸに沿った方向に移動させる。

図２は、瞳分割撮影の原理を示す概念図である。図３（ａ）は、図２における左画像を示す概念図であり、（ｂ）は、図２における右画像を示す概念図である。
図２、図３において、２つの視差画像を取得するためのレンズ１１０Ｌ（光軸ＡＸ）は、開口絞り１１０Ｓによって、被写体に対して左右に分割されている。開口絞り１１０Ｓによって分割された開口領域を通った光は、撮像素子１２０上に別々に結像する。これら２つの画像は、開口絞り１１０Ｓの開口によって定まる視差量Ａを有する。
このように撮影した２枚の画像を、３Ｄテレビに表示させると立体視することが可能である。
なお、瞳分割撮影の方法はこれだけにかぎったものではなく、例えば液晶シャッターを使用して左右の開口の透過率を切り替える方法でもかまわない。また、光学系内のレンズや瞳分割部材の構成や配置も、少なくとも２つの視差画像を取得できれば、上記構成に限らない。

ここで、図１の瞳分割部材１２１は図２、３の開口絞り１１０Ｓに対応し、図１の第２レンズ１１２及び第３レンズ１１３は、図２、３のレンズ１１０Ｌに対応する。したがって、レンズモジュール１１０への入射光は、瞳分割部材１２１によって被写体に対して左右に分割され、撮像素子１２０上に２つの視差画像が結像する。これらの視差画像は、瞳分割部材１２１の仕様にしたがった視差量を有する。３Ｄフォーマット変換部１４２は、撮影された２枚の画像を用いて立体画像（第２立体画像）を生成した後に、３Ｄフォーマット変換を施す。３Ｄフォーマット変換された画像は、出力処理部１４３によって外部表示装置へ画像出力され、外部表示装置において立体視することができる。

これに対して、瞳分割部材１２１によって瞳分割せずに撮像素子１２０上に１つの２Ｄ画像を結像させ、２Ｄ３Ｄ変換部１４１において、得られた１つの２Ｄ画像から立体画像（第１立体画像）を生成することもできる。
瞳分割を行うか否かは、シーン判断部１５２による撮影シーンの判断結果にしたがって、保存方法判断部１５１が判断する。

なお、２Ｄ３Ｄ変換部１４１は、瞳分割して得られた視差画像から立体画像を生成することもできる。

デジタルカメラ１００が生成した３Ｄ画像を３Ｄテレビその他の外部表示装置で観察する場合、レンズモジュール１１０で取得する視差量Ａ、すなわち２つの視差画像の光軸の差は、実験の結果から、人間の眼幅の１／１００以上、１／５以下であることが望ましい。この条件を満足すれば、近景被写体に対して立体画像を取得することが可能である。なお、人間の眼幅（瞳孔間距離）は、一般的に５０ｍｍ〜７０ｍｍである。

従来の撮影方法の場合、近景〜中間距離までの被写体であれば十分な立体感が得られて、かつ疲労の少ない立体画像を取得することができるが、遠景風景の被写体については、立体感が得られにくいといった欠点がある。

これに対して、本実施形態に係るデジタルカメラ１００においては、近景〜中間距離までの被写体に対しては、レンズモジュール１１０で取得した画像で立体画像を生成し、３Ｄ表示側へそのままデータを送ることで、立体視を可能としている。一方、遠景風景については、画像処理で立体感を持たせるようにしている。

図４は、デジタルカメラ１００を用いた立体画像の取得の流れを示すフローチャートである。図５は、近景について立体画像を生成する過程を概念的に説明する図である。図６は、遠景について立体画像を生成する過程を概念的に説明する図である。図５において、（ａ）は右眼画像、（ｂ）は左眼画像、（ｃ）は（ａ）、（ｂ）によって生成された立体画像を示している。図６において、（ａ）は撮影した２Ｄ画像、（ｂ）及び（ｃ）は（ａ）と同じ２Ｄ画像、（ｄ）は（ｂ）、（ｃ）によって生成された立体画像を示している。

デジタルカメラ１００においては、図４に示すように、シーン判断部１５２が撮影シーンを判断し、近景であった場合は、保存方法判断部１５１は２つの視差画像を取得する。これに対して、撮影シーンが遠景であった場合は、保存方法判断部１５１は、１つの２Ｄ画像を取得し、この２Ｄ画像に対して２Ｄ３Ｄ変換部１４１が画像処理を施すことによって３Ｄ映像を生成する。

撮影を開始すると、まず、システム制御部１５０は３Ｄモードか否かを判断する（ステップＳ１０１）。具体的には、ユーザによって指示部１４５で３Ｄモードが選択されたか否かを判断する。
３Ｄモードでない場合（ステップＳ１０１で「いいえ」）、２Ｄモードで撮影を行う（ステップＳ２０１）。２Ｄモードでの撮影は従来からある撮影と同様であるため説明は省略する。

一方、３Ｄモードである場合（ステップＳ１０１で「はい」）、シーン判断部１５２は撮影シーンの判断を行う（ステップＳ１０２）。ここで、シーン判断部１５２は、第１レンズ１１１、第２レンズ１１２、及び第３レンズ１１３の位置により被写体までの距離情報を取得し、近景か遠景かを判断する。

次に、保存方法判断部１５１は、シーン判断部１５２による判断結果にしたがって、遠景の場合の処理と近景の場合の処理のいずれかを選択する（ステップＳ１０３）。

保存方法判断部１５１が近景の場合の処理を選んだとき（ステップＳ１０３で「近景」）、次の処理（ステップＳ１０４〜Ｓ１０７）を行う。
まず、１５４は、図５（ａ）に例示する右眼画像、及び、図５（ｂ）に例示する左眼画像、にそれぞれ対応するように、瞳分割部材１２１を順次駆動し（ステップＳ１０４）、２つの視差画像の撮影として、撮像素子１２０は右眼画像及び左眼画像を順に取得する（ステップＳ１０５）。

ステップＳ１０５で撮影された２つの２Ｄ画像、すなわち右眼画像及び左眼画像は、立体画像（第２立体画像）として、３Ｄフォーマット変換部１４２によって３Ｄフォーマットに変換される（ステップＳ１０６）。３Ｄフォーマットに変換された画像は記録部１４４に保存され（ステップＳ１０７）、撮影が終了する。
保存された２枚の画像は、図５（ｃ）において実線で示す右眼画像と破線で示す左眼画像のように視差が生じるため、外部表示装置において立体視が可能となる。

一方、保存方法判断部１５１が遠景の場合の処理を選んだとき（ステップＳ１０３で「遠景」）、次の処理（ステップＳ１０８〜Ｓ１１１）を行う。
まず、デジタルカメラ１００は、瞳分割せずに１枚の２Ｄ画像を撮影する（ステップＳ１０８）。この撮影によって取得された２Ｄ画像は、２Ｄ３Ｄ変換部１４１によって立体画像（第１立体画像）に変換される（ステップＳ１０９）。変換された画像は、３Ｄフォーマット変換部１４２によって３Ｄフォーマットに変換される（ステップＳ１１０）。３Ｄフォーマットに変換された画像は記録部１４４に保存され（ステップＳ１１１）、撮影が終了する。

遠景の被写体では、視差が少なくなることから、取得した１つの２Ｄ画像（図６（ａ））を複製して２つの２Ｄ画像（図６（ｂ）、（ｃ））を生成し、これらの２Ｄ画像を互いにシフトさせて一組の３Ｄ画像（図６（ｄ））とすることで、立体視が可能となる。

以上のように、本実施形態のデジタルカメラ１００においては、撮影シーンに応じて、近景の被写体についてはレンズモジュール１１０で取得した２つの視差画像をそのまま立体画像に生成し、遠景の被写体についてはレンズモジュール１１０で取得した２Ｄ画像から画像処理をして立体画像出力に使用する。これにより、近景の立体画像を自然な立体画像とすることが可能となる。

ここで、撮影シーンの判断（判別）について説明する。
撮影シーンの判断については、デジタルカメラ１００のシーンモードを使用する。一般に、デジタルカメラでは、シーン判別を行なっており、フォーカスレンズの位置によって、近景か遠景かなどを判断することが可能である。また、顔認証などでは、画像を判断し、人物の顔を判断することができる。

デジタルカメラ１００における撮影シーンの判断は、少なくとも２つ以上の撮影画像の視差量で被写体距離を判断する。近景の被写体では、２つの画像の視差量は大きくなるが、遠景では、視差量が小さくなる。このことから、視差量が多い場合は近景であり、視差量が小さい場合は遠景である、というようにシーンを判断する。

次に、遠景の被写体の場合に行う画像処理（図４のステップＳ１０９）について説明する。
（１）画像一律シフト
２Ｄ３Ｄ変換部１４１は、撮影によって得られた１つの２Ｄ画像（図６（ａ））の全体を、左右方向にそれぞれ一律にシフトさせた２つの画像（図６（ｂ）、（ｃ））を生成し、それぞれを記録部１４４に保存する。撮影によって得られた１つの画像を左右方向にシフトさせた場合、これら２つの画像を表示すると、奥行き感を認識することが可能となる。

（２）視差量調整
、少なくとも二つ以上の撮影された画像の視差量を判断することができる。この視差量を分析し、視差量が少ない場合は、視差量を強調して保存することが好ましい。これにより、観察時には視差量を強調して表示することができ、立体感を増すことが可能である。

次に近景と遠景が混在している場合について説明する。
撮影シーンは、近景のみの場合（図５）、又は、遠景のみの場合（図６）のほか、近景と遠景が混在している場合もある。混在している場合の撮影シーンの判断及び画像処理について、図７を参照しつつ説明する。ここで、図７は、近景の人物と遠景の風景が混在している場合に立体画像を生成する過程を概念的に示す図である。図７の（ａ）は、遠景について画像処理を行う前の画像を示し、（ｂ）は遠景について画像処理を行った後の画像を示している。

シーン判断部１５２による撮影シーン判断により、近景被写体と遠景被写体が混ざりあっていたことが分かった場合、シーン判断部１５２は画像内の視差量の分布を作成し、取得した画像の遠景被写体を画像処理して、視差量を大きくして奥行き感を増す。ここで、シーン判断部１５２は、取得された視差画像の視差量が大きい場合は近景と判断し、視差量が少ない場合は遠景と判断している。
図７に示すように人物と風景が混ざり合った場合、２Ｄ３Ｄ変換部１４１は、視差量の少ない遠景風景（領域Ｄ）の視差量を増やす処理を実施する。視差量を増やす画像処理は、遠景風景部分について、上述の遠景のみの場合と同様に画像をシフトした２つの画像を生成し、これらの画像を左右方向にシフトさせることによって行うとよい。

以上のように、本発明に係る立体画像取得装置は、より自然な立体画像を生成することに有用である。

１００ デジタルカメラ
１１０ レンズモジュール
１１０Ｌ レンズ
１１０Ｓ 開口絞り
１１１ 第１レンズ
１１２ 第２レンズ
１１３ 第３レンズ
１２０ 撮像素子
１２１ 瞳分割部材
１４０ 画像処理部
１４１ ２Ｄ３Ｄ変換部
１４２ ３Ｄフォーマット変換部
１４３ 出力処理部
１４４ 記録部
１４５ 指示部
１５０ システム制御部
１５１ 保存方法判断部
１５２ シーン判断部
１５３ レンズ制御部
１５４ 瞳分割部材制御部
１７０ カメラボディ

Claims (9)

1. 少なくとも２つの視差画像を取得する光学系と、
   １つの２Ｄ画像から第１立体画像を生成する第１画像生成手段と、
   前記少なくとも２つの視差画像から第２立体画像を生成する第２画像生成手段と、
   前記第１画像生成手段と前記第２画像生成手段を選択する立体画像選択手段と、
   を備え、
   前記立体画像選択手段は、前記第１画像生成手段が前記第２画像生成手段より遠景の被写体に用いられるように選択を行うことを特徴とする立体画像取得装置。
2. 前記第１画像形成手段は、前記２つの視差画像のうち１つの２Ｄ画像又は前記光学系による２Ｄ画像から前記第１立体画像を生成することを特徴とする請求項１に記載の立体画像取得装置。
3. 前記光学系は、入射光の瞳を分割して前記少なくとも２つの視差画像を取得し、前記少なくとも２つの視差画像の光軸の差は人間の眼幅の１／１００以上、１／５以下であることを特徴とする請求項１に記載の立体画像取得装置。
4. 前記立体画像選択手段は、前記少なくとも２つの視差画像の視差量に基づいて選択を行うことを特徴とする請求項１に記載の立体画像取得装置。
5. 前記第１画像生成手段が生成した前記第１立体画像と、前記第２画像生成手段が生成した前記第２立体画像と、が混在可能であることを特徴とする請求項１に記載の立体画像取得装置。
6. 前記光学系のフォーカスレンズの位置により前記被写体までの距離を予測し、撮影シーンを判断する撮影シーン取得手段を備えることを特徴とする請求項１に記載の立体画像取得装置。
7. 前記第１画像生成手段は、取得した前記２Ｄ画像を左右方向にそれぞれシフトすることにより２枚の画像を生成することを特徴とする請求項１に記載の立体画像取得装置。
8. 取得した前記少なくとも２枚の視差画像を左右方向に一律にシフトして保存することを特徴とする請求項１に記載の立体画像取得装置。
9. 取得した前記少なくとも２枚の視差画像に基づいて視差量の分布を作成し、視差量を制御できることを特徴とする請求項１に記載の立体画像取得装置。

Images