JP2010154311A - 複眼撮像装置及び立体画像取得方法 - Google Patents

Abstract

【課題】視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成する。
【解決手段】所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて、検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完する。
【選択図】 図９

Description

本発明は複眼撮像装置及び立体画像取得方法に係り、特に、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成できる複眼撮像装置及び立体画像取得方法に関する。

複数の撮像手段によって、視差のある２枚以上の画像を撮影し、それら異なる画像を観察者が左右の目で同時に見ることにより、画像を立体視する方法が知られている。このような視差のある２枚の画像を撮影するために、２台のカメラの同期信号をずらして撮影することが行われている。

しかしながら、上記のように同期信号をずらして撮影すると、画面の一部が欠けてしまうという問題点があった。

このような問題点に対し、特許文献１には、画面位置をずらしたことにより一方のカメラの画像信号が欠けた信号の代わりに、もう一方のカメラの信号を用いて補う技術が記載されている。この技術によれば、同期ずれ、画像の欠如のない立体画像信号を得ることが可能となる。
特開平１０−１８６５４９号公報

特許文献１に記載の技術では、同期信号をずらすことにより生じた欠落した画像信号をもう一方のカメラの画像信号で補完するため、同期信号をずらした分で発生した定型の差分画像しか補完することができないという欠点があった。例えば、複数の撮像系のうちの１つに異常があった場合であっても、特許文献１の技術では、この異常に起因する画像の異常エリアについて補完することはできない。

この異常エリアについて、具体的に説明する。図１は、従来の複眼撮像装置の構成を示す図である。同図に示すように、従来の複眼撮像装置１００は、左撮像系１０１、右撮像系１０２、制御システム１０３、立体表示装置１０４等から構成される。

複眼撮像装置１００は、左撮像系１０１と右撮像系１０２において、視差のある２枚の画像を撮影し、撮影した２枚の画像を用いて立体表示装置１０４に立体画像の表示を行う。

ここで、左撮像系１０１の光路に指や紙片等が被った場合について考える。このような場合に左撮像系１０１において撮影した画像を図２（ｂ）、右撮像系１０２において撮影した画像を図２（ｃ）とする。図２（ｂ）に示すように、左撮像系１０１において撮影された画像には、紙片等による黒つぶれ部が発生する。したがって、これらの画像から生成される立体画像には、図２（ａ）に示すように、左撮像系１０１の紙片等による黒つぶれ部に該当する部分が立体画像として成り立たない箇所が発生してしまう。

このように、従来の複眼撮像装置は、一方の撮像系の光路に異物等が乗った場合に、その撮像系の撮像データの一部が黒つぶれし、立体視に適さない撮像データとなってしまうという問題点があった。

また、左撮像系１０１と右撮像系１０２の撮像素子の飽和量や感度等の特性差が異なっている場合に、一方の撮像データの一部に白トビが発生することがある。このような場合においても、立体視に適さない撮像データとなってしまうという問題点があった。

しかしながら、このように発生した黒つぶれや白トビに対しては、特許文献１の技術を用いても補完することはできない。

本発明はこのような事情に鑑みてなされたもので、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成できる複眼撮像装置及び立体画像取得方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の複眼撮像装置は、撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する複眼撮像装置において、前記複数の画像データから異常エリアを検出する検出手段と、異常エリアが検出された場合に、異常エリアが検出されなかった画像データを用いて前記検出された異常エリアを補完するための補完データを生成する生成手段と、前記補完データを用いて前記異常エリアを補完する手段とを備えたことを特徴とする。

本発明によれば、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完するようにしたので、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することができる。

請求項２に示すように請求項１に記載の複眼撮像装置において、前記検出手段は、画像データの黒つぶれまたは白とび、または指掛かりのエリアのうち前記複数の画像データ間で共通でないエリアを異常エリアとして検出することを特徴とする。

これにより、適切に異常エリアを検出することができる。

請求項３に示すように請求項１または２に記載の複眼撮像装置において、前記生成手段は、前記異常エリアが検出されなかった画像データから前記異常エリアに相当する位置に存在する被写体の画像データを抽出し、前記抽出した画像データを用いて補完データを生成することを特徴とする。

これにより、適切に補完データを生成することができる。

請求項４に示すように請求項３に記載の複眼撮像装置において、前記異常エリアが検出されなかった画像データの撮像手段を用いて被写体の奥行き情報を取得する取得手段と、前記取得した奥行き情報に基づいて前記抽出した画像データの視差分の補正を行う手段とを備えたことを特徴とする。

これにより、適切に視差分が補正された補完データを生成することができる。

請求項５に示すように請求項１から４のいずれかに記載の複眼撮像装置において、前記補完手段は、前記補完データを前記異常エリアに代えて合成することを特徴とする。

これにより、適切に補完データを生成することができる。

請求項６に示すように請求項５に記載の複眼撮像装置において、前記補完手段は、前記異常エリアが検出された画像と前記補完データとの境目が自然になるようなスムージング処理を行って合成することを特徴とする。

これにより、適切に立体画像を取得することができる。

前記目的を達成するために請求項７に記載の立体画像取得方法は、撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する立体画像取得方法において、前記複数の画像データから異常エリアを検出する検出工程と、異常エリアが検出された場合に、該異常エリアを補完するための補完データを異常エリアが検出されなかった画像データを用いて生成する生成工程と、前記補完データを用いて前記異常エリアを補完する工程とを備えたことを特徴とする。

本発明によれば、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完するようにしたので、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することができる。

本発明によれば、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完するようにしたので、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することができる。

以下に、本発明を実施するための最良の形態について説明する。

＜複眼撮像装置の構成＞
複眼撮像装置１は、左右の視差が設けられた光路を持つ２系統の撮像系を有しており、それぞれの撮像系において右画像及び左画像を撮影する。

図３は、複眼撮像装置１の電気的構成の一例を示す図である。同図に示すように、複眼撮像装置１は、右光学系１０、右撮像素子１１、右ＣＤＳ部１２、右ＡＭＰ部１３、右Ａ／Ｄ変換器１４、右デジタル信号処理部１５、左光学系２０、左撮像素子２１、左ＣＤＳ部２２、左ＡＭＰ部２３、左Ａ／Ｄ変換器２４、左デジタル信号処理部２５、ＣＣＤ駆動制御部３１、左右面ＡＭＰゲイン制御部３２、左右面画像記録装置（メモリ部）３３、ＣＰＵ３４、ユーザ操作部３５、及び画像表示部・画像表示制御部３６等から構成される。

各部はＣＰＵ３４に制御されて動作し、ＣＰＵ３４は、ユーザ操作部３５からの入力に基づき所定の制御プログラムを実行することにより、複眼撮像装置１の各部を制御する。

複眼撮像装置１は図示しないＲＯＭを備えており、ＲＯＭにはＣＰＵ３４が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ３４は、ＲＯＭに記録された制御プログラムを左右面画像記録装置３３に読み出し、逐次実行することにより、複眼撮像装置１の各部を制御する。

なお、左右面画像記録装置３３は、プログラムの実行処理領域として利用されるほか、画像データ等の記憶領域、各種作業領域として利用される。

ユーザ操作部３５は、図示しない電源ボタン、シャッターレリーズボタン、撮影モード／再生モード切替スイッチ等を備え、それぞれの操作に応じた信号をＣＰＵ３４に出力する。

まず、右画像を撮影する構成要素について説明する。

右光学系１０は、図示しないズームレンズ、フォーカスレンズ、絞り、メカシャッタ、レンズ駆動部を含み、レンズ駆動部に駆動されて、ズーミング、フォーカシング、絞りの開口量（Ｆ値）変更、及びメカシャッタの開閉を行う。

右撮像素子１１は、右光学系１０の後段に配置されており、右光学系１０を透過した被写体光を受光する。

右撮像素子１１の受光面には図示しない多数の受光素子が二次元的に配列されており、各受光素子に対応して図示しない赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。

各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この信号をＣＣＤ駆動制御部３１から供給されるクロックに同期して、１ラインずつ図示しない水平転送路に転送する。さらに水平転送路は、垂直転送路から転送された１ライン分の信号を、ＣＣＤ駆動制御部３１から供給されるクロックに同期して右ＣＤＳ部１２へ出力する。

右ＣＤＳ部１２は、画像信号に含まれているノイズの除去を行い、右ＡＭＰ部１３へ出力する。右ＡＭＰ部１３は、ノイズが除去された画像信号を左右面ＡＭＰゲイン制御部３２において設定されたゲインで増幅する。所要の信号処理が施されたアナログの画像信号は、右Ａ／Ｄ変換器１４に入力され、所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるＲＡＷデータであり、画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を有している。

このデジタルの画像信号は、右デジタル信号処理部１５において輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に変換され、左右面画像記録装置３３に記録される。

次に、左画像を撮影する構成要素について説明する。左画像を撮影する構成要素についても、右画像を撮影する構成要素と同様となっている。

すなわち、左光学系２０は、図示しないズームレンズ、フォーカスレンズ、絞り、メカシャッタ、レンズ駆動部を含み、ＣＰＵ３４からの指令に基づいて、ズーミング、フォーカシング、絞りの開口量（Ｆ値）変更、及びメカシャッタの開閉を行う。

左撮像素子２１は、左光学系２０の後段に配置されており、左光学系２０を透過した被写体光を受光する。左撮像素子２１の各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出され、垂直転送路及び水平転送路により左ＣＤＳ部２２へ出力される。

左ＣＤＳ部２２、左ＡＭＰ部２３において信号処理が施されたアナログの画像信号は、左Ａ／Ｄ変換器２４においてデジタルの画像信号に変換され、左デジタル信号処理部２５において輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に変換され、左右面画像記録装置３３に記録される。

本実施の形態では、右撮像素子１１及び左撮像素子２１は、ＣＣＤイメージセンサを用いているが、ＣＭＯＳイメージセンサを用いてもよい。

画像表示部３６は、動画（スルー画像）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（ポストビュー画像）や左右面画像記録装置３３から読み出した再生画像等を立体表示することができるレンチキュラーレンズ式の３Ｄモニタである。

ＣＰＵ３４は、上記の２系統の撮像系によってそれぞれ撮影された右画像と左画像とに基づいて立体画像を生成し、画像表示部３６に表示を行う。ユーザは、両目で画像表示部３６を見ることにより、立体視を行うことが可能となる。

なお、スルー画像の表示は、複眼撮像装置１が撮影モードにセットされると開始される。すなわち、複眼撮像装置１が撮影モードにセットされると、画像表示部３６に立体視可能なスルー画像を表示するため、右撮像素子１１及び左撮像素子２１から画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると一旦停止され、本撮影が終了すると再度開始される。なお、本撮影終了時には、一定時間、画像表示部３６に本撮影された立体画像が表示される。ユーザは、ポストビューを確認することにより、撮影した立体画像が適切に撮影できたか否かを確認することができる。

＜欠損データの補完処理＞
次に、本発明に係る欠損データの補完処理について説明する。図４は、複眼撮像装置１における撮像画像の異常エリアの抽出と、被写体との位置情報及び奥行き情報の取得の動作について示したフローチャートである。

複眼撮像装置１は、ユーザ操作部３５の図示しないシャッターレリーズボタンにより本撮影指示が入力されると（ステップＳ１）、ＡＥ動作を開始する（ステップＳ２）。

ＡＥ動作は、左右の撮像系において画像信号を取得し、左右面画像記録装置３３に画像を格納する。この格納された画像信号をＣＰＵ３４において取り込み、ＡＥ制御に必要な積算値を算出する。ＣＰＵ３４は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタスピードを決定する。

次に、左右面画像記録装置３３に格納された左画像を取得し（ステップＳ３ａ）、一定範囲のダーク部分、すなわち黒つぶれ部分の有無を検出する（ステップＳ４ａ）。一定範囲のダーク部分が存在する場合は、ダーク部分の位置を記憶する（ステップＳ５ａ）。

さらに、左画像において、一定範囲のクリップ部分、すなわち白トビ部分の有無を検出する（ステップＳ６ａ）。一定範囲のクリップ部分が存在する場合は、クリップ部分の位置を記憶する（ステップＳ７ａ）。

これと並列に、ＣＰＵ３４は、左右面画像記録装置３３に格納された右画像を取得し（ステップＳ３ｂ）、一定範囲のダーク部分、すなわち黒つぶれ部分の有無を検出する（ステップＳ４ｂ）。一定範囲のダーク部分が存在する場合は、ダーク部分の位置を記憶する（ステップＳ５ｂ）。

同様に、右画像において、一定範囲のクリップ部分、すなわち白トビ部分の有無を検出する（ステップＳ６ｂ）。一定範囲のクリップ部分が存在する場合は、クリップ部分の位置を記憶する（ステップＳ７ｂ）。

図５は、各撮像系において正常に撮影された画像の一例を示す図であり、図５（ａ）は左画像、図５（ｂ）は右画像を示している。同図に示すように、各光学系に異常が無い場合は、所定の視差を持つ２枚の画像が撮影される。

また、図６は、左光学系２０に指等による障害が入った場合に撮影された画像の一例を示す図であり、図６（ａ）は左画像、図６（ｂ）は右画像を示している。同図に示すように、一方の光学系に指等による障害が入ると、その一方の画像の一部分が黒つぶれしてしまう。複眼撮像装置１は、このような画像の異常エリアの検出を行う。

ダーク部分とクリップ部分の異常エリアの検出が終了したら、検出されたそれぞれの異常エリアの位置が左画像と右画像で近傍位置か否かを判定する（ステップＳ８）。両方の撮像系に異常エリアの原因が存在した場合であっても、左画像と右画像とでは視差が存在するため、ダーク部分やクリップ部分が全く同じ位置とはならないため、近傍位置か否かで判断を行う。

いずれの画像からも異常エリアが検出されなかった場合、及び検出された異常エリアが全てが近傍位置である場合は、異常個所無しと判断し（ステップＳ９）、欠損データの補完要求を行わず（ステップＳ１０）、通常の撮像を行う（ステップＳ１２）。

左画像と右画像とで異なる位置に異常エリアが存在する場合は、この異常エリアが、補完の必要な広い領域であるか否かを判定する（ステップＳ１３）。広いか否かの閾値は、例えば画像に占める割合の５％を超えるか否か等、適宜決定すればよい。

異常エリアが狭い領域のために補完が不要であると判断した場合は、ステップＳ１０に進み、補完要求を行わず、通常の撮像を行う（ステップＳ１２）。

異常エリアが広い領域のために補完が必要であると判断した場合は、異常エリアが存在する撮像系と、ダーク／クリップの種類、異常エリアの画像内の位置と範囲を左右面画像記録装置３３に記録する（ステップＳ１４）。

以上のように異常エリアの抽出が終了したら、次に、立体視を擬似的に成立させるための補完データを生成するために、異常エリアが存在しない撮像系のＡＦ機構を用いて、被写体の位置情報及び奥行き情報を取得する。

まず、異常エリアが存在しない撮像系において、図示しない絞りを開放にし、被写界深度を浅くする（ステップＳ１５）。

次に、図示しないフォーカスレンズを駆動して焦点位置を最至近距離に設定し、被写体を撮像し、得られた画像信号から被写体の合焦の状態を検出する（ステップＳ１６）。

ここで得られた画像信号から、合焦している被写体が存在するか否かを判定する（ステップＳ１７）。合焦している被写体が存在する場合は、合焦被写体の画像内の位置情報と奥行き情報を左右面画像記録装置３３に記録する（ステップＳ２０）。奥行き情報としては、図示しないフォーカスレンズの合焦位置と図示しないズームレンズの焦点距離から算出した、複眼撮像装置１と被写体との距離情報を記録する。

次に、図示しないフォーカスレンズの焦点位置の移動が可能か否かを判定し（ステップＳ１８）、移動可能な場合は、所定量だけ焦点位置を移動させ、ステップＳ１６に戻り、被写体を撮像し、得られた画像信号から被写体の合焦の状態を検出する。以下同様に、合焦している被写体が存在するか否かを判定し（ステップＳ１７）、合焦している被写体が存在する場合は、合焦被写体の画像内の位置情報と奥行き情報を記録する。

以上の動作を、図示しないフォーカスレンズの焦点位置の移動ができなくなるまで（無限遠に到達するまで）繰り返す。ステップＳ１８において、焦点位置の移動が不可能と判断した場合は、被写体の位置情報と奥行き情報の記録を完了し（ステップＳ２１）、本撮影準備を完了する（ステップＳ２２）。

図７に、フォーカスレンズの焦点位置を至近位置から無限遠位置まで所定量だけ移動させながら撮像した画像を示す。図７（ａ）では被写体５０ａ、図７（ｂ）では被写体５０ｂ、図７（ｃ）では被写体５０ｃに合焦している。すなわち、複眼撮像装置１と各被写体との距離は、５０ａ、５０ｂ、５０ｃの順に遠くなっていることがわかる。ＣＰＵ３４は、このように撮像した画像から、それぞれの合焦位置におけるフォーカスレンズの焦点位置とズームレンズの焦点距離に基づいて、複眼撮像装置１とそれぞれの被写体との距離を算出する。

なお、本実施の形態では、至近位置から無限遠位置まで図示しないフォーカスレンズを移動させて被写体の距離情報を取得したが、フォーカスレンズの移動方向は逆でもよい。すなわち、無限遠位置から至近位置まで焦点位置をスイープさせてもよい。また、本実施の形態では、合焦位置におけるフォーカスレンズの焦点位置から被写体との距離を算出したが、被写体が人物の場合は、各被写体の顔検出を行い、検出した顔のサイズから被写体との距離を算出してもよい。

次に、図８を用いて、補完データの生成と補完処理について説明する。

前述のように、本撮影の準備が完了すると、本撮影を開始する（ステップＳ２３）。本撮影は、左右の撮像系において図示しないフォーカスレンズを駆動して主要被写体に合焦動作し、図示しない絞りをステップＳ２において算出した絞り値に設定し、さらに図示しない電子シャッタやメカシャッタを用いて、ステップＳ２で算出したシャッタスピードに応じて撮像素子に対する露光を行う（ステップＳ２４）。

撮影された左画像及び右画像は、前述のように、左右面画像記録装置３３に記録される（ステップＳ２５、ステップＳ３０）。ここで、異常エリアが存在しない撮像系で撮影された画像を補正元データとし、異常エリアが存在する撮像系で撮影された画像を補正先データとする。

図９は、本撮影によって左右面画像記録装置３３に記録された画像の一例を示す図であり、図９（ａ）が左画像を、図９（ｂ）が右画像を示している。同図に示すように、左画像にはダーク部分の異常エリアが発生しており、左画像が補正先データ、右画像が補正元データとなる。なお、６１ａ、６１ｂは地平線を、６２ａ、６２ｂは道路の縁石を、６３ｂは人物の被写体を示している。

次に、補正先データの異常エリアと同じ位置の画像を、補正元データから切り出す。このとき、異常エリアの画像の特徴点と切り出す画像の特徴点とが同一となるように補正元データから切り出す。例えば、図９（ａ）に示す補正先データの異常エリアの特徴点は、（１）道路の縁石６２ａは含まれない、（２）地平線６１ａが含まれる、（３）左上の人物が全て含まれる、である。したがって、図９（ｂ）に示す補正元データから切り出す画像は、（１）道路の縁石６２ｂを含めない、（２）地平線６１ｂを含める、（３）左上の人物の被写体６３ｂを全て含める、ように切り出す。図９（ｃ）は、このように補正元データから切り出した画像を示している。なお、この切り出す画像は、異常エリアの画像の特徴点が含まれていれば、異常エリアより広範囲となるように切り出してもよい。

この切り出した画像から、輪郭抽出を行い、特徴的な被写体とそれ以外の背景とを分離する（ステップＳ２６）。図９（ｄ）は、このように分離した特徴的な被写体である人物の被写体６３ｂと背景６３ｅを示す図である。この分離した人物の被写体６３ｂの座標情報に基づいて、被写体に対してステップＳ２０において記録した奥行き情報を付与する（ステップＳ２７）。

次に、付与された奥行き情報に基づいて、特徴的な被写体である人物の被写体６３ｂの左右の撮像系の視差分のずれ量を算出する。この算出した視差分のずれ量だけ被写体の位置をずらして背景６３ｅに配置し（ステップＳ２８）、補完データを生成する（ステップＳ２９）。すなわち、視差分に応じたずれ量だけ人物の被写体６３ｂと背景とをずらすことにより、擬似的な視差を人物の被写体６３ｂに付与して、補完データを生成する。

さらに、補正先データの異常エリアを削除し、補完データを合成する（ステップＳ３１）。補完データが異常エリアより広範囲である場合には、のりしろ部分を適宜削除すればよい。また、特徴的な被写体以外の部分はスムージング処理を施し、合成境界が自然に見えるように加工する。

最後に、補正元データと共に、補完された補正先データを記録し（ステップＳ３２）、本撮影を終了する（ステップＳ３３）。

このように、左右の撮像系の持つ視差と被写体の奥行き情報とから、特徴的な被写体の視差分のずれ量を算出し、算出した視差分のずれ量だけ背景と被写体とをずらすことにより、被写体に擬似的な視差を与えることができる。したがって、一方の撮像系の画像に異常エリアが存在する場合であっても、擬似的に立体視可能な立体画像を生成することが可能となる。

補完データの生成は、他の手法を用いても構わない。

例えば、図９（ｅ）に示すように、補正先データの異常エリアを削除し、切り出した背景６３ｅを、補正先データの削除した異常エリアに合成する。このとき、スムージング処理を施し、合成境界が自然に見えるように加工する。

続いて、ＣＰＵ３４は、付与された奥行き情報に基づいて、特徴的な被写体である人物の被写体６３ｂにおける左右の撮像系の視差分のずれ量を算出する。この算出した視差分のずれ量だけ被写体の位置をずらして、図９（ｆ）に示すように、補正先データ上に配置する。また、被写体の位置をずらして配置したことにより、被写体と背景の境界が空白にならないように背景のスムージング処理を行う。

このように、背景を先に補正先データに合成した後、特徴のある被写体を視差に応じてずらして配置してもよい。この手法であっても、一方の撮像系の画像に異常エリアが存在する場合に、擬似的に立体視可能な立体画像を生成することが可能となる。

本実施の形態では、画像内の輝度分布を検出することにより、一定範囲の黒つぶれ部分または白とび部分であって、左右の画像で共通でない部分について異常エリアとして検出しているが、レンズの指掛かり部分を検出し、異常エリアとして検出してもよい。

例えば、画像の端を含む所定の輝度分布を持つエリアや肌色のエリアであって、左右の画像で共通でないエリアを指掛かり部分として異常エリアとして検出する。撮影レンズにユーザの指が掛かった場合に、肌色の領域として撮影される場合もあると考えられるからである。

また、本実施の形態の複眼撮像装置１は、２つの撮像系を備えているが、３つ以上の撮像光学系を備えていてもよい。この場合は、３つ以上の画像のうち、共通しないダーク部分やクリップ部分を異常エリアとして検出すればよい。

図１は、従来の複眼撮像装置の構成を示す図である。 図２は、複眼撮像装置１００において撮影した左画像と右画像を示す図である。 図３は、複眼撮像装置１の電気的構成の一例を示す図である。 図４は、異常エリアの抽出と、被写体の距離情報の取得の動作について示したフローチャートである。 図５は、各撮像系において正常に撮影された画像の一例を示す図である。 図６は、左光学系２０に指等による障害が入った場合に撮影された画像の一例を示す図である。 図７は、フォーカスレンズの焦点位置を至近位置から無限遠位置まで所定量だけ移動させながら撮像した画像を示す図である。 図８は、本撮影時における補完データの生成と補完処理について示したフローチャートである。 図９は、補完データの生成と補完処理について示した図である。

符号の説明

１…複眼撮像装置、１０…右光学系、１１…右撮像素子、１２…右ＣＤＳ部、１３…右ＡＭＰ部、１４…右Ａ／Ｄ変換器、１５…右デジタル信号処理部、２０…左光学系、２１…左撮像素子、２２…左ＣＤＳ部、２３…左ＡＭＰ部、２４…左Ａ／Ｄ変換器、２５…左デジタル信号処理部、３３…左右面画像記録装置、３４…ＣＰＵ、３５…ユーザ操作部、３６…画像表示部・画像表示制御部、１００…従来の複眼撮像装置

Claims (7)

1. 撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する複眼撮像装置において、
   前記複数の画像データから異常エリアを検出する検出手段と、
   異常エリアが検出された場合に、異常エリアが検出されなかった画像データを用いて前記検出された異常エリアを補完するための補完データを生成する生成手段と、
   前記補完データを用いて前記異常エリアを補完する手段と、
   を備えたことを特徴とする複眼撮像装置。
2. 前記検出手段は、画像データの黒つぶれまたは白とび、または指掛かりのエリアのうち前記複数の画像データ間で共通でないエリアを異常エリアとして検出することを特徴とする請求項１に記載の複眼撮像装置。
3. 前記生成手段は、前記異常エリアが検出されなかった画像データから前記異常エリアに相当する位置に存在する被写体の画像データを抽出し、前記抽出した画像データを用いて前記補完データを生成することを特徴とする請求項１または２に記載の複眼撮像装置。
4. 前記異常エリアが検出されなかった画像データの撮像手段を用いて被写体の奥行き情報を取得する取得手段と、
   前記取得した奥行き情報に基づいて前記抽出した画像データの視差分の補正を行う手段と、
   を備えたことを特徴とする請求項３に記載の複眼撮像装置。
5. 前記補完手段は、前記補完データを前記異常エリアに代えて合成することを特徴とする請求項１から４のいずれかに記載の複眼撮像装置。
6. 前記補完手段は、前記異常エリアが検出された画像と前記補完データとの境目が自然になるようなスムージング処理を行って合成することを特徴とする請求項５に記載の複眼撮像装置。
7. 撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する立体画像取得方法において、
   前記複数の画像データから異常エリアを検出する検出工程と、
   異常エリアが検出された場合に、該異常エリアを補完するための補完データを異常エリアが検出されなかった画像データを用いて生成する生成工程と、
   前記補完データを用いて前記異常エリアを補完する工程と、
   を備えたことを特徴とする立体画像取得方法。

Images