JP2010154311A - 複眼撮像装置及び立体画像取得方法 - Google Patents
複眼撮像装置及び立体画像取得方法 Download PDFInfo
- Publication number
- JP2010154311A JP2010154311A JP2008330975A JP2008330975A JP2010154311A JP 2010154311 A JP2010154311 A JP 2010154311A JP 2008330975 A JP2008330975 A JP 2008330975A JP 2008330975 A JP2008330975 A JP 2008330975A JP 2010154311 A JP2010154311 A JP 2010154311A
- Authority
- JP
- Japan
- Prior art keywords
- image
- abnormal area
- image data
- data
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】視差のある複数の画像のうち1つの画像に欠損データが発生した場合であっても正常な立体視画像を生成する。
【解決手段】所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて、検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完する。
【選択図】 図9
【解決手段】所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて、検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完する。
【選択図】 図9
Description
本発明は複眼撮像装置及び立体画像取得方法に係り、特に、視差のある複数の画像のうち1つの画像に欠損データが発生した場合であっても正常な立体視画像を生成できる複眼撮像装置及び立体画像取得方法に関する。
複数の撮像手段によって、視差のある2枚以上の画像を撮影し、それら異なる画像を観察者が左右の目で同時に見ることにより、画像を立体視する方法が知られている。このような視差のある2枚の画像を撮影するために、2台のカメラの同期信号をずらして撮影することが行われている。
しかしながら、上記のように同期信号をずらして撮影すると、画面の一部が欠けてしまうという問題点があった。
このような問題点に対し、特許文献1には、画面位置をずらしたことにより一方のカメラの画像信号が欠けた信号の代わりに、もう一方のカメラの信号を用いて補う技術が記載されている。この技術によれば、同期ずれ、画像の欠如のない立体画像信号を得ることが可能となる。
特開平10−186549号公報
特許文献1に記載の技術では、同期信号をずらすことにより生じた欠落した画像信号をもう一方のカメラの画像信号で補完するため、同期信号をずらした分で発生した定型の差分画像しか補完することができないという欠点があった。例えば、複数の撮像系のうちの1つに異常があった場合であっても、特許文献1の技術では、この異常に起因する画像の異常エリアについて補完することはできない。
この異常エリアについて、具体的に説明する。図1は、従来の複眼撮像装置の構成を示す図である。同図に示すように、従来の複眼撮像装置100は、左撮像系101、右撮像系102、制御システム103、立体表示装置104等から構成される。
複眼撮像装置100は、左撮像系101と右撮像系102において、視差のある2枚の画像を撮影し、撮影した2枚の画像を用いて立体表示装置104に立体画像の表示を行う。
ここで、左撮像系101の光路に指や紙片等が被った場合について考える。このような場合に左撮像系101において撮影した画像を図2(b)、右撮像系102において撮影した画像を図2(c)とする。図2(b)に示すように、左撮像系101において撮影された画像には、紙片等による黒つぶれ部が発生する。したがって、これらの画像から生成される立体画像には、図2(a)に示すように、左撮像系101の紙片等による黒つぶれ部に該当する部分が立体画像として成り立たない箇所が発生してしまう。
このように、従来の複眼撮像装置は、一方の撮像系の光路に異物等が乗った場合に、その撮像系の撮像データの一部が黒つぶれし、立体視に適さない撮像データとなってしまうという問題点があった。
また、左撮像系101と右撮像系102の撮像素子の飽和量や感度等の特性差が異なっている場合に、一方の撮像データの一部に白トビが発生することがある。このような場合においても、立体視に適さない撮像データとなってしまうという問題点があった。
しかしながら、このように発生した黒つぶれや白トビに対しては、特許文献1の技術を用いても補完することはできない。
本発明はこのような事情に鑑みてなされたもので、視差のある複数の画像のうち1つの画像に欠損データが発生した場合であっても正常な立体視画像を生成できる複眼撮像装置及び立体画像取得方法を提供することを目的とする。
前記目的を達成するために請求項1に記載の複眼撮像装置は、撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する複眼撮像装置において、前記複数の画像データから異常エリアを検出する検出手段と、異常エリアが検出された場合に、異常エリアが検出されなかった画像データを用いて前記検出された異常エリアを補完するための補完データを生成する生成手段と、前記補完データを用いて前記異常エリアを補完する手段とを備えたことを特徴とする。
本発明によれば、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完するようにしたので、視差のある複数の画像のうち1つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することができる。
請求項2に示すように請求項1に記載の複眼撮像装置において、前記検出手段は、画像データの黒つぶれまたは白とび、または指掛かりのエリアのうち前記複数の画像データ間で共通でないエリアを異常エリアとして検出することを特徴とする。
これにより、適切に異常エリアを検出することができる。
請求項3に示すように請求項1または2に記載の複眼撮像装置において、前記生成手段は、前記異常エリアが検出されなかった画像データから前記異常エリアに相当する位置に存在する被写体の画像データを抽出し、前記抽出した画像データを用いて補完データを生成することを特徴とする。
これにより、適切に補完データを生成することができる。
請求項4に示すように請求項3に記載の複眼撮像装置において、前記異常エリアが検出されなかった画像データの撮像手段を用いて被写体の奥行き情報を取得する取得手段と、前記取得した奥行き情報に基づいて前記抽出した画像データの視差分の補正を行う手段とを備えたことを特徴とする。
これにより、適切に視差分が補正された補完データを生成することができる。
請求項5に示すように請求項1から4のいずれかに記載の複眼撮像装置において、前記補完手段は、前記補完データを前記異常エリアに代えて合成することを特徴とする。
これにより、適切に補完データを生成することができる。
請求項6に示すように請求項5に記載の複眼撮像装置において、前記補完手段は、前記異常エリアが検出された画像と前記補完データとの境目が自然になるようなスムージング処理を行って合成することを特徴とする。
これにより、適切に立体画像を取得することができる。
前記目的を達成するために請求項7に記載の立体画像取得方法は、撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する立体画像取得方法において、前記複数の画像データから異常エリアを検出する検出工程と、異常エリアが検出された場合に、該異常エリアを補完するための補完データを異常エリアが検出されなかった画像データを用いて生成する生成工程と、前記補完データを用いて前記異常エリアを補完する工程とを備えたことを特徴とする。
本発明によれば、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完するようにしたので、視差のある複数の画像のうち1つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することができる。
本発明によれば、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから異常エリアを検出し、異常エリアが検出されなかった画像データを用いて検出された異常エリアを補完するための補完データを生成し、生成した補完データによって異常エリアを補完するようにしたので、視差のある複数の画像のうち1つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することができる。
以下に、本発明を実施するための最良の形態について説明する。
<複眼撮像装置の構成>
複眼撮像装置1は、左右の視差が設けられた光路を持つ2系統の撮像系を有しており、それぞれの撮像系において右画像及び左画像を撮影する。
複眼撮像装置1は、左右の視差が設けられた光路を持つ2系統の撮像系を有しており、それぞれの撮像系において右画像及び左画像を撮影する。
図3は、複眼撮像装置1の電気的構成の一例を示す図である。同図に示すように、複眼撮像装置1は、右光学系10、右撮像素子11、右CDS部12、右AMP部13、右A/D変換器14、右デジタル信号処理部15、左光学系20、左撮像素子21、左CDS部22、左AMP部23、左A/D変換器24、左デジタル信号処理部25、CCD駆動制御部31、左右面AMPゲイン制御部32、左右面画像記録装置(メモリ部)33、CPU34、ユーザ操作部35、及び画像表示部・画像表示制御部36等から構成される。
各部はCPU34に制御されて動作し、CPU34は、ユーザ操作部35からの入力に基づき所定の制御プログラムを実行することにより、複眼撮像装置1の各部を制御する。
複眼撮像装置1は図示しないROMを備えており、ROMにはCPU34が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。CPU34は、ROMに記録された制御プログラムを左右面画像記録装置33に読み出し、逐次実行することにより、複眼撮像装置1の各部を制御する。
なお、左右面画像記録装置33は、プログラムの実行処理領域として利用されるほか、画像データ等の記憶領域、各種作業領域として利用される。
ユーザ操作部35は、図示しない電源ボタン、シャッターレリーズボタン、撮影モード/再生モード切替スイッチ等を備え、それぞれの操作に応じた信号をCPU34に出力する。
まず、右画像を撮影する構成要素について説明する。
右光学系10は、図示しないズームレンズ、フォーカスレンズ、絞り、メカシャッタ、レンズ駆動部を含み、レンズ駆動部に駆動されて、ズーミング、フォーカシング、絞りの開口量(F値)変更、及びメカシャッタの開閉を行う。
右撮像素子11は、右光学系10の後段に配置されており、右光学系10を透過した被写体光を受光する。
右撮像素子11の受光面には図示しない多数の受光素子が二次元的に配列されており、各受光素子に対応して図示しない赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。
各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この信号をCCD駆動制御部31から供給されるクロックに同期して、1ラインずつ図示しない水平転送路に転送する。さらに水平転送路は、垂直転送路から転送された1ライン分の信号を、CCD駆動制御部31から供給されるクロックに同期して右CDS部12へ出力する。
右CDS部12は、画像信号に含まれているノイズの除去を行い、右AMP部13へ出力する。右AMP部13は、ノイズが除去された画像信号を左右面AMPゲイン制御部32において設定されたゲインで増幅する。所要の信号処理が施されたアナログの画像信号は、右A/D変換器14に入力され、所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるRAWデータであり、画素毎にR、G、Bの濃度を示す階調値を有している。
このデジタルの画像信号は、右デジタル信号処理部15において輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)に変換され、左右面画像記録装置33に記録される。
次に、左画像を撮影する構成要素について説明する。左画像を撮影する構成要素についても、右画像を撮影する構成要素と同様となっている。
すなわち、左光学系20は、図示しないズームレンズ、フォーカスレンズ、絞り、メカシャッタ、レンズ駆動部を含み、CPU34からの指令に基づいて、ズーミング、フォーカシング、絞りの開口量(F値)変更、及びメカシャッタの開閉を行う。
左撮像素子21は、左光学系20の後段に配置されており、左光学系20を透過した被写体光を受光する。左撮像素子21の各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出され、垂直転送路及び水平転送路により左CDS部22へ出力される。
左CDS部22、左AMP部23において信号処理が施されたアナログの画像信号は、左A/D変換器24においてデジタルの画像信号に変換され、左デジタル信号処理部25において輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)に変換され、左右面画像記録装置33に記録される。
本実施の形態では、右撮像素子11及び左撮像素子21は、CCDイメージセンサを用いているが、CMOSイメージセンサを用いてもよい。
画像表示部36は、動画(スルー画像)を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像(ポストビュー画像)や左右面画像記録装置33から読み出した再生画像等を立体表示することができるレンチキュラーレンズ式の3Dモニタである。
CPU34は、上記の2系統の撮像系によってそれぞれ撮影された右画像と左画像とに基づいて立体画像を生成し、画像表示部36に表示を行う。ユーザは、両目で画像表示部36を見ることにより、立体視を行うことが可能となる。
なお、スルー画像の表示は、複眼撮像装置1が撮影モードにセットされると開始される。すなわち、複眼撮像装置1が撮影モードにセットされると、画像表示部36に立体視可能なスルー画像を表示するため、右撮像素子11及び左撮像素子21から画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると一旦停止され、本撮影が終了すると再度開始される。なお、本撮影終了時には、一定時間、画像表示部36に本撮影された立体画像が表示される。ユーザは、ポストビューを確認することにより、撮影した立体画像が適切に撮影できたか否かを確認することができる。
<欠損データの補完処理>
次に、本発明に係る欠損データの補完処理について説明する。図4は、複眼撮像装置1における撮像画像の異常エリアの抽出と、被写体との位置情報及び奥行き情報の取得の動作について示したフローチャートである。
次に、本発明に係る欠損データの補完処理について説明する。図4は、複眼撮像装置1における撮像画像の異常エリアの抽出と、被写体との位置情報及び奥行き情報の取得の動作について示したフローチャートである。
複眼撮像装置1は、ユーザ操作部35の図示しないシャッターレリーズボタンにより本撮影指示が入力されると(ステップS1)、AE動作を開始する(ステップS2)。
AE動作は、左右の撮像系において画像信号を取得し、左右面画像記録装置33に画像を格納する。この格納された画像信号をCPU34において取り込み、AE制御に必要な積算値を算出する。CPU34は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタスピードを決定する。
次に、左右面画像記録装置33に格納された左画像を取得し(ステップS3a)、一定範囲のダーク部分、すなわち黒つぶれ部分の有無を検出する(ステップS4a)。一定範囲のダーク部分が存在する場合は、ダーク部分の位置を記憶する(ステップS5a)。
さらに、左画像において、一定範囲のクリップ部分、すなわち白トビ部分の有無を検出する(ステップS6a)。一定範囲のクリップ部分が存在する場合は、クリップ部分の位置を記憶する(ステップS7a)。
これと並列に、CPU34は、左右面画像記録装置33に格納された右画像を取得し(ステップS3b)、一定範囲のダーク部分、すなわち黒つぶれ部分の有無を検出する(ステップS4b)。一定範囲のダーク部分が存在する場合は、ダーク部分の位置を記憶する(ステップS5b)。
同様に、右画像において、一定範囲のクリップ部分、すなわち白トビ部分の有無を検出する(ステップS6b)。一定範囲のクリップ部分が存在する場合は、クリップ部分の位置を記憶する(ステップS7b)。
図5は、各撮像系において正常に撮影された画像の一例を示す図であり、図5(a)は左画像、図5(b)は右画像を示している。同図に示すように、各光学系に異常が無い場合は、所定の視差を持つ2枚の画像が撮影される。
また、図6は、左光学系20に指等による障害が入った場合に撮影された画像の一例を示す図であり、図6(a)は左画像、図6(b)は右画像を示している。同図に示すように、一方の光学系に指等による障害が入ると、その一方の画像の一部分が黒つぶれしてしまう。複眼撮像装置1は、このような画像の異常エリアの検出を行う。
ダーク部分とクリップ部分の異常エリアの検出が終了したら、検出されたそれぞれの異常エリアの位置が左画像と右画像で近傍位置か否かを判定する(ステップS8)。両方の撮像系に異常エリアの原因が存在した場合であっても、左画像と右画像とでは視差が存在するため、ダーク部分やクリップ部分が全く同じ位置とはならないため、近傍位置か否かで判断を行う。
いずれの画像からも異常エリアが検出されなかった場合、及び検出された異常エリアが全てが近傍位置である場合は、異常個所無しと判断し(ステップS9)、欠損データの補完要求を行わず(ステップS10)、通常の撮像を行う(ステップS12)。
左画像と右画像とで異なる位置に異常エリアが存在する場合は、この異常エリアが、補完の必要な広い領域であるか否かを判定する(ステップS13)。広いか否かの閾値は、例えば画像に占める割合の5%を超えるか否か等、適宜決定すればよい。
異常エリアが狭い領域のために補完が不要であると判断した場合は、ステップS10に進み、補完要求を行わず、通常の撮像を行う(ステップS12)。
異常エリアが広い領域のために補完が必要であると判断した場合は、異常エリアが存在する撮像系と、ダーク/クリップの種類、異常エリアの画像内の位置と範囲を左右面画像記録装置33に記録する(ステップS14)。
以上のように異常エリアの抽出が終了したら、次に、立体視を擬似的に成立させるための補完データを生成するために、異常エリアが存在しない撮像系のAF機構を用いて、被写体の位置情報及び奥行き情報を取得する。
まず、異常エリアが存在しない撮像系において、図示しない絞りを開放にし、被写界深度を浅くする(ステップS15)。
次に、図示しないフォーカスレンズを駆動して焦点位置を最至近距離に設定し、被写体を撮像し、得られた画像信号から被写体の合焦の状態を検出する(ステップS16)。
ここで得られた画像信号から、合焦している被写体が存在するか否かを判定する(ステップS17)。合焦している被写体が存在する場合は、合焦被写体の画像内の位置情報と奥行き情報を左右面画像記録装置33に記録する(ステップS20)。奥行き情報としては、図示しないフォーカスレンズの合焦位置と図示しないズームレンズの焦点距離から算出した、複眼撮像装置1と被写体との距離情報を記録する。
次に、図示しないフォーカスレンズの焦点位置の移動が可能か否かを判定し(ステップS18)、移動可能な場合は、所定量だけ焦点位置を移動させ、ステップS16に戻り、被写体を撮像し、得られた画像信号から被写体の合焦の状態を検出する。以下同様に、合焦している被写体が存在するか否かを判定し(ステップS17)、合焦している被写体が存在する場合は、合焦被写体の画像内の位置情報と奥行き情報を記録する。
以上の動作を、図示しないフォーカスレンズの焦点位置の移動ができなくなるまで(無限遠に到達するまで)繰り返す。ステップS18において、焦点位置の移動が不可能と判断した場合は、被写体の位置情報と奥行き情報の記録を完了し(ステップS21)、本撮影準備を完了する(ステップS22)。
図7に、フォーカスレンズの焦点位置を至近位置から無限遠位置まで所定量だけ移動させながら撮像した画像を示す。図7(a)では被写体50a、図7(b)では被写体50b、図7(c)では被写体50cに合焦している。すなわち、複眼撮像装置1と各被写体との距離は、50a、50b、50cの順に遠くなっていることがわかる。CPU34は、このように撮像した画像から、それぞれの合焦位置におけるフォーカスレンズの焦点位置とズームレンズの焦点距離に基づいて、複眼撮像装置1とそれぞれの被写体との距離を算出する。
なお、本実施の形態では、至近位置から無限遠位置まで図示しないフォーカスレンズを移動させて被写体の距離情報を取得したが、フォーカスレンズの移動方向は逆でもよい。すなわち、無限遠位置から至近位置まで焦点位置をスイープさせてもよい。また、本実施の形態では、合焦位置におけるフォーカスレンズの焦点位置から被写体との距離を算出したが、被写体が人物の場合は、各被写体の顔検出を行い、検出した顔のサイズから被写体との距離を算出してもよい。
次に、図8を用いて、補完データの生成と補完処理について説明する。
前述のように、本撮影の準備が完了すると、本撮影を開始する(ステップS23)。本撮影は、左右の撮像系において図示しないフォーカスレンズを駆動して主要被写体に合焦動作し、図示しない絞りをステップS2において算出した絞り値に設定し、さらに図示しない電子シャッタやメカシャッタを用いて、ステップS2で算出したシャッタスピードに応じて撮像素子に対する露光を行う(ステップS24)。
撮影された左画像及び右画像は、前述のように、左右面画像記録装置33に記録される(ステップS25、ステップS30)。ここで、異常エリアが存在しない撮像系で撮影された画像を補正元データとし、異常エリアが存在する撮像系で撮影された画像を補正先データとする。
図9は、本撮影によって左右面画像記録装置33に記録された画像の一例を示す図であり、図9(a)が左画像を、図9(b)が右画像を示している。同図に示すように、左画像にはダーク部分の異常エリアが発生しており、左画像が補正先データ、右画像が補正元データとなる。なお、61a、61bは地平線を、62a、62bは道路の縁石を、63bは人物の被写体を示している。
次に、補正先データの異常エリアと同じ位置の画像を、補正元データから切り出す。このとき、異常エリアの画像の特徴点と切り出す画像の特徴点とが同一となるように補正元データから切り出す。例えば、図9(a)に示す補正先データの異常エリアの特徴点は、(1)道路の縁石62aは含まれない、(2)地平線61aが含まれる、(3)左上の人物が全て含まれる、である。したがって、図9(b)に示す補正元データから切り出す画像は、(1)道路の縁石62bを含めない、(2)地平線61bを含める、(3)左上の人物の被写体63bを全て含める、ように切り出す。図9(c)は、このように補正元データから切り出した画像を示している。なお、この切り出す画像は、異常エリアの画像の特徴点が含まれていれば、異常エリアより広範囲となるように切り出してもよい。
この切り出した画像から、輪郭抽出を行い、特徴的な被写体とそれ以外の背景とを分離する(ステップS26)。図9(d)は、このように分離した特徴的な被写体である人物の被写体63bと背景63eを示す図である。この分離した人物の被写体63bの座標情報に基づいて、被写体に対してステップS20において記録した奥行き情報を付与する(ステップS27)。
次に、付与された奥行き情報に基づいて、特徴的な被写体である人物の被写体63bの左右の撮像系の視差分のずれ量を算出する。この算出した視差分のずれ量だけ被写体の位置をずらして背景63eに配置し(ステップS28)、補完データを生成する(ステップS29)。すなわち、視差分に応じたずれ量だけ人物の被写体63bと背景とをずらすことにより、擬似的な視差を人物の被写体63bに付与して、補完データを生成する。
さらに、補正先データの異常エリアを削除し、補完データを合成する(ステップS31)。補完データが異常エリアより広範囲である場合には、のりしろ部分を適宜削除すればよい。また、特徴的な被写体以外の部分はスムージング処理を施し、合成境界が自然に見えるように加工する。
最後に、補正元データと共に、補完された補正先データを記録し(ステップS32)、本撮影を終了する(ステップS33)。
このように、左右の撮像系の持つ視差と被写体の奥行き情報とから、特徴的な被写体の視差分のずれ量を算出し、算出した視差分のずれ量だけ背景と被写体とをずらすことにより、被写体に擬似的な視差を与えることができる。したがって、一方の撮像系の画像に異常エリアが存在する場合であっても、擬似的に立体視可能な立体画像を生成することが可能となる。
補完データの生成は、他の手法を用いても構わない。
例えば、図9(e)に示すように、補正先データの異常エリアを削除し、切り出した背景63eを、補正先データの削除した異常エリアに合成する。このとき、スムージング処理を施し、合成境界が自然に見えるように加工する。
続いて、CPU34は、付与された奥行き情報に基づいて、特徴的な被写体である人物の被写体63bにおける左右の撮像系の視差分のずれ量を算出する。この算出した視差分のずれ量だけ被写体の位置をずらして、図9(f)に示すように、補正先データ上に配置する。また、被写体の位置をずらして配置したことにより、被写体と背景の境界が空白にならないように背景のスムージング処理を行う。
このように、背景を先に補正先データに合成した後、特徴のある被写体を視差に応じてずらして配置してもよい。この手法であっても、一方の撮像系の画像に異常エリアが存在する場合に、擬似的に立体視可能な立体画像を生成することが可能となる。
本実施の形態では、画像内の輝度分布を検出することにより、一定範囲の黒つぶれ部分または白とび部分であって、左右の画像で共通でない部分について異常エリアとして検出しているが、レンズの指掛かり部分を検出し、異常エリアとして検出してもよい。
例えば、画像の端を含む所定の輝度分布を持つエリアや肌色のエリアであって、左右の画像で共通でないエリアを指掛かり部分として異常エリアとして検出する。撮影レンズにユーザの指が掛かった場合に、肌色の領域として撮影される場合もあると考えられるからである。
また、本実施の形態の複眼撮像装置1は、2つの撮像系を備えているが、3つ以上の撮像光学系を備えていてもよい。この場合は、3つ以上の画像のうち、共通しないダーク部分やクリップ部分を異常エリアとして検出すればよい。
1…複眼撮像装置、10…右光学系、11…右撮像素子、12…右CDS部、13…右AMP部、14…右A/D変換器、15…右デジタル信号処理部、20…左光学系、21…左撮像素子、22…左CDS部、23…左AMP部、24…左A/D変換器、25…左デジタル信号処理部、33…左右面画像記録装置、34…CPU、35…ユーザ操作部、36…画像表示部・画像表示制御部、100…従来の複眼撮像装置
Claims (7)
- 撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する複眼撮像装置において、
前記複数の画像データから異常エリアを検出する検出手段と、
異常エリアが検出された場合に、異常エリアが検出されなかった画像データを用いて前記検出された異常エリアを補完するための補完データを生成する生成手段と、
前記補完データを用いて前記異常エリアを補完する手段と、
を備えたことを特徴とする複眼撮像装置。 - 前記検出手段は、画像データの黒つぶれまたは白とび、または指掛かりのエリアのうち前記複数の画像データ間で共通でないエリアを異常エリアとして検出することを特徴とする請求項1に記載の複眼撮像装置。
- 前記生成手段は、前記異常エリアが検出されなかった画像データから前記異常エリアに相当する位置に存在する被写体の画像データを抽出し、前記抽出した画像データを用いて前記補完データを生成することを特徴とする請求項1または2に記載の複眼撮像装置。
- 前記異常エリアが検出されなかった画像データの撮像手段を用いて被写体の奥行き情報を取得する取得手段と、
前記取得した奥行き情報に基づいて前記抽出した画像データの視差分の補正を行う手段と、
を備えたことを特徴とする請求項3に記載の複眼撮像装置。 - 前記補完手段は、前記補完データを前記異常エリアに代えて合成することを特徴とする請求項1から4のいずれかに記載の複眼撮像装置。
- 前記補完手段は、前記異常エリアが検出された画像と前記補完データとの境目が自然になるようなスムージング処理を行って合成することを特徴とする請求項5に記載の複眼撮像装置。
- 撮像レンズを介した被写体光を画像データに変換する撮像手段であって、所定の視差を有するように配置された複数の撮像手段によって撮像された複数の画像データから立体画像を取得する立体画像取得方法において、
前記複数の画像データから異常エリアを検出する検出工程と、
異常エリアが検出された場合に、該異常エリアを補完するための補完データを異常エリアが検出されなかった画像データを用いて生成する生成工程と、
前記補完データを用いて前記異常エリアを補完する工程と、
を備えたことを特徴とする立体画像取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008330975A JP2010154311A (ja) | 2008-12-25 | 2008-12-25 | 複眼撮像装置及び立体画像取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008330975A JP2010154311A (ja) | 2008-12-25 | 2008-12-25 | 複眼撮像装置及び立体画像取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010154311A true JP2010154311A (ja) | 2010-07-08 |
Family
ID=42572845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008330975A Pending JP2010154311A (ja) | 2008-12-25 | 2008-12-25 | 複眼撮像装置及び立体画像取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010154311A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340631A (zh) * | 2010-07-14 | 2012-02-01 | 日本胜利株式会社 | 控制装置、立体影像摄像装置以及控制方法 |
WO2012105433A1 (ja) * | 2011-02-01 | 2012-08-09 | シャープ株式会社 | 撮像装置、データ処理方法、およびプログラム |
JP2014007599A (ja) * | 2012-06-25 | 2014-01-16 | Sharp Corp | 撮像装置、欠陥処理方法、欠陥処理プログラムおよび電子情報機器 |
WO2016029465A1 (zh) * | 2014-08-29 | 2016-03-03 | 华为技术有限公司 | 一种图像处理方法、装置及电子设备 |
JP2020031332A (ja) * | 2018-08-22 | 2020-02-27 | シャープ株式会社 | 電子機器、電子機器の制御装置、制御プログラムおよび制御方法 |
-
2008
- 2008-12-25 JP JP2008330975A patent/JP2010154311A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340631A (zh) * | 2010-07-14 | 2012-02-01 | 日本胜利株式会社 | 控制装置、立体影像摄像装置以及控制方法 |
JP2012023546A (ja) * | 2010-07-14 | 2012-02-02 | Jvc Kenwood Corp | 制御装置、立体映像撮像装置、および制御方法 |
WO2012105433A1 (ja) * | 2011-02-01 | 2012-08-09 | シャープ株式会社 | 撮像装置、データ処理方法、およびプログラム |
JP2012159715A (ja) * | 2011-02-01 | 2012-08-23 | Sharp Corp | 撮像装置、データ処理方法、およびプログラム |
CN103797791A (zh) * | 2011-02-01 | 2014-05-14 | 夏普株式会社 | 摄像装置、数据处理方法以及程序 |
CN103797791B (zh) * | 2011-02-01 | 2016-10-05 | 夏普株式会社 | 用于显示内容的电子装置和方法 |
JP2014007599A (ja) * | 2012-06-25 | 2014-01-16 | Sharp Corp | 撮像装置、欠陥処理方法、欠陥処理プログラムおよび電子情報機器 |
WO2016029465A1 (zh) * | 2014-08-29 | 2016-03-03 | 华为技术有限公司 | 一种图像处理方法、装置及电子设备 |
US10908492B2 (en) | 2014-08-29 | 2021-02-02 | Huawei Technologies Co., Ltd. | Image processing method and apparatus, and electronic device |
JP2020031332A (ja) * | 2018-08-22 | 2020-02-27 | シャープ株式会社 | 電子機器、電子機器の制御装置、制御プログラムおよび制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8885026B2 (en) | Imaging device and imaging method | |
JP5235798B2 (ja) | 撮影装置及びその制御方法 | |
CN102934025B (zh) | 摄像装置及摄像方法 | |
EP2590421B1 (en) | Single-lens stereoscopic image capture device | |
US9258545B2 (en) | Stereoscopic imaging apparatus | |
CN103098457B (zh) | 立体成像装置和立体成像方法 | |
US8823778B2 (en) | Imaging device and imaging method | |
JP5635211B2 (ja) | 撮像装置 | |
JP5650351B2 (ja) | 撮像装置及び電子ビューファインダ表示方法 | |
JP2010114760A (ja) | 撮影装置、指がかり通知方法およびプログラム | |
JP2011087128A (ja) | 複眼カメラ及び被写体判別方法 | |
CN103918249A (zh) | 成像装置和成像方法 | |
JP2010226362A (ja) | 撮像装置及びその制御方法 | |
WO2012124669A1 (ja) | 撮像装置及びその制御方法 | |
JP2010154311A (ja) | 複眼撮像装置及び立体画像取得方法 | |
JP2011035643A (ja) | 多眼撮影方法および装置、並びにプログラム | |
JP2010206521A (ja) | 撮像装置、画像補正方法およびプログラム | |
JP2014036362A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010114577A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法 | |
CN103098458B (zh) | 立体成像装置和立体成像方法 | |
WO2013005477A1 (ja) | 撮像装置、立体画像撮像方法及びプログラム | |
JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
CN104041026A (zh) | 图像输出装置、方法以及程序及其记录介质 | |
JP2010134291A (ja) | 撮像装置及びその制御方法 | |
JP5825932B2 (ja) | 撮像装置及びその制御方法、プログラム、及び記録媒体 |