JP2013054233A - 撮像装置 - Google Patents

Abstract

【課題】 本発明は、撮影すると立体視が困難になるおそれがある場合であっても、可能な限り、立体視が容易となる立体画像を作成する撮像装置を提供する。
【解決手段】 第１の発明に係る撮像装置は、撮像部と、第１立体画像作成部と、判断部と、第２立体画像作成部とを備える。撮像部は、被写体の像を撮像して画像を生成する。第１立体画像作成部は、撮像部が異なる撮影位置で生成した画像に基づいて、立体画像を作成する第１方式を実行する。判断部は、第１立体画像作成部が立体画像を作成する過程で、複数の画像に基づいて、立体画像の立体視が適正か否かを判断する。第２立体画像作成部は、判断部が不適正であると判断した場合、複数の画像の内から選択した１枚の画像を用いて立体画像を作成する他の方式に切り替えて実行する。
【選択図】 図１

Description

本発明は、撮像装置に関する。

従来から、２次元の画像と立体画像（３次元の画像）との撮影機能を備える撮像装置（撮影装置）が知られている。

上記の撮影機能を有する撮像装置の中には、測距手段によって得られた被写体距離が所定値以下である場合に立体画像の撮影を禁止する、又は、警告する機種が提案されている（例えば、特許文献１参照）。

特開２００１−２２２０８３号公報

しかしながら、特許文献１の撮像装置では、警告を行なうが撮影を許容する場合、立体視が困難な立体画像の元になる左眼用画像及び右眼用画像の撮影を行なうことになる。

そこで、本発明は、上記事情に鑑み、撮影すると立体視が困難になるおそれがある場合であっても、可能な限り、立体視が容易となる立体画像を作成する撮像装置を提供することを目的とする。

第１の発明に係る撮像装置は、撮像部と、第１立体画像作成部と、判断部と、第２立体画像作成部とを備える。撮像部は、被写体の像を撮像して画像を生成する。第１立体画像作成部は、撮像部が異なる撮影位置で生成した画像に基づいて、立体画像を作成する第１方式を実行する。判断部は、第１立体画像作成部が立体画像を作成する過程で、複数の画像に基づいて、立体画像の立体視が適正か否かを判断する。第２立体画像作成部は、判断部が不適正であると判断した場合、複数の画像の内から選択した１枚の画像を用いて立体画像を作成する他の方式に切り替えて実行する。

第２の発明は、第１の発明において、複数の画像は、立体画像の元になる左眼用画像及び右眼用画像である。左眼用画像の撮影位置と右眼用画像の撮影位置との距離間隔が、立体視の条件を満たしていない場合、又は、所定の回転操作或いは所定のあおり操作に起因して、左眼用画像の撮影位置と右眼用画像の撮影位置との位置関係が、立体視の条件を満たしていない場合、又は、左眼用画像と右眼用画像とを比較して被写体の明るさが所定値以上異なる場合、又は、左眼用画像と右眼用画像とを比較して被写体が所定距離以上移動している場合、判断部は、不適正であると判断する。

第３の発明に係る撮像装置は、複数の撮像部と、第１立体画像作成部と、判断部と、第２立体画像作成部とを備える。複数の撮像部は、被写体の像を撮像して画像を生成する。第１立体画像作成部は、複数の撮像部が各々生成した画像に基づいて、立体画像を作成する複眼方式を実行する。判断部は、第１立体画像作成部が立体画像を作成する過程で、複数の画像に基づいて、立体画像の立体視が適正か否かを判断する。第２立体画像作成部は、判断部が不適正であると判断した場合、複数の画像の内から選択した１枚の画像を用いて立体画像を作成する他の方式に切り替えて実行する。

第４の発明は、第３の発明において、被写体距離が立体視を満たす距離よりも短い場合、判断部は、不適正であると判断する。

第５の発明は、第３の発明において、複数の画像は、立体画像の元になる左眼用画像及び右眼用画像である。左眼用画像と右眼用画像とが、立体視が困難となる程度に異なる場合、判断部は、不適正であると判断する。

第６の発明は、第１から第５の何れか１の発明において、第２立体画像作成部は、他の方式として、１枚の画像から被写体の奥行きを示す奥行き情報を取得し、その奥行き情報が適正な場合に１枚の画像を両眼視差を有する左眼用画像及び右眼用画像に変換して、立体画像を作成する第２方式と、１枚の画像とその画像を複製した複製画像とを左右方向に両眼視差分ずらすことにより、両眼視差を有する左眼用画像及び右眼用画像として、立体画像を作成する第３方式との少なくとも一方を実行する。

第７の発明は、第６の発明において、第２立体画像作成部は、第２方式を第３方式よりも優先して実行する。判断部は、第２立体画像作成部が第２方式により立体画像を作成する過程で立体視が適正か否かを判断する。判断部が不適正であると判断した場合、第２立体画像作成部は、第３方式を実行する。

第８の発明は、第７の発明において、第２方式において奥行き情報が不足している場合、判断部は、不適正であると判断する。

本発明の撮像装置は、撮影すると立体視が困難になるおそれがある場合であっても、可能な限り、立体視が容易となる立体画像を作成できる。

電子カメラ１の構成例を示すブロック図 電子カメラ１の筐体の正面図及び背面図 電子カメラ１の撮影動作の一例を示すフローチャート 第１方式での立体画像の作成処理の一例を示すサブルーチンのフローチャート 第１方式での立体画像の作成処理を説明する図 他の方式での立体画像の作成処理の一例を示すサブルーチンのフローチャート 第２方式での立体画像の作成処理を説明する図 第３方式での立体画像の作成処理を説明する図 第２実施形態における電子カメラ２の構成例を示すブロック図 電子カメラ２の筐体の正面図

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第１実施形態では、本発明の一実施形態の電子カメラ１について説明する。

図１は、電子カメラ１の構成例を示すブロック図である。ここで、電子カメラ１は、立体画像を撮影するための３Ｄ撮影モードを有している。この３Ｄ撮影モードでは、立体視するための立体画像の元になる左眼用画像と右眼用画像を撮影する。但し、撮影条件によっては、左眼用画像と右眼用画像とは両眼視差を有しているとは限らない。そこで、本実施形態では、撮影すると立体視が困難になるおそれがある場合であっても、可能な限り、立体視が容易となる立体画像を作成できる手段を提供する。

電子カメラ１は、第１撮影光学系１０ａと、第１撮像素子１１ａと、信号処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、フラッシュメモリ１５と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という。）１６と、表示モニタ１７と、操作部１８と、レリーズ釦１９と、加速度センサ２０と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、バス２２とを備える。

このうち、信号処理部１２、ＲＡＭ１３、画像処理部１４、フラッシュメモリ１５、記録Ｉ／Ｆ部１６、表示モニタ１７及びＣＰＵ２１は、バス２２を介して互いに接続されている。

第１撮影光学系１０ａは、焦点距離を調整するズームレンズと、第１撮像素子１１ａの撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部（不図示）は、第１撮影光学系１０ａ内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２１の指示に応じて光軸方向に調整する。なお、簡単のため、図１では、第１撮影光学系１０ａを１枚のレンズとして図示する。

第１撮像素子１１ａは、被写体の像を撮像して、画像（アナログの画像信号）を生成する。そして、第１撮像素子１１ａが出力するアナログの画像信号は、信号処理部１２に入力される。なお、第１撮像素子１１ａの撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、第１撮像素子１１ａの電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。第１撮像素子１１ａは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサである。

ここで、通常の撮影モードで２次元の記録用画像（本画像）を撮影する場合、第１撮像素子１１ａは、レリーズ釦１９の全押し操作に応答して本画像を撮像する。また、３Ｄ撮影モードでは、例えば、異なる撮影位置から撮影された右眼用画像及び左眼用画像に基づいて、立体画像を作成する（詳細は後述する）。

信号処理部１２は、第１撮像素子１１ａが出力するアナログの画像信号をデジタル信号（画像データ）に変換しバス２２に出力する。

ＲＡＭ１３は、揮発性のメモリであり、信号処理部１２が出力する画像データは、バス２２を介して画像データとしてＲＡＭ１３に一時記録される。画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。

フラッシュメモリ１５は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１５には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２１は、このプログラムに従い、一例として後述の図３、図４及び図６に示すフローチャートの処理（以下「フローの処理」という。）を実行する。

記録Ｉ／Ｆ部１６には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１６は、そのコネクタに接続された記録媒体３０にアクセスして本画像の記録処理等を行なう。この記録媒体３０は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

表示モニタ１７は、例えば液晶表示媒体により構成される。そして、表示モニタ１７は、構図確認用のスルー画像や本画像等の２次元の画像（２Ｄ画像）、立体画像（３Ｄ画像）、電子カメラ１の操作メニュー等を表示する。操作部１８は、撮影者の操作を受け付ける複数の釦を有しており、電子カメラ１を操作するための指示入力を受け付ける（詳細については、図２を用いて後述する）。レリーズ釦１９は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の撮影準備の動作開始）と全押し操作（本画像を取得するための撮影の動作開始）との指示入力とを受け付ける。加速度センサ２０は、３次元方向（相互に直交するＸ軸、Ｙ軸、Ｚ軸の３軸方向）の加速度を計測するセンサである。

ＣＰＵ２１は、各種演算及び電子カメラ１の統括的な制御を行なうマイクロプロセッサである。ＣＰＵ２１は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。また、ＣＰＵ２１は、時間を計測する計時機能を有している。

また、ＣＰＵ２１は、第１立体画像作成部２１ａと、判断部２１ｂと、第２立体画像作成部２１ｃとしても機能する。第１立体画像作成部２１ａは、第１撮像素子１１ａが異なる撮影位置で生成した複数の画像から３次元の立体画像を作成する第１方式を実行する（詳細は後述する）。

判断部２１ｂは、第１立体画像作成部２１ａが立体画像を作成する過程で、複数の画像に基づいて、立体画像の立体視が適正か否かを判断する。具体的には、判断部２１ｂは、左眼用画像の撮影位置と右眼用画像の撮影位置との距離間隔が、立体視の条件を満たしていない場合、不適正であると判断する。又は、判断部２１ｂは、所定の回転操作或いは所定のあおり操作に起因して、左眼用画像の撮影位置と右眼用画像の撮影位置との位置関係が、立体視の条件を満たしていない場合、不適正であると判断する。又は、判断部２１ｂは、左眼用画像と右眼用画像とを比較して被写体の明るさが所定値以上異なる場合、不適正であると判断する。又は、判断部２１ｂは、左眼用画像と右眼用画像とを比較して被写体が所定距離以上移動している場合、不適正であると判断する。

第２立体画像作成部２１ｃは、判断部２１ｂが不適正であると判断した場合、複数の画像の内から選択した１枚の画像を用いて立体画像を作成する他の方式に切り替えて実行する。具体的には、第２立体画像作成部２１ｃは、他の方式として、第２方式又は第３方式を実行する。

第２方式を行なう場合、第２立体画像作成部２１ｃは、１枚の画像から被写体の奥行きを示す奥行き情報を取得し、その奥行き情報が適正な場合に１枚の画像を両眼視差を有する左眼用画像及び右眼用画像に変換して、立体画像を作成する。なお、奥行き情報には、被写体の輪郭の形状や輪郭の分布等の輪郭情報も含む。

第３方式を行なう場合、第２立体画像作成部２１ｃは、１枚の画像と、その画像を複製した複製画像とを左右方向に両眼視差分ずらすことにより、両眼視差を有する左眼用画像及び右眼用画像として、立体画像を作成する。

また、第２立体画像作成部２１ｃは、第２方式を第３方式よりも優先して実行することが好ましい。この場合、判断部２１ｂは、先ず、第２立体画像作成部２１ｃが第２方式により立体画像を作成する過程で立体視が適正か否かを判断する。判断部２１ｂが不適正であると判断した場合、第２立体画像作成部２１ｃは、第３方式を実行する。なお、第２方式において奥行き情報が不足している場合、判断部２１ｂは、第２方式による立体視が不適正と判断する。例えば、奥行きを推定するには被写体の輪郭の形状や輪郭の分布が複雑である場合、或いは、奥行きを推定するには輪郭情報が少ない場合、判断部２１ｂは、不適正と判断する。

図２は、電子カメラ１の筐体の正面図及び背面図である。電子カメラ１の筐体の正面図（図２（ａ））において、その筐体の正面には、第１撮影光学系１０ａが設けられている。また、電子カメラ１の筐体の上面には、電子カメラ１の電源釦１８ａとレリーズ釦１９とが設けられている。

また、電子カメラ１の筐体の背面図（図２（ｂ））において、その筐体の背面には、表示モニタ１７、モード選択釦１８ｂ、メニュー釦１８ｃ及び選択・決定釦１８ｄが設けられている。なお、表示モニタ１７上には、後述するガイド表示の一例を示している。

また、本実施形態の操作部１８は、モード選択釦１８ｂと、メニュー釦１８ｃと、選択・決定釦１８ｄと、電源釦１８ａとを含む。モード選択釦１８ｂは、撮影モード若しくは再生モードに切り替える操作を受け付ける。メニュー釦１８ｃは、メニュー画面を立ち上げるための操作を受け付ける。選択・決定釦１８ｄは、電子カメラ１の操作メニューにおける設定条件等の項目選択又は項目決定を受け付ける。

ここで、選択・決定釦１８ｄは、決定釦１８ｅとダイヤル１８ｆとを有する。ダイヤル１８ｆの全体形状は、環状であって、ダイヤル１８ｆの内周側には決定釦１８ｅが配置されている。そして、ダイヤル１８ｆは、メニュー画面等での項目選択の入力を受け付ける。また、決定釦１８ｅは、メニュー画面等での項目決定の入力を受け付ける。例えば、３Ｄ撮影モードを開始する操作が決定釦１８ｅに割り当てられている。

次に、電子カメラ１の３Ｄ撮影モード時における撮影動作の一例を説明する。

図３は、電子カメラ１の撮影動作の一例を示すフローチャートである。以下の動作例では、電源オンの後、操作部１８の決定釦１８ｅは、撮影モードとして３Ｄ撮影モードの指示入力を受け付けると、ＣＰＵ２１は、図３に示すフローの処理を開始する。表示モニタ１７は、例えば、第１撮像素子１１ａが出力するスルー画像を表示する。

ステップＳ１０１：ＣＰＵ２１は、レリーズ釦１９が半押し操作に続き、全押し操作の指示入力を受け付けることにより、立体画像の作成処理のサブルーチンを行なう（詳細は、後述する）。

ステップＳ１０２：ＣＰＵ２１の判断部２１ｂは、立体画像の立体視が適正か否かを判断する。具体的には、判断部２１ｂは、立体画像の作成処理のサブルーチンの結果に基づいて、立体画像の作成処理の過程で立体画像の立体視が適正か否かを判断する。立体画像の立体視が適正である判断結果の場合（ステップＳ１０２：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ１０４の処理に移行する。一方、立体画像の立体視が不適正である判断結果の場合（ステップＳ１０２：Ｎｏ）、ＣＰＵ２１は、ステップＳ１０３の処理に移行する。

ステップＳ１０３：ＣＰＵ２１は、他の方式で再処理を行なうためのサブルーチンを行なう（詳細は後述する）。

ステップＳ１０４：ＣＰＵ２１は、記録処理を行なう。具体的には、ＣＰＵ２１は、記録Ｉ／Ｆ部１６を介して、立体画像の元になる左眼用画像及び右眼用画像を記録媒体３０に記録する。なお、ＣＰＵ２１は、一例として、複数の静止画を１つのファイルとして記録するマルチピクチャーファイル（ＭＰＯ）形式で左眼用画像及び右眼用画像を記録する。そして、ＣＰＵ２１は、図３に示すフローの処理を終了させる。

次に、第１方式での立体画像の作成処理について説明する。

図４は、第１方式での立体画像の作成処理の一例を示すサブルーチンのフローチャートである。図５は、第１方式での立体画像の作成処理を説明する図である。

ステップＳ２０１：ＣＰＵ２１は、１枚目の画像として第１画像（例えば左眼用画像）の撮影処理を行なう。具体的には、ＣＰＵ２１は、半押し操作により設定した撮影条件に基づいて、第１撮像素子１１ａを駆動する。信号処理部１２は、第１撮像素子１１ａが生成した画像信号のゲイン調整やＡ／Ｄ変換等を行なう。この信号処理部１２が出力する画像信号は、ＲＡＭ１３に画像データとして一旦記録される。図５（ａ）は、ステップＳ２０１の処理により、左眼用画像が撮影されたことを表している。

ステップＳ２０２：ＣＰＵ２１は、撮影のためのガイド表示を行なう。具体的には、ＣＰＵ２１は、２枚目の画像として第２画像（例えば右眼用画像）の撮影位置をガイドする表示を表示モニタ１７上で行なう。表示モニタ１７は、例えば、撮影のための移動方向を示す矢印を表示する（図２（ｂ））。これにより、撮影者は、ガイド表示に合わせて電子カメラ１を図中左から右方向に平行移動させる。

ステップＳ２０３：ＣＰＵ２１は、電子カメラ１の移動量の検出を開始する。具体的には、ＣＰＵ２１は、電子カメラ１の移動操作に伴う加速度センサ２０の検出結果と移動時間とに基づいて、移動量（移動距離）を算出する。なお、ＣＰＵ２１は、加速度センサ２０の検出結果に基づいて、撮影者による電子カメラ１への回転操作やあおり操作を推定する。

ステップＳ２０４：ＣＰＵ２１は、移動量が所定の値に達したか否かを判定する。ここで、所定の値とは、両眼視差（瞳孔間距離）に相当する距離であって、例えば、人間の両眼視差の平均値（６．５ｃｍ）である。移動量が所定の値に達した場合（ステップＳ２０４：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２０５の処理に移行する。一方、移動量が所定の値に達していない場合（ステップＳ２０４：Ｎｏ）、ＣＰＵ２１は、移動量が所定の値に達するまで、ステップＳ２０４の処理を繰り返す。なお、撮影者による電子カメラ１の移動操作が平行移動であっても、その撮影者が電子カメラ１を予め設定した速度よりも高速に移動させた場合、加速度センサ２０の検出が追随できなくなることがある。この場合の対応策は、ステップＳ２０６の処理で説明する。

ステップＳ２０５：ＣＰＵ２１は、２枚目の画像の撮影処理を行なう。具体的には、移動量が所定の値に達すると、ＣＰＵ２１は、第１撮像素子１１ａを駆動する。信号処理部１２は、第１撮像素子１１ａが生成した画像信号のゲイン調整やＡ／Ｄ変換等を行なう。この信号処理部１２が出力する画像信号は、ＲＡＭ１３に画像データとして一旦記録される。図５（ｂ）は、ステップＳ２０５の処理により、右眼用画像が撮影されたことを表している。

ステップＳ２０６：ＣＰＵ２１の第１立体画像作成部２１ａは、第１方式に基づいて、立体画像の作成処理を行なう。具体的には、第１立体画像作成部２１ａは、図５（ｃ）に示す通り、左眼用画像と右眼用画像とからなる立体画像を作成する。ＣＰＵ２１は、表示モニタ１７に図５（ｃ）に示す立体画像を表示させる。

なお、第１立体画像作成部２１ａは、左眼用画像と右眼用画像との位置ずれが発生していた場合、その位置ずれを補正する補正処理を行なう。また、第１立体画像作成部２１ａは、撮影者の移動動作の結果、左眼用画像と右眼用画像との間で、あおり（変形）等が発生していた場合、そのあおりを補正する補正処理を行なう。また、第１立体画像作成部２１ａは、左眼用画像と右眼用画像との間で被写体の倍率が異なる場合、一方の画像の倍率を補正する補正処理を行なう。

すなわち、第１立体画像作成部２１ａは、左眼用画像と右眼用画像とを比較して、立体視が困難とならない範囲であれば、両眼視差が生じるようにするため、位置ずれ、倍率ずれ、変形等の位置合わせの補正処理を行なう。つまり、第１立体画像作成部２１ａは、立体視が困難とならない範囲であれば、左眼用画像と右眼用画像とを撮影する間のタイムラグに生じる変化を補正する補正処理を行なう。

但し、例えば加速度センサ２０の検出が追随できず、左眼用画像と右眼用画像とが予め設定した閾値（例えば両眼視差）より結果的に離れて撮影された場合、又は、あおり等の影響により、左眼用画像と右眼用画像との構図が変化している場合、又は、撮影者の手ブレにより、左眼用画像と右眼用画像との少なくとも一方がブレている場合、又は、左眼用画像と右眼用画像とを比較して、明るさ等の差が予め設定した値（所定値）以上の場合、又は、左眼用画像と右眼用画像とを比較して被写体が所定距離以上移動している場合には、第１立体画像作成部２１ａは、上述したタイムラグに生じる変化を補正する補正処理を行なうことが困難となる。そのため、左眼用画像と右眼用画像とは、立体視を行なう画像の組として成立しない。この場合、第１立体画像作成部２１ａは、補正処理を行なわず、図６に示すフローの処理に従って、第２立体画像作成部２１ｃが第２方式又は３方式を行なう。

なお、被写体が所定距離以上移動している場合とは、例えば、左眼用画像と右眼用画像との間で、立体視が困難となる程度に注目する被写体が移動していることをいう。また、明るさ等の差が予め設定した値（所定値）以上の場合とは、例えば、左眼用画像ではフラッシュ撮影を行なわず、右眼用画像ではフラッシュ撮影を行なった場合をいう。

第１立体画像作成部２１ａが第１方式に基づいて、立体画像の作成処理を行なった後、ＣＰＵ２１は、サブルーチンを終了して、図３に示すステップＳ１０２の処理に戻る。

但し、上述したタイムラグに生じる変化を補正する補正処理を行なうことが困難な場合、第１立体画像作成部２１ａは、その補正処理を行なわず、立体画像の作成処理を中断し、ＣＰＵ２１は、サブルーチンを終了して、図３に示すステップＳ１０２の処理に戻る。この場合には、ステップＳ１０２において、判断部２１ｂは、不適正の判断をすることになる。

そして、ＣＰＵ２１は、上述した通り、ステップＳ１０２〜ステップＳ１０４の処理を経た後、左眼用画像及び右眼用画像を記録媒体３０に記録する。

ここで、立体画像の再生処理の一例について説明する。例えば、本実施形態では、簡単のため、３Ｄメガネ（赤青メガネ）により、赤と青のフィルタを通して見ることで、立体写真として鑑賞可能なアナグリフ方式の再生処理を行なうことができる。

例えば、撮影者は、表示モニタ１７上で、アナグリフ方式の再生モードを選択することができる。操作部１８がアナグリフ方式の再生モードの指示入力を受け付けた場合、ＣＰＵ２１は、記録媒体３０から左眼用画像及び右眼用画像をＲＡＭ１３に読み出す。第１立体画像作成部２１ａは、左眼用画像及び右眼用画像に基づいて、立体画像を作成する。なお、ＣＰＵ２１は、左眼用画像に赤色を着色し、右眼用画像に青色を着色し、重ね合わせて合成する。そして、ＣＰＵ２１は、立体画像を表示モニタ１７に出力させる。表示モニタ１７には、図５（ｃ）に示す立体画像が表示される。

合成して表示される２枚の画像には両眼視差があるので、図５（ｃ）では、二重になって見える。しかしながら、撮影者が３Ｄメガネ５０（図５（ｄ））を掛けて表示モニタ１７に表示されている立体画像（図５（ｃ））を見ると、１枚の立体画像（図５（ｅ））が見える。

簡単に説明すると、３Ｄメガネ５０の左目に青色フィルタを設け、右目に赤色フィルタを設けることによって、撮影者の左目には、右眼用画像は青色でフィルタリングされて見えず、逆に右目には左眼用画像は赤色でフィルタリングされて見えない。そのため、撮影者の左目には左眼用画像が見え、右目には右眼用画像がそれぞれ見えることになる。その結果、撮影者の脳の中では、立体画像として認識することができる。

次に、他の方式での立体画像の作成処理について説明する。図６は、他の方式での立体画像の作成処理の一例を示すサブルーチンのフローチャートである。図７は、第２方式での立体画像の作成処理を説明する図である。図７では、説明の便宜上、家４０の前方に注目する被写体として人物Ｐが立っている構図を撮影する場合を例示している。

ステップＳ３０１：ＣＰＵ２１の第２立体画像作成部２１ｃは、第２方式を行なう。すなわち、第２立体画像作成部２１ｃは、第１画像と第２画像との内から選択した１枚の画像を用いて立体画像を作成する第２方式に切り替えて実行する。一例として、第２立体画像作成部２１ｃは、先に撮影した第１画像を選択する。

図７（ａ）、（ｂ）において、例えば第１画像と第２画像とを重ね合わせた場合、第１立体画像作成部２１ａが位置ずれを補正処理しても、立体視を行なう画像の組として成立しない場合、第２立体画像作成部２１ｃは、第２方式を行なう。

具体的には、第２立体画像作成部２１ｃは、第１画像を用いて、いわゆる２Ｄ画像から３Ｄ画像（立体画像）へ擬似的に変換する処理（以下「２Ｄ／３Ｄ変換」という。）を行なう。すなわち、第２立体画像作成部２１ｃは、構図、撮影シーン、被写体形状等により、奥行きを推定することにより、２Ｄ／３Ｄ変換を行なう。２Ｄ／３Ｄ変換は、一枚の２次元画像（第１画像）から、デプスマップ(奥行き情報を画像の濃淡で表現したもの)を用いて、立体画像を作成する技術である。

図７に示す通り、第２立体画像作成部２１ｃは、デプスマップから得られた距離情報に基づいて、奥行き情報が適正な場合、第１画像を両眼視差を有する左眼用画像（図７（ｃ））及び右眼用画像（図７（ｄ））に変換する。そして、第２立体画像作成部２１ｃは、左眼用画像（図７（ｃ））及び右眼用画像（図７（ｄ））とを合成することにより、立体画像（図７（ｅ））を作成する（２Ｄ／３Ｄ変換）。ＣＰＵ２１は、表示モニタ１７に図７（ｅ）に示す立体画像を表示させる。

但し、第２立体画像作成部２１ｃは、奥行き情報が不足する等して不適正の場合、立体画像の作成処理を中断し、ＣＰＵ２１は、ステップＳ３０２の処理に移行する。この場合には、ステップＳ３０２において、判断部２１ｂは、不適正の判断をすることになる。

ステップＳ３０２：ＣＰＵ２１の判断部２１ｂは、第２立体画像作成部２１ｃが第２方式により立体画像を作成する過程で立体視が適正か否かを判断する。具体的には、奥行き情報が不足している場合、立体視が困難になるため、判断部２１ｂは、立体画像の立体視が不適正である判断をすることができる。つまり、第２立体画像作成部２１ｃは、第２方式で立体視が困難となる立体画像を作成せずに済むと共に、第３方式で立体視が容易な立体画像を作成できる。したがって、立体画像の立体視が不適正である判断結果の場合（ステップＳ３０２：Ｎｏ）、ＣＰＵ２１は、ステップＳ３０３の処理に移行する。一方、立体画像の立体視が適正である判断結果の場合（ステップＳ３０２：Ｙｅｓ）、ＣＰＵ２１は、図６に示すサブルーチンを終了し、図３に示すステップＳ１０４の処理に戻る。

ステップＳ３０３：第２立体画像作成部２１ｃは、第３方式を行なう。すなわち、第２立体画像作成部２１ｃは、第１画像と第２画像との内から選択した１枚の画像を用いて立体画像を作成する第３方式に切り替えて実行する。

図８は、第３方式での立体画像の作成処理を説明する図である。図８では、説明の便宜上、山４１（風景）を撮影した場合を例示している。ここで、図８（ａ）と図８（ｂ）とを比較した場合、第１画像と第２画像とでは、山４１が撮影画面上で上下方向にずれているため、判断部２１ｂは、第１方式、第２方式でも、立体画像の立体視が不適正であると判断する。そこで、第２立体画像作成部２１ｃは、第３方式を実行する。具体的には、第２立体画像作成部２１ｃは、先に撮影した第１画像を選択する。

次に、第２立体画像作成部２１ｃは、第１画像と、その第１画像を複製した複製画像とを左右方向に両眼視差（瞳孔間距離）分ずらすことにより、両眼視差を有する左眼用画像（図８（ｃ））及び右眼用画像（図８（ｄ））として、立体画像（図８（ｅ））を作成する。そして、ＣＰＵ２１は、図６に示すサブルーチンを終了して、図３に示すステップＳ１０４の処理に戻る。

なお、ＣＰＵ２１は、表示モニタ１７に第３方式による立体画像を表示させる際、表示モニタ１７の表示サイズに適合するように立体画像を適宜切り出して表示させる。

以上、第１方式、第２方式及び第３方式について説明したが、本実施形態では、判断部２１ｂが第１方式の立体画像の立体視が適正と判断した場合、２枚の画像から立体視が容易となる立体画像を作成することができる。一方、判断部２１ｂが第１方式の立体画像の立体視が不適正と判断した場合、第２立体画像作成部２１ｃは、第２方式に切り替えて、第１画像（左眼用画像）又は第２画像（右眼用画像）から立体画像を作成する。第２方式の立体視の効果は、２枚の画像から立体視画像を作成する第１方式より劣る。しかしながら、第２方式では、２枚の画像を必要としないため、第１方式の撮影に失敗した場合のリカバリーに使うことができる。

また、第１方式の撮影の際、第１画像の撮影後に電源のバッテリ切れが発生して、第２画像が撮影出来ない場合、第２立体画像作成部２１ｃは、電源のバッテリ充電後に、第２方式に切り替えて、第１画像から立体画像を作成しても良い。

なお、判断部２１ｂが第２方式の立体画像の立体視が不適正と判断した場合、第２立体画像作成部２１ｃは、第３方式に切り替えて、第１画像又は第２画像から立体画像を作成する。第３方式の立体視の効果は、第２方式よりさらに劣るものの、奥行き推定や２Ｄ／３Ｄ変換といった複雑な処理を必要としないという利点を有する。

以上より、第１実施形態の電子カメラ１は、撮影すると立体視が困難になるおそれがある場合であっても、可能な限り、立体視が容易となる立体画像を作成できる。

（第２実施形態）
次に、第２実施形態について説明する。なお、第１実施形態と第２実施形態とでは、図１に示す同じ構成要素については同じ符号を付し、ここでは、相違点について主に説明する。

図９は、第２実施形態における電子カメラ２の構成例を示すブロック図である。図１０は、電子カメラ２の筐体の正面図である。

電子カメラ２の構成は、複眼式の電子カメラであって、電子カメラ１と比較して、新たに、第２撮影光学系１０ｂと第２撮像素子１１ｂとを備える。第１撮影光学系１０ａと第２撮影光学系１０ｂとは、同じ構成である。また、第１撮像素子１１ａと第２撮像素子１１ｂとは、同じ構成であり、第１撮像素子１１ａと第２撮像素子１１ｂとの出力は、信号処理部１２に入力される。

図１０に示す通り、第１撮影光学系１０ａの光軸ＯＡ（Ｏｐｔｉｃａｌ Ａｘｉｓ）１と第２撮影光学系１０ｂの光軸ＯＡ２とは、両眼視差に相当する距離だけ離れている。この配置により、立体画像の元になる左眼用画像及び右眼用画像を１度の撮影で取得することができる。

通常の撮影モードの場合、ＣＰＵ２１は、第１撮像素子１１ａ又は第２撮像素子１１ｂを駆動する。一方、３Ｄ撮影モードの場合、ＣＰＵ２１は、第１撮像素子１１ａ及び第２撮像素子１１ｂを駆動する。

ここで、第１立体画像作成部２１ａは、第１撮像素子１１ａと第２撮像素子１１ｂが各々生成した画像から３次元の立体画像を作成する複眼方式（第４方式）を実行する。判断部２１ｂは、第１立体画像作成部２１ａが立体画像を作成する過程で、複数の画像に基づいて、立体画像の立体視が適正か否かを判断する。第２立体画像作成部２１ｃは、判断部２１ｂが不適正であると判断した場合、第１実施形態の処理と同様にして他の方式に切り替えて実行する。

次に、電子カメラ２の３Ｄ撮影モード時における撮影動作の一例を説明する。ここでは、図３、図４及び図６のフローの処理を参照して、説明する。

ステップＳ１０１：ＣＰＵ２１は、レリーズ釦１９が半押し操作に続き、全押し操作の指示入力を受け付けることにより、図４に示す立体画像の作成処理のサブルーチンを行なう。ここで、電子カメラ２では、複眼方式により撮影位置をずらして撮影する必要がないため、ＣＰＵ２１は、ステップＳ２０１からステップ２０５での処理に代えて、同時に左眼用画像と右眼用画像とを取得する。そして、ステップＳ２０６の処理において、第１立体画像作成部２１ａは、複眼方式に基づいて、立体画像の作成処理を行なう。

なお、図４のステップＳ２０６では、「第１方式に基づいて、立体画像の作成処理」と記載されているが、第２実施形態では、「複眼方式に基づいて、立体画像の作成処理」の記載に置き換えることする。ＣＰＵ２１は、図４に示す立体画像の作成処理のサブルーチンを終了すると、図３に示すステップＳ１０２の処理に戻る。

ステップＳ１０２：ＣＰＵ２１の判断部２１ｂは、立体画像の立体視が適正か否かを判断する。立体画像の立体視が適正である判断結果の場合（ステップＳ１０２：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ１０４の処理に移行する。一方、立体画像の立体視が不適正である判断結果の場合（ステップＳ１０２：Ｎｏ）、ＣＰＵ２１は、ステップＳ１０３の処理に移行する。

ここで、複眼方式では、レンズの基線長が固定されるため、近距離撮影に向かない。そのため、被写体距離が立体視を満たす距離（例えば、５０ｃｍ）よりも短い場合、判断部２１ｂは、不適正と判断する。これにより、本実施形態では、被写体距離が立体視を満たす距離よりも短いために、立体視が困難となる立体画像を作成せずに済むと共に、他の方式で立体視が容易な立体画像を作成できる。

或いは、左眼用画像と右眼用画像とが、立体視が困難となる程度に異なる場合、判断部２１ｂは、不適正と判断する。例えば、撮影時において、撮影者が指（不図示）で第１撮影光学系１０ａ又は第２撮影光学系１０ｂへの被写体光を一部遮る場合、判断部２１ｂは、不適正と判断する。また、強い光によって光が滲んだりするフレアが、左眼用画像と右眼用画像との一方に発生した場合、判断部２１ｂは、不適正と判断する。つまり、本実施形態では、立体視が困難となる程度に異なる左眼用画像及び右眼用画像に基づいて、立体画像を作成せずに済むと共に、他の方式で立体視が容易な立体画像を作成できる。

ステップＳ１０３：ＣＰＵ２１は、他の方式で再処理を行なうため、図６に示すサブルーチンを行なう。なお、図６に示すフローの処理は、第１実施形態の電子カメラ１と同様であるので、説明を省略する。

ステップＳ１０４：ＣＰＵ２１は、記録処理を行なう。具体的には、ＣＰＵ２１は、記録Ｉ／Ｆ部１６を介して、右眼用画像及び左眼用画像を記録媒体３０に記録する。

以上より、第２実施形態の電子カメラ２は、電子カメラ１と同様、撮影すると立体視が困難になるおそれがある場合であっても、可能な限り、立体視が容易となる立体画像を作成できる。

（実施形態の補足事項）
（１）上述した実施形態では、簡単のため、アナグラフ方式の再生処理を説明した。しかしながら、本発明は、これに限定されるものではない。上述した実施形態では、例えばパララックスバリア方式、レンチキュラ方式等の裸眼で立体視が可能な再生処理の方式を採用しても良い。

（２）上述した実施形態の電子カメラ１では、第１方式、第２方式及び第３方式を搭載している場合について説明した。しかしながら、本発明は、これに限定されるものではない。例えば、仮に第１方式と第３方式を搭載して第２方式を搭載していない場合、電子カメラ１は、第１方式から第３方式に切り替えることにより、簡単に第１画像から立体画像を作成することができる。

（３）上述した実施形態では、第１方式において、異なる撮影位置で２枚の画像を撮影した場合について説明した。しかしながら、本発明は、これに限定されるものではない。上述した実施形態では、例えば、電子カメラ１の装置本体の移動方向に応じて連写された複数の画像から、左眼用画像と右眼用画像とを抽出するようにしても良い。

また、第２立体画像作成部２１ｃは、第２方式、第３方式において、１枚の画像を選択する場合、最も適正な状態の画像を選択することが好ましい。例えば、第１画像と第２画像とを比較して、第２画像が手ブレ等による影響を受けている場合、第２立体画像作成部２１ｃは、第１画像を選択すれば良い。これにより、第２立体画像作成部２１ｃは、撮影した画像のうちで不適正な画像があっても、立体視が容易となる立体画像を作成することができる。

１、２・・・電子カメラ、１１ａ・・・第１撮像素子、１１ｂ・・・第２撮像素子、２１ａ・・・第１立体画像作成部、２１ｂ・・・判断部、２１ｃ・・・第２立体画像作成部

Claims (8)

1. 被写体の像を撮像して画像を生成する撮像部と、
   前記撮像部が異なる撮影位置で各々生成した前記画像に基づいて、立体画像を作成する第１方式を実行する第１立体画像作成部と、
   前記第１立体画像作成部が前記立体画像を作成する過程で、複数の前記画像に基づいて、前記立体画像の立体視が適正か否かを判断する判断部と、
   前記判断部が不適正であると判断した場合、複数の前記画像の内から選択した１枚の画像を用いて立体画像を作成する他の方式に切り替えて実行する第２立体画像作成部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   複数の前記画像は、前記立体画像の元になる左眼用画像及び右眼用画像であって、
   前記左眼用画像の撮影位置と前記右眼用画像の撮影位置との距離間隔が、前記立体視の条件を満たしていない場合、又は、所定の回転操作或いは所定のあおり操作に起因して、前記左眼用画像の撮影位置と前記右眼用画像の撮影位置との位置関係が、前記立体視の条件を満たしていない場合、又は、前記左眼用画像と前記右眼用画像とを比較して前記被写体の明るさが所定値以上異なる場合、又は、前記左眼用画像と前記右眼用画像とを比較して前記被写体が所定距離以上移動している場合、前記判断部は、不適正であると判断することを特徴とする撮像装置。
3. 被写体の像を撮像して画像を生成する複数の撮像部と、
   複数の前記撮像部が各々生成した前記画像に基づいて、立体画像を作成する複眼方式を実行する第１立体画像作成部と、
   前記第１立体画像作成部が前記立体画像を作成する過程で、複数の前記画像に基づいて、前記立体画像の立体視が適正か否かを判断する判断部と、
   前記判断部が不適正であると判断した場合、複数の前記画像の内から選択した１枚の画像を用いて立体画像を作成する他の方式に切り替えて実行する第２立体画像作成部と、
   を備えることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   被写体距離が前記立体視を満たす距離よりも短い場合、前記判断部は、不適正であると判断することを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   複数の前記画像は、前記立体画像の元になる左眼用画像及び右眼用画像であって、
   前記左眼用画像と前記右眼用画像とが、前記立体視が困難となる程度に異なる場合、前記判断部は、不適正であると判断することを特徴とする撮像装置。
6. 請求項１から請求項５の何れか１項に記載の撮像装置において、
   前記第２立体画像作成部は、前記他の方式として、前記１枚の画像から前記被写体の奥行きを示す奥行き情報を取得し、該奥行き情報が適正な場合に前記１枚の画像を両眼視差を有する左眼用画像及び右眼用画像に変換して、前記立体画像を作成する第２方式と、
   前記１枚の画像と、該画像を複製した複製画像とを左右方向に両眼視差分ずらすことにより、両眼視差を有する左眼用画像及び右眼用画像として、前記立体画像を作成する第３方式との少なくとも一方を実行することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記第２立体画像作成部は、前記第２方式を前記第３方式よりも優先して実行し、
   前記判断部は、前記第２立体画像作成部が前記第２方式により前記立体画像を作成する過程で、前記立体視が適正か否かを判断し、
   前記判断部が不適正であると判断した場合、第２立体画像作成部は、前記第３方式を実行することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記第２方式において前記奥行き情報が不足している場合、前記判断部は、不適正であると判断することを特徴とする撮像装置。

Images