JP2012085252A - 画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】より快適な立体視を実現できる画像生成装置および画像生成方法を提供する。
【解決手段】カメラ本体１００は、ズレ量算出部１５５と、評価情報生成部１５６と、メタデータ生成部１４７と、を備えている。ズレ量算出部１５５は、入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出する。評価情報生成部１５６は、相対ズレ量を算出する際にズレ量算出部１５５が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成する。
【選択図】図６

Description

ここに開示される技術は、画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体に関する。

画像生成装置として、例えば、デジタルカメラなどの撮像装置が知られている。デジタルカメラは、ＣＣＤ（Charge Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどの撮像素子を有している。撮像素子は光学系で形成された光学像を画像信号に変換する。こうして、被写体の画像データを取得することができる。

特開平７−２７４２１４号公報

ところで、近年、いわゆる３次元表示用のディスプレイの開発が進められている。それに伴い、いわゆるステレオ画像データ（左眼用画像および右眼用画像を含む３次元表示用の画像データ）を生成するデジタルカメラの開発も進められている。

しかし、視差を有するステレオ画像を生成するためには、３次元撮影用の光学系（以下、３次元光学系とも言う）を用いる必要がある。

そこで、３次元撮影用のアダプタの着脱に基づいて２次元撮影モードと３次元撮影モードとを自動的に切り替えるビデオカメラが提案されている（例えば、特許文献１を参照）。

一方、３次元光学系には左眼用および右眼用光学系が搭載されているが、左眼用および右眼用光学系の個体差により、撮像素子上に形成される左眼用および右眼用光学像の相対ズレが生じ得る。左眼用および右眼用光学像が大きくずれると、ステレオ画像上の左眼用および右眼用画像も大きくずれることになり、その結果、３次元表示を行う際に適正な立体視が妨げられる可能性がある。

ここに開示される技術は、より快適な立体視を実現できる画像生成装置および画像生成方法を提供することを目的とする。

ここに開示される画像生成装置は、ズレ量算出部と、評価情報生成部と、を備えている。ズレ量算出部は、入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出する。評価情報生成部は、相対ズレ量を算出する際にズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成する。

ここで、３次元表示の適性とは、３次元表示の際に快適な立体視が可能であるか否かを示している。３次元表示の適性は、例えば、入力画像データ上での左眼用画像データおよび右眼用画像データの相対ズレ量（垂直方向および水平方向のうち少なくとも一方の相対ズレ量）により決まる。

また、画像生成装置は、画像を撮影する撮像装置の他に、すでに取得されている画像データを読み込んで上書き保存あるいは新たに別の画像データを生成できる装置も含まれる。

この画像生成装置では、左眼用画像データおよび右眼用画像データの相対ズレ量がズレ量算出部により算出される。さらに、評価情報生成部により、相対ズレ量を算出する際にズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報が生成される。このため、評価情報を用いて入力画像データが３次元表示に適しているか否かを表示前に判定することができ、３次元表示に適さない画像で立体視を行うのを抑制できる。

ここに開示される画像生成方法は、入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するステップと、相対ズレ量を算出する際にズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成するステップと、を備えている。

この画像生成方法では、左眼用画像データおよび右眼用画像データの相対ズレ量が算出される。さらに、相対ズレ量を算出する際にズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報が生成される。このため、評価情報を用いて入力画像データが３次元表示に適しているか否かを表示前に判定することができ、３次元表示に適さない画像で立体視を行うのを抑制できる。

ここに開示されるプログラムは、入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するズレ量算出機能と、相対ズレ量を算出する際にズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成する評価情報生成機能と、をコンピュータに実現させる。

このプログラムでは、ズレ量算出機能および評価情報生成機能をコンピュータに実現させることができる。したがって、評価情報を用いて入力画像データが３次元表示に適しているか否かを表示前に判定することができ、３次元表示に適さない画像で立体視を行うのを抑制できる。

ここに開示される記録媒体は、コンピュータにより読み取り可能であり、入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するズレ量算出機能と、相対ズレ量を算出する際にズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成する評価情報生成機能と、をコンピュータに実現させるプログラムを記録している。

この記録媒体に記録されているプログラムがコンピュータに読み込まれると、ズレ量算出機能および評価情報生成機能をコンピュータに実現させることができる。したがって、評価情報を用いて入力画像データが３次元表示に適しているか否かを表示前に判定することができ、３次元表示に適さない画像で立体視を行うのを抑制できる。

したがって、ここに開示される技術であれば、より快適な立体視を実現できる画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体を提供することができる。

デジタルカメラ１の斜視図 カメラ本体１００の斜視図 カメラ本体１００の背面図 デジタルカメラ１の概略ブロック図 交換レンズユニット２００の概略ブロック図 カメラ本体１００の概略ブロック図 （Ａ）レンズ識別情報Ｆ１の構成例、（Ｂ）レンズ特性情報Ｆ２の構成例、（Ｃ）レンズ状態情報Ｆ３の構成例 （Ａ）カメラ本体および交換レンズユニットの間のタイムチャート（カメラ本体が３次元撮影に対応していない場合）、（Ｂ）カメラ本体および交換レンズユニットの間のタイムチャート（カメラ本体および交換レンズユニットが３次元撮影に対応している場合） 各パラメータの説明図 各パラメータの説明図 パターンマッチング処理の説明図 電源ＯＮ時のフローチャート 電源ＯＮ時のフローチャート 撮影時のフローチャート（第１実施形態） 撮影時のフローチャート（第１実施形態） ３次元表示時の評価フラグ判定処理のフローチャート（第１実施形態） 警告表示の一例 評価フラグ生成処理のフローチャート（第２実施形態） 評価フラグ生成処理のフローチャート（第２実施形態） パターンマッチング処理の説明図（第２実施形態）

《第１実施形態》
〔デジタルカメラの構成〕
デジタルカメラ１は、３次元撮影が可能な撮像装置であり、レンズ交換式のデジタルカメラである。図１〜図３に示すように、デジタルカメラ１は、交換レンズユニット２００と、交換レンズユニット２００を装着可能なカメラ本体１００と、を備えている。交換レンズユニット２００は、３次元撮影に対応しているレンズユニットであり、被写体の光学像（左眼用光学像および右眼用光学像）を形成する。カメラ本体１００は、２次元撮影および３次元撮影に対応可能であり、交換レンズユニット２００により形成される光学像に基づいて画像データを生成する。カメラ本体１００には、３次元撮影に対応している交換レンズユニット２００の他に、３次元撮影に対応していない交換レンズユニットも取り付けることができる。つまり、カメラ本体１００は２次元撮影にも３次元撮影にも対応している。

なお、説明の便宜のため、デジタルカメラ１の被写体側を前、被写体と反対側を後ろまたは背、デジタルカメラ１の通常姿勢（以下、横撮り姿勢ともいう）における鉛直上側を上、鉛直下側を下ともいう。

＜１：交換レンズユニットの構成＞
交換レンズユニット２００は３次元撮影に対応しているレンズユニットである。本実施形態の交換レンズユニット２００には、２つの光学像が左右１対の光学系により１つの撮像素子上に形成される並置撮影方式が採用されている。

図１〜図４に示すように、交換レンズユニット２００は、３次元光学系Ｇと、第１駆動ユニット２７１、第２駆動ユニット２７２、振れ量検出センサー２７５およびレンズコントローラー２４０を有している。さらに、交換レンズユニット２００は、レンズマウント２５０、レンズ筒２９０、ズームリング２１３およびフォーカスリング２３４を有している。交換レンズユニット２００をカメラ本体１００に装着する際、レンズマウント２５０がカメラ本体１００のボディマウント１５０（後述）に取り付けられる。図１に示すように、レンズ筒２９０の外部にはズームリング２１３とフォーカスリング２３４とが回転可能に設けられている。

（１）３次元光学系Ｇ
図４および図５に示すように、３次元光学系Ｇは、並置撮影方式に対応した光学系であり、左眼用光学系ＯＬと右眼用光学系ＯＲとを有している。左眼用光学系ＯＬと右眼用光学系ＯＲとは左右に並んで配置されている。ここで、左眼用光学系とは、左側の視点に対応した光学系であり、具体的には、最も被写体側（前側）に配置されている光学素子が被写体に向かって左側に配置されている光学系をいう。同様に、右眼用光学系とは、右側の視点に対応した光学系であり、具体的には、最も被写体側（前側）に配置されている光学素子が被写体に向かって右側に配置されている光学系をいう。

左眼用光学系ＯＬは、被写体に向かって左側の視点から被写体を撮影するための光学系であり、ズームレンズ２１０Ｌ、ＯＩＳレンズ２２０Ｌ、絞りユニット２６０Ｌおよびフォーカスレンズ２３０Ｌを含んでいる。左眼用光学系ＯＬは、第１光軸ＡＸ１を有しており、右眼用光学系ＯＲと左右に並んだ状態でレンズ筒２９０の内部に収容されている。

ズームレンズ２１０Ｌは、左眼用光学系ＯＬの焦点距離を変化させるためのレンズであり、第１光軸ＡＸ１と平行な方向に移動可能に配置されている。ズームレンズ２１０Ｌは１枚または複数枚のレンズで構成されている。ズームレンズ２１０Ｌは第１駆動ユニット２７１のズームモータ２１４Ｌ（後述）により駆動される。ズームレンズ２１０Ｌを第１光軸ＡＸ１と平行な方向に駆動することにより、左眼用光学系ＯＬの焦点距離を調整することができる。

ＯＩＳレンズ２２０Ｌは、左眼用光学系ＯＬで形成される光学像のＣＭＯＳイメージセンサー１１０（後述）に対する変位を抑制するためのレンズである。ＯＩＳレンズ２２０Ｌは１枚または複数枚のレンズで構成される。ＯＩＳモータ２２１Ｌは、ＯＩＳ用ＩＣ２２３Ｌから送信される制御信号に基づいて、第１光軸ＡＸ１に垂直な面内で移動するようにＯＩＳレンズ２２０Ｌを駆動する。ＯＩＳモータ２２１Ｌは、例えば、マグネット（図示せず）および平板コイル（図示せず）で実現可能である。ＯＩＳレンズ２２０Ｌの位置は第１駆動ユニット２７１の位置検出センサー２２２Ｌ（後述）により検出される。

なお、本実施形態では、振れ補正の方式として光学式が採用されているが、例えばＣＭＯＳイメージセンサー１１０で生成される画像データに補正処理を施す電子式、あるいは、ＣＭＯＳイメージセンサー１１０などの撮像素子を第１光軸ＡＸ１と垂直な面内で駆動するセンサーシフト式が振れ補正の方式として採用されてもよい。

絞りユニット２６０Ｌは左眼用光学系ＯＬを透過する光の量を調整する。絞りユニット２６０Ｌは複数の絞り羽根（図示せず）を有している。絞り羽根は第１駆動ユニット２７１の絞りモータ２３５Ｌ（後述）により駆動される。カメラコントローラー１４０（後述）は絞りモータ２３５Ｌを制御する。

フォーカスレンズ２３０Ｌは、左眼用光学系ＯＬの被写体距離（物点距離ともいう）を調整するためのレンズであり、第１光軸ＡＸ１に平行な方向に移動可能に配置されている。フォーカスレンズ２３０Ｌは第１駆動ユニット２７１のフォーカスモータ２３３Ｌ（後述）により駆動される。フォーカスレンズ２３０Ｌは１枚または複数枚のレンズで構成されている。

右眼用光学系ＯＲは、被写体に向かって右側の視点から被写体を撮影するための光学系であり、ズームレンズ２１０Ｒ、ＯＩＳレンズ２２０Ｒ、絞りユニット２６０Ｒおよびフォーカスレンズ２３０Ｒを含んでいる。右眼用光学系ＯＲは、第２光軸ＡＸ２を有しており、左眼用光学系ＯＬと左右に並んだ状態でレンズ筒２９０の内部に収容されている。右眼用光学系ＯＲの仕様は左眼用光学系ＯＬの仕様と同じである。なお、第１光軸ＡＸ１と第２光軸ＡＸ２とのなす角度（輻輳角）とは、図１０に示す角度θ１をいう。

ズームレンズ２１０Ｒは、右眼用光学系ＯＲの焦点距離を変化させるためのレンズであり、第２光軸ＡＸ２と平行な方向に移動可能に配置されている。ズームレンズ２１０Ｒは１枚または複数枚のレンズで構成されている。ズームレンズ２１０Ｒは第２駆動ユニット２７２のズームモータ２１４Ｒ（後述）により駆動される。ズームレンズ２１０Ｒを第２光軸ＡＸ２と平行な方向に駆動することにより、右眼用光学系ＯＲの焦点距離を調整することができる。ズームレンズ２１０Ｒの駆動はズームレンズ２１０Ｌの駆動と同期がとられている。したがって、右眼用光学系ＯＲの焦点距離は左眼用光学系ＯＬの焦点距離と同じである。

ＯＩＳレンズ２２０Ｒは、右眼用光学系ＯＲで形成される光学像のＣＭＯＳイメージセンサー１１０に対する変位を抑制するためのレンズである。ＯＩＳレンズ２２０Ｒは１枚または複数枚のレンズで構成される。ＯＩＳモータ２２１Ｒは、ＯＩＳ用ＩＣ２２３Ｒから送信される制御信号に基づいて、第２光軸ＡＸ２に垂直な面内で移動するようにＯＩＳレンズ２２０Ｒを駆動する。ＯＩＳモータ２２１Ｒは、例えば、マグネット（図示せず）および平板コイル（図示せず）で実現可能である。ＯＩＳレンズ２２０Ｒの位置は第２駆動ユニット２７２の位置検出センサー２２２Ｒ（後述）により検出される。

なお、本実施形態では、振れ補正の方式として光学式が採用されているが、例えばＣＭＯＳイメージセンサー１１０（後述）で生成される画像データに補正処理を施す電子式、あるいは、ＣＭＯＳイメージセンサー１１０などの撮像素子を第２光軸ＡＸ２と垂直な面内で駆動するセンサーシフト式が振れ補正の方式として採用されてもよい。

絞りユニット２６０Ｒは右眼用光学系ＯＲを透過する光の量を調整する。絞りユニット２６０Ｒは複数の絞り羽根（図示せず）を有している。絞り羽根は第２駆動ユニット２７２の絞りモータ２３５Ｒ（後述）により駆動される。カメラコントローラー１４０は絞りモータ２３５Ｒを制御する。絞りユニット２６０Ｒの駆動は絞りユニット２６０Ｌの駆動と同期がとられる。したがって、右眼用光学系ＯＲの絞り値は左眼用光学系ＯＬの絞り値と同じである。

フォーカスレンズ２３０Ｒは、右眼用光学系ＯＲの被写体距離（物点距離ともいう）を調整するためのレンズであり、第２光軸ＡＸ２に平行な方向に移動可能に配置されている。フォーカスレンズ２３０Ｒは第２駆動ユニット２７２のフォーカスモータ２３３Ｒ（後述）により駆動される。フォーカスレンズ２３０Ｒは１枚または複数枚のレンズで構成されている。

（２）第１駆動ユニット２７１
第１駆動ユニット２７１は、左眼用光学系ＯＬの状態を調整するために設けられており、図５に示すように、ズームモータ２１４Ｌ、ＯＩＳモータ２２１Ｌ、位置検出センサー２２２Ｌ、ＯＩＳ用ＩＣ２２３Ｌ、絞りモータ２３５Ｌおよびフォーカスモータ２３３Ｌを有している。

ズームモータ２１４Ｌはズームレンズ２１０Ｌを駆動する。ズームモータ２１４Ｌはレンズコントローラー２４０により制御される。

ＯＩＳモータ２２１ＬはＯＩＳレンズ２２０Ｌを駆動する。位置検出センサー２２２ＬはＯＩＳレンズ２２０Ｌの位置を検出するセンサーである。位置検出センサー２２２Ｌは、例えばホール素子であり、ＯＩＳモータ２２１Ｌのマグネットに近接して配置されている。ＯＩＳ用ＩＣ２２３Ｌは、位置検出センサー２２２Ｌの検出結果および振れ量検出センサー２７５の検出結果に基づいて、ＯＩＳモータ２２１Ｌを制御する。ＯＩＳ用ＩＣ２２３Ｌはレンズコントローラー２４０から振れ量検出センサー２７５の検出結果を取得する。また、ＯＩＳ用ＩＣ２２３Ｌはレンズコントローラー２４０へＯＩＳレンズ２２０Ｌの位置を示す信号を所定の周期で送信する。

絞りモータ２３５Ｌは絞りユニット２６０Ｌを駆動する。絞りモータ２３５Ｌはレンズコントローラー２４０により制御される。

フォーカスモータ２３３Ｌはフォーカスレンズ２３０Ｌを駆動する。フォーカスモータ２３３Ｌはレンズコントローラー２４０により制御される。レンズコントローラー２４０は、フォーカスモータ２３３Ｒも制御しており、フォーカスモータ２３３Ｌおよびフォーカスモータ２３３Ｒを同期させる。これにより、左眼用光学系ＯＬの被写体距離が右眼用光学系ＯＲの被写体距離と同じになる。フォーカスモータ２３３Ｌとしては、例えばＤＣモータやステッピングモータ、サーボモータ、超音波モータが考えられる。

（３）第２駆動ユニット２７２
第２駆動ユニット２７２は、右眼用光学系ＯＲの状態を調整するために設けられており、図５に示すように、ズームモータ２１４Ｒ、ＯＩＳモータ２２１Ｒ、位置検出センサー２２２Ｒ、ＯＩＳ用ＩＣ２２３Ｒ、絞りモータ２３５Ｒおよびフォーカスモータ２３３Ｒを有している。

ズームモータ２１４Ｒはズームレンズ２１０Ｒを駆動する。ズームモータ２１４Ｒはレンズコントローラー２４０により制御される。

ＯＩＳモータ２２１ＲはＯＩＳレンズ２２０Ｒを駆動する。位置検出センサー２２２ＲはＯＩＳレンズ２２０Ｒの位置を検出するセンサーである。位置検出センサー２２２Ｒは、例えばホール素子であり、ＯＩＳモータ２２１Ｒのマグネットに近接して配置されている。ＯＩＳ用ＩＣ２２３Ｒは、位置検出センサー２２２Ｒの検出結果および振れ量検出センサー２７５の検出結果に基づいて、ＯＩＳモータ２２１Ｒを制御する。ＯＩＳ用ＩＣ２２３Ｒはレンズコントローラー２４０から振れ量検出センサー２７５の検出結果を取得する。また、ＯＩＳ用ＩＣ２２３Ｒはレンズコントローラー２４０へＯＩＳレンズ２２０Ｒの位置を示す信号を所定の周期で送信する。

絞りモータ２３５Ｒは絞りユニット２６０Ｒを駆動する。絞りモータ２３５Ｒはレンズコントローラー２４０により制御される。

フォーカスモータ２３３Ｒはフォーカスレンズ２３０Ｒを駆動する。フォーカスモータ２３３Ｒはレンズコントローラー２４０により制御される。レンズコントローラー２４０はフォーカスモータ２３３Ｌおよびフォーカスモータ２３３Ｒを同期させる。これにより、右眼用光学系ＯＲの被写体距離が左眼用光学系ＯＬの被写体距離と同じになる。フォーカスモータ２３３Ｒとしては、例えばＤＣモータやステッピングモータ、サーボモータ、超音波モータが考えられる。

（４）レンズコントローラー２４０
レンズコントローラー２４０は、カメラコントローラー１４０から送信される制御信号に基づいて交換レンズユニット２００の各部（例えば、第１駆動ユニット２７１および第２駆動ユニット２７２）を制御する。レンズコントローラー２４０はカメラコントローラー１４０との送受信をレンズマウント２５０およびボディマウント１５０を介して行う。レンズコントローラー２４０は、制御の際、ＤＲＡＭ２４１をワークメモリとして使用する。

レンズコントローラー２４０は、ＣＰＵ（Central Processing Unit）２４０ａ、ＲＯＭ（Read Only Memory）２４０ｂおよびＲＡＭ（Random Access Memory）２４０ｃを有しており、ＲＯＭ２４０ｂに格納されたプログラムがＣＰＵ２４０ａに読み込まれることで様々な機能を実現し得る。

また、フラッシュメモリ２４２（補正情報記憶部の一例、識別情報記憶部の一例）は、レンズコントローラー２４０の制御の際に使用するプログラムやパラメータを保存する。例えば、交換レンズユニット２００が３次元撮影に対応していることを示すレンズ識別情報Ｆ１（図７（Ａ）参照）、３次元光学系Ｇの特性を示すパラメータおよびフラグを含むレンズ特性情報Ｆ２（図７（Ｂ）参照）をフラッシュメモリ２４２は予め記憶している。交換レンズユニット２００が撮影可能な状態か否かを示すレンズ状態情報Ｆ３（図７（Ｃ）参照）は、例えばＲＡＭ２４０ｃに格納されている。

ここで、レンズ識別情報Ｆ１、レンズ特性情報Ｆ２およびレンズ状態情報Ｆ３について説明する。

（レンズ識別情報Ｆ１）
レンズ識別情報Ｆ１は、交換レンズユニットが３次元撮影に対応しているか否かを示す情報であり、例えばフラッシュメモリ２４２に予め格納されている。図７（Ａ）に示すように、レンズ識別情報Ｆ１は、フラッシュメモリ２４２内の所定のアドレスに格納された３次元撮影判定フラグである。図８（Ａ）および図８（Ｂ）に示すように、カメラ本体および交換レンズユニットの間で、電源ＯＮ時または交換レンズユニットがカメラ本体に装着された時に行われる初期通信において、３次元撮影判定フラグは交換レンズユニットからカメラ本体へ送信される。

３次元撮影判定フラグが立っている場合は、その交換レンズユニットが３次元撮影に対応しており、３次元撮影判定フラグが立っていない場合は、その交換レンズユニットは３次元撮影に対応していない。３次元撮影判定フラグのアドレスは、３次元撮影に対応していない通常の交換レンズユニットで使用されていない領域が用いられる。これにより、３次元撮影に対応していない交換レンズユニットでは、３次元撮影判定フラグの設定を行わなくても、３次元撮影判定フラグが立っていない状態となり得る。

（レンズ特性情報Ｆ２）
レンズ特性情報Ｆ２は、交換レンズユニットの光学系の特性を示すデータであり、図７（Ｂ）に示すように、以下のパラメータおよびフラグを含んでいる。

（Ａ）基線長
立体光学系（Ｇ）の基線長Ｌ１
（Ｂ）光軸位置
撮像素子（ＣＭＯＳイメージセンサー１１０）の中心Ｃ０（図９参照）から光軸中心（図９に示すイメージサークルＩＬの中心ＩＣＬまたはイメージサークルＩＲの中心ＩＣＲ）までの距離Ｌ２（設計値）
（Ｃ）輻輳角
第１光軸（ＡＸ１）および第２光軸（ＡＸ２）のなす角度θ１（図１０参照）
（Ｄ）左眼ズレ量
左眼用光学系（ＯＬ）の撮像素子（ＣＭＯＳイメージセンサー１１０）上での光軸位置（設計値）に対する左眼用光学像（ＱＬ１）のズレ量ＤＬ（水平方向：ＤＬｘ、鉛直方向：ＤＬｙ）
（Ｅ）右眼ズレ量
右眼用光学系（右眼用光学系ＯＲ）の撮像素子（ＣＭＯＳイメージセンサー１１０）上での光軸位置（設計値）に対する右眼用光学像（右眼用光学像ＱＲ１）のズレ量ＤＲ（水平方向：ＤＲｘ、鉛直方向：ＤＲｙ）
（Ｆ）撮像有効エリア
左眼用光学系（ＯＬ）および右眼用光学系（ＯＲ）のイメージサークル（ＡＬ１、ＡＲ１）の半径ｒ（図８参照）
（Ｇ）推奨輻輳点距離
交換レンズユニット２００を用いて３次元撮影を行う際に推奨される、被写体（輻輳点Ｐ０）からＣＭＯＳイメージセンサー１１０の受光面１１０ａまでの距離Ｌ１０（図１０参照）
（Ｈ）抽出位置補正量
輻輳角θ１がゼロの場合に第１光軸ＡＸ１および第２光軸ＡＸ２が受光面１１０ａに到達する点（Ｐ１１およびＰ１２）から、輻輳角θ１が推奨輻輳点距離Ｌ１０に対応する大きさの場合における第１光軸ＡＸ１および第２光軸ＡＸ２が受光面１１０ａ上に到達する点（Ｐ２１およびＰ２２）までの距離Ｌ１１（図１０参照）（「輻輳点距離が無限遠の場合に対応する基準画像抽出位置から交換レンズユニットの推奨輻輳点距離に対応する推奨画像抽出位置までの撮像素子上の距離」ともいう）
（Ｉ）限界輻輳点距離
交換レンズユニット２００を用いて３次元撮影を行う際に、左眼用光学像ＱＬ１および右眼用光学像ＱＲ１の抽出領域がともに撮像有効エリア内に収まる場合の、被写体から受光面１１０ａまでの限界距離Ｌ１２（図１０参照）
（Ｊ）抽出位置限界補正量
輻輳角θ１がゼロの場合に第１光軸ＡＸ１および第２光軸ＡＸ２が受光面１１０ａに到達する点（Ｐ１１およびＰ１２）から、輻輳角θ１が限界輻輳点距離Ｌ１２に対応する大きさの場合における第１光軸ＡＸ１および第２光軸ＡＸ２が受光面１１０ａ上に到達する点（Ｐ３１およびＰ３２）までの距離Ｌ１３（図１０参照）
上記のパラメータのうち、光軸位置、左眼ズレ量および右眼ズレ量は、並置撮影方式の３次元光学系特有のパラメータである。

ここで、図９〜図１０を用いて、上記のパラメータについて説明をする。図９はＣＭＯＳイメージセンサー１１０を被写体側から見た図である。ＣＭＯＳイメージセンサー１１０は、交換レンズユニット２００を透過した光を受ける受光面１１０ａ（図９および図１０参照）を有している。受光面１１０ａ上には被写体の光学像が形成される。図９に示すように、受光面１１０ａは、第１領域１１０Ｌと、第１領域１１０Ｌに隣接して配置された第２領域１１０Ｒと、を有している。第１領域１１０Ｌの面積は第２領域１１０Ｒの面積と同じである。図９に示すように、カメラ本体１００の背面側から見た場合（透視した場合）、第１領域１１０Ｌは受光面１１０ａの左半分、第２領域１１０Ｒは受光面１１０ａの右半分を占めている。図９に示すように、交換レンズユニット２００を用いて撮影を行う場合は、第１領域１１０Ｌには左眼用光学像ＱＬ１が形成され、第２領域１１０Ｒには右眼用光学像ＱＲ１が形成される。

図９に示すように、設計上の左眼用光学系ＯＬのイメージサークルＩＬおよび右眼用光学系ＯＲのイメージサークルＩＲをＣＭＯＳイメージセンサー１１０上に定義する。イメージサークルＩＬの中心ＩＣＬ（基準画像抽出位置の一例）は左眼用光学系ＯＬの第１光軸ＡＸ１０の設計上の位置と一致しており、イメージサークルＩＲの中心ＩＣＲ（基準画像抽出位置の一例）は右眼用光学系ＯＲの第２光軸ＡＸ２０の設計上の位置と一致している。ここで、設計上の位置とは、第１光軸ＡＸ１０および第２光軸ＡＸ２０は、輻輳点が無限遠にある場合に対応している。したがって、設計上の基線長はＣＭＯＳイメージセンサー１１０上での第１光軸ＡＸ１０および第２光軸ＡＸ２０の間の設計上の距離Ｌ１となる。また、光軸位置は受光面１１０ａの中心Ｃ０および第１光軸ＡＸ１０の間の設計上の距離Ｌ２（あるいは中心Ｃ０および第２光軸ＡＸ２０の間の設計上の距離Ｌ２）となる。

また図９に示すように、中心ＩＣＬに基づいて抽出可能範囲ＡＬ１および横長撮影用抽出可能範囲ＡＬ１１が設定され、中心ＩＣＲに基づいて抽出可能範囲ＡＲ１および横長撮影用抽出可能範囲ＡＲ１１が設定されている。中心ＩＣＬが受光面１１０ａの第１領域１１０Ｌのほぼ中央位置に設定されているので、イメージサークルＩＬ内の抽出可能範囲ＡＬ１およびＡＬ１１を広く確保できる。また、中心ＩＣＲが第２領域１１０Ｒのほぼ中央位置に設定されているので、イメージサークルＩＲ内の抽出可能範囲ＡＲ１およびＡＲ１１を広く確保できる。

図９に示す抽出領域ＡＬ０およびＡＲ０は、左眼用画像データおよび右眼用画像データを抽出する際の基準となる領域である。左眼用画像データの設計上の抽出領域ＡＬ０は、イメージサークルＩＬの中心ＩＣＬ（あるいは第１光軸ＡＸ１０）を基準に設定されており、抽出可能範囲ＡＬ１の中央に位置している。また、右眼用画像データの設計上の抽出領域ＡＲ０は、イメージサークルＩＲの中心ＩＣＲ（あるいは第２光軸ＡＸ２０）を基準に設定されており、抽出可能範囲ＡＲ１の中央に位置している。

ところが、光軸中心ＩＣＬおよびＩＣＲは輻輳点が無限遠に存在する場合に対応しているので、抽出領域ＡＬ０およびＡＲ０を基準に左眼用画像データおよび右眼用画像データを抽出すると、立体視の際に被写体が再現される位置は無限位置となる。したがって、このような設定で近接撮影（例えば、撮影位置から主被写体までの距離が１ｍ程度の場合）用の交換レンズユニット２００を用いると、立体視の際に３次元画像内で被写体がスクリーンから飛び出し過ぎるという問題が発生する。

そこで、立体視の際のユーザーからスクリーンまでの距離を交換レンズユニット２００の推奨輻輳点距離Ｌ１０とするために、このカメラ本体１００では、抽出領域ＡＲ０を推奨抽出領域ＡＲ３へ、抽出領域ＡＬ０を推奨抽出領域ＡＲ３へ、それぞれ距離Ｌ１１だけずらしている。抽出位置補正量Ｌ１１を用いた抽出領域の補正処理については後述する。

＜２：カメラ本体の構成＞
図４および図６に示すように、カメラ本体１００は、ＣＭＯＳイメージセンサー１１０、カメラモニタ１２０、電子ビューファインダー１８０、表示制御部１２５、操作部１３０、カードスロット１７０、シャッターユニット１９０、ボディマウント１５０、ＤＲＡＭ１４１、画像処理部１０、カメラコントローラー１４０（制御部の一例）を備えている。これら各部は、バス２０に接続されており、バス２０を介して互いにデータの送受信が可能となっている。

（１）ＣＭＯＳイメージセンサー１１０
ＣＭＯＳイメージセンサー１１０は、交換レンズユニット２００により形成される被写体の光学像（以下、被写体像ともいう）を画像信号に変換する。図６に示すように、ＣＭＯＳイメージセンサー１１０はタイミングジェネレータ１１２で生成されるタイミング信号に基づいて画像信号を出力する。ＣＭＯＳイメージセンサー１１０で生成された画像信号は、信号処理部１５（後述）でデジタル化され画像データに変換される。ＣＭＯＳイメージセンサー１１０により静止画データおよび動画データを取得できる。取得された動画データはスルー画像の表示にも用いられる。

ここで、スルー画像とは、動画データのうちメモリーカード１７１に記録されない画像である。スルー画像は、主に動画であり、動画または静止画の構図を決めるためにカメラモニタ１２０または電子ビューファインダー（以下、ＥＶＦとも言う）１８０に表示される。

前述のように、ＣＭＯＳイメージセンサー１１０は、交換レンズユニット２００を透過した光を受ける受光面１１０ａ（図６および図９参照）を有している。受光面１１０ａ上には被写体の光学像が形成される。図９に示すように、カメラ本体１００の背面側から見た場合、第１領域１１０Ｌは受光面１１０ａの左半分、第２領域１１０Ｒは受光面１１０ａの右半分を占めている。交換レンズユニット２００を用いて撮影を行う場合は、第１領域１１０Ｌには左眼用光学像が形成され、第２領域１１０Ｒには右眼用光学像が形成される。

なお、ＣＭＯＳイメージセンサー１１０は被写体の光学像を電気的な画像信号に変換する撮像素子の一例である。撮像素子は、ＣＭＯＳイメージセンサー１１０やＣＣＤイメージセンサー等の光電変換素子を含む概念である。

（２）カメラモニタ１２０
カメラモニタ１２０は、例えば液晶ディスプレイであり、表示用画像データを画像として表示する。表示用画像データは、画像処理された画像データや、デジタルカメラ１の撮影条件、操作メニュー等を画像として表示するためのデータ等であり、カメラコントローラー１４０で生成される。カメラモニタ１２０は、動画も静止画も選択的に表示可能である。さらに、カメラモニタ１２０はステレオ画像を３次元表示することもできる。具体的には、表示制御部１２５がステレオ画像をカメラモニタ１２０に３次元表示させる。カメラモニタ１２０に３次元表示された画像は、例えば専用メガネを用いることで立体視することができる。図５に示すように、本実施形態では、カメラモニタ１２０はカメラ本体１００の背面に配置されているが、カメラモニタ１２０はカメラ本体１００のどこに配置されていてもよい。

なお、カメラモニタ１２０はカメラ本体１００に設けられた表示部の一例である。表示部としては、他にも、有機ＥＬ、無機ＥＬ、プラズマディスプレイパネル等、画像を表示できる装置を用いることができる。

（３）電子ビューファインダー１８０
電子ビューファインダー１８０は、カメラコントローラー１４０で生成された表示用画像データを画像として表示する。ＥＶＦ１８０は、動画も静止画も選択的に表示可能である。また、ＥＶＦ１８０とカメラモニタ１２０とは、同じ内容を表示する場合と、異なる内容を表示する場合とがあり、ともに表示制御部１２５によって制御される。

（４）表示制御部１２５
表示制御部１２５（表示判定部の一例）は、カメラモニタ１２０および電子ビューファインダー１８０の表示状態を制御する。具体的には、表示制御部１２５は、カメラモニタ１２０および電子ビューファインダー１８０に通常の画像を２次元表示したり、あるいは、カメラモニタ１２０にステレオ画像を３次元表示したりできる。

また、表示制御部１２５は、評価情報判定部１５８（後述）の検出結果に基づいてステレオ画像を３次元表示するか否かを判定する。例えば、評価フラグ（後述）が「低」を示す場合は、例えば、表示制御部１２５は警告メッセージをカメラモニタ１２０に表示する。

（５）操作部１３０
図１および図２に示すように、操作部１３０は、レリーズ釦１３１と、電源スイッチ１３２と、を有している。レリーズ釦１３１はユーザーによるシャッター操作を受け付ける。電源スイッチ１３２は、カメラ本体１００の上面に設けられた回転式のレバースイッチである。操作部１３０は、ユーザーによる操作を受け付けることができればよく、ボタン、レバー、ダイアル、タッチパネル等を含む。

（６）カードスロット１７０
カードスロット１７０は、メモリーカード１７１を装着可能である。カードスロット１７０は、カメラコントローラー１４０からの制御に基づいて、メモリーカード１７１を制御する。具体的には、カードスロット１７０は、メモリーカード１７１に画像データを格納し、メモリーカード１７１から画像データを出力する。例えば、カードスロット１７０は、メモリーカード１７１に動画データを格納し、メモリーカード１７１から動画データを出力する。

メモリーカード１７１は、カメラコントローラー１４０が画像処理により生成した画像データを格納可能である。例えば、メモリーカード１７１は、非圧縮のＲＡＷ画像ファイルや圧縮されたＪＰＥＧ画像ファイル等を格納できる。さらに、メモリーカード１７１はマルチピクチャーフォーマット（ＭＰＦ）形式のステレオ画像ファイルを格納することもできる。

また、カードスロット１７０を介して、予め内部に格納された画像データをメモリーカード１７１から出力できる。メモリーカード１７１から出力された画像データまたは画像ファイルは、カメラコントローラー１４０で画像処理される。例えば、カメラコントローラー１４０は、メモリーカード１７１から取得した画像データまたは画像ファイルを伸張などして表示用画像データを生成する。

メモリーカード１７１は、さらに、カメラコントローラー１４０が画像処理により生成した動画データを格納可能である。例えば、メモリーカード１７１は、動画圧縮規格であるＨ．２６４／ＡＶＣに従って圧縮された動画ファイルを格納できる。また、ステレオ動画ファイルを格納することもできる。また、カードスロット１７０を介して、予め内部に格納された動画データまたは動画ファイルをメモリーカード１７１から出力できる。メモリーカード１７１から出力された動画データまたは動画ファイルは、カメラコントローラー１４０で画像処理される。例えば、カメラコントローラー１４０は、メモリーカード１７１から取得した動画データまたは動画ファイルに伸張処理を施し、表示用動画データを生成する。

（７）シャッターユニット１９０
シャッターユニット１９０は、いわゆるフォーカルプレーンシャッターであり、図３に示すように、ボディマウント１５０とＣＭＯＳイメージセンサー１１０との間に配置される。シャッターユニット１９０のチャージはシャッターモーター１９９により行われる。シャッターモーター１９９は、例えばステッピングモータであり、カメラコントローラー１４０により制御される。

（８）ボディマウント１５０
ボディマウント１５０は、交換レンズユニット２００を装着可能であり、交換レンズユニット２００が装着された状態で交換レンズユニット２００を保持する。ボディマウント１５０は、交換レンズユニット２００のレンズマウント２５０と機械的および電気的に接続可能である。ボディマウント１５０とレンズマウント２５０とを介して、カメラ本体１００と交換レンズユニット２００との間で、データおよび／または制御信号を送受信可能である。具体的には、ボディマウント１５０とレンズマウント２５０とは、カメラコントローラー１４０とレンズコントローラー２４０との間で、データおよび／または制御信号を送受信する。

（９）カメラコントローラー１４０
カメラコントローラー１４０はカメラ本体１００全体を制御する。カメラコントローラー１４０は操作部１３０と電気的に接続されている。カメラコントローラー１４０には操作部１３０から操作信号が入力される。カメラコントローラー１４０は、制御動作や後述の画像処理動作の際に、ＤＲＡＭ１４１をワークメモリとして使用する。

また、カメラコントローラー１４０は、交換レンズユニット２００を制御するための信号を、ボディマウント１５０およびレンズマウント２５０を介してレンズコントローラー２４０に送信し、交換レンズユニット２００の各部を間接的に制御する。また、カメラコントローラー１４０は、ボディマウント１５０およびレンズマウント２５０を介して、レンズコントローラー２４０から各種信号を受信する。

カメラコントローラー１４０は、ＣＰＵ（Central Processing Unit）１４０ａ、ＲＯＭ（Read Only Memory）１４０ｂおよびＲＡＭ（Random Access Memory）１４０ｃを有しており、ＲＯＭ１４０ｂ（コンピュータにより読み取り可能な記録媒体の一例）に格納されたプログラムがＣＰＵ１４０ａに読み込まれることで様々な機能を実現し得る。

（カメラコントローラー１４０の詳細）
ここで、カメラコントローラー１４０の機能の詳細について説明する。

まず、カメラコントローラー１４０は、交換レンズユニット２００がカメラ本体１００（より詳細には、ボディマウント１５０）に装着されているか否かを検知する。具体的には図６に示すように、カメラコントローラー１４０はレンズ検知部１４６を有している。交換レンズユニット２００がカメラ本体１００に装着されると、カメラコントローラー１４０とレンズコントローラー２４０との間で信号の送受信が行われる。レンズ検知部１４６は、信号の送受信に基づいて交換レンズユニット２００が装着されているか否かを判定する。

また、カメラコントローラー１４０は、ボディマウント１５０に装着されている交換レンズユニットが３次元撮影に対応しているか否かを判定する機能、および交換レンズユニットから３次元撮影に関係する情報を取得する機能など、様々な機能を有している。具体的には、カメラコントローラー１４０は、識別情報取得部１４２、特性情報取得部１４３、カメラ側判定部１４４、状態情報取得部１４５、抽出位置補正部１３９、領域決定部１４９、メタデータ生成部１４７、画像ファイル生成部１４８、ズレ量算出部１５５、評価情報生成部１５６および評価情報判定部１５８を有している。これらの機能は、ＲＯＭ１４０ｂに記録されたプログラムがＣＰＵ１４０ａ（コンピュータの一例）に読み込まれることで実現される。

識別情報取得部１４２は、交換レンズユニット２００が３次元撮影に対応しているか否かを示すレンズ識別情報Ｆ１を、ボディマウント１５０に装着されている交換レンズユニット２００から取得する。図７（Ａ）に示すように、レンズ識別情報Ｆ１は、ボディマウント１５０に装着されている交換レンズユニットが３次元撮影に対応しているか否かを示す情報であり、例えばレンズコントローラー２４０のフラッシュメモリ２４２に格納されている。レンズ識別情報Ｆ１はフラッシュメモリ２４２の所定のアドレスに格納された３次元撮影判定フラグである。識別情報取得部１４２は取得したレンズ識別情報Ｆ１を例えばＤＲＡＭ１４１に一時的に格納する。

カメラ側判定部１４４は、識別情報取得部１４２により取得されたレンズ識別情報Ｆ１に基づいて、ボディマウント１５０に装着されている交換レンズユニット２００が３次元撮影に対応しているか否かを判定する。ボディマウント１５０に装着されている交換レンズユニット２００が３次元撮影に対応しているとカメラ側判定部１４４により判定された場合、カメラコントローラー１４０は３次元撮影モードの実行を許容する。一方、ボディマウント１５０に装着されている交換レンズユニット２００が３次元撮影に対応していないとカメラ側判定部１４４により判定された場合、カメラコントローラー１４０は３次元撮影モードを実行しない。この場合、カメラコントローラー１４０は２次元撮影モードの実行を許容する。

特性情報取得部１４３（補正情報取得部の一例）は、交換レンズユニット２００に搭載されている光学系の特性を示すレンズ特性情報Ｆ２を交換レンズユニット２００から取得する。具体的には、特性情報取得部１４３は、交換レンズユニット２００が３次元撮影に対応しているとカメラ側判定部１４４により判定された場合に、前述のレンズ特性情報Ｆ２を交換レンズユニット２００から取得する。特性情報取得部１４３は、取得したレンズ特性情報Ｆ２を例えばＤＲＡＭ１４１に一時的に格納する。

状態情報取得部１４５は状態情報生成部２４３により生成されたレンズ状態情報Ｆ３（撮影可否フラグ）を取得する。このレンズ状態情報Ｆ３は交換レンズユニット２００が撮影可能な状態か否かを判定するのに用いられる。状態情報取得部１４５は取得したレンズ状態情報Ｆ３を例えばＤＲＡＭ１４１に一時的に格納する。

抽出位置補正部１３９は、抽出位置補正量Ｌ１１に基づいて抽出領域ＡＬ０およびＡＲ０の中心位置を補正する。初期状態では、抽出領域ＡＬ０の中心はイメージサークルＩＬの中心ＩＣＬに設定されており、抽出領域ＡＲ０の中心はイメージサークルＩＲの中心ＩＣＲに設定されている。抽出位置補正部１３９は、中心ＩＣＬおよびＩＣＲから抽出位置補正量Ｌ１１だけ抽出中心を水平方向に移動させて、左眼用画像データおよび右眼用画像データを抽出する基準として新たに抽出中心ＡＣＬ２およびＡＣＲ２（推奨画像抽出位置の一例）を設定する。抽出中心ＡＣＬ２およびＡＣＲ２を基準とした抽出領域は、図９に示す抽出領域ＡＬ２およびＡＲ２となる。このように、抽出位置補正量Ｌ１１を用いて抽出中心の位置を補正することで、交換レンズユニットの特性に応じて抽出領域を設定することができ、より適正なステレオ画像を得ることができる。

ここで、本実施形態では、交換レンズユニット２００がズーム機能を有しているので、ズーム操作により焦点距離が変わると、推奨輻輳点距離Ｌ１０が変化し、それに伴い抽出位置補正量Ｌ１１も変化する。したがって、ズームポジションに応じて抽出位置補正量Ｌ１１を演算により再計算してもよい。

具体的には、レンズコントローラー２４０はズーム位置センサ（図示せず）の検出結果に基づいてズームポジションを把握できる。レンズコントローラー２４０はズームポジション情報をカメラコントローラー１４０に所定の周期で送信する。ズームポジション情報はＤＲＡＭ１４１に一時的に格納される。

一方、抽出位置補正部１３９は、例えば、ズームポジション情報、推奨輻輳点距離Ｌ１０および抽出位置補正量Ｌ１１に基づいて焦点距離に適した抽出位置補正量を算出する。このとき、例えば、ズームポジション情報、推奨輻輳点距離Ｌ１０および抽出位置補正量Ｌ１１の関係を示す情報（例えば、演算式やデータテーブルなど）がカメラ本体１０に格納されていてもよいし、交換レンズユニット２００のフラッシュメモリ２４２に格納されていてもよい。抽出位置補正量の更新は所定の周期で行われる。更新された抽出位置補正量はＤＲＡＭ１４１の所定のアドレスに格納される。この場合、抽出位置補正部１３９は、抽出位置補正量Ｌ１１の場合と同様に、新たに算出された抽出位置補正量に基づいて抽出領域ＡＬ０およびＡＲ０の中心位置を補正する。

領域決定部１４９は、画像抽出部１６で左眼用画像データおよび右眼用画像データを抽出する際に用いられる抽出領域ＡＬ３およびＡＲ３のサイズおよび位置を決定する。具体的には、領域決定部１４９は、抽出位置補正部１３９により算出された抽出中心ＡＣＬ２およびＡＣＲ２、イメージサークルＩＬおよびＩＲの半径ｒ、レンズ特性情報Ｆ２に含まれる左眼ズレ量ＤＬおよび右眼ズレ量ＤＲに基づいて、左眼用画像データおよび右眼用画像データの抽出領域ＡＬ３およびＡＲ３のサイズおよび位置を決定する。このとき、領域決定部１４９は、抽出中心ＡＣＬ２およびＡＣＲ２、左眼ズレ量ＤＬ（ＤＬｘ、ＤＬｙ）および右眼ズレ量ＤＲ（ＤＲｘ、ＤＲｙ）を用いて、抽出中心ＡＣＬ３およびＡＣＲ３を求め、抽出中心ＡＣＬ３およびＡＣＲ３をＲＡＭ１４０ｃに一時的に格納する。

なお、領域決定部１４９が、左眼用光学像および右眼用光学像が回転しているか否かを示す１８０度回転フラグ、左眼用光学像および右眼用光学像の左右の配置を示す配置変更フラグおよび左眼用光学像および右眼用光学像がそれぞれミラー反転しているか否かを示すミラー反転フラグに基づいて、左眼用画像データおよび右眼用画像データを正しく抽出できるように、画像データ上における抽出処理の始点を決定してもよい。

また、本実施形態では、抽出領域ＡＬ３およびＡＲ３はパターンマッチング処理の検出領域に過ぎず、最終的に左眼用および右眼用画像データを切り出す際に用いられる抽出領域ＡＬ４およびＡＲ４（図１１参照）は、パターンマッチング処理を用いて算出された垂直相対ズレ量ＤＶに基づいて決定される。抽出領域ＡＬ４およびＡＲ４の決定方法については、後述する。

ズレ量算出部１５５（ズレ量算出部の一例）は、左眼用画像データおよび右眼用画像データの相対ズレ量を算出する。具体的には、ズレ量算出部１５５は、左眼用および右眼用画像データの垂直方向（上下方向）の相対ズレ量（垂直相対ズレ量ＤＶ）を、パターンマッチング処理を用いて算出する。

ここでの「垂直相対ズレ量ＤＶ」とは、交換レンズユニット２００の個体差等（例えば、交換レンズユニットの個体差や交換レンズユニットをカメラ本体に装着する際の取付誤差）により生じる上下方向の左眼用および右眼用画像データのズレ量である。したがって、ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶは、垂直方向の左眼ズレ量ＤＬｙおよび右眼ズレ量ＤＲｙを含んでいる。

ズレ量算出部１５５は、パターンマッチング処理を用いて左眼用画像データの一部に相当する第１画像データと右眼用画像データの一部に相当する第２画像データとの一致度（参考情報の一例）を算出する。ここで、入力画像データとしては、左眼用画像データおよび右眼用画像データを含む基本画像データが挙げられる。

例えば、ズレ量算出部１５５は信号処理部１５（後述）により生成された基本画像データに対してパターンマッチング処理を行う。この場合、図１１に示すように、ズレ量算出部１５５は、抽出領域ＡＬ３内の第１画像データＰＬに基づいて、第１画像データＰＬとの一致度が最も高い第２画像データＰＲを抽出領域ＡＲ３から探し出す。第１画像データＰＬの大きさは予め決定されているが、第１画像データＰＬの位置は、第１画像データＰＬの中心が、領域決定部１４９により決定された抽出中心ＡＣＬ３と一致するようにズレ量算出部１５５により決定されている。パターンマッチング処理で第２画像データＰＲを見つけ出す際に、ズレ量算出部１５５は、第１画像データと同じサイズの複数の領域に対して、それぞれ第１画像データＰＬに対する一致度を算出する。さらに、ズレ量算出部１５５は、一致度が最も高い領域の画像データを第２画像データＰＲとし、その最も高い一致度を基準一致度Ｃに設定する。

ここで、「一致度」とは、２枚の画像データが視覚的にどれくらい一致しているのかを示す数値であり、パターンマッチング処理時に算出することができる。一致度を示す数値は、例えば２枚の画像データにおける対応する画素の輝度値の差の２乗を全画素で合計した値の逆数、あるいは、２枚の画像データにおける対応する画素の輝度値の差の絶対値を全画素で合計した値の逆数、が用いられる。この数値が大きいほど２枚の画像が一致していることを意味している。なお、一致度を示す数値は、逆数をとらなくてもよく、例えば２枚の画像データにおける対応する画素の輝度値の差の２乗を全画素で合計した値、あるいは、２枚の画像データにおける対応する画素の輝度値の差の絶対値を全画素で合計した値であってもよい。

「一致度」は「相違度」と表裏一体をなす概念であり、「相違度」を算出していれば、それは「一致度」を算出していることになる。したがって、本実施形態では、ズレ量算出部１５５が一致度を算出する構成を説明しているが、一致度ではなく相違度をズレ量算出部１５５が算出する構成も考えられる。「相違度」とは、２枚の画像がどれくらい相違しているのか（より詳細には、２枚の画像の一部分がどれくらい相違しているのか）を示す数値である。ズレ量算出部１５５により算出された基準一致度Ｃは、ＤＲＡＭ１４１あるいはカメラコントローラー１４０のＲＡＭ１４０ｃに一時的に格納される。

ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶは、例えばＤＲＡＭ１４１あるいはカメラコントローラー１４０のＲＡＭ１４０ｃに一時的に格納される。垂直相対ズレ量ＤＶは抽出領域の位置の補正に用いられる。具体的には図１１に示すように、領域決定部１４９は、抽出中心ＡＣＬ３の垂直方向の座標および垂直相対ズレ量ＤＶに基づいて、右眼用画像データの抽出領域ＡＲ４の中心ＡＣＲ４を算出し、中心ＡＣＲ４を中心として抽出領域ＡＲ４を決定する。抽出領域ＡＲ４のサイズは抽出領域ＡＲ３と同じである。一方、左眼用画像データの抽出領域ＡＬ４は抽出領域ＡＲ３がそのまま用いられる。

このように、ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶに基づいて最終的な抽出領域ＡＬ４およびＡＲ４が決定されるので、ズレ量算出部１５５により算出された基準一致度Ｃは、抽出領域ＡＬ４およびＡＲ４に基づいて切り出された左眼用および右眼用画像データの一致度に相当すると言える。

評価情報生成部１５６（評価情報生成部の一例）は、ズレ量算出部１５５により算出された一致度に基づいて、３次元表示の適性に関する評価情報を生成する。具体的には、評価情報生成部１５６は、一致度を予め設定された基準値と比較する比較部１５６ａ（比較部の一例）と、比較部１５６ａの比較結果に基づいて評価情報を生成する生成部１５６ｂ（生成部の一例）と、を有している。本実施形態では、評価情報として３種類の評価フラグ（「高」、「中」および「低」）が予め定められており、それに伴い、２種類の基準値が予め定められている。評価フラグの「高」とは、評価対象である左眼用および右眼用画像データから生成されたステレオ画像では、最終的に決定された抽出領域ＡＬ４およびＡＲ４から切り出された左眼用および右眼用画像データの一致度が高く、このステレオ画像を用いれば非常に快適な立体視が期待できることを示している。評価フラグの「中」とは、評価対象である左眼用および右眼用画像データから生成されたステレオ画像では、最終的に決定された抽出領域ＡＬ４およびＡＲ４から切り出された左眼用および右眼用画像データの一致度が許容範囲内であり、このステレオ画像を用いて立体視することに特に問題ないことを示している。さらに、評価フラグの「低」とは、評価対象である左眼用および右眼用画像データから生成されたステレオ画像では、最終的に決定された抽出領域ＡＬ４およびＡＲ４から切り出された左眼用および右眼用画像データの一致度が低く、その結果、このステレオ画像を用いて立体視するのはあまり好ましくないことを示している。

一方、このような３段階評価を行うために、基準値として、評価フラグ「高」と「中」との間の第１基準値Ｖ１と、評価フラグ「中」と「低」との間の第２基準値Ｖ２と、が設けられている。第１基準値Ｖ１および第２基準値Ｖ２は、例えばＲＯＭ１４０ｂに予め格納されている。一致度をＣとすると、以下のような条件式（１）〜（３）により一致度の評価判定が行われる。

評価フラグ「高」：Ｖ１≦Ｃ ・・・・・（１）
評価フラグ「中」：Ｖ２≦Ｃ＜Ｖ１ ・・（２）
評価フラグ「低」： Ｃ＜Ｖ２ ・・（３）
より詳細には、比較部１５６ａは基準一致度Ｃを第１基準値Ｖ１および第２基準値Ｖ２と比較し、基準一致度Ｃがいずれの条件式を満たしているかを判定する。なお、一致度を示す数値が逆数でない場合は、上記の条件式（１）〜（３）において基準一致度Ｃ、第１基準値Ｖ１および第２基準値Ｖ２の大小関係は逆になる。

また、生成部１５６ｂは、比較部１５６ａの比較結果に基づいて、「高」、「中」および「低」のいずれかの評価フラグを選択する。選択された評価フラグはＤＲＡＭ１４１あるいはＲＡＭ１４０ｃに一時的に格納される。

メタデータ生成部１４７（情報付加部の一例）は基線長および輻輳角を設定したメタデータを生成する。このとき、メタデータ生成部１４７は、評価情報生成部１５６により生成された評価フラグをメタデータ内の所定の領域に入れ込む。基線長および輻輳角はステレオ画像を表示する際に用いられる。また、評価フラグはステレオ画像を３次元表示する際に用いられる。

画像ファイル生成部１４８（情報付加部の一例）は、画像圧縮部１７（後述）により圧縮された左眼用および右眼用画像データとメタデータとを組み合わせて、ＭＰＦ形式のステレオ画像ファイルを生成する。生成された画像ファイルは、例えばカードスロット１７０に送信されメモリーカード１７１に保存される。画像ファイル生成部１４８が評価フラグを含むメタデータを左眼用および右眼用画像データに対して付加するので、画像ファイル生成部１４８が評価フラグを左眼用および右眼用画像データに対して付加する、と言うこともできる。

評価情報判定部１５８（評価情報判定部の一例）は、入力されるステレオ画像から評価フラグを検出する。具体的には、評価情報判定部１５８は、ステレオ画像に評価フラグが付加されているか否かを判定する。また、ステレオ画像に評価フラグが付加されている場合は、評価情報判定部１５８は評価フラグの内容を判定する。例えば、評価情報判定部１５８は評価フラグが「高」、「中」および「低」のいずれを示しているかを判定することができる。

なお、本実施形態では、評価フラグがメタデータ内の所定の領域に入れ込まれているが、評価フラグが、他の領域に入れ込まれていてもよいし、ステレオ画像と関連付けられた別ファイルであってもよい。評価フラグがステレオ画像と関連付けられた別ファイルの場合であっても、ステレオ画像に評価フラグが付加されている、と言える。

（１０）画像処理部１０
画像処理部１０は、信号処理部１５、画像抽出部１６、補正処理部１８および画像圧縮部１７を有している。

信号処理部１５は、ＣＭＯＳイメージセンサー１１０で生成される画像信号をデジタル化してＣＭＯＳイメージセンサー１１０上に結像する光学像の基本画像データを生成する。具体的には、信号処理部１５は、ＣＭＯＳイメージセンサー１１０から出力される画像信号をデジタル信号に変換し、そのデジタル信号に対してノイズ除去や輪郭強調等のデジタル信号処理を施す。信号処理部１５により生成された画像データはＲＡＷデータとしてＤＲＡＭ１４１に一時的に記憶される。ここでは、信号処理部１５により生成された画像データを基本画像データと呼ぶ。

画像抽出部１６は信号処理部１５で生成された基本画像データから左眼用画像データおよび右眼用画像データを抽出する。左眼用画像データは左眼用光学系ＯＬにより形成される左眼用光学像ＱＬ１の一部に対応している。右眼用画像データは右眼用光学系ＯＲにより形成される右眼用光学像ＱＲ１の一部に対応している。領域決定部１４９により決定された抽出領域ＡＬ３およびＡＲ３に基づいて、ＤＲＡＭ１４１に格納された基本画像データから画像抽出部１６は左眼用画像データおよび右眼用画像データを抽出する。画像抽出部１６により抽出された左眼用画像データおよび右眼用画像データはＤＲＡＭ１４１に一時的に格納される。

補正処理部１８は、抽出した左眼用画像データおよび右眼用画像データのそれぞれに対して歪曲収差補正およびシェーディング補正などの補正処理を行う。補正処理後、左眼用画像データおよび右眼用画像データはＤＲＡＭ１４１に一時的に格納される。

画像圧縮部１７はカメラコントローラー１４０の命令に基づいてＤＲＡＭ１４１に記憶された補正後の左眼用および右眼用画像データに圧縮処理を施す。この圧縮処理により、画像データのデータサイズは元のデータサイズよりも小さくなる。画像データの圧縮方法として、例えば１フレームの画像データ毎に圧縮するＪＰＥＧ（Joint Photographic Experts Group）方式が考えられる。圧縮された左眼用画像データおよび右眼用画像データはＤＲＡＭ１４１に一時的に格納される。

〔デジタルカメラの動作〕
（１）電源ＯＮ時
交換レンズユニット２００が３次元撮影に対応しているか否かの判定は、カメラ本体１００の電源がＯＮの状態で交換レンズユニット２００がカメラ本体１００に装着されたとき、あるいは、交換レンズユニット２００がカメラ本体１００に装着された状態でカメラ本体１００の電源がＯＮになったとき、が考えられる。ここでは、後者の場合を例にデジタルカメラ１の動作を図８（Ａ）、図８（Ｂ）、図１２および図１３のフローを用いて説明する。もちろん、前者の場合にも、同様の動作を行ってもよい。

電源がＯＮになると、表示制御部１２５の制御によりカメラモニタ１２０に黒画面が表示され、カメラモニタ１２０のブラックアウトの状態が保持される（ステップＳ１）。次に、カメラコントローラー１４０の識別情報取得部１４２により交換レンズユニット２００からレンズ識別情報Ｆ１が取得される（ステップＳ２）。具体的には図８（Ａ）および図８（Ｂ）に示すように、カメラコントローラー１４０のレンズ検知部１４６により交換レンズユニット２００の装着が検知されると、カメラコントローラー１４０はレンズコントローラー２４０に種別確認コマンドを送信する。この種別確認コマンドは、レンズ識別情報Ｆ１の３次元撮影判定フラグのステータスを送信するようレンズコントローラー２４０に要求するコマンドである。図８（Ｂ）に示すように、交換レンズユニット２００が３次元撮影に対応しているので、種別確認コマンドを受信するとレンズコントローラー２４０がレンズ識別情報Ｆ１（３次元撮影判定フラグ）をカメラ本体１００に送信する。識別情報取得部１４２はこの３次元撮影判定フラグのステータスをＤＲＡＭ１４１に一時的に格納する。

次に、通常初期通信がカメラ本体１００および交換レンズユニット２００の間で実行される（ステップＳ３）。通常初期通信とは、３次元撮影に対応していない交換レンズユニットおよびカメラ本体の間でも行われる通信であり、例えば交換レンズユニット２００の仕様に関する情報（焦点距離、Ｆ値等）が交換レンズユニット２００からカメラ本体１００に送信される。

通常初期通信の後、カメラ側判定部１４４により、ボディマウント１５０に装着されている交換レンズユニット２００が３次元撮影に対応しているか否かが判定される（ステップＳ４）。具体的には、カメラ側判定部１４４は、識別情報取得部１４２により取得されたレンズ識別情報Ｆ１（３次元撮影判定フラグ）に基づいて、装着されている交換レンズユニット２００が３次元撮影に対応しているか否かが判定される。

装着されている交換レンズユニットが３次元撮影に対応していない場合、２次元撮影に対応している通常のシーケンスが実行され、ステップＳ１４に処理が移行する（ステップＳ８）。交換レンズユニット２００のように３次元撮影に対応している交換レンズユニットが装着されている場合は、特性情報取得部１４３によりレンズ特性情報Ｆ２が交換レンズユニット２００から取得される（ステップＳ５）。具体的には図８（Ｂ）に示すように、特性情報取得部１４３からレンズコントローラー２４０に特性情報送信コマンドが送信される。この特性情報送信コマンドはレンズ特性情報Ｆ２の送信を要求するコマンドである。カメラコントローラー１４０はこのコマンドを受信すると、レンズ特性情報Ｆ２をカメラコントローラー１４０に送信する。特性情報取得部１４３はレンズ特性情報Ｆ２を例えばＤＲＡＭ１４１に格納する。

レンズ特性情報Ｆ２の取得後、レンズ特性情報Ｆ２に基づいて、抽出位置補正部１３９により抽出領域ＡＬ０およびＡＲ０の抽出中心の位置が補正される（ステップＳ６）。具体的には、抽出位置補正部１３９により、抽出位置補正量Ｌ１１（あるいは抽出位置補正量Ｌ１１から新たに算出された抽出位置補正量）に基づいて、抽出領域ＡＬ０およびＡＲ０の中心位置を補正する。中心ＩＣＬおよびＩＣＲから抽出位置補正量Ｌ１１（あるいは抽出位置補正量Ｌ１１から新たに算出された抽出位置補正量）だけ抽出中心を水平方向に移動させることで、抽出位置補正部１３９により、左眼用画像データおよび右眼用画像データを抽出する基準として新たに抽出中心ＡＣＬ２およびＡＣＲ２が設定される。

さらに、レンズ特性情報Ｆ２に基づいて領域決定部１４９により抽出領域ＡＬ３およびＡＲ３のサイズおよび抽出方法が決定される（ステップＳ７）。例えば、前述のように、光軸位置、撮像有効エリア（半径ｒ）、抽出中心ＡＣＬ２およびＡＣＲ２、左眼ズレ量ＤＬ、右眼ズレ量ＤＲおよびＣＭＯＳイメージセンサー１１０のサイズに基づいて、抽出領域ＡＬ３およびＡＲ３のサイズが領域決定部１４９により決定される。例えば、抽出領域ＡＬ３およびＡＲ３が横長撮影用抽出可能範囲ＡＬ１１およびＡＲ１１内に収まるように、上記の情報に基づいて、抽出領域ＡＬ３およびＡＲ３のサイズが領域決定部１４９により決定される。前述のように、本実施形態では、抽出領域ＡＬ３およびＡＲ３はパターンマッチング処理の検出領域に過ぎず、最終的に左眼用および右眼用画像データを切り出す際に用いられる抽出領域の位置は、パターンマッチング処理を用いて算出された垂直相対ズレ量ＤＶに基づいて決定される。

なお、領域決定部１４９が抽出領域ＡＬ３およびＡＲ３のサイズを決定する際に、限界輻輳点距離Ｌ１２および抽出位置限界補正量Ｌ１３が用いられてもよい。

また、抽出領域ＡＬ３およびＡＲ３のいずれを右眼用とするか、画像を回転するか、画像をミラー反転するかといった抽出方法が領域決定部１４９により決定されてもよい。

さらに、ライブビュー表示用の画像が左眼用および右眼用画像データから選択される（ステップＳ１０）。例えば、左眼用および右眼用画像データからユーザーに選択させるようにしてもよいし、また、カメラコントローラー１４０において予め決定されている方を表示用として設定してもよい。選択された方の画像データが表示用画像として設定され、画像抽出部１６により抽出される（ステップＳ１１Ａまたは１１Ｂ）。

続いて、抽出された画像データに対して、歪曲収差補正やシェーディング補正などの補正処理が補正処理部１８により施される（ステップＳ１２）。さらに、表示制御部１２５により補正後の画像データにサイズ調整処理が施され、表示用の画像データが生成される（ステップＳ１３）。この補正用画像データはＤＲＡＭ１４１に一時的に格納される。

その後、交換レンズユニットが撮影可能状態にあるか否かが状態情報取得部１４５により確認される（ステップＳ１４）。具体的には、交換レンズユニット２００では、前述の特性情報送信コマンドをレンズ側判定部２４４が受信すると、レンズ側判定部２４４はカメラ本体１００が３次元撮影に対応していると判定する（８（Ｂ）参照）。一方、レンズ側判定部２４４は、特性情報送信コマンドが所定期間の間にカメラ本体から送られてこない場合に、カメラ本体が３次元撮影に対応していないと判定する（図８（Ａ）参照）。

さらに、状態情報生成部２４３は、レンズ側判定部２４４の判定結果に基づいて、３次元光学系Ｇの撮影状態が整っているか否かを示す撮影可否フラグ（待機情報の一例）のステータスを設定する。状態情報生成部２４３は、レンズ側判定部２４４によりカメラ本体が３次元撮影に対応していると判定された場合には（図８（Ｂ））、各部の初期化完了後、撮影可否フラグのステータスを「可」に設定する。一方、レンズ側判定部２４４によりカメラ本体が３次元撮影に対応していないと判定された場合には（図８（Ａ）参照）、状態情報生成部２４３は、各部の初期化が完了しているか否かに関わらず、撮影可否フラグのステータスを「不可」に設定する。ステップＳ１４において、状態情報取得部１４５からレンズコントローラー２４０へ撮影可否フラグのステータス情報の送信を要求するコマンドが送信されると、状態情報生成部２４３は撮影可否フラグのステータス情報をカメラコントローラー１４０に送信する。撮影可否フラグのステータス情報をカメラコントローラー１４０に送信する。カメラ本体１００では、レンズコントローラー２４０から送信された撮影可否フラグのステータス情報を状態情報取得部１４５がＤＲＡＭ１４１の所定のアドレスに一時的に格納する。

さらに、格納された撮影可否フラグに基づいて状態情報取得部１４５により交換レンズユニット２００が撮影可能状態か否かが判定される（ステップＳ１５）。交換レンズユニット２００が撮影可能状態になっていない場合は、ステップＳ１４およびステップＳ１５の処理が所定の周期で繰り返される。一方、交換レンズユニット２００が撮影可能状態になっている場合は、ステップＳ１３で生成された表示用画像データをカメラモニタ１２０に可視画像として表示させる（ステップＳ１６）。ステップＳ１６以降は、例えばカメラモニタ１２０に左眼用画像、右眼用画像、左眼用画像と右眼用画像を組み合わせた画像、または、左眼用画像と右眼用画像とを用いた３次元画像がライブビュー表示される。

（２）３次元静止画撮影
次に、図１４および図１５を用いて３次元静止画撮影時の動作について説明する。

ユーザーがレリーズ釦１３１を押すと、オートフォーカス（ＡＦ）および自動露出（ＡＥ）が実行され、続いて露光が開始される（ステップＳ２１およびＳ２２）。ＣＭＯＳイメージセンサー１１０から画像信号（全画素のデータ）が信号処理部１５に取り込まれ、信号処理部１５においてＡＤ変換などの信号処理が画像信号に施される（ステップＳ２３およびＳ２４）。信号処理部１５により生成された基本画像データはＤＲＡＭ１４１に一時的に格納される。

次に、ズレ量算出部１５５により基本画像データの抽出領域ＡＬ３およびＡＲ３に対してパターンマッチング処理が行われる（ステップＳ２７）。さらに、パターンマッチング処理中、あるいは、パターンマッチング処理後において、ズレ量算出部１５５により両抽出領域の画像がどれくらい一致しているかを示す基準一致度Ｃが算出される（ステップＳ２８）。より詳細には、信号処理部１５により生成された基本画像データから、抽出領域ＡＬ３内の所定の基準領域の画像（図１１に示す第１画像データＰＬ）に基づいて、抽出領域ＡＲ３内に基準領域の画像と最も一致するマッチング領域（図１１に示す第２画像データＰＲ）がズレ量算出部１５５により探し出される。パターンマッチング処理で第２画像データＰＲを見つけ出す際に、第１画像データと同じサイズの複数の領域に対して、それぞれ第１画像データＰＬに対する一致度が、ズレ量算出部１５５により算出される。さらに、一致度が最も高い領域の画像データがズレ量算出部１５５により第２画像データＰＲに設定され、その最も高い一致度がズレ量算出部１５５により基準一致度Ｃに設定される。ズレ量算出部１５５により算出された基準一致度Ｃは、ＤＲＡＭ１４１あるいはカメラコントローラー１４０のＲＡＭ１４０ｃに一時的に格納される。

さらに、左眼用および右眼用画像データの垂直相対ズレ量ＤＶ（図１１参照）が、パターンマッチング処理の際、あるいはパターンマッチング処理後にズレ量算出部１５５により算出される（ステップＳ２９）。ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶは、例えばＤＲＡＭ１４１あるいはカメラコントローラー１４０のＲＡＭ１４０ｃに一時的に格納される。

パターンマッチング処理後、ズレ量算出部１５５により算出された基準一致度Ｃに基づいて評価情報生成部１５６により評価情報が生成される。具体的には、予め設定された第１基準値Ｖ１および第２基準値Ｖ２と基準一致度Ｃが比較部１５６ａにより比較される。さらに、比較部１５６ａの比較結果に基づいて生成部１５６ｂにより評価情報「高」、「中」および「低」のうち１つの評価情報が選択される。具体的には、比較部１５６ａにより基準一致度Ｃが第１基準値Ｖ１と比較され、基準一致度Ｃが条件式（１）を満たしていれば（ステップＳ３０ＡのＹｅｓ）、生成部１５６ｂにより評価情報として「高」が選択される（ステップＳ３０Ｂ）。一方、基準一致度Ｃが条件式（１）を満たしていなければ（ステップＳ３０ＡのＮｏ）、比較部１５６ａにより基準一致度Ｃが第２基準値Ｖ２と比較される（ステップＳ３０Ｃ）。基準一致度Ｃが条件式（３）を満たしていれば（ステップＳ３０ＣのＹｅｓ）、生成部１５６ｂにより評価情報として「低」が選択される（ステップＳ３０Ｄ）。一方、基準一致度Ｃが条件式（３）を満たしていなければ（ステップＳ３０ＣのＮｏ）、基準一致度Ｃが条件式（２）を満たしていることになるので、生成部１５６ｂにより評価情報として「中」が選択される（ステップＳ３０Ｅ）。生成部１５６ｂにより選択された評価情報はＤＲＡＭ１４１あるいはＲＡＭ１４０ｃに一時的に格納される。

次に、ステップＳ２９で算出された垂直相対ズレ量ＤＶに基づいて、領域決定部１４９により抽出領域の位置が決定される（ステップＳ３１）。具体的には図１１に示すように、領域決定部１４９により、抽出中心ＡＣＬ３の垂直方向の座標および垂直相対ズレ量ＤＶに基づいて、右眼用画像データの抽出領域ＡＲ４の中心ＡＣＲ４が算出され、中心ＡＣＲ４を中心として抽出領域ＡＲ４が決定される。パターンマッチング処理の基準として抽出中心ＡＣＬ３を用いているので、左眼用画像データの抽出領域は抽出領域ＡＲ３がそのまま用いられる。これにより、ステレオ画像における左眼用および右眼用画像データの垂直相対ズレ量をさらに低減することができる。

また、このように、ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶに基づいて最終的な抽出領域ＡＬ４およびＡＲ４が決定されるので、ズレ量算出部１５５により算出された基準一致度Ｃは、抽出領域ＡＬ４およびＡＲ４に基づいて切り出された左眼用および右眼用画像データの一致度に相当すると言える。

さらに、ステップＳ３１で決定された抽出領域ＡＬ４およびＡＲ４に基づいて、画像抽出部１６により、左眼用画像データおよび右眼用画像データが基本画像データから抽出される（ステップＳ３２）。抽出された左眼用画像データおよび右眼用画像データに補正処理部１８により補正処理が施される（ステップＳ３３）。

画像圧縮部１７によりＪＰＥＧ圧縮などの圧縮処理が左眼用画像データおよび右眼用画像データに対して行われる（ステップＳ３４）。

圧縮処理後、カメラコントローラー１４０のメタデータ生成部１４７により、基線長および輻輳角を設定したメタデータが生成される（ステップＳ３５）。このとき、評価情報生成部１５６により生成された評価情報がメタデータ生成部１４７によりフラグとしてメタデータ内の所定の領域に入れ込まれる。

メタデータ生成後、圧縮された左眼用および右眼用画像データとメタデータとを組み合わせて、ＭＰＦ形式の画像ファイルが画像ファイル生成部１４８により生成される（ステップＳ３６）。生成された画像ファイルは、例えばカードスロット１７０に送信されメモリーカード１７１に保存される（ステップＳ３７）。この画像ファイルを基線長および輻輳角を用いて３次元表示すると、専用メガネなどを用いれば表示された画像を立体視することができる。

（３）３次元表示
図１６を用いて、３次元表示時の評価フラグ判定処理について説明する。

図１６に示すように、デジタルカメラ１は３次元表示モードを有している。３次元表示モードでは、ステレオ画像がカメラモニタ１２０に３次元表示される。３次元表示されたステレオ画像は専用メガネなどを用いて立体視することができる。

３次元表示モードでは、メモリーカード１７１に記憶されているステレオ画像がカメラモニタ１２０にサムネイル表示される。このとき、例えば、左眼用および右眼用画像データのうち予め定められた方が代表画像としてカメラモニタ１２０にサムネイル表示される。ユーザーが操作部１３０を使って３次元表示を行いたいステレオ画像を選択すると、選択されたステレオ画像データがＤＲＡＭ１４１に読み込まれる（ステップＳ５１）。

ステレオ画像データの所定の領域に評価情報がフラグとして付加されているか否かが評価情報判定部１５８により確認される（ステップＳ５２）。評価フラグが所定の領域に存在していなければ、選択されたステレオ画像がそのまま３次元表示される（ステップＳ５５）。

一方、評価フラグが所定の領域に存在している場合は、評価情報判定部１５８により評価フラグの内容が判定される（ステップＳ５３）。具体的には、評価フラグが「低」を示しているか否かが評価情報判定部１５８により判定される。評価フラグが「低」を示していなければ、選択されたステレオ画像がそのまま３次元表示されても問題ないので、選択されたステレオ画像がカメラモニタ１２０に３次元表示される（ステップＳ５５）。

一方、評価フラグが「低」を示している場合は、選択されたステレオ画像は垂直相対ズレ量が大きく快適な立体視が困難な可能性があるので、表示制御部１２５によりカメラモニタ１２０に警告メッセージが表示される（ステップＳ５４）。具体的には図１７に示すように、カメラモニタ１２０には「この画像は３次元表示に適さない可能性があります。３次元表示しますか？」といった警告メッセージが表示される。ユーザーは操作部１３０を用いて、カメラモニタ１２０に表示されている「はい」または「いいえ」を選択する。ユーザーが「はい」を選択した場合（ステップＳ５６のＹｅｓ）、選択されたステレオ画像がカメラモニタ１２０に３次元表示される（ステップＳ５５）。一方、ユーザーが「いいえ」を選択した場合（ステップＳ５６のＮｏ）、選択されたステレオ画像がカメラモニタ１２０に３次元表示されずに、例えばサムネイル表示に戻る。ユーザーがステレオ画像を選択するたびに上記のステップＳ５１〜Ｓ５６の処理が実行される。

このように、３次元表示に適さないステレオ画像が表示されるのを抑制できるので、より快適な立体視を実現できる。

〔カメラ本体の特徴〕
以上に説明したカメラ本体１００の特徴を以下にまとめる。

（１）このカメラ本体１００では、入力画像データ（左眼用画像データおよび右眼用画像データ）に対してズレ量算出部１５５により３次元表示の適性が評価され、ズレ量算出部１５５の評価結果に基づいて３次元表示の適性に関する評価情報が評価情報生成部１５６により生成される。さらに、メタデータ生成部１４７により評価情報（評価フラグ）が入力画像データ（左眼用画像データおよび右眼用画像データ）に付加される。この結果、入力画像データに付加されている評価情報を利用すれば、入力画像データが３次元表示に適しているか否かを表示前に判定することができ、３次元表示に適さない画像で立体視を行うのを抑制できる。これにより、このカメラ本体１００では、より快適な立体視を実現できる。

（２）入力画像データに含まれる左眼用画像データおよび右眼用画像データに対してパターンマッチング処理を行うことで３次元表示の適性がズレ量算出部１５５により評価される。具体的には、ズレ量算出部１５５は、パターンマッチング処理を用いて左眼用画像データの一部に相当する第１画像データＰＬと右眼用画像データの一部に相当する第２画像データＰＲとの基準一致度Ｃを算出する。さらに、評価情報生成部１５６は、基準一致度Ｃに基づいて評価情報（評価フラグ「高」、「中」および「低」）を生成する。このように、基準一致度Ｃを用いて３次元表示の適性が評価されるので、３次元表示の適性を容易に評価することができる。

（３）このカメラ本体１００では、ズレ量算出部１５５により左眼用および右眼用画像データの垂直相対ズレ量ＤＶが算出されるので、垂直相対ズレ量ＤＶに基づいて最終的な抽出領域ＡＬ４およびＡＲ４を決定することができ、左眼用および右眼用画像データの垂直相対ズレを低減できる。さらに、パターンマッチング処理で算出された垂直相対ズレ量ＤＶに基づいて最終的な抽出領域ＡＬ４およびＡＲ４を決定しているので、基準一致度Ｃが、最終的に切り出された左眼用および右眼用画像データの一致度に相当することになる。したがって、基準一致度Ｃに基づく評価の精度をさらに高めることができる。つまり、垂直相対ズレを効果的に低減しつつ、３次元表示の適性の評価を高精度で行うことができる。

（４）入力されるステレオ画像から評価情報判定部１５８により評価情報が検出され、評価情報判定部１５８の検出結果に基づいて、ステレオ画像を３次元表示するか否かが表示制御部１２５により判定される。したがって、評価情報を利用して、入力画像データが３次元表示に適しているか否かを表示前に自動的にあるいはユーザーにより判定することができる。

《第２実施形態》
前述の第１実施形態では、ステレオ画像データを取得する一連の処理の中で基準一致度Ｃの算出および評価情報の生成を行っているが、すでに取得されたステレオ画像データに対して基準一致度Ｃの算出および評価情報の生成を行う場合も考えられる。ここでは、前述の第１実施形態の構成と実質的に同じ機能を有する構成については、同じ符号を付し、その詳細な説明は省略する。

図１８に示すように、デジタルカメラ１は評価フラグ生成モードを有している。評価フラグ生成モードでは、メモリーカード１７１に記憶されているステレオ画像がカメラモニタ１２０にサムネイル表示される。このとき、例えば、左眼用および右眼用画像データのうち予め定められた方が代表画像としてカメラモニタ１２０にサムネイル表示される。ユーザーが操作部１３０を使って評価フラグ生成処理を行いたいステレオ画像を選択すると、選択されたステレオ画像データがＤＲＡＭ１４１に読み込まれる（ステップＳ４１）。

ステレオ画像データの所定の領域に評価情報がフラグとして付加されているか否かが評価情報判定部１５８により確認される（ステップＳ４２）。評価フラグが所定の領域に存在すれば、評価フラグ生成処理を行う必要がないので、例えば、すでに評価フラグが付加されている旨がカメラモニタ１２０に表示される（ステップＳ４３）。

一方、評価フラグが所定の領域に存在していなければ、前述のステップＳ２７と同様に、ステレオ画像データに対してパターンマッチング処理がズレ量算出部１５５により行われる（ステップＳ４４）。さらに、前述のステップＳ２８と同様に、パターンマッチング処理中、あるいは、パターンマッチング処理後において、ズレ量算出部１５５により左眼用および右眼用画像データの所定の領域の画像がどれくらい一致しているかを示す基準一致度Ｃが算出される（ステップＳ４５）。より詳細には、ステレオ画像データ上の左眼用画像データＴＬおよび右眼用画像データＴＲの一部の領域に対してズレ量算出部１５５によりパターンマッチング処理が施され、当該領域の基準一致度Ｃがズレ量算出部１５５により算出される。具体的には図２０に示すように、ズレ量算出部１５５により、左眼用画像データＴＬの予め定められた領域の画像（第１画像データＰＬ１）と右眼用画像データＴＲの予め定められた領域の画像（第２画像データＰＲ１）の基準一致度Ｃがズレ量算出部１５５により算出される。ここでは、前述の第１実施形態とは異なり、第１画像データＰＬ１および第２画像データＰＲ１の位置は予め定められているが、第１実施形態と同様に、第１画像データＰＬ１と最も一致度が高い画像を右眼用画像データＴＲから探し出してもよい。本実施形態では、ズレ量算出部１５５により算出された基準一致度Ｃは、ＤＲＡＭ１４１あるいはカメラコントローラー１４０のＲＡＭ１４０ｃに一時的に格納される。また、左眼用および右眼用画像データの垂直相対ズレ量ＤＶが、パターンマッチング処理の際、あるいはパターンマッチング処理後にズレ量算出部１５５により算出される（ステップＳ４５Ａ）。ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶは、例えばＤＲＡＭ１４１あるいはカメラコントローラー１４０のＲＡＭ１４０ｃに一時的に格納される。

前述のステップＳ３０Ａ〜Ｓ３０Ｅと同様に、パターンマッチング処理後、ズレ量算出部１５５により算出された基準一致度Ｃに基づいて評価情報生成部１５６により評価情報が生成される。具体的には、予め設定された第１基準値Ｖ１および第２基準値Ｖ２と基準一致度Ｃが比較部１５６ａにより比較される。さらに、比較部１５６ａの比較結果に基づいて生成部１５６ｂにより評価情報「高」、「中」および「低」のうち１つの評価情報が選択される。比較部１５６ａにより基準一致度Ｃが第１基準値Ｖ１と比較され、基準一致度Ｃが条件式（１）を満たしていれば（ステップＳ４６ＡのＹｅｓ）、生成部１５６ｂにより評価情報として「高」が選択される（ステップＳ４６Ｂ）。

一方、基準一致度Ｃが条件式（１）を満たしていなければ（ステップＳ４６ＡのＮｏ）、比較部１５６ａにより基準一致度Ｃが第２基準値Ｖ２と比較される（ステップＳ４６Ｃ）。基準一致度Ｃが条件式（３）を満たしていれば（ステップＳ４６ＣのＹｅｓ）、生成部１５６ｂにより評価情報として「低」が選択される（ステップＳ４６Ｄ）。一方、基準一致度Ｃが条件式（３）を満たしていなければ（ステップＳ４６ＣのＮｏ）、基準一致度Ｃが条件式（２）を満たしていることになるので、生成部１５６ｂにより評価情報として「中」が選択される（ステップＳ４６Ｅ）。生成部１５６ｂにより選択された評価情報はＤＲＡＭ１４１あるいはＲＡＭ１４０ｃに一時的に格納される。

図１９に示すように、評価情報の生成後、前述のステップＳ３１〜Ｓ３７と基本的に同じ処理が実行される。具体的には、ステップＳ４５Ａで算出された垂直相対ズレ量ＤＶに基づいて、領域決定部１４９により抽出領域の位置が決定される（ステップＳ３１）。このとき、例えば、もとのステレオ画像データよりも小さい領域に抽出領域が設定される。また、新たに決定された抽出領域がもとのステレオ画像からはみ出ないように抽出領域の形状が変更されてもよい。この場合、抽出領域が小さくなることでデータが存在しなくなった領域には、黒帯を入れるようにしてもよい。

さらに、ステップＳ３１で決定された抽出領域ＡＬ４およびＡＲ４に基づいて、画像抽出部１６により、左眼用画像データおよび右眼用画像データが基本画像データから抽出される（ステップＳ３２）。抽出された左眼用画像データおよび右眼用画像データに補正処理部１８により補正処理が施される（ステップＳ３３）。

画像圧縮部１７によりＪＰＥＧ圧縮などの圧縮処理が左眼用画像データおよび右眼用画像データに対して行われる（ステップＳ３４）。

圧縮処理後、カメラコントローラー１４０のメタデータ生成部１４７により、基線長および輻輳角を設定したメタデータが生成される（ステップＳ３５）。より詳細には、読み込まれているステレオ画像のメタデータが、メタデータ生成部１４７により流用される。このとき、カメラコントローラー１４０のメタデータ生成部１４７により、メタデータの所定の領域に評価フラグが付加される（ステップＳ４７）。

メタデータ生成後、圧縮された左眼用および右眼用画像データとメタデータとを組み合わせて、ＭＰＦ形式の画像ファイルが画像ファイル生成部１４８により生成される（ステップＳ３６）。生成された画像ファイルは、例えばカードスロット１７０に送信されメモリーカード１７１に保存される（ステップＳ４８）。

このように、すでに記録されているステレオ画像データに対してパターンマッチング処理を行い、一致度の算出、評価情報の生成および評価情報の付加を行ってもよい。

なお、ステップＳ３６で生成された画像ファイルは、保存されずに表示にのみ用いられてもよい。

《他の実施形態》
本発明は、前述の実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形および修正が可能である。

（Ａ）ミラーボックスを有していないデジタルカメラ１を例に、画像生成装置について説明しているが、画像生成装置はミラーボックスを有するデジタル一眼レフカメラであってもよい。画像生成装置は、第３実施形態で説明しているように、画像を撮影する撮像装置の他に、すでに取得されている画像を読み込んで上書き保存あるいは新たに別画像を生成できる装置であってもよく、光学系や撮像素子が搭載されていなくてもよい。なお、撮像装置は静止画だけでなく動画撮影が可能な装置であってもよい。

（Ｂ）交換レンズユニット２００を例に、交換レンズユニットについて説明しているが、３次元光学系の構成は前述の実施形態に限定されない。１つの撮像素子で対応できるのであれば、３次元光学系が他の構成を有していてもよい。

（Ｃ）前述の実施形態では、通常の並置撮影方式を例に記載しているが、水平方向に左眼用および右眼用画像が圧縮される水平圧縮並置撮影方式、あるいは、左眼用および右眼用画像を９０度回転させた回転並置撮影方式が採用されていてもよい。

（Ｄ）図９では画像サイズの変更を行っているが、撮像素子が小さい場合は撮影禁止にしてもよい。例えば、領域決定部１４９で抽出領域ＡＬ３およびＡＲ３のサイズを決定するが、その際に、抽出領域ＡＬ３およびＡＲ３のサイズが所定のサイズを下回るような場合は、カメラモニタ１２０にその旨を警告表示させてもよい。また、抽出領域ＡＬ３およびＡＲ３のサイズが所定のサイズを下回るような場合でも、抽出領域ＡＬ３およびＡＲ３のアスペクト比を変更（例えば、アスペクト比を１：１にする等）することで抽出領域のサイズを比較的大きくできるのであれば、アスペクト比を変更するようにしてもよい。

（Ｅ）前述の交換レンズユニット２００は、単焦点レンズであってもよい。この場合、前述の抽出位置補正量Ｌ１１を用いることで、抽出中心ＡＣＬ２およびＡＣＲ２を求めることができる。なお、交換レンズユニット２００が単焦点レンズの場合は、例えば、ズームレンズ２１０Ｌおよび２１０Ｒが固定されており、それに伴い、ズームリング２１３、ズームモータ２１４Ｌおよび２１４Ｒが搭載されていなくてもよい。

（Ｆ）前述のパターンマッチング処理では、抽出領域ＡＬ３内の所定の基準領域の画像に基づいて、抽出領域ＡＲ３内に基準領域の画像と最も一致するマッチング領域がズレ量算出部１５５により探し出されるが、パターンマッチング処理の方法は他の方法であってもよい。

（Ｇ）前述の実施形態では、基準一致度Ｃを基準として評価情報の生成を行っているが、相違度という概念を用いて評価情報の生成を行ってもよい。基準相違度Ｄを用いて評価情報の生成を行う場合、条件式（１）〜（３）は例えば以下のような条件式（１１）〜（１３）になる。

評価情報「高」：Ｖ１１≧Ｄ ・・・・・・（１１）
評価情報「中」：Ｖ１２≧Ｄ＞Ｖ１１ ・・（１２）
評価情報「低」： Ｄ＞Ｖ１２ ・・（１３）
なお、一致度を示す数値が逆数でない場合は、その数値は相違度と同等となり、条件式（１１）〜（１２）を用いることになる。また、評価情報の種類や基準値の数量は前述の実施形態に限定されない。例えば、評価情報の種類が２種類であってもよいし、４種類以上であってもよい。また、基準値が１つであってもよいし、３つ以上であってもよい。

（Ｈ）前述の実施形態では、メタデータ生成部１４７によりメタデータ内の所定の領域に評価フラグが付加され、画像ファイル生成部１４８によりメタデータが左眼用および右眼用画像データに対して付加される。しかし、評価フラグの付加方法はこの方法に限定されない。

（Ｉ）前述の第１実施形態では、特性情報取得部１４３により交換レンズユニットから取得された左眼ズレ量ＤＬおよび右眼ズレ量ＤＲに基づいてパターンマッチング処理で用いる検出領域が決定されているが、ズレ量算出部１５５により算出された垂直相対ズレ量ＤＶのみで抽出領域の位置を決定してもよい。

（Ｊ）３次元表示の適性とは、３次元表示の際に快適な立体視が可能であるか否かを示している。したがって、３次元表示の適性は、例えば、入力画像データ上での左眼用画像データおよび右眼用画像データの相対ズレ量（垂直方向および水平方向のうち少なくとも一方の相対ズレ量）により決まるものである。水平方向の相対ズレ量には視差も含まれ得るが、水平方向の相対ズレ量が大きいと快適な立体視が妨げられる可能性があるので、垂直方向だけでなく水平方向の相対ズレ量も３次元表示の適性に影響を与え得る。

（Ｋ）前述の実施形態では、並置撮影方式の撮像装置を用いてステレオ画像を取得している。具体的には、左眼用光学系ＯＬにより形成された左眼用光学像ＱＬ１に基づいて左眼用画像データを取得し、右眼用光学系ＯＲにより形成された右眼用光学像ＱＲ１に基づいて右眼用画像データを取得している。

しかし、１つの光学系を有する撮像装置を左右にパーンさせながら連写することで、左眼用画像データおよび右眼用画像データを取得する場合であっても、前述の技術を適用することができる。

本発明は、ステレオ画像を生成できる画像生成装置に適用できる。

１ デジタルカメラ（画像生成装置の一例）
１５ 信号処理部
１６ 画像抽出部
１７ 画像圧縮部
１８ 補正処理部
１００カメラ本体
１１０ ＣＭＯＳイメージセンサー（撮像素子の一例）
１３９ 抽出位置補正部
１４０ カメラコントローラー
１４０ａ ＣＰＵ
１４０ｂ ＲＯＭ
１４０ｃ ＲＡＭ
１４１ ＤＲＡＭ
１４２ 識別情報取得部
１４３ 特性情報取得部（補正情報取得部の一例）
１４４ カメラ側判定部
１４５ 状態情報取得部
１４６ レンズ検知部
１４７ メタデータ生成部（情報付加部の一例）
１４８ 画像ファイル生成部（情報付加部の一例）
１４９ 領域決定部
１５０ ボディマウント
１５５ ズレ量算出部（ズレ量算出部の一例）
１５６ 評価情報生成部（評価情報生成部の一例）
１５６ａ 比較部（比較部の一例）
１５６ｂ 生成部（生成部の一例）
２００ 交換レンズユニット
２４０ レンズコントローラー
２４０ａ ＣＰＵ
２４０ｂ ＲＯＭ
２４０ｃ ＲＡＭ
２４１ ＤＲＡＭ
２４２ フラッシュメモリ（補正情報記憶部の一例）
２４３ 状態情報生成部
２４４ レンズ側判定部
ＯＬ 左眼用光学系
ＯＲ 右眼用光学系
ＱＬ１ 左眼用光学像
ＱＲ１ 右眼用光学像
Ｆ１ レンズ識別情報
Ｆ２ レンズ特性情報
Ｆ３ レンズ状態情報

Claims (10)

1. 入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するズレ量算出部と、
   前記相対ズレ量を算出する際に前記ズレ量算出部が生成した参考情報に基づいて３次元表示の適性に関する評価情報を生成する評価情報生成部と、
   を備えた画像生成装置。
2. 前記評価情報を前記入力画像データに付加する情報付加部をさらに備えた、
   請求項１に記載の画像生成装置。
3. 前記ズレ量算出部は、前記左眼用画像データおよび右眼用画像データに対してパターンマッチング処理を行うことで前記参考情報を生成する、
   請求項１または２に記載の画像生成装置。
4. 前記ズレ量算出部は、前記パターンマッチング処理を用いて前記左眼用画像データの少なくとも一部に相当する第１画像データと前記右眼用画像データの少なくとも一部に相当する第２画像データとの一致度を前記参考情報として算出し、
   前記評価情報生成部は、前記一致度に基づいて前記評価情報を生成する、
   請求項１から３のいずれかに記載の画像生成装置。
5. 入力されるステレオ画像データから前記評価情報を検出する評価情報判定部をさらに備えた、
   請求項２から４のいずれかに記載の画像生成装置。
6. 前記評価情報判定部の検出結果に基づいて前記ステレオ画像データを３次元表示するか否かを判定する表示判定部をさらに備えた、
   請求項５に記載の画像生成装置。
7. 前記評価情報生成部は、前記一致度を予め設定された基準値と比較する比較部と、前記比較部の比較結果に基づいて前記評価情報を生成する生成部と、を有している、
   請求項１から６のいずれかに記載の画像生成装置。
8. 入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するステップと、
   前記相対ズレ量を算出する際に前記ズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成するステップと、
   を備えた画像生成方法。
9. 入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するズレ量算出機能と、
   前記相対ズレ量を算出する際に前記ズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成する評価情報生成機能と、
   をコンピュータに実現させるプログラム。
10. 入力画像データに含まれる左眼用画像データおよび右眼用画像データの相対ズレ量を算出するズレ量算出機能と、
    前記相対ズレ量を算出する際に前記ズレ量算出部が生成した参考情報に基づいて、３次元表示の適性に関する評価情報を生成する評価情報生成機能と、
    をコンピュータに実現させるプログラムを記録した、コンピュータにより読み取り可能な記録媒体。

Images