JP2011199728A - 画像処理装置及びこれを備えた撮影装置、並びに画像処理方法 - Google Patents

Abstract

【課題】複数の視点画像に適した画像記録形式を決める。
【解決手段】撮影モードでレリーズボタン１８を全押しすると、視差分布算出部７１は、バッファメモリ５２，５４から読み出した左右視点画像データにおいて共通する複数の特徴点を抽出して、複数の特徴点それぞれの視差量を算出し、分散視差量を算出する。記録形式判定部７２で、算出分散視差量≦設定分散視差量であると判定されると、ＣＰＵ５０は、左視点画像データ及びコメント画像８１、左右視点画像データ及びコメント画像８２、立体画像及びコメント画像８３を順にＬＣＤ２０に表示する。次に、ＣＰＵ５０は、左視点画像データ、コメント画像８４ａ、認証画像８４ｂ及び非認証画像８４ｃをＬＣＤ２０に表示する。単視点画像記録が認証されると、左視点画像データが圧縮・伸長部８５により圧縮されて単視点画像ファイル９５が作成され、単視点画像ファイル９５がＲＡＭ７８に記録される。
【選択図】図１０

Description

本発明は、画像処理装置及びこれを備えた撮影装置、並びに画像処理方法に関するものである。

近年、複数の視点から同一の被写体を撮影して複数の視点画像を取得し、この複数の視点画像から立体画像を作成して表示するデジタルカメラ等の画像処理装置が知られている。このようなデジタルカメラは、左右２つの撮像部を有し、左視点画像と右視点画像とを取得する。立体画像を観察するには、かまぼこ形状（半円柱形状）のレンチキュラレンズが一定ピッチで複数配列されたレンチキュラシートを、デジタルカメラのＬＣＤの前面に取り付け、左右視点画像を縦一ライン毎交互にストライプ状に並べた画像をＬＣＤに表示する。レンチキュラレンズを介して、左視点画像を観察者の左目に、右視点画像を右目にそれぞれ映すことで、立体画像を観察することができる。

左右視点画像において鑑賞者から最も近くに見える近視点を検出し、左視点画像の画像左端から近視点までの距離と、右視点画像の画像左端から近視点までの距離との差が最大視差量となる。また、左右視点画像において鑑賞者から最も遠くに見える遠視点を検出し、左視点画像の画像左端から遠視点までの距離と、右視点画像の画像左端から遠視点までの距離との差が最小視差量となる。最大視差量と最小視差量との差（以下、「差分視差量」と称する）は左右視点画像における視差の分布情報であり、この視差の分布状態に応じて、立体画像による視覚効果が変わる。例えば、差分視差量が小さい場合、画像の奥行き感が小さいと感じ、差分視差量が大きい場合、画像の奥行き感が大きいと感じる。

特許文献１記載の立体撮影装置では、左視点画像データ及び右視点画像データのどちらか一方を記録する単視点画像記録と、左右視点画像データの両方を記録する複数視点画像記録とが選択可能に設けられ、被写体の距離が一定以上の場合には、単視点画像記録を行うことで、データ処理時間を短縮するとともに、記録データ量を削減している。

また、特許文献２記載の撮影装置では、差分視差量が一定値を超える画像では、複数視点画像の表示時間に制限を設ける制御、差分視差量を小さくするための画像処理制御、複数視点画像の表示を行わずに単視点画像を表示する制御のいずれかを行っている。差分視差量が大きく、画像の奥行き感が大きいと感じる画像では、差分視差量が小さく、画像の奥行き感が小さいと感じる画像に比べて、目の疲労が早くなるが、上記した制御を行うことで、目の疲労を軽減している。

特開２００１−０１６６１６号公報 特開２００５−１６７３１０号公報

差分視差量が小さく、奥行き感が小さく感じられる画像では、立体画像による視覚効果が小さいため、データ処理時間やメモリ残量を考慮すると、単視点画像記録を行うことが望ましい。しかしながら、特許文献１では、被写体の距離が一定以上の場合には単視点画像記録を行うが、被写体の距離が一定未満の場合には、差分視差量が小さく、単視点画像記録が望ましい場合でも、複数視点画像記録が行われることがある。同様に、特許文献２でも、差分視差量が小さく、単視点画像記録が望ましい場合でも、複数視点画像記録が行われることがある。

本発明は、上記課題を解決するためになされたものであり、複数の視点画像に適した画像記録形式を決めることができる画像処理装置及びこれを備えた撮影装置、並びに画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、立体用画像を構成する複数の視点画像を入力する入力手段と、前記入力手段により入力された前記複数の視点画像の視差の分布状態を示す視差分布情報を算出する視差分布情報算出手段と、前記視差分布情報算出手段で算出された視差分布情報に基づいて、前記複数の視点画像を記録する複数視点画像記録と、前記複数の視点画像のうちの１つを記録する単視点画像記録とのいずれが適正であるかを判定する記録形式判定手段と、前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、前記１つの視点画像を記録する記録手段と、を備えることを特徴とする。

また、前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、それを報知する報知手段を備えることが好ましい。

さらに、前記視差分布情報算出手段は、前記複数の視点画像で共通する特徴点を複数抽出して、前記複数の特徴点それぞれの視差量情報を取得するとともに、前記複数の視差量情報の分散値を前記視差分布情報として算出し、前記記録形式判定手段は、前記算出された分散値と、予め設定された設定分散値との比較に基づいて判定することが好ましい。

また、前記記録形式判定手段は、前記算出された分散値が前記設定分散値以下であるときに、前記単視点画像記録が適正であると判定することが好ましい。

さらに、前記視差分布情報算出手段は、前記複数の視点画像の最大視差量情報及び最小視差量情報を取得するとともに、前記最大視差量情報と前記最小視差量情報との差を前記視差分布情報として算出し、前記記録形式判定手段は、前記最大視差量情報と前記最小視差量情報との差と、予め設定された設定視差量との比較に基づいて判定することが好ましい。

また、前記記録形式判定手段は、前記最大視差量情報と前記最小視差量情報との差が前記設定視差量以下であるときに、前記単視点画像記録が適正であると判定することが好ましい。

さらに、前記視差分布情報算出手段は、前記複数の視点画像における特徴点を抽出するとともに、前記複数の視点画像で共通する前記特徴点の数である対応点数を、前記視差分布情報として算出し、前記記録形式判定手段は、前記検出された対応点数と、予め設定された設定対応点数との比較に基づいて判定することが好ましい。

また、前記記録形式判定手段は、前記検出された対応点数が前記設定対応点数以下であるときに、前記単視点画像記録が適正であると判定することが好ましい。

さらに、前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、前記１つの視点画像、前記複数の視点画像、前記複数の視点画像により構成された前記立体用画像を順に表示する表示手段を備えることが好ましい。

また、前記視差分布情報算出手段は、種類の異なる複数の前記視差分布情報を算出し、前記記録形式判定手段は、前記複数の視差分布情報それぞれに対応した複数の判定方法により判定を行い、前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、前記記録形式判定手段での判定に用いられた判定方法に応じて、前記複数の視点画像のうちの記録する視点画像を決定するための複数の決定方法の中から１つを選択し、選択した決定方法に基づいて前記記録する視点画像を決定する記録画像決定手段を備えることが好ましい。

なお、前記複数の視差分布情報としては、分散視差量、最大視差量と最小視差量との差、前記複数の視点画像において共通する特徴点の数としての対応点数等が挙げられる。また、前記複数の決定方法としては、周波数成分に応じて決定、輝度に応じて決定、被写体の向きに応じて決定、被写体の数に応じて決定等が挙げられる。さらに、被写体の向きに応じて決定する場合、被写体が予め決められた向き（正面や側面）である一方を、記録する視点画像に決定し、被写体の数に応じて決定する場合、被写体の数が多いまたは少ない一方を、記録する視点画像に決定することが好ましい。

さらに、前記記録手段は、前記記録形式判定手段で前記単視点画像記録が適正であると判定されて前記１つの視点画像を記録するときに、前記複数視点画像記録時に作成される複数視点画像ファイルと同じフォーマットとなるように前記１つの視点画像を含む単視点画像ファイルを作成することが好ましい。

また、前記単視点画像ファイル及び複数視点画像ファイルは、前記視点画像を記録する複数の視点画像記録領域と、前記視点画像を前記複数の視点画像記録領域のいずれに記録したかの設定情報を記録する複数の記録画像ヘッダとを有し、前記記録手段は、前記複数視点画像ファイルを作成するときには、前記複数の視点画像を個別に前記複数の視点画像記録領域に記録するとともに、前記複数の記録画像ヘッダに異なる設定情報を記録し、前記単視点画像ファイルを作成するときには、前記１つの視点画像を前記複数の視点画像記録領域のうちの１つに記録するとともに、前記複数の記録画像ヘッダに同じ設定情報を記録することが好ましい。

さらに、本発明の撮影装置は、上記画像処理装置を備え、前記入力手段を、複数の視点から同一の被写体を撮影して前記複数の視点画像を取得する撮影手段から構成したことを特徴とする。

また、本発明の撮影装置は、上記画像処理装置を備え、前記入力手段を、複数の視点から同一の被写体を撮影して複数のスルー視点画像を取得した後に、前記複数の視点画像を取得する撮影手段から構成し、前記視差分布情報算出手段は、前記撮影手段で撮影された前記複数のスルー視点画像の視差分布情報を算出することを特徴とする。

さらに、本発明の画像処理方法は、立体用画像を構成する複数の視点画像を入力する入力ステップと、前記入力ステップで入力された前記複数の視点画像の視差の分布状態を示す視差分布情報を算出する視差分布情報算出ステップと、前記視差分布情報算出ステップで算出された視差分布情報に基づいて、前記複数の視点画像を記録する複数視点画像記録と、前記複数の視点画像のうちの１つを記録する単視点画像記録とのいずれが適正であるかを判定する記録形式判定ステップと、前記記録形式判定ステップで前記単視点画像記録が適正であると判定されたときに、前記１つの視点画像を記録する記録ステップと、を有することを特徴とする。

本発明によれば、複数の視点画像の視差分布情報に基づいて、複数視点画像記録と単視点画像記録とのいずれが適正であるかを判定し、単視点画像記録が適正であると判定されたときに、１つの視点画像を記録するから、複数の視点画像に適した記録形式で記録を行うことができる。これにより、単視点画像記録が適正である場合に複数視点画像記録を行うことで問題となるデータ処理時間の長時間化や記録データ量の増加を抑制することができる。

また、単視点画像記録が適正であると判定されたときに、それを報知手段により報知するから、単視点画像記録が適正であることを知ることができる。

さらに、複数の視点画像における複数の視差量情報の分散値を算出し、この算出された分散値と、予め設定された設定分散値との比較に基づいて、複数視点画像記録と単視点画像記録とのいずれが適正であるかを判定するから、複数の視点画像に適した記録方法をより一層確実に決めることができる。

本発明を実施したデジタルカメラを示す正面斜視図である。 デジタルカメラを示す背面図である。 デジタルカメラ内部の電気的構成を示すブロック図である。 左撮像部及び右撮像部の電気的構成を示すブロック図である。 （Ａ）は左視点画像データを表示した状態、（Ｂ）は右視点画像データを表示した状態の説明図である。 （Ａ）は左視点画像データを表示した状態、（Ｂ）は左右視点画像データを並列表示した状態、（Ｃ）は立体画像を表示した状態の説明図である。 左視点画像データと、単視点画像記録での認証を求めるコメント画像とを表示した状態の説明図である。 （Ａ）は左右視点画像ファイル、（Ｂ）は単視点画像ファイルを示す説明図である。 （Ａ）は分散視差量が大きい左視点画像データを表示した状態、（Ｂ）は分散視差量が大きい右視点画像データを表示した状態の説明図である。 撮影時の処理の流れを示すフローチャートである。 差分視差量に基づいて画像記録形式を決定する第２実施形態の左右視点画像データを表示した状態の説明図である。 第２実施形態の撮影時の処理の流れを示すフローチャートである。 対応点数に基づいて画像記録形式を決定する第３実施形態の撮影時の処理の流れを示すフローチャートである。 対応点数及び分散視差量に基づいて記録する画像を決定する第４実施形態のデジタルカメラ内部の電気的構成を示すブロック図である。 第４実施形態の撮影時の処理の流れを示すフローチャートである。 動画撮影を行う第５実施形態のデジタルカメラ内部の電気的構成を示すブロック図である。 第５実施形態の動画ファイルを示す説明図である。 第５実施形態の撮影時の処理の流れを示すフローチャートである。 スルー視点画像に基づいて駆動する撮像部を決定する第６実施形態の撮影時の処理の流れを示すフローチャートである。

［第１実施形態］
図１に示すように、本発明を実施したデジタルカメラ１０は、カメラ本体１０ａの前面に、左レンズ鏡筒１１と右レンズ鏡筒１２とが設けられている。左レンズ鏡筒１１には、撮像レンズ１３が組み込まれ、右レンズ鏡筒１２には、撮像レンズ１４が組み込まれている。各レンズ鏡筒１１，１２は、デジタルカメラ１０が電源オフ状態にある際に、カメラ本体１０ａの内部に収納され、撮影モードに移行されたときにカメラ本体１０ａの前面から突出する。撮像レンズ１３，１４は、ズームレンズ１３ａ，１４ａ、フォーカスレンズ１３ｂ，１４ｂ（図４参照）から構成されている。

カメラ本体１０ａの前面には、ストロボ１５が設けられている。ストロボ１５は、ＣＰＵ５０（図３参照）によって作動され、被写体に向けて光を照射する。また、カメラ本体１０ａの上面には、電源ボタン１７、レリーズボタン１８等が設けられている。

デジタルカメラ１０は、撮影モードと、撮影した画像を再生表示する再生モードとが設けられている。レリーズボタン１８は、２段押しの構造とされている。撮影モードでは、レリーズボタン１８を軽く押圧（半押し）すると、露出調整や焦点調整などの撮影準備動作が行われる。この状態でさらに押圧（全押し）すると、撮影動作が行われる。

図２に示すように、カメラ本体１０ａの背面には、画像や各種設定条件が表示されるＬＣＤ２０、各種設定、表示画像及びモードの切り換えを行うためのメニューキー２１、ＬＣＤ２０に表示する画像を拡大及び縮小ズームさせるズームボタン２２が設けられている。ズームボタン２２の操作により、ズームレンズ１３ａ，１４ａが移動され、拡大及び縮小ズームが行われる。ＬＣＤ２０の前面には、立体視用のレンチキュラーレンズ（図示せず）が取り付けられている。

図３及び図４に示すように、デジタルカメラ１０には、左撮像部３１と右撮像部３２とが設けられている。左撮像部３１は、撮像レンズ１３と、撮像レンズ１３の背後に配され、撮像レンズ１３を透過した被写体光が入射するＣＣＤ３３とを備える。このＣＣＤ３３は、被写体像を光電変換して時系列の３色信号を発生し、これを相関二重サンプリング回路（ＣＤＳ）３４に送る。ＣＣＤドライバ３７には、ＣＰＵ５０によって制御されるＴＧ（タイミングジェネレータ）３８からのタイミング信号（クロック信号）が入力される。このＣＣＤドライバ３７によって、ＣＣＤ３３が作動される。ＣＣＤ３３から出力された３色信号は、ＣＤＳ３４でノイズ成分が除去され、ＣＣＤ３３の各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ３４から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）３５で増幅され、Ａ／Ｄ変換器３６で画像データに変換される。ズーム用モータ３９ａ、フォーカス用モータ３９ｂは、モータドライバ（図示せず）を介してＣＰＵ５０により駆動され、ズームレンズ１３ａ、フォーカスレンズ１３ｂを移動してズーム及び焦点調整を行う。

画像入力コントローラ４０は、データバス４９を介してＣＰＵ５０に接続されており、ＣＰＵ５０の命令によってＣＤＳ３４，ＡＭＰ３５，Ａ／Ｄ変換器３６を制御する。ＣＰＵ５０には、各種制御用のプログラムや設定情報などが記録されたＥＥＰＲＯＭ（図示せず）が接続されている。ＣＰＵ５０は、ＥＥＰＲＯＭ内のプログラムを読み取って、各部を制御する。

右撮像部３２は、左撮像部３１と同様に、撮像レンズ１４、ＣＣＤ４１、ＣＤＳ４２、ＡＭＰ４３、Ａ／Ｄ変換器４４、ＣＣＤドライバ４５、ＴＧ４６、ズーム用モータ４７ａ、フォーカス用モータ４７ｂ、画像入力コントローラ４８を備え、ＣＰＵ５０によって作動される。

画像入力コントローラ４０は、Ａ／Ｄ変換器３６から出力された画像デーをビデオメモリ５１、あるいはバッファメモリ５２に記録する。同様に、画像入力コントローラ４８は、Ａ／Ｄ変換器４４から出力された画像データをビデオメモリ５３、あるいはバッファメモリ５４に記録する。

ビデオメモリ５１，５３は、ＬＣＤ２０をビューファインダとして使用する際に、解像度の低いスルー画の視点画像データが一時的に記録される。このスルー視点画像データは、データバス４９を介してＬＣＤドライバ５６に送られ、スルー画がＬＣＤ２０に表示される。バッファメモリ５２は、撮像された高解像度の左視点画像データが一時的に記録され、バッファメモリ５４は、撮像された高解像度の右視点画像データが一時的に記録される。

再生モードで画像を再生するとき、ＬＣＤドライバ５６は、左右視点画像データを縦一ライン毎交互にストライプ状に並べた画像（以下、立体画像）をＬＣＤ２０に出力する。ＬＣＤ２０の前面に配されたレンチキュラーレンズによって、左視点画像データを観察者の左目に、右視点画像データを右目にそれぞれ映すことで、立体画像が表示される。また、左右視点画像データのどちらか一方のみを記録した画像ファイルを再生するときには、記録した視点画像データをＬＣＤ２０に表示する。この場合、観察者の左目及び右目には、同じ視点画像データが映される。このように、デジタルカメラ１０は、３Ｄ表示（立体画像表示）と、２Ｄ表示（１つの視点画像表示）とが可能となっている。

測光・測距部６１は、左撮像部３１で撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。同様に、測光・測距部６２は、右撮像部３２で撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。

測光・測距部６１，６２は、スルー画の表示中は所定のサイクルで作動している。スルー画の表示中は、測光・測距部６１，６２で決定された露出量に応じて絞り（図示せず）の絞り径が制御される。

測光・測距部６１，６２は、撮影モードでレリーズボタン１８が半押しされたときに、輝度および距離の検出を開始し、検出結果をＣＰＵ５０に逐次送信する。ＣＰＵ５０は、測光・測距部６１、６２からの検出結果に基づいて、フォーカスレンズ１３ｂ，１４ｂを移動させて焦点調整を行う。また、ＣＰＵ５０は、測光・測距部６１、６２からの検出結果に基づいて、絞り、ＣＣＤ３３，４１、及びストロボ１５の動作を制御する。

バッテリ６５は、デジタルカメラ１０内部に内蔵され、ＬＣＤ２０やＣＰＵ５０などの各部へ電力を供給する。バッテリ６５はＣＰＵ５０に接続されており、このＣＰＵ５０によって各部に供給する電力が制御される。

視差分布算出部７１は、撮影モードでレリーズボタン１８が全押しされたときに、バッファメモリ５２から図５（Ａ）に示す左視点画像データを読み出すとともに、バッファメモリ５４から図５（Ｂ）に示す右視点画像データを読み出し、各視点画像データそれぞれにおいて共通する複数の特徴点ＣＰ１〜ＣＰ４（例えば、人物の口）を抽出する。なお、特徴点としては、被写体が人である場合、目、鼻、口等が挙げられる。

視差分布算出部７１は、図５（Ａ）に示す左視点画像の画像左端から特徴点ＣＰ１までの距離ＤＬ１と、図５（Ｂ）に示す右視点画像の画像左端から特徴点ＣＰ１までの距離ＤＲ１とを算出する。そして、距離ＤＬ１−距離ＤＲ１で算出される値を第１視差量とする。同様に、特徴点ＣＰ２〜ＣＰ４に関しても、距離ＤＬ２〜ＤＬ４、距離ＤＲ２〜ＤＲ４及び第２〜第４視差量を算出する。

そして、視差分布算出部７１は、第１〜第４視差量の平均値を算出し、（（各視差量−平均値）の２乗の総和）／（抽出した特徴点の数）で算出した値を、視差量の分散値とする。以下、視差分布算出部７１で算出した視差量の分散値を、算出分散視差量と称する。

記録形式判定部７２は、算出分散視差量と、予め設定された設定分散視差量とを用いて、算出分散視差量≦設定分散視差量であるかを判定し、その判定結果に応じて、左右視点画像データを両方記録する複数視点画像記録と、左右視点画像データの一方を記録する単視点画像記録とのいずれが適正であるかを判定する。なお、設定分散視差量の情報は、予めＲＡＭ７８に記憶されており、その数値は、適宜変更可能である。

記録形式判定部７２は、算出分散視差量≦設定分散視差量である場合には、単視点画像記録が適正であると判定し、算出分散視差量＞設定分散視差量である場合には、複数視点画像記録が適正であると判定する。図５に示すように、被写体が人物だけで背景がない視点画像は、奥行きが小さい画像であるため、算出分散視差量が小さくなる。この場合、算出分散視差量≦設定分散視差量となり、単視点画像記録が適正であると判定される。本実施形態では、単視点画像記録が適正であると判定された場合、記録する視点画像として左視点画像データが選択される。

ＣＰＵ５０は、記録形式判定部７２で単視点画像記録が適正であると判定された場合、図６（Ａ）に示すように、記録する視点画像としての左視点画像データと、表示している画像の種類及び単視点画像記録を推奨する旨のコメント画像８１とをＬＣＤ２０に表示する。ＣＰＵ５０は、所定時間（例えば、３秒）経過後、図６（Ｂ）に示すように、複数視点画像としての左右視点画像データをＬＣＤ２０に並列表示し、さらに３秒経過後、図６（Ｃ）に示すように、左右視点画像データから構成される立体画像をＬＣＤ２０に表示する。また、ＣＰＵ５０は、左右視点画像データの並列表示、立体画像の表示を行うときに、表示している画像の種類を示すコメント画像８２，８３をＬＣＤ２０に表示する。なお、時間経過による表示画像の切り換えに代えて、ユーザの操作により表示画像を切り換えるようにしてもよい。

ＣＰＵ５０は、立体画像をＬＣＤ２０に３秒間表示した後、図７に示すように、左視点画像データと、単視点画像記録を認証するか否かのコメント画像８４ａと、認証する「ＹＥＳ」という認証画像８４ｂと、認証しない「ＮＯ」という非認証画像８４ｃとをＬＣＤ２０に表示する。

ユーザが、メニューキー２１の操作により非認証画像８４ｃを選択して単視点画像記録の認証を拒否すると、左右視点画像データは、圧縮・伸長部８５により圧縮され、図８（Ａ）に示すように、左右視点画像ファイル８６が作成される。視点画像を前記複数の視点画像記録領域のいずれに記録したかの設定情報を記録する

左右視点画像ファイル８６は、左視点画像用ヘッダ９１、左画像データ領域９２、右視点画像用ヘッダ９３、右画像データ領域９４が設けられ、左画像データ領域９２には圧縮された左視点画像データが記録され、右画像データ領域９４には圧縮された右視点画像データが記録される。左視点画像用ヘッダ９１には、左視点画像データを左画像データ領域９２に記録したことを示す設定情報の他に、その画像の種類、解像度、撮影情報等が記録される。右視点画像用ヘッダ９３は、右視点画像データを右画像データ領域９４に記録したことを示す設定情報の他に、その画像の種類、解像度、撮影情報等が記録される。ＣＰＵ５０は、メモリコントローラ７７によって駆動制御されるデータリーダ／ライタを介して、左右視点画像ファイル８６をＲＡＭ７８に記録する。なお、ＲＡＭ７８に代えて、メモリカード等の着脱自在な外部記録媒体に記録してもよい。また、ユーザにより単視点画像記録の認証が拒否された場合には、左右視点画像ファイル８６をＲＡＭ７８に記録せずに、画像記録を行わなかった旨のコメント画像をＬＣＤ２０に表示してもよい。

ユーザが、メニューキー２１の操作により認証画像８４ｂを選択して単視点画像記録を認証すると、左視点画像データは、圧縮・伸長部８５により圧縮され、図８（Ｂ）に示すように、単視点画像ファイル９５が作成される。

単視点画像ファイル９５は、左右視点画像ファイル８６と同様に、左視点画像用ヘッダ９６、左画像データ領域９７、右視点画像用ヘッダ９８、右画像データ領域９９が設けられている。左画像データ領域９７には左視点画像データが記録され、右画像データ領域９９には何も記録されない。第１視点画像用ヘッダ９６には、左視点画像データを左画像データ領域９７に記録したことを示す設定情報の他に、その画像の種類、解像度、撮影情報等が記録される。また、右画像データ領域９９には何も記録されないため、右視点画像用ヘッダ９８には、右視点画像データに関する設定情報は記録されない。

立体画像ファイル専用のデータリーダでは、全てのヘッダに設定情報が記録されているファイルのみ、読み込みが可能になる。この立体画像ファイル専用のデータリーダで単視点画像ファイル９５の読み込みを行わせるために、第２視点画像用ヘッダ９８にも、左視点画像データを左画像データ領域９７に記録したことを示す設定情報の他に、その画像の種類、解像度、撮影情報等が記録される。すなわち、第１，第２ヘッダ９６，９８には、同じ情報が記録される。これにより、立体画像ファイル専用のデータリーダで、単視点画像ファイル９５の読み込みが可能となる。ＣＰＵ５０は、単視点画像ファイル９５をＲＡＭ７８に記録する。

また、図９に示すように、被写体として人物に加えて背景も含まれた視点画像では、視差分布算出部７１は、撮影モードでレリーズボタン１８が全押しされたときに、バッファメモリ５２から図９（Ａ）に示す左視点画像データを読み出すとともに、バッファメモリ５４から図９（Ｂ）に示す右視点画像データを読み出し、各視点画像データそれぞれにおいて共通する複数の特徴点ＣＰ１〜ＣＰ５（例えば、人物の口、建築物の最下点）を抽出する。

そして、視差分布算出部７１は、上記した方法で各特徴点ＣＰ１〜ＣＰ５の距離ＤＬ１〜ＤＬ５、距離ＤＲ１〜ＤＲ５及び第１〜第５視差量を算出する。特徴点ＣＰ５を抽出した建築物は、特徴点ＣＰ１〜ＣＰ４を抽出した人物に対して画像の奥行き方向に離れた被写体であるため、距離ＤＲ５と距離ＤＬ５との差が小さく、特徴点ＣＰ５の第５視差量は、特徴点ＣＰ１〜ＣＰ４の第１〜第４視差量に比べて小さい。したがって、第１〜第５視差量の差が大きく、図５に示す左右視点画像に比べて算出分散視差量が大きくなる。このため、算出分散視差量＞設定分散視差量となり、記録形式判定部７２で複数視点画像記録が適正であると判定される。ＣＰＵ５０は、記録形式判定部７２で複数視点画像記録が適正であると判定された場合には、左右視点画像ファイル８６をＲＡＭ７８に記録する。

ＲＡＭ７８に記録した左右視点画像ファイル８６内の画像データをＬＣＤ２０に表示する場合、各視点画像用ヘッダ９１，９３内の情報により、各画像データ領域９２，９４内の左右視点画像データを読み出して伸長する。そして、左右視点画像データにより構成された立体画像をＬＣＤ２０に表示する。

ＲＡＭ７８に記録した単視点画像ファイル９５内の画像データをＬＣＤ２０に表示する場合、各視点画像用ヘッダ９６，９８内の情報により、左画像データ領域９７内の左視点画像データを読み出して伸長する。そして、１つの左視点画像データを左右視点画像データとして再生表示し、ＬＣＤ２０に表示する。これにより、ＬＣＤ２０が立体画像（左右視点画像）表示専用のＬＣＤである場合でも、単視点画像表示が可能となる。

次に、上記第１実施形態の作用について、図１０のフローチャートを用いて説明を行う。撮影モード（ステップ（以下，Ｓ）１）でレリーズボタン１８を全押しする（Ｓ２でＹ）と、左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ３）。

視差分布算出部７１は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、各視点画像データそれぞれにおいて共通する複数の特徴点を抽出して、複数の特徴点それぞれの視差量を算出する（Ｓ４）。そして、視差分布算出部７１は、複数の視差量の分散値である分散視差量を算出する（Ｓ５）。

記録形式判定部７２で、算出分散視差量≦設定分散視差量であり、単視点画像記録が適正であると判定された場合（Ｓ６でＹ）には、ＣＰＵ５０は、左視点画像データ及び単視点画像記録（左視点画像データの記録）を推奨するコメント画像８１、左右視点画像データ及びコメント画像８２、立体画像及びコメント画像８３を順にＬＣＤ２０に表示する（Ｓ７）。

ＣＰＵ５０は、立体画像及びコメント画像８３をＬＣＤ２０に表示した後、左視点画像データと、単視点画像記録を認証するか否かのコメント画像８４ａと、認証画像８４ｂと、非認証画像８４ｃとをＬＣＤ２０に表示し、ユーザが認証画像８４ｂを選択して単視点画像記録を認証する（Ｓ８でＹ）と、左視点画像データが圧縮・伸長部８５により圧縮されて単視点画像ファイル９５が作成される。ＣＰＵ５０は、単視点画像ファイル９５をＲＡＭ７８に記録する（Ｓ９）。これにより、分散視差量が小さく、左右視点画像データを両方記録する必要がない場合には、左視点画像データのみを有する単視点画像ファイル９５が記録されるから、左右視点画像データを両方有する左右視点画像ファイル８６を記録するものに比べて、データ処理時間が短縮されるとともに、記録データ量が削減される。

一方、記録形式判定部７２で、算出分散視差量＞設定分散視差量であり、複数視点画像記録が適正であると判定された場合（Ｓ６でＮ）や、ユーザが非認証画像８４ｃを操作して単視点画像記録の認証を拒否した場合（Ｓ８でＮ）には、左右視点画像データが圧縮・伸長部８５により圧縮されて左右視点画像ファイル８６が作成される。ＣＰＵ５０は、左右視点画像ファイル８６をＲＡＭ７８に記録する（Ｓ１０）。

［第２実施形態］
図１１及び図１２に示す第２実施形態では、視差分布算出部７１は、左右視点画像における最大視差量と最小視差量との差を算出する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

図１１に示すように、視差分布算出部７１は、左右視点画像において鑑賞者から最も近くに見える近視点ＮＰを検出し、図１１（Ａ）に示す左視点画像の画像左端から近視点ＮＰまでの距離ＤＮＬと、図１１（Ｂ）に示す右視点画像の画像左端から近視点ＮＰまでの距離ＤＮＲとを算出する。そして、距離ＤＮＬ−距離ＤＮＲで算出される値を、最大視差量とする。

また、視差分布算出部７１は、左右視点画像において鑑賞者から最も遠くに見える遠視点ＦＰを検出し、図１１（Ａ）に示す左視点画像の画像左端から遠視点までの距離ＤＦＬと、図１１（Ｂ）に示す右視点画像の画像左端から遠視点までの距離ＤＦＲとを算出する。そして、視差分布算出部７１は、距離ＤＦＬ−距離ＤＦＲで算出される値を、最小視差量とし、最大視差量と最小視差量との差を算出する。以下、視差分布算出部７１で算出した最大視差量と最小視差量との差を、算出差分視差量と称する。

記録形式判定部７２は、算出差分視差量と、予め設定された設定差分視差量とを用いて、算出差分視差量≦設定差分視差量であるかを判定する。算出差分視差量≦設定差分視差量である場合（奥行きが小さい画像）には、単視点画像記録が適正であると判定し、算出差分視差量＞設定差分視差量である場合（奥行きが大きい画像）には、複数視点画像記録が適正であると判定する。なお、設定差分視差量の情報は、予めＲＡＭ７８に記憶されており、その数値は、適宜変更可能である。

次に、上記第２実施形態の作用について、図１２のフローチャートを用いて説明を行う。撮影モード（Ｓ１０１）でレリーズボタン１８を全押しする（Ｓ１０２でＹ）と、左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ１０３）。

視差分布算出部７１は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、左右視点画像において鑑賞者から最も近くに見える近視点ＮＰ及び最も遠くに見える遠視点ＦＰを検出し、右視点画像データにおける最大視差量及び最小視差量を算出する（Ｓ１０４）。そして、最小視差量と最大視差量との差である差分視差量を算出する（Ｓ１０５）。

記録形式判定部７２で、算出差分視差量≦設定差分視差量であり、単視点画像記録が適正であると判定された場合（Ｓ１０６でＹ）には、ＣＰＵ５０は、左視点画像データ及びコメント画像８１、左右視点画像データ及びコメント画像８２、立体画像及びコメント画像８３を順にＬＣＤ２０に表示する（Ｓ１０７）。以降、（Ｓ１０８）〜（Ｓ１１０）は、第１実施形態の（Ｓ８）〜（Ｓ１０）と同様なので、説明を省略する。

［第３実施形態］
図１３に示す第３実施形態では、視差分布算出部７１は、左右視点画像における共通する特徴点の数を算出する。なお、上記実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

視差分布算出部７１は、左右視点画像において共通する特徴点を抽出し、この共通する特徴点の数を算出する。なお、特徴点としては、被写体が人である場合、目、鼻、口等が挙げられる。以下、視差分布算出部７１で算出した特徴点の数を、算出対応点数と称する。

記録形式判定部７２は、算出対応点数と、予め設定された設定対応点数とを用いて、算出対応点数≦設定対応点数であるかを判定する。算出対応点数≦設定対応点数である場合には、単視点画像記録が適正であると判定し、算出差分視差量＞設定差分視差量である場合には、複数視点画像記録が適正であると判定する。例えば、左右視点画像での重複領域が小さいときや、画像に撮影者の指や近くにあるものが異物として写りこんだとき等には、算出対応点数が少なくなり、算出対応点数≦設定対応点数となるため、記録形式判定部７２で単視点画像記録が適正であると判定される。なお、設定対応点数の情報は、予めＲＡＭ７８に記憶されており、その数値は、適宜変更可能である。

次に、上記第３実施形態の作用について、図１３のフローチャートを用いて説明を行う。撮影モード（Ｓ２０１）でレリーズボタン１８を全押しする（Ｓ２０２でＹ）と、左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ２０３）。

視差分布算出部７１は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、左右視点画像において特徴点を抽出し（Ｓ２０４）、左右視点画像において共通する特徴点の数である対応点数を算出する（Ｓ２０５）。

記録形式判定部７２で、算出対応点数≦設定対応点数であり、単視点画像記録が適正であると判定された場合（Ｓ２０６でＹ）には、ＣＰＵ５０は、左視点画像データ及びコメント画像８１、左右視点画像データ及びコメント画像８２、立体画像及びコメント画像８３を順にＬＣＤ２０に表示する（Ｓ２０７）。以降、（Ｓ２０８）〜（Ｓ２１０）は、第１実施形態の（Ｓ８）〜（Ｓ１０）と同様なので、説明を省略する。

［第４実施形態］
図１４及び図１５に示す第４実施形態では、記録形式判定部７２は、視差分布情報としての対応点数及び分散視差量に基づいて、単視点画像記録と複数視点画像記録とのどちらが適正であるかを判定し、記録形式判定部７２で単視点画像記録が適正であると判定されたときに用いられた視差分布情報に応じて、記録画像決定部１０１は、左右視点画像データのうちの記録する一方を決定する。なお、上記実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

視差分布算出部７１は、レリーズボタン１８が全押しされたときに、左右視点画像における対応点数を算出する。

記録形式判定部７２で、算出対応点数≦設定対応点数であると判定されると、ＣＰＵ５０は、左右視点画像データそれぞれの周波数成分を算出する。そして、記録画像決定部１０１は、左右視点画像データのうち、周波数成分が高い一方を記録画像に決定する。

視差分布算出部７１は、記録形式判定部７２で、算出対応点数≧設定対応点数であると判定されたときに、分散視差量を算出する。記録形式判定部７２で、算出分散視差量≦設定分散視差量であると判定されると、ＣＰＵ５０は、左右視点画像データそれぞれの輝度を算出する。そして、記録画像決定部１０１は、左右視点画像データのうち、輝度が高い一方を記録画像に決定する。

記録画像決定部１０１で記録画像に決定された視点画像データは、圧縮・伸長部８５により圧縮されて単視点画像ファイル９５が作成され、この単視点画像ファイル９５はＲＡＭ７８に記録される。

次に、上記第４実施形態の作用について、図１５のフローチャートを用いて説明を行う。撮影モード（Ｓ３０１）でレリーズボタン１８を全押しする（Ｓ３０２でＹ）と、左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ３０３）。

視差分布算出部７１は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、左右視点画像において特徴点を抽出し（Ｓ３０４）、左右視点画像において共通する特徴点の数である対応点数を算出する（Ｓ３０５）。

記録形式判定部７２で、算出対応点数≦設定対応点数であり、単視点画像記録が適正であると判定された場合（Ｓ３０６でＹ）には、ＣＰＵ５０は、左右視点画像データそれぞれの周波数成分を算出し、記録画像決定部１０１は、左右視点画像データのうち、周波数成分が高い一方を記録画像に決定する（Ｓ３０７）。本実施形態では、左視点画像データは、右視点画像データよりも周波数成分が高く、記録画像決定部１０１は、左視点画像データを記録画像に決定する。

一方、記録形式判定部７２で、算出対応点数＞設定対応点数と判定された場合（Ｓ３０６でＮ）には、視差分布算出部７１は、複数の視差量を算出し（Ｓ３０８）、分散視差量を算出する（Ｓ３０９）。記録形式判定部７２で、算出分散視差量≦設定分散視差量であると判定される（Ｓ３１０でＹ）と、ＣＰＵ５０は、左右視点画像データそれぞれの輝度を算出し、記録画像決定部１０１は、左右視点画像データのうち、輝度が高い一方を記録画像に決定する（Ｓ３１１）。本実施形態では、右視点画像データは、左視点画像データよりも輝度が高く、記録画像決定部１０１は、右視点画像データを記録画像に決定する。

記録画像決定部１０１で記録画像に決定された視点画像データは、圧縮されて単視点画像ファイル９５となり、ＣＰＵ５０は、単視点画像ファイル９５をＲＡＭ７８に記録する（Ｓ３１２）。なお、（Ｓ３１１）と（Ｓ３１２）との間に、第１実施形態の（Ｓ７），（Ｓ８）と同様のステップを設けてもよい。

一方、記録形式判定部７２で、算出分散視差量＞設定分散視差量であり、複数視点画像記録が適正であると判定された場合（Ｓ３１０でＮ）には、ＣＰＵ５０は、左右視点画像ファイル８６をＲＡＭ７８に記録する（Ｓ３１３）。

［第５実施形態］
図１６〜図１８に示す第５実施形態では、動画撮影モードが設けられ、動画撮影時に単視点画像記録と複数視点画像記録とのいずれが適正であるかを判定する。なお、上記実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

動画撮影モードでは、レリーズボタン１８の全押しに伴って動画撮影が開始され、全押しの解除により終了される。マイクロフォン１１１は、音を音声データ（電気信号）に変換するトランスデューサ１１１ａを備え、動画撮影時に周囲の音を集音し、集音した音を音声データに変換する。スピーカ１１２は、動画再生時に、記録された音声データを出力する。マイクロフォン１１１及びスピーカ１１２は、カメラ本体１０ａの左右に１個ずつ設けられている。

図１７に示すように、動画撮影モードでレリーズボタン１８が全押しされると、ＣＰＵ５０は、動画ファイル１１５を作成する。この動画ファイル１１５は、画像や音声などの様々な形式のデータを1つのファイルに格納するためのＲＩＦＦチャンクヘッダ、音声付きの動画を扱うためのＡＶＩヘッダ、ストリームヘッダ、オーディオチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクから構成される。オーディオチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクは、それぞれ複数設けられる。連続して撮影した動画は、１つの動画ファイル１１５としてＲＡＭ７８に記録される。

ビデオ（Ｌ）チャンクは、動画を構成する２０フレーム（１秒）分の圧縮された左視点画像データ（左画像ストリーム）から構成される。ビデオ（Ｒ）チャンクは、２０フレーム分の圧縮された右視点画像データ（右画像ストリーム）から構成される。オーディオチャンクは、２０フレーム分の圧縮された音声データ（オーディオストリーム）から構成される。単視点画像記録（左視点画像データのみを記録）が行われたときのビデオ（Ｒ）チャンクのフレームには、右視点画像データは記録されない。

ストリームヘッダには、動画再生時に必要な情報であり、各ストリームにどのような情報が書き込まれているかの情報（以下、「動画用ストリーム情報」と称する）として、画像の種類、画像の再生時間、データ量／チャンク（１チャンクあたりの再生時のデータ量）、先頭アドレス（各フレームの先頭アドレス）、単視点画像記録を行ったフレームの算出視差量及びフレーム番号、ストリームＩＤ、解像度、圧縮方式、表示次元、フレーム数／チャンク、撮影情報等が記録される。なお、ストリームヘッダに、単視点画像記録を行ったフレーム番号を記録するのに代えて、フレームに単視点画像記録を行ったことを示す情報を記録してもよい。

次に、上記第５実施形態の作用について、図１８のフローチャートを用いて説明を行う。動画撮影モード（Ｓ４０１）でレリーズボタン１８を全押しする（Ｓ４０２でＹ）と、ＣＰＵ５０は、複数のフレームから構成される動画ファイル１１５を作成する（Ｓ４０３）。そして、撮影された左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ４０４）。

視差分布算出部７１は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、複数の視差量を算出する（Ｓ４０５）。そして、視差分布算出部７１は、複数の視差量の分散値である分散視差量を算出する（Ｓ４０６）。

記録形式判定部７２で、算出分散視差量≦設定分散視差量であり、単視点画像記録が適正であると判定された場合（Ｓ４０７でＹ）には、対応したフレームに左視点画像データを記録する（Ｓ４０８）。そして、ストリームヘッダに、視差分布算出部７１で算出された算出分散視差量を記録した（Ｓ４０９）後、そのフレーム番号をストリームヘッダに記録する（Ｓ４１０）。動画再生時には、記録されたフレーム番号に基づいて、単視点画像記録が行われたフレームが識別される。この単視点画像記録が行われたフレームを再生するときには、記録された算出分散視差量に基づいて左視点画像データに対して視差をずらす処理を行った処理画像データと、左視点画像データとを、縦一ライン毎交互にストライプ状に並べた立体画像をＬＣＤ２０に再生表示する。これにより、記録データ量を削減しながらも、撮影時の視差量に応じた立体画像が表示される。

一方、記録形式判定部７２で算出分散視差量＞設定分散視差量と判定された場合（Ｓ４０７でＮ）には、ＣＰＵ５０は、左右視点画像データをフレームに記録する（Ｓ４１１）。

レリーズボタン１８の全押し解除により動画撮影が終了し、最後のフレームである場合（Ｓ４１２でＹ）には、ＲＩＦＦチャンクヘッダ、ＡＶＩヘッダ、ストリームヘッダに、動画用ストリーム情報等の動画関連情報が記録される（Ｓ４１３）。

［第６実施形態］
図１９に示す第６実施形態では、記録形式判定部７２は、ビデオメモリ５１，５３に一時的に記録される左右スルー視点画像に基づいて、単視点画像記録と複数視点画像記録とのどちらが適正であるかを判定する。なお、上記実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

視差分布算出部７１は、左右スルー視点画像における対応点数を算出する。記録形式判定部７２で、算出対応点数≦設定対応点数であると判定されると、記録画像決定部１０１は、左右スルー視点画像データのうち、周波数成分が高い一方を記録画像に決定する。

視差分布算出部７１は、記録形式判定部７２で算出対応点数＞設定対応点数であると判定されたときに、分散視差量を算出する。記録形式判定部７２で、算出分散視差量＜設定分散視差量であると判定されると、記録画像決定部１０１は、左右スルー視点画像データのうち、輝度が高い一方を記録画像に決定する。

レリーズボタン１８が全押しされると、ＣＰＵ５０は、左撮像部３１及び右撮像部３２のうち、記録画像決定部１０１で決定されたスルー視点画像データを取得した一方を駆動して、視点画像データを取得する。この取得された視点画像データは、圧縮・伸長部８５により圧縮されて単視点画像ファイル９５が作成され、この単視点画像ファイル９５はＲＡＭ７８に記録される。

次に、上記第６実施形態の作用について、図１９のフローチャートを用いて説明を行う。撮影モード（Ｓ５０１）では、左右スルー視点画像データが取得され（Ｓ５０２）、ビデオメモリ５１，５３に一時的に記録される。視差分布算出部７１は、ビデオメモリ５１，５３から左右スルー視点画像データを読み出し、左右スルー視点画像において特徴点を抽出し（Ｓ５０３）、左右スルー視点画像において共通する特徴点の数である対応点数を算出する（Ｓ５０４）。

記録形式判定部７２で、算出対応点数≦設定対応点数であり、単視点画像記録が適正であると判定された場合（Ｓ５０５でＹ）には、記録画像決定部１０１は、左右スルー視点画像データのうち、周波数成分が高い一方を記録画像に決定する（Ｓ５０６）。そして、ＣＰＵ５０は、左撮像部３１及び右撮像部３２のうち、記録画像決定部１０１で記録画像に決定されたスルー視点画像データを撮影した一方を選択する。本実施形態では、左視点画像データは、右視点画像データよりも周波数成分が高く、ＣＰＵ５０は、左撮像部３１を選択する。

一方、記録形式判定部７２で、算出対応点数＞設定対応点数であると判定される（Ｓ５０５でＮ）と、視差分布算出部７１は、複数の特視差量を算出し（Ｓ５０７）、分散視差量を算出する（Ｓ５０８）。記録形式判定部７２で、算出分散視差量≦設定分散視差量であると判定される（Ｓ５０９でＹ）と、記録画像決定部１０１は、左右視点画像データのうち、輝度が高い一方を記録画像に決定する（Ｓ５１０）。そして、ＣＰＵ５０は、左撮像部３１及び右撮像部３２のうち、記録画像決定部１０１で記録画像に決定されたスルー視点画像データを撮影した一方を選択する。本実施形態では、右視点画像データは、左視点画像データよりも輝度が高く、ＣＰＵ５０は、右撮像部３２を選択する。

レリーズボタン１８が全押しされる（Ｓ５１１でＹ）と、ＣＰＵ５０は、左撮像部３１及び右撮像部３２のうち、選択した一方を駆動して、視点画像データを取得する。この取得された視点画像データは、圧縮・伸長部８５により圧縮されて単視点画像ファイル９５が作成され、ＣＰＵ５０は、この単視点画像ファイル９５をＲＡＭ７８に記録する（Ｓ５１２）。このように、単視点画像記録時には、左撮像部３１及び右撮像部３２は、一方が駆動され、他方は駆動されないから、視点画像データ取得時の処理量が軽減され、処理時間も短くなる。

一方、記録形式判定部７２で、算出分散視差量＞設定分散視差量であり、複数視点画像記録が適正であると判定された場合（Ｓ５０９でＮ）には、レリーズボタン１８が全押しされる（Ｓ５１３でＹ）と、ＣＰＵ５０は、左撮像部３１及び右撮像部３２を駆動して、左右視点画像データを取得し、左右視点画像ファイル８６をＲＡＭ７８に記録する（Ｓ５１４）。

なお、上記実施形態では、デジタルカメラについて説明しているが、デジタルカメラ、パソコン等から構成される画像記録装置（システム）にも、本発明を適用することができる。この場合、入力手段としてのデジタルカメラから入力された複数の視点画像に基づいて、パソコンで視差分布情報の算出、複数視点画像記録と単視点画像記録とのいずれが適正であるかの判定、単視点画像記録が適正であることの報知制御、１つの視点画像を記録する制御を行う。さらには、カメラ付き携帯電話等にも、本発明を適用することができる。

また、上記第１〜第３実施形態では、単視点画像記録が適正であることの報知と、単視点画像の記録とを両方行っているが、少なくとも一方を行えばよい。

また、上記第１〜第３実施形態では、単視点画像記録が適正であることをＬＣＤにより報知しているが、スピーカからの音声出力や、ＬＥＤの点灯等により報知してもよい。

さらに、上記第１〜第３実施形態では、単視点画像記録が適正であると判定されたときには、単視点画像記録の認証をユーザに求め、ユーザが認証されたときに単視点画像記録を行っているが、ユーザに認証を求めずに、単視点画像記録が適正であると判定されたときには、強制的に単視点画像記録を行ってもよい。

１０ デジタルカメラ
２０ ＬＣＤ
３１ 左撮像部
３２ 右撮像部
５０ ＣＰＵ
７１ 視差分布算出部
７２ 記録形式判定部
７８ ＲＡＭ
１０１ 記録画像決定部

Claims (16)

1. 立体用画像を構成する複数の視点画像を入力する入力手段と、
   前記入力手段により入力された前記複数の視点画像の視差の分布状態を示す視差分布情報を算出する視差分布情報算出手段と、
   前記視差分布情報算出手段で算出された視差分布情報に基づいて、前記複数の視点画像を記録する複数視点画像記録と、前記複数の視点画像のうちの１つを記録する単視点画像記録とのいずれが適正であるかを判定する記録形式判定手段と、
   前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、前記１つの視点画像を記録する記録手段と、
   を備えることを特徴とする画像処理装置。
2. 前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、それを報知する報知手段を備えることを特徴とする請求項１記載の画像処理装置。
3. 前記視差分布情報算出手段は、前記複数の視点画像で共通する特徴点を複数抽出して、前記複数の特徴点それぞれの視差量情報を取得するとともに、前記複数の視差量情報の分散値を前記視差分布情報として算出し、
   前記記録形式判定手段は、前記算出された分散値と、予め設定された設定分散値との比較に基づいて判定することを特徴とする請求項１または２記載の画像処理装置。
4. 前記記録形式判定手段は、前記算出された分散値が前記設定分散値以下であるときに、前記単視点画像記録が適正であると判定することを特徴とする請求項３記載の画像処理装置。
5. 前記視差分布情報算出手段は、前記複数の視点画像の最大視差量情報及び最小視差量情報を取得するとともに、前記最大視差量情報と前記最小視差量情報との差を前記視差分布情報として算出し、
   前記記録形式判定手段は、前記最大視差量情報と前記最小視差量情報との差と、予め設定された設定視差量との比較に基づいて判定することを特徴とする請求項１ないし４いずれか１つ記載の画像処理装置。
6. 前記記録形式判定手段は、前記最大視差量情報と前記最小視差量情報との差が前記設定視差量以下であるときに、前記単視点画像記録が適正であると判定することを特徴とする請求項５記載の画像処理装置。
7. 前記視差分布情報算出手段は、前記複数の視点画像における特徴点を抽出するとともに、前記複数の視点画像で共通する前記特徴点の数である対応点数を、前記視差分布情報として算出し、
   前記記録形式判定手段は、前記検出された対応点数と、予め設定された設定対応点数との比較に基づいて判定することを特徴とする請求項１ないし６いずれか１つ記載の画像処理装置。
8. 前記記録形式判定手段は、前記検出された対応点数が前記設定対応点数以下であるときに、前記単視点画像記録が適正であると判定することを特徴とする請求項７記載の画像処理装置。
9. 前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、前記１つの視点画像、前記複数の視点画像、前記複数の視点画像により構成された前記立体用画像を順に表示する表示手段を備えることを特徴とする請求項１ないし８いずれか１つ記載の画像処理装置。
10. 前記視差分布情報算出手段は、種類の異なる複数の前記視差分布情報を算出し、
    前記記録形式判定手段は、前記複数の視差分布情報それぞれに対応した複数の判定方法により判定を行い、
    前記記録形式判定手段で前記単視点画像記録が適正であると判定されたときに、前記記録形式判定手段での判定に用いられた判定方法に応じて、前記複数の視点画像のうちの記録する視点画像を決定するための複数の決定方法の中から１つを選択し、選択した決定方法に基づいて前記記録する視点画像を決定する記録画像決定手段を備えることを特徴とする請求項１ないし９いずれか１つ記載の画像処理装置。
11. 前記記録手段は、前記記録形式判定手段で前記単視点画像記録が適正であると判定されて前記１つの視点画像を記録するときに、前記複数視点画像記録時に作成される複数視点画像ファイルと同じフォーマットとなるように前記１つの視点画像を含む単視点画像ファイルを作成することを特徴とする請求項１ないし１０いずれか１つ記載の画像処理装置。
12. 前記単視点画像ファイル及び複数視点画像ファイルは、前記視点画像を記録する複数の視点画像記録領域と、前記視点画像を前記複数の視点画像記録領域のいずれに記録したかの設定情報を記録する複数の記録画像ヘッダとを有し、
    前記記録手段は、前記複数視点画像ファイルを作成するときには、前記複数の視点画像を個別に前記複数の視点画像記録領域に記録するとともに、前記複数の記録画像ヘッダに異なる設定情報を記録し、前記単視点画像ファイルを作成するときには、前記１つの視点画像を前記複数の視点画像記録領域のうちの１つに記録するとともに、前記複数の記録画像ヘッダに同じ設定情報を記録することを特徴とする請求項１１記載の画像処理装置。
13. 前記入力手段は、前記複数の視点画像を動画として連続して入力することを特徴とする請求項１ないし１２いずれか１つ記載の画像処理装置。
14. 請求項１ないし１３いずれか１つ記載の画像処理装置を備え、
    前記入力手段を、複数の視点から同一の被写体を撮影して前記複数の視点画像を取得する撮影手段から構成したことを特徴とする撮影装置。
15. 請求項１ないし１３いずれか１つ記載の画像処理装置を備え、
    前記入力手段を、複数の視点から同一の被写体を撮影して複数のスルー視点画像を取得した後に、前記複数の視点画像を取得する撮影手段から構成し、
    前記視差分布情報算出手段は、前記撮影手段で撮影された前記複数のスルー視点画像の視差分布情報を算出することを特徴とする撮影装置。
16. 立体用画像を構成する複数の視点画像を入力する入力ステップと、
    前記入力ステップで入力された前記複数の視点画像の視差の分布状態を示す視差分布情報を算出する視差分布情報算出ステップと、
    前記視差分布情報算出ステップで算出された視差分布情報に基づいて、前記複数の視点画像を記録する複数視点画像記録と、前記複数の視点画像のうちの１つを記録する単視点画像記録とのいずれが適正であるかを判定する記録形式判定ステップと、
    前記記録形式判定ステップで前記単視点画像記録が適正であると判定されたときに、前記１つの視点画像を記録する記録ステップと、
    を有することを特徴とする画像処理方法。

Images