JP2008310187A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 ３次元表示用の画像を生成、表示する際の待ち時間に起因するストレスを低減することが可能な画像処理装置及び画像処理方法を提供する。
【解決手段】 ３次元表示用の画像を生成して出力する場合には、拡張画像ファイルＦ１００から複数視点の画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）を読み出して、３次元表示用の画像の生成処理を開始するとともに、代表画像データＰ（ｄ）及び距離画像データＰ_Ｄを用いて簡易な３次元表示用の画像（簡易３Ｄ画像）を生成して、表示制御部３２を介してモニタ３０又は外部表示装置に出力する。一般に、簡易３Ｄ画像は、３以上の複数視点の画像データを用いた３次元表示用の画像（多視点３Ｄ画像）の生成処理よりも短時間で終了するため、多視点３Ｄ画像の生成、出力処理が終了するまでの間、簡易３Ｄ画像を出力するようにすることにより、３次元表示用の画像を生成、表示する際の待ち時間に起因するストレスを低減することができる。
【選択図】 図６

Description

本発明は画像処理装置及び画像処理方法に係り、特に複数の視点の画像データを用いて３次元表示用の画像を生成する画像処理装置及び画像処理方法に関する。

特許文献１には、取得した視差画像に、輝度、色差、上下位置等の補正を加えて、立体視用の画像を生成する画像処理装置が開示されている。

特許文献２には、複数の視点の画像から画像データを作成する画像データ作成装置において、複数の視点の画像のファイルヘッダと画像情報とを単体で既存形式のファイルとすることが開示されている。
特開２００４−１０２５１３号公報 特開２００４−２７４０９１号公報（図９）

従来、複数の視点（特に、３視点以上）の画像データを用いて３次元表示用の（立体視用の）画像を生成する場合、３次元表示用の画像を生成するために使用する画像データの選択、３次元表示用の画像の生成のための演算のために時間がかかるという問題があった。

本発明はこのような事情に鑑みてなされたもので、３次元表示用の画像を生成、表示する際の待ち時間に起因するストレスを低減することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本願発明１に係る画像処理装置は、複数の視点から被写体を撮影した画像データを取得する画像取得手段と、前記画像データから、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離を算出する相対被写体距離算出手段と、前記相対被写体距離を含む相対被写体距離情報と前記画像データとを格納するための記録用画像ファイルを生成する記録用画像ファイル生成手段と、前記記録用画像ファイルを記録する記録手段と、前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成手段と、前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成手段と、３次元表示を行うための表示手段と、前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御手段とを備えることを特徴とする。

本願発明１では、複数視点から撮影された画像データを格納するための記録用画像ファイルに相対被写体距離情報を格納しておく。そして、複数視点から撮影された画像データを用いて３次元表示を行う場合に、３次元表示用画像を生成するための演算を実行している間に、３次元表示用画像よりも短時間で生成可能な簡易３次元表示用画像を生成、表示しておくようにしたので、３次元表示用画像を生成するための待ち時間に起因するストレスを低減することができる。

本願発明２に係る画像処理装置は、複数の視点から被写体を撮影した画像データと、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離情報とが格納された記録用画像ファイルを取得する画像取得手段と、前記記録用画像ファイルを記録する記録手段と、前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成手段と、前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成手段と、３次元表示を行うための表示手段と、前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御手段とを備えることを特徴とする。

本願発明２によれば、複数視点から撮影された画像データを用いて３次元表示を行う場合に、３次元表示用画像を生成するための演算を実行している間に、３次元表示用画像よりも短時間で生成可能な簡易３次元表示用画像を生成、表示しておくようにしたので、３次元表示用画像を生成するための待ち時間に起因するストレスを低減することができる。

本願発明３は、本願発明１又は２の画像処理装置において、前記記録用画像ファイル生成手段は、前記複数視点の画像データから代表画像データを選択して前記記録用画像ファイルに格納し、前記簡易３次元表示用画像生成手段は、前記代表画像データと前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成することを特徴とする。

本願発明４は、本願発明１から３の画像処理装置において、前記記録用画像ファイル生成手段は、前記相対被写体距離情報に基づいて前記相対被写体距離を画像化した距離画像データを生成して、前記記録用画像ファイルに格納することを特徴とする。

本願発明５に係る画像処理方法は、複数の視点から被写体を撮影した画像データを取得する画像取得工程と、前記画像データから、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離を算出する相対被写体距離算出工程と、前記相対被写体距離を含む相対被写体距離情報と前記画像データとを格納するための記録用画像ファイルを生成する記録用画像ファイル生成工程と、前記記録用画像ファイルを記録する記録工程と、前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成工程と、前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成工程と、前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御工程とを備えることを特徴とする。

本願発明６に係る画像処理方法は、複数の視点から被写体を撮影した画像データと、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離情報とが格納された記録用画像ファイルを取得する画像取得工程と、前記記録用画像ファイルを記録する記録工程と、前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成工程と、前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成工程と、前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御工程とを備えることを特徴とする。

本願発明７は、本願発明５又は６の画像処理方法において、前記記録用画像ファイル生成工程において、前記複数視点の画像データから代表画像データを選択して前記記録用画像ファイルに格納し、前記簡易３次元表示用画像生成工程において、前記代表画像データと前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成することを特徴とする。

本発明によれば、複数視点から撮影された画像データを用いて３次元表示を行う場合に、３次元表示用画像を生成するための演算を実行している間に、３次元表示用画像よりも短時間で生成可能な簡易３次元表示用画像を生成、表示しておくようにしたので、３次元表示用画像を生成するための待ち時間に起因するストレスを低減することができる。

以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像記録装置を備えた撮影装置の主要構成を示すブロック図である。図１に示すように、撮影装置１は、複数の撮影部１０−１、１０−２、…、１０−Ｎ（Ｎ≧２）を備えており、同一の被写体を多視点から撮影した視差画像を取得し、所定の形式の記録用画像ファイルとして記録する装置である。

メインＣＰＵ１２（以下、ＣＰＵ１２と記載する）は、操作部１４からの入力に基づき所定の制御プログラムに従って撮影装置１全体の動作を統括制御する制御手段として機能する。電源制御部１６は、バッテリ１８からの電力を制御して、撮影装置１の各部に動作電力を供給する。

ＣＰＵ１２には、バス２０を介してＲＯＭ２２、フラッシュＲＯＭ２４、ＳＤＲＡＭ２６及びＶＲＡＭ２８が接続されている。ＲＯＭ２２には、ＣＰＵ１２が実行する制御プログラム及び制御に必要な各種データ等が格納される。フラッシュＲＯＭ２４には、ユーザ設定情報等の撮影装置１の動作に関する各種設定情報等が格納される。

ＳＤＲＡＭ２６は、ＣＰＵ１２の演算作業用領域及び画像データの一時記憶領域（ワークメモリ）を含んでいる。ＶＲＡＭ２８は、表示用の画像データ専用の一時記憶領域を含んでいる。

モニタ３０は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、モニタ３０は、撮影モード時に画角を確認するための電子ファインダとして利用される。

モニタ３０は、３次元画像（３Ｄ画像）の表示が可能となっている。３次元表示を行うための手段としては、例えば、特殊なメガネを使用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式のほか、例えば、モニタ３０前面に垂直方向のスリットを形成し、スリット後方のモニタ３０の表示面に左右の像を示す短冊状の画像断片を交互に配列して表示するパララックスバリア（視差バリア）方式、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズをモニタ３０の表面に配置するレンチキュラ方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を利用するホログラフィ方式を適用可能である。なお、３次元表示を行うための手段は、上記に列挙したものに限定されるものではない。

表示制御部３２は、撮像素子４８又はメモリカード７４から読み出された画像データを表示用の画像信号（例えば、ＮＴＳＣ信号、ＰＡＬ信号又はＳＣＡＭ信号）に変換してモニタ３０に出力するとともに、所定の文字、図形情報（例えば、オンスクリーン表示用のデータ）をモニタ３０に出力する。また、表示制御部３２は、所定のインターフェイス（例えば、ＵＳＢ、IEEE1394、ＬＡＮ）を介して接続された外部表示装置に画像を出力可能となっている。

操作部１４は、シャッタボタン、電源／モードスイッチ、モードダイヤル、十字ボタン、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタン等の操作入力手段を含んでいる。

電源／モードスイッチは、撮影装置１の電源のオン／オフの切り替え、及び撮影装置１の動作モード（再生モード及び撮影モード）の切り替え手段として機能する。

モードダイヤルは、撮影装置１の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、２Ｄ／３Ｄモード切替フラグ３４に、２次元画像を撮影するための２Ｄモードであることを表すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、２Ｄ／３Ｄモード切替フラグ３４に、３次元画像を撮影するための３Ｄモードであることを表すフラグが設定される。ＣＰＵ１２は、２Ｄ／３Ｄモード切替フラグ３４を参照して、２Ｄモードと３Ｄモードのいずれであるかを判別する。

シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。また、動画撮影モード時には、シャッタボタンが全押しされると、動画の撮影が開始され、再度全押しされると、撮影が終了する。設定により、シャッタボタンが全押しされている間、動画の撮影が行われ、全押しが解除されると、撮影を終了するようにすることもできる。なお、静止画撮影用のシャッタボタン及び動画撮影用のシャッタボタンを別々に設けるようにしてもよい。

十字ボタンは、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、撮影装置１の動作モード等に応じた機能が割り当てられる。例えば、撮影モード時には、左ボタンにマクロ機能のオン／オフを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、撮影モード時には、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのオン／オフを切り替える機能が割り当てられる。再生モード時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、再生モード時には、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ３０に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ズームボタンは、撮影部１０−１、１０−２、…、１０−Ｎのズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

ＭＥＮＵ／ＯＫボタンは、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、撮影装置１の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、ＭＥＮＵ／ＯＫボタンは、例えば、露出値、色合い、撮影感度、記録画素数等の画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等、撮影装置１が持つすべての調整項目の設定が行われる。撮影装置１は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタンは、モニタ３０の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタンは入力操作のキャンセル等の指示の入力に用いられる。

フラッシュ発光部３６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。フラッシュ制御部３８は、フラッシュ発光部（放電管）３６を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ１２からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部３６の放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光部３６としては、ＬＥＤ等の他の発光手段を用いてもよい。

次に、撮影装置１の撮影機能について説明する。撮影部１０は、撮影レンズ４０（ズームレンズ４２、フォーカスレンズ４４及び絞り４６）、ズームレンズ制御部（Ｚレンズ制御部）４２Ｃ、フォーカスレンズ制御部（Ｆレンズ制御部）４４Ｃ、絞り制御部４６Ｃ、撮像素子４８、タイミングジェネレータ（ＴＧ）５０、アナログ信号処理部５６、Ａ／Ｄ変換器５８、画像入力コントローラ６０及びデジタル信号処理部６２を備えている。なお、図１では、各撮影部１０−１、１０−２、…、１０−Ｎ内の各部にそれぞれ符号１、２、…、Ｎを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１、２、…、Ｎを省略して説明する。

ズームレンズ４２は、図示しないズームアクチュエータに駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、ズームレンズ制御部４２Ｃを介してズームアクチュエータの駆動を制御することにより、ズームレンズ４２の位置を制御してズーミングを行う。

フォーカスレンズ４４は、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、フォーカスレンズ制御部４４Ｃを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズ４４の位置を制御してフォーカシングを行う。

絞り４６は、例えば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１２は、絞り制御部４６Ｃを介して絞りアクチュエータの駆動を制御することにより、絞り４６の開口量（絞り値）を制御し、撮像素子４８への入射光量を制御する。

ＣＰＵ１２は、各撮影部の撮影レンズ４０−１、４０−２、…、４０−Ｎを同期させて駆動する。即ち、撮影レンズ４０−１、４０−２、…、４０−Ｎは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子４８は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子（ＣＣＤ）４８の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ４０によってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従ってＴＧ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子４８から順次読み出される。撮像素子４８は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、撮像素子４８としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。

測距用画像取得部５２は、被写体に光を照射するための発光素子（例えば、発光ダイオード）と、上記発光素子により光が照射された被写体の画像（測距用画像）を撮影する撮像素子（測距用撮像素子）とを備えている。測距用画像取得部５２は、各撮影部１０−１、１０−２、…、１０−Ｎに配置される。各測距用画像取得部５２によって取得された測距用画像は、被写体距離情報処理部５４に出力される。

被写体距離情報処理部５４は、測距用画像取得部５２から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１０−１、１０−２、…、１０−Ｎによって撮影された被写体と撮影装置１との間の距離の変化又は差分（相対被写体距離）を算出する。被写体距離情報処理部５４によって算出された相対被写体距離は、画像ファイル生成部７０に提供され、記録用画像ファイルに記録される。

なお、相対被写体距離の算出方法としては、発光素子から照射された光が被写体によって反射され、測距用撮像素子に届くまでの光の飛行時間（遅れ時間）と光の速度から相対被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。

アナログ信号処理部５６は、撮像素子４８から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、画像信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子４８から出力される画像信号を相関２重サンプリング処理するとともに増幅する。

Ａ／Ｄ変換器５８は、アナログ信号処理部５６から出力されたアナログの画像信号をデジタルの画像信号に変換する。

画像入力コントローラ６０は、Ａ／Ｄ変換器５８から出力された画像信号を取り込んで、ＳＤＲＡＭ２６に格納する。

デジタル信号処理部６２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＳＤＲＡＭ２６に格納されたＲ、Ｇ、Ｂの画像信号に対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、デジタル信号処理部６２において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。デジタル信号処理部６２により処理された画像データはＶＲＡＭ２８に格納される。

撮影画像をモニタ３０に出力する場合、ＶＲＡＭ２８から画像データが読み出され、バス２０を介して表示制御部３２に送られる。表示制御部３２は、入力された画像データを表示用の所定方式のビデオ信号に変換してモニタ３０に出力する。

ＡＦ検出部６４は、画像入力コントローラ６０−１、６０−２、…、６０−Ｎのいずれか１つから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。ＡＦ検出部６４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１２に出力する。

ＣＰＵ１２は、ＡＦ制御時にはＡＦ検出部６４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ４４を移動させることにより、主要被写体への焦点合わせを行う。即ち、ＣＰＵ１２は、ＡＦ制御時には、まず、フォーカスレンズ４４を至近から無限遠まで移動させ、その移動過程でＡＦ検出部６４から焦点評価値を逐次取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ４４を移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部６６は、画像入力コントローラ６０−１、６０−２、…、６０−Ｎのいずれか１つから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。即ち、ＡＥ／ＡＷＢ検出部６６は、１画面を複数のエリア（例えば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１２は、ＡＥ制御時にはＡＥ／ＡＷＢ検出部６６において算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。

また、ＣＰＵ１２は、ＡＷＢ制御時にＡＥ／ＡＷＢ検出部６６により算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部６２に入力する。デジタル信号処理部６２は、ＡＥ／ＡＷＢ検出部６６により算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、デジタル信号処理部６２は、ＡＥ／ＡＷＢ検出部６６により算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部６８は、ＣＰＵ１２からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮処理が施される。また、圧縮・伸張処理部６８は、ＣＰＵ１２からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。

画像ファイル生成部７０は、上記撮影部１０−１、１０−２、…、１０−Ｎにより撮影された画像データを格納するための拡張画像ファイルＦ１００を生成するとともに、拡張画像ファイルＦ１００に対応する基本ファイルＦ１０を生成する。

メディア制御部７２は、ＣＰＵ１２からの指令に従い、メモリカード７４に対するデータの読み／書きを制御する。

外部接続インターフェイス部（外部接続Ｉ／Ｆ）７６は、外部の画像処理装置（例えば、パーソナルコンピュータ、携帯情報端末、画像ストレージ装置、サーバ）との間でデータの送受信を行うための装置である。外部の画像処理装置との間の通信の方式は、例えば、ＵＳＢ、IEEE1394、ＬＡＮ、赤外線通信（IrDA）等を適用することができる。

［記録用画像ファイル］
次に、本発明の第１の実施形態に係る記録用画像ファイルの構成について説明する。図２は、基本ファイルＦ１０のデータ構造を模式的に示す図であり、図３は、拡張画像ファイルＦ１００のデータ構造を模式的に示す図である。また、図４は、メモリカード７４に基本ファイル及び拡張画像ファイルを格納する際のフォルダのツリー構造を模式的に示す図である。

図４に示すように、基本ファイルＦ１０と拡張画像ファイルＦ１００は、メモリカード７４内の同一のフォルダに格納される。拡張画像ファイルＦ１００の拡張子はＦ３Ｄである。基本ファイルＦ１０の拡張子は、標準的な画像ファイルの拡張子（基本ファイルＦ１０に格納される画像データのエンコード形式に対応する拡張子）である。このため、基本ファイルＦ１０は、複数の画像データが格納された画像ファイルから、複数の画像データを読み込んで再生処理等を行う機能を有さない画像処理装置においても、標準的なＪＰＥＧ形式の画像ファイルとして認識することができ、再生及び編集が可能である。

なお、本実施形態では、基本ファイルＦ１０内の画像データはＪＰＥＧ形式であるが、他の形式（例えば、ＴＩＦＦ形式、ビットマップ（ＢＭＰ）形式、ＧＩＦ形式、ＰＮＧ形式）であってもよい。

基本ファイルＦ１０と拡張画像ファイルＦ１００のファイル名は同じになっている。基本ファイルＦ１０及び拡張画像ファイルＦ１００のファイル名は、ＤＣＦ（Design rule for Camera File system）に従って決定される。

図３に示すように、本実施形態に係る拡張画像ファイルＦ１００は、拡張画像ファイルＦ１００のデータの先頭を示すマーカＳＯＩ（Start of Image）の格納領域Ａ１００、タグ情報格納領域Ａ１０２、画像データ格納領域Ａ１０４、データの終了を示すマーカＥＯＩ（End of Image）の格納領域Ａ１０６を含んでいる。

画像データ格納領域Ａ１０４には、上記撮影部１０−１、１０−２、…、１０−Ｎにより撮影された画像データ（以下の説明では、各々画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）という）が格納される。更に、画像データ格納領域Ａ１０４には、画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）の中から選択された代表画像データＰ（ｄ）、及び距離画像データＰ_Ｄが格納される。画像データ格納領域Ａ１０４における画像データの格納形式は、例えば、ＲＡＷ、ＪＰＥＧ形式、ＴＩＦＦ形式、ビットマップ（ＢＭＰ）形式、ＧＩＦ形式、ＰＮＧ形式のような標準的な画像ファイルの格納形式の中から、設定により選択可能となっている。なお、画像データ格納領域Ａ１０４における画像データの格納順序は、図３に示した以外のものであってもよい。

距離画像データＰ_Ｄは、代表画像データＰ（ｄ）に写っている被写体と撮影装置１との間の距離の変化又は差分に関する相対被写体距離情報を含む画像データである。距離画像データＰ_Ｄでは、相対被写体距離情報は、例えば、画素の色の変化（例えば、相対被写体距離が遠くなるにつれて、赤、橙、黄、黄緑、緑、青、紫のように変化する）、又は色の濃淡（例えば、グレースケール）で表されており、ユーザは相対被写体距離情報を視認することができるようになっている。なお、相対被写体距離情報の格納形式は、上記以外のもの（例えば、画素ごと又は代表画像データＰ（ｄ）を分割したエリアごとに相対被写体距離情報の値を格納したデータ形式）であってもよい。

代表画像データは、例えば、下記［１］から［３］のいずれかの方式に従って画像ファイル生成部７０によって選択される。

［１］例えば、視点数が２の場合には、ユーザの利き目（例えば、デフォルト設定では右目。ユーザが設定可能）に対応する撮影部によって撮影された画像データを選択する。

［２］視点位置が中間又は中間近傍の画像（即ち、視差画像の撮影時に多視点の中間近傍に配置された撮影部１０−ｄにより撮影された画像）を代表画像データＰ（ｄ）として選択する。即ち、代表画像データＰ（ｄ）は、視点数Ｎが奇数の場合には中間視点の画像、視点数Ｎが偶数の場合には中間近傍の画像となる。例えば、視点数Ｎ＝５の場合には、代表画像データは、撮影部１０−３により撮影された画像データＰ（３）となり、視点数Ｎ＝８の場合には、代表画像データは、撮影部１０−４又は１０−５により撮影された画像データＰ（４）又はＰ（５）となる。また、拡張画像ファイルＦ１００の画像データ格納領域Ａ１０４の中間近傍に位置する画像データが代表画像データＰ（ｄ）として選択されるようにしてもよい。

［３］中間視点又は中間近傍の画像データのうちユーザの利き目側の画像データを代表画像として選択する。

なお、ユーザが予め設定した撮影部により撮影された画像データを代表画像データとして指定できるようにしてもよいし、ユーザが代表画像データを手動で指定、変更できるようにしてもよい。

タグ情報格納領域Ａ１０２には、拡張画像ファイルＦ１００の３Ｄタグ情報が格納される。ここで、３Ｄタグ情報とは、画像データ格納領域Ａ１０４に格納された多視点の画像データの中から２つ以上を組み合わせて３次元表示を行うために使用される情報であり、例えば、３次元表示を行うときに使用する画像データの数を示す視点数、３次元表示を行うときに使用する画像データを指定するための情報、拡張画像ファイルＦ１００における各画像データ（代表画像データＰ（ｄ）、距離画像データＰ_Ｄ及び各視点の画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ））の格納場所（読み出し開始位置）を特定するポインタ情報、距離画像データＰ_Ｄの生成に使用した画像データを特定するための情報を含んでいる。

また、タグ情報格納領域Ａ１０２には、対応する基本ファイルＦ１０を特定するための情報が格納されており、拡張画像ファイルＦ１００の再生時に基本ファイルＦ１０を参照（表示）可能となっている。

図２に示すように、本実施形態に係る基本ファイルＦ１０は、基本ファイルＦ１０のデータの先頭を示すマーカＳＯＩ（Start of Image）の格納領域Ａ１０、タグ情報格納領域Ａ１２、画像データ格納領域Ａ１４、データの終了を示すマーカＥＯＩ（End of Image）の格納領域Ａ１６を含んでいる。

画像データ格納領域Ａ１２には、画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）の中から選択された代表画像データＰ（ｄ）が格納される。

タグ情報格納領域（APP1 Area）Ａ１０には、図２に示すように、Exif識別情報、TIFFヘッダ、IFD0領域（IFD0 Area）、IFD1領域が設けられている。IFD0領域にはExif IFD（Exifタグ情報）、GPS IFD（GPSの測定情報）、3D IFD（３Ｄタグ情報）が格納されている。３Ｄタグ情報には拡張画像ファイルＦ１００との関連性に関する情報が格納されており、基本ファイルＦ１０の再生時に拡張画像ファイルＦ１００を参照可能となっている。なお、図２のPointer to Exif IFD、Pointer to GPS IFD、Pointer to 3D IFDは、それぞれExif IFD、GPS IFD、3D IFDのタグ情報格納領域Ａ１０における格納位置を示している。

なお、本実施形態では、記録用画像ファイルとして、拡張画像ファイルＦ１００と基本ファイルＦ１０の２つのファイルを生成するようにしたが、拡張画像ファイルＦ１００のみを生成するようにしてもよい。

［３次元画像の撮影、生成処理］
本実施形態に係る撮影装置１は、３Ｄモードで画像を撮影、記録する場合、撮影した複数視点の画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）を用いて距離画像データＰ_Ｄを作成して、複数視点の画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）とともに、拡張画像ファイルＦ１００に記録する。

撮影装置１において、３次元表示用の画像を生成して出力する場合には、拡張画像ファイルＦ１００から複数視点の画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）を読み出して、３次元表示用の画像の生成処理を開始するとともに、代表画像データＰ（ｄ）及び距離画像データＰ_Ｄを用いて簡易な３次元表示用の画像（以下の説明では、簡易３Ｄ画像という）を生成して、表示制御部３２を介してモニタ３０又は外部表示装置に出力する。

ここで、簡易３Ｄ画像は、例えば、距離画像データＰ_Ｄにおける相対被写体距離情報に基づいて、代表画像データＰ（ｄ）中の画像を切り出して、切り出した画像が当該被写体の相対被写体距離情報に応じた位置に見えるように生成された画像である。一般に、簡易３Ｄ画像は、３以上の複数視点の画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）を用いた３次元表示用の画像（以下の説明では、多視点３Ｄ画像という）の生成処理よりも短時間で終了するため、多視点３Ｄ画像の生成、出力処理が終了するまでの間、簡易３Ｄ画像を出力するようにすることにより、３次元表示用の画像を生成、表示する際の待ち時間に起因するストレスを低減することができる。

なお、本実施形態では、距離画像データＰ_Ｄと代表画像データＰ（ｄ）とを用いて簡易３Ｄ画像を生成するようにしたが、例えば、代表画像データＰ（ｄ）の代わりに複数視点の画像データのうちの所定の１枚を用いるようにしてもよい。

次に、上記撮影装置１により複数視点の画像を撮影する処理の流れについて、図５のフローチャートを参照して説明する。まず、３Ｄモードで撮影された複数視点の画像データを取得すると（ステップＳ１０）、拡張画像ファイルＦ１００が生成され、３Ｄタグ情報（ヘッダ）がタグ情報格納領域Ａ１０２に記録される（ステップＳ１２）。また、各撮影部１０−１、１０−２、…、１０−Ｎにより撮影された画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）の中から、代表画像データＰ（ｄ）が選択されて、画像データ格納領域Ａ１０４に記録される（ステップＳ１４）。

次に、拡張画像ファイルＦ１００に距離画像データを記録するかどうか判定される（ステップＳ１６）。ステップＳ１６では、例えば、ステップＳ１０において取得した画像データが２視点の画像データである場合には、３次元表示用の画像を生成するために使用する画像データの選択、３次元表示用の画像の生成のための演算に要する時間が短いため、距離画像データを生成、記録しないように設定される。

ステップＳ１６において、距離画像データを記録する場合には、画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）の中の所定の画像データを用いて距離画像データＰ_Ｄが生成されて（ステップＳ１８）、画像データ格納領域Ａ１０４に記録される（ステップＳ２０）。一方、距離画像データを記録しない場合には（ステップＳ１６のＮｏ）、ステップＳ２２に進む。

次に、視点１からＮに対応する画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）が画像データ格納領域Ａ１０４に記録され（ステップＳ２２）、拡張画像ファイルＦ１００の記録処理が終了する（ステップＳ２４）。

また、拡張画像ファイルＦ１００の記録処理と並行して、基本ファイルＦ１０の記録処理も行われる。

次に、拡張画像ファイルＦ１００から３次元表示用の画像を生成、出力する処理の流れについて、図６のフローチャートを参照して説明する。まず、拡張画像ファイルＦ１００が読み込まれる（ステップＳ３０）。次に、読み込まれた拡張画像ファイルＦ１００から３Ｄタグ情報が読み込まれて、当該拡張画像ファイルＦ１００に格納されている画像データの視点数が取得される。そして、ステップＳ３２において、視点数が２より大きい場合には、拡張画像ファイルＦ１００から代表画像データＰ（ｄ）が読み込まれる（ステップＳ３４）。

次に、拡張画像ファイルＦ１００に距離画像データＰ_Ｄが格納されている場合には（ステップＳ３６のＹｅｓ）、距離画像データＰ_Ｄが読み込まれて（ステップＳ３８）、代表画像データＰ（ｄ）と距離画像データＰ_Ｄから簡易３Ｄ画像が生成されて、表示制御部３２からモニタ３０又は外部表示装置に出力される（ステップＳ４０）。

なお、視点数が２の場合（ステップＳ３２のＹｅｓ）、及び拡張画像ファイルＦ１００に距離画像データＰ_Ｄが格納されていない場合には（ステップＳ３６のＮｏ）、簡易３Ｄ画像の生成は行われずに、ステップＳ４２に進む。

次に、各視点の画像データから多視点３Ｄ画像が生成されて表示制御部３２から出力される（ステップＳ４２）。

本実施形態によれば、多視点３Ｄ画像を生成する演算を実行している間に、簡易３Ｄ画像を生成、表示しておくようにしたので、多視点３Ｄ画像の生成、表示する際の待ち時間に起因するストレスを低減することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態に係る画像記録装置の主要構成を示すブロック図である。本実施形態では、画像記録装置１００は、例えば、パーソナルコンピュータ（ＰＣ）によって構成されており、撮影装置又はメモリカード７４からの記録用画像ファイルの読み込み、記録用画像ファイルの保存、編集等を行うための装置である。図７に示すように、中央処理装置（ＣＰＵ）１０２は、バス１０４を介して画像記録装置１００内の各ブロックに接続されており、各ブロックの動作を制御する。主メモリ１０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。ハードディスク装置１０８には、画像記録装置１００のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、撮影装置１又はメモリカード７４から読み込まれた記録用画像ファイル（基本ファイルＦ１０及び拡張画像ファイルＦ１００）等が格納される。ＣＤ−ＲＯＭ装置１１０は、図示せぬＣＤ−ＲＯＭからのデータの読み込みを行う。カードインターフェース部（カードＩ／Ｆ）１１２は、メモリカード７４から画像データを読み取る。表示メモリ１１６は、表示用データを一時記憶する。モニタ１１８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタにより構成され、この表示メモリ１１６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。キーボード１２０及びマウス１２２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ１０２に入力する。なお、ポインティングデバイスとしては、マウス１２２のほか、タッチパネルやタッチパッド等を用いることができる。マウスコントローラ１２４は、マウス１２２の状態を検出してモニタ１１８上のマウスポインタの位置や、マウス１２２の状態等の信号をＣＰＵ１０２に出力する。オーディオ入出力回路１２６には、マイク１２８及びスピーカ１３０が接続され、各種の音声信号が入力されるとともに、キーボード１２０等からの操作入力に応じて各種動作音が再生出力される。通信インターフェイス部（通信Ｉ／Ｆ）１３２は、ネットワークＮＷとの通信を行う。カメラ接続インターフェイス部（カメラ接続Ｉ／Ｆ）１３４は、撮影装置（電子カメラ、デジタルカメラ）１との間でデータの送受信を行う。

本実施形態に係る画像記録装置１００は、メモリカード７４又は撮影装置１を介して複数視点の画像データが格納された拡張画像ファイルＦ１００を取得した際に、当該拡張画像ファイルＦ１００が距離画像データＰ_Ｄを含まない場合には、図５で示した処理を行って距離画像データを拡張画像ファイルＦ１００に記録する。そして、画像記録装置１００は、距離画像データＰ_Ｄを含む拡張画像ファイルＦ１００を用いて３次元表示を行う場合には、図６に示した処理に従って３Ｄ表示を行う。これにより、３次元表示用の画像を生成、表示する際の待ち時間に起因するストレスを低減することができる。

なお、本発明は、例えば、撮影装置やパーソナルコンピュータ、携帯情報端末、画像ストレージ装置のような画像記録装置に適用するプログラムとしても提供することが可能である。

本発明の第１の実施形態に係る画像記録装置を備えた撮影装置の主要構成を示すブロック図 基本ファイルＦ１０のデータ構造を模式的に示す図 拡張画像ファイルＦ１００のデータ構造を模式的に示す図 メモリカード７４に基本ファイル及び拡張画像ファイルを格納する際のフォルダのツリー構造を模式的に示す図 複数視点の画像を撮影する処理を示すフローチャート 拡張画像ファイルＦ１００から３次元表示用の画像を生成、出力する処理を示すフローチャート 本発明の第２の実施形態に係る画像記録装置の主要構成を示すブロック図

符号の説明

１…撮影装置、１０…撮影部、１２…メインＣＰＵ、１４…操作部、１６…電源制御部、１８…バッテリ、２０…バス、２２…ＲＯＭ、２４…フラッシュＲＯＭ、２６…ＳＤＲＡＭ、２８…ＶＲＡＭ、３０…モニタ、３２…表示制御部、３４…２Ｄ／３Ｄモード切替フラグ、３６…フラッシュ発光部、３８…フラッシュ制御部、４０…撮影レンズ、４２…ズームレンズ、４４…フォーカスレンズ、４６…絞り、４２Ｃ…ズームレンズ制御部（Ｚレンズ制御部）、４４Ｃ…フォーカスレンズ制御部（Ｆレンズ制御部）、４６Ｃ…絞り制御部、４８…撮像素子、５０…タイミングジェネレータ（ＴＧ）、５２…測距用画像取得部、５４…被写体距離情報処理部、５６…アナログ信号処理部、５８…Ａ／Ｄ変換器、６０…画像入力コントローラ、６２…デジタル信号処理部、６４…ＡＦ検出部、６６…ＡＥ／ＡＷＢ検出部、６８…圧縮・伸張処理部、７０…画像ファイル生成部、７２…メディア制御部、７４…メモリカード、７６…外部接続インターフェイス部（外部接続Ｉ／Ｆ）

Claims (7)

1. 複数の視点から被写体を撮影した画像データを取得する画像取得手段と、
   前記画像データから、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離を算出する相対被写体距離算出手段と、
   前記相対被写体距離を含む相対被写体距離情報と前記画像データとを格納するための記録用画像ファイルを生成する記録用画像ファイル生成手段と、
   前記記録用画像ファイルを記録する記録手段と、
   前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成手段と、
   前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成手段と、
   ３次元表示を行うための表示手段と、
   前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 複数の視点から被写体を撮影した画像データと、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離情報とが格納された記録用画像ファイルを取得する画像取得手段と、
   前記記録用画像ファイルを記録する記録手段と、
   前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成手段と、
   前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成手段と、
   ３次元表示を行うための表示手段と、
   前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御手段と、
   を備えることを特徴とする画像処理装置。
3. 前記記録用画像ファイル生成手段は、前記複数視点の画像データから代表画像データを選択して前記記録用画像ファイルに格納し、
   前記簡易３次元表示用画像生成手段は、前記代表画像データと前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記記録用画像ファイル生成手段は、前記相対被写体距離情報に基づいて前記相対被写体距離を画像化した距離画像データを生成して、前記記録用画像ファイルに格納することを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 複数の視点から被写体を撮影した画像データを取得する画像取得工程と、
   前記画像データから、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離を算出する相対被写体距離算出工程と、
   前記相対被写体距離を含む相対被写体距離情報と前記画像データとを格納するための記録用画像ファイルを生成する記録用画像ファイル生成工程と、
   前記記録用画像ファイルを記録する記録工程と、
   前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成工程と、
   前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成工程と、
   前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御工程と、
   を備えることを特徴とする画像処理方法。
6. 複数の視点から被写体を撮影した画像データと、前記被写体と前記被写体を撮影した撮影装置との間の距離の変化を示す相対被写体距離情報とが格納された記録用画像ファイルを取得する画像取得工程と、
   前記記録用画像ファイルを記録する記録工程と、
   前記記録用画像ファイルに格納された複数視点の画像データを用いて３次元表示用画像を生成する３次元表示用画像生成工程と、
   前記記録用画像ファイルに格納された複数視点の画像データのうちの１枚と前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成する簡易３次元表示用画像生成工程と、
   前記表示手段を用いて３次元表示を行う際に、前記３次元表示用画像の生成が終了するまでの間、前記簡易３次元表示用画像を前記表示手段に表示させ、前記３次元表示用画像の生成が終了し次第、該３次元表示用画像を前記表示手段に表示させる表示制御工程と、
   を備えることを特徴とする画像処理方法。
7. 前記記録用画像ファイル生成工程において、前記複数視点の画像データから代表画像データを選択して前記記録用画像ファイルに格納し、
   前記簡易３次元表示用画像生成工程において、前記代表画像データと前記相対被写体距離情報とを用いて簡易３次元表示用画像を生成することを特徴とする請求項５又は６記載の画像処理方法。

Images