JP2008167067A - 画像記録装置及び画像記録方法 - Google Patents

Abstract

【課題】複数の画像データを１つの画像ファイルに格納するときに、複数の画像データの関連情報を容易に参照可能な画像記録装置及び画像記録方法を提供する。
【解決手段】記録用画像ファイルＦ１０は、第１の画像データ領域Ａ１、関連情報データ領域Ａ３及び第２の画像データ領域Ａ２を備えている。第１の画像データ領域Ａ１には、画像データ及び当該画像データのヘッダが１組格納され、第２の画像データ領域Ａ２には、画像データ及び当該画像データのヘッダが複数組格納可能である。撮影装置は、撮影部より取得した画像データ１を第１の画像データ領域Ａ１に格納し、撮影部より取得した画像データ（それぞれ画像データ２からＮ）を第２の画像データ領域Ａ２に格納する。関連情報データ領域Ａ３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２の間に配置されている。
【選択図】図１

Description

本発明は画像記録装置及び画像記録方法に係り、特に複数の画像データを１つの画像ファイルに格納する技術に関する。

特許文献１には、ヘッダと画像データと画像末尾部を有するデジタル保存装置及びデジタル画像復号システムについて開示されている。
特開２００３−２９９０１６号公報

ところで、画像ファイルの用途によっては、複数の画像データを１つの画像ファイルに格納する場合がある。１つの画像ファイルに格納された複数の画像データを処理する場合に、当該画像データに共通する関連情報を取得し、当該関連情報を用いて処理内容を制御することにより処理を容易にすることが可能である。しかしながら、従来は１つの画像ファイルに含まれる複数の画像データの関連情報を容易に参照することができなかった。例えば、上記特許文献１では、画像データと画像末尾部に格納されたデータとを双方に共通する関連情報に基づいて処理することについては開示されていない。

本発明はこのような事情に鑑みてなされたもので、複数の画像データを１つの画像ファイルに格納するときに、複数の画像データの関連情報を容易に参照可能な画像記録装置及び画像記録方法を提供することを目的とする。

上記課題を解決するために、本願発明１に係る画像記録装置は、標準のフォーマットにより規定された第１の画像データ、及び前記標準のフォーマットにより規定された少なくとも１つの第２の画像データを取得する画像データ取得手段と、前記第１及び第２の画像データのうち少なくとも２つの画像データに関連する関連情報を生成する関連情報生成手段と、前記第１の画像データが格納された第１の画像データ領域、前記第２の画像データが格納された第２の画像データ領域及び前記関連情報が格納された関連情報記録領域とを有する記録用画像ファイルを生成する記録用画像ファイル生成手段と、前記記録用画像ファイルを記録する記録手段とを備えることを特徴とする。

本願発明１によれば、複数の画像データが格納された記録用画像ファイルにおいて、複数の画像データに共通の関連情報を容易に記録することができる。

本願発明２は、本願発明１の画像記録装置において、前記画像データ取得手段は、１又は複数の撮影手段を用いて同一の被写体が多視点から撮影された画像データを取得することを特徴とする。

本願発明３は、本願発明２の画像記録装置において、前記関連情報生成手段は、前記画像データに基づいて立体視用の画像を出力する際に使用する画像の組み合わせに関する画像組み合わせ情報を生成し、前記記録用画像ファイル生成手段は、前記画像組み合わせ情報を前記関連情報格納領域に格納することを特徴とする。

本願発明３によれば、立体視用に多視点から撮影された視差画像を１つの記録用画像ファイルに格納する際に、立体視表示用の画像データの生成に使用する関連情報を同一のファイルに格納することができる。

本願発明４は、本願発明３の画像記録装置において、前記関連情報に基づいて前記画像データのうち少なくとも２つを選択する画像選択手段と、前記選択された画像データを立体視可能な形式に変換して出力する立体画像出力手段とを更に備えることを特徴とする。

本願発明５は、本願発明４の画像記録装置において、前記関連情報生成手段は、前記選択された画像データが前記立体画像出力手段に出力された場合に、前記選択された画像データが出力されて参照された履歴を示す参照履歴情報を生成し、前記記録用画像ファイル生成手段は、前記参照履歴情報を前記関連情報格納領域に格納することを特徴とする。

本願発明５によれば、複数の画像データを含む記録用画像ファイルにおいて、各画像データの参照履歴情報を参照することにより、例えば、出力先の機器の３次元表示機能に応じて最適な画像データの組み合わせ等を選択可能になる。

本願発明６は、本願発明２から５の画像記録装置において、前記関連情報生成手段は、前記複数の画像データに基づいて、前記複数の画像データの撮影時における被写体までの距離を示す距離データを生成し、前記記録用画像ファイル生成手段は、前記距離データを前記関連情報格納領域に格納することを特徴とする。

本願発明７は、本願発明６の画像記録装置において、前記距離データは、前記複数の画像データに基づいて生成される距離ヒストグラムデータ又は距離画像データであることを特徴とする。

本願発明６及び７によれば、距離データを関連情報として記録用画像ファイルに格納しておくことにより、距離データの基準値に対する偏差に基づいて、当該距離データの算出に用いられた画像データの組み合わせに基づく距離演算の有効性を判定することができる。例えば、画像データの編集時又は立体視用の表示を行うときに、距離演算の有効性が高い画像データの組み合わせを用いるようにすることにより、より臨場感のある立体視用の表示を実現することができる。

本願発明８は、本願発明１から７の画像記録装置において、前記第１及び第２の画像データを編集するための編集手段を更に備え、前記関連情報生成手段は、前記第１又は第２の画像データが編集された場合に、前記第１又は第２の画像データに対する編集内容を示す編集履歴情報を生成し、前記記録用画像ファイル生成手段は、前記編集履歴情報を前記関連情報格納領域に格納することを特徴とする。

本願発明８によれば、複数の画像データを含む記録用画像ファイルにおいて、各画像データの編集履歴情報を格納しておくことにより、例えば、複数の画像データに対して同じ編集処理を行ったり、編集履歴情報を使用して記録用画像ファイルを編集処理前の状態に復元することが可能になる。

本願発明９は、本願発明１から８の画像記録装置において、前記第１及び第２の画像データ及び関連情報データの改ざんを検出するための改ざん検出用データを生成する改ざん検出用データ生成手段を更に備え、前記記録用画像ファイル生成手段は、前記改ざん検出用データを前記関連情報格納領域に格納することを特徴とする。

本願発明９によれば、記録用画像データを他のユーザに送信したときに、送信先のユーザが受信した記録用画像データに対する通信経路上における改ざんの有無を確認することができる。

本願発明１０に係る画像記録方法は、標準のフォーマットにより規定された第１の画像データ、及び前記標準のフォーマットにより規定された少なくとも１つの第２の画像データを取得する画像データ取得工程と、前記第１及び第２の画像データのうち少なくとも２つの画像データに関連する関連情報を生成する関連情報生成工程と、前記第１の画像データが格納された第１の画像データ領域、前記第２の画像データが格納された第２の画像データ領域及び前記関連情報が格納された関連情報記録領域とを有する記録用画像ファイルを生成する記録用画像ファイル生成工程と、前記記録用画像ファイルを記録する記録工程とを備えることを特徴とする。

本願発明１１は、本願発明１０の画像記録方法において、前記画像データ取得工程において、１又は複数の撮影手段を用いて同一の被写体が多視点から撮影された画像データを取得することを特徴とする。

本願発明１２は、本願発明１１の画像記録方法において、前記関連情報生成工程では、前記画像データに基づいて立体視用の画像を出力する際に使用する画像の組み合わせに関する画像組み合わせ情報を生成し、前記記録用画像ファイル生成工程では、前記画像組み合わせ情報を前記関連情報格納領域に格納することを特徴とする。

本願発明１３は、本願発明１２の画像記録方法において、前記関連情報に基づいて前記画像データのうち少なくとも２つを選択する画像選択工程と、前記選択された画像データを立体視可能な形式に変換して立体画像出力手段に出力する工程とを更に備えることを特徴とする。

本願発明１４は、本願発明１３の画像記録方法において、前記関連情報生成工程では、前記選択された画像データが前記立体画像出力手段に出力された場合に、前記選択された画像データが出力されて参照された履歴を示す参照履歴情報を生成し、前記記録用画像ファイル生成工程では、前記参照履歴情報を前記関連情報格納領域に格納することを特徴とする。

本願発明１５に係る１１から１４の画像記録方法は、前記関連情報生成工程では、前記複数の画像データに基づいて、前記複数の画像データの撮影時における被写体までの距離を示す距離データを生成し、前記記録用画像ファイル生成工程では、前記距離データを前記関連情報格納領域に格納することを特徴とする。

本願発明１６は、本願発明１５の画像記録方法において、前記距離データは、前記複数の画像データに基づいて生成される距離ヒストグラムデータ又は距離画像データであることを特徴とする。

本願発明１７は、本願発明１０から１６の画像記録方法において、前記第１及び第２の画像データを編集するための編集工程を更に備え、前記関連情報生成工程では、前記第１又は第２の画像データが編集された場合に、前記第１又は第２の画像データに対する編集内容を示す編集履歴情報を生成し、前記記録用画像ファイル生成工程では、前記編集履歴情報を前記関連情報格納領域に格納することを特徴とする。

本願発明１８は、本願発明１０から１７の画像記録方法において、前記第１及び第２の画像データ及び関連情報データの改ざんを検出するための改ざん検出用データを生成する改ざん検出用データ生成工程を更に備え、前記記録用画像ファイル生成工程では、前記改ざん検出用データを前記関連情報格納領域に格納することを特徴とする。

本発明によれば、複数の画像データが格納された記録用画像ファイルにおいて、複数の画像データに共通の関連情報を容易に記録することができる。また、本実施形態によれば、立体視用に複数視点から撮影された視差画像を１つの記録用画像ファイルに格納する際に、立体視表示用の画像データの生成に使用する関連情報を同一のファイルに格納することができる。

以下、添付図面に従って本発明に係る画像記録装置及び画像記録方法の好ましい実施の形態について説明する。

［第１の実施形態］
図２は、本発明の第１の実施形態に係る画像記録装置を備えた撮影装置の主要構成を示すブロック図である。図２に示すように、撮影装置１は、複数の撮影部１０−１、１０−２、…、１０−Ｎ（Ｎ≧２）を備えており、同一の被写体を多視点から撮影した視差画像を取得し、所定の形式の記録用画像ファイルとして記録する装置である。

メインＣＰＵ１２（以下、ＣＰＵ１２と記載する）は、操作部１４からの入力に基づき所定の制御プログラムに従って撮影装置１全体の動作を統括制御する制御手段として機能する。電源制御部１６は、バッテリ１８からの電力を制御して、撮影装置１の各部に動作電力を供給する。

ＣＰＵ１２には、バス２０を介してＲＯＭ２２、フラッシュＲＯＭ２４、ＳＤＲＡＭ２６及びＶＲＡＭ２８が接続されている。ＲＯＭ２２には、ＣＰＵ１２が実行する制御プログラム及び制御に必要な各種データ等が格納される。フラッシュＲＯＭ２４には、ユーザ設定情報等の撮影装置１の動作に関する各種設定情報等が格納される。

ＳＤＲＡＭ２６は、ＣＰＵ１２の演算作業用領域及び画像データの一時記憶領域（ワークメモリ）を含んでいる。ＶＲＡＭ２８は、表示用の画像データ専用の一時記憶領域を含んでいる。

モニタ３０は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、モニタ３０は、撮影モード時に画角を確認するための電子ファインダとして利用される。モニタ３０の表面には、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズが配置されており、３次元画像（３Ｄ画像）の表示時にはユーザは立体視が可能となる。表示制御部３２は、撮像素子４８又はメモリカード７０から読み出された画像データを表示用の画像信号（例えば、ＮＴＳＣ信号、ＰＡＬ信号又はＳＣＡＭ信号）に変換してモニタ３０に出力するとともに、所定の文字、図形情報（例えば、オンスクリーン表示用のデータ）をモニタ３０に出力する。また、表示制御部３２は、所定のインターフェイス（例えば、ＵＳＢ、IEEE1394、ＬＡＮ）を介して接続された外部表示装置に画像を出力可能となっている。

操作部１４は、シャッタボタン、電源／モードスイッチ、モードダイヤル、十字ボタン、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタン等の操作入力手段を含んでいる。

電源／モードスイッチは、撮影装置１の電源のオン／オフの切り替え、及び撮影装置１の動作モード（再生モード及び撮影モード）の切り替え手段として機能する。

モードダイヤルは、撮影装置１の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、２Ｄ／３Ｄモード切替フラグ３４に、２次元画像を撮影するための２Ｄモードであることを表すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、２Ｄ／３Ｄモード切替フラグ３４に、３次元画像を撮影するための３Ｄモードであることを表すフラグが設定される。ＣＰＵ１２は、２Ｄ／３Ｄモード切替フラグ３４を参照して、２Ｄモードと３Ｄモードのいずれであるかを判別する。

シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。また、動画撮影モード時には、シャッタボタンが全押しされると、動画の撮影が開始され、再度全押しされると、撮影が終了する。設定により、シャッタボタンが全押しされている間、動画の撮影が行われ、全押しが解除されると、撮影を終了するようにすることもできる。なお、静止画撮影用のシャッタボタン及び動画撮影用のシャッタボタンを別々に設けるようにしてもよい。

十字ボタンは、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、撮影装置１の動作モード等に応じた機能が割り当てられる。例えば、撮影モード時には、左ボタンにマクロ機能のオン／オフを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、撮影モード時には、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのオン／オフを切り替える機能が割り当てられる。再生モード時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、再生モード時には、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ３０に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ズームボタンは、撮影部１０−１、１０−２、…、１０−Ｎのズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

ＭＥＮＵ／ＯＫボタンは、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、撮影装置１の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、ＭＥＮＵ／ＯＫボタンは、例えば、露出値、色合い、撮影感度、記録画素数等の画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等、撮影装置１が持つすべての調整項目の設定が行われる。撮影装置１は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタンは、モニタ３０の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタンは入力操作のキャンセル等の指示の入力に用いられる。

フラッシュ発光部３６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。フラッシュ制御部３８は、フラッシュ発光部（放電管）３６を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ１２からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部３６の放電（発光）のタイミング及び放電時間の制御等を行う。

次に、撮影装置１の撮影機能について説明する。撮影部１０は、撮影レンズ４０（ズームレンズ４２、フォーカスレンズ４４及び絞り４６）、ズームレンズ制御部（Ｚレンズ制御部）４２Ｃ、フォーカスレンズ制御部（Ｆレンズ制御部）４４Ｃ、絞り制御部４６Ｃ、撮像素子４８、タイミングジェネレータ（ＴＧ）５０、アナログ信号処理部５２、Ａ／Ｄ変換器５４、画像入力コントローラ５６及びデジタル信号処理部５８を備えている。なお、図２では、各撮影部１０−１、１０−２、…、１０−Ｎ内の構成にそれぞれ符号１、…、Ｎを付している。

ズームレンズ４２は、図示しないズームアクチュエータに駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、ズームレンズ制御部４２Ｃを介してズームアクチュエータの駆動を制御することにより、ズームレンズ４２の位置を制御してズーミングを行う。

フォーカスレンズ４４は、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、フォーカスレンズ制御部４４Ｃを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズ４４の位置を制御してフォーカシングを行う。

絞り４６は、例えば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１２は、絞り制御部４６Ｃを介して絞りアクチュエータの駆動を制御することにより、絞り４６の開口量（絞り値）を制御し、撮像素子４８への入射光量を制御する。

ＣＰＵ１２は、各撮影部の撮影レンズ４０−１、４０−２、…、４０−Ｎを同期させて駆動する。即ち、撮影レンズ４０−１、４０−２、…、４０−Ｎは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子４８は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子（ＣＣＤ）４８の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ４０によってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従ってＴＧ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子４８から順次読み出される。撮像素子４８は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、本実施形態では、撮像素子４８としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部５２は、撮像素子４８から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、画像信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子４８から出力される画像信号を相関２重サンプリング処理するとともに増幅する。

Ａ／Ｄ変換器５４は、アナログ信号処理部５２から出力されたアナログの画像信号をデジタルの画像信号に変換する。

画像入力コントローラ５６は、Ａ／Ｄ変換器５４から出力された画像信号を取り込んで、ＳＤＲＡＭ２６に格納する。

デジタル信号処理部５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＳＤＲＡＭ２６に格納されたＲ、Ｇ、Ｂの画像信号に対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、デジタル信号処理部５８において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。デジタル信号処理部５８により処理された画像データはＶＲＡＭ２８に格納される。

撮影画像をモニタ３０に出力する場合、ＶＲＡＭ２８から画像データが読み出され、バス２０を介して表示制御部３２に送られる。表示制御部３２は、入力された画像データを表示用の所定方式のビデオ信号に変換してモニタ３０に出力する。

ＡＦ検出部６０は、画像入力コントローラ５６−１、５６−２、…、５６−Ｎのいずれか１つから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。ＡＦ検出部６０は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１２に出力する。

ＣＰＵ１２は、ＡＦ制御時にはＡＦ検出部６０から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ４２を移動させることにより、主要被写体への焦点合わせを行う。即ち、ＣＰＵ１２は、ＡＦ制御時には、まず、フォーカスレンズ４２を至近から無限遠まで移動させ、その移動過程でＡＦ検出部６０から焦点評価値を逐次取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ４２を移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部６２は、画像入力コントローラ５６−１、５６−２、…、５６−Ｎのいずれか１つから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。即ち、ＡＥ／ＡＷＢ検出部６２は、１画面を複数のエリア（例えば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１２は、ＡＥ制御時にはＡＥ／ＡＷＢ検出部６２において算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。

また、ＣＰＵ１２は、ＡＷＢ制御時にＡＥ／ＡＷＢ検出部６２により算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部５８に入力する。デジタル信号処理部５８は、ＡＥ／ＡＷＢ検出部６２により算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、デジタル信号処理部５８は、ＡＥ／ＡＷＢ検出部６２により算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部６４は、ＣＰＵ１２からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮処理が施される。また、圧縮・伸張処理部６４は、ＣＰＵ１２からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。

画像ファイル生成部６６は、上記圧縮・伸張処理部６４により生成されたＪＰＥＧ形式のファイルを複数格納した記録用画像ファイルを生成する。

メディア制御部６８は、ＣＰＵ１２からの指令に従い、メモリカード７０に対するデータの読み／書きを制御する。

［記録用画像ファイルの構成］
図１は、本発明の第１の実施形態に係る記録用画像ファイルの構成を示す図である。図１に示すように、本実施形態の記録用画像ファイルＦ１０は、第１の画像データ領域Ａ１、関連情報データ領域Ａ３及び第２の画像データ領域Ａ２を備えている。

第１の画像データ領域Ａ１には、画像データ及び当該画像データのヘッダが１組格納され、第２の画像データ領域Ａ２には、画像データ及び当該画像データのヘッダが複数組格納可能である。本実施形態の撮影装置１は、撮影部１０−１により取得した画像データ１を第１の画像データ領域Ａ１に格納し、撮影部１０−２から１０−Ｎにより取得した画像データ（それぞれ画像データ２からＮ）を第２の画像データ領域Ａ２に格納する。

なお、図１に示す例では、画像データ１がＥｘｉｆフォーマット、画像データ２からＮがＪＰＥＧフォーマットであるが、本発明はこれに限定されるものではない。即ち、画像データ１からＮのフォーマットは互いに異なっていてもよいし、すべて同じであってもよい。また、各画像データのフォーマットは、上記以外の標準のフォーマット（例えば、ＴＩＦＦ形式、ビットマップ（ＢＭＰ）形式、ＧＩＦ形式、ＰＮＧ形式等）であってもよい。

関連情報データ領域Ａ３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２の間に配置されている。関連情報データ領域Ａ３には、画像データに関連する関連情報であって、第１の画像データ領域Ａ１及び第２の画像データ領域Ａ２に格納された画像データ１からＮのうち少なくとも２つに共通の関連情報が格納される。

図３は、関連情報データの構成を示す図である。図３には、２つの関連情報データＤ１及びＤ２が示されている。

関連情報データＤ１及びＤ２は、関連情報データの種類を識別するための識別子（関連情報ＩＤ）を含んでいる。関連情報データＤ１及びＤ２の関連情報ＩＤの値は“立体視用多視点組み合わせ”であり、関連情報データＤ１及びＤ２が多視点の画像データ１からＮのうち２つ以上を組み合わせて立体視用の表示を行うために使用される情報であることを示している。

図３において、視点数は、立体視用の表示を行うときに使用する画像データの数を示している。視点ＩＤは、立体視用の表示を行うときに使用する画像データを指定するための情報である。例えば、関連情報データＤ１の視点ＩＤ＝“１，３，５”は、画像データ１、３及び５を用いて立体視表示を行うことを示している。ポインタは、記録用画像ファイルＦ１０における各画像データの読み出し開始位置を指定するポインタである。距離ヒストグラムデータは、視点ＩＤにより指定された画像データに基づいて生成された被写体（例えば、主要被写体の人物等）までの距離を示すデータである。

本実施形態によれば、複数の画像データが格納された記録用画像ファイルにおいて、複数の画像データに共通の関連情報を容易に記録することができる。また、本実施形態によれば、立体視用に多視点から撮影された視差画像を１つの記録用画像ファイルに格納する際に、立体視表示用の画像データの生成に使用する関連情報を同一のファイルに格納することができる。

次に、距離ヒストグラムデータについて説明する。図４は、画像データの例を示す図であり、図５は、図４の画像データから生成された距離ヒストグラムデータを示す図である。図６は、距離ヒストグラムデータの生成工程を示すフローチャートである。

図４に示す例では、画像データは６枚である。距離ヒストグラムデータを生成する場合には、まず、画像データ１から６の中から、距離ヒストグラムデータの生成に使用される画像データが複数選択される（ステップＳ１０）。次に、ステップＳ１０において選択された画像データから特徴点が抽出される（ステップＳ１２）。ここで、特徴点とは、例えば、被写体の人物の目、鼻頭、口元（口角）、顎の先端（顎先）、画像中の色が変化する点である。被写体の人物の目、鼻頭、口元（口角）、顎の先端（顎先）等は、顔検出技術により検出される。

次に、ステップＳ１２において抽出された特徴点の中から対応点が決定される（ステップＳ１４）。ここで、対応点とは、特徴点のうち、ステップＳ１０において選択された複数の画像データの間で相互に対応する点である。図４に示す例では、対応点は鼻頭である。

次に、上記画像データの撮影に使用された撮影部１０の位置関係及び上記画像データ中における対応点の座標（対応点座標）に基づいて、撮影時における撮影装置１から対応点までの距離（対応点距離）が算出される（ステップＳ１６）。そして、ステップＳ１０において選択された画像データの識別子（視点ＩＤ）、対応点座標及び対応点距離が距離ヒストグラムデータとして格納される。

次に、距離ヒストグラムデータの生成に使用される画像データの組み合わせが変更されて（ステップＳ１８のＮｏ、ステップＳ２０）、ステップＳ１２に戻る。また、ステップＳ１２からＳ１６の各工程の演算においてエラーが発生した場合には、ステップＳ１８に進み、距離ヒストグラムデータの生成に使用される画像データの組み合わせが変更される（ステップＳ２０）。

そして、ステップＳ１２からＳ２０の工程が繰り返されて、すべての画像データの組み合わせに基づく距離ヒストグラムデータの生成が終了すると（ステップＳ１８のＹｅｓ）、処理を終了する。これにより、図５に示すような距離ヒストグラムデータが生成される。

図５（ａ）において、視点ＩＤ＝１，３は画像データ１及び３に基づいて生成された距離ヒストグラムデータであることを示している。また、対応点座標＝（１，２００，１５０）は、画像データ１における対応点の位置がＸ＝２００（ピクセル）、Ｙ＝１５０（ピクセル）であることを示しており、対応点座標＝（３，１９０，１６０）は、画像データ３における対応点の位置がＸ＝１９０（ピクセル）、Ｙ＝１６０（ピクセル）であることを示している。また、図５（ａ）の対応点距離＝２．５ｍは、画像データ１及び３の組み合わせから算出された対応点距離が２．５ｍであることを示している。

また、図５（ｂ）及び図５（ｃ）に示す例では、画像データ２及び４の組み合わせから算出された対応点距離が４．５ｍであり、画像データ５及び６の組み合わせから算出された対応点距離が２．２ｍである。

図５に示す例では、画像データ１及び３の組み合わせから算出された対応点距離２．５ｍ、画像データ５及び６の組み合わせから算出された対応点距離２．２ｍが近い値であるのに対して、画像データ２及び４の組み合わせから算出された対応点距離４．５ｍが大きく離れた（基準値（任意の値、例えば、平均値、最頻値）に対する偏差が大きい）値である。このため、画像データ２及び４の組み合わせに基づく距離演算には有効性が低いと判定することができる。

上記のように、本実施形態によれば、対応点距離を関連情報データとして記録用画像ファイルＦ１０に格納しておくことにより、対応点距離の基準値に対する偏差に基づいて、当該対応点距離の算出に用いられた画像データの組み合わせに基づく距離演算の有効性を判定することができる。例えば、画像データの編集時又は立体視用の表示を行うときに、距離演算の有効性が高い画像データの組み合わせを用いるようにすることにより、より臨場感のある立体視用の表示を実現することができる。

なお、上記の例では、距離ヒストグラムデータとして対応点座標と対応点距離を格納するようにしたが、例えば、複数の対応点について対応点距離を算出して格納するようにしてもよい。

図７は、複数の対応点について算出された距離ヒストグラムデータを示すグラフである。図７において、横軸は対応点距離であり、縦軸は対応点距離が同一の（又は、対応点距離の値が所定の範囲内の）対応点の個数の累積値（度数）である。データＬ１は、画像データ１及び２に基づいて生成された距離ヒストグラムデータであり、データＬ２は、画像データ３及び４に基づいて生成された距離ヒストグラムデータである。図７に示す例では、領域Ｒ１において度数の偏差が大きいため、領域Ｒ１における距離演算の誤差が大きい。従って、図７に示すように、複数の対応点について対応点距離を算出して、関連情報データとして記録用画像ファイルＦ１０に格納しておくことにより、画面上の領域ごとに距離演算の有効性を判定することが可能になる。

なお、図８に示すように、関連情報データとして、撮影時の被写体までの距離を示す距離画像を格納するようにしてもよい。この場合にも、上記図７の例と同様に、画面上の領域ごとに距離演算の有効性を判定することが可能になる。

また、図９に示すように、第２の画像データ領域Ａ２に奥行画像（Depth Map、画像データの対応点の奥行を白黒の階調で表す画像データ）を格納するようにしてもよい。なお、奥行画像のフォーマットはビットマップ（ＢＭＰ）に限定されるものではない。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、撮影装置１等の構成については、第１の実施形態と同様である。

図１０は、本発明の第２の実施形態に係る記録用画像ファイルの構成を示す図である。図１０（ａ）に示すように、本実施形態の記録用画像ファイルＦ１２は、第１の画像データ領域Ａ１、第２の画像データ領域Ａ２及び関連情報データ領域Ａ３を備えている。

第１の画像データ領域Ａ１及び第２の画像データ領域Ａ２には、画像データ及び当該画像データのヘッダが格納される。図１０（ｂ）に示すように、各画像データのヘッダには、記録用画像ファイルＦ１２内において各画像データに固有の識別子（ＩＤ）が含まれている。

関連情報データ領域Ａ３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２の後方に配置されている。本実施形態では、関連情報データ領域Ａ３には、第１の画像データ領域Ａ１及び第２の画像データ領域Ａ２に格納された画像データの編集履歴情報が格納される。

図１１は、編集履歴情報の例を示す図である。図１１には、２つの編集履歴情報データＥ１及びＥ２が示されている。

編集履歴情報データＥ１及びＥ２は、編集処理の内容を識別するための識別子（処理ＩＤ）、当該編集処理の対象の画像データのＩＤ（処理対象画像ＩＤ）、当該編集処理が行われた日時情報及び処理内容データ領域（それぞれＥ１０及びＥ２０）を含んでいる。編集履歴情報データＥ１の処理ＩＤ＝“修正”、処理対象画像ＩＤ＝１であり、画像データ１が日時ＤＡＴＥ１に修正されたことを示している。編集履歴情報データＥ１の処理内容データ領域Ｅ１０には、画像データの修正内容に対応する修正差分情報が格納される。一方、編集履歴情報データＥ２の処理ＩＤ＝“削除”であり、記録用画像ファイルＦ１２内の画像データの一部が日時ＤＡＴＥ２に削除されたことを示している。編集履歴情報データＥ２の処理内容データ領域Ｅ２０には、削除された画像データ及びそのヘッダ情報（削除データヘッダ）が格納される。

次に、記録用画像ファイルＦ１２の編集処理について説明する。図１２は、記録用画像ファイルＦ１２の編集処理を模式的に示す図であり、図１３は、記録用画像ファイルＦ１２の編集工程を示すフローチャートである。

まず、メモリカード７０から記録用画像ファイルＦ１２が読み込まれて（ステップＳ３０）、図１２（ｂ）に示すように、画像データ、画像データのヘッダ情報及び関連情報データ（編集履歴情報）に分割されて、ＳＤＲＡＭ（ワークメモリ）２６上に展開される（ステップＳ３２）。

次に、操作部１４からの入力に応じて、ＳＤＲＡＭ２６上に展開された画像データ又はそのヘッダ情報に対して編集処理が施された後（ステップＳ３４）、分割された画像データが連結されるとともに、ステップＳ３４の編集処理の内容に対応する編集履歴情報が関連情報データ領域Ａ３に書き込まれて（ステップＳ３６）、記録用画像ファイルが生成されてメモリカード７０に出力される（ステップＳ３８）。例えば、画像データが修正された場合には、修正された画像データに対応する処理対象画像ＩＤ、修正日時とともに修正差分情報が書き込まれる。また、画像データが削除された場合には、図１２（ｃ）に示すように、削除日時とともに削除された画像データ及びそのヘッダ情報が書き込まれる。

本実施形態によれば、複数の画像データを含む記録用画像ファイルにおいて、各画像データの編集履歴情報を格納しておくことにより、複数の画像データに対して同じ編集処理を行うことが可能になる。また、編集履歴情報を使用して記録用画像ファイルＦ１２を編集処理前の状態に復元することが可能になる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、撮影装置１等の構成については、第１の実施形態と同様である。

図１４は、本発明の第３の実施形態に係る記録用画像ファイルの構成を示す図である。図１４に示すように、本実施形態の記録用画像ファイルＦ１４は、第１の画像データ領域Ａ１、第２の画像データ領域Ａ２及び関連情報データ領域Ａ３を備えている。

第１の画像データ領域Ａ１及び第２の画像データ領域Ａ２には、画像データ及び当該画像データのヘッダが格納される。

図１４に示すように、関連情報データ領域Ａ３は、第１の画像データ領域Ａ１と第２の画像データ領域Ａ２の後方に配置されている。本実施形態では、関連情報データ領域Ａ３には、第１の画像データ領域Ａ１及び第２の画像データ領域Ａ２に格納された画像データがモニタ３０、外部表示装置又はプリンタ等に出力された履歴を示す参照履歴情報が格納される。

図１５は、参照履歴情報を示す図である。参照履歴情報は、画像データが参照された日時情報、画像データが出力された機器（モニタ３０、外部表示装置又はプリンタ）の機種を示す参照機器種別ＩＤ、参照機器情報及び参照された画像データを特定するための情報（参照画像データＩＤ）を含んでいる。図１５に示す例では、参照機器種別ＩＤ＝３Ｄ ＬＣＤ、参照画像データＩＤ＝１，２であり、画像データ１、２が出力された機器が３次元表示可能なＬＣＤモニタであることを示している。また、参照機器情報は、出力先の機器から取得される当該機器に関する情報であり、例えば、上記ＬＣＤモニタのサイズ、立体視用の表示データの生成に用いられた画像データの数に対応する出力視点数及び上記ＬＣＤモニタを視認する際の推奨視認距離（立体視に適した距離）である。

本実施形態によれば、複数の画像データを含む記録用画像ファイルにおいて、各画像データの参照履歴情報を参照することにより、例えば、出力先の機器の３次元表示機能に応じて最適な参照画像データＩＤ、視点数等を選択可能になる。

なお、上記の各実施形態では、関連情報データ領域Ａ３に改ざん検出用データを格納するようにしてもよい。

図１６は、関連情報データとして改ざん検出用データを格納する例を示す図である。図１６に示す記録用画像ファイルＦ１６の関連情報データ領域Ａ３には、改ざん検出用データＳＩＧ１が格納されている。図１６に示す改ざん検出用データＳＩＧ１は、第１の画像データ領域Ａ１及び第２の画像データ領域内のデータ及び編集履歴情報をユーザの秘密鍵により暗号化した電子署名である。ユーザは、記録用画像ファイルＦ１６を送信する際に、この電子署名を復号化するための公開鍵を送信先のユーザが入手可能となるように公開又は送信先のユーザに予め送信しておく。送信先のユーザは、記録用画像ファイルＦ１６を受信した後、上記公開鍵を使用して改ざん検出用データＳＩＧ１を復号化して、記録用画像ファイルＦ１６のデータと照合することにより、データの改ざんの有無を確認することができる。

なお、本発明の画像記録装置は、上記の処理を行うプログラムを画像記録装置に適用することによっても実現可能である。

本発明の第１の実施形態に係る記録用画像ファイルの構成を示す図 本発明の第１の実施形態に係る画像記録装置を備えた撮影装置の主要構成を示すブロック図 関連情報データの構成を示す図 画像データの例を示す図 図４の画像データから生成された距離ヒストグラムデータを示す図 距離ヒストグラムデータの生成工程を示すフローチャート 複数の対応点について算出された距離ヒストグラムデータを示すグラフ 関連情報データとして撮影時の被写体までの距離を示す距離画像を格納する例を示す図 関連情報データとして奥行画像を格納する例を示す図 本発明の第２の実施形態に係る記録用画像ファイルの構成を示す図 編集履歴情報の例を示す図 記録用画像ファイルＦ１２の編集処理を模式的に示す図 記録用画像ファイルＦ１２の編集工程を示すフローチャート 本発明の第３の実施形態に係る記録用画像ファイルの構成を示す図 参照履歴情報を示す図 関連情報データとして改ざん検出用データを格納する例を示す図

符号の説明

１…撮影装置、１０…撮影部、１２…メインＣＰＵ、１４…操作部、１６…電源制御部、１８…バッテリ、２０…バス、２２…ＲＯＭ、２４…フラッシュＲＯＭ、２６…ＳＤＲＡＭ、２８…ＶＲＡＭ、３０…モニタ、３２…表示制御部、３４…２Ｄ／３Ｄモード切替フラグ、３６…フラッシュ発光部、３８…フラッシュ制御部、４０…撮影レンズ、４２…ズームレンズ、４４…フォーカスレンズ、４６…絞り、４２Ｃ…ズームレンズ制御部（Ｚレンズ制御部）、４４Ｃ…フォーカスレンズ制御部（Ｆレンズ制御部）、４６Ｃ…絞り制御部、４８…撮像素子、５０…タイミングジェネレータ（ＴＧ）、５２…アナログ信号処理部、５４…Ａ／Ｄ変換器、５６…画像入力コントローラ、５８…デジタル信号処理部、６０…ＡＦ検出部、６２…ＡＥ／ＡＷＢ検出部、６４…圧縮・伸張処理部、６６…画像ファイル生成部、６８…メディア制御部、７０…メモリカード

Claims (18)

1. 標準のフォーマットにより規定された第１の画像データ、及び前記標準のフォーマットにより規定された少なくとも１つの第２の画像データを取得する画像データ取得手段と、
   前記第１及び第２の画像データのうち少なくとも２つの画像データに関連する関連情報を生成する関連情報生成手段と、
   前記第１の画像データが格納された第１の画像データ領域、前記第２の画像データが格納された第２の画像データ領域及び前記関連情報が格納された関連情報記録領域とを有する記録用画像ファイルを生成する記録用画像ファイル生成手段と、
   前記記録用画像ファイルを記録する記録手段と、
   を備えることを特徴とする画像記録装置。
2. 前記画像データ取得手段は、１又は複数の撮影手段を用いて同一の被写体が多視点から撮影された画像データを取得することを特徴とする請求項１記載の画像記録装置。
3. 前記関連情報生成手段は、前記画像データに基づいて立体視用の画像を出力する際に使用する画像の組み合わせに関する画像組み合わせ情報を生成し、
   前記記録用画像ファイル生成手段は、前記画像組み合わせ情報を前記関連情報格納領域に格納することを特徴とする請求項２記載の画像記録装置。
4. 前記関連情報に基づいて前記画像データのうち少なくとも２つを選択する画像選択手段と、
   前記選択された画像データを立体視可能な形式に変換して出力する立体画像出力手段と、
   を更に備えることを特徴とする請求項３記載の画像記録装置。
5. 前記関連情報生成手段は、前記選択された画像データが前記立体画像出力手段に出力された場合に、前記選択された画像データが出力されて参照された履歴を示す参照履歴情報を生成し、
   前記記録用画像ファイル生成手段は、前記参照履歴情報を前記関連情報格納領域に格納することを特徴とする請求項４記載の画像記録装置。
6. 前記関連情報生成手段は、前記複数の画像データに基づいて、前記複数の画像データの撮影時における被写体までの距離を示す距離データを生成し、
   前記記録用画像ファイル生成手段は、前記距離データを前記関連情報格納領域に格納することを特徴とする２から５のいずれか１項記載の画像記録装置。
7. 前記距離データは、前記複数の画像データに基づいて生成される距離ヒストグラムデータ又は距離画像データであることを特徴とする請求項６記載の画像記録装置。
8. 前記第１及び第２の画像データを編集するための編集手段を更に備え、
   前記関連情報生成手段は、前記第１又は第２の画像データが編集された場合に、前記第１又は第２の画像データに対する編集内容を示す編集履歴情報を生成し、
   前記記録用画像ファイル生成手段は、前記編集履歴情報を前記関連情報格納領域に格納することを特徴とする請求項１から７のいずれか１項記載の画像記録装置。
9. 前記第１及び第２の画像データ及び関連情報データの改ざんを検出するための改ざん検出用データを生成する改ざん検出用データ生成手段を更に備え、
   前記記録用画像ファイル生成手段は、前記改ざん検出用データを前記関連情報格納領域に格納することを特徴とする請求項１から８のいずれか１項記載の画像記録装置。
10. 標準のフォーマットにより規定された第１の画像データ、及び前記標準のフォーマットにより規定された少なくとも１つの第２の画像データを取得する画像データ取得工程と、
    前記第１及び第２の画像データのうち少なくとも２つの画像データに関連する関連情報を生成する関連情報生成工程と、
    前記第１の画像データが格納された第１の画像データ領域、前記第２の画像データが格納された第２の画像データ領域及び前記関連情報が格納された関連情報記録領域とを有する記録用画像ファイルを生成する記録用画像ファイル生成工程と、
    前記記録用画像ファイルを記録する記録工程と、
    を備えることを特徴とする画像記録方法。
11. 前記画像データ取得工程において、１又は複数の撮影手段を用いて同一の被写体が多視点から撮影された画像データを取得することを特徴とする請求項１０記載の画像記録方法。
12. 前記関連情報生成工程では、前記画像データに基づいて立体視用の画像を出力する際に使用する画像の組み合わせに関する画像組み合わせ情報を生成し、
    前記記録用画像ファイル生成工程では、前記画像組み合わせ情報を前記関連情報格納領域に格納することを特徴とする請求項１１記載の画像記録方法。
13. 前記関連情報に基づいて前記画像データのうち少なくとも２つを選択する画像選択工程と、
    前記選択された画像データを立体視可能な形式に変換して立体画像出力手段に出力する工程と、
    を更に備えることを特徴とする請求項１２記載の画像記録方法。
14. 前記関連情報生成工程では、前記選択された画像データが前記立体画像出力手段に出力された場合に、前記選択された画像データが出力されて参照された履歴を示す参照履歴情報を生成し、
    前記記録用画像ファイル生成工程では、前記参照履歴情報を前記関連情報格納領域に格納することを特徴とする請求項１３記載の画像記録方法。
15. 前記関連情報生成工程では、前記複数の画像データに基づいて、前記複数の画像データの撮影時における被写体までの距離を示す距離データを生成し、
    前記記録用画像ファイル生成工程では、前記距離データを前記関連情報格納領域に格納することを特徴とする１１から１４のいずれか１項記載の画像記録方法。
16. 前記距離データは、前記複数の画像データに基づいて生成される距離ヒストグラムデータ又は距離画像データであることを特徴とする請求項１５記載の画像記録方法。
17. 前記第１及び第２の画像データを編集するための編集工程を更に備え、
    前記関連情報生成工程では、前記第１又は第２の画像データが編集された場合に、前記第１又は第２の画像データに対する編集内容を示す編集履歴情報を生成し、
    前記記録用画像ファイル生成工程では、前記編集履歴情報を前記関連情報格納領域に格納することを特徴とする請求項１０から１６のいずれか１項記載の画像記録方法。
18. 前記第１及び第２の画像データ及び関連情報データの改ざんを検出するための改ざん検出用データを生成する改ざん検出用データ生成工程を更に備え、
    前記記録用画像ファイル生成工程では、前記改ざん検出用データを前記関連情報格納領域に格納することを特徴とする請求項１０から１７のいずれか１項記載の画像記録方法。

Images