JP2005311985A - 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法 - Google Patents

Abstract

【課題】３Ｄ非対応の機器又はソフトウェアによって立体画像が加工・編集された場合でも、以後の立体画像の加工・編集・再生を適正に実施可能にする。
【解決手段】 同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像データ生成手段５，１０，３４と、前記ステレオ画像データに関する付随データを生成する付随データ生成手段５０ａと、前記ステレオ画像データの画像サイズに関する情報を生成するステレオ画像サイズ情報生成手段５０ｃと、前記ステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記ステレオ画像サイズ情報生成手段で生成された画像サイズに関する情報を前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段５０ｃと、を有する。
【選択図】 図１

Description

本発明は、ステレオ画像の撮像及び編集等に好適な画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法に関する。

画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、旧くから今日に至るまで利用されている。

この２眼式ステレオ方式において、いわゆるパーソナルユースに対しては、同時には１人しか観察できないという制約はあるものの、最も基本的かつ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日、なお広く使用されている。

そして、ステレオアダプタを用いたステレオ撮像装置としては、例えば、特許文献１に開示されたものがある。特許文献１では、システムコントローラに、ステレオアダプタの装着を検出するステレオアダプタ検出部、測光エリアに関する被写体画像信号を解析して露出制御に必要な測光情報を算出するための自動露出（ＡＥ）制御部、及び上述の測光エリアの設定を行う測光エリア設定部を設けて、測光エリア設定部が、通常撮影モード時とステレオ撮影モードとでそれぞれ異なる測光エリアを設定する機能を有しており、通常撮影モード及びステレオ撮影モードそれぞれに最適な測光エリアを設定する技術を開示している。

このように、２眼式ステレオ方式では、１枚の画枠の中の左右に、視差に応じて相互にずれた同一被写体の２つの画像（以下、モノキュラ画像という）を映し出す方法を採用する。即ち、２眼式ステレオ方式では、左右にモノキュラ画像が配置された１枚の画像（以下、統合画像という）から立体感を得るために、統合画像中の左右のモノキュラ画像を夫々右目又は左目で観察する。左右の目で観察した２つの画像を、１つの画像として融合させることによって、立体感を有する画像を認識することができる。この認識上の画像（以下、融合画像という）は、左右のモノキュラ画像の各部のずれ量に応じて、各部に遠近感を生じさせる。

ところで、電子カメラで扱う画像データとしては、Ｅｘｉｆ規格のデータ形式のものが普及している。Ｅｘｉｆ規格は、ＪＰＥＧ規格のファイル（ＪＰＥＧファイル）形式に従ったものである。即ち、画像データそのものについてはＪＰＥＧ規格の画像データとして扱い、ＪＰＥＧファイルのヘッダ部に、Ｅｘｉｆデータ（メタデータ）を配置したものである。Ｅｘｉｆ規格のメタデータは、ＴＩＦＦ形式で記述され、撮影日付やサムネイル等の情報を含む。

このメタデータ中に、ステレオ画像に関する情報を記述することができる。例えば、ステレオアダプタを用いて撮像された左右のモノキュラ画像は、実際には境界部にケラレが生じていたり、或いは結像位置にずれが生じていたりする。このケラレ及び位置ずれ等を補正すべく、左右の各領域中の所定部分をトリミングして有効なモノキュラ画像の範囲（以下、画枠という）を設定する。画枠の範囲は、立体画像の奥行き感に影響を与えることから、立体画像の加工・編集を行う場合には、画枠を適切に設定する必要がある。メタデータ中に、トリミングに関する情報等を記述することで画枠を適切に設定して、融合画像に適正な奥行き感を与えることが可能となる。
特開２００２−２１８５０６号公報

ところで、画像の加工・編集ソフトウェアを用いて、立体画像の加工・編集を行うことが考えられる。この場合において、立体画像に対応した加工・編集ソフトウェア（以下、３Ｄ対応ソフトという）を用いて加工・編集が行われるとは限らず、立体画像に非対応の加工・編集ソフトウェア（以下、３Ｄ非対応ソフトという）を用いて加工・編集が行われることも考えられる。

一般的な加工・編集ソフトウェアにおいては、Ｅｘｉｆ規格に対応している。このため、３Ｄ非対応ソフトにおいて、立体画像の加工・編集を行った場合でも、メタデータ部分を破壊することなく、画像データの処理が可能である。しかし、３Ｄ非対応ソフトにおいては、立体画像に関するメタデータ部分を編集することはできない。

従って、３Ｄ非対応ソフトにおいて画像データの加工・編集を行った場合には、立体画像の加工・編集が行われているにも拘わらず、対応するメタデータは編集されずに元のままとなる。即ち、この場合には、立体画像とメタデータの相関関係にずれが生じるという問題があった。

図９はこの場合の問題点を説明するための説明図である。図９（ａ）乃至（ｄ）は、統合画像を３Ｄ対応ソフトによってトリミングする場合を示し、図９（ｅ）乃至（ｈ）は統合画像を３Ｄ非対応ソフトによってトリミングした後、３Ｄ対応ソフトによってトリミングする例を示している。

図９（ａ），（ｅ）は、同一被写体（人物）の各モノキュラ画像を左右に配列した統合画像を示している。この統合画像に対して、上述したように、ケラレや位置ずれ補正のために、融合画像に用いる有効な画枠を設定するトリミングを行うものとする。Ｅｘｉｆ規格では、適正なトリミング位置についての情報が予めメタデータ内に記述されている。

３Ｄ対応ソフトにおいては、このメタデータを用いることによって、自動的に最適トリミング位置でのトリミングが可能である。図９（ｂ）は破線によって最適トリミング位置を示している。図９（ｃ）は３Ｄ対応ソフトによる切り出し画像を示している。３Ｄソフトによる切り出しに際して、メタデータは切り出し後の画像に対応して自動的に修正される。即ち、最適トリミング位置や、画像の奥行き感の最大値を決定する最大飛び出し量等の情報も更新される。

ここで、更に３Ｄ対応ソフトによって、画像の切り出しを行うものとする。この場合には、最適トリミング位置が図９（ｃ）の画像に対応して更新されており、３Ｄソフトによる切り出し画像は図９（ｄ）に示すものとなる。

一方、３Ｄ非対応ソフトによって図９（ｅ）に示す統合画像をトリミングするものとする。この場合には、一般的には、図９（ｆ）の一点鎖線に示すトリミング位置での切り出しが行われることが考えられる。図９（ｇ）は３Ｄ非対応ソフトによる切り出し画像を示している。この場合には、メタデータの修正は行われない。

ここで、３Ｄ対応ソフトによって、図９（ｇ）の画像から切出しを行うものとする。この場合には、３Ｄ対応ソフトは、メタデータを参照して自動的なトリミングを行う。即ち、図９（ｈ）に示すように、メタデータに設定されている最適トリミング位置（破線）で切り出しを行う。即ち、この場合には、被写体が切り出し範囲からはみ出しており、切り出し後の画像から適切な統合画像は得られない。

また、図９（ｈ）の破線のトリミング位置で切り出した画像を再生出力すると、その融合画像の奥行き感は極めて大きく、設定されている最大飛び出し量を超えてしまうという問題もあった。

本発明は立体画像非対応の加工・編集機又はソフトウェアによって立体画像が処理された場合でも、融合画像の適正な認識を可能にすることができる画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法を提供することを目的とする。

本発明の請求項１に係る画像処理装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像データ生成手段と、前記ステレオ画像データに関する付随データを生成する付随データ生成手段と、前記ステレオ画像データの画像サイズに関する情報を生成するステレオ画像サイズ情報生成手段と、前記ステレオ画像データ生成手段で生成されたステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記ステレオ画像サイズ情報生成手段で生成された画像サイズに関する情報を前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、有するものであり、
本発明の請求項２に係る画像加工・編集装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記ステレオ画像データの画像サイズに関する情報をさらに前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して生成された画像ファイル内のステレオ画像データに基づいて画像加工・編集を行う画像加工・編集手段と、前記画像加工・編集が行われる前の前記付随データに対して、画像加工・編集の内容に基づいてこの付随データを更新する付随データ更新手段と、前記付随データの内外にそれぞれ付加された前記画像加工・編集が行われる前の前記ステレオ画像データの画像サイズに関する情報に対して、画像加工・編集の内容に基づいてそれぞれの画像サイズに関する情報を更新するステレオ画像サイズ情報更新手段と、前記画像加工・編集手段で画像加工・編集されたステレオ画像データと、前記付随データ更新手段にて更新された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記ステレオ画像サイズ情報更新手段で更新された画像サイズに関するデータを付随データの内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、有するものであり、
本発明の請求項３に係る画像ファイル再生装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記ステレオ画像データの画像サイズに関する情報をさらに前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して生成された画像ファイルを再生する再生手段と、前記再生手段によって再生された前記付随データ内の画像サイズに関する情報と前記付随データ外の画像サイズに関する情報との一致を判定する判定手段と、前記判定手段によって不一致と判定された場合には、前記再生手段による再生動作の継続を禁止する制御手段と、を有するものである。

本発明の請求項１において、付随データ生成手段は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像の画像データに関する付随データを生成する。ステレオ画像サイズ情報生成手段は、ステレオ画像の画像サイズの情報を設定する。画像ファイル生成手段は、画像データと付随データとを合成し、付随データの内外にステレオ画像の画像サイズの情報を付加して、所定のファイルフォーマットに変換して画像ファイルを生成する。

本発明の請求項２において、画像加工・編集手段は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像の画像データを与えられ、この画像データを加工・編集する。加工・編集前の画像データに関する付随データは、付随データ更新手段において、加工・編集後の画像データに基づいて更新される。また、ステレオ画像サイズ情報更新手段によって、加工・編集後のステレオ画像の画像サイズの情報が設定される。画像データ、付随データ、付随データ内外に配置されるステレオ画像の画像サイズの情報によって、所定のファイルフォーマットの画像ファイルが生成される。

本発明の請求項３において、判定手段は、付随データ内外のステレオ画像の画像サイズの情報に基づいて、画像データと付随データとの相関の有無を判定する。再生手段は、画像ファイルから分離された画像データに対して、付随データを利用した所定の再生処理を実施する。この場合には、判定手段によって画像データと付随データとの相関がないものと判定された場合には、再生手段による再生動作の継続が禁止される。

なお、装置に係る本発明は方法に係る発明としても成立する。

本発明によれば、立体画像非対応の加工・編集機又はソフトウェアによって立体画像が処理された場合でも、融合画像の適正な認識を可能にすることができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る画像処理装置が組込まれた電子カメラを示すブロック図である。本実施の形態は画像ファイルの記録装置に適用したものである。

（第１の実施形態）
図１において、電子カメラは、カメラ本体１と、レンズ鏡筒を有するレンズユニット５と、ステレオ画像撮影用のステレオアダプタ１０とによって構成されている。電子カメラは、レンズユニット５にミラー式のステレオアダプタ１０が着脱自在に取り付けられている。ステレオアダプタ１０は、視差程度離れた位置にミラー１１、１２がそれぞれ配置され、更にこれらのミラー１１、１２によって反射された光をカメラ側に導くためのミラー１３、１４が配置された構成となっている。

ステレオアダプタ１０内のミラー１１、１３及びミラー１２、１４を通過した光は、それぞれレンズユニット５内の撮影レンズ群２１を介して露出制御機構２２、更にはカメラ本体１内のハーフミラー３１に導かれる。

レンズユニット５は、撮影レンズ群２１と、露出制御機構２２と、レンズ駆動機構２３と、レンズドライバ２４と、露出制御ドライバ２５とを有して構成されている。

撮影レンズ群２１は、ステレオアダプタ１０が装着していない状態では通常の単眼視の撮像（モノキュラ撮像）が可能な主撮像光学系であり、レンズ駆動機構２３によって駆動されてフォーカシングやズーミングの調節が行われるようになっている。レンズ駆動機構２３は、レンズドライバ２４によって制御される。露出制御機構２２は、撮影レンズ群２１の絞り及びシャッタ装置（図示せず）を制御するようになっている。露出制御機構２２は、露出制御ドライバ２５によって制御される。

レンズユニット５からカメラ本体１に導かれた光は、ハーフミラー３１を通過して、ローパス及び赤外カット用のフィルタ系３２を介してＣＣＤカラー撮像素子３４に導かれて結像されるようになっている。ＣＣＤカラー撮像素子３４は、ＣＣＤドライバ３５によって駆動制御されて、被写体の光学像を電気信号に変換する。なお、ＣＣＤカラー撮像素子３４としては、例えば、縦型オーバフロードレイン構造のインターライン型で、プログレッシブ（順次）走査型のものが採用される。

ステレオアダプタ１０の左眼視用ミラー１１に入射された光は、ミラー１３及び撮影レンズ群２１を介してＣＣＤカラー撮像素子３４の図示しない撮像面の領域Ｌに結像される。同様に、右眼視用ミラー１２に入射された光は、ミラー１４及び撮影レンズ群２１を介してＣＣＤカラー撮像素子３４の図示しない撮像面の領域Ｒに結像されるようになっている。

ＣＣＤカラー撮像素子３４によって光電変換された信号は、Ａ／Ｄ変換器等を含むプリプロセス回路３６を介して、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行うためのデジタルプロセス回路３９に与えられる。このデジタルプロセス回路３９において、デジタル化された画像信号を処理することにより、カラー画像データが生成される。

デジタルプロセス回路３９には、ＬＣＤ表示部４０が接続されると共に、カードインターフェース（ＩＦ）４１を介してＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ Ｍｅｍｏｒｙ Ｃａｒｄ）やスマートメディア等のメモリカード４２が接続される。ＬＣＤ表示部４０はカラー画像データに基づく表示を行うものであり、メモリカード４２はカラー画像データを格納するものである。

なお、メモリカード４２は、外部のパーソナルコンピュータ６０に装填が可能である。そして、メモリカード４２に記録された画像は、パーソナルコンピュータ６０上で表示、画像処理等が可能である。更に、メモリカード４２に記録された画像を、図示しないプリンタによってプリントアウトすることも可能である。

ハーフミラー３１は、入射される被写体像が一部反射されるように構成されているもので、反射光をＡＦセンサモジュール４５に導くようになっている。ＡＦセンサモジュール４５は、撮影レンズ群２１を通って入射された光線に基づいて焦点検出を行うためのものである。ＡＦセンサモジュール４５は、瞳分割用のセパレータレンズ４６と、ラインセンサで構成されるＡＦセンサ４７を有して構成されている。

ＣＰＵ等によって構成されるシステムコントローラ５０は、カメラ本体１及びレンズユニット５内の各部を統括的に制御するためのものである。システムコントローラ５０には、上述したレンズドライバ２４と、露出制御ドライバ２５と、ＣＣＤドライバ３５と、プリプロセス回路３６と、デジタルプロセス回路３９と、ＡＦセンサモジュール４５の他、操作スイッチ部５２と、操作表示部５３と、不揮発性メモリ（ＥＥＰＲＯＭ）５１と、ステレオ切り替えスイッチ（ＳＷ）５４とが接続されている。

操作スイッチ部５２は、レリーズスイッチや撮影モード設定等の各種スイッチから構成される。操作表示部５３は、カメラの操作状態及びモード状態等を表示するための表示部である。

ＥＥＰＲＯＭ５１は、各種設定情報等を記憶するためのメモリである。そして、ステレオ切り替えスイッチ５４は、ステレオアダプタ１０がレンズユニット５に装着される際にモードを切り替えるための切り替えスイッチである。なお、ここでは、撮影モード切り替え換えはステレオ切り替えスイッチ５４を操作して行うようにしているが、これに限られるものではない。例えば、ステレオアダプタ１０内に検出機能を設けて自動的に撮影モードの切り替えが行われるようにしてもよい。

システムコントローラ５０は、露出制御機構２２とＣＣＤドライバ３５によるＣＣＤカラー撮像素子３４の駆動を制御して、露光（電荷蓄積）及び信号の読み出しを行う。システムコントローラ５０は、ＣＣＤ３４の出力をプリプロセス回路３６を介してデジタルプロセス回路３９に与えて各種信号処理を施し、カードインターフェース４１を介してメモリカード４２に記録させるようになっている。

ストロボ５７は、閃光を発光するもので、レンズユニット５内の露出制御ドライバ２５を介して、システムコントローラ５０によって制御されるようになっている。

システムコントローラ５０は、更に、露出制御部５０ｄ及び測光エリア設定部５０ｅを有している。露出制御部５０ｄは、測光エリアに関する被写体画像信号を解析して露出制御に必要な露光情報を算出するためのものである。また、測光エリア設定部５０ｅは、露出制御部５０ｄに対して、測光エリアの設定を行うようになっている。

本実施の形態においては、システムコントローラ５０は、更に、メタデータ生成部５０ａ、ステレオ画像生成部５０ｂ及び画像ファイル生成部５０ｃを有している。

付随データ生成手段としてのメタデータ生成部５０ａは、撮影画像に関する各種の付随データ（以下、メタデータという）を生成して画像ファイル生成部５０ｃに与える。例えば、メタデータ生成部５０ａは、撮影日時の情報や、撮影画像が立体画像である場合には、立体画像に関する各種情報（立体画像情報）を生成する。立体画像情報としては、例えば、トリミング情報である最適トリミング位置がある。最適トリミング位置の情報は、各モノキュラ画像の有効な画枠を示す情報であり、再生時に融合画像の認識に用いる領域を示している。また、立体画像情報としては、立体画像の奥行き感の最大値を規定する最大飛び出し量の情報もある。

ステレオ画像生成部５０ｂは、入力された複数のモノキュラ画像に基づいてステレオ画像を生成するようになっている。例えば、ＣＣＤ３４の撮像面に複数のモノキュラ画像が配置された１枚の画像が結像した場合には、ステレオ画像生成部５０ｂは、入力された画像をそのまま用いてステレオ画像を生成する。また、複数のモノキュラ画像が例えば別々に撮像されて入力された場合には、ステレオ画像生成部５０ｂは入力された各モノキュラ画像に基づいてステレオ画像を生成する。

画像ファイル生成部５０ｃは、ステレオ画像生成部５０ｂが生成したステレオ画像を、所定フォーマットの電子画像ファイルに変換して出力することができるようになっている。画像ファイル生成部５０ｃは、ステレオ画像が統合画像である場合には、１枚の統合画像を例えばＪＰＥＧ規格又はＴＩＦＦ規格の画像フォーマットに変換して１画像ファイルとする。また、画像ファイル生成部５０ｃは、ステレオ画像が複数のモノキュラ画像によって構成される場合には、例えば各モノキュラ画像をＴＩＦＦ形式の各ページに割り当てて、１画像ファイルを構成する。

この場合には、画像ファイル生成部５０ｃは、ステレオ画像を必要に応じて圧縮処理し、付随データ（メタデータ）を付加した所定フォーマットのデジタル画像ファイルに変換する。

図２は図１中の画像ファイル生成部５０ｃの具体的な構成を示すブロック図である。また、図３は画像ファイル生成部５０ｃによって生成される画像ファイルの一例を示す説明図である。

画像ファイル生成部５０ｃの圧縮部７１にはステレオ画像の画像データが入力される。圧縮部７１は、ステレオ画像の画像データに所定の圧縮処理を施してデータ合成部７２に出力する。データ合成部７２には、メタデータも入力され、データ合成部７２は画像データとメタデータとを合成する。

本実施の形態においては、画像ファイル生成部５０ｃは、メタデータサイズ設定部７３及び画像ファイルサイズ設定部７４を備えている。メタデータサイズ設定部７３は、立体画像の画像サイズ（３Ｄ画像サイズ）（画素数）の情報をデータ合成部７２に出力することができるようになっている。また、画像ファイルサイズ設定部７４は、画像データに基づく画像の画像サイズ（画素数）の情報をデータ合成部７２に出力することができるようになっている。なお、メタデータサイズ設定部７３及び画像ファイルサイズ設定部７４は、同一の画像データに基づく画像の画像サイズの情報を設定するものであり、従って、画像データが立体画像についてのデータである場合には、これらの設定部７３，７４の出力は、相互に同一の画像サイズの情報となる。

データ合成部７２は、入力された各データを合成してフォーマット部７５に与える。フォーマット部７５は、入力された各データを所定の画像フォーマットに従って配列して、１画像ファイルとして出力するようになっている。

図３に示すように、画像ファイルは、ヘッダ部と画像データ部とを有している。画像データ部には、圧縮部７１によって圧縮された画像データが配置される。ヘッダ部には、画像ファイルのファイル名、画像サイズの情報が配置されると共にメタデータも配置される。画像サイズの情報は、画像ファイルサイズ設定部７４により設定されたものである。

メタデータは、メタデータ識別情報、画像の撮影日時の情報及び立体画像に関する情報を含む。なお、撮影日時の情報は、メタデータ生成部５０ａによって生成され、データ合成部７２に入力されるメタデータに含まれている情報である。

立体画像情報は、画像データ部に配置された画像データが立体画像である場合において、その立体画像に関する種々の情報を含んでいる。最適トリミング位置の情報及び最大飛び出し量の情報は、メタデータ生成部５０ａによって生成され、データ合成部７２に入力されるメタデータに含まれている。３Ｄ画像サイズの情報は、メタデータサイズ設定部７３によって設定された情報であり、画像データに基づく立体画像の画像サイズを示す。ここでは、上述のように、メタデータとして記録される３Ｄ画像サイズの情報と、画像ファイルのヘッダ部に記録される画像サイズの情報は同一の内容となる。

なお、図３のファイルフォーマットは画像ファイルの一例であり、図３では３Ｄ画像サイズを立体画像情報の一部として配置する例を説明したが、メタデータ内の他の領域に配置するようにしてもよい。

また、本実施の形態においては、コントローラ５０は、３Ｄ対応であるものとして説明したが、仮に、コントローラ５０が３Ｄ非対応である場合には、メタデータ領域中の立体画像情報の記述領域には、例えば、所定の初期値が設定されるか又は何らの情報も記述されない。

次に、このように構成された実施の形態の作用について図４を参照して説明する。図４は画像ファイル生成部５０ｃの動作フローを示すフローチャートである。

いま、ステレオ切り替えスイッチ５４によって、ステレオ撮影モードが指示されているものとする。ステレオアダプタ１０を介して入射した被写体光学像は、撮影レンズ群２１、露出制御機構２２、ハーフミラー３１及びフィルタ系３２を介してＣＣＤカラー撮像素子３４の撮像面に結像する。ＣＣＤカラー撮像素子３４は、左右のモノキュラ画像Ｌ，Ｒを含む１枚の画像のデータを出力する。ＣＣＤカラー撮像素子３４からの画像信号はプリプロセス回路３６を介してコントローラ５０に入力される。

ステレオ画像生成部５０ｂは入力された画像信号に基づいて、左右にモノキュラ画像を配置した統合画像を生成する。メタデータ生成部５０ａは、生成された統合画像に関する撮影日時の情報や、立体画像情報を生成する。

画像ファイル生成部５０ｃは、図４のステップＳ1 において、生成された統合画像（ステレオ画像）に対して所定の圧縮処理を施す。次のステップＳ2 において、画像ファイル生成部５０ｃ中のメタデータサイズ設定部７３は、画像データ部に格納される立体画像の画像サイズの情報（３Ｄ画像サイズ）を生成する。ステップＳ3 では、画像ファイル生成部５０ｃ中の画像ファイルサイズ設定部７４は、画像データ部に格納される画像の画像サイズの情報を生成する。即ち、この場合には、メタデータサイズ設定部７３が設定する３Ｄ画像サイズと画像ファイルサイズ設定部７４が設定する画像サイズとは、同一の値となる。

画像ファイル生成部５０ｃは、データ合成部７２によって、ステレオ画像、メタデータ、３Ｄ画像サイズ及び画像サイズの情報を合成し（ステップＳ4 ）、フォーマット部７５によって、図３に示すデータフォーマットの画像ファイルを生成する（ステップＳ5 ）。

画像ファイル生成部５０ｃによって生成された画像ファイルは、デジタルプロセス回路３９に与えられる。デジタルプロセス回路３９は、入力された電子画像ファイルに基づいて、統合画像をＬＣＤ４０の表示画面に表示させることができる。また、デジタルプロセス回路３９は、入力された電子画像ファイルをカードＩＦ４１を介してメモリカード４２に与えて、記録させることもできる。

このように、本実施の形態においては、画像ファイル生成部によって生成される画像ファイルには、画像ファイル中の画像データに基づく画像の画像サイズの情報の他に、同一画像についての３Ｄ画像サイズが、メタデータ中に配置される。立体画像の画像サイズの情報が、画像ファイル中のヘッダ部の画像サイズの情報とは別個に配置されており、これらの情報を別々に管理することができる。３Ｄ非対応機器又はソフトウェアによって、画像ファイルが作成（更新）される場合には、立体画像情報に関するメタデータの３Ｄ画像サイズは、生成又は更新されないことから、これらの画像サイズの情報を比較することで、画像ファイルが３Ｄ非対応機器又はソフトウェアによって作成（更新）されたか否かを判定することができる。

また、上記実施の形態においては、画像ファイル生成部を備えた画像処理装置によって画像ファイルを生成する例について説明したが、画像ファイル生成部を同様の機能を呈するソフトウェアによっても実現可能であることは明らかである。即ち、図４のフローチャートと同様の機能を呈するプログラムを実行可能なコンピュータを用いることで、図２と同様の画像ファイルを生成することができる。

なお、画像ファイル生成部５０ｃがソフトウェアによって構成される場合には、例えば画像ファイルサイズ設定部７４は、コンピュータのオペレーションシステム等によって構成され、画像ファイル中の画像サイズはファイルの作成（更新）時に自動的に記述されることが一般的である。

なお、第１の実施の形態においては、電子カメラに適用した例を説明したが、電子カメラによって撮像された画像を処理する単独の画像処理装置にも適用することができ、また、撮像画像を処理するパーソナルコンピュータ等のプログラムによって、同様の機能を達成することも可能である。

また、上記実施の形態においては、左右にモノキュラ画像が配置された１枚の画像をカメラによって取得し、この画像に基づくステレオ画像を生成する例について説明したが、例えば２台のカメラで別々に撮影して得られた各モノキュラ画像が別々に入力され、これらの各モノキュラ画像から１枚のステレオ画像を生成するものに適用することができることは明らかである。

（第２の実施の形態）
図５は本発明の第２の実施の形態に係る画像加工・編集装置を示すブロック図であり、図６は画像ファイル生成の処理フローを示すフローチャートである。本実施の形態は画像ファイルの編集装置に適用したものである。なお、本実施の形態においても、図５の装置と同様の機能を有するソフトウェアによって実現可能である。

デコード部８１には、図３のデータフォーマットを有する画像ファイルが入力される。デコード部８１は、入力された画像ファイルをデコードして、画像ファイル中に含まれる各種データを取り出す。デコード部８１は、画像ファイル中の画像データについては、画像伸張部８２に与え、メタデータについてはメタデータ処理部８４に与える。

画像伸張部８２は、入力された画像データを伸張して、圧縮前の画像データを得る。この画像データは画像加工・編集部８３に与えられる。

画像加工・編集部８３は、ユーザの加工・編集操作に応じて、入力された画像データに対して加工・編集を施し（ステップＳ11）、加工・編集後の画像データを画像ファイル生成部８６に出力する。なお、画像加工・編集部８３は、加工・編集する画像データについてのメタデータを参照して、加工・編集処理に利用することができる。

メタデータ処理部８４は、画像加工・編集部８３の加工・編集処理に基づいて、メタデータを更新する。例えば、メタデータ処理部８４は、画像加工・編集部８３の加工・編集処理が、立体画像に対するトリミング処理であった場合には、このトリミング処理に対応させて最適な切り出し範囲を示す最適トリミング位置の情報及び最大飛び出し量の情報等を更新する。

画像ファイル生成部８６は、画像加工・編集部８３からの画像データとメタデータ処理部８４からのメタデータとを合成し、図３のファイルフォーマットの画像ファイルを生成する。画像ファイル生成部８６中のサイズ更新部８７は、図２のメタデータサイズ設定部７３及び画像ファイルサイズ設定部７４と同様の機能を有しており、画像加工・編集部８３による加工・編集後の画像の画像サイズの情報を生成する（ステップＳ12）。画像ファイル生成部８６は、ファイルフォーマット中の画像ファイル中の画像サイズの情報（図３参照）を、サイズ更新部８７で生成された情報に書き換える。更に、画像ファイル生成部８６は、ファイルフォーマット中のメタデータ内の３Ｄ画像サイズの情報（図３参照）を、サイズ更新部８７で生成された情報に書き換える（ステップＳ13）。こうして、画像ファイル生成部８６は、画像ファイル中の画像サイズ及びメタデータ中の３Ｄ画像サイズを同一の情報に変更した画像ファイルを生成・出力する（ステップＳ14）。

このように本実施の形態においては、画像の加工・編集に伴って、メタデータを更新すると共に、加工・編集に伴って変更された画像サイズの情報を、画像ファイル中の画像サイズ及びメタデータ中の３Ｄ画像サイズに書き込む。これにより、本実施の形態に係る編集装置を用いて画像の加工・編集を行う限り、画像ファイル中の画像サイズと、メタデータ中の３Ｄ画像サイズの情報は一致することになる。

（第３の実施の形態）
図７は本発明の第３の実施の形態に係る画像ファイル再生装置を示すブロック図であり、図８は画像ファイルの処理フローを示すフローチャートである。本実施の形態は画像ファイルの再生装置に適用したものである。なお、本実施の形態においても、図７の装置と同様の機能をするソフトウェアによって実現可能である。

デコード部９１には、図３のファイルフォーマットを有する画像ファイルが入力される。デコード部９１は、入力された画像ファイルをデコードして、画像ファイル中に含まれる各種データを取り出す。デコード部９１は、画像ファイル中の画像データについては、画像伸張部９２に与え、メタデータについては切換部９６、メタデータ無効化部９５及びサイズ判定部９４に与える。

画像伸張部９２は、入力された画像データを伸張して、圧縮前の画像データを得る。この画像データは再生処理部９３に与えられる。

サイズ判定部９４は、画像ファイル中の画像サイズ（図３参照）の情報及びメタデータ中の３Ｄ画像サイズの情報を取得する（ステップＳ21）。サイズ判定部９４は取得した画像ファイル中の画像サイズとメタデータ中の３Ｄ画像サイズとの一致，不一致を判定する（ステップＳ22）。サイズ判定部９４は判定結果を切換部９６及び警告部９７に出力する。

メタデータ無効化部９５は、入力されたメタデータを無効化する（ステップＳ24）。例えば、メタデータ無効化部９５は、立体画像に関するメタデータについては、そのパラメータを削除するか又は初期値に設定することで無効化を行う。

切換部９６はサイズ判定部９４の判定結果に基づいて、デコード部９１からのメタデータか又はメタデータ無効化部９５からのメタデータの一方を選択的に再生処理部９３に与える。例えば、切換部９６は画像サイズが一致していることを示す判定結果が与えられた場合には、デコード部９１からのメタデータを再生処理部９３に与え、画像サイズが不一致であることを示す判定結果が与えられた場合には、再生処理を禁止する（ステップＳ24）。

再生処理部９３は切換部９６からのメタデータを用いて画像データに所定の再生処理を施す（ステップＳ25）。また、再生処理部９３は、サイズ判定部９４から画像サイズが不一致であることを示す判定結果が与えられた場合には、メタデータ無効化部９５によって設定されたメタデータ情報を再生処理部９３に与えてもよい。

警告部９７は、サイズ判定部９４からの判定結果によって画像サイズが不一致であることが示された場合には、例えば警告表示等によって、例えばユーザに警告を発するようになっている。

このように、本実施の形態においては、ファイルヘッダとメタデータ中に夫々画像サイズが独立に記述された画像ファイルに対して、両画像サイズが不一致である場合には、画像データとメタデータとの相関がないものとして再生処理を禁止し、或いは無効化されたメタデータを用いた再生処理を実施する。これにより、３Ｄ非対応の機器又はソフトウェアによって画像が加工・編集された場合等において、画像データと相関がとれていないメタデータを用いて再生処理が行われることを防止することができる。

なお、上記各実施の形態においては、ステレオ方式として、左右両眼に対応する２眼式として説明したが、３眼以上の一般の多眼式ステレオ方式に対しても同様に適用可能であることはもちろんである。

更に、本発明を動画に適用することができることも明らかである。

本発明の第１の実施の形態に係る画像処理装置が組込まれた電子カメラを示すブロック図。 図１中の画像ファイル生成部５０ｃの具体的な構成を示すブロック図。 画像ファイル生成部５０ｃによって生成される画像ファイルの一例を示す説明図。 画像ファイル生成部５０ｃの動作フローを示すフローチャート。 図５は本発明の第２の実施の形態に係る画像加工・編集装置を示すブロック図。 画像ファイル生成の処理フローを示すフローチャート。 本発明の第３の実施の形態に係る画像ファイル再生装置を示すブロック図。 画像ファイルの処理フローを示すフローチャート。 背景技術の問題点を説明するための説明図。

符号の説明

１…カメラ本体、５…レンズユニット、１０…ステレオアダプタ、１１、１２、１３、１４…ミラー、２１…撮影レンズ群、２２…露出制御機構、２５…露出制御ドライバ、３１…ハーフミラー、３２…フィルタ、３４…ＣＣＤカラー撮像素子、３５…ＣＣＤドライバ、３６…プリプロセス回路、３９…デジタルプロセス回路、４０…ＬＣＤ表示部、４１…カードインターフェース（ＩＦ）、４２…メモリカード、４５…ＡＦセンサモジュール、４６…セパレータレンズ、４７…ＡＦセンサ、５０…システムコントローラ（ＣＰＵ）、５０ａ…メタデータ生成部、５０ｂ…ステレオ画像生成部、５０ｃ…画像ファイル生成部、５０ｄ…露出制御部、５０ｅ…測光エリア設定部、５１…不揮発性メモリ（ＥＥＰＲＯＭ）、５２…操作スイッチ（ＳＷ）、５３…操作表示部、５４…ステレオ切り替えスイッチ、６０…パーソナルコンピュータ。
代理人 弁理士 伊 藤 進

Claims (8)

1. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像データ生成手段と、
   前記ステレオ画像データに関する付随データを生成する付随データ生成手段と、
   前記ステレオ画像データの画像サイズに関する情報を生成するステレオ画像サイズ情報生成手段と、
   前記ステレオ画像データ生成手段で生成されたステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記ステレオ画像サイズ情報生成手段で生成された画像サイズに関する情報を前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、
   を有する画像処理装置。
2. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記ステレオ画像データの画像サイズに関する情報をさらに前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して生成された画像ファイル内のステレオ画像データに基づいて画像加工・編集を行う画像加工・編集手段と、
   前記画像加工・編集が行われる前の前記付随データに対して、画像加工・編集の内容に基づいてこの付随データを更新する付随データ更新手段と、
   前記付随データの内外にそれぞれ付加された前記画像加工・編集が行われる前の前記ステレオ画像データの画像サイズに関する情報に対して、画像加工・編集の内容に基づいてそれぞれの画像サイズに関する情報を更新するステレオ画像サイズ情報更新手段と、
   前記画像加工・編集手段で画像加工・編集されたステレオ画像データと、前記付随データ更新手段にて更新された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記ステレオ画像サイズ情報更新手段で更新された画像サイズに関するデータを付随データの内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、
   を有する画像加工・編集装置。
3. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記ステレオ画像データの画像サイズに関する情報をさらに前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して生成された画像ファイルを再生する再生手段と、
   前記再生手段によって再生された前記付随データ内の画像サイズに関する情報と前記付随データ外の画像サイズに関する情報との一致を判定する判定手段と、
   前記判定手段によって不一致と判定された場合には、前記再生手段による再生動作の継続を禁止する制御手段と、
   を有する画像ファイル再生装置。
4. 前記判定手段によって不一致と判定された場合には、前記再生動作の継続の禁止に代えて、付随データを無効化するよう制御する制御手段と、
   を有する請求項５に記載の画像ファイル再生装置。
5. 前記判定手段によって不一致と判定された場合には、警告を行う警告手段を更に有する
   請求項３又は４のいずれか一方に記載の画像ファイル再生装置。
6. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像生成ステップと、
   前記ステレオ画像データに関する付随データを生成する付随データ生成ステップと、
   前記ステレオ画像データの画像サイズに関する情報を生成するステレオ画像サイズ情報生成ステップと、
   前記ステレオ画像データ生成ステップで生成されたステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成ステップであって、前記ステレオ画像サイズ情報生成手段で生成された画像サイズに関する情報を前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成ステップと、
   を有する画像処理方法。
7. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記ステレオ画像データの画像サイズに関する情報をさらに前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して生成された画像ファイル内のステレオ画像データに基づいて画像加工・編集を行う画像加工・編集ステップと、
   前記画像加工・編集が行われる前の前記付随データに対して、画像加工・編集の内容に基づいてこの付随データを更新する付随データ更新ステップと、
   前記付随データの内外にそれぞれ付加された前記画像加工・編集が行われる前の前記ステレオ画像データの画像サイズに関する情報に対して、画像加工・編集の内容に基づいてそれぞれの画像サイズに関する情報を更新するステレオ画像サイズ情報更新ステップと、
   前記画像加工・編集手段で画像加工・編集されたステレオ画像データと、前記付随データ更新手段にて更新された付随データとを合成して画像ファイルを生成する画像ファイル生成ステップであって、前記ステレオ画像サイズ情報更新手段で更新された画像サイズに関するデータを付随データの内外にそれぞれ付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成ステップと、
   を有する画像加工・編集方法。
8. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記ステレオ画像データの画像サイズに関する情報をさらに前記付随データ内外にそれぞれ付加して、所定のファイルフォーマットに変換して生成された画像ファイルを再生する再生ステップと、
   前記再生ステップによって再生された前記付随データ内の画像サイズに関する情報と前記付随データ外の画像サイズに関する情報との一致を判定する判定ステップと、
   前記判定ステップによって不一致と判定された場合には、前記再生動作の継続を禁止、付随データを無効化、警告の少なくとも１つを行うステップと、
   を有する画像ファイル再生方法。

Images