JP2005026800A - 画像処理方法、撮像装置、画像処理装置及び画像記録装置 - Google Patents
画像処理方法、撮像装置、画像処理装置及び画像記録装置 Download PDFInfo
- Publication number
- JP2005026800A JP2005026800A JP2003187485A JP2003187485A JP2005026800A JP 2005026800 A JP2005026800 A JP 2005026800A JP 2003187485 A JP2003187485 A JP 2003187485A JP 2003187485 A JP2003187485 A JP 2003187485A JP 2005026800 A JP2005026800 A JP 2005026800A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- information
- reference image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】立体視表示用の撮像画像データを汎用性・利便性の高い方法で記録する画像処理方法、及びこれを用いた撮像装置、画像処理装置、画像記録装置を提供する。
【解決手段】本発明に係る撮像装置３０によれば、立体視表示用の複数の撮像画像データを撮影し、その中から基準画像データ選定部１２により一つの基準画像データを選定し、差分画像データ生成部１３によりこの基準画像データと他の撮像画像データである視差画像データとの視差情報を抽出して差分画像データを生成し、添付処理部８により差分画像データを基準画像データに添付するとともに、ファイルのヘッダ領域に、差分画像データが添付されていることを示す添付識別情報及び撮影情報データを添付する。
【選択図】 図１
【解決手段】本発明に係る撮像装置３０によれば、立体視表示用の複数の撮像画像データを撮影し、その中から基準画像データ選定部１２により一つの基準画像データを選定し、差分画像データ生成部１３によりこの基準画像データと他の撮像画像データである視差画像データとの視差情報を抽出して差分画像データを生成し、添付処理部８により差分画像データを基準画像データに添付するとともに、ファイルのヘッダ領域に、差分画像データが添付されていることを示す添付識別情報及び撮影情報データを添付する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、立体視表示に用いる撮像画像データの画像処理方法、前記画像処理方法を用いた撮像装置、画像処理装置及び画像記録装置に関する。
【０００２】
【従来の技術】
平面に配置された画像により３次元（立体）画像表示を行う裸眼立体視（以下、立体視表示と称する）が知られている。立体視表示には様々な方式があるが、共通して視差を生じさせる為の２枚の画像を必要とする。
【０００３】
立体視表示のための２枚の画像は、同一の被写体を異なる視点から撮影したものであり、自然な遠近感をつけるために、視点間距離、すなわちレンズ間の距離は、人間の両目間の距離と等しい約６、７ｃｍに設定される。
【０００４】
ステレオペアと称される立体視表示では、上述した視差を生じさせる２枚の画像が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、平面上に並べて配置される。
【０００５】
平面に配置された立体視表示の画像の観察方法には、右に置かれた画像の一つを右目で観る並行法と、右に置かれた画像の一つを左目で観る交差法とがある。並行法は観察時、目に余計な力が不要で楽に観られる反面、大きな画像を観ることは出来ない。一方、交差法は、寄り目にして観るので目が疲れ易い反面、大きな画像を観ることが出来る。
【０００６】
近年、急激なデジタルカメラの普及に伴い、デジタルカメラで上述した立体視表示に用いる画像を撮影し、立体視表示を楽しむ機会も増えている。例えば、撮影光学系を１つしか持たない一般的なデジタルカメラにおいて、同一被写体に関し連続して２度の撮影を行い、２度目の撮影前に、撮影者の立ち位置を横にずらして立体視表示用の撮像画像データを撮影させる補助機能を備えたデジタルカメラが提案されている。
【０００７】
立体視表示用の画像を記録する際には、例えば、特許文献１〜３のように２つの画像の差分を利用する技術が提案されている。
【０００８】
また、立体視表示用の撮像画像データを、立体地図を作成する為の高度計測データや、医療現場における診断データ（例えばＸ線写真）を取得することに利用したり、昆虫標本の選別に用いたりするなど、立体視表示画像を用いた画像処理方法や新規な活用事例が数多く提案されつつある。
【０００９】
一方、デジタルカメラで撮影された撮像画像データは、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされたりするなど、その表示・プリント方法は多種多様化してきている。
【００１０】
また、撮像画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【００１１】
こうした多様の表示・プリント方法に対応して、撮像画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くの撮像画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ Ｍｅａｓｕｒｍｅｎｔ ａｎｄ Ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ ＲＧＢ Ｃｏｌｏｕｒ Ｓｐａｃｅ−ｓＲＧＢ」ＩＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【００１２】
一般的なデジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単に「ＣＣＤ」とも称す）を備えている。
【００１３】
デジタルカメラにより出力される撮像画像データは、ＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正（例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画像処理）が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【００１４】
このようなデータフォーマットとしては、例えばＥｘｉｆファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ Ｔｉｆｆ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、及びＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【００１５】
前記Ｅｘｉｆファイルは、前記ｓＲＧＢに準拠したものであり、前記撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【００１６】
例えば、どのようなデジタルカメラであっても、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」とも称す）で表示する事を示すタグ情報、や画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報を撮像画像データのファイルヘッダにメタデータとして書き込む機能、及びそのようなデータフォーマット形式を採用してさえいれば、前記撮像画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）はタグ情報を解析し、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処置を施すことが出来るため、異なるディスプレイ間の差異を低減したり、デジタルカメラで撮影された撮像画像データの最適な状態での鑑賞を可能にしている。
【００１７】
また前記付加情報としては、前記機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）が用いられており、画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１８】
【特許文献１】
特開平１０−２８２７４号公報
【特許文献２】
特開平６−３０４４５号公報
【特許文献３】
特開平７−３０９２４号公報
【００１９】
【発明が解決しようとする課題】
ところで、上述の如く、立体視表示がより身近なものとなり、活用の機会も増える一方、立体視表示用に撮影された撮像画像データの汎用性や利便性への対応が、立ち遅れているのが現状である。
【００２０】
例えば、複数の撮像画像データの中から立体視表示用の撮像画像データを自動検索したり、一連の写真プリント作成処理の流れの中で、通常の写真プリントと、立体視表示の写真プリントとを同時に処理したりすることができない。
【００２１】
また、立体視表示の画像のハードコピー作成に対応していない出力デバイスにおいて、一方の画像のみを用いて通常のハードコピーを作成するなどの処理を効率的に実行することができない。
【００２２】
本発明の課題は、立体視表示用の撮像画像データを汎用性・利便性の高い方法で記録する画像処理方法、及びこれを用いた撮像装置、画像処理装置、画像記録装置を提供することである。
【００２３】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データから、１つの撮像画像データを出力する画像処理方法において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する工程と、
前記選定された基準画像データと他の撮像画像データとの差分画像データを抽出する工程と、
前記抽出された差分画像データを前記基準画像データに添付する工程と、
前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する工程と、
を含むことを特徴としている。
【００２４】
請求項２に記載の発明は、請求項１に記載の発明において、
前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付する工程を含むことを特徴としている。
【００２５】
請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記撮像画像データが、シーン参照画像データであることを特徴としている。
【００２６】
請求項４に記載の発明は、
入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力する画像処理方法において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する工程と、
前記添付識別情報に基づいて、前記基準画像データと前記差分画像データを分離する工程と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する工程と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する工程と、
を含むことを特徴としている。
【００２７】
請求項５に記載の発明は、請求項４に記載の発明において、
前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴としている。
【００２８】
請求項６に記載の発明は、請求項４又は５に記載の発明において、
前記入力撮像画像データが、シーン参照画像データであり、前記基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する工程を含むことを特徴としている。
【００２９】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００３０】
請求項８に記載の発明は、
同一被写体を異なる視点から撮影して複数の撮像画像データを得る撮像装置において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する基準画像データ選定手段と、
前記選定された基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出する差分画像データ生成手段と、
前記抽出された差分画像データを前記基準画像データに添付し、更に前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する添付処理手段と、
を備えたことを特徴としている。
【００３１】
請求項９に記載の発明は、請求項８に記載の発明において、
前記添付処理手段は、前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付することを特徴としている。
【００３２】
請求項１０に記載の発明は、請求項８又は９に記載の発明において、
前記撮像画像データが、シーン参照画像データであることを特徴としている。
【００３３】
請求項１１に記載の発明は、請求項８〜１０の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００３４】
請求項１２に記載の発明は、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データから、１つの撮像画像データを出力する画像処理装置において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する基準画像データ選定手段と、
前記基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出する差分画像データ抽出手段と、
前記抽出された差分画像データを前記基準画像データに添付する差分画像データ添付手段と、
前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する情報添付手段と、
を備えたことを特徴としている。
【００３５】
請求項１３に記載の発明は、請求項１２に記載の発明において、
前記情報添付手段は、前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付することを特徴としている。
【００３６】
請求項１４に記載の発明は、請求項１２又は１３に記載の発明において、
前記撮像画像データが、シーン参照画像データであることを特徴としている。
【００３７】
請求項１５に記載の発明は、
入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力する画像処理装置において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する入力手段と、
前記添付識別情報及び前記撮影情報データを判別する判別手段と、
前記判別結果に基づいて、前記基準画像データと前記差分画像データを分離するデータ分離手段と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する視差画像データ生成手段と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する立体視表示用画像データ生成手段と、
を備えたことを特徴としている。
【００３８】
請求項１６に記載の発明は、請求項１５に記載の発明において、
前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴としている。
【００３９】
請求項１７に記載の発明は、請求項１５又は１６に記載の発明において、
前記入力撮像画像データが、シーン参照画像データであり、
前記立体視表示用画像データ生成手段は、前記シーン参照画像データの基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データに変換された基準画像データ及び視差画像データに基づいて、立体視表示用の画像データを生成することを特徴としている。
【００４０】
請求項１８に記載の発明は、請求項１２〜１７の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００４１】
請求項１９に記載の発明は、
入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力媒体上に鑑賞画像を形成する画像記録装置において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する入力手段と、
前記添付識別情報及び前記撮影情報データを判別する判別手段と、
前記判別結果に基づいて、前記基準画像データと前記差分画像データを分離するデータ分離手段と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する視差画像データ生成手段と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する立体視表示用画像データ生成手段と、
前記生成された立体視表示用の画像データに基づいて、出力媒体上に立体視表示用の鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００４２】
請求項２０に記載の発明は、請求項１９に記載の発明において、
前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴としている。
【００４３】
請求項２１に記載の発明は、請求項１９又は２０に記載の発明において、
前記入力撮像画像データが、シーン参照画像データであり、
前記立体視表示用画像データ生成手段は、前記基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データに変換された基準画像データ及び視差画像データに基づいて、立体視表示用の画像データを生成することを特徴としている。
【００４４】
請求項２２に記載の発明は、請求項１９〜２１の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００４５】
請求項１、８、１２に記載の画像処理方法、撮像装置、画像処理装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データの中から基準画像データを少なくとも１つ選定し、選定された基準画像データと他の撮像画像データとの差分画像データを抽出し、抽出された差分画像データを基準画像データに添付し、差分画像データが添付されていることを示す添付識別情報及び撮影情報データを基準画像データに添付する。
【００４６】
従って、同一被写体を異なる視点から撮影して得られた複数の撮像画像データ、即ち、立体視表示用に撮影された複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、複数の撮像画像データの中から立体視表示用に撮影された撮像画像データを検索する際の検索効率の向上、立体視表示に対応していないプリンタでの基準画像データでの１枚の写真プリントとしての出力等が可能となる。その結果、立体視表示用に撮影された撮像画像データと、同一被写体を一つの視点から撮影した通常の撮像画像データとの互換性を向上し、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【００４７】
また、基準画像データには撮影情報データが添付されているので、他の画像処理装置や画像記録装置において、撮影情報データに基づいて、立体視表示用画像を生成する際に画質を向上させる処理を施すことができる。
【００４８】
請求項１、８、１２に記載の画像処理方法、撮像装置、画像処理装置において、添付識別情報及び撮影情報データは、撮像画像データのヘッダ領域にタグ情報として記録されることが好ましい。また、撮像画像データは、出力先に応じて最適な画像データに処理することができるようにするため、撮影により得られた情報から情報損失のないシーン参照画像データとして出力することが好ましい。更に、撮影情報データとしては、撮影時の視差量、被写体距離、被写体の種類に関する情報のうち少なくとも一つの情報が含まれていることが好ましい。
【００４９】
請求項４、１５、１９に記載の画像処理方法、画像処理装置、画像記録装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、基準画像データに差分画像データが添付されていることを示す添付識別情報及び撮影情報データが入力されると、添付識別情報に基づいて、基準画像データと差分画像データを分離し、分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成し、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成する。更に、画像記録装置は、生成された立体視表示用の画像データを出力媒体上に形成する。
【００５０】
従って、入力された撮像画像データが、差分画像データが添付された、立体視表示用に撮影された基準画像データ、即ち、上述した請求項１、８、１２に記載の発明の画像処理方法、撮像装置、画像処理装置により生成された形式のデータであることを自動的に判別し、基準画像データと差分画像データから立体視表示用画像データを生成することができ、効率的な立体視表示用画像データの生成が可能となる。更に、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成するので、立体視表示用画像の画質の向上させることができる。
【００５１】
請求項４、１５、１９に記載の画像処理方法、画像処理装置、画像記録装置において、添付識別情報及び撮影情報データは撮像画像データのヘッダ領域にタグ情報として記録されることが好ましい。また、入力される撮像画像データは、撮影により得られた情報から情報損失のないシーン参照画像データであることが好ましく、シーン参照画像データの基準画像データ及び視差画像データに、出力媒体上で最適な画像とするための最適化処理を施してシーン参照画像データに変換することで、出力媒体上でより最適な画像を得ることができる。更に、撮影情報データとしては、撮影時の視差量、被写体距離、被写体の種類に関する情報のうち少なくとも一つの情報が含まれていることが好ましい。
【００５２】
次に、本明細書の請求項の記載において使用される用語について詳細に説明する。
【００５３】
本明細書の請求項の記載において、「同一被写体を異なる視点から撮影して得られた複数の撮像画像データ」とは、撮像装置によって撮影された、ステレオペアによる立体視表示に必要な、少なくとも２枚からなる撮像画像データである。本明細書の記載において、「立体視表示用の複数の撮像画像データ」を同義として用いる。
【００５４】
立体視表示用の複数の撮像画像データの取得には、下記３つの方法が挙げられる。
１．１台の撮像装置の位置を変えて、少なくとも２回の撮影によって行う方法
２．２台の撮像装置の間隔を開けて配置して、夫々１回の撮影により行う方法
３．所定の間隔で配置された２つの撮像光学系を有する１台の撮像装置を用いる方法
【００５５】
請求項１に記載の画像処理方法で用いる複数の撮像画像データの取得、並びに請求項８の撮像装置には、上記３．の２つの撮像光学系を有する１台の撮像装置を用いることが望ましい。
【００５６】
また、「撮像画像データ」は、請求項３、１０、１４に記載のようにシーン参照画像データであることが望ましい。以下、シーン参照データについて詳細を述べる。
【００５７】
「シーン参照画像データ」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を「ｓｃＲＧＢ」（ｒｅｌａｔｉｖｅ ｓｃｅｎｅ ＲＧＢ ｃｏｌｏｒ ｓｐａｃｅ）、「ＲＩＭＭ ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）や「ＥＲＩＭＭ ＲＧＢ」（Ｅｘｔｅｎｄｅｄ Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）などの標準色空間にマッピング済みであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｖｅｒｓｉｏｎ ｆｕｎｃｔｉｏｎ， 例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。
【００５８】
シーン参照画像データの情報量（例えば階調数）はＡ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００５９】
また、「異なる視点」の間の距離（以下、「視点間距離」と称す）、すなわちレンズ間の距離は、特殊な場合を除き、自然な遠近感をつけるために人間の両目間の距離と同じ約６、７ｃｍに設定されていることが望ましい。特殊な例としては、撮影位置から遠くに配置された被写体の立体感を強調したいといった場合がある。このような場合、視点間距離を倍に設定することで、被写体までの距離を半分にしたのと同じ効果が得られる。逆に、小さいものを接写のように撮影する場合では、視点間距離を縮めることにより、立体感が強調される。
【００６０】
立体視表示用の撮像画像データを取得する際の主要被写体までの距離は、視点間距離が６ｃｍである場合、図３に示すように、１〜４ｍ程度とすることが望ましい。これを被写体までの角度（輻湊角）にすると、約１〜４度の範囲となる。
【００６１】
例えば小さな被写体を、距離が１０ｃｍのところに置いた場合、被写体までの角度を４度以下にするには視点間距離を６ｍｍ以下に調整しなければならない。これとは正反対に、１００ｍ先でも十分に視認される大きな被写体である場合、被写体までの角度を４度に設定するには視点間距離を約６ｍに調整しなければならない。
【００６２】
よって、前記２つの撮像光学系が約６ｃｍ間隔で配置された１台の撮像装置を用いて、十分な立体感を得るには、撮像装置から１〜４ｍの距離において、撮影可能な大きさの被写体であることが望ましい。
【００６３】
「複数の撮像画像データから、１つの撮像画像データを出力する」とは、ステレオペアによる立体視表示の為に必要な少なくとも２つの撮像画像データを、立体視表示時以外では、ただ１つの撮像画像データとして扱うことが出来るよう、所定のファイル形式に加工することである。
【００６４】
「基準画像データを少なくとも１つ選定する」とは、ステレオペアによる立体視表示の為に必要な少なくとも２つの撮像画像データの中から、立体視表示以外の表示、或いはハードコピー出力を行うための撮像画像データを少なくとも１つ決定することである。
【００６５】
「差分画像データ」とは、立体視表示用の複数の撮像画像データのうち選定された基準画像データと他の撮像画像データとの差分内容として視差情報が保持されたデジタル画像データである。従って、遠景を被写体とした撮影シーンの場合、差分画像データは極めて小さな値を示す。
【００６６】
「基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出し」とは、基準画像データと他の撮像画像データとの視差情報を抽出することであり、下記演算式を処理例に挙げることが出来る。
なお、本明細書の記載において、基準画像データに対する他の撮像画像データを視差画像データと称する。
（式１）Ｂ＝Ａ１−Ａ２
Ａ１：基準画像データ、Ａ２：視差画像データ（他の撮像画像データ）、Ｂ：差分画像データ
【００６７】
「差分画像データを前記基準画像データに添付する」とは、基準画像データの一部に記録することであり、ファイル領域を区切って記録するファイルフォーマットの例を図８（ｃ）に示す。
【００６８】
「差分画像データが添付されていることを示す添付識別情報を、基準画像データに添付する」とは、撮像画像データの内容を示す指標や、再処理時に必要な付加情報を、被写体に関する情報が記録された領域とは異なる領域に記録することである。請求項２、５、９、１３、１６、２０に記載のように、差分画像データが添付されていることを示す添付識別情報は、基準画像データのヘッダ領域にタグ情報として記録することが望ましい（図８（ａ）参照）。
【００６９】
請求項４、１５、１９に記載の発明において、「入力撮像画像データ」がシーン参照画像データである場合には、請求項６、１７、２１に記載のように、「出力媒体上での鑑賞に最適化された画像データ」、即ち、「立体視表示用画像データ」が鑑賞画像参照データとなるように変換することが望ましい。以下、鑑賞画像参照データについて詳細を述べる。
【００７０】
「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう「最適化処理」の施されたデジタル画像データである。なお鑑賞画像参照データは、シーン参照画像データを入力データとする画像処理装置、或いは画像記録装置内において、シーン参照画像データから、表示デバイス、出力媒体毎に「最適化処理」を施し生成される。
【００７１】
上記「最適化処理」の具体例としては、ｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合の、ｓＲＧＢ規格の色域内への変換処理がある。よって銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が行われることは言うまでもない。
【００７２】
鑑賞画像参照データを生成した後、シーン参照画像データと鑑賞画像参照との差分データを求め、視差情報の差分画像データと共に、鑑賞画像参照データに添付しても良い。この場合のファイルフォーマットの例を図８（ｂ）に示す。
【００７３】
「前記添付識別情報に基づいて、前記基準画像データと前記差分画像データを分離する」とは、基準画像データのタグ情報を解読し、視差情報である差分画像データを有していた場合、ファイルフォーマットの所定の領域から、差分画像データを読み出し、基準画像データと差分画像データをいつでも画像処理可能な状態にすることである。
【００７４】
「前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する」とは、基準画像データと対を成す視差画像データを生成することであり、下記演算式を処理例に挙げることが出来る。
（式２）Ａ２＝Ａ１＋Ｂ
Ａ１：基準画像データ、Ａ２：視差画像データ、Ｂ：差分画像データ
【００７５】
「前記基準画像データ及び前記視差画像データに基づいて、立体視表示用の画像データを生成する」とは、基準画像と視差画像が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置されるように、ステレオペアの立体視表示用のデジタル画像データ（以下、「立体視表示用画像データ」を同義として用いる）を準備することである（図１４）。
【００７６】
本発明の撮像装置には、デジタルカメラを用いる以外に、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルムを用いるアナログカメラと、写真感光材料の駒画像情報を読み取りデジタル画像データを得るフィルムスキャナ、或いは銀塩印画紙上に再現された画像情報を読み取りデジタル画像データを得るフラットベッドスキャナから構成されていても良い。
【００７７】
また、「撮像画像データ」の入力には、コンパクトフラッシュ（登録商標）、メモリスティック（登録商標）、スマートメディア（登録商標）、マルチメディアカード（登録商標）、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「記憶メディア」用いることが出来る。
【００７８】
他の実施態様として、ネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得しても良いし、或いは撮像装置と画像処理装置、画像記録装置とを有線で接続し、デジタル画像データを直接送信する方式であっても良い。
【００７９】
また、本明細書の記載において、「撮影情報データ」とは、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは視点間距離（ステレオベース）、露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、視差量、被写体距離（範囲）、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などである。これらの情報をファイルヘッダ領域にタグ情報として記録するフォーマット形式として、Ｅｘｉｆファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ Ｔｉｆｆ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、及びＪＰＥＧフォーマットに準拠した圧縮データファイル形式がある。本発明では、前記「撮影情報データ」として、請求項７、１１、１８、２２に記載のように、視差量、被写体距離、被写体の種類の少なくとも１つの情報が添付されていることが望ましい。
【００８０】
「撮影情報データ」を用いて基準画像データと視差画像データに施される画像処理の例としては、下記のものがある。
１．カメラ種別（機種）情報：カメラ機種間差（分光感度特性、光電変換特性）補正
２．ＩＳＯ感度：平滑化（ホワイトノイズ除去）処理
３．視差量、被写体距離（範囲）：階調（硬さ）調整
４．被写体の種類：色再現（階調・彩度）調整、鮮鋭化処理、平滑化処理
【００８１】
【発明の実施の形態】
以下、本発明に係る撮像装置の好ましい実施形態ついて、図面に基づいて説明する。
【００８２】
＜撮像装置３０の構成＞
まず、構成を説明する。
図１は、本発明に係る撮像装置３０の機能的構成を示すブロック図である。撮像装置３０は、同一の被写体に対し、異なる視点から同時又は逐次撮影を行い、立体視表示用の複数の撮像画像データを記録可能なデジタルカメラである。図１に示すように、撮像装置３０は、第一撮像部２１、第二撮像部２２、一時記憶メモリ６、画像処理部７、添付処理部８、記憶デバイス９、制御部１１、基準画像データ選定部１２、差分画像データ生成部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、撮影情報データ生成部２３等を備えて構成されている。
【００８３】
第一撮像部２１、第二撮像部２２は、同一被写体を異なる視点から撮影するために、所定の間隔で配置されており、図２に示すように、それぞれレンズ１、絞り２、ＣＣＤ（固体撮像素子）３、アナログ処理回路４、Ａ／Ｄ変換器５、ＣＣＤ駆動回路１０、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成され、制御部１１の制御により、撮影を行う。
【００８４】
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。ＣＣＤ３は、レンズ１により受光面上に結像された被写体光を、ＣＣＤ３内の各センサ毎に光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、この撮像信号をアナログ処理回路４へ順次出力する。
【００８５】
アナログ処理回路４は、ＣＣＤ３から入力された撮像信号に対して、Ｒ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。Ａ／Ｄ変換器５は、アナログ処理回路４から入力された撮像信号をデジタルの撮像画像データに変換して一時記憶メモリ６へ出力する。
【００８６】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【００８７】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
【００８８】
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【００８９】
ここで、第一撮像部２１と第二撮像部２２のレンズ１間の距離（視点間距離）は、特殊な場合を除き、自然な遠近感をつけるために人間の両目間の距離と同じ約６、７ｃｍに設定されていることが望ましく、本実施の形態においても、視点間距離は約６、７ｃｍに設定されている。
【００９０】
特殊な例としては、撮像装置３０から遠くに配置された被写体の立体感を強調したいといった場合がある。このような場合、視点間距離を倍に設定することで、被写体までの距離を半分にしたのと同じ効果が得られる。逆に、小さいものを接写のように撮影する場合では、視点間距離を縮めることにより、立体感が強調される。
【００９１】
立体視表示用の複数の撮像画像データを取得する際の主要被写体までの距離は、視点間距離が６ｃｍである場合、図３に示すように、１〜４ｍ程度とすることが望ましい。これを被写体までの角度（輻湊角）にすると、約１〜４度の範囲となる。
【００９２】
例えば小さな被写体を、距離が１０ｃｍのところに置いた場合、被写体までの角度を４度以下にするには視点間距離を６ｍｍ以下に調整しなければならない。
これとは正反対に、１００ｍ先でも十分に視認される大きな被写体である場合、被写体までの角度を４度に設定するには視点間距離を約６ｍに調整しなければならない。
【００９３】
よって、第一撮像部２１と第二撮像部２２のレンズ１間が約６ｃｍ間隔で配置されている場合、十分な立体感を得るには、撮像装置３０から１〜４ｍの距離において、撮影可能な大きさの被写体であることが望ましい。
【００９４】
なお、撮像装置３０は、第一撮像部２１と第二撮像部２２の双方を備える構成としてもよいし、一方の撮像部、例えば第二撮像部２２をアダプタ付きのアタッチメントとして撮像装置３０に着脱自在に構成し、立体視表示用の複数の撮像画像データを撮影する際に、第二撮像部２２を、アダプタを介して取り付けるようにしてもよい。また、一方の撮像部を撮像装置３０の長手方向にスライド可能に構成することで、視点間距離を調整したり、視点間距離の異なる複数の画像を撮影したりすることができる。
【００９５】
第一撮像部２１、第二撮像部２２により得られた撮像画像データはバッファメモリ等の一時記憶メモリ６へ出力され、それぞれ一時的に格納される。
【００９６】
画像処理部７は、一時記憶メモリ６へ記憶された各撮像画像データに撮像装置特性補正処理を施して、シーン参照画像データを生成する。撮像装置特性補正処理には、撮像素子の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えばｓｃＲＧＢ、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。その他、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去及びモアレ除去等の周波数処理演算等を施す。
【００９７】
また、画像処理部７は、生成されたシーン参照画像データに対して、表示部１５において最適な画像を得るための最適化処理を施して鑑賞画像参照データを生成する。最適化処理には、例えば、ｓＲＧＢ、ＲＯＭＭ ＲＧＢ（Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）等、表示部１５に適した色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、表示部１５の出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。画像処理部７は、その他、画像サイズの変更、トリミング、アスペクト変換等を行う。シーン参照画像データの出力を指定する操作信号が操作部１４より入力されると、制御部１１の制御により、この画像処理部７における、鑑賞画像参照データの生成が省略される。
【００９８】
添付処理部８は、差分画像データ生成部１３で生成された差分画像データを基準画像データ選定部１２で選定された基準画像データの一部に記録して添付し、添付済みのデータファイルを生成するとともに、ファイルのヘッダ領域に対し、差分画像データが添付されていることを示す添付識別情報、撮影情報データ生成部２３で生成された、撮影情報データをタグ情報として書き込み処理する。
【００９９】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮像画像データを記録するメモリカード等の、撮像装置３０に着脱可能に構成された記憶メディアと、撮像装置３０の制御プログラムが記憶された読み出し可能な記憶デバイスとにより構成されている。
【０１００】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置３０の制御プログラムを読み出して、読み出したプログラムに従って撮像装置３０全体の制御を行う。具体的には、制御部１１は、操作部１４からの操作信号に応じて、第一撮像部２１、第二撮像部２２、ストロボ駆動回路１６等の制御を行い、撮影を行う。
【０１０１】
また、制御部１１は、操作部１４によりシーン参照画像データによる立体視表示用の撮像画像データの出力が指定されると、後述する立体視表示用画像撮影・記録処理を実行する。
【０１０２】
基準画像データ選定部１２は、撮影により得られた立体視表示用の複数の撮像画像データから、基準画像データを選定し、結果を差分画像データ生成部１３、添付処理部８へ出力する。
【０１０３】
差分画像データ生成部１３は、基準画像データ選定部１２により基準画像データとして選定された撮像画像データと、他の撮像画像データ（視差画像データと称する）との視差情報である差分画像データを下記の演算式により抽出し、添付処理部８に出力する。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ｂ＝Ａ１−Ａ２
【０１０４】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。また、操作部１４は、表示部１５の表示画面上を覆うタッチパネルを有し、手指やタッチペン等で押下された表示画面上の力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部１１に出力する。
【０１０５】
表示部１５は、制御部１１からの制御信号により、撮像画像データを表示するとともに、撮像装置３０の使用者が撮影に関する設定や条件を確認するための情報や設定や条件を入力するための表示画面を表示する。
【０１０６】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１０７】
撮影情報データ生成部２３は、カメラ種別情報、ＩＳＯ感度情報、視差量、被写体距離（範囲）、被写体の種類等の撮影に関する情報を取得して撮影情報データを生成し、添付処理部８へ出力する。
【０１０８】
本実施の形態において、撮影情報データ生成部２３は、基準画像データと視差画像データにおける視差量、被写体距離、被写体の種類のうちの少なくとも一つの情報を生成し、撮影情報データとして添付処理部８へ出力する。
【０１０９】
図４〜図６を参照して、視差量、被写体距離を得る方法について説明する。
図４に、第一撮像部２１のＣＣＤ３（ＣＣＤ３−１とする）と、第二撮像部２２のＣＣＤ３（ＣＣＤ３−２とする）と、撮影距離の異なる被写体（Ｐ１、Ｐ２）との関係を示す。ＣＣＤ３−１とＣＣＤ３−２間の距離Ｗは、撮影基線長と呼ばれ、ここでは、人間の両目間の距離に等しい約６〜７ｃｍに設定されている。ｆは、レンズの焦点距離であり、ＣＣＤ３−１とＣＣＤ３−２で同一の値に設定されている。Ｐ１は、２つの撮像部のレンズ１からＨ１の撮影距離に位置する建物被写体上の特定の位置を表し、Ｐ２は、２つの撮像部のレンズ１からＨ２の撮影距離に位置する人物被写体上の特定の位置を表している。
【０１１０】
図４において、被写体Ｐ１とＰ２のうち、レンズから近い位置にある被写体Ｐ２は、ＣＣＤ３−１とＣＣＤ３−２とで、結像する位置のずれが大きく異なるのに対し、レンズから遠い位置にある被写体Ｐ１は、ＣＣＤ３−１とＣＣＤ３−２とで、結像する位置のずれが小さいことがわかる。
【０１１１】
ＣＣＤ３−１及びＣＣＤ３−２における被写体Ｐ１の結像位置から、被写体Ｐ１の結像距離Ｓ１を算出し、ＣＣＤ３−１及びＣＣＤ３−２における被写体Ｐ２の結像位置から、被写体Ｐ２の結像距離Ｓ２を算出する。結像距離Ｓ１から撮影基線長Ｗを差し引くと、被写体Ｐ１の視差量Ｖ＝Ｓ１−Ｗが得られ、結像距離Ｓ２から撮影基線長Ｗを差し引くと、被写体Ｐ２の視差量Ｖ＝Ｓ２−Ｗが得られる。
【０１１２】
被写体までの撮影距離（被写体距離）は、赤外線の発光部と受光部をＣＣＤ３−１、ＣＣＤ３−２と同じ基線長に配置することにより、計測可能となる。これは撮影レンズの自動焦点（オートフォーカス）用の距離測定方法として一般的に用いられる。この場合、視差量Ｖは、撮影距離Ｈと撮影基線長Ｗから、下記の式（１）により算出することができる。
Ｖ＝ｆ×（Ｗ／Ｈ） （１）
式（１）において、Ｗ／Ｈは、基線比を表す。
【０１１３】
上述したように、視差量Ｖは、被写体の結像距離Ｓ及び撮影基線長Ｗ、或いは焦点距離ｆ、撮影距離Ｈ及び撮影基線長Ｗにより算出することが可能であるので、撮影情報データとしては、視差量Ｖを直接算出して添付処理部８へ出力するようにしてもよいし、視差量Ｖを算出するための情報を添付処理部８へ出力するようにしてもよい。
【０１１４】
被写体Ｐ１、Ｐ２の検出方法は、シーン参照画像データに対する特徴抽出処理や類似度判定等の、公知のあらゆる手法を用いることができる。特定の被写体を検出する方法の一例として、図５に示すような、被写体の輪郭抽出や瞳位置検出等が挙げられる。
【０１１５】
また、図６に示すように、肌色領域や高彩度領域等、所定の色を抽出することにより、被写体の領域を検出することができる。このように、特定の色領域を抽出するには、撮像画像データのＲＧＢ値を、ＨＳＶ表色系（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換し、色相と彩度の２次元ヒストグラムを作成し、作成した２次元ヒストグラムから、色相と彩度の抽出条件を決定することにより実現できる。例えば、色相を１０〜３０度にし、彩度（０〜２５５）を５０〜１００に制限すると、肌色領域を抽出することができる。
【０１１６】
また、例えば、上述した輪郭抽出において、輪郭が直線により形成されている場合には、建物と推測し、瞳位置検出や肌色領域の抽出がなされた場合には人物と推測する等により、被写体の種類の情報を得ることができる。
【０１１７】
＜撮像装置３０の動作＞
次に、動作について説明する。
図７は、操作部１４により、シーン参照画像データによる立体視表示用の複数の撮像画像データの出力が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行される立体視表示用画像撮影・記録処理を示すフローチャートである。以下、図７を参照して立体視表示用画像撮影・記録処理について説明する。
【０１１８】
操作部１４のレリーズボタンが押下されると、第一撮像部２１及び第二撮像部２２の２つの撮像部により、同一被写体が異なる視点から撮影される（ステップＳ１）。この撮影により得られた立体視表示用の複数の撮像画像データは、夫々画像処理部７において撮像装置特性補正処理が施され、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢの標準色空間にマッピングされ、シーン参照画像データに変換され、差分画像データ生成部１３に出力される（ステップＳ２）。
【０１１９】
一方、撮影情報データ生成部２３により、撮影に関する情報が取得され、撮影情報データが生成される（ステップＳ３）。
【０１２０】
次いで、基準画像データ選定部１２により、撮影により得られた立体視表示用の複数の撮像画像データ（シーン参照画像データ）から、基準画像データが選定される（ステップＳ４）。基準画像データの選定は、操作部１４により、２つの撮像部のうち何れの撮像部で撮影された撮像画像データを基準画像データとして利用するかをユーザが入力し、この入力に基づいて選定してもよいし、予め、例えば第一撮像部２１で撮影された撮像画像データを基準画像データとするように設定しておき、自動的に処理される方式であってもよい。
【０１２１】
次いで、差分画像データ生成部１３において、選定された基準画像データと、他方の撮像画像データである視差画像データとの差分を求めることにより、視差情報が抽出され、差分画像データが生成される（ステップＳ５）。基準画像データ及び生成された差分画像データは添付処理部８に出力され、差分画像データが基準画像データの一部に記録されることにより、差分画像データが基準画像データに添付され（ステップＳ６）、ＪＰＥＧ方式で圧縮され、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に準拠したファイルフォーマットの添付済みデータファイルが生成される（ステップＳ７）。さらに、差分画像データの添付された基準画像データのファイルのヘッダ領域に対し、添付識別情報及び撮影情報データがタグ情報として記録され（ステップＳ８）、記憶デバイス９の記憶メディアに記録される（ステップＳ９）。ここで、添付識別情報は、差分画像データの添付を示すフラグや、差分画像データの領域を示す情報等、再処理時に必要な付加情報である。
【０１２２】
図８（ａ）は、ステップＳ９で記憶デバイス９の記憶メディアに記録されるデータファイルのデータ構造を示す図である。図８（ａ）に示すように、記憶メディアに記録されるデータファイルは、基準画像データ領域、差分画像データ領域、ヘッダ領域を有している。この記憶メディアを撮像装置３０から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、基準画像データ、差分画像データ、ヘッダ領域のタグ情報をこれらの外部装置に出力し、外部装置で利用することができる。
【０１２３】
以上説明したように、撮像装置３０によれば、立体視表示用の複数の撮像画像データを撮影し、その中から一つの基準画像データを選定し、この基準画像データと、これに対する視差画像データとの視差情報を抽出して差分画像データとして基準画像データに添付する。従って、立体視表示用の複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、立体視表示用ではない通常の撮像画像データと同様のファイルフォーマットでの保存、ファイルの名称設定等が可能となる。また、ファイルのヘッダ領域に添付識別情報を記録しているので、複数のファイルの中から立体視表示用の撮像画像データのファイルを検索する際の検索効率を改善することができる。
【０１２４】
このように、撮像装置３０によれば、立体視表示用の撮像画像データと通常の撮像画像データとの互換性、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。基準画像データ及び差分画像データをＤＣＦ規格に準拠したファイルフォーマットで記録することにより、より立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【０１２５】
また、基準画像データとこれに対する視差画像データをそのまま保存するのではなく、差分画像データを基準画像データに添付するようにしたことで、使用するファイル容量が少なくてすみ、撮影枚数を大幅に増加させることができる。さらに、基準画像データ及び視差画像データは、シーン参照画像データとして記録されるので、撮像装置３０が取得した広い色域・輝度域の情報の損失を防止することができる。
【０１２６】
更に、撮像装置３０から出力されるデータファイルのヘッダ領域に撮影情報データが記録されるので、この撮影情報データに基づいて、他の画像処理装置や画像記録装置において、基準画像データと視差画像データに画像処理を施すことにより、更なる画質向上を図ることができる。
【０１２７】
例えば、撮影情報データとして視差量が含まれている場合には、視差量に応じた階調（硬さ）補正処理、明るさ補正処理を施すことにより、画質向上を図ることができる。
【０１２８】
図９に、視差量と階調の硬さ補正量の関係を主要被写体別に示す。図９に示すように被写体が人物である場合、視差量が大きくなるほど階調を軟調化するように硬さ補正を施すことが好ましく、風景や静物では逆に硬調化するように硬さ補正を施すことが好ましい。
【０１２９】
図１０に、視差量と明るさ補正量の関係を主要被写体別に示す。図１０に示すように、被写体が人物である場合、視差量が大きくなるほど明るくなるように補正を施すことが好ましい。
【０１３０】
また、撮影情報データとして被写体距離が含まれている場合には、視差量の計算精度を補助するだけでなく、視差量を表す指標として用いて画質調整処理を施することができる。また、撮影情報データとして被写体の種類が含まれている場合には、被写体の種類を、画質をより主観的に好ましいものに最適化処理するための指標として用いることができる。例えば、被写体が人物である場合と風景（静物）の場合とでは、鮮鋭性、平滑性、彩度値、階調性の全てにおいて最適値が異なることが知られており、他の画像処理装置や画像記録装置において、被写体の種類に応じて最適値を設定し画像処理を施すことで、画質を主観的に好ましく向上させることができる。
【０１３１】
また、撮影情報データに、視差量、被写体距離、被写体の種類に関する情報のうち２つ以上が含まれている場合には、他の画像処理装置や画像記録装置において、これらを組み合わせて画質調整処理を施すことにより、更に画質向上の効果を高めることができる。例えば、被写体が人物である場合は、階調の軟調化、平滑化処理と彩度強調の程度を、視差量、即ち、人物の大きさに応じて調整する処理を施すことにより、画質を向上させることができる。また、被写体が建物である場合には、階調の硬調化と鮮鋭化処理と彩度低下を建物の大きさに応じて調整する処理を施すことにより画質を向上させることができる。
【０１３２】
なお、上記実施の形態においては、ファイルのヘッダ領域に添付識別情報をタグ情報として記録することとしたが、何視点分の差分画像データが記憶されているかの情報や、各差分画像データの基準画像データとの視点間距離等をヘッダ領域に記録することが望ましい。
【０１３３】
また、本発明のように、基準画像データを選定して、基準画像データに差分画像データを添付する機能を有していない撮像装置においても、立体視表示用の撮像画像データを撮影可能な場合には、撮影された立体視表示用の撮像画像データをＤＣＦ規格に準拠したＪＰＥＧ方式のファイルフォーマットで記録することが望ましい。また、ヘッダ領域に、上述した、視差量、被写体距離、被写体の種類等の撮影情報データ、何視点分の撮像画像データを有するかの情報や、各撮像画像データの視点間距離、２次元（２Ｄ）画像として表示、出力する場合に使用する撮像画像データの指定情報等、立体視表示用撮像画像データを利用する際に有用な情報を記録しておくことが望ましい。
【０１３４】
また、上記実施の形態においては、撮像画像データをシーン参照画像データとして記憶メディアに記録する例を示したが、撮像画像データに画像処理部７で最適化処理を施して鑑賞画像参照データを生成し、この鑑賞画像参照データについて基準画像データを選定し、差分画像データを生成して添付するようにしてもよい。
【０１３５】
＜画像処理装置１００の構成＞
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図１１は本発明に係る画像処理装置１００の機能的構成を示すブロック図である。図１１に示すように、画像処理装置１００は、入力部１０１、基準画像データ選定部１０２、差分画像データ抽出部１０３、差分画像データ生成部１０４、差分画像データ添付部１０５、一時記憶メモリ１０６、ヘッダ情報記録部１０７、一時記憶メモリ１０８、撮影情報データ取得部１１１により構成されており、さらに、記憶デバイス１１０が接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１０９の統括的な制御下において動作する。
【０１３６】
入力部１０１は、記憶メディア装着部（図示せず）を備えている。この装着部に、デジタルカメラ等の撮像装置により記録された立体視表示用の複数の撮像画像データが記録された記憶メディアが装着されると、入力部１０１は、データを読み出して基準画像データ選定部１０２へ入力する。なお、本実施の形態においては、入力部１０１は、装着された記憶メディアからデータを読み出して入力することとして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１３７】
基準画像データ選定部１０２は、入力部１０１から入力された立体視表示用の複数の撮像画像データの中から基準画像データを選定する。この際の選定は、ユーザがマニュアル操作で行っても良いし、例えば、撮像画像データの数が２つある場合、被写体に対して右側から撮影された画像、３つある場合は、真中（正面）から撮影された画像が夫々選択されるように予め定義しておき、自動的に選定処理される方式であっても良い。自動的に選定処理されるようにするには、撮像画像データの夫々が、被写体に対してどの位置から撮影されたかを識別する手段を備える必要がある。このような識別手段としては、例えばファイルのヘッダ情報を活用する方法がある。
【０１３８】
差分画像データ抽出部１０３は、基準画像データ選定部１０２により選定された基準画像データと、立体視表示の際に基準画像データと対をなす他の撮像画像データである視差画像データとの視差情報である差分画像データを下記の演算式により抽出し、差分画像データ生成部１０４に出力する。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ｂ＝Ａ１−Ａ２
【０１３９】
差分画像データ生成部１０４は、差分画像データ抽出部１０３から抽出された差分画像データを添付用の差分画像データに加工する。
【０１４０】
差分画像データ添付部１０５は、加工された差分画像データを、基準画像データの一部として基準画像データに添付し、差分画像データの添付された基準画像データをＪＰＥＧ方式で圧縮し、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に準拠したファイルフォーマットの添付済みデータファイルを生成し、一時記憶メモリ１０６へ出力する。
【０１４１】
一時記憶メモリ１０６は、差分画像データ添付部１０５から出力された添付済みデータファイルを一時的に記憶する。
【０１４２】
ヘッダ情報記録部１０７は、情報添付手段であり、差分画像データの添付された基準画像データのヘッダ領域に対し、差分画像データが添付されていることを示す添付識別情報及び撮影情報データ取得部１１１により入力された撮影情報データをタグ情報として記録する。ここで、添付識別情報は、差分画像データの添付を示すフラグや、差分画像データの領域を示す情報等、再処理時に必要な付加情報である。ヘッダ領域への情報記録の終了した基準画像データのファイルは、一時記憶メモリ１０８に一時的に記憶された後、単一の撮像画像データとして記憶デバイス１１０へ出力される。
【０１４３】
撮影情報データ取得部１１１は、入力部１０１から入力された撮影情報データを取得する。例えば、撮影情報データが入力部１０１から入力されるデータファイルのヘッダ領域にタグ情報として記録されている場合、撮影情報データ取得部１１１は、入力部１０１から入力されたデータファイルのヘッダ領域から撮影情報データを読み出して取得し、ヘッダ情報記録部１０７へ出力する。撮影情報データとしては、基準画像データと差分画像データの視差量、被写体距離、被写体の種類の少なくとも一つが含まれていることが望ましい。
【０１４４】
以上の、基準画像データ生成部１０２、差分画像データ抽出部１０３、差分画像データ生成部１０４、差分画像データ添付部１０５、ヘッダ情報記録部１０７、撮影情報データ取得部１１１という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１４５】
＜画像処理装置１００の動作＞
図１２は、画像処理装置１００の各部が連携することにより実行される基準画像データ出力処理を示すフローチャートである。以下、図１２を参照して画像処理装置１００の動作について説明する。
【０１４６】
立体視表示用の複数の撮像画像データが記録された記憶メディアが装着されると、入力部１０１により、記憶メディアに記録された複数の撮像画像データが入力される（ステップ１１）。入力される撮像画像データは、シーン参照画像データであっても、鑑賞画像参照データであっても対応可能である。基準画像データ選定部１０２により、入力された複数の撮像画像データの中から基準画像データが選定される（ステップＳ１２）。次いで、差分画像データ抽出部１０３により、選定された基準画像データと、入力された他の撮像画像データである視差画像データの差分を求めることにより、差分画像データが抽出され、差分画像データ生成部１０４において、画像処理可能な差分画像データに加工されて差分画像データが生成される（ステップＳ１３）。
【０１４７】
生成された差分画像データ及び基準画像データは差分画像データ添付部１０５に出力され、差分画像データが基準画像データの一部に記録されて、差分画像データが基準画像データに添付され（ステップＳ１４）、ＪＰＥＧ方式で圧縮され、ＤＣＦ規格に準拠したファイルフォーマットの添付済みデータファイルが生成される（ステップＳ１５）。さらに、撮影情報データ取得部１１１により撮影情報データが取得され、ヘッダ情報記録部１０７へ出力され（ステップＳ１６）、差分画像データの添付された基準画像データのファイルのヘッダ領域に対し、添付識別情報及び撮影情報データがタグ情報として記録され（ステップＳ１７）、記憶デバイス１１０に基準画像データが単一の撮像画像データとして出力される（ステップＳ１８）。
【０１４８】
上述した基準画像データ出力処理により、図８（ａ）に示したものと同様のデータ構造のファイルを記憶デバイス１１０に出力することができる。
【０１４９】
以上説明したように、画像処理装置１００によれば、入力された立体視表示用の複数の撮像画像データから一つの基準画像データを選定し、この基準画像データと、立体視表示の際に基準画像データと対をなす他の視差画像データとの視差情報を抽出して差分画像データとして基準画像データに添付してファイルを作成するとともに、差分画像データが添付されていることを示す添付識別情報及び撮影情報データをファイルのヘッダ領域にタグ情報として記録する。
【０１５０】
従って、立体視表示用の複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、立体視表示用ではない通常の撮像画像データと同様のファイルフォーマットでの保存、ファイルの名称設定等が可能となる。また、ファイルのタグ情報として添付識別情報を記録しているので、複数のファイルの中から立体視表示用の撮像画像データのファイルを検索する際の検索効率を改善することができる。また、立体視表示用の撮像画像データのファイルと通常の撮像画像データのファイルをヘッダ領域の参照により自動的に判別することが可能となるので、両者が混在した状態でも効率的にプリント作成を行うことが可能となる。また、立体視表示に未対応の画像記録装置（プリンタ）を用いて、立体視表示用の撮像画像データから通常の２Ｄの写真プリント作成が可能となる。
【０１５１】
このように、画像処理装置１００によれば、立体視表示用の撮像画像データと通常の撮像画像データとの互換性を向上し、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【０１５２】
更に、画像処理装置１００によって、撮像装置内で基準画像データの選定、差分画像データの生成、基準画像データへの差分画像データへの添付等を行う必要がなくなり、処理負荷の軽減によりバッテリー消費量が大幅に減少され、撮影可能枚数を増加させる。また、立体視表示用の撮像画像データの保存に必要な記憶デバイスの容量を少なくすることができる。
【０１５３】
更に、画像処理装置１００から出力されるデータファイルのヘッダ領域に撮影情報データが記録されているので、この情報を利用して、他の画像処理装置や画像記録装置において、基準画像データと視差画像データに画像処理を施すことにより、更なる画質向上を図ることができる。
【０１５４】
例えば、撮影情報データとして視差量が含まれている場合には、視差量に応じた階調（硬さ）補正処理、明るさ補正処理（図９、１０参照）を施すことにより、画質向上を図ることができる。
【０１５５】
また、撮影情報データとして被写体距離が含まれている場合には、視差量の計算精度を補助するだけでなく、視差量を表す指標として用いて画質調整処理を施すことができる。また、撮影情報データとして被写体の種類が含まれている場合には、被写体の種類を、画質をより主観的に好ましいものに最適化処理するための指標として用いることができる。例えば、被写体が人物である場合と風景（静物）の場合とでは、鮮鋭性、平滑性、彩度値、階調性の全てにおいて最適値が異なることが知られており、他の画像処理装置や画像記録装置において、被写体の種類に応じて最適値を設定し画像処理を施すことで、画質を主観的に好ましく向上させることができる。
【０１５６】
また、撮影情報データに、視差量、被写体距離、被写体の種類に関する情報のうち２つ以上が含まれている場合には、他の画像処理装置や画像記録装置において、これらを組み合わせて画質調整処理を施すことにより、更に画質向上の効果を高めることができる。例えば、被写体が人物である場合は、階調の軟調化、平滑化処理と彩度強調の程度を、視差量、即ち、人物の大きさに応じて調整する処理を施すことにより、画質向上を図ることができる。また、被写体が建物である場合には、階調の硬調化と鮮鋭化処理と彩度低下を建物の大きさに応じて調整する処理を施すことにより、画質向上を図ることができる。
【０１５７】
＜画像処理装置２００の構成＞
次に、本発明の画像処理装置の一実施形態について説明する。
まず、構成を説明する。
図１３は本発明に係る画像処理装置２００の機能的構成を示すブロック図である。図１３に示すように、画像処理装置２００は、入力部２０１、ヘッダ情報解析部２０２、入力された撮像画像データから視差画像データを生成するための第一処理部２１１、基準画像データと視差画像データから立体視表示用画像データを生成する第二処理部２１２により構成されている。第一処理部２１１と、第二処理部２１２にはヘッダ情報解析部２０２が夫々接続されており、さらに第二処理部２１２には、記憶デバイス２１３が接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部２１４の統括的な制御下において動作する。
【０１５８】
入力部２０１は、記憶メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置３０や画像処理装置１００により記録された撮像画像データ（差分画像データが添付され、ヘッダ領域へ差分画像データが添付されていることを示す添付識別情報及び撮影情報データがタグ情報として記録されている基準画像データ：図８（ａ）参照）のデータファイルが記録された記憶メディアが装着されると、入力部２０１は、記憶メディアに記憶されたファイルを読み出してヘッダ情報解析部２０２へ入力する。なお、本実施の形態においては、入力部２０１は、装着された記憶メディアからデータを読み出して入力することとして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１５９】
ヘッダ情報解析部２０２は、判別手段として、入力部２０１から入力された基準画像データのファイルフォーマットのヘッダ情報（ヘッダ領域のタグ情報）を解析して添付識別情報及び撮影情報データを判別し、結果を差分画像データ読み出し部２０３、視差画像データ生成部２０５、基準画像データ生成部２０７、撮影情報データ読み出し部２１７へ出力する。
【０１６０】
第一処理部２１１は、図１３に示すように、差分画像データ読み出し部２０３、差分画像データ生成部２０４、視差画像データ生成部２０５、一時記憶メモリ２０６を有して構成されている。
【０１６１】
差分画像データ読み出し部２０３は、データ分離手段として、ヘッダ情報解析部２０２の解析による添付識別情報の判別結果に基づいて、入力されたファイルの所定の領域から視差情報である差分画像データを読み出して、基準画像データと差分画像データを分離する。差分画像データ生成部２０４は、読み出された差分画像データを画像処理可能な状態に加工する。
【０１６２】
視差画像データ生成部２０５は、差分画像データと基準画像データから、立体視表示において基準画像データと対をなす視差画像データを生成する。視差画像データは、下記の演算式により生成される。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ａ２＝Ａ１＋Ｂ
【０１６３】
一時記憶メモリ２０６は、視差画像データ生成部２０５で生成された視差画像データを一時的に記憶する。
【０１６４】
第二処理部２１２は、図１３に示すように、基準画像データ生成部２０７、立体視表示用画像データ生成部２０８、出力条件設定入力部２０９、一時記憶メモリ２１０、撮影情報データ読み出し部２１７を有して構成されている。
【０１６５】
基準画像データ生成部２０７は、入力されたデータファイルから基準画像データを読み出して、画像処理可能な状態に加工する。
【０１６６】
立体視表示用画像データ生成部２０８は、出力条件設定入力部２０９から入力された出力条件設定及び撮影情報データ読み出し部２１７から入力された撮影情報データに基づいて、基準画像データと一時記憶メモリ２０６に記憶されている視差画像データに画像処理を施して立体視表示用の画像を生成する。具体的には、撮影情報データに基づいて、基準画像データと視差画像データの双方に対して画質調整処理を施すとともに、図１４に示すように、基準画像と視差画像の２つの画像の視点間距離が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置して立体視表示用画像データを生成する。
【０１６７】
出力条件設定入力部２０９は、キーボードやＬＣＤ上に構成されたタッチパネル等のユーザインターフェースにより構成され、本画像処理装置２００にて生成される立体視表示用画像データの出力設定（例えば、出力先のデバイスの種類、出力サイズ等）に関する情報が入力されると、この情報を立体視表示用画像データ生成部２０８へ出力する。
【０１６８】
一時記憶メモリ２１０は、立体視表示用画像データ生成部２０８で生成された立体視表示用画像データを一時的に記憶する。この一時記憶メモリ２１０に一時的に記憶された立体視表示用画像データは、記憶デバイス２１３に出力される。
【０１６９】
撮影情報データ読み出し部２１７は、ヘッダ情報解析部２０２において、ヘッダ領域へ撮影情報データが記録されていると解析された場合に、入力されたファイルのヘッダ領域から撮影情報データを読み出して、立体視表示用画像データ生成部２０８へ出力する。
【０１７０】
以上の、ヘッダ情報解析部２０２、差分画像データ読み出し部２０３、差分画像データ生成部２０４、視差画像データ生成部２０５、基準画像データ生成部２０７、立体視表示用画像データ生成部２０８、撮影情報データ読み出し部２１７という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１７１】
＜画像処理装置２００の動作＞
図１５は、画像処理装置２００の各部が連携することにより実行される立体視表示用画像データ生成処理Ａを示すフローチャートである。以下、図１５を参照して画像処理装置２００の動作について説明する。
【０１７２】
図８（ａ）に示す基準画像データのファイルが記録された記憶メディアが記憶メディア装着部に装着されると、入力部２０１により、記憶メディアに記録された基準画像データが入力される（ステップ２１）。次いで、ヘッダ情報解析部２０２により基準画像データのファイルのヘッダ領域のタグ情報が解析され、添付識別情報及び撮影情報データが判別される（ステップＳ２２）。ヘッダ情報解析部２０２の判別の結果に基づき、撮影情報データ読み出し部２１７により撮影情報データが読み出され、立体視表示用画像データ生成部２０８へ出力される（ステップＳ２３）。また、ヘッダ情報解析部２０２の判別の結果に基づき、差分画像データ読み出し部２０３により、ファイルの所定領域から差分画像データが読み出されて基準画像データと差分画像データが分離され（ステップＳ２４）、差分画像データ生成部２０４により加工が施されて画像処理可能な差分画像データが生成され（ステップＳ２５）、視差画像データ生成部２０５へ出力される。
【０１７３】
次いで、視差画像データ生成部２０５において、基準画像データと差分画像データから視差画像データが生成される（ステップＳ２６）。そして、立体視表示用画像データ生成部２０８において、撮影情報データ読み出し部２１７により入力された撮影情報データに基づいて、基準画像データと視差画像データの双方に対して画質調整処理が施され（ステップＳ２７）、出力条件設定入力部２０９より入力された出力条件に基づいて、基準画像データと視差画像データの２つの画像の大きさと配置が立体視表示に最適なように調整されて立体視表示用画像データが生成され、一時記憶メモリ２１０を介して、記憶デバイス２１３に出力される（ステップＳ２８）。
【０１７４】
ここで、ステップＳ２７で、基準画像データ及び視差画像データに施される画質調整処理について説明する。
【０１７５】
例えば、撮影情報データとして視差量が含まれている場合には、視差量に応じた階調（硬さ）補正処理、明るさ補正処理を施す。被写体が人物である場合、視差量が大きくなるほど階調を軟調化するように硬さ補正を施す（図９参照）。また、被写体が風景や静物では逆に視差量が大きくなるほど硬調化するように硬さ補正を施す（図１０参照）。被写体の種類は、撮影情報データに含まれていることが好ましいが、含まれていない場合は、基準画像データ、視差画像データの夫々に対して輪郭抽出、瞳位置抽出、肌色領域の抽出等の画像解析を行い、輪郭抽出において、輪郭が直線により形成されている場合には、建物と推測し、瞳位置検出や肌色領域の抽出がなされた場合には人物と推測する等により、被写体の種類の情報を得る。
【０１７６】
基準画像データ及び視差画像データに被写体がいくつか含まれる場合、これらの視差量に応じた画質調整処理は、最大視差量に応じた処理を画像全体に行うようにしても良いが、図６に示したように、部分毎の視差量に応じて画質調整処理を施すようにしても良い。例えば、前述した輪郭抽出、瞳位置抽出、肌色領域や高彩度領域の抽出等により、人物領域、建物領域等を抽出し、各領域の視差量に応じて画質調整処理を施す。なお、領域内に均一に処理を施すのではなく、他の領域との境界に近づくに従って、画質調整処理の程度が段階的に変化するよう処理することが好ましい。
【０１７７】
また、撮影情報データとして被写体距離が含まれている場合には、視差量の計算精度を補助するだけでなく、視差量を表す指標として用いて画質調整処理を施すようにしてもよい。
【０１７８】
また、撮影情報データとして被写体の種類が含まれている場合には、これを用いて、画質をより主観的に好ましいものに最適化処理を行なう。例えば、被写体が人物である場合と風景（静物）の場合とでは、鮮鋭性、平滑性、彩度値、階調性の全てにおいて最適値が異なり、被写体の種類に応じて最適値を設定して画像処理を施す。
【０１７９】
また、撮影情報データに、視差量、被写体距離、被写体の種類に関する情報のうち２つ以上が含まれている場合には、これらの情報を組み合わせて画質調整処理を施す。例えば、被写体が人物である場合は、階調の軟調化、平滑化処理と彩度強調の程度を、視差量、即ち、人物の大きさに応じて調整する処理を施す。また、被写体が建物である場合には、階調の硬調化と鮮鋭化処理と彩度低下を、視差量、即ち、建物の大きさに応じて調整する処理を施す。
【０１８０】
また、撮影情報データとしてカメラ種別（機種）情報が含まれている場合には、この情報に基づいて、基準画像データ及び視差画像データに対して、カメラ機種間差（例えば、分光感度特性、光電変換特性）を補正する画像処理を施す。また、撮影情報データとしてＩＳＯ感度が含まれている場合には、この情報に基づいて、基準画像データ及び視差画像データに対して、平滑化処理（ホワイトノイズ除去）処理を施す。
【０１８１】
以上説明したように、画像処理装置２００によれば、ヘッダ情報解析部２０２の解析により、入力されたデータファイルのヘッダ領域に記録されている添付識別情報が判別されると、差分画像データ読み出し部２０３により基準画像データのファイルの所定領域から差分画像データを読み出して基準画像データと差分画像データを分離し、基準画像データと差分画像データから、立体視表示において基準画像データと対を成す視差画像データを生成し、基準画像データと生成された視差画像データの２つの画像の大きさと配置が立体視表示に最適なように調整して立体視表示用画像データを生成して記録デバイス２１３に出力する。ヘッダ情報解析部２０２によりデータファイルのヘッダ領域に撮影情報データが記録されていることが判別された場合には、これを読み出して、立体視表示用画像データを生成する際に、撮影情報データに基づいて画質調整処理を施す。
【０１８２】
従って、入力されたデータが、差分画像データが添付された、立体視表示に用いる基準画像データであることを自動的に判別し、基準画像データと差分画像データから立体視表示用画像データを生成することができる。即ち、上述した撮像装置３０や画像処理装置１００で生成されたデータ構造の基準画像データのファイルが入力されたことを自動的に判別して立体視表示用画像データを生成することができる。これにより、プリンタ等の画像記録装置で出力媒体上に立体視表示用画像を形成して出力する際の画像記録装置側での処理負荷を軽減することができる。
【０１８３】
更に、立体視表示用画像データ生成時に、撮影情報データに基づいて画質調整処理を施すので、立体視表示画像の画質を向上させることができる。
【０１８４】
＜画像処理装置２００Ａの構成＞
次に、入力された基準画像データ（差分画像データが添付され、添付識別情報及び撮影情報データがヘッダ領域にタグ情報として記録されているデータ）がシーン参照画像データである場合に好適な処理を行うことが可能な画像処理装置２００Ａについて説明する。図１６に、画像処理装置２００Ａの機能的構成を示す。
【０１８５】
図１６に示すように、画像処理装置２００Ａは、上述した画像処理装置２００の立体視表示用画像データ生成部２０８が鑑賞画像参照データ生成部２１５を有する構成とし、更に、シーン参照画像データ再現用データ生成部２１６を追加した構成である。
【０１８６】
鑑賞画像参照データ生成部２１５は、基準画像データ生成部２０７から入力されたシーン参照画像データの基準画像データと、第一処理部２１１で生成されたシーン参照画像データの視差画像データの双方に対して、撮影情報データ読み出し部２１７により読み出された撮影情報データに基づいて画質調整処理を施すとともに、出力条件設定入力部２０９から入力された情報に基づいて出力媒体上（ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等）で最適な鑑賞画像が得られるよう最適化処理を施し、上記それぞれのデータを鑑賞画像参照データに変換する。
【０１８７】
シーン参照画像データ再現用データ生成部２１６は、シーン参照画像データの基準画像データと、鑑賞画像参照データに変換された基準画像データとの差分を計算し、シーン参照画像データ再現用の差分データ（以下、シーン参照画像データ再現用データと称する）を抽出する。そして、差分画像データと、抽出されたシーン参照画像データ再現用データとを鑑賞画像参照データの基準画像データに添付して添付済みデータファイルを作成するとともに、生成されたファイルのヘッダ領域に、添付識別情報、基準画像データが鑑賞画像参照データであることを示す情報及びシーン参照画像データ再現用のデータが添付されていることを示す情報をタグ情報として記録する。
【０１８８】
その他の画像処理装置２００Ａの構成は画像処理装置２００と同様であるので、説明を省略する。
【０１８９】
＜画像処理装置２００Ａの動作＞
図１７は、画像処理装置２００Ａの各部が連携することにより実行される立体視表示用画像データ生成処理Ｂを示すフローチャートである。以下、図１７を参照して画像処理装置２００Ａの動作について説明する。
【０１９０】
図８（ａ）に示すシーン参照画像データの基準画像データのファイルが記録された記憶メディアが装着されると、入力部２０１により、記憶メディアに記録された基準画像データが入力される（ステップ３１）。次いで、ヘッダ情報解析部２０２により基準画像データのファイルのヘッダ領域のタグ情報が解析され、添付識別情報及び撮影情報データが判別される（ステップＳ３２）。ヘッダ情報解析部２０２の判別結果に基づき、撮影情報データ読み出し部２１７により撮影情報データが読み出され、鑑賞画像参照データ生成部２１５へ出力される（ステップＳ３３）。また、ヘッダ情報解析部２０２の判別結果に基づき、差分画像データ読み出し部２０３によりファイルの所定領域から差分画像データが読み出されて基準画像データと差分画像データが分離され（ステップＳ３４）、差分画像データ生成部２０４により加工が施されて画像処理可能な差分画像データが生成され（ステップＳ３５）、視差画像データ生成部２０５へ出力される。
【０１９１】
次いで、視差画像データ生成部２０５において、シーン参照画像データの基準画像データと差分画像データから、シーン参照画像データの視差画像データが生成される（ステップＳ３６）。立体視表示用画像データ生成部２０８の鑑賞画像参照データ生成部２１５において、撮影情報データ読み出し部２１７により読み出された撮影情報データに基づいて、シーン参照画像データの基準画像データ及び視差画像データのそれぞれに画質調整処理が施され（ステップＳ３７）、出力条件設定入力部２０９より入力された出力条件に基づいて、出力媒体上で最適な鑑賞画像が得られるよう最適化処理が施され、鑑賞画像参照データに変換される（ステップＳ３８）。なお、ステップＳ３７において、基準画像データ及び視差画像データに施される画質調整処理については、上述した画像処理装置２００における立体視表示用画像データ生成処理ＡのステップＳ２７で説明した処理と同様であるので、説明は省略する。
【０１９２】
鑑賞画像参照データに変換された基準画像データ及び差分画像データは、出力条件設定入力部２０９より入力された出力条件に基づいて、基準画像データと生成された視差画像データの２つの画像の大きさと配置がステレオペアの立体視表示に最適なように調整され、一時記憶メモリ２１０を介して、一つの立体視表示用画像データとして記憶デバイス２１３に出力される（ステップＳ３９）。
【０１９３】
一方、シーン参照画像データ再現用データ生成部２１６において、シーン参照画像データの基準画像データと鑑賞画像参照データに変換された基準画像データとの差分データが抽出され（ステップＳ４０）、シーン参照画像データ再現用データが生成される（ステップＳ４１）。そして、差分情報、即ち抽出されたシーン参照画像データ再現用データとステップＳ３５で生成された差分画像データが鑑賞画像参照データの基準画像データに添付され（ステップＳ４２）、更に、生成されたファイルのヘッダ領域に、添付識別情報、基準画像データが鑑賞画像参照データであることを示す情報、シーン参照画像データ再現用のデータが添付されていることを示す情報がタグ情報として記録されて添付済みデータファイルが作成され（ステップＳ４３）、鑑賞画像参照データの基準画像データとして一時記憶メモリを介して記憶デバイス２１３に出力される（ステップＳ４４）。
【０１９４】
図８（ｂ）は、画像処理装置２００Ａで作成されるデータファイルのデータ構造を示す図である。図８（ｂ）に示すように、画像処理装置２００Ａにより、基準画像データ領域、シーン参照画像データ再現用データ領域、差分画像データ領域、ヘッダ領域を有するデータファイルを生成することができる。
【０１９５】
以上説明したように、画像処理装置２００Ａによれば、シーン参照画像データの基準画像データから、出力媒体上で最適な鑑賞画像となるように最適化された立体視表示用画像データを生成することができる。また、鑑賞画像参照データに変換された基準画像データに、シーン参照画像データ再現用データ及び視差画像データ生成用の差分画像データを添付したファイルを生成し、生成されたファイルのヘッダ領域に、添付識別情報、基準画像データが鑑賞画像参照データであることを示す情報、シーン参照画像データ再現用のデータが添付されていることを示す情報がタグ情報として記録することができるので、鑑賞画像参照データの基準画像データから、他の画像処理装置や画像記録装置で出力条件に応じて最適化した立体視表示用画像データを生成することができる。更に、基準画像データ及び視差画像データに、撮影情報データに基づいて画質調整処理を施して立体視表示用画像データを生成するので、立体視表示用画像の画質向上を図ることができる。
【０１９６】
＜画像記録装置３０１の構成＞
次に、本発明に係る画像記録装置の好ましい実施の形態について説明する。
図１８は本発明に係る画像記録装置３０１の外観構成を示す斜視図である。この実施の形態における画像記録装置３０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力媒体として用いる出力デバイスとを備えた例である。
【０１９７】
画像記録装置３０１において、本体３０２の左側面にマガジン装填部３０３が設けられ、本体３０２内には出力媒体である銀塩印画紙に露光する露光処理部３０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部３０５が備えられている。作成されたプリントは本体３０２の右側面に設けられたトレー３０６に排出される。さらに、本体３０２の内部には、露光処理部３０４の上方位置に制御部３０７が備えられている。
【０１９８】
また、本体３０２の上部には、ＣＲＴ３０８が配置されている。このＣＲＴ３０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ３０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部３０９が配置され、右側に反射原稿入力装置３１０が配置されている。
【０１９９】
フィルムスキャナ部３０９や反射原稿入力装置３１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部３０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置３１０のフラットベッドスキャナで駒画像データに変換することができる。
【０２００】
本体３０２の制御部３０７の配置位置には、画像読込部３１４が設けられている。画像読込部３１４はＰＣカード用アダプタ３１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ３１４ｂを備え、ＰＣカード３１３ａやＦＤ（フロッピー（登録商標）ディスク）３１３ｂが差し込み可能になっている。ＰＣカード３１３ａは、デジタルカメラで撮像して複数の駒画像データ（撮像画像データ）が記憶されたメモリを有する。ＦＤ３１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０２０１】
ＣＲＴ３０８の前方には、操作部３１１が配置され、この操作部３１１は情報入力手段３１２を備える。情報入力手段３１２は、例えばタッチパネル等で構成される。
【０２０２】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリスティック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部３１１、ＣＲＴ３０８、フィルムスキャナ部３０９、反射原稿入力装置３１０、画像読込部３１４は、本体３０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０２０３】
更に、本体３０２の制御部３０７の配置位置には、画像書込部３１５が設けられている。画像書込部３１５にはＦＤ用アダプタ３１５ａ、ＭＯ用アダプタ３１５ｂ、光ディスク用アダプタ３１５ｃが備えられ、ＦＤ３１６ａ、ＭＯ３１６ｂ、光ディスク３１６ｃが差し込み可能になっており、画像情報を記憶メディアに書き込むことができるようになっている。
【０２０４】
更に、制御部３０７は通信手段３４０、３４１を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像記録装置として機能することが可能になっている。
【０２０５】
＜画像記録装置３０１の内部構成＞
次に、画像記録装置３０１の内部構成について説明する。
図１９は画像記録装置３０１の内部構成を示すブロック図である。
【０２０６】
画像記録装置３０１の制御部３０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置３０１を構成する各部の動作を集中制御する。
【０２０７】
また、制御部３０７は、画像処理部３７０を有し、操作部３１１の情報入力手段３１２からの入力信号に基づいて、フィルムスキャナ部３０９や反射原稿入力装置３１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部３１４から読み込まれた画像データ、及び通信手段（入力）３４０（図２０に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部３７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、プリントＰ１、Ｐ２、Ｐ３として、或いはＣＲＴ３０８、画像書込部３１５、通信手段（出力）３４１（図２０に図示）等により出力する。
【０２０８】
操作部３１１には、情報入力手段３１２が設けられている。情報入力手段３１２は、例えばタッチパネル等により構成されており、情報入力手段３１２の押下信号を入力信号として制御部３０７に出力する。また、操作部３１１は、キーボードやマウスを備えて構成するようにしてもよい。
【０２０９】
フィルムスキャナ部３０９は、アナログカメラにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置３１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０２１０】
画像読込部３１４は、デジタルカメラにより撮像して記録されたＰＣカード３１３ａやＦＤ３１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部３１４は、画像転送手段３３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ３１４ａに装着されたＰＣカード３１３ａや、ＦＤ用アダプタ３１４ｂに装着されたＦＤ３１３ｂに記録された駒画像データを読み取り、制御部３０７へ転送する。ＰＣカード用アダプタ３１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０２１１】
データ蓄積手段３７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０２１２】
テンプレート記憶手段３７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段３７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部３０７は、駒画像データと当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択されたサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０２１３】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部３１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０２１４】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０２１５】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０２１６】
露光処理部３０４は、画像処理部３７０で画像データを画像処理して生成された出力用の画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部３０５に送る。プリント作成部３０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０２１７】
ＣＲＴ３０８は、制御部３０７から入力される画像情報を表示する。
【０２１８】
画像書込部３１５は、画像搬送部３３１としてＦＤ用アダプタ３１５ａ、ＭＯ用アダプタ３１５ｂ、光ディスク用アダプタ３１５ｃが備えられ、ＦＤ３１６ａ、ＭＯ３１６ｂ、光ディスク３１６ｃが差し込み可能になっており、画像データを記憶メディアに書き込むことができるようになっている。
【０２１９】
更に、画像処理部３７０は、通信手段（入力）３４０（図２０に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成したりすることも可能になっている。
【０２２０】
また、画像処理部３７０は、通信手段３４１（出力）（図２０に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０２２１】
このように画像記録装置３０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報を「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力媒体上で画像を観察する際に好ましい印象を与える画像となるように処理を行う画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは記憶メディアに書き込む画像形成手段、及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（出力）３４１とを有する。
【０２２２】
＜画像処理部３７０の構成＞
図２０は、本発明に係る画像処理部３７０の機能的構成を示すブロック図である。フィルムスキャナ部３０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０２２３】
反射原稿入力装置３１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０２２４】
画像転送手段３３０及び通信手段（入力）３４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等が行われ、画像処理部３７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４において、入力された画像データが、差分画像データが添付された基準画像データであると判別されると、入力された画像データが基準画像データ処理部４０１に出力される。ここで、入力される基準画像データは、シーン参照画像データであっても鑑賞画像参照データであってもよい。入力された画像データがシーン参照画像データである場合は、本画像記録装置３０１により撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像の立体視表示画像が得られるので好ましい。
【０２２５】
出力画像の大きさについての指定は操作部３１１から入力されるが、この他に通信手段（入力）３４０に送信された出力画像の大きさについての指定や、画像転送手段３３０により取得された画像データのヘッダ領域のタグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０２２６】
基準画像データ処理部４０１は、ヘッダ情報解析部４０２、差分画像データ読み出し部４０３、差分画像データ生成部４０４、視差画像データ生成部４０５、基準画像データ生成部４０６、立体視表示用画像データ生成部４０７、撮影情報データ読み出し部４０９を有しており、出力条件設定入力部４０８が接続されている。
【０２２７】
ヘッダ情報解析部４０２は、判別手段として、画像データ書式解読処理部７０４から入力された基準画像データのファイルのヘッダ情報（ヘッダ領域のタグ情報）を解析して添付識別情報及び撮影情報データを判別し、判別結果を差分画像データ読み出し部４０３、視差画像データ生成部４０５、基準画像データ生成部４０６、撮影情報データ読み出し部４０９へ出力する。
【０２２８】
差分画像データ読み出し部４０３は、データ分離手段として、ヘッダ情報解析部４０２による添付識別情報の判別結果に基づいて、入力されたファイルの所定の領域から差分画像データを読み出して、基準画像データと差分画像データを分離する。差分画像データ生成部４０４は、読み出された差分画像データを画像処理可能な状態に加工する。
【０２２９】
視差画像データ生成部４０５は、差分画像データと基準画像データから、立体視表示において基準画像データと対をなす視差画像データを生成する。視差画像データは、下記の演算式により生成される。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ａ２＝Ａ１＋Ｂ
【０２３０】
基準画像データ生成部４０６は、入力されたファイルフォーマットから基準画像データを読み出して、画像処理可能な状態に加工する。
【０２３１】
立体視表示用画像データ生成部４０７は、撮影情報データ読み出し部４０９から入力された撮影情報データ及び出力条件設定入力部４０８から入力された出力条件設定に従って、基準画像データと視差画像データから立体視表示用の画像を生成する。具体的には、撮影情報データに基づいて、基準画像データと視差画像データの双方に対して画質調整処理を施すとともに、図１４に示すように、基準画像と視差画像の２つの画像の視点間距離が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置されるように、ステレオペアの立体視表示用画像データを生成する。なお、入力された基準画像データがシーン参照画像データである場合には、鑑賞画像参照データ生成手段として、撮影情報データに基づいて基準画像データと視差画像データの双方に対して画質調整処理を施すとともに、出力条件設定入力部４０８から入力された情報に基づいて基準画像データと視差画像データの双方に対して出力媒体上（ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等）で最適な鑑賞画像が得られるよう最適化処理を施し、上記それぞれのデータを鑑賞画像参照データに変換した後、基準画像と視差画像の２つの画像の視点間距離が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、それぞれの画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置されるように、ステレオペアの立体視表示用画像データを生成する。
【０２３２】
出力条件設定入力部４０８は、キーボードやＬＣＤ上に構成されたタッチパネル等のユーザインターフェースにより構成され、本画像処理装置３０１にて生成されたデジタル画像データの出力設定（例えば、出力先のデバイスの種類、出力サイズ等）に関する情報が入力されると、この情報を立体視表示用画像データ生成部４０７へ出力する。なお、出力条件設定入力部４０８は、操作部３１１と一体であってもよい。
【０２３３】
撮影情報データ読み出し部４０９は、ヘッダ情報解析部４０２において、ヘッダ領域へ撮影情報データが記録されていると解析された場合に、入力されたファイルのヘッダ領域から撮影情報データを読み出して、立体視表示用画像データ生成部４０７へ出力する。
【０２３４】
基準画像データ処理部４０１で生成された立体視表示用画像データは、画像調整処理部７０１へ出力される。
【０２３５】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段３７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部３１１又は制御部３０７の指令に基づき、フィルムスキャナ部３０９、反射原稿入力装置３１０、画像転送手段３３０、通信手段（入力）３４０、テンプレート処理部７０５、基準画像データ処理部４０１から受け取った画像データに対して、出力媒体上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行って出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段３７１へ送出する。
【０２３６】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データを画像形成手段としてのＣＲＴ３０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、画像形成手段としての露光処理部３５１に画像データを送出する。本発明の画像記録装置３０１に、さらに、画像形成手段としての大判インクジェットプリンタなど、外部プリンタ装置３５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０２３７】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３３１や通信手段（出力）３４１へ画像データを転送する。
【０２３８】
なお、基準画像データ処理部４０１において作成される立体視表示用画像データは、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９における処理を前提としたものであり、画像データ書式作成処理部７０９においては、立体視表示用画像データの書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０２３９】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部３７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２４０】
また、ヘッダ情報解析部４０２、差分画像データ読み出し部４０３、差分画像データ生成部４０４、視差画像データ生成部４０５、基準画像データ生成部４０６、立体視表示用画像データ生成部４０７、撮影情報データ読み出し部４０９という区分は、画像処理部３７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２４１】
＜画像処理部３７０の動作＞
図２１は、画像処理部３７０の各部が連携することにより実行される立体視表示用画像形成処理を示すフローチャートである。以下、図２１を参照して画像処理部３７０各部の動作について説明する。
【０２４２】
画像転送手段３３０又は通信手段（入力）３４０から画像処理部３７０にデータが入力され、画像データ書式解読処理部７０４により当該入力データが立体視表示用の基準画像データのファイルであると判別されると（ステップＳ５１）、ヘッダ情報解析部４０２により基準画像データのファイルフォーマットのヘッダ情報が解析され、添付識別情報及び撮影情報データが判別される（ステップＳ５２）。ヘッダ情報解析部４０２の判別の結果に基づき、撮影情報データ読み出し部４０９により撮影情報データが読み出され、立体視表示用画像データ生成部４０７へ出力される（ステップＳ５３）。また、ヘッダ情報解析部４０２の判別の結果に基づき、差分画像データ読み出し部４０３により、ファイルの所定領域から差分画像データが読み出されて基準画像データと差分画像データが分離され（ステップＳ５４）、差分画像データ生成部４０４により加工が施されて画像処理可能な差分画像データが生成され（ステップＳ５５）、視差画像データ生成部４０５へ出力される。
【０２４３】
次いで、視差画像データ生成部４０５において、基準画像データと差分画像データから、視差画像データが生成され（ステップＳ５６）、立体視表示用画像データ生成部４０７において、基準画像データ及び視差画像データのそれぞれに、撮影情報データ生成部４０９により入力された撮影情報データに基づいて、画質調整処理が施され（ステップＳ５７）、出力条件設定入力部４０８より入力された出力条件に基づいて、出力媒体上で最適な鑑賞画像が得られるよう最適化処理が施され、鑑賞画像参照データに変換される（ステップＳ５８）。なお、入力された基準画像データが鑑賞画像参照データである場合は、当該ステップを省略してもよい。
【０２４４】
なお、ステップＳ５７において、基準画像データ及び視差画像データに施される画質調整処理については、上述した画像処理装置２００における立体視表示用画像データ生成処理ＡのステップＳ２７で説明した処理と同様であるので、説明は省略する。
【０２４５】
次いで、立体視表示用画像データ生成部４０７において、出力条件設定入力部４０８より入力された出力条件に基づいて、基準画像データと視差画像データの２つの画像の大きさと配置がステレオペアの立体視表示に最適なように調整され、立体視表示用画像データが生成される（ステップＳ５９）。そして、立体視表示用画像データは出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力され、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ６０）、出力条件設定入力部４０８により指定された出力先において、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、立体視表示用の鑑賞画像が形成される（ステップＳ６１）。
【０２４６】
以上説明したように、本発明の画像記録装置３０１によれば、入力された画像データを解読し、入力された画像データが立体視表示用の基準画像データである場合には、基準画像データと、基準画像データに添付されている差分画像データちから立体視表示用画像データを生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に鑑賞画像を形成する。従って、立体視表示用に撮影された撮像画像データと、立体視表示用ではない通常の撮像画像データの両者が混在した状態での効率的なプリント作成が可能となる。更に、基準画像データ及び視差画像データに対して、撮影情報データに基づいて画質調整処理を施すので、立体視表示画像の画質向上を図ることができる。
【０２４７】
なお、上記実施の形態における記述内容は、本発明の撮像装置、画像処理装置、画像記録装置の好適な一例であり、これに限定されるものではない。また、各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【０２４８】
【発明の効果】
請求項１、８、１２に記載の画像処理方法、撮像装置、画像処理装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データの中から基準画像データを少なくとも１つ選定し、選定された基準画像データと他の撮像画像データとの差分画像データを抽出し、抽出された差分画像データを基準画像データに添付し、差分画像データが添付されていることを示す添付識別情報を基準画像データに添付する。
【０２４９】
従って、同一被写体を異なる視点から撮影して得られた複数の撮像画像データ、即ち、立体視表示用に撮影された複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、複数の撮像画像データの中から立体視表示用に撮影された撮像画像データを検索する際の検索効率の向上、立体視表示に対応していないプリンタでの基準画像データでの１枚の写真プリントとしての出力等が可能となる。その結果、立体視表示用に撮影された撮像画像データと、同一被写体を一つの視点から撮影した通常の撮像画像データとの互換性を向上し、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【０２５０】
また、基準画像データには撮影情報データが添付されているので、他の画像処理装置や画像記録装置において、撮影情報データに基づいて、立体視表示用画像を生成する際に画質を向上させる処理を施すことができる。
【０２５１】
請求項４、１５、１９に記載の画像処理方法、画像処理装置、画像記録装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、基準画像データに差分画像データが添付されていることを示す添付識別情報、及び、撮影情報データが入力されると、添付識別情報に基づいて、基準画像データと差分画像データを分離し、分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成し、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成する。更に、画像記録装置は、生成された立体視表示用の画像データを出力媒体上に形成する。
【０２５２】
従って、入力された撮像画像データが、差分画像データが添付された、立体視表示用に撮影された基準画像データ、即ち、上述した請求項１、８、１２に記載の発明の画像処理方法、撮像装置、画像処理装置により生成された形式のデータであることを自動的に判別し、基準画像データと差分画像データから立体視表示用画像データを生成することができ、効率的な立体視表示用画像データの生成が可能となる。更に、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成するので、立体視表示用画像の画質の向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置３０の機能的構成を示すブロック図である。
【図２】図１の第一撮像部２１、第二撮像部２２の内部構成を示すブロック図である。
【図３】視点間距離が６ｃｍである場合、立体視表示用の撮像画像データを取得する際に望ましい主要被写体までの距離、角度の関係を示す図である。
【図４】視差量の算出方法を説明するための図である。
【図５】被写体の検出方法を説明するための図である。
【図６】被写体の検出方法を説明するための図である。
【図７】図１の制御部１１の制御により実行される立体視表示用画像撮影・記録処理を示すフローチャートである。
【図８】（ａ）は、撮像装置３０、画像処理装置１００により生成されるファイルのデータ構造を示す図、（ｂ）は画像処理装置２００Ａにより生成されるファイルのデータ構造を示す図、（ｃ）は基準画像データに差分画像データを添付する際の一例を示す図である。
【図９】被写体の種類別の視差量と硬さ補正値の関係を示す図である。
【図１０】被写体の種類別の視差量と明るさ補正値の関係を示す図である。
【図１１】本発明に係る画像処理装置１００の機能的構成を示すブロック図である。
【図１２】図１１の画像処理装置１００の各部が連携することにより実行される基準画像データ出力処理を示すフローチャートである。
【図１３】本発明に係る画像処理装置２００の機能的構成を示すブロック図である。
【図１４】立体視表示用画像データにおける、基準画像と差分画像の配置例を示す図である。
【図１５】図１３の画像処理装置２００の各部が連携することにより実行される立体視表示用画像データ生成処理Ａを示すフローチャートである。
【図１６】本発明に係る画像処理装置２００Ａの機能的構成を示すブロック図である。
【図１７】図１６の画像処理装置２００Ａの各部が連携することにより実行される立体視表示用画像データ生成処理Ｂを示すフローチャートである。
【図１８】本発明に係る画像記録装置３０１の外観斜視図である。
【図１９】図１８の画像記録装置３０１の内部構成を示す図である。
【図２０】図１９の画像処理部３７０の機能的構成を示すブロック図である。
【図２１】図２０の画像記録装置３０１の各部が連携することにより実行される立体視表示用画像データ形成処理を示すフローチャートである。
【符号の説明】
１ レンズ
２ 絞り
３ ＣＣＤ
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ 添付処理部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１２ 基準画像データ選定部
１３ 差分画像データ生成部
１４ 操作部
１５ 表示部
１６ ストロボ駆動回路
１７ ストロボ
１８ 焦点距離調整回路
１９ 自動焦点駆動回路
２０ モータ
２１ 第一撮像部
２２ 第二撮像部
２３ 撮影情報データ生成部
３０ 撮像装置
１００、２００、２００Ａ 画像処理装置
１０１、２０１ 入力部
１０２ 基準画像データ選定部
１０３ 視差情報抽出部
１０４、２０４ 差分画像データ生成部
１０５ 差分画像データ添付部
１０６、１０８、２０６、２１０ 一時記憶メモリ
１０７ ヘッダ情報記録部
１０９、２１４ 制御部
１１０、２１３ 記憶デバイス
１１１ 撮影情報データ取得部
２０２ ヘッダ情報解析部
２０３ 差分画像データ読み出し部
２０５ 視差画像データ生成部
２０７ 基準画像データ生成部
２０８ 立体視表示用画像データ生成部
２０９ 出力条件設定入力部
２１１ 第一処理部
２１２ 第二処理部
２１５ 鑑賞画像参照データ生成部
２１６ シーン参照画像データ再現用データ生成部
２１７ 撮影情報データ読み出し部
３０１ 画像記録装置
３０２ 本体
３０３ マガジン装填部
３０４ 露光処理部
３０５ プリント作成部
３０６ トレー
３０７ 制御部
３０８ ＣＲＴ
３０９ フィルムスキャナ部
３１０ 反射原稿入力装置
３１１ 操作部
３１２ 情報入力手段
３１３ａ ＰＣカード
３１３ｂ ＦＤ
３１４ 画像読込部
３１４ａ ＰＣカード用アダプタ
３１４ｂ ＦＤ用アダプタ
３１５ 画像書込部
３１５ａ ＦＤ用アダプタ
３１５ｂ ＭＯ用アダプタ
３１５ｃ 光ディスク用アダプタ
３１６ａ ＦＤ
３１６ｂ ＭＯ
３１６ｃ 光ディスク
３３０ 画像転送手段
３３１ 画像搬送部
３４０ 通信手段（入力）
３４１ 通信手段（出力）
３５１ 外部プリンタ
３７０ 画像処理部
３７１ データ蓄積手段
３７２ テンプレート記憶手段
７０１ 画像調整処理部
７０２ フィルムスキャンデータ処理部
７０３ 反射原稿スキャンデータ処理部
７０４ 画像データ書式解読処理部
７０５ テンプレート処理部
７０６ ＣＲＴ固有処理部
７０７ プリンタ固有処理部１
７０８ プリンタ固有処理部２
７０９ 画像データ書式作成処理部
４０１ 基準画像データ処理部
４０２ ヘッダ情報解析部
４０３ 差分画像データ読み出し部
４０４ 差分画像データ生成部
４０５ 視差画像データ生成部
４０６ 基準画像データ生成部
４０７ 立体視表示用画像データ生成部
４０８ 出力条件設定入力部
４０９ 撮影情報データ読み出し部
【発明の属する技術分野】
本発明は、立体視表示に用いる撮像画像データの画像処理方法、前記画像処理方法を用いた撮像装置、画像処理装置及び画像記録装置に関する。
【０００２】
【従来の技術】
平面に配置された画像により３次元（立体）画像表示を行う裸眼立体視（以下、立体視表示と称する）が知られている。立体視表示には様々な方式があるが、共通して視差を生じさせる為の２枚の画像を必要とする。
【０００３】
立体視表示のための２枚の画像は、同一の被写体を異なる視点から撮影したものであり、自然な遠近感をつけるために、視点間距離、すなわちレンズ間の距離は、人間の両目間の距離と等しい約６、７ｃｍに設定される。
【０００４】
ステレオペアと称される立体視表示では、上述した視差を生じさせる２枚の画像が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、平面上に並べて配置される。
【０００５】
平面に配置された立体視表示の画像の観察方法には、右に置かれた画像の一つを右目で観る並行法と、右に置かれた画像の一つを左目で観る交差法とがある。並行法は観察時、目に余計な力が不要で楽に観られる反面、大きな画像を観ることは出来ない。一方、交差法は、寄り目にして観るので目が疲れ易い反面、大きな画像を観ることが出来る。
【０００６】
近年、急激なデジタルカメラの普及に伴い、デジタルカメラで上述した立体視表示に用いる画像を撮影し、立体視表示を楽しむ機会も増えている。例えば、撮影光学系を１つしか持たない一般的なデジタルカメラにおいて、同一被写体に関し連続して２度の撮影を行い、２度目の撮影前に、撮影者の立ち位置を横にずらして立体視表示用の撮像画像データを撮影させる補助機能を備えたデジタルカメラが提案されている。
【０００７】
立体視表示用の画像を記録する際には、例えば、特許文献１〜３のように２つの画像の差分を利用する技術が提案されている。
【０００８】
また、立体視表示用の撮像画像データを、立体地図を作成する為の高度計測データや、医療現場における診断データ（例えばＸ線写真）を取得することに利用したり、昆虫標本の選別に用いたりするなど、立体視表示画像を用いた画像処理方法や新規な活用事例が数多く提案されつつある。
【０００９】
一方、デジタルカメラで撮影された撮像画像データは、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされたりするなど、その表示・プリント方法は多種多様化してきている。
【００１０】
また、撮像画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【００１１】
こうした多様の表示・プリント方法に対応して、撮像画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くの撮像画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ Ｍｅａｓｕｒｍｅｎｔ ａｎｄ Ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ ＲＧＢ Ｃｏｌｏｕｒ Ｓｐａｃｅ−ｓＲＧＢ」ＩＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【００１２】
一般的なデジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単に「ＣＣＤ」とも称す）を備えている。
【００１３】
デジタルカメラにより出力される撮像画像データは、ＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正（例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画像処理）が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【００１４】
このようなデータフォーマットとしては、例えばＥｘｉｆファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ Ｔｉｆｆ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、及びＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【００１５】
前記Ｅｘｉｆファイルは、前記ｓＲＧＢに準拠したものであり、前記撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【００１６】
例えば、どのようなデジタルカメラであっても、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」とも称す）で表示する事を示すタグ情報、や画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報を撮像画像データのファイルヘッダにメタデータとして書き込む機能、及びそのようなデータフォーマット形式を採用してさえいれば、前記撮像画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）はタグ情報を解析し、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処置を施すことが出来るため、異なるディスプレイ間の差異を低減したり、デジタルカメラで撮影された撮像画像データの最適な状態での鑑賞を可能にしている。
【００１７】
また前記付加情報としては、前記機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）が用いられており、画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１８】
【特許文献１】
特開平１０−２８２７４号公報
【特許文献２】
特開平６−３０４４５号公報
【特許文献３】
特開平７−３０９２４号公報
【００１９】
【発明が解決しようとする課題】
ところで、上述の如く、立体視表示がより身近なものとなり、活用の機会も増える一方、立体視表示用に撮影された撮像画像データの汎用性や利便性への対応が、立ち遅れているのが現状である。
【００２０】
例えば、複数の撮像画像データの中から立体視表示用の撮像画像データを自動検索したり、一連の写真プリント作成処理の流れの中で、通常の写真プリントと、立体視表示の写真プリントとを同時に処理したりすることができない。
【００２１】
また、立体視表示の画像のハードコピー作成に対応していない出力デバイスにおいて、一方の画像のみを用いて通常のハードコピーを作成するなどの処理を効率的に実行することができない。
【００２２】
本発明の課題は、立体視表示用の撮像画像データを汎用性・利便性の高い方法で記録する画像処理方法、及びこれを用いた撮像装置、画像処理装置、画像記録装置を提供することである。
【００２３】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データから、１つの撮像画像データを出力する画像処理方法において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する工程と、
前記選定された基準画像データと他の撮像画像データとの差分画像データを抽出する工程と、
前記抽出された差分画像データを前記基準画像データに添付する工程と、
前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する工程と、
を含むことを特徴としている。
【００２４】
請求項２に記載の発明は、請求項１に記載の発明において、
前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付する工程を含むことを特徴としている。
【００２５】
請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記撮像画像データが、シーン参照画像データであることを特徴としている。
【００２６】
請求項４に記載の発明は、
入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力する画像処理方法において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する工程と、
前記添付識別情報に基づいて、前記基準画像データと前記差分画像データを分離する工程と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する工程と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する工程と、
を含むことを特徴としている。
【００２７】
請求項５に記載の発明は、請求項４に記載の発明において、
前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴としている。
【００２８】
請求項６に記載の発明は、請求項４又は５に記載の発明において、
前記入力撮像画像データが、シーン参照画像データであり、前記基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する工程を含むことを特徴としている。
【００２９】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００３０】
請求項８に記載の発明は、
同一被写体を異なる視点から撮影して複数の撮像画像データを得る撮像装置において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する基準画像データ選定手段と、
前記選定された基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出する差分画像データ生成手段と、
前記抽出された差分画像データを前記基準画像データに添付し、更に前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する添付処理手段と、
を備えたことを特徴としている。
【００３１】
請求項９に記載の発明は、請求項８に記載の発明において、
前記添付処理手段は、前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付することを特徴としている。
【００３２】
請求項１０に記載の発明は、請求項８又は９に記載の発明において、
前記撮像画像データが、シーン参照画像データであることを特徴としている。
【００３３】
請求項１１に記載の発明は、請求項８〜１０の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００３４】
請求項１２に記載の発明は、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データから、１つの撮像画像データを出力する画像処理装置において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する基準画像データ選定手段と、
前記基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出する差分画像データ抽出手段と、
前記抽出された差分画像データを前記基準画像データに添付する差分画像データ添付手段と、
前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する情報添付手段と、
を備えたことを特徴としている。
【００３５】
請求項１３に記載の発明は、請求項１２に記載の発明において、
前記情報添付手段は、前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付することを特徴としている。
【００３６】
請求項１４に記載の発明は、請求項１２又は１３に記載の発明において、
前記撮像画像データが、シーン参照画像データであることを特徴としている。
【００３７】
請求項１５に記載の発明は、
入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力する画像処理装置において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する入力手段と、
前記添付識別情報及び前記撮影情報データを判別する判別手段と、
前記判別結果に基づいて、前記基準画像データと前記差分画像データを分離するデータ分離手段と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する視差画像データ生成手段と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する立体視表示用画像データ生成手段と、
を備えたことを特徴としている。
【００３８】
請求項１６に記載の発明は、請求項１５に記載の発明において、
前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴としている。
【００３９】
請求項１７に記載の発明は、請求項１５又は１６に記載の発明において、
前記入力撮像画像データが、シーン参照画像データであり、
前記立体視表示用画像データ生成手段は、前記シーン参照画像データの基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データに変換された基準画像データ及び視差画像データに基づいて、立体視表示用の画像データを生成することを特徴としている。
【００４０】
請求項１８に記載の発明は、請求項１２〜１７の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００４１】
請求項１９に記載の発明は、
入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力媒体上に鑑賞画像を形成する画像記録装置において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する入力手段と、
前記添付識別情報及び前記撮影情報データを判別する判別手段と、
前記判別結果に基づいて、前記基準画像データと前記差分画像データを分離するデータ分離手段と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する視差画像データ生成手段と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する立体視表示用画像データ生成手段と、
前記生成された立体視表示用の画像データに基づいて、出力媒体上に立体視表示用の鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００４２】
請求項２０に記載の発明は、請求項１９に記載の発明において、
前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴としている。
【００４３】
請求項２１に記載の発明は、請求項１９又は２０に記載の発明において、
前記入力撮像画像データが、シーン参照画像データであり、
前記立体視表示用画像データ生成手段は、前記基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データに変換された基準画像データ及び視差画像データに基づいて、立体視表示用の画像データを生成することを特徴としている。
【００４４】
請求項２２に記載の発明は、請求項１９〜２１の何れか一項に記載の発明において、
前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴としている。
【００４５】
請求項１、８、１２に記載の画像処理方法、撮像装置、画像処理装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データの中から基準画像データを少なくとも１つ選定し、選定された基準画像データと他の撮像画像データとの差分画像データを抽出し、抽出された差分画像データを基準画像データに添付し、差分画像データが添付されていることを示す添付識別情報及び撮影情報データを基準画像データに添付する。
【００４６】
従って、同一被写体を異なる視点から撮影して得られた複数の撮像画像データ、即ち、立体視表示用に撮影された複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、複数の撮像画像データの中から立体視表示用に撮影された撮像画像データを検索する際の検索効率の向上、立体視表示に対応していないプリンタでの基準画像データでの１枚の写真プリントとしての出力等が可能となる。その結果、立体視表示用に撮影された撮像画像データと、同一被写体を一つの視点から撮影した通常の撮像画像データとの互換性を向上し、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【００４７】
また、基準画像データには撮影情報データが添付されているので、他の画像処理装置や画像記録装置において、撮影情報データに基づいて、立体視表示用画像を生成する際に画質を向上させる処理を施すことができる。
【００４８】
請求項１、８、１２に記載の画像処理方法、撮像装置、画像処理装置において、添付識別情報及び撮影情報データは、撮像画像データのヘッダ領域にタグ情報として記録されることが好ましい。また、撮像画像データは、出力先に応じて最適な画像データに処理することができるようにするため、撮影により得られた情報から情報損失のないシーン参照画像データとして出力することが好ましい。更に、撮影情報データとしては、撮影時の視差量、被写体距離、被写体の種類に関する情報のうち少なくとも一つの情報が含まれていることが好ましい。
【００４９】
請求項４、１５、１９に記載の画像処理方法、画像処理装置、画像記録装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、基準画像データに差分画像データが添付されていることを示す添付識別情報及び撮影情報データが入力されると、添付識別情報に基づいて、基準画像データと差分画像データを分離し、分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成し、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成する。更に、画像記録装置は、生成された立体視表示用の画像データを出力媒体上に形成する。
【００５０】
従って、入力された撮像画像データが、差分画像データが添付された、立体視表示用に撮影された基準画像データ、即ち、上述した請求項１、８、１２に記載の発明の画像処理方法、撮像装置、画像処理装置により生成された形式のデータであることを自動的に判別し、基準画像データと差分画像データから立体視表示用画像データを生成することができ、効率的な立体視表示用画像データの生成が可能となる。更に、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成するので、立体視表示用画像の画質の向上させることができる。
【００５１】
請求項４、１５、１９に記載の画像処理方法、画像処理装置、画像記録装置において、添付識別情報及び撮影情報データは撮像画像データのヘッダ領域にタグ情報として記録されることが好ましい。また、入力される撮像画像データは、撮影により得られた情報から情報損失のないシーン参照画像データであることが好ましく、シーン参照画像データの基準画像データ及び視差画像データに、出力媒体上で最適な画像とするための最適化処理を施してシーン参照画像データに変換することで、出力媒体上でより最適な画像を得ることができる。更に、撮影情報データとしては、撮影時の視差量、被写体距離、被写体の種類に関する情報のうち少なくとも一つの情報が含まれていることが好ましい。
【００５２】
次に、本明細書の請求項の記載において使用される用語について詳細に説明する。
【００５３】
本明細書の請求項の記載において、「同一被写体を異なる視点から撮影して得られた複数の撮像画像データ」とは、撮像装置によって撮影された、ステレオペアによる立体視表示に必要な、少なくとも２枚からなる撮像画像データである。本明細書の記載において、「立体視表示用の複数の撮像画像データ」を同義として用いる。
【００５４】
立体視表示用の複数の撮像画像データの取得には、下記３つの方法が挙げられる。
１．１台の撮像装置の位置を変えて、少なくとも２回の撮影によって行う方法
２．２台の撮像装置の間隔を開けて配置して、夫々１回の撮影により行う方法
３．所定の間隔で配置された２つの撮像光学系を有する１台の撮像装置を用いる方法
【００５５】
請求項１に記載の画像処理方法で用いる複数の撮像画像データの取得、並びに請求項８の撮像装置には、上記３．の２つの撮像光学系を有する１台の撮像装置を用いることが望ましい。
【００５６】
また、「撮像画像データ」は、請求項３、１０、１４に記載のようにシーン参照画像データであることが望ましい。以下、シーン参照データについて詳細を述べる。
【００５７】
「シーン参照画像データ」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を「ｓｃＲＧＢ」（ｒｅｌａｔｉｖｅ ｓｃｅｎｅ ＲＧＢ ｃｏｌｏｒ ｓｐａｃｅ）、「ＲＩＭＭ ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）や「ＥＲＩＭＭ ＲＧＢ」（Ｅｘｔｅｎｄｅｄ Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）などの標準色空間にマッピング済みであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｖｅｒｓｉｏｎ ｆｕｎｃｔｉｏｎ， 例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。
【００５８】
シーン参照画像データの情報量（例えば階調数）はＡ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００５９】
また、「異なる視点」の間の距離（以下、「視点間距離」と称す）、すなわちレンズ間の距離は、特殊な場合を除き、自然な遠近感をつけるために人間の両目間の距離と同じ約６、７ｃｍに設定されていることが望ましい。特殊な例としては、撮影位置から遠くに配置された被写体の立体感を強調したいといった場合がある。このような場合、視点間距離を倍に設定することで、被写体までの距離を半分にしたのと同じ効果が得られる。逆に、小さいものを接写のように撮影する場合では、視点間距離を縮めることにより、立体感が強調される。
【００６０】
立体視表示用の撮像画像データを取得する際の主要被写体までの距離は、視点間距離が６ｃｍである場合、図３に示すように、１〜４ｍ程度とすることが望ましい。これを被写体までの角度（輻湊角）にすると、約１〜４度の範囲となる。
【００６１】
例えば小さな被写体を、距離が１０ｃｍのところに置いた場合、被写体までの角度を４度以下にするには視点間距離を６ｍｍ以下に調整しなければならない。これとは正反対に、１００ｍ先でも十分に視認される大きな被写体である場合、被写体までの角度を４度に設定するには視点間距離を約６ｍに調整しなければならない。
【００６２】
よって、前記２つの撮像光学系が約６ｃｍ間隔で配置された１台の撮像装置を用いて、十分な立体感を得るには、撮像装置から１〜４ｍの距離において、撮影可能な大きさの被写体であることが望ましい。
【００６３】
「複数の撮像画像データから、１つの撮像画像データを出力する」とは、ステレオペアによる立体視表示の為に必要な少なくとも２つの撮像画像データを、立体視表示時以外では、ただ１つの撮像画像データとして扱うことが出来るよう、所定のファイル形式に加工することである。
【００６４】
「基準画像データを少なくとも１つ選定する」とは、ステレオペアによる立体視表示の為に必要な少なくとも２つの撮像画像データの中から、立体視表示以外の表示、或いはハードコピー出力を行うための撮像画像データを少なくとも１つ決定することである。
【００６５】
「差分画像データ」とは、立体視表示用の複数の撮像画像データのうち選定された基準画像データと他の撮像画像データとの差分内容として視差情報が保持されたデジタル画像データである。従って、遠景を被写体とした撮影シーンの場合、差分画像データは極めて小さな値を示す。
【００６６】
「基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出し」とは、基準画像データと他の撮像画像データとの視差情報を抽出することであり、下記演算式を処理例に挙げることが出来る。
なお、本明細書の記載において、基準画像データに対する他の撮像画像データを視差画像データと称する。
（式１）Ｂ＝Ａ１−Ａ２
Ａ１：基準画像データ、Ａ２：視差画像データ（他の撮像画像データ）、Ｂ：差分画像データ
【００６７】
「差分画像データを前記基準画像データに添付する」とは、基準画像データの一部に記録することであり、ファイル領域を区切って記録するファイルフォーマットの例を図８（ｃ）に示す。
【００６８】
「差分画像データが添付されていることを示す添付識別情報を、基準画像データに添付する」とは、撮像画像データの内容を示す指標や、再処理時に必要な付加情報を、被写体に関する情報が記録された領域とは異なる領域に記録することである。請求項２、５、９、１３、１６、２０に記載のように、差分画像データが添付されていることを示す添付識別情報は、基準画像データのヘッダ領域にタグ情報として記録することが望ましい（図８（ａ）参照）。
【００６９】
請求項４、１５、１９に記載の発明において、「入力撮像画像データ」がシーン参照画像データである場合には、請求項６、１７、２１に記載のように、「出力媒体上での鑑賞に最適化された画像データ」、即ち、「立体視表示用画像データ」が鑑賞画像参照データとなるように変換することが望ましい。以下、鑑賞画像参照データについて詳細を述べる。
【００７０】
「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう「最適化処理」の施されたデジタル画像データである。なお鑑賞画像参照データは、シーン参照画像データを入力データとする画像処理装置、或いは画像記録装置内において、シーン参照画像データから、表示デバイス、出力媒体毎に「最適化処理」を施し生成される。
【００７１】
上記「最適化処理」の具体例としては、ｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合の、ｓＲＧＢ規格の色域内への変換処理がある。よって銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が行われることは言うまでもない。
【００７２】
鑑賞画像参照データを生成した後、シーン参照画像データと鑑賞画像参照との差分データを求め、視差情報の差分画像データと共に、鑑賞画像参照データに添付しても良い。この場合のファイルフォーマットの例を図８（ｂ）に示す。
【００７３】
「前記添付識別情報に基づいて、前記基準画像データと前記差分画像データを分離する」とは、基準画像データのタグ情報を解読し、視差情報である差分画像データを有していた場合、ファイルフォーマットの所定の領域から、差分画像データを読み出し、基準画像データと差分画像データをいつでも画像処理可能な状態にすることである。
【００７４】
「前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する」とは、基準画像データと対を成す視差画像データを生成することであり、下記演算式を処理例に挙げることが出来る。
（式２）Ａ２＝Ａ１＋Ｂ
Ａ１：基準画像データ、Ａ２：視差画像データ、Ｂ：差分画像データ
【００７５】
「前記基準画像データ及び前記視差画像データに基づいて、立体視表示用の画像データを生成する」とは、基準画像と視差画像が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置されるように、ステレオペアの立体視表示用のデジタル画像データ（以下、「立体視表示用画像データ」を同義として用いる）を準備することである（図１４）。
【００７６】
本発明の撮像装置には、デジタルカメラを用いる以外に、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルムを用いるアナログカメラと、写真感光材料の駒画像情報を読み取りデジタル画像データを得るフィルムスキャナ、或いは銀塩印画紙上に再現された画像情報を読み取りデジタル画像データを得るフラットベッドスキャナから構成されていても良い。
【００７７】
また、「撮像画像データ」の入力には、コンパクトフラッシュ（登録商標）、メモリスティック（登録商標）、スマートメディア（登録商標）、マルチメディアカード（登録商標）、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「記憶メディア」用いることが出来る。
【００７８】
他の実施態様として、ネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得しても良いし、或いは撮像装置と画像処理装置、画像記録装置とを有線で接続し、デジタル画像データを直接送信する方式であっても良い。
【００７９】
また、本明細書の記載において、「撮影情報データ」とは、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは視点間距離（ステレオベース）、露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、視差量、被写体距離（範囲）、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などである。これらの情報をファイルヘッダ領域にタグ情報として記録するフォーマット形式として、Ｅｘｉｆファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ Ｔｉｆｆ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、及びＪＰＥＧフォーマットに準拠した圧縮データファイル形式がある。本発明では、前記「撮影情報データ」として、請求項７、１１、１８、２２に記載のように、視差量、被写体距離、被写体の種類の少なくとも１つの情報が添付されていることが望ましい。
【００８０】
「撮影情報データ」を用いて基準画像データと視差画像データに施される画像処理の例としては、下記のものがある。
１．カメラ種別（機種）情報：カメラ機種間差（分光感度特性、光電変換特性）補正
２．ＩＳＯ感度：平滑化（ホワイトノイズ除去）処理
３．視差量、被写体距離（範囲）：階調（硬さ）調整
４．被写体の種類：色再現（階調・彩度）調整、鮮鋭化処理、平滑化処理
【００８１】
【発明の実施の形態】
以下、本発明に係る撮像装置の好ましい実施形態ついて、図面に基づいて説明する。
【００８２】
＜撮像装置３０の構成＞
まず、構成を説明する。
図１は、本発明に係る撮像装置３０の機能的構成を示すブロック図である。撮像装置３０は、同一の被写体に対し、異なる視点から同時又は逐次撮影を行い、立体視表示用の複数の撮像画像データを記録可能なデジタルカメラである。図１に示すように、撮像装置３０は、第一撮像部２１、第二撮像部２２、一時記憶メモリ６、画像処理部７、添付処理部８、記憶デバイス９、制御部１１、基準画像データ選定部１２、差分画像データ生成部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、撮影情報データ生成部２３等を備えて構成されている。
【００８３】
第一撮像部２１、第二撮像部２２は、同一被写体を異なる視点から撮影するために、所定の間隔で配置されており、図２に示すように、それぞれレンズ１、絞り２、ＣＣＤ（固体撮像素子）３、アナログ処理回路４、Ａ／Ｄ変換器５、ＣＣＤ駆動回路１０、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成され、制御部１１の制御により、撮影を行う。
【００８４】
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。ＣＣＤ３は、レンズ１により受光面上に結像された被写体光を、ＣＣＤ３内の各センサ毎に光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、この撮像信号をアナログ処理回路４へ順次出力する。
【００８５】
アナログ処理回路４は、ＣＣＤ３から入力された撮像信号に対して、Ｒ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。Ａ／Ｄ変換器５は、アナログ処理回路４から入力された撮像信号をデジタルの撮像画像データに変換して一時記憶メモリ６へ出力する。
【００８６】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【００８７】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
【００８８】
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【００８９】
ここで、第一撮像部２１と第二撮像部２２のレンズ１間の距離（視点間距離）は、特殊な場合を除き、自然な遠近感をつけるために人間の両目間の距離と同じ約６、７ｃｍに設定されていることが望ましく、本実施の形態においても、視点間距離は約６、７ｃｍに設定されている。
【００９０】
特殊な例としては、撮像装置３０から遠くに配置された被写体の立体感を強調したいといった場合がある。このような場合、視点間距離を倍に設定することで、被写体までの距離を半分にしたのと同じ効果が得られる。逆に、小さいものを接写のように撮影する場合では、視点間距離を縮めることにより、立体感が強調される。
【００９１】
立体視表示用の複数の撮像画像データを取得する際の主要被写体までの距離は、視点間距離が６ｃｍである場合、図３に示すように、１〜４ｍ程度とすることが望ましい。これを被写体までの角度（輻湊角）にすると、約１〜４度の範囲となる。
【００９２】
例えば小さな被写体を、距離が１０ｃｍのところに置いた場合、被写体までの角度を４度以下にするには視点間距離を６ｍｍ以下に調整しなければならない。
これとは正反対に、１００ｍ先でも十分に視認される大きな被写体である場合、被写体までの角度を４度に設定するには視点間距離を約６ｍに調整しなければならない。
【００９３】
よって、第一撮像部２１と第二撮像部２２のレンズ１間が約６ｃｍ間隔で配置されている場合、十分な立体感を得るには、撮像装置３０から１〜４ｍの距離において、撮影可能な大きさの被写体であることが望ましい。
【００９４】
なお、撮像装置３０は、第一撮像部２１と第二撮像部２２の双方を備える構成としてもよいし、一方の撮像部、例えば第二撮像部２２をアダプタ付きのアタッチメントとして撮像装置３０に着脱自在に構成し、立体視表示用の複数の撮像画像データを撮影する際に、第二撮像部２２を、アダプタを介して取り付けるようにしてもよい。また、一方の撮像部を撮像装置３０の長手方向にスライド可能に構成することで、視点間距離を調整したり、視点間距離の異なる複数の画像を撮影したりすることができる。
【００９５】
第一撮像部２１、第二撮像部２２により得られた撮像画像データはバッファメモリ等の一時記憶メモリ６へ出力され、それぞれ一時的に格納される。
【００９６】
画像処理部７は、一時記憶メモリ６へ記憶された各撮像画像データに撮像装置特性補正処理を施して、シーン参照画像データを生成する。撮像装置特性補正処理には、撮像素子の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えばｓｃＲＧＢ、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。その他、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去及びモアレ除去等の周波数処理演算等を施す。
【００９７】
また、画像処理部７は、生成されたシーン参照画像データに対して、表示部１５において最適な画像を得るための最適化処理を施して鑑賞画像参照データを生成する。最適化処理には、例えば、ｓＲＧＢ、ＲＯＭＭ ＲＧＢ（Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）等、表示部１５に適した色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、表示部１５の出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。画像処理部７は、その他、画像サイズの変更、トリミング、アスペクト変換等を行う。シーン参照画像データの出力を指定する操作信号が操作部１４より入力されると、制御部１１の制御により、この画像処理部７における、鑑賞画像参照データの生成が省略される。
【００９８】
添付処理部８は、差分画像データ生成部１３で生成された差分画像データを基準画像データ選定部１２で選定された基準画像データの一部に記録して添付し、添付済みのデータファイルを生成するとともに、ファイルのヘッダ領域に対し、差分画像データが添付されていることを示す添付識別情報、撮影情報データ生成部２３で生成された、撮影情報データをタグ情報として書き込み処理する。
【００９９】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮像画像データを記録するメモリカード等の、撮像装置３０に着脱可能に構成された記憶メディアと、撮像装置３０の制御プログラムが記憶された読み出し可能な記憶デバイスとにより構成されている。
【０１００】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置３０の制御プログラムを読み出して、読み出したプログラムに従って撮像装置３０全体の制御を行う。具体的には、制御部１１は、操作部１４からの操作信号に応じて、第一撮像部２１、第二撮像部２２、ストロボ駆動回路１６等の制御を行い、撮影を行う。
【０１０１】
また、制御部１１は、操作部１４によりシーン参照画像データによる立体視表示用の撮像画像データの出力が指定されると、後述する立体視表示用画像撮影・記録処理を実行する。
【０１０２】
基準画像データ選定部１２は、撮影により得られた立体視表示用の複数の撮像画像データから、基準画像データを選定し、結果を差分画像データ生成部１３、添付処理部８へ出力する。
【０１０３】
差分画像データ生成部１３は、基準画像データ選定部１２により基準画像データとして選定された撮像画像データと、他の撮像画像データ（視差画像データと称する）との視差情報である差分画像データを下記の演算式により抽出し、添付処理部８に出力する。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ｂ＝Ａ１−Ａ２
【０１０４】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。また、操作部１４は、表示部１５の表示画面上を覆うタッチパネルを有し、手指やタッチペン等で押下された表示画面上の力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部１１に出力する。
【０１０５】
表示部１５は、制御部１１からの制御信号により、撮像画像データを表示するとともに、撮像装置３０の使用者が撮影に関する設定や条件を確認するための情報や設定や条件を入力するための表示画面を表示する。
【０１０６】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１０７】
撮影情報データ生成部２３は、カメラ種別情報、ＩＳＯ感度情報、視差量、被写体距離（範囲）、被写体の種類等の撮影に関する情報を取得して撮影情報データを生成し、添付処理部８へ出力する。
【０１０８】
本実施の形態において、撮影情報データ生成部２３は、基準画像データと視差画像データにおける視差量、被写体距離、被写体の種類のうちの少なくとも一つの情報を生成し、撮影情報データとして添付処理部８へ出力する。
【０１０９】
図４〜図６を参照して、視差量、被写体距離を得る方法について説明する。
図４に、第一撮像部２１のＣＣＤ３（ＣＣＤ３−１とする）と、第二撮像部２２のＣＣＤ３（ＣＣＤ３−２とする）と、撮影距離の異なる被写体（Ｐ１、Ｐ２）との関係を示す。ＣＣＤ３−１とＣＣＤ３−２間の距離Ｗは、撮影基線長と呼ばれ、ここでは、人間の両目間の距離に等しい約６〜７ｃｍに設定されている。ｆは、レンズの焦点距離であり、ＣＣＤ３−１とＣＣＤ３−２で同一の値に設定されている。Ｐ１は、２つの撮像部のレンズ１からＨ１の撮影距離に位置する建物被写体上の特定の位置を表し、Ｐ２は、２つの撮像部のレンズ１からＨ２の撮影距離に位置する人物被写体上の特定の位置を表している。
【０１１０】
図４において、被写体Ｐ１とＰ２のうち、レンズから近い位置にある被写体Ｐ２は、ＣＣＤ３−１とＣＣＤ３−２とで、結像する位置のずれが大きく異なるのに対し、レンズから遠い位置にある被写体Ｐ１は、ＣＣＤ３−１とＣＣＤ３−２とで、結像する位置のずれが小さいことがわかる。
【０１１１】
ＣＣＤ３−１及びＣＣＤ３−２における被写体Ｐ１の結像位置から、被写体Ｐ１の結像距離Ｓ１を算出し、ＣＣＤ３−１及びＣＣＤ３−２における被写体Ｐ２の結像位置から、被写体Ｐ２の結像距離Ｓ２を算出する。結像距離Ｓ１から撮影基線長Ｗを差し引くと、被写体Ｐ１の視差量Ｖ＝Ｓ１−Ｗが得られ、結像距離Ｓ２から撮影基線長Ｗを差し引くと、被写体Ｐ２の視差量Ｖ＝Ｓ２−Ｗが得られる。
【０１１２】
被写体までの撮影距離（被写体距離）は、赤外線の発光部と受光部をＣＣＤ３−１、ＣＣＤ３−２と同じ基線長に配置することにより、計測可能となる。これは撮影レンズの自動焦点（オートフォーカス）用の距離測定方法として一般的に用いられる。この場合、視差量Ｖは、撮影距離Ｈと撮影基線長Ｗから、下記の式（１）により算出することができる。
Ｖ＝ｆ×（Ｗ／Ｈ） （１）
式（１）において、Ｗ／Ｈは、基線比を表す。
【０１１３】
上述したように、視差量Ｖは、被写体の結像距離Ｓ及び撮影基線長Ｗ、或いは焦点距離ｆ、撮影距離Ｈ及び撮影基線長Ｗにより算出することが可能であるので、撮影情報データとしては、視差量Ｖを直接算出して添付処理部８へ出力するようにしてもよいし、視差量Ｖを算出するための情報を添付処理部８へ出力するようにしてもよい。
【０１１４】
被写体Ｐ１、Ｐ２の検出方法は、シーン参照画像データに対する特徴抽出処理や類似度判定等の、公知のあらゆる手法を用いることができる。特定の被写体を検出する方法の一例として、図５に示すような、被写体の輪郭抽出や瞳位置検出等が挙げられる。
【０１１５】
また、図６に示すように、肌色領域や高彩度領域等、所定の色を抽出することにより、被写体の領域を検出することができる。このように、特定の色領域を抽出するには、撮像画像データのＲＧＢ値を、ＨＳＶ表色系（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換し、色相と彩度の２次元ヒストグラムを作成し、作成した２次元ヒストグラムから、色相と彩度の抽出条件を決定することにより実現できる。例えば、色相を１０〜３０度にし、彩度（０〜２５５）を５０〜１００に制限すると、肌色領域を抽出することができる。
【０１１６】
また、例えば、上述した輪郭抽出において、輪郭が直線により形成されている場合には、建物と推測し、瞳位置検出や肌色領域の抽出がなされた場合には人物と推測する等により、被写体の種類の情報を得ることができる。
【０１１７】
＜撮像装置３０の動作＞
次に、動作について説明する。
図７は、操作部１４により、シーン参照画像データによる立体視表示用の複数の撮像画像データの出力が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行される立体視表示用画像撮影・記録処理を示すフローチャートである。以下、図７を参照して立体視表示用画像撮影・記録処理について説明する。
【０１１８】
操作部１４のレリーズボタンが押下されると、第一撮像部２１及び第二撮像部２２の２つの撮像部により、同一被写体が異なる視点から撮影される（ステップＳ１）。この撮影により得られた立体視表示用の複数の撮像画像データは、夫々画像処理部７において撮像装置特性補正処理が施され、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢの標準色空間にマッピングされ、シーン参照画像データに変換され、差分画像データ生成部１３に出力される（ステップＳ２）。
【０１１９】
一方、撮影情報データ生成部２３により、撮影に関する情報が取得され、撮影情報データが生成される（ステップＳ３）。
【０１２０】
次いで、基準画像データ選定部１２により、撮影により得られた立体視表示用の複数の撮像画像データ（シーン参照画像データ）から、基準画像データが選定される（ステップＳ４）。基準画像データの選定は、操作部１４により、２つの撮像部のうち何れの撮像部で撮影された撮像画像データを基準画像データとして利用するかをユーザが入力し、この入力に基づいて選定してもよいし、予め、例えば第一撮像部２１で撮影された撮像画像データを基準画像データとするように設定しておき、自動的に処理される方式であってもよい。
【０１２１】
次いで、差分画像データ生成部１３において、選定された基準画像データと、他方の撮像画像データである視差画像データとの差分を求めることにより、視差情報が抽出され、差分画像データが生成される（ステップＳ５）。基準画像データ及び生成された差分画像データは添付処理部８に出力され、差分画像データが基準画像データの一部に記録されることにより、差分画像データが基準画像データに添付され（ステップＳ６）、ＪＰＥＧ方式で圧縮され、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に準拠したファイルフォーマットの添付済みデータファイルが生成される（ステップＳ７）。さらに、差分画像データの添付された基準画像データのファイルのヘッダ領域に対し、添付識別情報及び撮影情報データがタグ情報として記録され（ステップＳ８）、記憶デバイス９の記憶メディアに記録される（ステップＳ９）。ここで、添付識別情報は、差分画像データの添付を示すフラグや、差分画像データの領域を示す情報等、再処理時に必要な付加情報である。
【０１２２】
図８（ａ）は、ステップＳ９で記憶デバイス９の記憶メディアに記録されるデータファイルのデータ構造を示す図である。図８（ａ）に示すように、記憶メディアに記録されるデータファイルは、基準画像データ領域、差分画像データ領域、ヘッダ領域を有している。この記憶メディアを撮像装置３０から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、基準画像データ、差分画像データ、ヘッダ領域のタグ情報をこれらの外部装置に出力し、外部装置で利用することができる。
【０１２３】
以上説明したように、撮像装置３０によれば、立体視表示用の複数の撮像画像データを撮影し、その中から一つの基準画像データを選定し、この基準画像データと、これに対する視差画像データとの視差情報を抽出して差分画像データとして基準画像データに添付する。従って、立体視表示用の複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、立体視表示用ではない通常の撮像画像データと同様のファイルフォーマットでの保存、ファイルの名称設定等が可能となる。また、ファイルのヘッダ領域に添付識別情報を記録しているので、複数のファイルの中から立体視表示用の撮像画像データのファイルを検索する際の検索効率を改善することができる。
【０１２４】
このように、撮像装置３０によれば、立体視表示用の撮像画像データと通常の撮像画像データとの互換性、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。基準画像データ及び差分画像データをＤＣＦ規格に準拠したファイルフォーマットで記録することにより、より立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【０１２５】
また、基準画像データとこれに対する視差画像データをそのまま保存するのではなく、差分画像データを基準画像データに添付するようにしたことで、使用するファイル容量が少なくてすみ、撮影枚数を大幅に増加させることができる。さらに、基準画像データ及び視差画像データは、シーン参照画像データとして記録されるので、撮像装置３０が取得した広い色域・輝度域の情報の損失を防止することができる。
【０１２６】
更に、撮像装置３０から出力されるデータファイルのヘッダ領域に撮影情報データが記録されるので、この撮影情報データに基づいて、他の画像処理装置や画像記録装置において、基準画像データと視差画像データに画像処理を施すことにより、更なる画質向上を図ることができる。
【０１２７】
例えば、撮影情報データとして視差量が含まれている場合には、視差量に応じた階調（硬さ）補正処理、明るさ補正処理を施すことにより、画質向上を図ることができる。
【０１２８】
図９に、視差量と階調の硬さ補正量の関係を主要被写体別に示す。図９に示すように被写体が人物である場合、視差量が大きくなるほど階調を軟調化するように硬さ補正を施すことが好ましく、風景や静物では逆に硬調化するように硬さ補正を施すことが好ましい。
【０１２９】
図１０に、視差量と明るさ補正量の関係を主要被写体別に示す。図１０に示すように、被写体が人物である場合、視差量が大きくなるほど明るくなるように補正を施すことが好ましい。
【０１３０】
また、撮影情報データとして被写体距離が含まれている場合には、視差量の計算精度を補助するだけでなく、視差量を表す指標として用いて画質調整処理を施することができる。また、撮影情報データとして被写体の種類が含まれている場合には、被写体の種類を、画質をより主観的に好ましいものに最適化処理するための指標として用いることができる。例えば、被写体が人物である場合と風景（静物）の場合とでは、鮮鋭性、平滑性、彩度値、階調性の全てにおいて最適値が異なることが知られており、他の画像処理装置や画像記録装置において、被写体の種類に応じて最適値を設定し画像処理を施すことで、画質を主観的に好ましく向上させることができる。
【０１３１】
また、撮影情報データに、視差量、被写体距離、被写体の種類に関する情報のうち２つ以上が含まれている場合には、他の画像処理装置や画像記録装置において、これらを組み合わせて画質調整処理を施すことにより、更に画質向上の効果を高めることができる。例えば、被写体が人物である場合は、階調の軟調化、平滑化処理と彩度強調の程度を、視差量、即ち、人物の大きさに応じて調整する処理を施すことにより、画質を向上させることができる。また、被写体が建物である場合には、階調の硬調化と鮮鋭化処理と彩度低下を建物の大きさに応じて調整する処理を施すことにより画質を向上させることができる。
【０１３２】
なお、上記実施の形態においては、ファイルのヘッダ領域に添付識別情報をタグ情報として記録することとしたが、何視点分の差分画像データが記憶されているかの情報や、各差分画像データの基準画像データとの視点間距離等をヘッダ領域に記録することが望ましい。
【０１３３】
また、本発明のように、基準画像データを選定して、基準画像データに差分画像データを添付する機能を有していない撮像装置においても、立体視表示用の撮像画像データを撮影可能な場合には、撮影された立体視表示用の撮像画像データをＤＣＦ規格に準拠したＪＰＥＧ方式のファイルフォーマットで記録することが望ましい。また、ヘッダ領域に、上述した、視差量、被写体距離、被写体の種類等の撮影情報データ、何視点分の撮像画像データを有するかの情報や、各撮像画像データの視点間距離、２次元（２Ｄ）画像として表示、出力する場合に使用する撮像画像データの指定情報等、立体視表示用撮像画像データを利用する際に有用な情報を記録しておくことが望ましい。
【０１３４】
また、上記実施の形態においては、撮像画像データをシーン参照画像データとして記憶メディアに記録する例を示したが、撮像画像データに画像処理部７で最適化処理を施して鑑賞画像参照データを生成し、この鑑賞画像参照データについて基準画像データを選定し、差分画像データを生成して添付するようにしてもよい。
【０１３５】
＜画像処理装置１００の構成＞
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図１１は本発明に係る画像処理装置１００の機能的構成を示すブロック図である。図１１に示すように、画像処理装置１００は、入力部１０１、基準画像データ選定部１０２、差分画像データ抽出部１０３、差分画像データ生成部１０４、差分画像データ添付部１０５、一時記憶メモリ１０６、ヘッダ情報記録部１０７、一時記憶メモリ１０８、撮影情報データ取得部１１１により構成されており、さらに、記憶デバイス１１０が接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１０９の統括的な制御下において動作する。
【０１３６】
入力部１０１は、記憶メディア装着部（図示せず）を備えている。この装着部に、デジタルカメラ等の撮像装置により記録された立体視表示用の複数の撮像画像データが記録された記憶メディアが装着されると、入力部１０１は、データを読み出して基準画像データ選定部１０２へ入力する。なお、本実施の形態においては、入力部１０１は、装着された記憶メディアからデータを読み出して入力することとして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１３７】
基準画像データ選定部１０２は、入力部１０１から入力された立体視表示用の複数の撮像画像データの中から基準画像データを選定する。この際の選定は、ユーザがマニュアル操作で行っても良いし、例えば、撮像画像データの数が２つある場合、被写体に対して右側から撮影された画像、３つある場合は、真中（正面）から撮影された画像が夫々選択されるように予め定義しておき、自動的に選定処理される方式であっても良い。自動的に選定処理されるようにするには、撮像画像データの夫々が、被写体に対してどの位置から撮影されたかを識別する手段を備える必要がある。このような識別手段としては、例えばファイルのヘッダ情報を活用する方法がある。
【０１３８】
差分画像データ抽出部１０３は、基準画像データ選定部１０２により選定された基準画像データと、立体視表示の際に基準画像データと対をなす他の撮像画像データである視差画像データとの視差情報である差分画像データを下記の演算式により抽出し、差分画像データ生成部１０４に出力する。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ｂ＝Ａ１−Ａ２
【０１３９】
差分画像データ生成部１０４は、差分画像データ抽出部１０３から抽出された差分画像データを添付用の差分画像データに加工する。
【０１４０】
差分画像データ添付部１０５は、加工された差分画像データを、基準画像データの一部として基準画像データに添付し、差分画像データの添付された基準画像データをＪＰＥＧ方式で圧縮し、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に準拠したファイルフォーマットの添付済みデータファイルを生成し、一時記憶メモリ１０６へ出力する。
【０１４１】
一時記憶メモリ１０６は、差分画像データ添付部１０５から出力された添付済みデータファイルを一時的に記憶する。
【０１４２】
ヘッダ情報記録部１０７は、情報添付手段であり、差分画像データの添付された基準画像データのヘッダ領域に対し、差分画像データが添付されていることを示す添付識別情報及び撮影情報データ取得部１１１により入力された撮影情報データをタグ情報として記録する。ここで、添付識別情報は、差分画像データの添付を示すフラグや、差分画像データの領域を示す情報等、再処理時に必要な付加情報である。ヘッダ領域への情報記録の終了した基準画像データのファイルは、一時記憶メモリ１０８に一時的に記憶された後、単一の撮像画像データとして記憶デバイス１１０へ出力される。
【０１４３】
撮影情報データ取得部１１１は、入力部１０１から入力された撮影情報データを取得する。例えば、撮影情報データが入力部１０１から入力されるデータファイルのヘッダ領域にタグ情報として記録されている場合、撮影情報データ取得部１１１は、入力部１０１から入力されたデータファイルのヘッダ領域から撮影情報データを読み出して取得し、ヘッダ情報記録部１０７へ出力する。撮影情報データとしては、基準画像データと差分画像データの視差量、被写体距離、被写体の種類の少なくとも一つが含まれていることが望ましい。
【０１４４】
以上の、基準画像データ生成部１０２、差分画像データ抽出部１０３、差分画像データ生成部１０４、差分画像データ添付部１０５、ヘッダ情報記録部１０７、撮影情報データ取得部１１１という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１４５】
＜画像処理装置１００の動作＞
図１２は、画像処理装置１００の各部が連携することにより実行される基準画像データ出力処理を示すフローチャートである。以下、図１２を参照して画像処理装置１００の動作について説明する。
【０１４６】
立体視表示用の複数の撮像画像データが記録された記憶メディアが装着されると、入力部１０１により、記憶メディアに記録された複数の撮像画像データが入力される（ステップ１１）。入力される撮像画像データは、シーン参照画像データであっても、鑑賞画像参照データであっても対応可能である。基準画像データ選定部１０２により、入力された複数の撮像画像データの中から基準画像データが選定される（ステップＳ１２）。次いで、差分画像データ抽出部１０３により、選定された基準画像データと、入力された他の撮像画像データである視差画像データの差分を求めることにより、差分画像データが抽出され、差分画像データ生成部１０４において、画像処理可能な差分画像データに加工されて差分画像データが生成される（ステップＳ１３）。
【０１４７】
生成された差分画像データ及び基準画像データは差分画像データ添付部１０５に出力され、差分画像データが基準画像データの一部に記録されて、差分画像データが基準画像データに添付され（ステップＳ１４）、ＪＰＥＧ方式で圧縮され、ＤＣＦ規格に準拠したファイルフォーマットの添付済みデータファイルが生成される（ステップＳ１５）。さらに、撮影情報データ取得部１１１により撮影情報データが取得され、ヘッダ情報記録部１０７へ出力され（ステップＳ１６）、差分画像データの添付された基準画像データのファイルのヘッダ領域に対し、添付識別情報及び撮影情報データがタグ情報として記録され（ステップＳ１７）、記憶デバイス１１０に基準画像データが単一の撮像画像データとして出力される（ステップＳ１８）。
【０１４８】
上述した基準画像データ出力処理により、図８（ａ）に示したものと同様のデータ構造のファイルを記憶デバイス１１０に出力することができる。
【０１４９】
以上説明したように、画像処理装置１００によれば、入力された立体視表示用の複数の撮像画像データから一つの基準画像データを選定し、この基準画像データと、立体視表示の際に基準画像データと対をなす他の視差画像データとの視差情報を抽出して差分画像データとして基準画像データに添付してファイルを作成するとともに、差分画像データが添付されていることを示す添付識別情報及び撮影情報データをファイルのヘッダ領域にタグ情報として記録する。
【０１５０】
従って、立体視表示用の複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、立体視表示用ではない通常の撮像画像データと同様のファイルフォーマットでの保存、ファイルの名称設定等が可能となる。また、ファイルのタグ情報として添付識別情報を記録しているので、複数のファイルの中から立体視表示用の撮像画像データのファイルを検索する際の検索効率を改善することができる。また、立体視表示用の撮像画像データのファイルと通常の撮像画像データのファイルをヘッダ領域の参照により自動的に判別することが可能となるので、両者が混在した状態でも効率的にプリント作成を行うことが可能となる。また、立体視表示に未対応の画像記録装置（プリンタ）を用いて、立体視表示用の撮像画像データから通常の２Ｄの写真プリント作成が可能となる。
【０１５１】
このように、画像処理装置１００によれば、立体視表示用の撮像画像データと通常の撮像画像データとの互換性を向上し、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【０１５２】
更に、画像処理装置１００によって、撮像装置内で基準画像データの選定、差分画像データの生成、基準画像データへの差分画像データへの添付等を行う必要がなくなり、処理負荷の軽減によりバッテリー消費量が大幅に減少され、撮影可能枚数を増加させる。また、立体視表示用の撮像画像データの保存に必要な記憶デバイスの容量を少なくすることができる。
【０１５３】
更に、画像処理装置１００から出力されるデータファイルのヘッダ領域に撮影情報データが記録されているので、この情報を利用して、他の画像処理装置や画像記録装置において、基準画像データと視差画像データに画像処理を施すことにより、更なる画質向上を図ることができる。
【０１５４】
例えば、撮影情報データとして視差量が含まれている場合には、視差量に応じた階調（硬さ）補正処理、明るさ補正処理（図９、１０参照）を施すことにより、画質向上を図ることができる。
【０１５５】
また、撮影情報データとして被写体距離が含まれている場合には、視差量の計算精度を補助するだけでなく、視差量を表す指標として用いて画質調整処理を施すことができる。また、撮影情報データとして被写体の種類が含まれている場合には、被写体の種類を、画質をより主観的に好ましいものに最適化処理するための指標として用いることができる。例えば、被写体が人物である場合と風景（静物）の場合とでは、鮮鋭性、平滑性、彩度値、階調性の全てにおいて最適値が異なることが知られており、他の画像処理装置や画像記録装置において、被写体の種類に応じて最適値を設定し画像処理を施すことで、画質を主観的に好ましく向上させることができる。
【０１５６】
また、撮影情報データに、視差量、被写体距離、被写体の種類に関する情報のうち２つ以上が含まれている場合には、他の画像処理装置や画像記録装置において、これらを組み合わせて画質調整処理を施すことにより、更に画質向上の効果を高めることができる。例えば、被写体が人物である場合は、階調の軟調化、平滑化処理と彩度強調の程度を、視差量、即ち、人物の大きさに応じて調整する処理を施すことにより、画質向上を図ることができる。また、被写体が建物である場合には、階調の硬調化と鮮鋭化処理と彩度低下を建物の大きさに応じて調整する処理を施すことにより、画質向上を図ることができる。
【０１５７】
＜画像処理装置２００の構成＞
次に、本発明の画像処理装置の一実施形態について説明する。
まず、構成を説明する。
図１３は本発明に係る画像処理装置２００の機能的構成を示すブロック図である。図１３に示すように、画像処理装置２００は、入力部２０１、ヘッダ情報解析部２０２、入力された撮像画像データから視差画像データを生成するための第一処理部２１１、基準画像データと視差画像データから立体視表示用画像データを生成する第二処理部２１２により構成されている。第一処理部２１１と、第二処理部２１２にはヘッダ情報解析部２０２が夫々接続されており、さらに第二処理部２１２には、記憶デバイス２１３が接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部２１４の統括的な制御下において動作する。
【０１５８】
入力部２０１は、記憶メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置３０や画像処理装置１００により記録された撮像画像データ（差分画像データが添付され、ヘッダ領域へ差分画像データが添付されていることを示す添付識別情報及び撮影情報データがタグ情報として記録されている基準画像データ：図８（ａ）参照）のデータファイルが記録された記憶メディアが装着されると、入力部２０１は、記憶メディアに記憶されたファイルを読み出してヘッダ情報解析部２０２へ入力する。なお、本実施の形態においては、入力部２０１は、装着された記憶メディアからデータを読み出して入力することとして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１５９】
ヘッダ情報解析部２０２は、判別手段として、入力部２０１から入力された基準画像データのファイルフォーマットのヘッダ情報（ヘッダ領域のタグ情報）を解析して添付識別情報及び撮影情報データを判別し、結果を差分画像データ読み出し部２０３、視差画像データ生成部２０５、基準画像データ生成部２０７、撮影情報データ読み出し部２１７へ出力する。
【０１６０】
第一処理部２１１は、図１３に示すように、差分画像データ読み出し部２０３、差分画像データ生成部２０４、視差画像データ生成部２０５、一時記憶メモリ２０６を有して構成されている。
【０１６１】
差分画像データ読み出し部２０３は、データ分離手段として、ヘッダ情報解析部２０２の解析による添付識別情報の判別結果に基づいて、入力されたファイルの所定の領域から視差情報である差分画像データを読み出して、基準画像データと差分画像データを分離する。差分画像データ生成部２０４は、読み出された差分画像データを画像処理可能な状態に加工する。
【０１６２】
視差画像データ生成部２０５は、差分画像データと基準画像データから、立体視表示において基準画像データと対をなす視差画像データを生成する。視差画像データは、下記の演算式により生成される。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ａ２＝Ａ１＋Ｂ
【０１６３】
一時記憶メモリ２０６は、視差画像データ生成部２０５で生成された視差画像データを一時的に記憶する。
【０１６４】
第二処理部２１２は、図１３に示すように、基準画像データ生成部２０７、立体視表示用画像データ生成部２０８、出力条件設定入力部２０９、一時記憶メモリ２１０、撮影情報データ読み出し部２１７を有して構成されている。
【０１６５】
基準画像データ生成部２０７は、入力されたデータファイルから基準画像データを読み出して、画像処理可能な状態に加工する。
【０１６６】
立体視表示用画像データ生成部２０８は、出力条件設定入力部２０９から入力された出力条件設定及び撮影情報データ読み出し部２１７から入力された撮影情報データに基づいて、基準画像データと一時記憶メモリ２０６に記憶されている視差画像データに画像処理を施して立体視表示用の画像を生成する。具体的には、撮影情報データに基づいて、基準画像データと視差画像データの双方に対して画質調整処理を施すとともに、図１４に示すように、基準画像と視差画像の２つの画像の視点間距離が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置して立体視表示用画像データを生成する。
【０１６７】
出力条件設定入力部２０９は、キーボードやＬＣＤ上に構成されたタッチパネル等のユーザインターフェースにより構成され、本画像処理装置２００にて生成される立体視表示用画像データの出力設定（例えば、出力先のデバイスの種類、出力サイズ等）に関する情報が入力されると、この情報を立体視表示用画像データ生成部２０８へ出力する。
【０１６８】
一時記憶メモリ２１０は、立体視表示用画像データ生成部２０８で生成された立体視表示用画像データを一時的に記憶する。この一時記憶メモリ２１０に一時的に記憶された立体視表示用画像データは、記憶デバイス２１３に出力される。
【０１６９】
撮影情報データ読み出し部２１７は、ヘッダ情報解析部２０２において、ヘッダ領域へ撮影情報データが記録されていると解析された場合に、入力されたファイルのヘッダ領域から撮影情報データを読み出して、立体視表示用画像データ生成部２０８へ出力する。
【０１７０】
以上の、ヘッダ情報解析部２０２、差分画像データ読み出し部２０３、差分画像データ生成部２０４、視差画像データ生成部２０５、基準画像データ生成部２０７、立体視表示用画像データ生成部２０８、撮影情報データ読み出し部２１７という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１７１】
＜画像処理装置２００の動作＞
図１５は、画像処理装置２００の各部が連携することにより実行される立体視表示用画像データ生成処理Ａを示すフローチャートである。以下、図１５を参照して画像処理装置２００の動作について説明する。
【０１７２】
図８（ａ）に示す基準画像データのファイルが記録された記憶メディアが記憶メディア装着部に装着されると、入力部２０１により、記憶メディアに記録された基準画像データが入力される（ステップ２１）。次いで、ヘッダ情報解析部２０２により基準画像データのファイルのヘッダ領域のタグ情報が解析され、添付識別情報及び撮影情報データが判別される（ステップＳ２２）。ヘッダ情報解析部２０２の判別の結果に基づき、撮影情報データ読み出し部２１７により撮影情報データが読み出され、立体視表示用画像データ生成部２０８へ出力される（ステップＳ２３）。また、ヘッダ情報解析部２０２の判別の結果に基づき、差分画像データ読み出し部２０３により、ファイルの所定領域から差分画像データが読み出されて基準画像データと差分画像データが分離され（ステップＳ２４）、差分画像データ生成部２０４により加工が施されて画像処理可能な差分画像データが生成され（ステップＳ２５）、視差画像データ生成部２０５へ出力される。
【０１７３】
次いで、視差画像データ生成部２０５において、基準画像データと差分画像データから視差画像データが生成される（ステップＳ２６）。そして、立体視表示用画像データ生成部２０８において、撮影情報データ読み出し部２１７により入力された撮影情報データに基づいて、基準画像データと視差画像データの双方に対して画質調整処理が施され（ステップＳ２７）、出力条件設定入力部２０９より入力された出力条件に基づいて、基準画像データと視差画像データの２つの画像の大きさと配置が立体視表示に最適なように調整されて立体視表示用画像データが生成され、一時記憶メモリ２１０を介して、記憶デバイス２１３に出力される（ステップＳ２８）。
【０１７４】
ここで、ステップＳ２７で、基準画像データ及び視差画像データに施される画質調整処理について説明する。
【０１７５】
例えば、撮影情報データとして視差量が含まれている場合には、視差量に応じた階調（硬さ）補正処理、明るさ補正処理を施す。被写体が人物である場合、視差量が大きくなるほど階調を軟調化するように硬さ補正を施す（図９参照）。また、被写体が風景や静物では逆に視差量が大きくなるほど硬調化するように硬さ補正を施す（図１０参照）。被写体の種類は、撮影情報データに含まれていることが好ましいが、含まれていない場合は、基準画像データ、視差画像データの夫々に対して輪郭抽出、瞳位置抽出、肌色領域の抽出等の画像解析を行い、輪郭抽出において、輪郭が直線により形成されている場合には、建物と推測し、瞳位置検出や肌色領域の抽出がなされた場合には人物と推測する等により、被写体の種類の情報を得る。
【０１７６】
基準画像データ及び視差画像データに被写体がいくつか含まれる場合、これらの視差量に応じた画質調整処理は、最大視差量に応じた処理を画像全体に行うようにしても良いが、図６に示したように、部分毎の視差量に応じて画質調整処理を施すようにしても良い。例えば、前述した輪郭抽出、瞳位置抽出、肌色領域や高彩度領域の抽出等により、人物領域、建物領域等を抽出し、各領域の視差量に応じて画質調整処理を施す。なお、領域内に均一に処理を施すのではなく、他の領域との境界に近づくに従って、画質調整処理の程度が段階的に変化するよう処理することが好ましい。
【０１７７】
また、撮影情報データとして被写体距離が含まれている場合には、視差量の計算精度を補助するだけでなく、視差量を表す指標として用いて画質調整処理を施すようにしてもよい。
【０１７８】
また、撮影情報データとして被写体の種類が含まれている場合には、これを用いて、画質をより主観的に好ましいものに最適化処理を行なう。例えば、被写体が人物である場合と風景（静物）の場合とでは、鮮鋭性、平滑性、彩度値、階調性の全てにおいて最適値が異なり、被写体の種類に応じて最適値を設定して画像処理を施す。
【０１７９】
また、撮影情報データに、視差量、被写体距離、被写体の種類に関する情報のうち２つ以上が含まれている場合には、これらの情報を組み合わせて画質調整処理を施す。例えば、被写体が人物である場合は、階調の軟調化、平滑化処理と彩度強調の程度を、視差量、即ち、人物の大きさに応じて調整する処理を施す。また、被写体が建物である場合には、階調の硬調化と鮮鋭化処理と彩度低下を、視差量、即ち、建物の大きさに応じて調整する処理を施す。
【０１８０】
また、撮影情報データとしてカメラ種別（機種）情報が含まれている場合には、この情報に基づいて、基準画像データ及び視差画像データに対して、カメラ機種間差（例えば、分光感度特性、光電変換特性）を補正する画像処理を施す。また、撮影情報データとしてＩＳＯ感度が含まれている場合には、この情報に基づいて、基準画像データ及び視差画像データに対して、平滑化処理（ホワイトノイズ除去）処理を施す。
【０１８１】
以上説明したように、画像処理装置２００によれば、ヘッダ情報解析部２０２の解析により、入力されたデータファイルのヘッダ領域に記録されている添付識別情報が判別されると、差分画像データ読み出し部２０３により基準画像データのファイルの所定領域から差分画像データを読み出して基準画像データと差分画像データを分離し、基準画像データと差分画像データから、立体視表示において基準画像データと対を成す視差画像データを生成し、基準画像データと生成された視差画像データの２つの画像の大きさと配置が立体視表示に最適なように調整して立体視表示用画像データを生成して記録デバイス２１３に出力する。ヘッダ情報解析部２０２によりデータファイルのヘッダ領域に撮影情報データが記録されていることが判別された場合には、これを読み出して、立体視表示用画像データを生成する際に、撮影情報データに基づいて画質調整処理を施す。
【０１８２】
従って、入力されたデータが、差分画像データが添付された、立体視表示に用いる基準画像データであることを自動的に判別し、基準画像データと差分画像データから立体視表示用画像データを生成することができる。即ち、上述した撮像装置３０や画像処理装置１００で生成されたデータ構造の基準画像データのファイルが入力されたことを自動的に判別して立体視表示用画像データを生成することができる。これにより、プリンタ等の画像記録装置で出力媒体上に立体視表示用画像を形成して出力する際の画像記録装置側での処理負荷を軽減することができる。
【０１８３】
更に、立体視表示用画像データ生成時に、撮影情報データに基づいて画質調整処理を施すので、立体視表示画像の画質を向上させることができる。
【０１８４】
＜画像処理装置２００Ａの構成＞
次に、入力された基準画像データ（差分画像データが添付され、添付識別情報及び撮影情報データがヘッダ領域にタグ情報として記録されているデータ）がシーン参照画像データである場合に好適な処理を行うことが可能な画像処理装置２００Ａについて説明する。図１６に、画像処理装置２００Ａの機能的構成を示す。
【０１８５】
図１６に示すように、画像処理装置２００Ａは、上述した画像処理装置２００の立体視表示用画像データ生成部２０８が鑑賞画像参照データ生成部２１５を有する構成とし、更に、シーン参照画像データ再現用データ生成部２１６を追加した構成である。
【０１８６】
鑑賞画像参照データ生成部２１５は、基準画像データ生成部２０７から入力されたシーン参照画像データの基準画像データと、第一処理部２１１で生成されたシーン参照画像データの視差画像データの双方に対して、撮影情報データ読み出し部２１７により読み出された撮影情報データに基づいて画質調整処理を施すとともに、出力条件設定入力部２０９から入力された情報に基づいて出力媒体上（ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等）で最適な鑑賞画像が得られるよう最適化処理を施し、上記それぞれのデータを鑑賞画像参照データに変換する。
【０１８７】
シーン参照画像データ再現用データ生成部２１６は、シーン参照画像データの基準画像データと、鑑賞画像参照データに変換された基準画像データとの差分を計算し、シーン参照画像データ再現用の差分データ（以下、シーン参照画像データ再現用データと称する）を抽出する。そして、差分画像データと、抽出されたシーン参照画像データ再現用データとを鑑賞画像参照データの基準画像データに添付して添付済みデータファイルを作成するとともに、生成されたファイルのヘッダ領域に、添付識別情報、基準画像データが鑑賞画像参照データであることを示す情報及びシーン参照画像データ再現用のデータが添付されていることを示す情報をタグ情報として記録する。
【０１８８】
その他の画像処理装置２００Ａの構成は画像処理装置２００と同様であるので、説明を省略する。
【０１８９】
＜画像処理装置２００Ａの動作＞
図１７は、画像処理装置２００Ａの各部が連携することにより実行される立体視表示用画像データ生成処理Ｂを示すフローチャートである。以下、図１７を参照して画像処理装置２００Ａの動作について説明する。
【０１９０】
図８（ａ）に示すシーン参照画像データの基準画像データのファイルが記録された記憶メディアが装着されると、入力部２０１により、記憶メディアに記録された基準画像データが入力される（ステップ３１）。次いで、ヘッダ情報解析部２０２により基準画像データのファイルのヘッダ領域のタグ情報が解析され、添付識別情報及び撮影情報データが判別される（ステップＳ３２）。ヘッダ情報解析部２０２の判別結果に基づき、撮影情報データ読み出し部２１７により撮影情報データが読み出され、鑑賞画像参照データ生成部２１５へ出力される（ステップＳ３３）。また、ヘッダ情報解析部２０２の判別結果に基づき、差分画像データ読み出し部２０３によりファイルの所定領域から差分画像データが読み出されて基準画像データと差分画像データが分離され（ステップＳ３４）、差分画像データ生成部２０４により加工が施されて画像処理可能な差分画像データが生成され（ステップＳ３５）、視差画像データ生成部２０５へ出力される。
【０１９１】
次いで、視差画像データ生成部２０５において、シーン参照画像データの基準画像データと差分画像データから、シーン参照画像データの視差画像データが生成される（ステップＳ３６）。立体視表示用画像データ生成部２０８の鑑賞画像参照データ生成部２１５において、撮影情報データ読み出し部２１７により読み出された撮影情報データに基づいて、シーン参照画像データの基準画像データ及び視差画像データのそれぞれに画質調整処理が施され（ステップＳ３７）、出力条件設定入力部２０９より入力された出力条件に基づいて、出力媒体上で最適な鑑賞画像が得られるよう最適化処理が施され、鑑賞画像参照データに変換される（ステップＳ３８）。なお、ステップＳ３７において、基準画像データ及び視差画像データに施される画質調整処理については、上述した画像処理装置２００における立体視表示用画像データ生成処理ＡのステップＳ２７で説明した処理と同様であるので、説明は省略する。
【０１９２】
鑑賞画像参照データに変換された基準画像データ及び差分画像データは、出力条件設定入力部２０９より入力された出力条件に基づいて、基準画像データと生成された視差画像データの２つの画像の大きさと配置がステレオペアの立体視表示に最適なように調整され、一時記憶メモリ２１０を介して、一つの立体視表示用画像データとして記憶デバイス２１３に出力される（ステップＳ３９）。
【０１９３】
一方、シーン参照画像データ再現用データ生成部２１６において、シーン参照画像データの基準画像データと鑑賞画像参照データに変換された基準画像データとの差分データが抽出され（ステップＳ４０）、シーン参照画像データ再現用データが生成される（ステップＳ４１）。そして、差分情報、即ち抽出されたシーン参照画像データ再現用データとステップＳ３５で生成された差分画像データが鑑賞画像参照データの基準画像データに添付され（ステップＳ４２）、更に、生成されたファイルのヘッダ領域に、添付識別情報、基準画像データが鑑賞画像参照データであることを示す情報、シーン参照画像データ再現用のデータが添付されていることを示す情報がタグ情報として記録されて添付済みデータファイルが作成され（ステップＳ４３）、鑑賞画像参照データの基準画像データとして一時記憶メモリを介して記憶デバイス２１３に出力される（ステップＳ４４）。
【０１９４】
図８（ｂ）は、画像処理装置２００Ａで作成されるデータファイルのデータ構造を示す図である。図８（ｂ）に示すように、画像処理装置２００Ａにより、基準画像データ領域、シーン参照画像データ再現用データ領域、差分画像データ領域、ヘッダ領域を有するデータファイルを生成することができる。
【０１９５】
以上説明したように、画像処理装置２００Ａによれば、シーン参照画像データの基準画像データから、出力媒体上で最適な鑑賞画像となるように最適化された立体視表示用画像データを生成することができる。また、鑑賞画像参照データに変換された基準画像データに、シーン参照画像データ再現用データ及び視差画像データ生成用の差分画像データを添付したファイルを生成し、生成されたファイルのヘッダ領域に、添付識別情報、基準画像データが鑑賞画像参照データであることを示す情報、シーン参照画像データ再現用のデータが添付されていることを示す情報がタグ情報として記録することができるので、鑑賞画像参照データの基準画像データから、他の画像処理装置や画像記録装置で出力条件に応じて最適化した立体視表示用画像データを生成することができる。更に、基準画像データ及び視差画像データに、撮影情報データに基づいて画質調整処理を施して立体視表示用画像データを生成するので、立体視表示用画像の画質向上を図ることができる。
【０１９６】
＜画像記録装置３０１の構成＞
次に、本発明に係る画像記録装置の好ましい実施の形態について説明する。
図１８は本発明に係る画像記録装置３０１の外観構成を示す斜視図である。この実施の形態における画像記録装置３０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力媒体として用いる出力デバイスとを備えた例である。
【０１９７】
画像記録装置３０１において、本体３０２の左側面にマガジン装填部３０３が設けられ、本体３０２内には出力媒体である銀塩印画紙に露光する露光処理部３０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部３０５が備えられている。作成されたプリントは本体３０２の右側面に設けられたトレー３０６に排出される。さらに、本体３０２の内部には、露光処理部３０４の上方位置に制御部３０７が備えられている。
【０１９８】
また、本体３０２の上部には、ＣＲＴ３０８が配置されている。このＣＲＴ３０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ３０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部３０９が配置され、右側に反射原稿入力装置３１０が配置されている。
【０１９９】
フィルムスキャナ部３０９や反射原稿入力装置３１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部３０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置３１０のフラットベッドスキャナで駒画像データに変換することができる。
【０２００】
本体３０２の制御部３０７の配置位置には、画像読込部３１４が設けられている。画像読込部３１４はＰＣカード用アダプタ３１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ３１４ｂを備え、ＰＣカード３１３ａやＦＤ（フロッピー（登録商標）ディスク）３１３ｂが差し込み可能になっている。ＰＣカード３１３ａは、デジタルカメラで撮像して複数の駒画像データ（撮像画像データ）が記憶されたメモリを有する。ＦＤ３１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０２０１】
ＣＲＴ３０８の前方には、操作部３１１が配置され、この操作部３１１は情報入力手段３１２を備える。情報入力手段３１２は、例えばタッチパネル等で構成される。
【０２０２】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリスティック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部３１１、ＣＲＴ３０８、フィルムスキャナ部３０９、反射原稿入力装置３１０、画像読込部３１４は、本体３０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０２０３】
更に、本体３０２の制御部３０７の配置位置には、画像書込部３１５が設けられている。画像書込部３１５にはＦＤ用アダプタ３１５ａ、ＭＯ用アダプタ３１５ｂ、光ディスク用アダプタ３１５ｃが備えられ、ＦＤ３１６ａ、ＭＯ３１６ｂ、光ディスク３１６ｃが差し込み可能になっており、画像情報を記憶メディアに書き込むことができるようになっている。
【０２０４】
更に、制御部３０７は通信手段３４０、３４１を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像記録装置として機能することが可能になっている。
【０２０５】
＜画像記録装置３０１の内部構成＞
次に、画像記録装置３０１の内部構成について説明する。
図１９は画像記録装置３０１の内部構成を示すブロック図である。
【０２０６】
画像記録装置３０１の制御部３０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置３０１を構成する各部の動作を集中制御する。
【０２０７】
また、制御部３０７は、画像処理部３７０を有し、操作部３１１の情報入力手段３１２からの入力信号に基づいて、フィルムスキャナ部３０９や反射原稿入力装置３１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部３１４から読み込まれた画像データ、及び通信手段（入力）３４０（図２０に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部３７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、プリントＰ１、Ｐ２、Ｐ３として、或いはＣＲＴ３０８、画像書込部３１５、通信手段（出力）３４１（図２０に図示）等により出力する。
【０２０８】
操作部３１１には、情報入力手段３１２が設けられている。情報入力手段３１２は、例えばタッチパネル等により構成されており、情報入力手段３１２の押下信号を入力信号として制御部３０７に出力する。また、操作部３１１は、キーボードやマウスを備えて構成するようにしてもよい。
【０２０９】
フィルムスキャナ部３０９は、アナログカメラにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置３１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０２１０】
画像読込部３１４は、デジタルカメラにより撮像して記録されたＰＣカード３１３ａやＦＤ３１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部３１４は、画像転送手段３３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ３１４ａに装着されたＰＣカード３１３ａや、ＦＤ用アダプタ３１４ｂに装着されたＦＤ３１３ｂに記録された駒画像データを読み取り、制御部３０７へ転送する。ＰＣカード用アダプタ３１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０２１１】
データ蓄積手段３７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０２１２】
テンプレート記憶手段３７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段３７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部３０７は、駒画像データと当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択されたサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０２１３】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部３１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０２１４】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０２１５】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０２１６】
露光処理部３０４は、画像処理部３７０で画像データを画像処理して生成された出力用の画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部３０５に送る。プリント作成部３０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０２１７】
ＣＲＴ３０８は、制御部３０７から入力される画像情報を表示する。
【０２１８】
画像書込部３１５は、画像搬送部３３１としてＦＤ用アダプタ３１５ａ、ＭＯ用アダプタ３１５ｂ、光ディスク用アダプタ３１５ｃが備えられ、ＦＤ３１６ａ、ＭＯ３１６ｂ、光ディスク３１６ｃが差し込み可能になっており、画像データを記憶メディアに書き込むことができるようになっている。
【０２１９】
更に、画像処理部３７０は、通信手段（入力）３４０（図２０に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成したりすることも可能になっている。
【０２２０】
また、画像処理部３７０は、通信手段３４１（出力）（図２０に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０２２１】
このように画像記録装置３０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報を「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力媒体上で画像を観察する際に好ましい印象を与える画像となるように処理を行う画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは記憶メディアに書き込む画像形成手段、及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（出力）３４１とを有する。
【０２２２】
＜画像処理部３７０の構成＞
図２０は、本発明に係る画像処理部３７０の機能的構成を示すブロック図である。フィルムスキャナ部３０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０２２３】
反射原稿入力装置３１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０２２４】
画像転送手段３３０及び通信手段（入力）３４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等が行われ、画像処理部３７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４において、入力された画像データが、差分画像データが添付された基準画像データであると判別されると、入力された画像データが基準画像データ処理部４０１に出力される。ここで、入力される基準画像データは、シーン参照画像データであっても鑑賞画像参照データであってもよい。入力された画像データがシーン参照画像データである場合は、本画像記録装置３０１により撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像の立体視表示画像が得られるので好ましい。
【０２２５】
出力画像の大きさについての指定は操作部３１１から入力されるが、この他に通信手段（入力）３４０に送信された出力画像の大きさについての指定や、画像転送手段３３０により取得された画像データのヘッダ領域のタグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０２２６】
基準画像データ処理部４０１は、ヘッダ情報解析部４０２、差分画像データ読み出し部４０３、差分画像データ生成部４０４、視差画像データ生成部４０５、基準画像データ生成部４０６、立体視表示用画像データ生成部４０７、撮影情報データ読み出し部４０９を有しており、出力条件設定入力部４０８が接続されている。
【０２２７】
ヘッダ情報解析部４０２は、判別手段として、画像データ書式解読処理部７０４から入力された基準画像データのファイルのヘッダ情報（ヘッダ領域のタグ情報）を解析して添付識別情報及び撮影情報データを判別し、判別結果を差分画像データ読み出し部４０３、視差画像データ生成部４０５、基準画像データ生成部４０６、撮影情報データ読み出し部４０９へ出力する。
【０２２８】
差分画像データ読み出し部４０３は、データ分離手段として、ヘッダ情報解析部４０２による添付識別情報の判別結果に基づいて、入力されたファイルの所定の領域から差分画像データを読み出して、基準画像データと差分画像データを分離する。差分画像データ生成部４０４は、読み出された差分画像データを画像処理可能な状態に加工する。
【０２２９】
視差画像データ生成部４０５は、差分画像データと基準画像データから、立体視表示において基準画像データと対をなす視差画像データを生成する。視差画像データは、下記の演算式により生成される。
Ａ１：基準画像データ
Ａ２：視差画像データ
Ｂ：差分画像データ
Ａ２＝Ａ１＋Ｂ
【０２３０】
基準画像データ生成部４０６は、入力されたファイルフォーマットから基準画像データを読み出して、画像処理可能な状態に加工する。
【０２３１】
立体視表示用画像データ生成部４０７は、撮影情報データ読み出し部４０９から入力された撮影情報データ及び出力条件設定入力部４０８から入力された出力条件設定に従って、基準画像データと視差画像データから立体視表示用の画像を生成する。具体的には、撮影情報データに基づいて、基準画像データと視差画像データの双方に対して画質調整処理を施すとともに、図１４に示すように、基準画像と視差画像の２つの画像の視点間距離が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、夫々の画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置されるように、ステレオペアの立体視表示用画像データを生成する。なお、入力された基準画像データがシーン参照画像データである場合には、鑑賞画像参照データ生成手段として、撮影情報データに基づいて基準画像データと視差画像データの双方に対して画質調整処理を施すとともに、出力条件設定入力部４０８から入力された情報に基づいて基準画像データと視差画像データの双方に対して出力媒体上（ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等）で最適な鑑賞画像が得られるよう最適化処理を施し、上記それぞれのデータを鑑賞画像参照データに変換した後、基準画像と視差画像の２つの画像の視点間距離が、最低でも人間の両目間の距離と同じ約６〜７ｃｍの距離に保たれるよう、それぞれの画像の大きさを調整し、並行法、又は交差法の観察条件に応じて正しく平面上に並べて配置されるように、ステレオペアの立体視表示用画像データを生成する。
【０２３２】
出力条件設定入力部４０８は、キーボードやＬＣＤ上に構成されたタッチパネル等のユーザインターフェースにより構成され、本画像処理装置３０１にて生成されたデジタル画像データの出力設定（例えば、出力先のデバイスの種類、出力サイズ等）に関する情報が入力されると、この情報を立体視表示用画像データ生成部４０７へ出力する。なお、出力条件設定入力部４０８は、操作部３１１と一体であってもよい。
【０２３３】
撮影情報データ読み出し部４０９は、ヘッダ情報解析部４０２において、ヘッダ領域へ撮影情報データが記録されていると解析された場合に、入力されたファイルのヘッダ領域から撮影情報データを読み出して、立体視表示用画像データ生成部４０７へ出力する。
【０２３４】
基準画像データ処理部４０１で生成された立体視表示用画像データは、画像調整処理部７０１へ出力される。
【０２３５】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段３７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部３１１又は制御部３０７の指令に基づき、フィルムスキャナ部３０９、反射原稿入力装置３１０、画像転送手段３３０、通信手段（入力）３４０、テンプレート処理部７０５、基準画像データ処理部４０１から受け取った画像データに対して、出力媒体上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行って出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段３７１へ送出する。
【０２３６】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データを画像形成手段としてのＣＲＴ３０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、画像形成手段としての露光処理部３５１に画像データを送出する。本発明の画像記録装置３０１に、さらに、画像形成手段としての大判インクジェットプリンタなど、外部プリンタ装置３５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０２３７】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３３１や通信手段（出力）３４１へ画像データを転送する。
【０２３８】
なお、基準画像データ処理部４０１において作成される立体視表示用画像データは、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９における処理を前提としたものであり、画像データ書式作成処理部７０９においては、立体視表示用画像データの書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０２３９】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部３７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２４０】
また、ヘッダ情報解析部４０２、差分画像データ読み出し部４０３、差分画像データ生成部４０４、視差画像データ生成部４０５、基準画像データ生成部４０６、立体視表示用画像データ生成部４０７、撮影情報データ読み出し部４０９という区分は、画像処理部３７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２４１】
＜画像処理部３７０の動作＞
図２１は、画像処理部３７０の各部が連携することにより実行される立体視表示用画像形成処理を示すフローチャートである。以下、図２１を参照して画像処理部３７０各部の動作について説明する。
【０２４２】
画像転送手段３３０又は通信手段（入力）３４０から画像処理部３７０にデータが入力され、画像データ書式解読処理部７０４により当該入力データが立体視表示用の基準画像データのファイルであると判別されると（ステップＳ５１）、ヘッダ情報解析部４０２により基準画像データのファイルフォーマットのヘッダ情報が解析され、添付識別情報及び撮影情報データが判別される（ステップＳ５２）。ヘッダ情報解析部４０２の判別の結果に基づき、撮影情報データ読み出し部４０９により撮影情報データが読み出され、立体視表示用画像データ生成部４０７へ出力される（ステップＳ５３）。また、ヘッダ情報解析部４０２の判別の結果に基づき、差分画像データ読み出し部４０３により、ファイルの所定領域から差分画像データが読み出されて基準画像データと差分画像データが分離され（ステップＳ５４）、差分画像データ生成部４０４により加工が施されて画像処理可能な差分画像データが生成され（ステップＳ５５）、視差画像データ生成部４０５へ出力される。
【０２４３】
次いで、視差画像データ生成部４０５において、基準画像データと差分画像データから、視差画像データが生成され（ステップＳ５６）、立体視表示用画像データ生成部４０７において、基準画像データ及び視差画像データのそれぞれに、撮影情報データ生成部４０９により入力された撮影情報データに基づいて、画質調整処理が施され（ステップＳ５７）、出力条件設定入力部４０８より入力された出力条件に基づいて、出力媒体上で最適な鑑賞画像が得られるよう最適化処理が施され、鑑賞画像参照データに変換される（ステップＳ５８）。なお、入力された基準画像データが鑑賞画像参照データである場合は、当該ステップを省略してもよい。
【０２４４】
なお、ステップＳ５７において、基準画像データ及び視差画像データに施される画質調整処理については、上述した画像処理装置２００における立体視表示用画像データ生成処理ＡのステップＳ２７で説明した処理と同様であるので、説明は省略する。
【０２４５】
次いで、立体視表示用画像データ生成部４０７において、出力条件設定入力部４０８より入力された出力条件に基づいて、基準画像データと視差画像データの２つの画像の大きさと配置がステレオペアの立体視表示に最適なように調整され、立体視表示用画像データが生成される（ステップＳ５９）。そして、立体視表示用画像データは出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力され、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ６０）、出力条件設定入力部４０８により指定された出力先において、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、立体視表示用の鑑賞画像が形成される（ステップＳ６１）。
【０２４６】
以上説明したように、本発明の画像記録装置３０１によれば、入力された画像データを解読し、入力された画像データが立体視表示用の基準画像データである場合には、基準画像データと、基準画像データに添付されている差分画像データちから立体視表示用画像データを生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に鑑賞画像を形成する。従って、立体視表示用に撮影された撮像画像データと、立体視表示用ではない通常の撮像画像データの両者が混在した状態での効率的なプリント作成が可能となる。更に、基準画像データ及び視差画像データに対して、撮影情報データに基づいて画質調整処理を施すので、立体視表示画像の画質向上を図ることができる。
【０２４７】
なお、上記実施の形態における記述内容は、本発明の撮像装置、画像処理装置、画像記録装置の好適な一例であり、これに限定されるものではない。また、各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【０２４８】
【発明の効果】
請求項１、８、１２に記載の画像処理方法、撮像装置、画像処理装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データの中から基準画像データを少なくとも１つ選定し、選定された基準画像データと他の撮像画像データとの差分画像データを抽出し、抽出された差分画像データを基準画像データに添付し、差分画像データが添付されていることを示す添付識別情報を基準画像データに添付する。
【０２４９】
従って、同一被写体を異なる視点から撮影して得られた複数の撮像画像データ、即ち、立体視表示用に撮影された複数の撮像画像データを単一の撮像画像データとして扱うことが可能となり、複数の撮像画像データの中から立体視表示用に撮影された撮像画像データを検索する際の検索効率の向上、立体視表示に対応していないプリンタでの基準画像データでの１枚の写真プリントとしての出力等が可能となる。その結果、立体視表示用に撮影された撮像画像データと、同一被写体を一つの視点から撮影した通常の撮像画像データとの互換性を向上し、立体視表示用の撮像画像データの汎用性、利便性を向上することができる。
【０２５０】
また、基準画像データには撮影情報データが添付されているので、他の画像処理装置や画像記録装置において、撮影情報データに基づいて、立体視表示用画像を生成する際に画質を向上させる処理を施すことができる。
【０２５１】
請求項４、１５、１９に記載の画像処理方法、画像処理装置、画像記録装置によれば、同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、基準画像データに差分画像データが添付されていることを示す添付識別情報、及び、撮影情報データが入力されると、添付識別情報に基づいて、基準画像データと差分画像データを分離し、分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成し、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成する。更に、画像記録装置は、生成された立体視表示用の画像データを出力媒体上に形成する。
【０２５２】
従って、入力された撮像画像データが、差分画像データが添付された、立体視表示用に撮影された基準画像データ、即ち、上述した請求項１、８、１２に記載の発明の画像処理方法、撮像装置、画像処理装置により生成された形式のデータであることを自動的に判別し、基準画像データと差分画像データから立体視表示用画像データを生成することができ、効率的な立体視表示用画像データの生成が可能となる。更に、撮影情報データに基づいて、基準画像データ及び視差画像データを用いて立体視表示用の画像データを生成するので、立体視表示用画像の画質の向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置３０の機能的構成を示すブロック図である。
【図２】図１の第一撮像部２１、第二撮像部２２の内部構成を示すブロック図である。
【図３】視点間距離が６ｃｍである場合、立体視表示用の撮像画像データを取得する際に望ましい主要被写体までの距離、角度の関係を示す図である。
【図４】視差量の算出方法を説明するための図である。
【図５】被写体の検出方法を説明するための図である。
【図６】被写体の検出方法を説明するための図である。
【図７】図１の制御部１１の制御により実行される立体視表示用画像撮影・記録処理を示すフローチャートである。
【図８】（ａ）は、撮像装置３０、画像処理装置１００により生成されるファイルのデータ構造を示す図、（ｂ）は画像処理装置２００Ａにより生成されるファイルのデータ構造を示す図、（ｃ）は基準画像データに差分画像データを添付する際の一例を示す図である。
【図９】被写体の種類別の視差量と硬さ補正値の関係を示す図である。
【図１０】被写体の種類別の視差量と明るさ補正値の関係を示す図である。
【図１１】本発明に係る画像処理装置１００の機能的構成を示すブロック図である。
【図１２】図１１の画像処理装置１００の各部が連携することにより実行される基準画像データ出力処理を示すフローチャートである。
【図１３】本発明に係る画像処理装置２００の機能的構成を示すブロック図である。
【図１４】立体視表示用画像データにおける、基準画像と差分画像の配置例を示す図である。
【図１５】図１３の画像処理装置２００の各部が連携することにより実行される立体視表示用画像データ生成処理Ａを示すフローチャートである。
【図１６】本発明に係る画像処理装置２００Ａの機能的構成を示すブロック図である。
【図１７】図１６の画像処理装置２００Ａの各部が連携することにより実行される立体視表示用画像データ生成処理Ｂを示すフローチャートである。
【図１８】本発明に係る画像記録装置３０１の外観斜視図である。
【図１９】図１８の画像記録装置３０１の内部構成を示す図である。
【図２０】図１９の画像処理部３７０の機能的構成を示すブロック図である。
【図２１】図２０の画像記録装置３０１の各部が連携することにより実行される立体視表示用画像データ形成処理を示すフローチャートである。
【符号の説明】
１ レンズ
２ 絞り
３ ＣＣＤ
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ 添付処理部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１２ 基準画像データ選定部
１３ 差分画像データ生成部
１４ 操作部
１５ 表示部
１６ ストロボ駆動回路
１７ ストロボ
１８ 焦点距離調整回路
１９ 自動焦点駆動回路
２０ モータ
２１ 第一撮像部
２２ 第二撮像部
２３ 撮影情報データ生成部
３０ 撮像装置
１００、２００、２００Ａ 画像処理装置
１０１、２０１ 入力部
１０２ 基準画像データ選定部
１０３ 視差情報抽出部
１０４、２０４ 差分画像データ生成部
１０５ 差分画像データ添付部
１０６、１０８、２０６、２１０ 一時記憶メモリ
１０７ ヘッダ情報記録部
１０９、２１４ 制御部
１１０、２１３ 記憶デバイス
１１１ 撮影情報データ取得部
２０２ ヘッダ情報解析部
２０３ 差分画像データ読み出し部
２０５ 視差画像データ生成部
２０７ 基準画像データ生成部
２０８ 立体視表示用画像データ生成部
２０９ 出力条件設定入力部
２１１ 第一処理部
２１２ 第二処理部
２１５ 鑑賞画像参照データ生成部
２１６ シーン参照画像データ再現用データ生成部
２１７ 撮影情報データ読み出し部
３０１ 画像記録装置
３０２ 本体
３０３ マガジン装填部
３０４ 露光処理部
３０５ プリント作成部
３０６ トレー
３０７ 制御部
３０８ ＣＲＴ
３０９ フィルムスキャナ部
３１０ 反射原稿入力装置
３１１ 操作部
３１２ 情報入力手段
３１３ａ ＰＣカード
３１３ｂ ＦＤ
３１４ 画像読込部
３１４ａ ＰＣカード用アダプタ
３１４ｂ ＦＤ用アダプタ
３１５ 画像書込部
３１５ａ ＦＤ用アダプタ
３１５ｂ ＭＯ用アダプタ
３１５ｃ 光ディスク用アダプタ
３１６ａ ＦＤ
３１６ｂ ＭＯ
３１６ｃ 光ディスク
３３０ 画像転送手段
３３１ 画像搬送部
３４０ 通信手段（入力）
３４１ 通信手段（出力）
３５１ 外部プリンタ
３７０ 画像処理部
３７１ データ蓄積手段
３７２ テンプレート記憶手段
７０１ 画像調整処理部
７０２ フィルムスキャンデータ処理部
７０３ 反射原稿スキャンデータ処理部
７０４ 画像データ書式解読処理部
７０５ テンプレート処理部
７０６ ＣＲＴ固有処理部
７０７ プリンタ固有処理部１
７０８ プリンタ固有処理部２
７０９ 画像データ書式作成処理部
４０１ 基準画像データ処理部
４０２ ヘッダ情報解析部
４０３ 差分画像データ読み出し部
４０４ 差分画像データ生成部
４０５ 視差画像データ生成部
４０６ 基準画像データ生成部
４０７ 立体視表示用画像データ生成部
４０８ 出力条件設定入力部
４０９ 撮影情報データ読み出し部
Claims (22)
- 同一被写体を異なる視点から撮影して得られた複数の撮像画像データから、１つの撮像画像データを出力する画像処理方法において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する工程と、
前記選定された基準画像データと他の撮像画像データとの差分画像データを抽出する工程と、
前記抽出された差分画像データを前記基準画像データに添付する工程と、
前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する工程と、
を含むことを特徴とする画像処理方法。 - 前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付する工程を含むことを特徴とする請求項１に記載の画像処理方法。
- 前記撮像画像データが、シーン参照画像データであることを特徴とする請求項１又は２に記載の画像処理方法。
- 入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力する画像処理方法において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する工程と、
前記添付識別情報に基づいて、前記基準画像データと前記差分画像データを分離する工程と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する工程と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する工程と、
を含むことを特徴とする画像処理方法。 - 前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴とする請求項４に記載の画像処理方法。
- 前記入力撮像画像データが、シーン参照画像データであり、前記基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する工程を含むことを特徴とする請求項４又は５に記載の画像処理方法。
- 前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴とする請求項１〜６の何れか一項に記載の画像処理方法。
- 同一被写体を異なる視点から撮影して複数の撮像画像データを得る撮像装置において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する基準画像データ選定手段と、
前記選定された基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出する差分画像データ生成手段と、
前記抽出された差分画像データを前記基準画像データに添付し、更に前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する添付処理手段と、
を備えたことを特徴とする撮像装置。 - 前記添付処理手段は、前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付することを特徴とする請求項８に記載の撮像装置。
- 前記撮像画像データが、シーン参照画像データであることを特徴とする請求項８又は９に記載の撮像装置。
- 前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴とする請求項８〜１０の何れか一項に記載の撮像装置。
- 同一被写体を異なる視点から撮影して得られた複数の撮像画像データから、１つの撮像画像データを出力する画像処理装置において、
前記複数の撮像画像データの中から基準画像データを少なくとも１つ選定する基準画像データ選定手段と、
前記基準画像データと他の撮像画像データとの差分内容を含む差分画像データを抽出する差分画像データ抽出手段と、
前記抽出された差分画像データを前記基準画像データに添付する差分画像データ添付手段と、
前記差分画像データが添付されていることを示す添付識別情報及び前記撮影に関する撮影情報データを前記基準画像データに添付する情報添付手段と、
を備えたことを特徴とする画像処理装置。 - 前記情報添付手段は、前記添付識別情報及び前記撮影情報データを、前記基準画像データのヘッダ領域にタグ情報として記録することにより、前記基準画像データに添付することを特徴とする請求項１２に記載の画像処理装置。
- 前記撮像画像データが、シーン参照画像データであることを特徴とする請求項１２又は１３に記載の画像処理装置。
- 入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力する画像処理装置において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する入力手段と、
前記添付識別情報及び前記撮影情報データを判別する判別手段と、
前記判別結果に基づいて、前記基準画像データと前記差分画像データを分離するデータ分離手段と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する視差画像データ生成手段と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する立体視表示用画像データ生成手段と、
を備えたことを特徴とする画像処理装置。 - 前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴とする請求項１５に記載の画像処理装置。
- 前記入力撮像画像データが、シーン参照画像データであり、
前記立体視表示用画像データ生成手段は、前記シーン参照画像データの基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データに変換された基準画像データ及び視差画像データに基づいて、立体視表示用の画像データを生成することを特徴とする請求項１５又は１６に記載の画像処理装置。 - 前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴とする請求項１２〜１７の何れか一項に記載の画像処理装置。
- 入力撮像データを出力媒体上で鑑賞するのに最適な画像データに処理して出力媒体上に鑑賞画像を形成する画像記録装置において、
同一被写体を異なる視点から撮影して得られた複数の撮像画像データのうちの基準画像データと他の撮像画像データとの差分内容を含む差分画像データ、この差分画像データが添付された基準画像データ、前記基準画像データに前記差分画像データが添付されていることを示す添付識別情報、及び、前記撮影に関する撮影情報データを入力する入力手段と、
前記添付識別情報及び前記撮影情報データを判別する判別手段と、
前記判別結果に基づいて、前記基準画像データと前記差分画像データを分離するデータ分離手段と、
前記分離された基準画像データ及び差分画像データに基づいて、視差画像データを生成する視差画像データ生成手段と、
前記撮影情報データに基づいて、前記基準画像データ及び前記視差画像データを用いて立体視表示用の画像データを生成する立体視表示用画像データ生成手段と、
前記生成された立体視表示用の画像データに基づいて、出力媒体上に立体視表示用の鑑賞画像を形成する画像形成手段と、
を備えたことを特徴とする画像記録装置。 - 前記添付識別情報及び前記撮影情報データが、前記入力された撮像画像データのヘッダ領域に記録されたタグ情報であることを特徴とする請求項１９に記載の画像記録装置。
- 前記入力撮像画像データが、シーン参照画像データであり、
前記立体視表示用画像データ生成手段は、前記基準画像データ及び前記視差画像データに最適化処理を施して鑑賞画像参照データに変換する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データに変換された基準画像データ及び視差画像データに基づいて、立体視表示用の画像データを生成することを特徴とする請求項１９又は２０に記載の画像記録装置。 - 前記撮影情報データが、前記撮影における視差量、被写体距離、被写体の種類のうち少なくとも一つの情報を含むことを特徴とする請求項１９〜２１の何れか一項に記載の画像記録装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003187485A JP2005026800A (ja) | 2003-06-30 | 2003-06-30 | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003187485A JP2005026800A (ja) | 2003-06-30 | 2003-06-30 | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005026800A true JP2005026800A (ja) | 2005-01-27 |
Family
ID=34186325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003187485A Pending JP2005026800A (ja) | 2003-06-30 | 2003-06-30 | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005026800A (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008030011A1 (en) * | 2006-09-04 | 2008-03-13 | Enhanced Chip Technology Inc. | File format for encoded stereoscopic image/video data |
| JP2008118240A (ja) * | 2006-11-01 | 2008-05-22 | Sony Corp | 再生装置および再生方法、記録装置および記録方法、並びにプログラム |
| WO2008081993A1 (en) * | 2006-12-27 | 2008-07-10 | Fujifilm Corporation | Image recording device and image recording method |
| WO2008150111A1 (en) * | 2007-06-07 | 2008-12-11 | Enhanced Chip Technology Inc. | Format for encoded stereoscopic image data file |
| WO2008153313A3 (en) * | 2007-06-12 | 2009-02-05 | Samsung Electronics Co Ltd | System and method for generating and regenerating 3d image files based on 2d image media standards |
| WO2008156318A3 (en) * | 2007-06-19 | 2009-02-05 | Korea Electronics Telecomm | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
| WO2008153312A3 (en) * | 2007-06-11 | 2009-02-12 | Samsung Electronics Co Ltd | System and method for generating and regenerating 3d image files based on 2d image media standards |
| WO2008153294A3 (en) * | 2007-06-11 | 2009-03-05 | Samsung Electronics Co Ltd | Method and apparatus for generating header information of stereoscopic image |
| JP2009516447A (ja) * | 2005-11-17 | 2009-04-16 | ノキア コーポレイション | ３次元画像データを生成、転送および処理するための方法および装置 |
| WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
| WO2009031872A3 (en) * | 2007-09-07 | 2009-04-30 | Samsung Electronics Co Ltd | System and method for generating and reproducing 3d stereoscopic image file including 2d image |
| WO2009123067A1 (ja) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | 画像処理方法、画像処理装置及び記録媒体 |
| WO2009157668A3 (en) * | 2008-06-24 | 2010-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for outputting and displaying image data |
| US20100182403A1 (en) * | 2006-09-04 | 2010-07-22 | Enhanced Chip Technology Inc. | File format for encoded stereoscopic image/video data |
| CN101841720A (zh) * | 2010-05-25 | 2010-09-22 | 东南大学 | 基于改进vls的立体视频编码方法 |
| CN101964916A (zh) * | 2009-07-21 | 2011-02-02 | 富士胶片株式会社 | 图像显示装置、方法、以及程序 |
| JP2011172286A (ja) * | 2011-05-26 | 2011-09-01 | Fujifilm Corp | 画像表示装置および方法並びにプログラム |
| JP2011217388A (ja) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | 複眼撮影装置および方法並びにプログラム |
| JP2011217387A (ja) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | 複眼撮影装置および方法並びにプログラム |
| WO2012095914A1 (ja) * | 2011-01-13 | 2012-07-19 | パナソニック株式会社 | 立体画像処理装置、立体画像処理方法およびプログラム |
| JP2012213016A (ja) * | 2011-03-31 | 2012-11-01 | Jvc Kenwood Corp | 立体画像生成装置及び立体画像生成方法 |
| JP5204350B2 (ja) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
| US8538134B2 (en) * | 2007-10-04 | 2013-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image |
| KR101390810B1 (ko) * | 2007-10-04 | 2014-05-26 | 삼성전자주식회사 | 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치 |
| WO2014121761A1 (en) * | 2013-02-11 | 2014-08-14 | International Business Machines Corporation | Improving data placement optimization |
| WO2015037473A1 (ja) * | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
| KR101520619B1 (ko) * | 2008-02-20 | 2015-05-18 | 삼성전자주식회사 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
| US9042709B2 (en) | 2010-08-31 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device, player, and image processing method |
| US9210396B2 (en) | 2011-03-31 | 2015-12-08 | JVC Kenwood Corporation | Stereoscopic image generation apparatus and stereoscopic image generation method |
| JP2016213622A (ja) * | 2015-05-01 | 2016-12-15 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置 |
| JP2020120903A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社コーエーテクモゲームス | ゲームプログラム、記録媒体、ゲーム処理方法 |
-
2003
- 2003-06-30 JP JP2003187485A patent/JP2005026800A/ja active Pending
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8619121B2 (en) | 2005-11-17 | 2013-12-31 | Nokia Corporation | Method and devices for generating, transferring and processing three-dimensional image data |
| JP2009516447A (ja) * | 2005-11-17 | 2009-04-16 | ノキア コーポレイション | ３次元画像データを生成、転送および処理するための方法および装置 |
| WO2008030011A1 (en) * | 2006-09-04 | 2008-03-13 | Enhanced Chip Technology Inc. | File format for encoded stereoscopic image/video data |
| US20100182403A1 (en) * | 2006-09-04 | 2010-07-22 | Enhanced Chip Technology Inc. | File format for encoded stereoscopic image/video data |
| JP2008118240A (ja) * | 2006-11-01 | 2008-05-22 | Sony Corp | 再生装置および再生方法、記録装置および記録方法、並びにプログラム |
| CN101573971B (zh) * | 2006-12-27 | 2012-07-25 | 富士胶片株式会社 | 图像记录装置和图像记录方法 |
| WO2008081993A1 (en) * | 2006-12-27 | 2008-07-10 | Fujifilm Corporation | Image recording device and image recording method |
| JP2008167067A (ja) * | 2006-12-27 | 2008-07-17 | Fujifilm Corp | 画像記録装置及び画像記録方法 |
| WO2008150111A1 (en) * | 2007-06-07 | 2008-12-11 | Enhanced Chip Technology Inc. | Format for encoded stereoscopic image data file |
| KR100962696B1 (ko) | 2007-06-07 | 2010-06-11 | 주식회사 이시티 | 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법 |
| US9172942B2 (en) | 2007-06-11 | 2015-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for generating header information of stereoscopic image data |
| KR101388265B1 (ko) | 2007-06-11 | 2014-04-22 | 삼성전자주식회사 | 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법 |
| WO2008153294A3 (en) * | 2007-06-11 | 2009-03-05 | Samsung Electronics Co Ltd | Method and apparatus for generating header information of stereoscopic image |
| WO2008153312A3 (en) * | 2007-06-11 | 2009-02-12 | Samsung Electronics Co Ltd | System and method for generating and regenerating 3d image files based on 2d image media standards |
| US8644597B2 (en) | 2007-06-11 | 2014-02-04 | Samsung Electronics Co., Ltd | System and method for generating and regenerating 3D image files based on 2D image media standards |
| US8457386B2 (en) | 2007-06-11 | 2013-06-04 | Samsung Electronics Co., Ltd | System and method for generating and regenerating 3D image files based on 2D image media standards |
| US8274551B2 (en) | 2007-06-11 | 2012-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for generating header information of stereoscopic image data |
| WO2008153313A3 (en) * | 2007-06-12 | 2009-02-05 | Samsung Electronics Co Ltd | System and method for generating and regenerating 3d image files based on 2d image media standards |
| WO2008156318A3 (en) * | 2007-06-19 | 2009-02-05 | Korea Electronics Telecomm | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
| WO2009031872A3 (en) * | 2007-09-07 | 2009-04-30 | Samsung Electronics Co Ltd | System and method for generating and reproducing 3d stereoscopic image file including 2d image |
| US8508579B2 (en) | 2007-09-07 | 2013-08-13 | Samsung Electronics Co., Ltd | System and method for generating and reproducing 3D stereoscopic image file including 2D image |
| KR101390810B1 (ko) * | 2007-10-04 | 2014-05-26 | 삼성전자주식회사 | 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치 |
| US8538134B2 (en) * | 2007-10-04 | 2013-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image |
| US8396906B2 (en) | 2007-10-10 | 2013-03-12 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
| CN101897193A (zh) * | 2007-10-10 | 2010-11-24 | 韩国电子通信研究院 | 用于存储和播放立体数据的元数据结构、以及用于使用该元数据来存储立体内容文件的方法 |
| WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
| KR101398168B1 (ko) * | 2007-10-10 | 2014-05-22 | 한국전자통신연구원 | 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법 |
| KR101520619B1 (ko) * | 2008-02-20 | 2015-05-18 | 삼성전자주식회사 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
| US9380284B2 (en) | 2008-04-03 | 2016-06-28 | Nlt Technologies, Ltd. | Image processing method, image processing device and recording medium |
| WO2009123067A1 (ja) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | 画像処理方法、画像処理装置及び記録媒体 |
| CN102077600A (zh) * | 2008-06-24 | 2011-05-25 | 三星电子株式会社 | 输出和显示图像数据的方法和设备 |
| WO2009157668A3 (en) * | 2008-06-24 | 2010-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for outputting and displaying image data |
| CN101964916A (zh) * | 2009-07-21 | 2011-02-02 | 富士胶片株式会社 | 图像显示装置、方法、以及程序 |
| CN101964916B (zh) * | 2009-07-21 | 2014-02-26 | 富士胶片株式会社 | 图像显示装置和方法 |
| CN101841720A (zh) * | 2010-05-25 | 2010-09-22 | 东南大学 | 基于改进vls的立体视频编码方法 |
| US8970675B2 (en) | 2010-08-31 | 2015-03-03 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device, player, system, and image processing method |
| JP5204350B2 (ja) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
| US9042709B2 (en) | 2010-08-31 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device, player, and image processing method |
| JP5909704B2 (ja) * | 2011-01-13 | 2016-04-27 | パナソニックＩｐマネジメント株式会社 | 立体画像処理装置、立体画像処理方法およびプログラム |
| US9064331B2 (en) | 2011-01-13 | 2015-06-23 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional image processing apparatus, three-dimensional image processing method, and program |
| WO2012095914A1 (ja) * | 2011-01-13 | 2012-07-19 | パナソニック株式会社 | 立体画像処理装置、立体画像処理方法およびプログラム |
| JP2012213016A (ja) * | 2011-03-31 | 2012-11-01 | Jvc Kenwood Corp | 立体画像生成装置及び立体画像生成方法 |
| US9210396B2 (en) | 2011-03-31 | 2015-12-08 | JVC Kenwood Corporation | Stereoscopic image generation apparatus and stereoscopic image generation method |
| JP2011172286A (ja) * | 2011-05-26 | 2011-09-01 | Fujifilm Corp | 画像表示装置および方法並びにプログラム |
| JP2011217387A (ja) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | 複眼撮影装置および方法並びにプログラム |
| JP2011217388A (ja) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | 複眼撮影装置および方法並びにプログラム |
| WO2014121761A1 (en) * | 2013-02-11 | 2014-08-14 | International Business Machines Corporation | Improving data placement optimization |
| US10120891B2 (en) | 2013-02-11 | 2018-11-06 | International Business Machines Corporation | Data placement optimization |
| US11210282B2 (en) | 2013-02-11 | 2021-12-28 | International Business Machines Corporation | Data placement optimization in a storage system according to usage and directive metadata embedded within the data |
| CN105519105A (zh) * | 2013-09-11 | 2016-04-20 | 索尼公司 | 图像处理设备及方法 |
| WO2015037473A1 (ja) * | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
| JPWO2015037473A1 (ja) * | 2013-09-11 | 2017-03-02 | ソニー株式会社 | 画像処理装置および方法 |
| US10085008B2 (en) | 2013-09-11 | 2018-09-25 | Sony Corporation | Image processing apparatus and method |
| JP2016213622A (ja) * | 2015-05-01 | 2016-12-15 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置 |
| JP2020120903A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社コーエーテクモゲームス | ゲームプログラム、記録媒体、ゲーム処理方法 |
| JP7304702B2 (ja) | 2019-01-30 | 2023-07-07 | 株式会社コーエーテクモゲームス | ゲームプログラム、記録媒体、ゲーム処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005026800A (ja) | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 | |
| US20040247175A1 (en) | Image processing method, image capturing apparatus, image processing apparatus and image recording apparatus | |
| JP4131192B2 (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP4406195B2 (ja) | 画像データの出力画像調整 | |
| JP2004173010A (ja) | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 | |
| US20060062487A1 (en) | Panorama synthesis processing of a plurality of image data | |
| JP2004096506A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| US20040041926A1 (en) | Image-capturing apparatus, imager processing apparatus and image recording apparatus | |
| JP2006325015A (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
| JP2003244467A (ja) | 画像処理方法、画像処理装置、及び画像記録装置 | |
| JPH11261797A (ja) | 画像処理方法 | |
| JP2004096505A (ja) | 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体。 | |
| JP2006203566A (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
| JP2004336521A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
| JP2005203865A (ja) | 画像処理システム | |
| JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| JP4292873B2 (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
| JP2004096508A (ja) | 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体 | |
| JP2006203573A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP4600503B2 (ja) | 画像データの出力画像調整 | |
| JP2004363760A (ja) | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 | |
| JP2004328530A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP4228579B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP2003264711A (ja) | 画像処理方法、画像処理装置、及び画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060531 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090915 |