JP2007028295A - 3d画像ファイル、撮像装置、画像再生装置、及び画像加工装置 - Google Patents

3d画像ファイル、撮像装置、画像再生装置、及び画像加工装置 Download PDF

Info

Publication number
JP2007028295A
JP2007028295A JP2005208706A JP2005208706A JP2007028295A JP 2007028295 A JP2007028295 A JP 2007028295A JP 2005208706 A JP2005208706 A JP 2005208706A JP 2005208706 A JP2005208706 A JP 2005208706A JP 2007028295 A JP2007028295 A JP 2007028295A
Authority
JP
Japan
Prior art keywords
image
homogeneity
image file
monocular images
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005208706A
Other languages
English (en)
Other versions
JP4638783B2 (ja
Inventor
Hideaki Yoshida
英明 吉田
Takeshi Masutani
健 増谷
Toshio Nomura
敏男 野村
Tadashi Uchiumi
端 内海
Hidehiko Sekizawa
英彦 關澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Sanyo Electric Co Ltd
Olympus Imaging Corp
Sony Corp
Original Assignee
Sharp Corp
Sanyo Electric Co Ltd
Olympus Imaging Corp
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, Sanyo Electric Co Ltd, Olympus Imaging Corp, Sony Corp filed Critical Sharp Corp
Priority to JP2005208706A priority Critical patent/JP4638783B2/ja
Priority to PCT/JP2006/314275 priority patent/WO2007010939A1/ja
Priority to EP06768301A priority patent/EP1919225A4/en
Priority to CN2006800264658A priority patent/CN101228798B/zh
Priority to KR1020087003819A priority patent/KR100947394B1/ko
Publication of JP2007028295A publication Critical patent/JP2007028295A/ja
Priority to US12/009,577 priority patent/US8743175B2/en
Application granted granted Critical
Publication of JP4638783B2 publication Critical patent/JP4638783B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】ステレオ撮影において撮影された複数のモノキュラ画像の同質性を管理することができる3D画像ファイル、このような3D画像ファイルを記録することができる撮像装置、3D画像ファイルを再生することができる画像再生装置、及び良好な3D画像ファイルを生成することができる画像加工装置を提供すること。
【解決手段】3D画像ファイルの記録時に、3D画像ファイルのヘッダ情報部のタグ情報としてモノキュラ画像の相互の同質性に関する情報を記録するための同質性タグを3Dメタデータに記録する。
【選択図】図4

Description

本発明は、立体画像データを記録する3D画像ファイル、このような3D画像ファイルを生成して記録する撮像装置、このような3D画像ファイルを再生する画像再生装置、及び3D画像ファイルを生成する画像加工装置に関する。
被写体の画像をその立体的情報を含むように撮影記録する手法には種々の方式がある。
その中でも、左右両眼の視点に対応する視差を持った2画像を記録する、所謂2眼式ステレオ撮影は構成が比較的簡単で安価な割に効果が高いため、古くから今日まで利用されている。
ここで用語について補足すれば、本明細書においては特記なき場合は3D、立体、ステレオは同義の言葉として用いる。いずれも被写体の3次元(3-dimendional)情報を、視覚的にリアルに再現するものである立体知覚(Stereoscopy)を実現するための立体視技術(Stereoscopic technology)の意味で用いられ、その利用形態や慣用により使い分けられる場合があるが、本質的な違いは無い。
このような2眼式ステレオ撮影を行うためには、特許文献1で示されるように、例えば左右両眼の視点に対応する視差を持った2つの光学系を有する2眼式のカメラを用いて撮影を行う方法がある。また、2眼式ステレオ撮影を単眼式のカメラで行う場合には、2台の単眼式のカメラを左右両眼の視点に対応する視差程度だけ離して配置して撮影を行う方法がある。また、このような2眼式のステレオ撮影を1台の単眼式のカメラで行う場合には、1回の撮影毎に位置を変えて計2回の撮影を行うようにすれば良い。更には、特許文献2で示されるように、カメラ本体にミラーやプリズムからなるステレオアダプタと呼ばれる機器を装着して撮影を行う方法もある。
特開平8−317425号公報 特開2002−77943号公報
ここで、ステレオ撮影では、左右異なる視点で各々撮影された画像(モノキュラ画像)の相互の同質性が保たれることが重要である。例えば、特許文献1のような2眼式のカメラを用いた場合や、特許文献2のようなステレオアダプタを装着する手法では、同一の撮影条件のもと、1回の撮影で左右2視点からの画像が得られるので比較的左右の画像の同質性が保たれやすい。これに対し、手持ちで位置を変えて2回の撮影を行い、左右2視点分の画像を記録するような場合には、手持ちのために1回目と2回目とで多少の傾きなどが生じやすく、撮影位置を完全に調節するのは非常に困難である。この場合、左右2視点の画像の同質性は低くなり、そのままでは再生画像の画質が悪くなる可能性が高い。このような2つの画像から立体画像を再生しようとしても正しく立体画像とならなかったり、最悪の場合には再生表示された画像がユーザーの眼に悪影響をおよぼしたりすることも考えられる。
このため、ステレオ撮影においては、複数の異なる視点で撮影された画像相互の同質性に関する情報を管理することが非常に重要である。
本発明は、上記の事情に鑑みてなされたもので、ステレオ撮影において撮影された複数のモノキュラ画像の同質性を管理することができる3D画像ファイル、このような3D画像ファイルを記録することができる撮像装置、3D画像ファイルを再生することができる画像再生装置、及び良好な3D画像ファイルを生成することができる画像加工装置を提供することを目的とする。
上記の目的を達成するために、本発明の第1の態様による3D画像ファイルは、1つの多眼式立体画像の構成要素である複数のモノキュラ画像の集合体として構成された立体画像データが記録される3D画像ファイルであって、上記3D画像ファイルは、上記立体画像データの全部又は一部に少なくとも上記複数のモノキュラ画像の相互の同質性に関する情報を含む3Dメタデータが付加されることにより、画像取り扱いの最小単位として構成されていることを特徴とする。
また、上記の目的を達成するために、本発明の第2の態様による撮像装置は、請求項1乃至8の何れかに記載の3D画像ファイルを生成して記録する記録手段と、1つの多眼式立体画像の構成要素である複数のモノキュラ画像を得るための少なくとも1つの撮像手段と、上記撮像手段で得られた複数のモノキュラ画像の相互の同質性を判断する同質性判断手段と、上記3D画像ファイルの生成に際しては、上記同質性判断手段の判断結果に基づいて上記複数のモノキュラ画像の相互の同質性に関する情報を設定し、上記3Dメタデータを生成する3Dメタデータ生成手段と、を具備することを特徴とする。
これら第1及び第2の態様では、複数のモノキュラ画像から3D画像ファイルを生成する際に、立体画像データに、複数のモノキュラ画像の相互の同質性に関する情報を含む3Dメタデータが付加される。これにより、モノキュラ画像の相互の同質性を容易に管理することが可能となる。
また、上記の目的を達成するために、本発明の第3の態様による画像再生装置は、第1の態様に記載の3D画像ファイルを再生する画像再生装置であって、上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、警告を行う警告手段を具備することを特徴とする。
この第3の態様では、3Dメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には警告が行われる。これにより画像の再生前にモノキュラ画像の同質性が低いことを知ることができるから、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
また、上記の目的を達成するために、本発明の第4の態様による画像再生装置は、第1の態様に記載の3D画像ファイルを再生する画像再生装置であって、上記3D画像ファイルに付加された3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記3D画像ファイルの再生を中止する中止手段を具備することを特徴とする。
この第4の態様では、3Dメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、立体画像の再生が中止される。これにより不適正な立体画像が再生されることがないから、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
また、上記の目的を達成するために、本発明の第5の態様による画像再生装置は、第1の態様に記載の3D画像ファイルを再生する画像再生装置であって、上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段を具備することを特徴とする。
この第5の態様では、3Dメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像処理によって同質性を高める補正が行われる。これにより画像再生時に適正な立体画像が再生される。
なお、この第5の態様においては、さらに上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備すること、または上記3D画像ファイルの再生を中止する中止手段を具備することが望ましい。
これらの手段により、良好な表示が行なわれない状況をユーザーに知らしめ、あるいは不良な3D表示を行なうことを回避できるので、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
また、上記の目的を達成するために、本発明の第6の態様による画像再生装置は、第1の態様に記載の3D画像ファイルを再生する画像再生装置であって、上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段を具備することを特徴とする。
この第6の態様では、3Dメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像の入れ替えが行われる。これにより、撮影時に画像の誤配置が生じた場合にも、画像再生時に適正な立体画像が再生される。
また、上記の目的を達成するために、本発明の第7の態様による画像加工装置は、第1の態様に記載の3D画像ファイルを加工する画像加工装置であって、上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段と、当該補正手段の補正出力を3D画像ファイルとして記録する記録手段と、を具備することを特徴とする。
この第7の態様では、3Dメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像処理によって同質性を高める補正が施されたものが3D画像ファイルとして記録される。これにより同質性の高い画像再生に適した3D画像ファイルを得ることができる。
なお、この第7の態様においては、さらに上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備すること、または上記3D画像ファイルの記録を中止する中止手段を具備することが望ましい。
これらの手段により、良好な3D画像ファイルの再生成が行われない状況をユーザーに知らしめ、あるいは不良な3D画像ファイルが記録されることを回避できるので、媒体の浪費やユーザーの徒労を未然に防ぐことができる。
また、上記の目的を達成するために、本発明の第8の態様による画像加工装置は、第1の態様に記載の3D画像ファイルを加工する画像加工装置であって、上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、複数のモノキュラ画像相互の入れ替え処理を施す処理手段と、当該処理手段の処理出力を3D画像ファイルとして記録する記録手段と、を具備することを特徴とする。
この第8の態様では、3Dメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像の入れ替えが施されたものが3D画像ファイルとして記録される。これにより、撮影時に画像の誤配置が生じた場合にも、配置の正しい画像再生に適した3D画像ファイルを得ることができる。
本発明によれば、ステレオ撮影において撮影された複数のモノキュラ画像の同質性を管理することができる3D画像ファイル、このような3D画像ファイルを記録することができる撮像装置、3D画像ファイルを再生することができる画像再生装置、及び良好な3D画像ファイルを生成することができる画像加工装置を提供することができる。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ100の内部構成を示すブロック図である。なお、図1のデジタルカメラ100は、複数の視点位置からの撮影によって得られた多眼式立体画像の構成要素である複数の画像(モノキュラ画像)から、所定のフォーマットに従った3D画像ファイルを生成して記録する、ステレオ撮影が可能な単眼式のデジタルカメラを例としている。図1に示すように、デジタルカメラ100は、撮像レンズ系101と、レンズ駆動機構102と、露出制御機構103と、フィルタ系104と、撮像素子105と、撮像素子ドライバ106と、プリプロセス回路107と、デジタルプロセス回路108と、カードインターフェイス(IF)109と、メモリカード110と、LCD111と、システムコントローラ112と、操作スイッチ(SW)113と、操作表示部114と、レンズドライバ115と、ストロボ116と、露出制御ドライバ117と、FlashRom118と、計時部119とから構成されている。
撮像レンズ系101は、各種レンズから構成されるレンズ系であり、図示しない被写体からの像(以下、被写体像)を露出制御機構103及びフィルタ系104を介して撮像素子105に結像させる。この撮像レンズ系101は、レンズ駆動機構102によって駆動される。レンズ駆動機構102は、モータなどから構成されており、撮像レンズ系101を構成する各レンズをその光軸方向に駆動させる。このレンズ駆動機構102は、レンズドライバ115によって駆動制御される。露出制御機構103は、撮像素子105への露出量を制御するための機構である。この露出制御機構103は、絞りやシャッタと、これらを駆動するための駆動機構とから構成され、露出制御ドライバ117によって制御される。フィルタ系104は、ローパスフィルタ等から構成されており、撮像レンズ系101及び露出制御機構103を介して入射した被写体像における高周波成分などの所定の周波数成分を除去する。
撮像手段としての撮像素子105は、被写体像を光電変換して撮像信号を取得する。撮像素子105としては、例えば縦型オーバーフロードレイン構造を有するインターライン転送方式のプログレッシブ(順次)走査型のCCDが用いられる。また、撮像素子105は、撮像素子ドライバ106によって駆動制御される。撮像素子ドライバ106は撮像素子105の駆動制御と撮像素子105において得られた撮像信号の読み出し制御とを行う。
プリプロセス回路107は、ゲインコントロールアンプやアナログ/デジタル(A/D)変換器等を含む前処理回路である。このプリプロセス回路107は、撮像素子105から入力されてきた撮像信号をゲインコントロールアンプにおいて所定のゲインで増幅したり、A/D変換器においてデジタル化したりする各種前処理を行う。デジタルプロセス回路108は、ホワイトバランス調整処理や階調変換処理、シャープネス処理などの各種デジタル画像処理を行う。また、処理後の画像データをJPEG方式などの圧縮方式を用いて圧縮し、これによって得られた圧縮画像データを、カードIF109を介してメモリカード110に記録させる。また、LCD111は、例えばLCDとその表示制御回路等から構成されており、デジタルプロセス回路108においてデジタル画像処理がなされた画像データに基づいて画像表示を行う。
システムコントローラ112は、露出制御機構103の絞り及びシャッタの動作制御、撮像素子ドライバ106の動作制御、プリプロセス回路107のゲインコントローラへのゲイン量の指示及びA/D変換器におけるデジタル化の際の量子化ビットの指示、デジタルプロセス回路108におけるホワイトバランス処理の際のホワイトバランスゲインの演算や、圧縮処理の際の圧縮方式や圧縮率の指示、レンズドライバ115や露出制御ドライバ117の動作制御等のカメラ全体の制御を統括的に行う。また、システムコントローラ112は、ステレオ撮影モード時において得られた複数のモノキュラ画像の相互の同質性を判断する同質性判断手段としての同質性判断部112a及び同質性判断部112aにおいて判断された同質性に関する情報から3Dメタデータを生成する3Dメタデータ生成手段としての3Dメタデータ生成部112bとしての機能も有している。更に、システムコントローラ112は、デジタルプロセス回路108とともに、3Dメタデータ生成部112bで生成された3Dメタデータから3D画像ファイルを生成してメモリカード110に記録する記録手段としての機能も有している。
操作SW113は、本デジタルカメラの外部に露出配置された各種操作ボタンに連動してオンオフする各種スイッチである。この操作スイッチ113としては、例えば本デジタルカメラによるシャッタレリーズ動作を開始させるためのレリーズスイッチや、本デジタルカメラの撮影モードをステレオ撮影モードに切り替えるためのモード切り替えスイッチなどが含まれる。操作表示部114は、操作スイッチ113の操作状態を表示する。
ストロボ116は、撮影時の補助光照射等に用いられる発光部である。このストロボ116は、露出制御ドライバ117によって制御される。FlashRom118は、本デジタルカメラの制御プログラムや各種設定情報等を記憶させておくための不揮発性メモリである。計時部119は、撮影時刻を計時するために設けられている。なお、この計時部119は、システムコントローラ112に内蔵させるようにしても良い。
次に、図1のデジタルカメラにおけるステレオ撮影について説明する。なお、ステレオ撮影は、操作スイッチ113に含まれるモード切り替えスイッチによって本デジタルカメラの撮影モードがステレオ撮影モードに切り替えられた場合に行うことができる。
ここでは、左右2視点分のモノキュラ画像を得る2眼式のステレオ撮影を例にとって説明する。図1のデジタルカメラ100は、2眼式のステレオ撮影を行うためのモードとして、2回の単眼撮影によって得られた左右2視点分のモノキュラ画像から3D画像ファイルを生成して記録する2テーク撮影モードと、1回の2眼撮影によって得られた左右2視点分の画像から3D画像ファイルを生成して記録する1テーク撮影モードの2種類のステレオ撮影モードを有している。これらステレオ撮影モードの切り替えはモード切り替えスイッチによって切り替えることができる。
図2は、2テーク撮影モードにおいて、左右2視点分のモノキュラ画像を取得する場合の例について示す図である。2テーク撮影モードにおいて、ユーザーは、あらかじめ決められた撮影順序のルールに従って、1回目の撮影時に図2(b)に示すようにして左側の視点に対応する位置で撮影を行い、2回目の撮影時に図2(a)に示すようにして右側の視点に対応する位置で撮影を行う。ここで、1回目の撮影時と2回目の撮影時とでは、絞り値やシャッタスピードなどの撮影条件を同じくするような制御がシステムコントローラ112によってなされる。これにより、1回目の撮影時に左側のモノキュラ画像Lが取得され、2回目の撮影時に右側のモノキュラ画像Rが取得される。これらモノキュラ画像L、Rから後述するステレオ画像データが生成され、このステレオ画像データから3D画像ファイルが生成される。
なお、2テーク撮影モードにおける2回の撮影は、ユーザーによる2回のレリーズ操作を受けて実行するようにしても良いし、ユーザーによる1度のレリーズ操作により順次所定時間間隔で2回の撮影を実行するようにしても良い。
図3は、1テーク撮影モードにおいて、左右2視点分のモノキュラ画像を取得する場合の例について示す図である。1テーク撮影モードにおいて、ユーザーは、例えばデジタルカメラ100にステレオアダプタ200を装着した状態で撮影を行う。このステレオアダプタ200は、複数のミラー201〜204から構成されており、異なる視点位置から入射した被写体の光束を撮像素子105の異なる領域に結像させる。つまり、左側の視点位置からステレオアダプタ200に入射した光束(図3の下側)はミラー201及びミラー203で反射されて撮像素子105の右側の領域(図3の上側)に結像する。また、右側の視点位置からステレオアダプタ200に入射した光束(図3の上側)はミラー202及びミラー204で反射されて撮像素子105の左側の領域(図3の下側)に結像する。このとき左右の配置が入れ替わるように見えるが、撮像レンズ系101による倒立結像の作用で、撮像素子上に結像される画像に対してはそのまま左視点画像が左に右視点画像が右に配置された並行配置となる。これにより撮像素子105の異なる領域でモノキュラ画像Lとモノキュラ画像Rとが取得される。これらモノキュラ画像L、Rから後述するステレオ画像データが生成され、このステレオ画像データから3D画像ファイルが生成される。
なお、ステレオアダプタ200を装着しなくとも左右の視点位置に対応する位置に2台のデジタルカメラを配置し、これら2台のデジタルカメラを同時レリーズ可能なように例えばケーブルで接続して撮影を行うようにしても、1回の撮影で左右2視点分のモノキュラ画像を得ることができる。また、図1では示していないが、2つのレンズ系と2つの撮像素子を有する2眼式のデジタルカメラを用いて撮影を行っても良い。
次に、本一実施形態における3D画像ファイルの生成時の処理について説明する。ステレオ撮影では、左右のモノキュラ画像の相互の同質性が保たれていることが重要であるが、モノキュラ画像の相互の同質性を完全に保つことはほぼ不可能である。ただし、左右のモノキュラ画像の相互の同質性は撮影時において決定される情報であるため、撮影時に生成される3D画像ファイル内に同質性に関する情報を記録しておくことが同質性を管理する上では好ましい。
そこで、本一実施形態では、デジタルカメラ100において3D画像ファイルを生成する際に、3D画像ファイルに2つのモノキュラ画像の相互の同質性に関する情報(以下、同質性タグと称する)を記録するようにする。この同質性タグには、2つのモノキュラ画像を1テーク撮影モードと2テーク撮影モードの何れで取得したかを記述するようにする。これは、1テーク撮影モードで撮影された場合の2つのモノキュラ画像の相互の同質性は高く、2テーク撮影モードで撮影された場合の2つのモノキュラ画像の相互の同質性は低いと考えられるためである。そして、1テーク撮影モードで取得された場合には、同質性タグに、2つのモノキュラ画像が1テーク撮影モードで取得されたことを示す「1」を設定し、2テーク撮影モードで取得された場合には、同質性タグに、2つのモノキュラ画像が2テーク撮影モードで取得されたことを示す「2」を設定するようにする。
以下、3D画像ファイル記録時の処理について図4のフローチャートを参照して説明する。なお、図4のフローチャートの処理は、ステレオ撮影モード時にシステムコントローラ112において実行されるものである。
1テーク撮影モード若しくは2テーク撮影モードでステレオ撮影が実行されると撮像素子105に結像された被写体像から左右2視点に対応した2つのモノキュラ画像L、Rが生成される。その後に図4のフローチャートの処理が開始され、システムコントローラ112内部の同質性判断部112aにおいて、2つのモノキュラ画像が2テーク撮影モードで撮影されたものか否かが判断される(ステップS1)。
ここで、このステップS1での判断については、2通りのケースがあることについて補足説明する。すなわち第1のケースは、文字通り「2テーク撮影(左右視点の各モノキュラ画像を、タイミングの異なる2回の露出により取得する制御)による撮影か否か」であり、第2のケースは「2テーク撮影として扱うべき画像の同質性の低下の懸念があるか否か」である。
本実施形態の基本的な実施例としては第1のケースを採用する。すなわち、既に本発明の課題においても触れたように一般には1テーク撮影では同質性が保たれやすく、2テーク撮影では保たれにくいから、この判断にのみ従って同質性タグの設定を行うものである。この例は判断基準が極めて明確かつ実施に何の困難もないという利点を有している。
一方この点に関する変形実施例として、第2のケースを採用するものについて説明する。撮影時における2つのモノキュラ画像の相互の同質性は、2テーク撮影であっても保たれる場合があり、逆に1テーク撮影であっても保たれない場合がある。そこでこの例では、ステップS1の判断において、2つのモノキュラ画像の相互の同質性を判断するようにし、2つのモノキュラ画像の相互の同質性が保たれている場合には、2テーク撮影モードで撮影されたものであっても1テーク撮影モードで撮影されたものと見なす。逆に2つのモノキュラ画像の相互の同質性が保たれていない場合には、1テーク撮影モードで撮影されたものであっても2テーク撮影で撮影取得されたものと見なす。これらの判断は、2つのモノキュラ画像の撮影タイミングの同時性、2つのモノキュラ画像が異なるデジタルカメラで撮影されたものであるか否か、及び2つのモノキュラ画像の撮影条件の同一性を判断することにより行う。また、この判断は、ある許容範囲内で同一性が保たれていれば2つのモノキュラ画像の同一性が保たれている、即ち1テーク撮影モードで撮影されたものと判断する。この許容範囲はデジタルカメラ100の仕様などに応じて適宜決定すれば良いものである。
例えば、2つのモノキュラ画像の撮影タイミングが大きく異なっている場合には、2回の撮影の間に手ぶれ(による被写体像の回転や位置ずれ、さらに被写体の動きによるずれを含む)などが発生している可能性もあるため、2つのモノキュラ画像の同質性が保たれていないと見なす。また、2つのモノキュラ画像が異なる(同一で無い)デジタルカメラで撮影された場合も、両デジタルカメラでレンズ系の特性(分光透過率や画角など)や撮像素子の特性(撮像素子の有効画素数や飽和レベルなど)、A/D変換器の特性(デジタル化の際の量子化ビット数など)などが異なっている可能性があるため、2つのモノキュラ画像の同質性が保たれていないと見なす。この場合の特性の相違は、2つのカメラの機種が異なれば一層大きくなり易いが、同じ機種であっても個体差やセッティングによって異なり得るから、同一のカメラであるかによって同質性を判断している。異なるカメラを用いた時には、仮に同期式シャッタによって同一タイミングでの露光ができたとしても、カメラの雲台への取り付け角度が不適切であったりすれば画像の同質性はやはり保たれないケースがあることを参考までに指摘しておく。
更に、2つのモノキュラ画像の撮影条件が大きく異なっている場合も2テーク撮影モードと見なす。これは、例えば左側のモノキュラ画像Lの圧縮方式がRAWモードに設定されており、右側のモノキュラ画像Rの圧縮方式がJPEGモードに設定されている場合や、モノキュラ画像Lとモノキュラ画像Rのそれぞれの撮影時におけるストロボ発光の有無の条件が異なっている場合などである。これは、例えば2回の撮影を行う場合で、1回目のモノキュラ画像Lの撮影時にはストロボを使用したが、2回目のモノキュラ画像Rの撮影時にはストロボのチャージが完了せずにストロボを使用できなかったような場合などに対応する。このほかにも、モノキュラ画像Lとモノキュラ画像Rをそれぞれ撮影したときの絞り値、シャッタスピード、撮影感度(ゲインコントロールアンプのゲイン量)などの画像の露出に関わる条件や、モノキュラ画像Lとモノキュラ画像Rのホワイトバランスの条件、色信号処理方法、階調特性などの画像処理に関わる条件、及びモノキュラ画像Lとモノキュラ画像Rの解像度、圧縮率、記録画素数などの画像の記録に関する条件などが大きく異なる場合にも2つのモノキュラ画像の同質性が保たれていないと見なす。
ここで再び図4のフローチャートの説明に戻れば、上記した2つの実施の例のいずれのケースであっても、ステップS1の判断において、2つのモノキュラ画像が2テーク撮影モードで撮影されたものと見なすべきであると判断された場合には、ステップS1をステップS2に分岐して、同質性タグに、2つのモノキュラ画像が2テーク撮影モードで撮影されたことを示す「2」が設定される(ステップS2)。一方、2つのモノキュラ画像が1テーク撮影モードで撮影されたものと見なすことができると判断された場合には、ステップS1をステップS3に分岐して、同質性タグに、2つのモノキュラ画像が1テーク撮影モードで撮影されたことを示す「1」が設定される(ステップS3)。
なお、同質性タグの情報は、ユーザーが操作スイッチ113を操作することによって手動で設定できるようにしても良い。
ステップS2若しくはステップS3において、若しくは手動で同質性タグが設定された後、3Dメタデータ生成部112bにおいて、同質性タグを含む3Dメタデータが生成される(ステップS4)。この3Dメタデータは、例えばデジタルカメラ用の汎用画像ファイルフォーマットであるExifのタグ情報の1つとして記録される情報であり、2つのモノキュラ画像の相互の同質性に関する情報(同質性タグ)のほかに、例えば当該3D画像ファイルがステレオ撮影によって得られたファイルであることを示す情報や、それぞれのモノキュラ画像の視点位置に関する情報、当該3D画像ファイルに記録されているステレオ画像データの記録・再生に係るパラメータなどが含まれて構成される。なお、3Dメタデータは、Exifのタグ情報として記録するだけでなく、任意の形式で記録し得るものであり、例えばAdobe社が提唱しているXMP(登録商標)のようなXMLなどを用いて記述したテキストメタデータの形式で記録するようにしても良い。
ステップS4において、3Dメタデータが生成された後、3Dメタデータ以外の、例えばステレオ撮影時の露出条件(絞り値、シャッタスピードなど)や、記録時の圧縮方式などの各種情報がタグ情報として付加されてヘッダ情報部が生成される(ステップS5)。その後、このヘッダ情報部がステレオ画像データに付加されて3D画像ファイルが生成され、この3D画像ファイルがメモリカード110に記録され(ステップS6)、図4の処理が終了する。
図5は、図4の処理によって生成される3D画像ファイルの概念的な構成について示す図である。この3D画像ファイルは、2つのモノキュラ画像に基づいて生成されたステレオ画像データがJPEG方式などで圧縮されて記録される画像データ部に、3Dメタデータを含むヘッダ情報部が付加されることにより、画像取り扱いの最小単位として構成される。
ここで、ステレオ画像データについて説明する。ステレオ画像データは、2つのモノキュラ画像の集合体として構成された立体画像データである。このステレオ画像データは、例えば図6(a)のように2つのモノキュラ画像L、Rの各々を1つの平面画像上の異なる位置領域に配置することにより構成した統合型立体画像データとして3D画像ファイル中に記録する。なお、ステレオアダプタ200を用いた1テーク撮影モードの場合には撮像素子105で得られた画像をデジタルプロセス回路108で画像処理してから記録する。一方、2テーク撮影の場合には、1回目の撮影時で得られたモノキュラ画像Lをデジタルカメラ100内部の図示しないバッファメモリに格納しておき、2回目のモノキュラ画像Rが取得された時点でモノキュラ画像L及びモノキュラ画像Rをリサイズして1つの画像の左右半分ずつの領域に合成したものを画像処理してから記録する。
なお、ステレオ画像の形式は、図6(a)の統合型立体画像データに限るものではない。例えば、図6(b)のように2つの2つのモノキュラ画像L、Rの各々をページ画像として有するマルチページ型立体画像データの形式としても良い。更に、ステレオ画像データは、図6(c)のように2つのモノキュラ画像L、Rを別々の3D画像ファイルL、Rに記録するようにして構成しても良い。ただし、この場合には別々に構成した3D画像ファイルL、Rの少なくとも何れか一方の3Dメタデータ中に、2つのモノキュラ画像L、Rが相互に関連していること(1つの立体画像の各構成要素であること)を示す情報を記述しておく必要がある。
次に、図4の処理に従ってメモリカード110に記録された3D画像ファイルを再生する画像再生装置について説明する。なお後述のように、この装置は3D画像の再生装置であると同時に、必要に応じて3D画像ファイルを再生成して記録する画像加工装置としても機能する。図9は、この画像再生装置の構成を示す図である。図9に示す画像再生装置300は、制御部301と、ファイル入力部302と、画像再生部303と、補正部304とから構成されている。さらにこの装置が画像加工装置として機能する場合には、記録部305が追加される。
制御部301は、当該画像再生装置300の各部の制御を統括的に行う。また、制御部301は、警告手段及び、再生あるいは記録を中止する中止手段としての機能も有している。ファイル入力部302は、メモリカード110に記録された3D画像ファイルを入力するためのインターフェイス部である。制御部301は、ファイル入力部302を介して読み取った3D画像ファイルの内容に基づいてステレオ画像データの再生処理を行う。また、補正部304は、ステレオ画像を構成するモノキュラ画像の相互の同質性が低い、即ち2テーク撮影モードで取得されたものである場合に画像処理によって、同質性を高める補正や画像の入れ替え処理を行う。
なお、記録部305は、例えば図1におけるカードIF109、メモリカード110と同様の構成から成り、制御部301の制御の下に、制御部301または補正部304から送られたデータを所定の記録フォーマットで新たな3D画像ファイルとして記録する。なお、上記画像の入れ替え処理については、上記補正部304による画像処理によらずメタデータの書き換えによって行う場合も有り、その処理は制御部301が行う。
画像再生部303は、例えば3D画像を表示可能な直視型3DLCDで構成されている。直視型3DLCDは、パララックスバリヤと等価な効果を持つバックライトスリット(広義のパララックスバリヤ)が設けられており、ユーザーが見る位置によって異なる画像が見えるように構成されている。制御部301は、左側のモノキュラ画像Lと右側のモノキュラ画像Rを短冊状に分解し、交互の画素位置に配して再生表示することにより、3D画像表示を行う。
なお、画像再生部303としては、3DLCDに限るものではなく、左右の画面に独立して画像表示を行うことができるヘッドマウントディスプレイなどでも良い。更には、3D画像を表示するものだけでなく、3Dプリントビュアー用のフォーマットでステレオ画像を印刷することができるようなプリンタを用いても良い。あるいはCRT、LCDなどの汎用ディスプレイに3Dプリントと同様のフォーマットで表示してビュアーで観察したり、公知の時分割表示を適用することも可能である。
ここでまず始めに、再生装置300における同質性タグの最も単純な利用方法について説明する。それは同質性が低い場合には警告する、または再生を中止するというものである。すなわち再生の指令があったときには、当該ファイルのデータを読み込み以下の制御(図示省略)を実行する。すなわち第1の処理ステップとして同質性タグの値を判定し、その結果により以後の処理を分岐する。結果が1の場合、第2の処理ステップに移行して画像の3D表示(後述のノーマル表示)を行い、制御を終了する。結果が2の場合は画像の同質性が低いため、良好な表示が行なわれない可能性が高いので、第3の処理ステップに移行して、画像は非表示として(表示の中止)、かつ警告を行い制御を終了する。このとき変形例として、第3の処理ステップにおいては、画像の表示を行いつつ警告を行っても良いし、警告をせず画像を非表示とするのみでも良い。このような制御によれば、良好な表示が行われない状況をユーザーに知らしめ、また不良な3D表示を行うことを回避できるので、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
次に、3D画像ファイル再生時の画像の入れ替え処理とこのためのトライアル表示について説明する。画像の入れ替え処理は、モノキュラ画像LとRが反転して記録されていた場合に必要となる、LとRを入れ替える処理である。またトライアル表示は、モノキュラ画像L、Rを本来の配置で表示したノーマル表示の画像と、左右を入れ替えた(反転した)入れ替え表示の画像とを、LCD111に表示して比較することにより、配置の正しいステレオ画像が得られているかをユーザーが確認するための機能である。
補足すれば、基本的な実施例に従って記録された3D画像ファイルの場合、2テーク撮影のときには、ユーザーがあらかじめ決められた撮影順序のルールに従って左右各視点の撮影を行うことを前提に各視点画像がL,Rに割り当てられるようになっていたから、ユーザーが順序を間違えた場合にはLとRが反転して記録されるおそれが生じることになる。これは2テーク撮影が有する原理的な問題点であり1つの課題であるが、同質性タグを有効利用することによって以下のようにこの課題を解決することができる。
図7は、トライアル表示を含む表示(再生)処理について示すフローチャートである。
この図7の処理は、ユーザーによって3D画像再生の指示がなされたときに制御部301において実行される。
始めに、3Dメタデータ中の同質性タグの読み取りが行われ、同質性タグが「2」に設定されているか否かが判断される(ステップS11)。ステップS11の判断において、同質性タグが「1」に設定されている場合には、上記したような問題は生じないから、正しいステレオ画像が得られているとしてステップS14に分岐してノーマル表示を行い、その後図7の処理が終了する。
一方、ステップS11の判断において、同質性タグが「2」に設定されている場合には、トライアル表示が実行される(ステップS12)。このトライアル表示は、例えば、図8に示すように、ノーマル表示の画像111aと、入れ替え表示の画像111bとをLCD111に同時に表示させることにより行う。なお、図示は、パララックスバリヤ式の直視型3DLCDに対してL、Rの両モノキュラ画像を短冊状に分解して3D表示する際の配置がノーマル表示時に対して入れ替え表示時では反転している様子を模式的に(実際の分解はさらに細かく通常は画素単位で行なわれる)表現したものである。このとき、2画像を同時に表示するために、通常のノーマル表示に対して縮小表示またはトリミングによる部分表示となっている。ユーザーは画像111aと画像111bとを比較して正しい画像を選択することができる。
ステップS12のトライアル表示の後、ユーザーによって図8の上側、即ち画像111aが選択されたか否かが判断される(ステップS13)。ステップS13の判断において、上側が選択された場合には、ステップS13をステップS14に分岐して画像111aが選択されてLCD111に表示される(ステップS14)。その後、図7の処理が終了する。一方、ステップS13の判断において、下側が選択された場合には、ステップS13をステップS15に分岐して入れ替え表示が行われる(ステップS15)。
その後、ステップS16に進み、3D画像ファイルの再生成が行われる。ここでは上記したような表示段階でのモノキュラ画像の入れ替え処理にとどまらず、3D画像ファイルとしてのモノキュラ画像の入れ替え処理が行われる。この場合の入れ替え処理のやり方には下記2通りの方法が用いられ得る。1つは、LとRのモノキュラ画像を実際に入れ替えるものであって、統合型立体画像の形式では画像データの書き換えを行う。もう1つは、画像データの方はそのままで、モノキュラ画像の左右が入れ替わるように3Dメタデータの書き換えを行うものである。
いずれの方法を用いた場合にも、入れ替えによって画像の誤配置は解消されるから、同質性タグが「2」から「1」に書き換えられる。このようにして再構成された3D画像ファイルが記録部305によってメモリカード110に記録されて再生成が完了する。その後、図7の処理が終了する。
図10は、画像再生装置300における画像再生の際の画像の補正処理について示すフローチャートである。この処理は上記図7で説明した3D画像ファイル再生時の画像の入れ替え処理とこのためのトライアル表示のための処理とは異なる観点で行われるものである。つまり、画像の補正処理に対して用いている同質性タグとは別途に用意した同質性タグを画像の入れ替え処理に用いるようにしても良いし、同一の同質性タグの中で画像の入れ替え処理が済みであることを示す値「3」、補正処理済みを示す値「0」を用意して、例えば画像入れ替え済みであるが、補正処理を行っていない画像に対して処理を行うようにしても良い。この図10の処理は、ユーザーによって3D画像再生の指示がなされたときに制御部301において実行される。
ユーザーによって3D画像再生の指示がなされると、制御部301において3D画像ファイル中の同質性タグがチェックされる(ステップS21)。そして、同質性タグが「2」に設定されているか否かが判断される(ステップS22)。ステップS22の判断において、同質性タグが「2」に設定されている場合には、2つのモノキュラ画像の相互の同質性が低く、このまま画像再生を行っても正しく再生されないおそれがあるので、ステップS22をステップS23に分岐して、補正部304においてステレオ画像データの補正が行われる(ステップS23)。
ここで、補正処理の一例について図11を参照して説明する。この補正においては、まず左側のモノキュラ画像L401と右側のモノキュラ画像R402との間で相関検出を行って、基準となる左側のモノキュラ画像L401の所定の画枠領域401a(位置補正のずれ余裕を見込んでL401全体より多少小さい領域を画像領域として設定したもの)の画像データに対して最も相関が高い領域402bの画像データを検出して切り出すことによって位置ずれの補正が行われる。その際、図11の例では、領域402b内の画像データは領域401a内の画像データに対して傾きを持っているので、この傾きも含めて補正するようにする。また、傾きを含めた位置ずれ補正を施した後、モノキュラ画像L401とモノキュラ画像R402との間で明るさ(露出)などが異なっている場合には、これも補正する。また両モノキュラ画像の解像度(画素密度)が異なっており、例えばモノキュラ画像L401の方が高解像度の場合には、相関検出の結果から画素(微小領域)の対応を求め、モノキュラ画像R402の画素データを微小領域ごとにモノキュラ画像L401の画素データに置き換えるようにすれば良い。
ステップS23の補正処理の後、補正処理が適正に行われたか否かが判断される(ステップS24)。例えば上記位置ずれが極めて大きかったときなど、補正処理を適正に行うことが不可能となる(補正しても救えない)場合があり得る。ステップS24の判断において、補正処理が適正に行われなかった場合には、ステップS24をステップS25に分岐して、画像は非表示(再生中止)状態のままにて、正しく立体画像が再生されない旨がユーザーに警告される(ステップS25)。この警告は画像再生部303がLCDの場合などは表示によって行われる。ユーザーは、この警告を受けてモノキュラ画像の相互の同質性が低いことを知ることができ、この3D画像の再生を敢えて行うか中止するかを判断することができる。
ステップS25の警告の後、ユーザーによって画像再生の指示がなされたか否かが判断される(ステップS26)。ステップS26の判断において、ユーザーによって画像再生の指示がなされていない場合には、ステップS26をステップS27に分岐して、次の処理を行う指示がなされたか否かが判断される(ステップS27)。ステップS27の判断において、次の処理を行う指示がなされていない場合には、ステップS26に戻り、ユーザーの指示がなされるまで待機する。一方、ステップS27の判断において、次の処理を行う指示がなされた場合には、3D画像の再生が中止され、次の処理に移行する。
また、ステップS22の判断において、同質性タグが「1」である場合、ステップS24の判断において、補正処理が適正に行われた場合、或いはステップS26の判断において、画像再生の指示がなされた場合には、ステップS28に分岐して、画像再生部303において3D画像の再生が行われる。このとき、S24から分岐して来た場合に限り、補正処理後の画像データが同質性タグが2から1に書き換えられた3D画像ファイルとして再生成され記録部305にて記録される(ステップS28)。その後、次の処理を行う指示がなされたか否かが判断される(ステップS29)。ステップS29の判断において、次の処理を行う指示がなされていない場合には、3D画像の再生が継続される。一方、ステップS29の判断において、次の処理を行う指示がなされた場合には、3D画像の再生が中止され、次の処理に移行する。
以上説明したように、本一実施形態によれば、3D画像ファイルの生成時に、左右2視点のモノキュラ画像の相互の同質性に関する情報を同質性タグとして記録するようにしたので、簡単な構成でモノキュラ画像の同質性の情報を管理することができる。
また、同質性タグによって2テーク撮影モードであると判断された場合には、画像再生装置側でステレオ画像の補正を行ってから3D画像の再生を行うようにしたので、適正な3D画像を再生できる可能性を向上させることができる。また、補正処理が正しく行われなかった場合には警告が行われるので、ユーザーは、モノキュラ画像の相互の同質性が低いことを知ることができる。
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、上記した実施形態では、同質性タグとして2つのモノキュラ画像を1テーク撮影モードと2テーク撮影モードの何れによって取得したかを記録するようにしているが、撮影タイミングの同時性を示す情報として計時部119によって計時された時間差を記録するようにしても良い。また、ステップS24において補正が適正に行われなかった場合には、3D画像の再生を中止してモノキュラ画像の何れか一方のみを2D表示するようにしても良い。
また、トライアル表示や、入れ替え処理、補正処理をデジタルカメラ100側で行えるようにしても良い。
また、上記した実施形態では、2眼式のステレオ撮影を例にとって説明しているが、本発明は、3眼以上の任意の多眼式のステレオ撮影に応用可能である。この場合には、例えば、n眼式ステレオ画像を構成するn個のモノキュラ画像全体に関して同質性が保たれていると判断される場合に同質性タグの値を1、そうでない場合には2として、3D画像ファイルを生成記録すれば良い。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ100の内部構成を示すブロック図である。 2テーク撮影モードにおいて、左右2視点分のモノキュラ画像を取得する場合の例について示す図である。 1テーク撮影モードにおいて、左右2視点分のモノキュラ画像を取得する場合の例について示す図である。 3D画像ファイル記録時の処理について示したフローチャートである。 3D画像ファイルの概念的な構成について示す図である。 モノキュラ画像から生成されるステレオ画像について示す図である。 トライアル表示を含む表示(再生)の処理について示したフローチャートである。 トライアル表示の際の表示例について示した図である。 画像再生装置の構成を示す図である。 画像再生装置における画像再生の際の処理について示すフローチャートである。 補正処理の一例について説明するための図である。
符号の説明
100…デジタルカメラ、101…撮像レンズ系、102…レンズ駆動機構、103…露出制御機構、104…フィルタ系、105…撮像素子、106…撮像素子ドライバ、107…プリプロセス回路、108…デジタルプロセス回路、109…カードインターフェイス(IF)、110…メモリカード、111…LCD、112…システムコントローラ、112a…同質性判断部、112b…3Dメタデータ生成部、113…操作スイッチ、114…操作表示部、115…レンズドライバ、116…ストロボ、117…露出制御ドライバ、118…FlashRom、119…計時部、200…ステレオアダプタ、300…画像再生装置、301…制御部、302…ファイル入力部、303…画像再生部、304…補正部、305…記録部

Claims (19)

  1. 1つの多眼式立体画像の構成要素である複数のモノキュラ画像の集合体として構成された立体画像データが記録される3D画像ファイルであって、
    上記3D画像ファイルは、上記立体画像データの全部又は一部に少なくとも上記複数のモノキュラ画像の相互の同質性に関する情報を含む3Dメタデータが付加されることにより、画像取り扱いの最小単位として構成されていることを特徴する3D画像ファイル。
  2. 上記立体画像データは、上記複数のモノキュラ画像の各々を1つの平面画像上の異なる位置領域に配置することにより構成された統合型立体画像データであり、
    上記3D画像ファイルは、上記統合型立体画像データに上記3Dメタデータが付加されて構成されてなる1つの3D画像ファイルであることを特徴とする請求項1に記載の3D画像ファイル。
  3. 上記立体画像データは、上記複数のモノキュラ画像の各々をページ画像として有するマルチページ型立体画像データであり、
    上記3D画像ファイルは、上記マルチページ型立体画像データに上記3Dメタデータが付加されてなる1つの3D画像ファイルであることを特徴とする請求項1に記載の3D画像ファイル。
  4. 上記3D画像ファイルは、上記複数のモノキュラ画像を個別に記録した複数の3D画像ファイルからなり、
    上記複数の3D画像ファイルの少なくとも一部の3D画像ファイルには上記3Dメタデータが付加されており、かつこの一部の3D画像ファイルに付加された3Dメタデータは、他の3D画像ファイルとの関係を示す情報を更に含むことを特徴とする請求項1に記載の3D画像ファイル。
  5. 上記複数のモノキュラ画像の相互の同質性に関する情報は、上記複数のモノキュラ画像が露出されたタイミングの同時性を示す情報を含むことを特徴とする請求項1に記載の3D画像ファイル。
  6. 上記複数のモノキュラ画像が露出されたタイミングの同時性を示す情報は、上記複数のモノキュラ画像が各々露出されたときの撮影時刻に係る情報を含むことを特徴とする請求項5に記載の3D画像ファイル。
  7. 上記複数のモノキュラ画像の相互の同質性に関する情報は、上記複数のモノキュラ画像各々が同一の撮像装置で撮影されたか否かを示す情報を含むことを特徴とする請求項1に記載の3D画像ファイル。
  8. 上記複数のモノキュラ画像の相互の同質性に関する情報は、上記複数のモノキュラ画像が各々撮影されたときの撮影条件の同一性を示す情報を含むことを特徴とする請求項1に記載の3D画像ファイル。
  9. 請求項1乃至8の何れかに記載の3D画像ファイルを生成して記録する記録手段と、
    1つの多眼式立体画像の構成要素である複数のモノキュラ画像を得るための少なくとも1つの撮像手段と、
    上記撮像手段で得られた複数のモノキュラ画像の相互の同質性を判断する同質性判断手段と、
    上記3D画像ファイルの生成に際しては、上記同質性判断手段の判断結果に基づいて上記複数のモノキュラ画像の相互の同質性に関する情報を設定し、上記3Dメタデータを生成する3Dメタデータ生成手段と、
    を具備することを特徴とする撮像装置。
  10. 請求項1乃至8の何れかに記載の3D画像ファイルを再生する画像再生装置であって、
    上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、警告を行う警告手段を具備することを特徴とする画像再生装置。
  11. 請求項1乃至8の何れかに記載の3D画像ファイルを再生する画像再生装置であって、
    上記3D画像ファイルに付加された3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記3D画像ファイルの再生を中止する中止手段を具備することを特徴とする画像再生装置。
  12. 請求項1乃至8の何れかに記載の3D画像ファイルを再生する画像再生装置であって、
    上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段を具備することを特徴とする画像再生装置。
  13. 上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備することを特徴とする請求項12に記載の画像再生装置。
  14. 上記補正手段による補正処理が適正に行われなかった場合に、上記3D画像ファイルの再生を中止する中止手段を具備することを特徴とする請求項12に記載の画像再生装置。
  15. 請求項1乃至8の何れかに記載の3D画像ファイルを再生する画像再生装置であって、
    上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段を具備することを特徴とする画像再生装置。
  16. 請求項1乃至8の何れかに記載の3D画像ファイルを加工する画像加工装置であって、
    上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段と、
    当該補正手段の補正出力を3D画像ファイルとして記録する記録手段と、
    を具備することを特徴とする画像加工装置。
  17. 上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備することを特徴とする請求項16に記載の画像加工装置。
  18. 上記補正手段による補正処理が適正に行われなかった場合に、上記3D画像ファイルの記録を中止する中止手段を具備することを特徴とする請求項16に記載の画像加工装置。
  19. 請求項1乃至8の何れかに記載の3D画像ファイルを加工する画像加工装置であって、
    上記3D画像ファイルの3Dメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段と、
    当該処理手段の処理出力を3D画像ファイルとして記録する記録手段と、
    を具備することを特徴とする画像加工装置。
JP2005208706A 2005-07-19 2005-07-19 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法 Expired - Fee Related JP4638783B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005208706A JP4638783B2 (ja) 2005-07-19 2005-07-19 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法
PCT/JP2006/314275 WO2007010939A1 (ja) 2005-07-19 2006-07-19 3d画像ファイル、撮像装置、画像再生装置、及び画像加工装置
EP06768301A EP1919225A4 (en) 2005-07-19 2006-07-19 3D IMAGE FILE, PHOTOGRAPHIC APPARATUS, IMAGE PRODUCTION APPARATUS, AND IMAGE PROCESSING APPARATUS
CN2006800264658A CN101228798B (zh) 2005-07-19 2006-07-19 三维图像文件、摄像装置、图像再现装置及图像加工装置
KR1020087003819A KR100947394B1 (ko) 2005-07-19 2006-07-19 3d 화상 파일, 촬상 장치, 화상 재생 장치, 및 화상 가공장치
US12/009,577 US8743175B2 (en) 2005-07-19 2008-01-17 3D image file, photographing apparatus, image reproducing apparatus, and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005208706A JP4638783B2 (ja) 2005-07-19 2005-07-19 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法

Publications (2)

Publication Number Publication Date
JP2007028295A true JP2007028295A (ja) 2007-02-01
JP4638783B2 JP4638783B2 (ja) 2011-02-23

Family

ID=37668815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005208706A Expired - Fee Related JP4638783B2 (ja) 2005-07-19 2005-07-19 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法

Country Status (6)

Country Link
US (1) US8743175B2 (ja)
EP (1) EP1919225A4 (ja)
JP (1) JP4638783B2 (ja)
KR (1) KR100947394B1 (ja)
CN (1) CN101228798B (ja)
WO (1) WO2007010939A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168501A1 (ja) * 2012-05-09 2013-11-14 株式会社 東芝 X線撮影装置、医用画像処理装置、x線撮影方法及び医用画像処理方法
WO2022091429A1 (ja) * 2020-10-27 2022-05-05 株式会社トプコン 眼科観察装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487982B2 (en) * 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
JP4672764B2 (ja) * 2007-10-03 2011-04-20 富士フイルム株式会社 誤消去判断装置、方法及びプログラム
US8391640B1 (en) 2008-08-29 2013-03-05 Adobe Systems Incorporated Method and apparatus for aligning and unwarping distorted images
US8842190B2 (en) 2008-08-29 2014-09-23 Adobe Systems Incorporated Method and apparatus for determining sensor format factors from image metadata
US8368773B1 (en) 2008-08-29 2013-02-05 Adobe Systems Incorporated Metadata-driven method and apparatus for automatically aligning distorted images
US8724007B2 (en) 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
US8340453B1 (en) 2008-08-29 2012-12-25 Adobe Systems Incorporated Metadata-driven method and apparatus for constraining solution space in image processing techniques
JP2011024003A (ja) * 2009-07-16 2011-02-03 Fujifilm Corp 立体動画記録方法および装置、動画ファイル変換方法および装置
US20110019243A1 (en) * 2009-07-21 2011-01-27 Constant Jr Henry J Stereoscopic form reader
KR101674956B1 (ko) * 2010-07-12 2016-11-10 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
ITTO20120208A1 (it) * 2012-03-09 2013-09-10 Sisvel Technology Srl Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico
CN102848786B (zh) * 2012-07-20 2015-09-16 中国科学院上海光学精密机械研究所 三维身份证及其制备方法
US9239661B2 (en) 2013-03-15 2016-01-19 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
US10582184B2 (en) * 2016-12-04 2020-03-03 Juyang Weng Instantaneous 180-degree 3D recording and playback systems
CN106817576A (zh) * 2017-01-22 2017-06-09 宁波万维显示科技有限公司 一种fpga板以及裸眼3d显示设备
CN110678116B (zh) * 2017-06-05 2022-11-04 索尼公司 医疗系统和控制单元

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116555A (ja) * 1994-10-13 1996-05-07 Olympus Optical Co Ltd 立体静止画撮像システム
JPH08317425A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 電子カメラ
JP2002077943A (ja) * 2000-08-29 2002-03-15 Olympus Optical Co Ltd 画像取り扱い装置
JP2002077947A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 立体画像補正方法及びこれを用いた立体画像装置
WO2004008768A1 (en) * 2002-07-16 2004-01-22 Electronics And Telecommunications Research Institute Apparatus and method for adapting 2d and 3d stereoscopic video signal
JP2005142819A (ja) * 2003-11-06 2005-06-02 Univ Waseda 立体映像評価装置および立体映像チューナ

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
EP0957750A1 (en) * 1995-10-23 1999-11-24 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US6222613B1 (en) * 1998-02-10 2001-04-24 Konica Corporation Image processing method and apparatus
AUPP764398A0 (en) * 1998-12-11 1999-01-14 Canon Kabushiki Kaisha Method and apparatus for computing the similarity between images
JP3583669B2 (ja) * 1999-10-13 2004-11-04 シャープ株式会社 液晶表示装置
US6621915B1 (en) * 2000-02-29 2003-09-16 China Textile Institute Method and system inspecting on-line cotton web homogeneity by digital image processing
GB0010685D0 (en) * 2000-05-03 2000-06-28 Koninkl Philips Electronics Nv Autostereoscopic display driver
DE60141570D1 (de) * 2001-06-29 2010-04-29 Nokia Corp Bildeditierverfahren
US7006677B2 (en) * 2002-04-15 2006-02-28 General Electric Company Semi-automatic segmentation algorithm for pet oncology images
US7679616B2 (en) * 2002-04-25 2010-03-16 Sharp Kabushiki Kaisha Image data generation apparatus for adding attribute information regarding image pickup conditions to image data, image data reproduction apparatus for reproducing image data according to added attribute information, and image data recording medium related thereto
JP4088878B2 (ja) * 2002-09-06 2008-05-21 ソニー株式会社 立体画像表示装置
US7395108B2 (en) * 2003-05-13 2008-07-01 Vinai Roopchansingh System for concurrent MRI imaging and magnetic field homogeneity measurement
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP2005112819A (ja) 2003-10-10 2005-04-28 Asahi Kasei Chemicals Corp 魚介類由来リン脂質の製造方法
US7421125B1 (en) * 2004-03-10 2008-09-02 Altor Systems Inc. Image analysis, editing and search techniques
US7613361B2 (en) * 2004-05-14 2009-11-03 Canon Kabushiki Kaisha Information processing method and device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116555A (ja) * 1994-10-13 1996-05-07 Olympus Optical Co Ltd 立体静止画撮像システム
JPH08317425A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 電子カメラ
JP2002077943A (ja) * 2000-08-29 2002-03-15 Olympus Optical Co Ltd 画像取り扱い装置
JP2002077947A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 立体画像補正方法及びこれを用いた立体画像装置
WO2004008768A1 (en) * 2002-07-16 2004-01-22 Electronics And Telecommunications Research Institute Apparatus and method for adapting 2d and 3d stereoscopic video signal
JP2005142819A (ja) * 2003-11-06 2005-06-02 Univ Waseda 立体映像評価装置および立体映像チューナ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168501A1 (ja) * 2012-05-09 2013-11-14 株式会社 東芝 X線撮影装置、医用画像処理装置、x線撮影方法及び医用画像処理方法
JP2013233318A (ja) * 2012-05-09 2013-11-21 Toshiba Corp X線撮影装置及び医用画像処理装置
US10342501B2 (en) 2012-05-09 2019-07-09 Toshiba Medical Systems Corporation X-ray imaging apparatus, medical image processing apparatus, X-ray imaging method and medical image processing method
WO2022091429A1 (ja) * 2020-10-27 2022-05-05 株式会社トプコン 眼科観察装置

Also Published As

Publication number Publication date
WO2007010939A1 (ja) 2007-01-25
CN101228798A (zh) 2008-07-23
KR100947394B1 (ko) 2010-03-12
KR20080033990A (ko) 2008-04-17
EP1919225A4 (en) 2012-07-18
US20080198219A1 (en) 2008-08-21
CN101228798B (zh) 2010-05-19
US8743175B2 (en) 2014-06-03
JP4638783B2 (ja) 2011-02-23
EP1919225A1 (en) 2008-05-07

Similar Documents

Publication Publication Date Title
JP4638783B2 (ja) 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法
JP3841630B2 (ja) 画像取り扱い装置
JP4720785B2 (ja) 撮像装置、画像再生装置、撮像方法及びプログラム
US9491439B2 (en) Three-dimensional image capture device, lens control device and program
US8384802B2 (en) Image generating apparatus and image regenerating apparatus
JP4914420B2 (ja) 撮像装置、複眼撮像装置及び撮像制御方法
JP4914278B2 (ja) 画像処理装置、方法およびプログラム
JP5096048B2 (ja) 撮像装置、立体画像再生装置及び立体画像再生プログラム
JP4764854B2 (ja) 撮像装置、画像再生装置、撮像方法、システム及びプログラム
JPH08317425A (ja) 電子カメラ
WO2005115016A1 (ja) 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
JP2011142632A (ja) カメラ装置、カメラシステムおよびカメラ構成方法
JP4748398B2 (ja) 撮像装置、撮像方法及びプログラム
JP2012090259A (ja) 撮像装置
JP4536231B2 (ja) 撮像装置
JP4589651B2 (ja) 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
JP2005311983A (ja) 画像処理装置
JP3939127B2 (ja) 撮像装置
JP4512276B2 (ja) 撮像装置
JP4642375B2 (ja) 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
JP2000102035A (ja) 立体写真システム
JP4605400B2 (ja) 画像出力システム、画像生成装置および画像生成方法
JP2010102137A (ja) 3次元撮影装置および方法並びにプログラム
JP2006180366A (ja) 立体視画像生成装置および方法並びにプログラム
JP2010268492A (ja) 画像出力システム、画像生成装置および画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4638783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees