JP2008167064A - 画像生成装置及び画像再生装置 - Google Patents

画像生成装置及び画像再生装置 Download PDF

Info

Publication number
JP2008167064A
JP2008167064A JP2006353206A JP2006353206A JP2008167064A JP 2008167064 A JP2008167064 A JP 2008167064A JP 2006353206 A JP2006353206 A JP 2006353206A JP 2006353206 A JP2006353206 A JP 2006353206A JP 2008167064 A JP2008167064 A JP 2008167064A
Authority
JP
Japan
Prior art keywords
image
image data
general
file
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006353206A
Other languages
English (en)
Other versions
JP4686795B2 (ja
Inventor
Mikio Watanabe
幹夫 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006353206A priority Critical patent/JP4686795B2/ja
Priority to US11/965,466 priority patent/US7920176B2/en
Publication of JP2008167064A publication Critical patent/JP2008167064A/ja
Priority to US13/032,810 priority patent/US8384802B2/en
Application granted granted Critical
Publication of JP4686795B2 publication Critical patent/JP4686795B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

【課題】多視点画像を専用再生機のみでなく、汎用再生機でも再生できるようにする。
【解決手段】異なる複数の視点の画像データを生成する画像生成装置であって、前記各視点の画像データを汎用イメージファイル形式で記録するとともに、前記汎用イメージファイルの先頭のファイルヘッダー部中に、各画像を動画として再生するための再生時間間隔を含む動画再生情報と、各画像を立体映像として再生するための視点情報を記録するファイル変換手段を備えたことを特徴とする画像生成装置を提供することにより前記課題を解決する。
【選択図】図３

Description

本発明は、画像生成装置及び画像再生装置に係り、特に、複数の視点位置から撮影した複数の画像データを立体画像あるいは動画として再生する画像生成装置及び画像再生装置に関する。
従来より、デジタルカメラやデジタルビデオカメラ等の電子カメラにより立体画像（映像）やパノラマ画像を撮影し、立体感のある３次元画像（３Ｄ画像）や、広範囲にわたる風景画像（パノラマ画像）等を画像表示装置に再生することが行われている。
このような立体画像の撮影では、複数の異なる視点から複数の撮影装置で撮影して（例えば、左右の眼に相当するような２つの視点から２つの撮影装置で撮影して）得られた多視点画像を合成することにより、３Ｄ立体画像を得ることができる。このようにして得られた立体画像のデータ（デジタル画像データ）は、磁気ディスク、光ディスク、半導体メモリ等の記録メディアに記録・保存される。
このような多視点画像（及びこれから得られる立体画像）を表すデジタル画像データの記録・保存を行う様々な技術が、従来より知られている。
例えば、標準によって規定されたヘッダと、標準によって符号化された画像データと、画像データの終端に位置する非標準メタデータを含む画像末尾部とを有する、デジタル画像記述を含むデジタル保存装置が知られている（例えば、特許文献１等参照）。
また例えば、画像を３次元表示するためのデータを作成する際、複数の視点の各々に対応した複数の画像データを多重化するとともに、複数の画像データのファイル名が共通部分を含むようにし、また、画像データに含まれる画像情報が３次元画像である場合には、サムネイル画像に３次元画像であることを示すシンボルを埋め込むようにした画像データ作成装置及び画像データ再生装置が知られている（例えば、特許文献２等参照）。
また例えば、ミラー型ステレオアダプタを用いて１つの撮像素子で、視差程度離れた視点のデータから成るステレオ画像を撮像すると共に、撮像素子の撮像領域の中にモノキュラ画像に対応した複数の撮影画枠を設定し、これから得られた複数のモノキュラ画像により単一画像としてのステレオ画像を生成する撮影装置が知られている（例えば、特許文献３等参照）。
特開２００３−２９９０１６号公報 特開２００４−２７４０９１号公報 特開２００２−７７９４２号公報
しかしながら、例えば上記特許文献１に記載されたデジタル保存装置による画像記述から得られる画像データを汎用再生機で再生しようとすると、汎用再生機では標準形式で記録された画像データしか利用できないため、画像データの終端にある非標準メタデータが欠落してしまうという問題がある。
また、例えば上記特許文献２に記載された画像データ作成装置によって作成された画像データを汎用再生機で利用しようとすると、画像の結合方法によっては、分割して記録する場合にファイル操作で各データが散逸したり、専用機以外の汎用再生機では再生できないという問題がある。
またさらに、例えば上記特許文献３に記載された撮影装置で撮影された画像データは、１つの画像に複数のシーンが合成された画像であるため、このような撮影装置で撮影された画像データであることを知らないユーザがこの画像データを再生しようとした場合に、１つの画像に複数のシーンが合成された画像が再生されるため、機器の故障であるか否かをこのユーザが判別できないという問題がある。
本発明は、このような事情に鑑みてなされたもので、多視点画像が専用再生機のみでしか再生されず、汎用再生機では正常に再生することができないという不具合を解消し、従来型の汎用再生機によっても各多視点画像の一部または全部が再生表示され画像を確認することができ、多視点画像間の関連を視覚的に確認することのできる画像生成装置及び画像再生装置を提供することを目的とする。
前記目的を達成するために、請求項１に記載の発明は、異なる複数の視点の画像データを生成する画像生成装置であって、前記各視点の画像データを汎用イメージファイル形式で記録するとともに、前記汎用イメージファイルの先頭のファイルヘッダー部中に、各画像を動画として再生するための再生時間間隔を含む動画再生情報と、各画像を立体映像として再生するための視点情報を記録するファイル変換手段を備えたことを特徴とする画像生成装置を提供する。
これにより、汎用動画フォーマットで複数視点の画像を視点情報とともに記録することで、専用再生装置により立体再生表示または動画再生表示が可能となり、また汎用再生装置においては、動画として再生可能となる。さらに、汎用再生装置において編集し再保存するような場合にも、すべての視点画像が動画データとして保存され、未知のデータとして欠落することがない。
また、請求項２に示すように、請求項１に記載の画像生成装置であって、さらに、同一被写体を異なる複数の視点から撮影する撮影手段を有することを特徴とする。
これにより、任意の被写体の立体画像を撮影することができる。
また、請求項３に示すように、前記汎用イメージファイル形式は、モーションＪＰＥＧ形式であることを特徴とする。また、請求項４に示すように、前記汎用イメージファイル形式は、モーションＪＰＥＧ２０００形式であることを特徴とする。また、請求項５に示すように、前記汎用イメージファイル形式は、ＭＰＥＧのＩピクチャ形式であることを特徴とする。また、請求項６に示すように、前記汎用イメージファイル形式は、Ｈ．２６４形式であることを特徴とする。
このように、様々な画像圧縮形式を利用することができる。
また、同様に前記目的を達成するために、請求項７に記載の発明は、請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段を備えたことを特徴とする画像再生装置を提供する。
これにより、汎用イメージファイル形式のヘッダー部中に記録された視点情報を用いることにより、汎用動画フォーマットで記録された複数視点の画像データを立体再生表示することが可能となる。
また、同様に前記目的を達成するために、請求項８に記載の発明は、請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、入力された前記汎用イメージファイル形式の前記画像データが先頭のファイルヘッダー部内に前記視点情報を有するか否かを判別する判別手段と、前記視点情報を有する場合に、前記画像データを立体表示するか動画表示するかを選択する選択手段と、前記画像データを立体表示する場合に、前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段と、前記画像データを動画表示する場合に、前記画像データから動画再生信号を出力する動画再生信号出力手段を備えたことを特徴とする画像再生装置を提供する。
これにより、汎用イメージファイル形式のヘッダー部中に記録された視点情報を用いることにより、汎用動画フォーマットで記録された複数視点の画像データを立体再生表示または動画再生表示することが可能となる。
以上説明したように、本発明によれば、汎用動画フォーマットで複数視点の画像を視点情報とともに記録することで、専用再生装置により立体再生表示または動画再生表示が可能となり、また汎用再生装置においては、動画として再生可能となる。さらに、汎用再生装置において編集し再保存するような場合にも、すべての視点画像が動画データとして保存され、未知のデータとして欠落することがない。
以下、添付図面を参照して、本発明に係る画像生成装置及び画像再生装置について詳細に説明する。
図１は、本発明に係る画像生成装置の一実施形態の概略構成を示すブロック図である。
図１に示すように、本実施形態の画像生成装置（デジタルカメラ）１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、操作部（シャッタボタンを始めとする各種操作ボタンやスイッチ等を含む）１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２、撮影レンズ１４Ｒ、１４Ｌ、ズームレンズ制御部１２４Ｒ、１２４Ｌ、フォーカスレンズ制御部１２６Ｒ、１２６Ｌ、絞り制御部１２８Ｒ、１２８Ｌ、撮像素子１３４Ｒ、１３４Ｌ、タイミングジェネレータ（ＴＧ）１３６Ｒ、１３６Ｌ、アナログ信号処理部１３８Ｒ、１３８Ｌ、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌ、画像入力コントローラ１４１Ｒ、１４１Ｌ、デジタル信号処理部１４２Ｒ、１４２Ｌ、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、３Ｄ画像生成部１５０、圧縮・伸張処理部１５２、ファイル変換部１５３、メディア制御部１５４、メモリカード１５６、表示制御部１５８、モニタ２４、電源制御部１６０、バッテリ１６２、ストロボ１６等を備えている。
図１中左上側の部分は、例えば、立体画像を撮影する場合に、右眼の視点からの画像（右眼視画像）を取得する部分であり、主として、撮影レンズ１４Ｒ、ズームレンズ制御部１２４Ｒ、フォーカスレンズ制御部１２６Ｒ、絞り制御部１２８Ｒ、撮像素子１３４Ｒ、タイミングジェネレータ（ＴＧ）１３６Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。
一方、図１中左下側の部分は、例えば、立体画像を撮影する場合に、左眼の視点からの画像（左眼視画像）を取得する部分であり、主として、撮影レンズ１４Ｌ、ズームレンズ制御部１２４Ｌ、フォーカスレンズ制御部１２６Ｌ、絞り制御部１２８Ｌ、撮像素子１３４Ｌ、タイミングジェネレータ（ＴＧ）１３６Ｌ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。
ＣＰＵ１１０は、画像生成装置１０全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。
バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等の画像生成装置１０の動作に関する各種設定情報等が格納されている。
ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。
左右一対の撮影レンズ１４Ｒ、１４Ｌは、ズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもって（画像生成装置１０のボディに）配置されている。
ズームレンズ１３０ＺＲ、１３０ＺＬは、図示を省略したズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４Ｒ、１２４Ｌを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。
フォーカスレンズ１３０ＦＲ、１３０ＦＬは、図示を省略したフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６Ｒ、１２６Ｌを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。
絞り１３２Ｒ、１３２Ｌは、例えばアイリス絞りで構成されており、図示を省略した絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８Ｒ、１２８Ｌを介して絞りアクチュエータの駆動を制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。
なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。
撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが２次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従ってＴＧ１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。
なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。
なお、本実施形態においては、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。
Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。
デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。なお、デジタル信号処理部１４２Ｒ、１４２Ｌの詳しい構成については後述する。
ＡＦ検出部１４４は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。このＡＦ検出部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１１０に出力する。
ＣＰＵ１１０は、ＡＦ制御時、このＡＦ検出部１４４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、主要被写体への焦点合わせを行う。すなわち、ＣＰＵ１１０は、ＡＦ制御時、まずフォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ検出部１４４から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。
ＡＦ／ＡＷＢ検出部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ検出部１４６は、一画面を複数のエリア（例えば、８×８エリア等）に分割し、分割されたエリア毎にＲ、Ｇ、Ｂ信号の積算値を算出する。
ＣＰＵ１１０は、ＡＥ制御時、このＡＥ／ＡＷＢ検出部１４６で算出されたエリア毎のＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。
また、ＣＰＵ１１０は、ＡＷＢ制御時、ＡＥ／ＡＷＢ検出部１４６で算出されたエリア毎のＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２に送る。
圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施形態の画像生成装置１０では、モーションＪＰＥＧ（ＡＶＩ）の規格に準拠した圧縮処理が施される。
ファイル変換部１５３は、例えば、左眼視画像データ及び右眼視画像データのような多視点画像データを、後述するようなファィル形式の画像データに変換し、画像ファイルを作成するものである。
メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６等の記録メディアに対してデータの読み／書きを制御するものである。また、生成された画像データは、このように記録メディアに記録するだけでなく、通信により外部機器へ送信して、処理したり表示したりするようにしてもよい。
表示制御部１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御するものである。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（例えば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号等）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。
電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。ストロボ制御部１６４は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。２Ｄ／３Ｄモード切替フラグ１６８には、２Ｄモードであること又は３Ｄモードであることを表すフラグが設定される。
次に、デジタル信号処理部１４２Ｒ、１４２Ｌについて説明する。
図２は、デジタル信号処理部１４２Ｒ、１４２Ｌの概略構成を示すブロック図である。
図２に示すように、デジタル信号処理部１４２Ｒ、１４２Ｌは、ホワイトバランスゲイン算出回路１４２ａ、オフセット補正回路１４２ｂ、ゲイン補正回路１４２ｃ、ガンマ補正回路１４２ｄ、ＲＧＢ補間演算部１４２ｅ、ＲＧＢ／ＹＣ変換回路１４２ｆ、ノイズフィルタ１４２ｇ、輪郭補正回路１４２ｈ、色差マトリクス回路１４２ｉ、光源種別判定回路１４２ｊを備えて構成される。
ホワイトバランスゲイン算出回路１４２ａは、ＡＥ／ＡＷＢ検出部１４６で算出されＣＰＵ１１０によって送られた積算値を取り込んでホワイトバランス調整用のゲイン値を算出する。
オフセット補正回路１４２ｂは、画像入力コントローラ１４１Ｒ、１４１Ｌを介して取り込まれたＲ、Ｇ、Ｂの各色の画像信号に対してオフセット処理を行う。
ゲイン補正回路１４２ｃは、オフセット処理された画像信号を取り込み、ホワイトバランスゲイン算出回路１４２ａで算出されたゲイン値を用いてホワイトバランス調整を行う。
ガンマ補正回路１４２ｄは、ホワイトバランス調整された画像信号を取り込み、所定のγ値を用いてガンマ補正を行う。
ＲＧＢ補間演算部１４２ｅは、ガンマ補正されたＲ、Ｇ、Ｂの色信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。すなわち、単板式の撮像素子の場合、各画素からは、Ｒ、Ｇ、Ｂのいずれか一色の信号しか出力されないため、出力しない色を周囲の画素の色信号から補間演算により求める。例えば、Ｒを出力する画素では、この画素位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。このように、ＲＧＢ補間演算は、単板式の撮像素子に特有のものなので、撮像素子１３４に三板式のものを用いた場合には不要となる。
ＲＧＢ／ＹＣ変換回路１４２ｆは、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。
ノイズフィルタ１４２ｇは、ＲＧＢ／ＹＣ変換回路１４２ｆで生成された輝度信号Ｙと色差信号Ｃｒ、Ｃｂに対してノイズ低減処理を施す。
輪郭補正回路１４２ｈは、ノイズ低減後の輝度信号Ｙに対し、輪郭補正処理を行い、輪郭補正された輝度信号Ｙ’を出力する。
一方、色差マトリクス回路１４２ｉは、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対し、色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う。すなわち、色差マトリクス回路１４２ｉには、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路１４２ｊが求めた光源種に応じて、使用する色差マトリクスを切り替え、この切り替え後の色差マトリクスを入力された色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ’、Ｃｂ’を出力する。
光源種別判定回路１４２ｊは、ＡＥ／ＡＷＢ検出部１４６で算出された積算値を取り込んで光源種を判定し、色差マトリクス回路１４２ｉに色差マトリクス選択信号を出力する。
なお、本実施形態の画像生成装置１０では、上述のように、デジタル信号処理部をハードウエア回路で構成しているが、当該ハードウエア回路と同じ機能をソフトウエアにて構成することも可能である。
図３に、本実施形態の画像生成装置１０において作成される画像データのファイル構造を示す。
図３に示すように、標準の動画フォーマットであるモーションＪＰＥＧ形式（ＡＶＩ形式）での記録ファイル構造を有し、Ｉｍａｇｅ００２．ＡＶＩという画像ファイルの先頭に標準ヘッダーが配置され、これに続いてインデックス情報が配置され、この後に各視点からの画像がフレーム１（視点１）からフレームｎ（視点ｎ）まで記録されている。
図１に示すような２つの撮像素子１３４Ｒ、１３４Ｌを有する画像生成装置１０の場合、左眼からの視点と右眼からの視点の２つの視点からの画像が得られる。すなわち、フレーム数（視点数）は２となる。このとき、撮像素子の数を増やしたり、撮像素子の位置を変えて撮影することにより視点数をさらに増やすこともできる。
標準ヘッダーの中には動画再生情報が記録される。図３に示すように、動画再生情報は、例えば１フレーム再生時間（ｓｅｃ）、１フレームあたりの再生データ量、ファイル属性等によって構成される。
１フレーム再生時間（再生インターバル）は、例えば３３ｍｓｅｃとすると、毎秒３０フレームで再生する通常の動画の再生となる。また、１フレームあたりの再生データ量は、画素数×１秒あたりの再生フレーム数で示される。また、ファイル属性には、ファイル情報とインデックス情報のあるなしが記録される。これにより標準ヘッダーの後にインデックス情報を記録することができるようになっている。
図３に示すように、インデックス情報には、視点情報が記録される。視点情報は、視点数、撮影主点間隔、輻輳角からなっている。視点数は、図に示した例では４となっているが、図１のような２つの撮像素子を有する複眼カメラ（画像生成装置）では、視点数は２である。
撮影主点間隔は、各レンズの中心間の距離をいう。図に示した例では、視点数は４であり、４つの撮影レンズを有し、レンズ１とレンズ２との距離は５５ｍｍ、レンズ２とレンズ３との距離は６０ｍｍ、レンズ３とレンズ４との距離は６０ｍｍとなっている。通常この間隔はすべて同じ距離に合わせるようにするが、誤差や何らかの事情によってこのように多少変わることもある。
輻輳角は、各レンズが主要被写体をにらむ方向がなす角をいい、２つのレンズが主要被写体をにらむ方向が平行ならその輻輳角は０度となる。図３に示した例では、レンズ１とレンズ２のなす輻輳角、レンズ２とレンズ３のなす輻輳角、及びレンズ３とレンズ４のなす輻輳角はいずれも０．８度で等しくなっている。
図３に示すように、画像ファイルは、標準ヘッダー、インデックス情報に続いて、各視点から撮影された画像データが、汎用イメージファイル形式である標準の動画フォーマットで記録されている。
図３の例では、インデックス情報に視点数は４と記録されているので、フレームは４まで（図中のｎは４）である。なお、図１の画像生成装置１０で撮影画像の場合、視点数は２であり、右眼視画像と左眼視画像の２つの画像がそれぞれフレーム１、フレーム２として記録される。
このように、本実施形態の画像生成装置１０における画像ファイルの構造は、標準ヘッダー部に動画再生情報の他に視点情報を持ち、その後に汎用イメージファイル形式である標準の動画フォーマットで記録された画像を有するものとなっている。すなわち、視点情報を持つことによって、汎用の動画ファイルを３Ｄ静止画に応用可能としたものである。
なお、インデックス情報に続いて記録される各視点の画像データは、汎用イメージファイル形式で記録されるが、この汎用イメージファイル形式は、上のようなモーションＪＰＥＧ（ＡＶＩ）に限定されるものではなく、モーションＪＰＥＧ２０００でもよいし、ＭＰＥＧのＩピクチャやＨ．２６４等の方式を用いてもよい。例えば、モーションＪＰＥＧ２０００を用いる場合には、上と同様に動画再生情報と視点情報、ＪＰＥＧ２０００形式で圧縮された各視点からの画像データを１つのファイルとして記録する。ＭＰＥＧのＩピクチャやＨ．２６４の場合も同様である。
次に、本実施形態における画像ファイルの生成方法を図４を用いて説明する。
図４に示すように、まず画像生成装置１０の撮像素子１３４Ｒ、１３４Ｌによって、図示を省略した主要被写体を多視点から撮影した各視点からの画像を得る。図１に示す画像生成装置１０のように２つの撮像素子で撮影する場合、左右の眼の視点からの２視点の画像となるが、図４に示す例では４視点の画像が示されている。
次に、これら各視点から撮影された画像データを、ファイル変換部１５３において、汎用イメージファイル形式である標準の動画フォーマットとして図３に示すようなＡＶＩデータに変換する。そして、これに図３で説明したようなＡＶＩの標準ヘッダーを添付する。また、このとき標準ヘッダー中には、各画像を動画として再生するための再生時間間隔（再生インターバル）を含む動画再生情報及び各画像を立体映像として再生するための視点情報が設定される。
このように撮像素子を複数有する画像生成装置によって多視点画像を撮影して立体画像を形成したとき、これを汎用の動画再生装置で再生した場合、ほんの短時間で再生が終了してしまうので、この場合には動画再生情報中の１フレーム再生時間（再生インターバル）を、長めにして例えば５００ｍｓｅｃ等と設定する。
このようにファイル変換部１５３により、動画再生情報と視点情報を含むＡＶＩの標準ヘッダーに続いて各視点からの画像データが付された画像ファイルが生成される。
なお、画像生成装置では、例えば撮影時のカメラ配置（隣接するカメラ間の間隔や角度（輻輳角）など）をカメラに装備されたセンサで別途計測して、視点情報として記録するようにしてもよい。また、例えば、左右の眼の視差による２つの有視差画像（左眼視画像データ及び右眼視画像データ）を合成して立体画像データを生成するようにして、画像合成により立体画像データを生成する装置においては、合成時の設定値を視点情報に変換して記録するようにしてもよい。
なお、上で説明した実施形態における画像生成装置１０は、２つの撮像素子を有するいわゆる複眼カメラであったが、撮像素子は一つで被写体を撮影する視点を変えつつ複数回の撮影を行い、各撮影における視点情報をヘッダー中に記録するようにしてもよい。
あるいは、逆に画像生成装置は撮像素子を有さず、別の撮影装置で撮影して得られた多視点の画像データを画像生成装置に入力して、これから上で説明したような画像ファイルを形成するようにしてもよい。
次に画像の再生について説明する。図５に画像再生システムの概略構成を示す。
図５に示すように、画像再生システムは、本実施形態で生成された画像ファイルを再生するための専用再生装置２０と汎用再生装置３０とから構成されている。
専用再生装置２０は、ファイル判別部２０２、表示選択部２０４、立体表示変換部２０６、動画再生信号出力部２０８を有して構成されている。また、専用再生装置２０には、立体表示ディスプレー２１０及び２Ｄディスプレー２１２が接続されている。一方、汎用再生装置３０は、動画再生用の２Ｄディスプレーを備えている。
専用再生装置２０及び汎用再生装置３０には、画像生成装置１０によって生成された画像ファイルがメモリカード１５６等の記録メディアから、あるいは通信によって入力される。
ファイル判別部２０２は、入力された画像ファイルに図３に示すような視点情報が記録されているか否かを判別する。視点情報がある場合には、画像ファイルは表示選択部２０４に入力される。また、視点情報がない場合には、立体画像として表示することはできないため、画像ファイルは動画再生信号出力部２０８に入力される。
表示選択部２０４においては、ユーザがその画像ファイルを立体表示するか、動画表示するかを選択する。表示選択部２０４は、自動でこれを選択するようにしてもよい。立体表示が選択された場合には、画像ファイルは立体表示変換部２０６に入力される。動画表示が選択された場合には、画像ファイルは動画再生信号出力部２０８に入力される。
立体表示変換部２０６は、入力された画像ファイルを後述する立体表示ディスプレー２１０の表示形式に合わせて画像ファイルを変換する。一方、動画再生信号出力部２０８は、入力された画像ファイルを２Ｄディスプレー２１２で動画として表示するように変換して、動画再生信号を出力する。
立体表示ディスプレー２１０は、多視点画像を立体画像として表示するものであり、特に限定されるものではなく、様々なものが適用可能である。例えば、左右の眼に対応する２視点画像データを左右の眼に対して別々の液晶パネルを視させる方式（Head Mounted Display方式）や、液晶シャッタメガネとＣＲＴとを同期させて左右眼に対応する左右の画像を交互に表示する方式（液晶シャッタ方式）や左右で異なる偏光の画像を投影して左右異なる偏光を有する偏光眼鏡を装着することで左右の画像を分離させる方式（立体プロジェクタ方式）あるいは液晶パネルとレンチキュラーレンズとを組み合わせて特定の位置から観察すると両眼への画像が分離して立体的に見えるような方式（レンチキュラー方式）などがある。
本実施形態における立体表示ディスプレー２１０としては、特に３Ｄ画像表示と２Ｄ動画表示とを切り替えることができるようにしてもよい。
このように立体表示ディスプレー２１０を３Ｄと２Ｄとに切り替え可能とした場合には、表示選択部２０４で動画表示を選択した場合でも、動画再生信号出力部２０８から、２Ｄディスプレーに切り替えた立体表示ディスプレー２１０に対して動画データを出力し、立体表示ディスプレー２１０で動画として再生することができる。
一方、汎用再生装置３０に入力された画像ファイルは、標準のＡＶＩファイルなので、動画として所定のインターバルで再生される。すなわち、汎用再生装置３０においては、多視点画像も通常動画として再生されるが、１フレーム再生時間は、前述したように、例えば５００ｍｓｅｃと、通常動画の３３ｍｓｅｃより長く設定することで、視差量や画角の変化なり各画像間の関係を確認し易くなる。
このように、汎用動画フォーマットで複数視点の画像を記録し、ヘッダー中に動画再生情報の他に視点情報を付加することで、専用再生装置により立体再生表示又は動画再生が可能となる。またこのとき、同じ多視点の画像データを汎用再生装置においては、動画として再生することが可能である。
さらに、汎用再生装置において編集し再保存される場合にも、すべての視点画像が動画データとして保存され、非標準データとして捨てられ、未知のデータとして欠落するようなことがない。
以上、本発明の画像生成装置及び画像再生装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
本発明に係る画像生成装置の概略構成を示すブロック図である。 デジタル信号処理部の概略構成を示すブロック図である。 本実施形態の画像生成装置において生成される画像データのファイル構造を示す説明図である。 本実施形態における画像ファイルの生成方法を示す説明図である。 本発明に係る多視点画像の再生装置の概略構成を示すブロック図である。
符号の説明
１０…画像生成装置（デジタルカメラ）、１４Ｒ、１４Ｌ…撮影レンズ、２０…専用再生装置、３０…汎用再生装置、１１０…ＣＰＵ、１３４Ｒ、１３４Ｌ…撮像素子、１５２…圧縮・伸張処理部、１５３…ファイル変換部、１５４…メディア制御部、２０２…ファイル判別部、２０４…表示選択部、２０６…立体表示変換部、２０８…動画再生信号出力部、２１０…立体表示ディスプレー、２１２…２Ｄディスプレー

Claims (8)

  1. 異なる複数の視点の画像データを生成する画像生成装置であって、
    前記各視点の画像データを汎用イメージファイル形式で記録するとともに、前記汎用イメージファイルの先頭のファイルヘッダー部中に、各画像を動画として再生するための再生時間間隔を含む動画再生情報と、各画像を立体映像として再生するための視点情報を記録するファイル変換手段を備えたことを特徴とする画像生成装置。
  2. 請求項１に記載の画像生成装置であって、さらに、同一被写体を異なる複数の視点から撮影する撮影手段を有することを特徴とする画像生成装置。
  3. 前記汎用イメージファイル形式は、モーションＪＰＥＧ形式であることを特徴とする請求項１または２に記載の画像生成装置。
  4. 前記汎用イメージファイル形式は、モーションＪＰＥＧ２０００形式であることを特徴とする請求項１または２に記載の画像生成装置。
  5. 前記汎用イメージファイル形式は、ＭＰＥＧのＩピクチャ形式であることを特徴とする請求項１または２に記載の画像生成装置。
  6. 前記汎用イメージファイル形式は、Ｈ．２６４形式であることを特徴とする請求項１または２に記載の画像生成装置。
  7. 請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、
    前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段を備えたことを特徴とする画像再生装置。
  8. 請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、
    入力された前記汎用イメージファイル形式の前記画像データが先頭のファイルヘッダー部内に前記視点情報を有するか否かを判別する判別手段と、
    前記視点情報を有する場合に、前記画像データを立体表示するか動画表示するかを選択する選択手段と、
    前記画像データを立体表示する場合に、前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段と、前記画像データを動画表示する場合に、前記画像データから動画再生信号を出力する動画再生信号出力手段を備えたことを特徴とする画像再生装置。
JP2006353206A 2006-12-27 2006-12-27 画像生成装置及び画像再生装置 Expired - Fee Related JP4686795B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006353206A JP4686795B2 (ja) 2006-12-27 2006-12-27 画像生成装置及び画像再生装置
US11/965,466 US7920176B2 (en) 2006-12-27 2007-12-27 Image generating apparatus and image regenerating apparatus
US13/032,810 US8384802B2 (en) 2006-12-27 2011-02-23 Image generating apparatus and image regenerating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006353206A JP4686795B2 (ja) 2006-12-27 2006-12-27 画像生成装置及び画像再生装置

Publications (2)

Publication Number Publication Date
JP2008167064A true JP2008167064A (ja) 2008-07-17
JP4686795B2 JP4686795B2 (ja) 2011-05-25

Family

ID=39583316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006353206A Expired - Fee Related JP4686795B2 (ja) 2006-12-27 2006-12-27 画像生成装置及び画像再生装置

Country Status (2)

Country Link
US (2) US7920176B2 (ja)
JP (1) JP4686795B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024270A1 (ja) * 2008-08-29 2010-03-04 ソニー株式会社 撮像装置および映像記録再生システム
JP2010063067A (ja) * 2008-09-08 2010-03-18 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2011125041A (ja) * 2011-01-12 2011-06-23 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2011182388A (ja) * 2010-02-02 2011-09-15 Panasonic Corp 映像記録装置および映像再生装置
WO2011118084A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 画像処理装置および画像処理方法
WO2012060406A1 (ja) * 2010-11-05 2012-05-10 シャープ株式会社 立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法
JP2013521684A (ja) * 2010-03-01 2013-06-10 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー ３ｄ画像コンテンツの再生方法およびシステム
JP2014150506A (ja) * 2013-02-04 2014-08-21 Canon Inc 撮像装置およびその制御方法
US8928653B2 (en) 2011-05-13 2015-01-06 Nintendo Co., Ltd. Information processing system, information processing method, and computer-readable storage medium having information processing program stored therein
WO2015037473A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
KR101932539B1 (ko) * 2013-02-18 2018-12-27 한화테크윈 주식회사 동영상 데이터를 기록하는 방법, 및 이 방법을 채용한 촬영 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4648096B2 (ja) * 2005-06-03 2011-03-09 株式会社東芝 半導体装置の製造方法
TW200937109A (en) * 2008-02-22 2009-09-01 Asia Optical Co Inc Image pickup methods and image pickup systems
JP5144456B2 (ja) * 2008-10-09 2013-02-13 富士フイルム株式会社 画像処理装置および方法、画像再生装置および方法並びにプログラム
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US9438890B2 (en) * 2011-08-25 2016-09-06 Panasonic Intellectual Property Corporation Of America Image processor, 3D image capture device, image processing method, and image processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240469A (ja) * 2002-12-13 2004-08-26 Sharp Corp 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2006013759A (ja) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657655B1 (en) * 1999-09-30 2003-12-02 Canon Kabushiki Kaisha Stereoscopic-image display apparatus
JP3819669B2 (ja) * 2000-04-13 2006-09-13 三洋電機株式会社 ディジタルカメラ
JP4536231B2 (ja) 2000-08-29 2010-09-01 オリンパス株式会社 撮像装置
US6993196B2 (en) 2002-03-18 2006-01-31 Eastman Kodak Company Digital image storage method
US20050248561A1 (en) * 2002-04-25 2005-11-10 Norio Ito Multimedia information generation method and multimedia information reproduction device
JP2004274091A (ja) 2003-01-15 2004-09-30 Sharp Corp 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
US7636088B2 (en) * 2003-04-17 2009-12-22 Sharp Kabushiki Kaisha 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
JP4665430B2 (ja) * 2004-04-26 2011-04-06 富士ゼロックス株式会社 画像出力制御装置、画像出力制御方法及び画像出力制御プログラム並びにプリンタ装置
US7657056B2 (en) * 2004-06-05 2010-02-02 Samsung Electronics Co., Ltd. Apparatus for identifying a photographer of an image
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
JP2007122232A (ja) * 2005-10-26 2007-05-17 Casio Comput Co Ltd 画像処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240469A (ja) * 2002-12-13 2004-08-26 Sharp Corp 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2006013759A (ja) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024270A1 (ja) * 2008-08-29 2010-03-04 ソニー株式会社 撮像装置および映像記録再生システム
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
US8842164B2 (en) 2008-08-29 2014-09-23 Sony Corporation Image pickup apparatus and video recording and reproduction system
JP2010063067A (ja) * 2008-09-08 2010-03-18 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8558874B2 (en) 2008-09-08 2013-10-15 Fujifilm Corporation Image processing device and method, and computer readable recording medium containing program
JP2011182388A (ja) * 2010-02-02 2011-09-15 Panasonic Corp 映像記録装置および映像再生装置
JP2013521684A (ja) * 2010-03-01 2013-06-10 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー ３ｄ画像コンテンツの再生方法およびシステム
JP2013138442A (ja) * 2010-03-24 2013-07-11 Fujifilm Corp 画像処理装置および画像処理方法
JP5186614B2 (ja) * 2010-03-24 2013-04-17 富士フイルム株式会社 画像処理装置および画像処理方法
US8749660B2 (en) 2010-03-24 2014-06-10 Fujifilm Corporation Image recording apparatus and image processing method
WO2011118084A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 画像処理装置および画像処理方法
CN103190154A (zh) * 2010-11-05 2013-07-03 夏普株式会社 立体图像数据生成装置、立体图像数据重放装置、以及文件管理方法
JP2012100211A (ja) * 2010-11-05 2012-05-24 Sharp Corp 立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法
WO2012060406A1 (ja) * 2010-11-05 2012-05-10 シャープ株式会社 立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法
JP2011125041A (ja) * 2011-01-12 2011-06-23 Fujifilm Corp 画像処理装置および方法並びにプログラム
US8928653B2 (en) 2011-05-13 2015-01-06 Nintendo Co., Ltd. Information processing system, information processing method, and computer-readable storage medium having information processing program stored therein
JP2014150506A (ja) * 2013-02-04 2014-08-21 Canon Inc 撮像装置およびその制御方法
KR101932539B1 (ko) * 2013-02-18 2018-12-27 한화테크윈 주식회사 동영상 데이터를 기록하는 방법, 및 이 방법을 채용한 촬영 장치
WO2015037473A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JPWO2015037473A1 (ja) * 2013-09-11 2017-03-02 ソニー株式会社 画像処理装置および方法
US10085008B2 (en) 2013-09-11 2018-09-25 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
US8384802B2 (en) 2013-02-26
JP4686795B2 (ja) 2011-05-25
US20080158369A1 (en) 2008-07-03
US20110141231A1 (en) 2011-06-16
US7920176B2 (en) 2011-04-05

Similar Documents

Publication Publication Date Title
JP4686795B2 (ja) 画像生成装置及び画像再生装置
JP4662071B2 (ja) 画像再生方法
JP4692770B2 (ja) 複眼デジタルカメラ
JP5249149B2 (ja) 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
US9077976B2 (en) Single-eye stereoscopic image capturing device
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
JP5096048B2 (ja) 撮像装置、立体画像再生装置及び立体画像再生プログラム
WO2011136190A1 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP5101101B2 (ja) 画像記録装置及び画像記録方法
WO2011136191A1 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP4764854B2 (ja) 撮像装置、画像再生装置、撮像方法、システム及びプログラム
JP2010114760A (ja) 撮影装置、指がかり通知方法およびプログラム
JP2011259168A (ja) 立体パノラマ画像撮影装置
JP4730616B2 (ja) 複眼デジタルカメラ
JP2011024003A (ja) 立体動画記録方法および装置、動画ファイル変換方法および装置
JP5449535B2 (ja) 立体撮像装置及びその制御方法
JP4748398B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010154310A (ja) 複眼カメラ及び撮影方法
JP2010103949A (ja) 撮影装置、方法およびプログラム
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP2011097451A (ja) ３次元画像表示装置及び方法
JP2013118459A (ja) 撮像装置およびその制御方法
JP2010204385A (ja) 立体撮像装置および立体撮像方法
JP5054214B2 (ja) 複眼デジタルカメラ
JP2010147812A (ja) 複眼カメラ及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110130

R150 Certificate of patent or registration of utility model

Ref document number: 4686795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees