JP2009060154A - 映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置 - Google Patents

映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置 Download PDF

Info

Publication number
JP2009060154A
JP2009060154A JP2005369651A JP2005369651A JP2009060154A JP 2009060154 A JP2009060154 A JP 2009060154A JP 2005369651 A JP2005369651 A JP 2005369651A JP 2005369651 A JP2005369651 A JP 2005369651A JP 2009060154 A JP2009060154 A JP 2009060154A
Authority
JP
Japan
Prior art keywords
video
information
parameter information
video content
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005369651A
Other languages
English (en)
Inventor
Takaaki Nanba
孝彰 難波
Yusuke Mizuno
勇介 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2005369651A priority Critical patent/JP2009060154A/ja
Priority to PCT/JP2006/325397 priority patent/WO2007072870A1/ja
Publication of JP2009060154A publication Critical patent/JP2009060154A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】予め準備された3次元映像だけでなく、視点を変える等、予め用意された3次元映像に各種の変形を加えて3次元映像を表示する。更に、この3次元映像を表示するための情報形式の標準化を図る。
【解決手段】複数または単一の映像ストリームと、映像コンテンツを撮影した時の機器に固有の静的パラメータ情報と、映像コンテンツを撮影した時の機器の状態を示す動的パラメータ情報とを情報記録メディアに記録する。静的パラメータ情報には映像コンテンツを撮影した時のレンズ間距離、各レンズの焦点距離、及び各レンズの歪値の少なくとも1つを含み、動的パラメータ情報には、映像コンテンツを撮影した時の機器の各レンズの方向角及び各レンズの位置情報の少なくとも1つを含む。これら映像ストリームのそれぞれは、特定の視点から撮影した画像を含む映像ストリームである。
【選択図】図1

Description

本発明は、情報記録メディアに映像コンテンツ、特に3次元の映像コンテンツを記録し、その内容を編集し、その映像コンテンツを再生する、映像コンテンツ記録方法、映像コンテンツを記録した情報記録メディア、映像コンテンツ記録装置、映像コンテンツ再生方法、映像コンテンツ編集方法及び映像コンテンツ再生装置に関するものである。
従来の、情報記録メディアに映像コンテンツを記録し、その内容を編集し、その映像コンテンツを再生する方法や装置であって、特に、3次元の映像コンテンツを再生等することができるものには、例えば下記特許文献1に記載されたステレオ画像表示装置やステレオ画像表示方法があった。
この従来のステレオ画像表示装置900の主要部のブロック構成を図8に示す。
この従来のステレオ画像表示装置900は、ユーザが毎回左右一対のステレオ画像を含む画像ファイル名を入力しなくても、複数のステレオ画像を汎用的に順序立てて表示することができることを、特徴とするものである。
全体制御部901は、OS(Operating System)と密接に協調して動作することにより、ステレオ画像表示プログラムの起動と終了、他のモジュールの協調動作の制御、及びプログラム全体に関わる幾つかの設定値の記憶、保存、読み出し等を実行する。この全体制御部901によって直接制御されるモジュールは、データ処理部902及び表示制御部903である。
データ処理部902は、全体制御部901や表示制御部903の要求に応じて、各種ファイルの読み出しやステレオ画像データの処理等を実行する。データ処理部902は、画像ファイル処理部904、表示補正設定ファイル処理部905及びステレオ画像データ処理部906の3つのサブモジュールを有しており、これらのモジュールを制御することによって、データ処理部902としての機能を実行する。
画像ファイル処理部904は、画像記憶部907から様々な種類(例えば、BMP、JPEG、PNG等の各形式)の画像ファイルを読み出し、その内容を解析し、必要に応じて圧縮データの復号を行い、予め決められた標準形式の画像データに変換する。
表示補正設定ファイル処理部905は、データ処理部902を経由して表示制御部903の要求を受け取り、ステレオ画像の表示補正に関する設定値をファイルに保存したり、また逆に読み出したりする。
ステレオ画像データ処理部906は、表示補正設定ファイル処理部905から受け取った表示補正設定データに基づき、画像ファイル処理部904から受け取った左右一対の標準形式の画像データを組み合わせて、直視型ディスプレイ(図示せず)で表示する場合に適した形式のステレオ画像データを作成する。
表示制御部903は、データ処理部902を経由してステレオ画像データ処理部906が作成したステレオ画像データを受け取り、直視型ディスプレイ908に表示する。また、表示制御部903は、キーボード(図示せず)やマウス(図示せず)から入力された表示制御に関するユーザの指示を、OSまたは全体制御部901を経由して受け取り、これらの指示に対応した表示制御を行う。
特開2001−215947号公報
しかしながら、上記のような従来のステレオ画像表示装置やステレオ画像表示方法では、ユーザが毎回左右一対のステレオ画像の画像ファイル名を入力しなくても、複数のステレオ画像を汎用的に順序立てて表示することが可能であるが、このステレオ画像は予めステレオ表示が可能であるように、準備されたものでなければならなかった。
また、一定範囲で表示補正設定データに基づいて補正可能ではあるが、これは各種の直視型ディスプレイやその他の3次元ディスプレイの仕様に合わせて表示可能となるようデータを補正するものであって、ステレオ画像そのものを生成するものではなく、やはり、ステレオ画像は予めステレオ表示が可能であるように、準備されたものでなければならなかった。
更に、このステレオ画像は予めステレオ表示が可能であるように、準備されたものに限るという制約から、表示されるステレオ画像も予め準備されたものに限られ、例えばステレオ表示の視点を変えるなど、種々の変形を加えて表示することなども不可能であった。
更にまた、この準備されたステレオ画像は、そのデータ構成やファイル構成が機器に固有のものであり、他の各種ステレオ表示が可能な機器で、汎用的に使用することができるものではなかった。
本発明は、上記のような多くの課題を解決するために行われたもので、これらの課題を解決するため、以下のような構成を採用する。
請求項1に記載の発明は、映像コンテンツを情報記録メディアに記録する映像コンテンツ記録方法であって、映像コンテンツは、複数または単一の撮影部で撮影した複数または単一の映像ストリームと、映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と、映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報と、を含む、映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって記録された3次元映像を表示するための情報は、各種3次元表示可能な機器に汎用的に使用することができ、3次元映像を表示するための情報形式の標準化を図ると同時に、3次元映像情報の流通の促進にも貢献することが可能になる。
請求項2に記載の発明は、静的パラメータ情報は、映像ストリームを撮影した時の撮影部のレンズ間距離、レンズの焦点距離、レンズの歪値、の少なくとも1つを含む、請求項1に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリームを撮影した時の撮影部のレンズ間距離、レンズの焦点距離、レンズの歪値等の情報をそのまま使用するだけでなく、種々の値に変更して3次元映像を再生することが可能になる。
請求項3に記載の発明は、動的パラメータ情報は、映像ストリームを撮影した時の撮影部の方向角、撮影部の位置情報、撮影部のレンズの方向角、撮影部のレンズの位置情報、の少なくとも1つを含む、請求項1または請求項2に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリームを撮影した時の撮影部の方向角、撮影部の位置情報、撮影部のレンズの方向角、撮影部のレンズの位置情報等の情報をそのまま使用するだけでなく、種々の値に変更して3次元映像を再生することが可能になる。
請求項4に記載の発明は、映像コンテンツは、1つの撮影部を移動させることで異なる視点から撮影した複数の映像ストリームを含む、請求項1から請求項3の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、単一のレンズや単一の撮影部だけを有するような、より低コストで単純な構成で普及型の機器構成でも、3次元映像を撮影し、記録し、それを読み出して再生することが可能になる。
請求項5に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも1つは、1つの撮影部を移動させることで異なる視点から撮影した時の時間情報を含む、請求項4に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、異なる時刻に時分割的に撮影した画像を、時間情報を使用して、あたかも同時並行的に複数の視点から撮影した画像であるかのように編集合成し、3次元映像を再生することが可能になる。
請求項6に記載の発明は、映像コンテンツに含まれる1つの映像ストリームは複数のレンズを有する1つの撮影部を有し、複数のレンズで異なる視点から撮影した映像を含む、請求項1から請求項3の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、必ずしも複数の撮影部や複数のレンズ、複数の撮像素子等を必要とせず、1つの撮影部等だけで複数の視点から見た画像情報を撮影し、記録し、この画像情報を読み出し、3次元映像を再生することが可能になる。
請求項7に記載の発明は、映像コンテンツは複数の映像ストリームを含み、複数の映像ストリームのそれぞれは異なる視点から撮影した時のそれぞれの視点に対応する映像を含む、請求項4から請求項6の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、必要な視点から撮影した映像を含む映像ストリームだけを取り出して複製、移動、編集、再生等を行うことが可能になり、映像ストリームを記録保存するための処理負荷や容量の低減を図ることが可能になる。
請求項8に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも1つは、映像ストリームに含まれるそれぞれの映像とその映像を撮影した時の視点とを対応付ける情報を含む、請求項4から請求項7の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、必ずしも複数の視点で画像を撮影したのが正確に同時でなくても、あたかも同時に撮影した画像であるかのように3次元映像を再生することが可能になり、また、必ずしも画像が撮影された時間の順に正確にその画像が記録されていなくても、撮影された順に正確に画像を再構成し、その画像を使って3次元映像を再生することが可能になる。
請求項9に記載の発明は、静的パラメータ情報は予め記録しておく、請求項1から請求項8の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、通常固定されており変化することはない静的パラメータ情報を撮影時に記録する必要がないので、撮影時の処理負荷を軽減し、より単純かつ低機能の処理部でも複数の視点から見た画像情報を撮影し、記録し、この画像情報を読み出し、3次元映像を再生することが可能になる。
請求項10に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも1つは、それ以外と別ファイルとして情報記録メディアに記録する、請求項1から請求項9の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかを、それ以外の別ファイルと個別に記録、複製、移動、編集したり、個別に管理することが可能になり、情報を記録保存するための処理負荷や容量の低減を図ることが可能になると同時に、必要な情報だけを取捨選択して円滑に流通させるために必要な情報形式の標準化を図ることも可能になる。
請求項11に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも1つは、それ以外と別のディレクトリに記録する、請求項1から請求項10の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかを、それ以外とは別のグループとして記録、複製、移動、編集したり、個別に管理することが可能になり、必要な情報だけを取捨選択して円滑に流通させるために必要な情報の記録保存形式の標準化を図ることも可能になる。
請求項12に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも2つは、1つのファイルとして情報記録メディアに記録する、請求項1から請求項11の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
請求項13に記載の発明は、映像コンテンツは複数の映像ストリームを含み、複数の映像ストリームのそれぞれに対応する静的パラメータ情報と動的パラメータ情報とのどちらか一方または両方は1つのファイルとして情報記録メディアに記録する、請求項1から請求項11の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、静的パラメータ情報と動的パラメータ情報とをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
請求項14に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも2つは、1つのディレクトリに記録する、請求項1から請求項13の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
請求項15に記載の発明は、映像コンテンツは複数の映像ストリームを含み、複数の映像ストリームのそれぞれに対応する静的パラメータ情報と動的パラメータ情報とのどちらか一方または両方は1つのディレクトリに記録する、請求項1から請求項13の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、静的パラメータ情報と動的パラメータ情報とをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
請求項16に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも1つは、それ以外と別の情報記録メディアに記録する、請求項1から請求項15の何れか1項に記載の映像コンテンツ記録方法である。
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかを、それ以外の別ファイルと個別に記録、複製、移動、編集したり、個別に管理することが可能になり、情報を記録保存するための処理負荷や容量の低減を図ることが可能になると同時に、必要な情報だけを取捨選択して円滑に流通させるために必要な情報形式の標準化を図ることも可能になる。
請求項17に記載の発明は、映像コンテンツを記録可能な情報記録メディアであって、請求項1から請求項16の何れか1項に記載の映像コンテンツ記録方法によって映像コンテンツが記録された、情報記録メディアである。
このような情報記録メディアによって、複数の視点から見た画像情報を記録保存し、この画像情報を読み出し、3次元映像を再生することが可能になるばかりでなく、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図り、この記録メディアの流通の促進と拡大を図ることも可能になる。
請求項18に記載の発明は、映像コンテンツを情報記録メディアに記録する映像コンテンツ記録装置であって、複数または単一の映像ストリームを撮影する複数または単一の撮影部と、撮影した映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを映像コンテンツとして情報記録メディアに記録する記録部と、を有し、請求項1から請求項16の何れか1項に記載の映像コンテンツ記録方法を行う、映像コンテンツ記録装置である。
このような映像コンテンツ記録装置によって、複数の視点から見た画像情報を撮影し、記録し、保存し、編集・更新し、この画像情報を読み出し、3次元映像を再生することが可能になるばかりでなく、これらの情報を円滑に流通させるために必要な、記録保存形式が標準化された情報記録メディアを提供することが可能になる。
請求項19に記載の発明は、映像コンテンツから3次元映像を生成する映像コンテンツ再生方法であって、請求項17に記載の情報記録メディアから、複数または単一の映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、読み出した複数または単一の映像ストリームと静的パラメータ情報と動的パラメータ情報とを使って3次元映像を生成する、映像コンテンツ再生方法である。
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、3次元映像を再生することが可能になる。
請求項20に記載の発明は、映像ストリームは異なる視点から撮影した映像を含む映像ストリームであり、使用する映像ストリームを変更することによって3次元映像を生成する時の視点を変更する、請求項19に記載の映像コンテンツ再生方法である。
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、種々の視点から見た3次元映像を再生することが可能になる。
請求項21に記載の発明は、読み出した静的パラメータ情報及び動的パラメータ情報の何れかまたは両方を変更し、読み出した複数または単一の映像ストリームと変更した静的パラメータ情報及び動的パラメータ情報或いは読み出した静的パラメータ情報及び動的パラメータ情報とを使って3次元映像を生成する、請求項19または請求項20に記載の映像コンテンツ再生方法である。
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた3次元映像を再生することが可能になる。
請求項22に記載の発明は、読み出した複数または単一の映像ストリームと静的パラメータ情報と動的パラメータ情報とを使って補間或いは予測によって3次元映像を生成する、請求項19に記載の映像コンテンツ再生方法である。
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、実際に撮影した視点と視点の間を視点として撮影した画像や、実際に撮影した視点と視点の間よりも外側を視点として撮影した画像を生成し、これらの画像を元に3次元映像を再生することが可能になる。
請求項23に記載の発明は、映像コンテンツの内容を変更する映像コンテンツ編集方法であって、請求項17に記載の情報記録メディアから、複数または単一の映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、読み出した静的パラメータ情報及び動的パラメータ情報の何れかまたは両方を変更し、読み出した複数または単一の映像ストリームと変更した静的パラメータ情報及び動的パラメータ情報の何れかまたは全てを情報記録メディアに記録する、映像コンテンツ編集方法である。
このような映像コンテンツ編集方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた3次元映像を再度記録し、保存することが可能になる。
請求項24に記載の発明は、映像コンテンツから3次元映像を生成する映像コンテンツ再生装置であって、請求項17に記載の情報記録メディアから、複数または単一の映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出す読出部と、読み出した複数または単一の映像ストリームと静的パラメータ情報と動的パラメータ情報とを使って3次元映像を生成する生成部とを有する、映像コンテンツ再生装置である。
このような映像コンテンツ再生装置によって、簡単な構成で、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、種々の視点から見た3次元映像を再生することが可能になる。
請求項25に記載の発明は、読み出した静的パラメータ情報及び動的パラメータ情報の何れかまたは両方を変更する編集部を有し、生成部は読み出した複数または単一の映像ストリームと変更した静的パラメータ情報及び動的パラメータ情報若しくは読み出した静的パラメータ情報及び動的パラメータ情報を使って3次元映像を生成する、請求項24に記載の映像コンテンツ再生装置である。
このような映像コンテンツ再生装置によって、簡単な構成で、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた3次元映像を再生することが可能になる。
請求項26に記載の発明は、変更された静的パラメータ情報及び動的パラメータ情報を情報記録メディアに記録する更新部を有する、請求項25に記載の映像コンテンツ再生装置である。
このような映像コンテンツ再生装置によって、簡単な構成で、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた3次元映像を再度記録し、保存することが可能になる。
本発明によると、必ずしも予め準備された3次元映像だけでなく、視点を変える等、予め用意された3次元映像に各種の変形を加えて3次元映像を表示することが可能になる。更に、この3次元映像を表示するための情報は、各種3次元表示可能な機器に汎用的に使用することができ、3次元映像を表示するための情報形式の標準化を図ると同時に、3次元映像情報の流通の促進にも貢献することが可能になる。
(実施の形態1)
以下に、本発明の実施の形態1について、図面を参照しながら説明する。
図1に、本発明に係る映像コンテンツ記録装置100の主要部のブロック構成図を示す。この映像コンテンツ記録装置100は、例えば産業用、民生用、監視、ロボット、医療、分析、計測測定、エンターテインメント、その他様々な目的に使用されるビデオカメラやデジタルカメラ、静止画カメラや動画撮影用のカメラに相当する。映像コンテンツ記録装置100は、映像データを入力するための2つの部分、即ち、映像入力処理部121と映像入力処理部123とを有していることが特徴である。この映像入力処理部121と映像入力処理部123とは、入力した映像を3次元化するための、例えば右目に相当するカメラ部と左目に相当するカメラ部でもある。また、後述するように、この映像データを入力するためのカメラ部に相当する映像入力処理部は必ずしも2つに限るものではなく、3つ、4つ、或いはそれ以上を有していても構わない。或いは映像入力処理部を細分し、その撮像素子や映像信号処理回路は1つであって、被写体の像を撮像素子上に結像する部分(その中心はレンズである)だけが複数あっても構わない。或いはまた、1つの映像入力処理部を移動させながら、時分割的に2つまたはそれ以上の映像入力処理部であるかのように使用することも可能である。これらの一部を各種変形した実施の形態に関しては、後でより詳細に説明をする。
なお、本明細書でいう撮像素子とは、様々な材料・構成のフォトトランジスターやフォトダイオードやその他の光電素子等が、2次元平面形状に各種の構造、例えば格子マトリクス、千鳥格子、ハニカム構造等で並んだ2次元平面撮像素子をいう。例えば、1つのCCDエリアイメージセンサ・チップや、CMOS−平面イメージセンサ等がこれに該当する。
この実施の形態では映像入力処理部121には映像データ102が入力され、映像入力処理部123には映像データ104が入力される。この映像データ102と映像データ104とは同じ被写体を異なる視点、即ち映像入力処理部121と映像入力処理部123のレンズ位置から撮影した画像(静止画像または動画像)である。また、映像データ102と映像データ104とは必ずしも完全に同じ被写体であることは必要でなく、その一部だけが同じ被写体であっても構わない。この一部が同じ被写体であるとは、その撮影シーン(撮影領域)の一部が重複していることに相当する。
映像入力処理部121と映像入力処理部123とで撮影された映像データ102と映像データ104とは、AV制御バッファ処理部125へ送られ、そこで一旦蓄積され、ユーザインタフェース処理部165から送られてきたユーザの操作情報に基づいて、各種の処理が行われる。例えば、ユーザが行う操作例には、MPEG2、H.264等、コーデック方式の指定があり、ユーザが指定したコーデック方法を表す情報がユーザインタフェース処理部165からAV制御バッファ処理部125へ送られ、AV制御バッファ処理部125ではその情報に基づくコーデックの制御が、CODEC処理部127に対して実行される。
例えば、その操作情報が映像の3次元録画を行うものであったと仮定する。この時には、AV制御バッファ処理部125へ送られ、一旦蓄積された映像データ102と映像データ104とはCODEC処理部127へ送られて、所定の符号化処理が実行される。ここで実行される所定の符号化処理とは、例えば動画像データであったならばMPEG2やMPEG4、H.264等を始めとする動画像圧縮符号化であり、例えば静止画像データであったならばJPEGやPNG、GIF、BMP等を始めとする静止画像圧縮符号化である。
CODEC処理部127で所定の符号化処理が行われた映像データ102と映像データ104とは、コンテンツ処理部142へ送られてストリーム化処理が実行される。ここでいうストリーム化処理とは、例えばパーシャル・トランスポート・ストリーム(以後、「パーシャルTS」という)化を行う処理等である。なお、ここでいうパーシャルTSには、例えば符号化処理が行われた動画像や静止画像データだけでなく、音声データや後述する各種属性データや管理データや、その他の各種コンテンツ付属情報を含むものであっても構わないし、これらの一部を含まないものであっても構わない。各種コンテンツ付属情報の例に関しては、後で詳細に説明をする。
例えばパーシャルTS化された映像データ102と映像データ104とは、メディアアクセス処理部161を経て、情報記録メディア167に記録される。情報記録メディア167とは、例えばSDメモリカードを始めとする不揮発半導体メモリを使用した着脱可能なカード型の記録手段や、電池でバックアップされた半導体メモリを使用した着脱可能な記録手段や、DVD(デジタル・バーサタイル・ディスク)を使った光学式で着脱可能な記録手段や、BD(ブルー・レイ・ディスク)を使った光学式で着脱可能な記録手段や、HDD(ハード・ディスク・ドライブ)を使った磁気式で着脱不可能(固定式)な記録手段等である。但し、これらの記録手段はあくまでも一例に過ぎず、その他どのような記録手段であっても構わない。また、メディアアクセス処理部161とは、上記のような各種記録手段にアクセスするためのデバイスドライバと、これらの各種記録手段上にファイルシステムを構築し、それを制御し、利用するためのファイルシステム処理部等を含むものである。
一方、映像入力処理部121と映像入力処理部123からは、映像データ102と映像データ104とを入力した時の各種状態を表す動的機器情報、例えば、映像データ102と映像データ104とを撮影した時の映像入力処理部121と映像入力処理部123の向いている方向を表す角度情報や、その存在する位置を表す位置情報、映像入力処理部121や映像入力処理部123に備えられているレンズの方向を表す角度情報や、各レンズの存在する位置を表す位置情報、その他の各種情報等が、動的機器情報管理部129へ送られる。これらそれぞれの情報は地球の緯度経度を座標軸とする絶対的な座標軸で表現された値でも構わないし、その他の各種局所的な座標軸で表現された相対的な値であっても構わない。そして、これらの動的機器情報は、動的機器情報管理部129で一旦記憶され、必要に応じて取捨選択が行われることもあり、必要とされたものがコンテンツ付属情報処理部144へ送られ、コンテンツ付属情報処理部144では、これらの動的機器情報を、例えば上記パーシャルTSに含めて情報記録メディア167に記録するのに必要な処理が実行される。また、これらの動的機器情報は、必ずしも上記パーシャルTSに含まれるのではなく、パーシャルTSとは別に情報記録メディア167に記録される実施の形態であっても構わない。
静的機器情報管理部146では、映像コンテンツ記録装置100において、映像データ102と映像データ104とを撮影するのに関係する各種静的パラメータ情報、例えば映像入力処理部121と映像入力処理部123とに備えられた撮影レンズのレンズ間距離、各レンズの焦点距離、各レンズの歪値、その他の各種情報が記憶管理され、これらの情報もコンテンツ付属情報処理部144へ送られ、コンテンツ付属情報処理部144では、これらの静的機器情報を、例えば上記パーシャルTSに含めて情報記録メディア167に記録するのに必要な処理が実行される。これらの静的機器情報も、必ずしも上記パーシャルTSに含まれるのではなく、パーシャルTSとは別に情報記録メディア167に記録される実施の形態であっても構わない。また、この動的機器情報と静的機器情報とがパーシャルTSと別に記録される実施の形態では、パーシャルTSと動的機器情報と静的機器情報とは、1つのファイルとして情報記録メディア167に記録される実施の形態であっても構わないし、これらの幾つかが、別のファイルとして情報記録メディア167に記録される実施の形態であっても構わないし、1つのディレクトリに記録される実施の形態であっても構わないし、別のディレクトリに記録される実施の形態であっても構わないし、1つの情報記録メディア167に記録される実施の形態であっても構わないし、別の情報記録メディア167に記録される実施の形態であっても構わない。また、この静的機器情報は、映像データ102と映像データ104とを撮影するのに関係する各種静的パラメータ情報であって、通常撮影時には変化しない情報であるので、必ずしもパーシャルTSや動的機器情報と同時或いは相前後して情報記録メディア167に記録されるのではなく、予め情報記録メディア167に記録しておく実施の形態であっても構わないし、後で情報記録メディア167に記録する実施の形態であっても構わない。
上記動的パラメータ情報と静的パラメータ情報とは、映像コンテンツに含まれる映像ストリームとその映像ストリームを撮影した時の視点とを対応付ける情報でもある。
コンテンツ付属情報処理部144で処理された動的機器情報と静的機器情報とは、コンテンツ処理部142へ送られてパーシャルTSの中に組み込まれパーシャルTSの一部として、或いはパーシャルTSの中に組み込まれることはなく別のファイルとして、メディアアクセス処理部161へ送られ情報記録メディア167に記録される。
情報記録メディア167に記録されるパーシャルTSの内容と形式については、後で詳細に説明をする。
メニュー処理部163は、この映像コンテンツ記録装置100のユーザがユーザインタフェース処理部165を使って操作を行う時に、その操作を助けるメニューやガイドの表示とそれに伴う処理を実行する。
図2には、本発明に係る映像コンテンツ記録装置100における映像の撮影状態と情報記録メディア167の概略を示す。
上記の通り、映像コンテンツ記録装置100は、映像入力処理部121と映像入力処理部123の2つの映像入力部を有しており、これら2つの映像入力部によって被写体201の映像を撮影する。なお、この映像入力処理部121と映像入力処理部123とは、必ずしも2つの映像入力部ではなく、1つの映像入力部を時分割で、即ち、移動させながらあたかも2つの映像入力部であるかのように使用する実施の形態であっても構わない。この実施の形態では1つの映像入力部を移動させる時間情報、即ち、映像入力処理部121として使用した時間と、映像入力処理部123として使用した時間とを記録する必要がある。この時間情報は、撮影された映像ストリームのそれぞれの画像と、撮影した位置(視点)とを対応付ける情報でもある。また、このような実施の形態では、必ずしもレンズ間距離dは一定とは限らず、移動させる距離を変更することによって、レンズ間距離dを変更可能にすることもできる。
映像入力処理部121と映像入力処理部123は、それぞれレンズ221と撮像素子225及びレンズ223と撮像素子227、それと、図示していない幾つかの部分を有している。また、他の実施の形態では必ずしも2つの撮像素子(撮像素子225と撮像素子227)を有するのではなく、1つの撮像素子を使用し、その1つの撮像素子の領域を分割して使用する実施の形態であっても構わない。被写体201からの光を集めて結像させるのがレンズ221とレンズ223であり、その像はこの実施の形態では撮像素子225と撮像素子227とに結像される。撮像素子225と撮像素子227とはその像を電気信号に変換し、映像コンテンツ記録装置100は、電気信号に変換された被写体201の像を電子的に処理して記憶、保存する。
この時、レンズ221とレンズ223とは、レンズ間距離dを開けて配置されているので、映像入力処理部121から入力された映像と、映像入力処理部123から入力された映像とは、視点位置がdの距離だけ異なっており、視野角も異なっている。従って、これらの2つの映像を使うことによって、被写体201の3次元的な像を再現することが可能になる。
映像コンテンツ記録装置100は、このレンズ間距離dだけでなく、映像入力処理部121と映像入力処理部123とが被写体201の像を撮影するのに関係するパラメータ情報を多く保有している。このパラメータ情報には、機器に固有の情報であって、各撮影時には変化しないパラメータデータと、それぞれの撮影時に変化するパラメータデータとがある。この機器に固有の情報であって、各撮影時には変化しないパラメータデータを静的機器情報といい、それぞれの撮影時に変化するパラメータデータを動的機器情報という。
静的機器情報には、例えば、映像コンテンツを撮影した時のレンズ間距離、各レンズの焦点距離、各レンズの歪値や、その他の情報があり、動的機器情報には、例えば、映像データ102と映像データ104とを撮影した時の映像入力処理部121と映像入力処理部123の向いている方向を表す角度情報や、その存在する位置を表す位置情報、映像入力処理部121や映像入力処理部123に備えられているレンズの方向を表す角度情報や、各レンズの存在する位置を表す位置情報、その他の各種情報等がある。但し、これらの静的機器情報と動的機器情報とは必ずしも絶対的に固定されたものではなく、例えば、レンズ間距離dやレンズの焦点距離、歪値、その他画像の撮影に関する各種パラメータを撮影時に任意に変化させることができるような映像コンテンツ記録装置100であったならば、それらの値は静的機器情報ではなく、動的機器情報になることもある。
そして、これらの静的機器情報と動的機器情報とは映像ストリームと共に1つのパーシャルTSを構成して、或いはそれぞれ個別に、或いはまた、これらの幾つかは1つにまとめそれ以外のものは個別に、全体が1つの映像コンテンツとして情報記録メディア167に記録される。
映像入力処理部121と映像入力処理部123とで撮影された被写体201の映像情報を含むパーシャルTSや静的機器情報及び動的機器情報は、情報記録メディア167に記録される。
この情報記録メディア167には、メディアアクセス処理部161によって、例えば図2に示すようなディレクトリ構造を有するファイルシステムが構成される。なお、このファイルシステムとディレクトリ構造はあくまでも実施の形態の一例を示すものであり、本発明がこのような実施の形態の構成に限定されるものではない(その他の実施の形態と、その説明について全て同様)。
例えば、被写体201を撮影した映像コンテンツをコンテンツ1と名付けると、この映像コンテンツはコンテンツ1フォルダの下に記録保存され、その映像データはコンテンツ1映像ファイル1及びコンテンツ1映像ファイル2として記録保存される。また、この映像コンテンツを撮影した時の静的機器情報と動的機器情報とは、コンテンツ1管理情報ファイル及びコンテンツ1付属情報ファイル1及びコンテンツ1付属情報ファイル2として記録保存される。このようなファイル名やファイル形式、情報の記録法等に関しても、あくまでも実施の形態の一例を示すものであり、本発明がこのような実施の形態に限定されるものではない。
図3には、この情報記録メディア167のファイルシステムとディレクトリ構造をより詳細に示す。この図3に示すファイルシステムとディレクトリ構造もまた一例であって、このようなファイルシステムとディレクトリ構造に限定されるものではない。
図3に示すファイルシステムとディレクトリ構造は、例えばSDメモリカードを記録メディアとするものであったと仮定する。このSDメモリカードも一例であって、SDメモリカードに限定されるものではない。
このSDメモリカード全体を含むフォルダとして、例えばROOT(根)という名前の1つのフォルダが存在する。このROOTフォルダは、1枚のSDメモリカードの記録領域全体をカバーするディレクトリに相当する。この実施の形態でフォルダと呼ぶものは、ディレクトリと呼ばれることがあるものと実質的に変わることはなく、フォルダ構造やフォルダ構成と呼ぶものも、ディレクトリ構造やディレクトリ構成と呼ばれることがあるものと実質的に変わることはない。
このROOTフォルダの下に、メディア規格フォルダが存在する。SDメモリカードには、そのフォルダ構造(ディレクトリ構造)とファイルシステムを定める規格があり、この規格に従って情報を記録する方法と、この規格に従うことなく、独自の方式で情報を記録する方法が考えられる。
メディア規格フォルダは、それ以下のフォルダやファイルがSDメモリカードの規格に従うことを示している。なお、図3では、メディア規格フォルダを1つだけ示しているが、ROOTフォルダの下には、複数のメディア規格フォルダと、複数のSDメモリカードの規格に従わないフォルダが存在しても構わない。
このメディア規格フォルダの下に、例えば、管理情報フォルダ、コンテンツ1フォルダ、コンテンツ2フォルダ、コンテンツ3フォルダ、・・・、コンテンツnフォルダが存在する。なお、これらのフォルダは必ずしも存在しなくても構わない。図3では、管理情報フォルダ、コンテンツ1フォルダ、コンテンツ2フォルダだけを示しているが、このようなコンテンツフォルダ等は1つのメディア規格フォルダの下に幾つ存在しても構わない。
管理情報フォルダには、メディア規格フォルダ内全体の情報を一括管理するための、管理情報ファイルや、その他のファイルが記録されている。この管理情報ファイル等には、このメディア規格フォルダに格納されているコンテンツの数や、メディア規格のバージョン情報等が記録されている。なお、この管理情報ファイルやその他のファイルの全部または一部は、必ずしもこの管理情報フォルダに存在しなくても構わないし、その他のフォルダに存在しても構わないし、メディア規格フォルダの直下に存在しても構わない。
各コンテンツフォルダには、それぞれ1つずつのコンテンツ、例えば映像コンテンツや音声コンテンツ、これら両者を含むマルチメディアコンテンツ等が記録保存されている。通常、1つのコンテンツフォルダに1つのコンテンツが含まれ、1つのコンテンツフォルダは1つのSDメモリカードに含まれているが、必ずしもこれに限定されるものではなく、これ以外の形式があっても構わない。
例えば、コンテンツフォルダは1つで、その中に複数のコンテンツファイルが格納されており、別途、コンテンツ付属情報ファイルを格納するフォルダがあり、このフォルダに全てのコンテンツのコンテンツ付属情報ファイルが格納されても構わない。或いは、例えば、コンテンツフォルダは各コンテンツ毎に存在して各コンテンツファイルはこのフォルダに格納され、コンテンツ付属情報ファイルは共通のフォルダまたはメディア規格フォルダに格納されても構わない。或いは、逆に、コンテンツ付属情報フォルダは各コンテンツ毎に存在して各コンテンツ付属情報ファイルはこのフォルダに格納され、コンテンツファイルは共通のフォルダまたはメディア規格フォルダに格納されても構わない。或いは、幾つかのコンテンツファイルやコンテンツ付属情報ファイルをグループ化して格納するようなコンテンツフォルダが存在しても構わない。或いは、例えば、コンテンツフォルダもコンテンツ付属情報フォルダも存在せず、メディア規格フォルダの直下に複数のコンテンツファイルとコンテンツ付属情報ファイルが格納されていても構わない。或いはまた、これら以外の形式であっても構わない。
また、1つのコンテンツとは、例えばアナログ地上波放送やデジタル地上波放送、衛星放送等のテレビ放送のコンテンツであったならば、1つの番組に相当するものである。また、ビデオムービーカメラで撮影した映像コンテンツであったならば、1つのまとまった撮影シーンに相当するものである。
図3に示す通り、例えばこの例では、コンテンツ1フォルダの下に、コンテンツ1管理情報ファイルと、コンテンツ1付属情報ファイル1と、コンテンツ1映像ファイル1と、コンテンツ1付属情報ファイル2と、コンテンツ1映像ファイル2とが存在する。
コンテンツ1管理情報ファイルは、コンテンツ1に関する様々な管理情報、特に、コンテンツ1に含まれる2つの映像データに共通する情報や、これら2つの映像データの関係を表すデータや、これら2つの映像データを関連付けるデータ、例えば、コンテンツ1を入力した時の各映像入力処理部間の関係を表す静的機器情報や、動的機器情報や、その他の情報等の全部または一部を含んでいる。
コンテンツ1映像ファイル1は、映像入力処理部121から入力された映像データ102からなる符号化されたストリーム(パーシャルTS)を含み、コンテンツ1付属情報ファイル1は、映像入力処理部121において映像データ102を撮影した時の静的機器情報及び動的機器情報を含んでいる。
コンテンツ1映像ファイル2は、映像入力処理部123から入力された映像データ104からなる符号化されたストリーム(パーシャルTS)を含み、コンテンツ1付属情報ファイル2は、映像入力処理部123において映像データ104を撮影した時の静的機器情報及び動的機器情報を含んでいる。
これらのファイルはそれぞれ、これら以外の他の情報を含んでいても構わない。また、コンテンツ1管理情報ファイル、コンテンツ1付属情報ファイル1、コンテンツ1映像ファイル1、コンテンツ1付属情報ファイル2、コンテンツ1映像ファイル2の各ファイルは、それぞれ実際には複数のファイルから構成されていても構わないし、実際にはこれらの幾つかが1つのファイルとして構成されていても構わない。
上記の通り、コンテンツ1映像ファイル1は、レンズ221を視点として被写体201を見た時の映像ストリームに相当し、コンテンツ1映像ファイル2は、レンズ223を視点として被写体201を見た時の映像ストリームに相当する。
また、映像入力処理部が3つ以上存在するような実施の形態では、コンテンツ1フォルダの下に、コンテンツ1映像ファイルとコンテンツ1付属情報ファイルとのペアが3つ以上存在することがあっても構わない。
コンテンツ2フォルダ、コンテンツ3フォルダ、・・・、コンテンツnフォルダに関しても、コンテンツの内容が変わるだけで、実質的には同様であるから図示と説明を省略する。
このように、SDメモリカードを使用する情報記録メディア167を一例として示すならば、映像コンテンツを記録するためのフォルダとファイルシステムの構造をメディア規格フォルダの下に定めることによって、映像コンテンツの記録形式の標準化を提案し、映像コンテンツの流通の拡大促進を可能にすることができる。このことはまた、映像コンテンツに対する新しい産業分野の創生にもつながるものである。
また、図3に示すフォルダとファイルシステム構成では、静的機器情報と動的機器情報とを、1つのファイルであるコンテンツ1管理情報ファイルまたはコンテンツ付属情報ファイル1またはコンテンツ付属情報ファイル2に記録しているが、静的機器情報と動的機器情報とを別のファイル、例えば、静的機器情報をコンテンツ付属情報ファイル1−Sとコンテンツ付属情報ファイル2−S、動的機器情報をコンテンツ付属情報ファイル1−Mとコンテンツ付属情報ファイル2−Mとして記録しても構わない。
或いは、静的機器情報をコンテンツ1管理情報ファイルにまとめて記録し、動的機器情報をコンテンツ付属情報ファイル1とコンテンツ付属情報ファイル2とに分けて記録しても構わない。
或いは、これらの内の任意の幾つか、例えば静的機器情報のファイルと動的機器情報のファイル、または動的機器情報のファイルと映像情報のファイル、または静的機器情報のファイルと映像情報のファイル、またはこれらの全てを1つのファイルとして記録しても構わない。例えば上記コンテンツ処理部142でパーシャルTSを作成する実施の形態は、これら全てを1つのファイル(パーシャルTS)としてストリーム化し、記録する実施の形態の一例である。
更にまた、図3に示すフォルダとファイルシステム構成では、静的機器情報及び動的機器情報を記録するコンテンツ1管理情報ファイル及びコンテンツ1付属情報ファイル1及びコンテンツ1付属情報ファイル2と、映像データ102からなる符号化された映像ストリームを記録するコンテンツ1映像ファイル1及び映像データ104からなる符号化された映像ストリームを記録するコンテンツ1映像ファイル2とを、全て同じ情報記録メディア167の同じフォルダに記録しているが、これらの幾つかを異なるフォルダや異なる記録メディアに記録する実施の形態であっても構わない。また、このように、幾つかを異なるフォルダや異なる記録メディアに記録する実施の形態では、これらに共通する管理情報をどれか1つのフォルダや記録メディアに記録する実施の形態も可能であるし、全てのフォルダや記録メディアに記録する実施の形態も可能であるし、例えば、装置側に記録する実施の形態も可能である。
そしてまた、静的機器情報に関しては、この映像コンテンツ記録装置100に固有の情報であって、被写体201を撮影する時の状態によって変化することはない情報であるから、例えば情報記録メディア167が映像コンテンツ記録装置100にセットされた時点とか、情報記録メディア167が映像コンテンツ記録装置100にセットされた時から被写体201を撮影するまでの時点とか、情報記録メディア167のフォーマットや初期化を行った時点とか、それ以外の空き時間のような時点において、予め記録しておく実施の形態であっても構わない。
或いはまた、図3に示すフォルダとファイルシステム構成では、映像データ102からなる符号化された映像ストリームを記録するコンテンツ1映像ファイル1と、映像データ104からなる符号化された映像ストリームを記録するコンテンツ1映像ファイル2とを、別のファイルとして情報記録メディア167に記録しているが、これら複数の映像ストリームを1つの映像ストリームとして符号化し、1つのコンテンツ1映像ファイルとして情報記録メディア167に記録する実施の形態であっても構わない。例えば、1つの撮像素子を複数(例えば2つ、或いは3つ以上)の領域に分割し、それぞれの領域の撮像素子毎にレンズを中心とする結像部を設け、それぞれ異なる視点(レンズの位置)で撮影した複数の画像を1つの撮像素子の複数の領域に結像させる実施の形態も考えることができる。このような実施の形態では、使用する撮像素子は1つであるので、映像ストリームも1つで、この1つの映像ストリーム中に複数の視点から見た画像情報が含まれていることになる。この1つの映像ストリームと静的機器情報及び動的機器情報をそれぞれ個別のファイルとして、同じ情報記録メディア167の同じフォルダに記録する実施の形態であっても構わないし、同じ情報記録メディア167の異なるフォルダに記録する実施の形態であっても構わないし、異なる情報記録メディア167に記録する実施の形態であっても構わない。或いは、この1つの映像ストリームと静的機器情報及び動的機器情報の幾つかを1つのファイルとしそれ以外を別のファイルとして、同じ情報記録メディア167の同じフォルダに記録する実施の形態であっても構わないし、同じ情報記録メディア167の異なるフォルダに記録する実施の形態であっても構わないし、異なる情報記録メディア167に記録する実施の形態であっても構わない。或いはまた、この1つの映像ストリームと静的機器情報及び動的機器情報の全てを1つのファイルとして、1つの情報記録メディア167の1つのフォルダに記録する実施の形態であっても構わない。
このように、1つの撮像素子を複数の領域に分割し、それぞれの領域の撮像素子毎にレンズを中心とする結像部を設け、それぞれ異なる視点で撮影した複数の画像を1つの撮像素子の複数の領域に結像させる実施の形態であっても、1つの撮像素子で撮影した複数の視点から見た画像を、それぞれの視点から見た映像ストリーム毎に分割し、1つの映像ストリームには1つの視点から見た画像が含まれるようにする実施の形態も考えることができる。このような実施の形態では、1つの映像ストリームにはそれぞれ1つの視点から見た画像が含まれ、このような映像ストリームが複数存在するので、複数の映像入力処理部が存在する実施の形態と実質的に変わることがなく、詳細な説明は省略する。
(映像コンテンツの編集と更新)
そしてまた、他の実施の形態では、例えば、情報記録メディア167に記録されている、コンテンツ1管理情報ファイル及びコンテンツ1付属情報ファイル1及びコンテンツ1付属情報ファイル2の内容である静的機器情報及び動的機器情報は、読み出して変更し、新しく変更された静的機器情報や動的機器情報の値を使用して、コンテンツ1映像ファイル1やコンテンツ1映像ファイル2に記録されている映像情報と共に映像コンテンツを再生表示したり、これらの更新変更した値を、再度、情報記録メディア167に記録することが可能である。
静的機器情報及び動的機器情報は、その性格上通常は数値データやテキストデータであることが多く、例えばテキスト形式やHTML形式、XML形式、バイナリ形式等で情報記録メディア167に記録されていることがある。そして、これらのデータは、例えばテキスト形式で記録されていればワープロソフトのような手段で、或いは、HTML形式やXML形式等で記録されておればブラウザのようなツールやソフトウエアを使って、バイナリ形式ならばそのデータ形式を扱うための専用のソフトウエア等を使って、変更したり、変更後のデータを再度記録することが可能である。
この静的機器情報及び動的機器情報の一例としてレンズ間距離を採り上げ、このレンズ間距離を変更して映像コンテンツを再生した時の例を図4に示す。また、このような実施の形態を行う一例である映像コンテンツ再生編集装置500の主要部のブロック構成を図5に示す。
映像コンテンツ再生編集装置500において、メニュー処理部503は、例えば液晶ディスプレイやCRT表示装置等(共に図示せず)で構成される表示手段に、操作者の操作をガイドするためのメニューを表示する。ユーザインタフェース処理部505は、この表示手段とタッチ式スイッチやボタン式スイッチ入力部(共に図示せず)を制御して、操作者(ユーザ)からの操作入力を受け付け、その指示に従った処理内容を実行する。
例えば、そのユーザの操作内容が、情報記録メディア167に記録されているコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2の内容の更新変更(編集)であったならば、メディアアクセス処理部501を経由して情報記録メディア167から、指定されたコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2の内容を読み出し、ワープロソフトのような形式のツールソフトやブラウザのような形式のツールソフトやその他の方法で、その内容を変更し、変更後の内容を再度メディアアクセス処理部501を経由して、情報記録メディア167に記録する。
例えば、ユーザの操作内容が、情報記録メディア167に記録されているコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2の内容を変更し、その変更された内容とコンテンツ1映像ファイル1及びコンテンツ1映像ファイル2とを使って3次元立体映像を表示することであったならば、メディアアクセス処理部501を経由して情報記録メディアから、指定されたコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2の内容を読み出し、ワープロソフトのような形式のツールソフトやブラウザのようなツールソフトやその他の方法で、その内容を変更する。
そして、この変更したコンテンツ1管理情報ファイル及びコンテンツ1付属情報ファイル1及びコンテンツ1付属情報ファイル2の内容と、情報記録メディア167から読み出したコンテンツ1映像ファイル1及びコンテンツ1映像ファイル2とを、メディアアクセス処理部501とコンテンツ処理部509とを経由して映像出力処理部522へ送出する。
映像出力処理部522では、情報記録メディア167から読み出されたコンテンツ1映像ファイル1及びコンテンツ1映像ファイル2と、変更されたコンテンツ1管理情報ファイル及びコンテンツ1付属情報ファイル1及びコンテンツ1付属情報ファイル2、または変更される前のコンテンツ1管理情報ファイル及びコンテンツ1付属情報ファイル1及びコンテンツ1付属情報ファイル2を受け取り、立体画像表示部524に表示するために必要な画像処理を実行する。
2つの映像ストリーム(右目で見た映像ストリームと左目で見た映像ストリームとに相当する)と、2つの付属情報(右目と左目との位置や角度等に相当する)とから、立体画像表示部524に3次元画像を表示するために必要な画像処理の内容は、立体画像表示部524の原理・方式によって様々に異なる。
2つの映像ストリームやその付属情報から映像を立体的に表示し、それを見ることのできる原理・方式としては、アナグリフ(余色立体)方式、ポラライザ(偏光)方式、パララックスバリア方式、インテグラルフォトグラフィ方式、レンティキュラ方式、バリフォーカルミラー方式、オートステレオグラム方式、クロマデプス(分光視差)方式、RDS型ステレオグラム方式、WTD方式(家庭用テレビ)、CID法、輝度比多重表示方式、ファントグラム(平置表示)方式、薄膜ホログラムメモリ方式等、極めて多くのものが歴史的に知られており、また、次々と近年新しく発表されている。
2つの映像ストリームやその付属情報から、映像を立体的に表示し、それを見るために映像出力処理部522で実行される画像処理の内容は、これら種々の原理・方式に対応して様々である。
以下では、これら3次元立体画像を表示するための原理・方式に依存しない部分であって、付属情報(右目と左目との位置や角度等に相当する)を変更した時に見える3次元立体画像の変化の様子を、模式的に示す。
図4(a)は被写体401を映像コンテンツ記録装置100で撮影した時の状態を示し、図4(b)は撮影した映像をレンズ間距離を変更して再生した時の状態を示している。
それぞれの図は、撮影と再生を行った時の様子を上方から見た状態を示している。被写体401は、例えばその底面が正方形の四角柱であったと仮定している。
被写体401を撮影した映像が、映像コンテンツ記録装置100の映像入力処理部121と映像入力処理部123とに入力される。この入力される映像は、それぞれ映像データ102と映像データ104であり、映像入力処理部121と映像入力処理部123とによって撮影された像が、映像421と映像423とに相当する。
映像入力処理部121は例えば左目に相当し、映像入力処理部123は、例えば右目に相当する。この時のレンズ間距離はd1であったと仮定する。このレンズ間距離は、例えば静的機器情報管理部146によって情報記録メディア167に記録される。記録されるファイルは、例えばコンテンツ1管理情報ファイルまたはコンテンツ1付属情報ファイル1またはコンテンツ1付属情報ファイル2である。或いは、動的機器情報管理部129によって他の何らかのファイルに記録されても構わないし、上記コンテンツ1管理情報ファイルまたはコンテンツ1付属情報ファイル1またはコンテンツ1付属情報ファイル2に記録されても構わないし、映像ストリームと同じファイルに記録されても構わない。
上記の通り、このコンテンツ1管理情報ファイル或いはコンテンツ1付属情報ファイル1或いはコンテンツ1付属情報ファイル2に記録された静的機器情報及び動的機器情報は変更、更新することが可能である。
そこで、この実施の形態では、例えば上記レンズ間距離d1がd2に変更されたと仮定する。また、一例としてd1<d2であったと仮定する。
そして、情報記録メディア167に記録されたコンテンツ1映像ファイル1とコンテンツ1映像ファイル2、及び変更、更新されたコンテンツ1管理情報ファイルとコンテンツ1付属情報ファイル1とコンテンツ1付属情報ファイル2を使って、映像データ102と映像データ104とが再生されたと仮定する。
この時の状態を図4(b)に示す。
再生に使われる映像ストリームのデータは、撮影記録されたコンテンツ1映像ファイル1とコンテンツ1映像ファイル2そのままであるから、例えば撮影時の映像421と映像423は変化がなく、そのまま再生に使用される。
そして、レンズ間距離d1だけが(他のパラメータ等は変更されていないと仮定する)レンズ間距離d2に変更されているので、このレンズ間距離d2を前提として再生処理が実行される。これによって再生される仮想的な被写体431は、実際に撮影された被写体401とは異なる形状、例えばその底面がひし形の四角柱として再生される。
ここでは1つの例だけを示したが、他の場合も同様に、コンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2に記録されている静的機器情報及び動的機器情報を変更して、コンテンツ1映像ファイル1とコンテンツ1映像ファイル2から3次元映像を再生したり、或いは、コンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2に記録されている静的機器情報及び動的機器情報を変更して再度記録(更新)することによって、元の映像コンテンツとは異なる映像コンテンツや、編集、変形を加えた映像コンテンツを再生して表示、観賞することが可能になる。
更にまた、ここでは、コンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2に記録されている静的機器情報及び動的機器情報を変更する例だけを示したが、例えば、コンテンツ1映像ファイル1やコンテンツ1映像ファイル2に記録保存されている映像情報を、静的パラメータ情報と動的パラメータ情報とを利用して補間的な計算、或いは予測的な計算によって、撮影した視点と視点との間の視点から見た映像情報を生成したり、撮影した視点と視点との間の外側の視点から見た映像情報を生成し、これら実際に撮影した視点とは異なる視点においてあたかも撮影したかのような映像情報を計算によって生成し、この映像情報を使って3次元映像を生成する実施の形態も可能である。
以上説明した映像コンテンツ記録装置100は、本発明に係る映像コンテンツ記録装置の一実施の形態である。また、この映像コンテンツ記録装置100が実行する映像コンテンツ記録方法は、本発明に係る映像コンテンツ記録方法の一実施の形態である。また、この情報記録メディア167は、本発明に係る情報記録メディアの一実施の形態である。
また、映像コンテンツ再生編集装置500は、本発明に係る映像コンテンツ再生装置の一実施の形態である。また、この映像コンテンツ再生編集装置500が実行する映像コンテンツ再生方法及び映像コンテンツ編集方法は、本発明に係る映像コンテンツ再生方法及び映像コンテンツ編集方法の一実施の形態である。
(実施の形態2)
本発明の実施の形態2である映像コンテンツ記録装置600の概略構成を図6に示す。本発明の実施の形態2である映像コンテンツ記録装置600については、その多くの部分が本発明の実施の形態1である映像コンテンツ記録装置100と同様であるから、本発明の実施の形態1と同様の部分については説明を省略し、本発明の実施の形態2が実施の形態1と異なる部分についてのみ、図6を参照しながら説明をする。
本発明の実施の形態1である映像コンテンツ記録装置100では、映像入力処理部を2個(または2個以上)有していた。しかしながら、本発明の実施の形態2である映像コンテンツ記録装置600では、映像入力処理部621を1個有しているだけで、それ以上の映像入力処理部を有していない。その代わり、この1つの映像入力処理部621を移動させる手段を有している。これが、本発明の実施の形態2である映像コンテンツ記録装置600と本発明の実施の形態1である映像コンテンツ記録装置100とが最も異なる特徴である。この移動距離をd2で表し、移動させる手段は簡略化のため図示を省略しているが、ベルトに映像入力処理部621を搭載する方式や、スプリングとカムを用いる方式等、よく知られている様々な方式が利用可能である。
映像入力処理部621はレンズ641と撮像素子625とを有しており、これに関しては本発明の実施の形態1と実質的に同様である。
映像入力処理部621は、図6に示す第1の位置(移動する前の位置)において被写体601からの映像データ602をレンズ641で受光し、その像を撮像素子625に結像する。この像は、本発明の実施の形態1である映像コンテンツ記録装置100と同様、電子的に、例えば情報記録メディア167に記録される。この記録の方式や形式も、実質的に本発明の実施の形態1である映像コンテンツ記録装置100と同様であるから、説明を省略する。
次に、上記移動手段によって、映像入力処理部621は、第2の位置(移動した後の位置)に移動される。そして、この第2の位置(移動した後の位置)において被写体601からの映像データ604を、第2の位置(移動した後の位置)でのレンズ641によって受光し、その像を第2の位置(移動した後の位置)での撮像素子625に結像する。この像は、本発明の実施の形態1である映像コンテンツ記録装置100において、映像入力処理部123によって撮影されていた像と実質的に同じものである。
この像も、電子的に本発明の実施の形態1である映像コンテンツ記録装置100と同様、例えば情報記録メディア167に記録される。この記録の方式や形式も、実質的に本発明の実施の形態1である映像コンテンツ記録装置100と同様であるから、説明を省略する。
即ち、本発明の実施の形態1である映像コンテンツ記録装置100では、映像入力処理部を2個(または2個以上)有し、同時並行的に2個(または2個以上)の視点から見た映像を撮影し、それらを同時並行的に、例えば情報記録メディア167に記録していた。しかしながら、本発明の実施の形態2である映像コンテンツ記録装置600では、映像入力処理部を1個しか有さず、その1個の映像入力処理部を2個(または2個以上)の視点位置に移動させながら、時分割的に2個(または2個以上)の視点から見た映像を撮影する。そして、これら2個(または2個以上)の視点から見た映像を、例えば情報記録メディア167に記録することと、その記録方式や記録方法は、本発明の実施の形態1である映像コンテンツ記録装置100と同様である。
必要に応じて、この第1の位置での撮影と、第2の位置での撮影とを繰り返し実行し、それぞれの位置で撮影した映像情報をそれぞれ別の映像ストリームとして、或いは1つの映像ストリームとして、例えば情報記録メディア167に記録する。
この移動距離d2、移動に要する時間、第1の位置で撮影した時間情報と第2の位置で撮影した時間情報等は、管理情報として、例えばコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2に記録保存される。
そして、これらの映像情報を再生する時には、時分割的に2個(または2個以上)の視点から撮影した映像を、あたかも同時に複数の視点から取得した映像であるかのように、3次元的な映像に再生することができる。
このようにして、本発明の実施の形態2である映像コンテンツ記録装置600では、映像入力処理部を1個しか有さないにも関わらず、この1個の映像入力処理部を移動させることによって、複数の視点から見た映像情報を撮影し、その映像情報を記録保存し、その映像情報を読み出して3次元映像を再生することが可能になる。
(実施の形態3)
本発明の実施の形態3である映像コンテンツ記録装置については、その多くの部分が本発明の実施の形態1である映像コンテンツ記録装置100と同様であるから、本発明の実施の形態1と同様の部分については説明を省略し、本発明の実施の形態3が実施の形態1と異なる部分についてのみ、図7を参照しながら説明をする。
本発明の実施の形態3である映像コンテンツ記録装置の映像入力処理部を構成する、複眼レンズ741と撮像素子725の概略構成を図7に示す。本発明の実施の形態3では、簡明化のため、映像コンテンツ記録装置全体と映像入力処理部全体は図示せず、その代わり、本発明の実施の形態3の最大の特徴である複眼レンズ741のより詳細な構成の概要と、この複眼レンズ741によって撮像素子725上に結像される像の状態の概略を示している。
本発明の実施の形態1である映像コンテンツ記録装置100では、映像入力処理部を2個(または2個以上)有しており、本発明の実施の形態2である映像コンテンツ記録装置600では、映像入力処理部を1個しか有していないが、それを時分割的に2個(または2個以上)の位置に移動して撮影を行った。しかしながら、本発明の実施の形態3である映像コンテンツ記録装置700では、図示しない映像入力処理部を1個しか有しておらず、またその移動を行うこともない。その一方、レンズとして通常よく使われる凸レンズや凹レンズではなく、これら単一のレンズが平面状に複数個配列された複眼レンズ741を使用する。これが、本発明の実施の形態3である映像コンテンツ記録装置が、本発明の実施の形態1である映像コンテンツ記録装置100や本発明の実施の形態2である映像コンテンツ記録装置600と最も異なる特徴である。
図7では、複眼レンズ741を構成する微細レンズとして、微細レンズ751、微細レンズ752、微細レンズ753、微細レンズ754、微細レンズ755、微細レンズ756、の6個だけを描き、また、これらの6個の微細レンズが1列に配列されているように示しているが、これは一例であり、より多くの微細レンズまたはより少ない微細レンズが、1列にまたは平面的に配置されていても構わない。また、各微細レンズは1つの凸レンズだけから構成されるように図示しているが、これは簡略化のための一例であって、各微細レンズは複数の凸レンズや凹レンズや非球面レンズやその他の各種レンズが組み合わされて構成されていても構わない。
この6つの微細レンズによって、撮像素子725上に、被写体701の像が6個、それぞれ、像771、像772、像773、像774、像775、像776、が結像される。
このような被写体の撮影手法は、眼鏡なし3次元立体映像表示方式として知られるインテグラルフォトグラフィ方式で使用される手法であるが、インテグラルフォトグラフィ方式では、倒立画像を屈折率分布レンズやその他の手法で正立画像に変換することが行われる。しかしながら、本発明の実施の形態3では倒立画像を電子的に正立画像に変換することができるので、必ずしも光学的な手法で正立画像に変換する必要はない。
複眼レンズ741と撮像素子725とで撮影された映像情報は、本発明の実施の形態1である映像コンテンツ記録装置100と同様、電子的に、例えば情報記録メディア167に記録される。この記録の方式や形式も、実質的に本発明の実施の形態1である映像コンテンツ記録装置100と同様であるから、説明を省略する。
そして、これら6個の微細レンズで撮影した映像情報の全部或いは一部を、それぞれ別の映像ストリームとして情報記録メディア167に記録しても構わないし、或いは1つの映像ストリームとして、例えば情報記録メディア167に記録しても構わない。
また、この映像ストリームの撮影に関する各種の情報、例えば各微細レンズの位置や方向や間隔や焦点距離やその他の情報は、管理情報として、例えばコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2に記録保存される。これらのコンテンツ1管理情報ファイルやコンテンツ1付属情報ファイル1やコンテンツ1付属情報ファイル2も、映像ストリームと一緒に、或いは個別に、例えば情報記録メディア167に記録保存される。
そして、これらの映像情報と付属情報とを情報記録メディア167から読み出して、3次元的な映像を再生することができる。
例えば、上記インテグラルフォトグラフィ方式では、撮像素子725上に結像され、情報記録メディア167に記録された複数の像をそのまま読み出し、それぞれの倒立画像を電子的に正立画像に変換し、例えば液晶表示装置等に表示し、その表示された画像を再度複眼レンズ741と同じ構造のレンズを通して見ると、眼鏡なしで3次元立体映像を再現することができる。
本発明によると、単なる記録映像としての用途に留まらず、3次元映像(動画・静止画)写真立ての元映像として利用することができ、3次元表示デバイスと組み合わせることで、従来の視点を超えた、3次元ならではの情報取得及び保存が可能となる。また、このような情報取得や保存は、ロボットにも適用することが可能である。
その他、自動車のコーナー測距等のための視覚センサーとして利用することも可能であり、視覚障害者向けの階段知覚にも利用可能で、セキュリティ確保のための監視用にも利用することができる。
更に、医療用顕微鏡画像等の利用に際し、染色体の目視検査(蛍光確認)等において、従来は、2次元的表示されたものを見ていたため、細胞の重なっている部分の判断等が困難であった。本発明によれば、種々の視点に視野角を変更することができ、別の角度から細胞の重なりを回避して、内部を確認することができるので、検査の精度の改善に大きく貢献することが可能になる。
本発明によると、必ずしも予め準備された3次元映像だけでなく、視点を変える等、予め用意された3次元映像に各種の変形を加えて3次元映像を表示することが可能になる。更に、この3次元映像を表示するための情報は、各種3次元表示可能な機器に汎用的に使用することができ、3次元映像を表示するための情報形式の標準化を図ると同時に、3次元映像情報の流通の促進にも貢献することが可能になり、その産業上の利用可能性は極めて高い。
本発明に係る映像コンテンツ記録装置100の主要部のブロック構成図 本発明に係る映像コンテンツ記録装置100における撮影状態と情報記録メディア167の概要を示す図 情報記録メディア167のファイルシステムとディレクトリ構造を詳細に示す図 レンズ間距離を変更して映像コンテンツを再生した時の例を示す図 本発明に係る映像コンテンツ再生編集装置500の主要部のブロック構成図 本発明の実施の形態2である映像コンテンツ記録装置600の概略構成図 本発明の実施の形態3である映像コンテンツ記録装置の映像入力処理部を構成する複眼レンズ741と撮像素子725の概略構成図 従来のステレオ画像表示装置900の主要部のブロック構成図
符号の説明
100,600,700 映像コンテンツ記録装置
102,104,602,604 映像データ
121,123,621 映像入力処理部
125 AV制御バッファ処理部
127 CODEC処理部
129 動的機器情報管理部
142,509 コンテンツ処理部
144,507 コンテンツ付属情報処理部
146 静的機器情報管理部
161,501 メディアアクセス処理部
163,503 メニュー処理部
165,505 ユーザインタフェース処理部
167 情報記録メディア
201,401,601,701 被写体
221,223,641 レンズ
225,227,625,725 撮像素子
421,423 映像
431 再生される仮想的な被写体
500 映像コンテンツ再生編集装置
522 映像出力処理部
524 立体画像表示部
741 複眼レンズ
751,752,753,754,755,756 微細レンズ
771,772,773,774,775,776 像
900 ステレオ画像表示装置
901 全体制御部
902 データ処理部
903 表示制御部
904 画像ファイル処理部
905 表示補正設定ファイル処理部
906 ステレオ画像データ処理部
907 画像記憶部
908 直視型ディスプレイ

Claims (26)

  1. 映像コンテンツを情報記録メディアに記録する映像コンテンツ記録方法であって、
    前記映像コンテンツは、
    複数または単一の撮影部で撮影した複数または単一の映像ストリームと、
    前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と、
    前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報と、を含む、
    映像コンテンツ記録方法。
  2. 前記静的パラメータ情報は、前記映像ストリームを撮影した時の撮影部のレンズ間距離、レンズの焦点距離、レンズの歪値、の少なくとも1つを含む、
    請求項1に記載の映像コンテンツ記録方法。
  3. 前記動的パラメータ情報は、前記映像ストリームを撮影した時の撮影部の方向角、撮影部の位置情報、撮影部のレンズの方向角、撮影部のレンズの位置情報、の少なくとも1つを含む、
    請求項1または請求項2に記載の映像コンテンツ記録方法。
  4. 前記映像コンテンツは、1つの撮影部を移動させることで異なる視点から撮影した複数の映像ストリームを含む、
    請求項1から請求項3の何れか1項に記載の映像コンテンツ記録方法。
  5. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも1つは、前記1つの撮影部を移動させることで異なる視点から撮影した時の時間情報を含む、
    請求項4に記載の映像コンテンツ記録方法。
  6. 前記映像コンテンツに含まれる1つの映像ストリームは複数のレンズを有する1つの撮影部を有し、前記複数のレンズで異なる視点から撮影した映像を含む、
    請求項1から請求項3の何れか1項に記載の映像コンテンツ記録方法。
  7. 前記映像コンテンツは複数の映像ストリームを含み、前記複数の映像ストリームのそれぞれは異なる視点から撮影した時のそれぞれの視点に対応する映像を含む、
    請求項4から請求項6の何れか1項に記載の映像コンテンツ記録方法。
  8. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも1つは、前記映像ストリームに含まれるそれぞれの映像とその映像を撮影した時の視点とを対応付ける情報を含む、
    請求項4から請求項7の何れか1項に記載の映像コンテンツ記録方法。
  9. 前記静的パラメータ情報は予め記録しておく、
    請求項1から請求項8の何れか1項に記載の映像コンテンツ記録方法。
  10. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも1つは、それ以外と別ファイルとして前記情報記録メディアに記録する、
    請求項1から請求項9の何れか1項に記載の映像コンテンツ記録方法。
  11. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも1つは、それ以外と別のディレクトリに記録する、
    請求項1から請求項10の何れか1項に記載の映像コンテンツ記録方法。
  12. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも2つは、1つのファイルとして前記情報記録メディアに記録する、
    請求項1から請求項11の何れか1項に記載の映像コンテンツ記録方法。
  13. 前記映像コンテンツは複数の映像ストリームを含み、
    前記複数の映像ストリームのそれぞれに対応する前記静的パラメータ情報と前記動的パラメータ情報とのどちらか一方または両方は1つのファイルとして前記情報記録メディアに記録する、
    請求項1から請求項11の何れか1項に記載の映像コンテンツ記録方法。
  14. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも2つは、1つのディレクトリに記録する、
    請求項1から請求項13の何れか1項に記載の映像コンテンツ記録方法。
  15. 前記映像コンテンツは複数の映像ストリームを含み、
    前記複数の映像ストリームのそれぞれに対応する前記静的パラメータ情報と前記動的パラメータ情報とのどちらか一方または両方は1つのディレクトリに記録する、
    請求項1から請求項13の何れか1項に記載の映像コンテンツ記録方法。
  16. 前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも1つは、それ以外と別の情報記録メディアに記録する、
    請求項1から請求項15の何れか1項に記載の映像コンテンツ記録方法。
  17. 映像コンテンツを記録可能な情報記録メディアであって、
    請求項1から請求項16の何れか1項に記載の映像コンテンツ記録方法によって映像コンテンツが記録された、情報記録メディア。
  18. 映像コンテンツを情報記録メディアに記録する映像コンテンツ記録装置であって、
    複数または単一の映像ストリームを撮影する複数または単一の撮影部と、
    前記撮影した映像ストリームと前記映像ストリームを撮影した時の前記撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の前記撮影部の状態を示す動的パラメータ情報とを前記映像コンテンツとして前記情報記録メディアに記録する記録部と、を有し、
    請求項1から請求項16の何れか1項に記載の映像コンテンツ記録方法を行う、
    映像コンテンツ記録装置。
  19. 映像コンテンツから3次元映像を生成する映像コンテンツ再生方法であって、
    請求項17に記載の情報記録メディアから、複数または単一の映像ストリームと前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、
    前記読み出した複数または単一の映像ストリームと前記静的パラメータ情報と前記動的パラメータ情報とを使って3次元映像を生成する、
    映像コンテンツ再生方法。
  20. 前記映像ストリームは異なる視点から撮影した映像を含む映像ストリームであり、使用する映像ストリームを変更することによって3次元映像を生成する時の視点を変更する、
    請求項19に記載の映像コンテンツ再生方法。
  21. 前記読み出した前記静的パラメータ情報及び前記動的パラメータ情報の何れかまたは両方を変更し、
    前記読み出した複数または単一の映像ストリームと前記変更した静的パラメータ情報及び動的パラメータ情報或いは前記読み出した前記静的パラメータ情報及び動的パラメータ情報とを使って3次元映像を生成する、
    請求項19または請求項20に記載の映像コンテンツ再生方法。
  22. 前記読み出した複数または単一の映像ストリームと前記静的パラメータ情報と前記動的パラメータ情報とを使って補間或いは予測によって3次元映像を生成する、
    請求項19に記載の映像コンテンツ再生方法。
  23. 映像コンテンツの内容を変更する映像コンテンツ編集方法であって、
    請求項17に記載の情報記録メディアから、複数または単一の映像ストリームと前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、
    前記読み出した前記静的パラメータ情報及び前記動的パラメータ情報の何れかまたは両方を変更し、
    前記読み出した複数または単一の映像ストリームと前記変更した静的パラメータ情報及び動的パラメータ情報の何れかまたは全てを前記情報記録メディアに記録する、
    映像コンテンツ編集方法。
  24. 映像コンテンツから3次元映像を生成する映像コンテンツ再生装置であって、
    請求項17に記載の情報記録メディアから、複数または単一の映像ストリームと前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出す読出部と、
    前記読み出した複数または単一の映像ストリームと前記静的パラメータ情報と前記動的パラメータ情報とを使って3次元映像を生成する生成部とを有する、
    映像コンテンツ再生装置。
  25. 前記読み出した前記静的パラメータ情報及び前記動的パラメータ情報の何れかまたは両方を変更する編集部を有し、
    前記生成部は前記読み出した複数または単一の映像ストリームと前記変更した静的パラメータ情報及び動的パラメータ情報若しくは前記読み出した静的パラメータ情報及び動的パラメータ情報を使って3次元映像を生成する、
    請求項24に記載の映像コンテンツ再生装置。
  26. 前記変更された静的パラメータ情報及び動的パラメータ情報を前記情報記録メディアに記録する更新部を有する、
    請求項25に記載の映像コンテンツ再生装置。
JP2005369651A 2005-12-22 2005-12-22 映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置 Pending JP2009060154A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005369651A JP2009060154A (ja) 2005-12-22 2005-12-22 映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置
PCT/JP2006/325397 WO2007072870A1 (ja) 2005-12-22 2006-12-20 映像コンテンツ記録装置、映像コンテンツ記録方法、映像コンテンツ記録プログラム、映像コンテンツ再生装置、映像コンテンツ再生方法、映像コンテンツ再生プログラム、映像コンテンツ編集装置及び情報記録メディア

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005369651A JP2009060154A (ja) 2005-12-22 2005-12-22 映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置

Publications (1)

Publication Number Publication Date
JP2009060154A true JP2009060154A (ja) 2009-03-19

Family

ID=38188646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005369651A Pending JP2009060154A (ja) 2005-12-22 2005-12-22 映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置

Country Status (2)

Country Link
JP (1) JP2009060154A (ja)
WO (1) WO2007072870A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182388A (ja) * 2010-02-02 2011-09-15 Panasonic Corp 映像記録装置および映像再生装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101398168B1 (ko) * 2007-10-10 2014-05-22 한국전자통신연구원 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
WO2013080555A1 (ja) * 2011-12-01 2013-06-06 パナソニック株式会社 立体視映像データ生成装置及び立体視映像再生装置
JP2015039083A (ja) * 2011-12-07 2015-02-26 株式会社東芝 映像処理装置、映像処理方法、送信装置および記憶媒体
JP6410062B2 (ja) * 2017-03-03 2018-10-24 パナソニックIpマネジメント株式会社 撮像装置および撮像画像の表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02172395A (ja) * 1988-12-26 1990-07-03 Toshiba Corp 立体静止画像記録装置
JP3614898B2 (ja) * 1994-11-08 2005-01-26 富士写真フイルム株式会社 写真撮影装置、画像処理装置及び立体写真作成方法
JPH09288735A (ja) * 1996-04-23 1997-11-04 Canon Inc 画像処理装置
JP3700530B2 (ja) * 2000-03-31 2005-09-28 コニカミノルタフォトイメージング株式会社 画像変換装置、画像変換表示装置、立体画像表示システム及び画像変換プログラムが記録された可読記録媒体
JP3789794B2 (ja) * 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP4065488B2 (ja) * 2001-12-14 2008-03-26 キヤノン株式会社 3次元画像生成装置、3次元画像生成方法及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182388A (ja) * 2010-02-02 2011-09-15 Panasonic Corp 映像記録装置および映像再生装置

Also Published As

Publication number Publication date
WO2007072870A1 (ja) 2007-06-28

Similar Documents

Publication Publication Date Title
CN101951525B (zh) 图像处理设备、图像处理方法和程序
JP4879960B2 (ja) 画像データ生成装置および画像データ再生装置
CN101682719B (zh) 3d影像的记录装置、方法以及3d影像的再现装置、方法
CN101951527B (zh) 信息处理设备和信息处理方法
CN101917579B (zh) 显示控制设备和显示控制方法
CN102362504B (zh) 记录方法及再现装置
CN101388993B (zh) 图像记录设备和方法
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
CN103516974A (zh) 图像记录装置及图像再现装置
WO2011083626A1 (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2011083625A1 (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2019159620A1 (ja) 撮像装置、記録装置及び表示制御装置
US8165455B2 (en) Data processing apparatus and data processing method, and computer program
CN101297548A (zh) 影像再生装置和影像记录装置、影像再生方法和影像记录方法以及半导体集成电路
JP2009060154A (ja) 映像コンテンツ記録方法、映像コンテンツ記録装置、映像コンテンツ再生方法及び映像コンテンツ再生装置
US8818165B2 (en) Data processing apparatus, data processing method, and computer program
CN1878274B (zh) 图像记录装置
JP2009225361A (ja) 記録装置および記録方法、ならびに、編集装置および編集方法
US20110193937A1 (en) Image processing apparatus and method, and image producing apparatus, method and program
JP6053276B2 (ja) 撮像装置およびその制御方法、画像処理装置
JP2004193695A (ja) 記録再生装置及び方法
JP5924943B2 (ja) 撮像装置および撮像装置の制御方法
JP2019145918A (ja) 撮像装置、表示制御装置及び表示制御装置の制御方法
US20090022479A1 (en) Content recording apparatus
WO2021177044A1 (ja) 画像処理装置及び画像処理方法