JP2004240469A - 画像データ作成装置およびそのデータを再生する画像データ再生装置 - Google Patents

Abstract

【課題】３次元画像の表示方法には種々の方式があり、各方式によって与えるべき３次元画像データの形式が異なるにもかかわらず、記録されたデータファイルからだけではそのデータがどの３次元表示方式用に記録されたものなのか判別することができない。
【解決手段】連続するフレームから構成される画像信号は、１フレームごとに画像データ作成装置に入力される。制御部１０２は、縮小の有無、結合の有無および２Ｄ選択を指定する。画像変換部１０１は、前記縮小の有無および結合の有無で指定された形式の画像データを作成する。３Ｄ情報作成部１０３は、縮小の有無、結合の有無および２Ｄ選択をフォーマット化して、画像を３次元画像として表示するために必要な３Ｄ情報を作成する。多重化部１０４は、画像データと３Ｄ情報を所定のフォーマットに変換して外部に出力する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元表示するための画像データを作成する際に、画像データに属性情報を付随させる画像データ作成装置およびそのデータを再生する画像データ再生装置に関するものである。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図２６は、この２眼式の代表的な方式の１つである「時分割方式」を説明するための概念図である。
【０００４】
この時分割方式は、図２６のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図２７は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【０００６】
図２７（ａ）は、視差が生じる原理を示す図である。一方、図２７（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００７】
図２７（ａ）では、図２７（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル４０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア４０２を画像表示パネル４０１の前面に置くことにより、左眼画像は左眼４０３だけで、右眼画像は右眼４０４だけで観察することになり、立体視を行うことができる。
【０００８】
ところで、パララクスバリア方式と同様に図２７（ｂ）に示すような画像を３次元表示する方式に、「レンチキュラ方式」がある。このレンチキュラ方式で用いるための記録データ形式の一例が、後述する特許公報１において開示されている。
【０００９】
図２８は、このようなレンチキュラ方式の記録データ形式の一例を示す概念図である。図２８（ａ）に示す左眼画像５０１と図２８（ｂ）に示す右眼画像５０２から、それぞれを水平方向に１／２に間引きして図２８（ｃ）に示す１枚の混合画像５０３を作って記録する。再生時にはこの混合画像５０３を並べ替えることにより図２７（ｂ）に示したような合成画像が作成される。
【００１０】
【特許文献１】
特開平１１−４１６２７号公報
【００１１】
【発明が解決しようとする課題】
上記のように、従来の３次元表示システムにおいては、再生装置側で決められた表示方式に適するように、記録データ形式を固定した記録が行われており、記録データに汎用性を持たせることは考えられていない。
【００１２】
表示方式以外にも画像の間引き方法や、いわゆる「多眼式」における視点の数など、３次元表示に必要な情報はいろいろあるが、表示方式が単一の場合、それらの情報は記録データとして記録されない。いつも同じ表示方式を使うなら、あえてそれらの情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左眼画像と右眼画像を別々のシーケンスとして記録することもできるし、図２８（ｃ）のような左眼画像と右眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図２７（ｂ）のような左眼画像と右眼画像が水平方向１画素おきに並んだ合成画像を記録することもできる。当然記録形式が違えばこれを表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【００１３】
また、図２９に示すように、従来の技術によって作成された合成画像は、合成された左眼画像と右眼画像の境界部分において、通常、画素値が不連続となる。このため、ＪＰＥＧ等の符号化を行う際に、符号化効率を低下させてしまうという問題がある。例えば、ＪＰＥＧにおけるＤＣＴのブロック内に、左眼画像と右眼画像の境界部が存在する場合、ＤＣＴ変換係数の高周波成分が大きくなってしまうため、符号化効率が低下する。さらに、符号化方式としてＭＰＥＧ−４を使用する場合、符号化対象ブロックのＤＣＴ係数を同一フレーム内の周辺のブロックから予測することで符号化効率を向上させているが、一般に各視点画像のＤＣＴ係数は、それぞれの境界部分周辺で不連続となるため、ＤＣＴブロック内に各視点画像の境界部分が存在しない場合でも、ＤＣＴ係数の予測が当らなくなり、符号化効率が低下することがある。
【００１４】
さらに、従来の技術では、任意の視点の画像データを記録した場合、所望の視点の画像を簡単に読み出し、再生するといったことが考慮されていなかった。
【００１５】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データに汎用性を持たせるとともに、任意の視点の画像を効率よく選択することを可能し、加えて複数の画像を隣接させて結合した画像を符号化する際には、効率よく符号化することを可能とする画像データ作成装置、およびそのデータを再生する画像データ再生装置を提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、異なる視点の画像を結合するか否かを示す結合情報を生成する情報生成手段を備え、前記データ形式は、前記結合情報を含むことで、上述の課題を解決する。
【００１７】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、異なる視点の画像を結合する場合に、結合する画像の配置方法を示す配置情報を生成する情報生成手段を備え、前記データ形式は、前記配置情報を含むことで、上述の課題を解決する。
【００１８】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記画像を縮小するか否かを示す縮小情報を生成する縮小情報生成手段を備え、前記データ形式は、前記縮小情報を含むことで、上述の課題を解決する。
【００１９】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記複数の視点の一つを選択する選択情報を生成する選択情報生成手段を備え、前記データ形式は、前記選択情報を含むことで、上述の課題を解決する。
【００２０】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、視点の数を示す視点情報を生成する視点情報生成手段を備え、前記データ形式は、前記視点情報を含むことで、上述の課題を解決する。
【００２１】
また、本発明は、前記視点情報が、水平方向の視点数を示す情報、または／および、垂直方向の視点数を示す情報を含むことで、上述の課題を解決する。
【００２２】
また、本発明は、前記画像を所定の縮小率で縮小する場合には、前記視点数を用いて所定の縮小率を決定することで、上述の課題を解決する。
【００２３】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記複数の画像を格納する順序を示す順序情報を生成する順序情報生成手段を備え、前記データ形式は、前記順序情報を含むことで、上述の課題を解決する。
【００２４】
また、本発明は、異なる視点の画像を結合する場合には、前記順序情報は結合配置の順序を示すことで、上述の課題を解決する。
【００２５】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記画像を反転するか否かを示す反転情報を生成する反転情報生成手段を備え、前記データ形式は、前記反転情報を含むことで、上述の課題を解決する。
【００２６】
また、本発明は、前記反転情報が、画像を水平方向に反転するか否かを示す情報、または／および、画像を垂直方向に反転するか否かを示す情報を含むことで、上述の課題を解決する。
【００２７】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は異なる視点の画像が結合されているか否かを示す結合情報を解析し、前記結合情報を用いて前記複数の画像を再生することで、上述の課題を解決する。
【００２８】
また、本発明は、異なる視点の画像が結合されている場合に、前記解析手段は結合された画像の配置方法を示す配置情報を解析することで、上述の課題を解決する。
【００２９】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は、前記画像が縮小されているか否かを示す縮小情報を解析し、前記縮小情報を用いて前記複数の画像を再生することで、上述の課題を解決する。
【００３０】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は前記複数の視点の一つを選択する選択情報を解析し、前記選択情報を用いて複数の視点の一つに対応する画像を再生することで、上述の課題を解決する。
【００３１】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は視点の数を示す視点情報を解析し、前記視点情報を用いて前記複数の画像を再生することで、上述の課題を解決する。
【００３２】
また、本発明は、前記視点情報は、水平方向の視点数を示す情報、または／および、垂直方向の視点数を示す情報を含むことで、上述の課題を解決する。
【００３３】
また、本発明は、前記画像が所定の縮小率で縮小されている場合には、前記視点数を用いて所定の縮小率を決定することで、上述の課題を解決する。
【００３４】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は前記複数の画像を格納する順序を示す順序情報を解析し、前記順序情報を用いて前記複数の画像を再生することで、上述の課題を解決する。
【００３５】
また、本発明は、異なる視点の画像が結合されている場合には、前記順序情報は結合配置の順序を示すことで、上述の課題を解決する。
【００３６】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は前記画像が反転されているか否かを示す反転情報を解析し、前記反転情報を用いて前記複数の画像を再生することで、上述の課題を解決する。
【００３７】
また、本発明は、前記反転情報が、画像が水平方向に反転されているか否かを示す情報、または／および、画像が垂直方向に反転されているか否かを示す情報を含むことで、上述の課題を解決する。
【００３８】
また、本発明は、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、各画像の先頭位置を示す情報を生成する情報生成手段を備え、前記データ形式は、前記情報を含むことで、上述の課題を解決する。
【００３９】
また、本発明は、各画像の先頭位置を示す情報として画像データ内の所定の位置から前記先頭位置までのデータ長を用いることで、上述の課題を解決する。
【００４０】
また、本発明は、各画像の先頭位置を示す情報として各画像のデータサイズを用いることで、上述の課題を解決する。
【００４１】
また、本発明は、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は複数の画像の先頭位置を示す情報を解析し、前記情報を用いて前記複数の画像のうち任意の画像を再生することで、上述の課題を解決する。
【００４２】
また、本発明は、各画像の先頭位置を示す情報として画像データ内の所定の位置から前記先頭位置までのデータ長を用いることで、上述の課題を解決する。
【００４３】
また、本発明は、各画像の先頭位置を示す情報として各画像のデータサイズを用いることで、上述の課題を解決する。
【００４４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４５】
＜第１の実施の形態＞
図１は本発明における第１の実施の形態による画像データ作成装置の構成を示すブロック図である。図１において、画像データ作成装置１００は、左眼画像と右眼画像を隣接させて結合した画像を作成する画像結合部１０１、左眼画像および右眼画像を結合するか否か（結合の有無）と、画像結合時に左眼画像および右眼画像を縮小するか否か（縮小の有無）と、２次元表示の際に使用すべき画像（２Ｄ選択）を指定する制御部１０２、前記縮小の有無、結合の有無および２Ｄ選択の情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部１０３、記録媒体や通信回線にアクセスする手段を備え、画像データと３Ｄ情報を多重化して出力する多重化部１０４から構成される。
【００４６】
以上のように構成された画像データ作成装置１００について、その動作を説明する。
【００４７】
連続するフレームから構成される画像信号は、１フレームごとに画像データ作成装置に入力される。
制御部１０２は、縮小の有無、結合の有無および２Ｄ選択を指定する。縮小の有無は、「縮小あり」、「縮小なし」のどちらかの値をとり、結合の有無は、「結合なし」、「結合あり」のどちらかの値をとる。また、２Ｄ選択は左右画像のうちのどちらかを指定してもよいし、特に指定しなくてもよい。
【００４８】
図２は前記縮小の有無と結合の有無の組み合わせを示す図である。図２に示すように、これらの組み合わせは全部で４通りとなる。
【００４９】
画像結合部１０１は、前記縮小の有無および結合の有無で指定された形式の画像データを作成する。これらの組み合わせを図３に示す。図３（ａ）は「縮小なし」、「結合なし」の場合を、図３（ｂ）は「縮小なし」、「結合あり」の場合を、図３（ｃ）は「縮小あり」、「結合なし」の場合を、図３（ｄ）は「縮小あり」、「結合あり」の場合を示している。ここでは、「縮小あり」の場合には、画素の間引き等により、解像度を１／２にしている。縮小率は固定でもよいし、可変でもよい。可変の場合には縮小率を３Ｄ情報に記録する。
【００５０】
３Ｄ情報作成部１０３は、縮小の有無、結合の有無および２Ｄ選択をフォーマット化して、画像を３次元表示するために必要な３Ｄ情報を作成する。縮小の有無、結合の有無については、図２に示すインデックスをそのまま記録してもよいし、縮小の有無を示す第１の情報を記録し、次に結合の有無を示す第２の情報を記録してもよい。さらに３Ｄ情報は、固定長符号化または可変長符号化により符号化してもよい。
【００５１】
多重化部１０４は、画像データと３Ｄ情報を所定のフォーマットに変換して外部に出力する。図１には図示していないが、音声や音楽を多重化する場合は、それらのデータも多重化部１０４にて多重化される。
【００５２】
多重化部１０４の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが接続される。ここでは、多重化部１０４にＩＣメモリが接続されているものとする。以下では、この場合の記録フォーマットについて説明する。
【００５３】
一般にＩＣメモリを記録媒体に使用する場合には、ＩＣメモリ上にＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は、既存の形式を使用してもよいし、新規に定めた独自の形式を使用してもよい。
【００５４】
図５は多重化データを記録するファイル形式を示す図である。図５では、データは図の上から下に向かう順にファイルに記録されるものとする。図５（ａ）は既存の形式を使用した場合の一例であり、図５（ｂ）は新規の形式を用いた場合の一例である。
【００５５】
既存の形式を使用する場合、３Ｄ情報は一般に既存の形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、ＪＰＥＧではファイルヘッダはアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義して３Ｄ情報を記録する。また、ＭＰＥＧ−４ではファイルヘッダはＶｉｓｕａｌ Ｏｂｊｅｃｔ Ｓｅｑｕｅｎｃｅまたは／およびＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒを指し、３Ｄ情報はこれらの中にユーザデータとして記録される。
【００５６】
また、既存の形式を使用する場合には、一般に使用されている拡張子をそのまま使用する。例えば、ＪＰＥＧファイルの場合、一般に．ｊｐｇという拡張子が、ＭＰＥＧファイルの場合、一般に．ｍｐｇまたは．ｍｐ４という拡張子が、ＷＭＶ（Ｗｉｎｄｏｗｓ（Ｒ） Ｍｅｄｉａ Ｖｉｄｅｏ）の場合、一般に．ｗｍｖという拡張子が用いられている。こうすることで、３次元画像の表示機能を持たない従来の再生装置でも既存の形式のファイルとして認識し、２次元画像として表示することができる。
【００５７】
一方、新規の形式を使用する場合には、例えば、図５（ｂ）のように３Ｄ情報をファイルの先頭に記録する。また、新規の形式ファイルであることがわかるように、既存形式のファイルと区別することのできるユニークな拡張子をつける。なお、図５（ａ）、（ｂ）の管理情報は作成日や作成者など、３次元画像と直接関係ない情報の記録に使用するものとする。
【００５８】
ここではファイル形式として、図５（ａ）に示す既存形式を使用した場合を例に左右画像の格納の仕方を説明する。結合の有無が「結合あり」を示す場合、図５（ａ）の画像データの領域に１つに結合された画像データが記録される。動画像の場合には、左右画像の対応するフレームを結合した画像が複数枚記録される。このとき、各フレームはＭｏｔｉｏｎ ＪＰＥＧのように各々独立して符号化してもよいし、ＭＰＥＧ−４のようにフレーム間予測を用いて差分を符号化してもよい。結合の有無が「結合なし」を示す場合には、図５（ａ）の画像データの領域に左右の２つの画像データを別々に記録してもよいし、別々のファイルとして記録してもよい。このときのフォーマットを図６に示す。図６（ａ）では１つのファイルに左右の２つの画像データが記録されている。図６（ｂ）では、左右の２つの画像データが図５（ａ）のフォーマットで別々のファイルに記録されている。動画像の場合には、それぞれ複数枚のフレームデータが記録される。なお、左右画像の配置順やファイルへの格納順は固定の場合について説明したが、これらの順番は可変でもよい。可変の場合には、順番の情報を３Ｄ情報に記録する。また、図６（ａ）において、２つの画像データの間には、画像データ以外のデータが記録されてもよい。
【００５９】
続いて、画像データ作成装置１００で作成した画像データを３次元画像として表示するための再生装置について説明する。
【００６０】
図８は、本発明における第１の実施の形態の画像データ再生装置の構成を示すブロック図である。図８において、画像データ再生装置２００は、多重化データを分離する逆多重化部２０１、３Ｄ情報を解析する３Ｄ情報解析部２０２、画像データを表示形式に変換する画像変換部２０３から構成される。
【００６１】
以上のように構成された画像データ再生装置２００について、その動作を説明する。
【００６２】
逆多重化部２０１は、記録デバイスや通信デバイスから所定のフォーマットに多重化された多重化データを読み込み、画像データと３Ｄ情報に分離する。図８には図示していないが、音声や音楽が多重化されている場合は、それらのデータも逆多重化部２０１にて分離される。ここでは、逆多重化部２０１にＩＣメモリが接続されているものとする。前述したように、ＩＣメモリには画像ファイルが既存形式あるいは新規形式で記録される。既存形式と新規形式の区別は、ファイルの拡張子によって行うことができるので、再生するファイルが図５（ａ）に示す既存形式のファイルの場合、ファイルヘッダの拡張領域から３Ｄ情報を読み出す。また図５（ｂ）に示す新規形式の場合には、ファイルの先頭から３Ｄ情報を読み出す。
【００６３】
３Ｄ情報解析部２０２は、３Ｄ情報を解析し、縮小の有無、結合の有無および２Ｄ選択の設定値を抽出する。
【００６４】
画像変換部２０３には、通常のブラウン管や液晶パネルを用いた２次元表示装置、レンチキュラ方式、パララクスバリア方式、時分割方式などを用いた立体表示装置など、それぞれ表示形式が異なる表示装置が接続される。画像変換部２０３は、縮小の有無、および結合の有無から、分離された画像データを表示形式に変換する。パララクスバリア方式の表示装置が接続されている場合、図３（ｄ）の形式が最も扱いやすく、この場合には左右画像を水平方向１画素おきに並べるだけでよい。また、画像データが図３（ｂ）に示す形式である場合、水平方向１画素おきに並べる前に左右画像を水平方向に１／２に間引きをする。いずれの場合においても、画像データに３Ｄ情報が付け加えられているので、表示装置に合った表示形式に変換することができる。
【００６５】
３次元画像の表示中に２次元表示に切替えられた場合、２Ｄ選択により指定された方の画像（つまり左眼画像と右眼画像のどちらか一方）が表示される。このとき、縮小の有無が「縮小なし」の場合はそのまま、「縮小あり」の場合には２倍に拡大して表示する。ただし、２Ｄ選択が２次元表示に使用する画像を指定していない場合には、所定の方法で表示する画像を選択することとする。
【００６６】
また、２次元表示装置が接続されている場合には、２Ｄ選択で指定された画像を表示する。表示の仕方は３次元表示装置における２次元表示と同様である。
【００６７】
なお、上記の実施の形態では、結合の有無が「結合あり」を示すとき、図１における画像結合部１０１では、２つの画像を水平方向に結合しているが、結合する方向は垂直方向であってもよい。このときの結合結果を図４に示す。図４（ａ）は「縮小あり」の場合を、図４（ｂ）は「縮小なし」の場合を示す。図３（ｃ）、（ｄ）は水平方向に１／２に縮小されているので、前述したパララクスバリア方式に適した形式であり、図４（ｂ）は垂直方向に１／２に縮小されているので、前述した時分割方式に適した形式であるといえる。いずれの場合においても、画像データに３Ｄ情報を付け加えることで、表示装置に合った表示形式に変換することができる。
【００６８】
上記の実施の形態では、既存形式のファイルに画像データを記録する場合について述べたが、次に新規形式のファイルに記録する場合について述べる。新規形式は、図５（ｂ）におけるファイルヘッダおよび画像データの部分に、既存の形式（ＪＰＥＧ、ビットマップなど）を用いる場合と、全く新しい独自の形式を用いる場合がある。したがって、これらの形式の違いを区別するために、３Ｄ情報に種別情報（画像タイプと呼ぶ）を記録する。
【００６９】
画像データの記録の仕方についてであるが、結合の有無が「結合あり」を示す場合、図５（ｂ）の画像データの領域に１つに結合された画像データが記録される。動画像の場合には、前述のように、左右画像の対応するフレームを結合した画像が複数枚記録される。結合の有無が「結合なし」を示す場合には、図５（ｂ）の画像データの領域に左右の２つの画像データを記録する。動画像の場合には、それぞれ複数枚のフレームデータが記録される。図７に、このときのファイルの構成と３Ｄ情報の例を示す。図７（ａ）では１つのファイルに左右の２つの画像データが記録されている。図７（ｂ）では、左右の２つの画像データが図５（ｂ）のフォーマットで別々のファイルに記録されている。図７（ｂ）にも図７（ａ）で示した３Ｄ情報と同等のもの記録される。
図７（ａ）において２組のファイルヘッダと画像データは、単体で既存形式のファイルとして認識可能なフォーマットである。つまり、ビットマップファイルを例に説明すると、左眼画像および右眼画像をそれぞれビットマップファイルとして記録し、３Ｄ情報、管理情報、左眼画像ビットマップファイル、右眼画像ビットマップファイルを順に接続した形式となっている。
【００７０】
なお、左右画像の配置順やファイルへの格納順は固定の場合について説明したが、これらの順番は可変でもよい。可変の場合には、順番の情報を３Ｄ情報に記録してもよいし、前述の拡張ヘッダを用いて既存形式のファイルヘッダに記録してもよい。また、３Ｄ情報および管理情報をファイルの先頭に記録する場合について説明したが、新規形式のファイルはこれに限定されるものではなく、これらの格納位置はファイルヘッダの後や、画像データの後でもよいし、図５（ａ）に示す既存形式と同じでもよい。
【００７１】
また、上記の実施の形態では、視点数が２の場合について述べたが、本発明は視点数が３以上のいわゆる多視点の場合についても適用可能である。ここで、画像データ作成装置１００に対して画像データを入力するための撮像装置は、平面内に水平方向にＭ個、垂直方向にＮ個格子状に並べられ、各撮像装置にはそれぞれ番号（視点番号）がふられているものとする（ただし、Ｍ，Ｎは１以上の整数である）。図９に視点数が８の場合の設置例（設置された撮像装置を後から斜め下方に見下ろした図）を示す。ここで視点番号は、左から右、上から下の順にふるものとする。つまり撮像装置３０１が１、撮像装置３０２が２、撮像装置３０３が３、撮像装置３０４が４、撮像装置３０５が５、同様にして撮像装置３０８が８である。
【００７２】
このとき図１の制御部１０２によって、縮小の有無、結合の有無、２Ｄ選択、水平方向の視点数Ｍと垂直方向の視点数Ｎおよび画像の配置順が指定される。ここで、２Ｄ選択は２次元表示のために用いる画像の視点番号を指定してもよいし、特に指定しなくてもよい。また、図９の場合、視点数はＭ＝４、Ｎ＝２となる。また、画像の配置順は視点番号の系列であり、視点番号と同じ並び（視点番号順）か、任意の並び（任意順）のいずれかが指定できるものとする。
【００７３】
図１における画像結合部１０１は、制御部１０２から入力された結合の有無が「結合あり」を示すとき、各視点の画像を格子状に配列する。ここで、画像の水平方向の配列数と垂直方向の配列数は撮像装置の設置方法と同様であるとする。すなわち水平方向にＭ個、垂直方向にＮ個の画像を並べるものとする。図１１に図９に対応した画像の配置順の例を示す。図１１において、１マスは画像を表しており、数字は視点番号である。図１１（ａ）は画像の配置順を視点番号と同じ並びにした場合を示し、図１１（ｂ）は任意の並びにした場合の一例を示している。
【００７４】
また、制御部１０２から入力された縮小の有無が「縮小あり」を示す場合、入力された各視点の画像を縮小する。このときの縮小率は固定的なものではなく、視点数に応じて決定されるものとする。すなわち、水平方向に１／Ｍ、垂直方向に１／Ｎに縮小する。図９の場合、縮小率は水平方向に１／４、垂直方向に１／２となる。このときの画像結合部１０１による結合結果の例を図１０に示す。縮小の有無が「縮小なし」を示す場合、図１０（ａ）のようになる。Ｈ、Ｖはそれぞれ縮小前の各視点画像の水平方向画素数、垂直方向ライン数である。縮小の有無が「縮小あり」を示す場合、図１０（ｂ）のようになる。縮小後の画像のサイズは、横Ｈ画素、縦Ｖラインであり、縮小前の各視点の画像サイズと同じになる。画像の配列は撮像装置の設置方法と一致し、水平方向に４つ、垂直方向に２つの画像が並べられている。ここで画像に付された数字は視点番号を示す。画像は視点番号の小さい順に並べられており、左上が撮像部３０１で撮影した画像（視点番号１）であり、右下が撮像部３０８で撮影した画像（視点番号８）である。なお、ここでは、縮小率を固定として説明したが、これらは可変でもよい。可変の場合には縮小率を３Ｄ情報に記録する。
【００７５】
また、結合の有無が「結合なし」を示す場合、画像結合部１０１は、制御部１０２により指定された画像の配置順に各視点の画像を出力するものとする。したがって、このとき画像の配置順は、画像が格納される順を示す。
【００７６】
３Ｄ情報作成部１０３は、縮小の有無、結合の有無および２Ｄ選択に加えて、水平方向の視点数と垂直方向の視点数および画像の配置順をフォーマット化して、３Ｄ情報を作成する。このときの３Ｄ情報の一例を図１２に示す。ここで、画像順序は画像の配置が「視点番号順」か「任意順」を示す。このあとには、制御部１０２により画像の配置順として指定された視点番号の系列が記録される。図１１（ｂ）の例では第１の視点番号が２であり、以下、３、１、４、６、７、５、８の順となる。画像順序が「視点番号順」を示す場合には、これらの視点番号は省略されてもよい。
【００７７】
多重化部１０４において、３Ｄ情報と画像データを多重化するが、画像の結合をしない場合には、前述したように画像結合部１０１からの出力順が制御部１０２により指定された画像の配置順であるため、画像データがファイルに記録される順番も画像の配列順となる。
【００７８】
なお、画像結合部１０１は、結合の有無が「結合なし」を示す場合、各視点の画像を出力する際に、２Ｄ選択で指定された視点番号が、常に最初になるようにして出力してもよい。
【００７９】
また、上記では視点番号のふり方を固定して画像の配置順を任意に変更できるようにしたが、画像の配置順を固定して、視点番号のふり方を任意に変更しても構わない。さらに、撮像装置の設置方法は格子状配置だけでなく、任意の配置にすることもできる。この場合には、基準となる撮像装置（視点番号は１とする）を選択し、これを原点とした座標系で位置を表現する。３Ｄ情報には視点番号順に各視点の撮像装置の位置座標を記録する。
【００８０】
以上のようにして多重化された多視点の画像データを、図８における画像データ再生装置２００で再生する場合、３次元画像として表示するためには、多視点の画像から２視点を選択して、左眼画像、右眼画像とすればよい。図９の撮影装置で記録された画像データの場合には、１と２、１と３、１と４、２と３、２と４など、水平方向に並んだ中から選択可能である。また、表示の際に９０°回転させれば、１と５、２と６、３と７および４と８の組を選択しても、３次元画像として表示することができる。
【００８１】
３次元表示中に２次元表示に切替えられた場合、２Ｄ選択により指定された視点番号の画像を表示する。ただし、その画像が表示中でない場合には、表示中の画像のうち、いずれか１つを選択して表示してもよい。選択の仕方は例えば、視点番号の最小のもの、最大のもの、撮像装置の設置や結合画像の配置的に２Ｄ選択で指定された視点番号に距離が一番近いもの、左眼画像に用いられているもの、右眼画像に用いられているものなどがあり、ここでは特に限定しない。また、２Ｄ選択が２次元表示に使用する画像を指定していない場合には、所定の方法で表示する画像を選択することとする。
【００８２】
また、上記の実施の形態では複数の画像入力がある場合について述べたが、本発明は、単眼式の撮像装置にステレオアダプタを装着した場合にも適用可能である。図１３はステレオアダプタを装着して撮影した画像の構成例を示す図である。図１３（ａ）はステレオアダプタを装着しない状態で撮影した場合を示しており、図１３（ｂ）は、画角が１／２になるタイプのステレオアダプタを装着して撮影した場合、図１３（ｃ）は、画角は変わらず、撮影できる範囲が狭くなるタイプのステレオアダプタを装着して撮影した場合の例を示している。ステレオアダプタを装着した場合には、１画面に左右画像が撮影されるので、３Ｄ情報には「結合の有無」として「結合あり」が記録される。さらに図１３（ｂ）の例では、左眼画像と右眼画像がそれぞれ水平方向に１／２だけ縮小された状態で撮影されるので、縮小の有無として「縮小あり」が記録される。また、図１３（ｃ）の例では、撮影される領域が狭くなるが、縮小はされないので、縮小の有無として「縮小なし」が記録される。
【００８３】
以上のように、様々な３次元画像の撮影方式で作成されたデータを統一的に扱い、３次元画像の表示機能を持たない従来の再生装置においては、２次元画像を正常に表示することができるようになるため、汎用性をもたせることができる。
【００８４】
＜第２の実施の形態＞
本発明の第２の実施の形態は画像データを符号化した後、所定のフォーマットに多重化するものである。図１４に本実施の形態による画像データ作成装置１１０の構成を示す。図１４において図１と同一部分には同一符号を付してある。画像データ作成装置１１０は、多視点（視点数Ｋ、ここでＫは２以上の整数である）の画像１から画像Ｋを隣接させて結合した画像を作成する画像結合部１１１、制御部１０２、縮小の有無、画像の配置、２Ｄ選択、視点数、画像の配置順および反転の有無の情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部１１２、画像データを符号化する符号化部１１３、多重化部１０４から構成される。
【００８５】
以上のように構成された画像作成装置１１０について、その動作を説明する。制御部１０２は、縮小の有無、結合の有無、２Ｄ選択、水平方向の視点数Ｍと垂直方向の視点数Ｎおよび画像の配置順を指定する。指定の仕方は第１の実施の形態と同様であるので、ここでの説明は省略する。
【００８６】
画像結合部１１１は、制御部１０２から入力された結合の有無が「結合あり」を示すとき、入力された画像１から画像Ｋまでの配置方法を選択する。配置方法は、左右画像を水平に並べた水平配置、左右画像を上下に並べた垂直配置および水平・垂直の両方向に並べた格子状配置の３通りが選択可能である。
【００８７】
ここで、画像の配置方法は撮像装置の設置方法と一致するとしてもよいし、一致しなくてもよい。画像の配置を撮像部の設置方法と一致させる場合、Ｍ＝１、Ｎ≧２のときには垂直配置、Ｍ≧２、Ｎ＝１のときには水平配置、それ以外のときには格子状配置となる。また一致させない場合は、Ｍ＝１、Ｎ≧２またはＭ≧２、Ｎ＝１のときには、垂直配置と水平配置のいずれかが選択できるようにしてもよい。制御部１０２から入力された縮小の有無が「縮小あり」を示すとき、入力された各視点の画像を縮小する。縮小の仕方は第１の実施の形態と同様であるので、ここでの説明は省略する。
【００８８】
また、画像結合部１１１は、必要に応じて、各視点の画像を水平方向および垂直方向に反転させる。こうすることで、境界部分の連続性を向上させ、符号化効率の低下を軽減することができる。反転の有無は、各視点画像の境界部分における不連続性が最も小さくなるように決定する。境界部分の不連続性の求め方としては、輝度のみまたは色差のみまたは輝度・色差双方について、境界部分の左右にある画素値の差分絶対値を、境界線全体にわたって加えたものを不連続性とする方法、境界部の左右で画素値の変化の有無を閾値処理で判定し、変化があった画素の総数を不連続性とする方法、などを用いることができる。境界部分の左右の画素としては、境界部分に隣接した左右１画素ずつを使用してもよいし、境界部から２画素以上離れた画素を使用してもよい。
【００８９】
図１５は、図９の撮像装置で撮影された画像における反転処理の結果の一例を示す図である。図中の数字は各画像の視点番号を示す。ここで、視点番号Ｋで撮影された画像を画像Ｋと呼ぶものとする。例えば左上の画像は視点番号１で撮影されたものであるので、画像１となる。図１５では、画像１および画像３は反転なし、画像２および画像４は水平方向にのみ反転されている。画像５から画像８は垂直方向に反転されており、さらに画像６および画像８は水平方向に反転されている。図１５に示すように画像の境界部分が類似した絵柄となり、境界部分の連続性を高くすることができる。
【００９０】
選択した画像配置の方法および各視点画像の反転の有無が、３Ｄ情報作成部１１２に対して出力される。
【００９１】
符号化部１１３は、画像結合部１１１で結合された画像データを符号化する。符号化方法として、静止画像に対してはＪＰＥＧ、ＪＰＥＧ２０００などの国際標準方式を用いるものとする。また、動画像に対してはＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの国際標準方式を用いるものとする。動画像の符号化として、フレーム内符号化のみを用いる場合は、Ｍｏｔｉｏｎ ＪＰＥＧなどの方式を用いてもよい。画像符号化方式としては、上記に限らず非標準の方式を用いてもよい。
【００９２】
３Ｄ情報作成部１１２は、画像結合部１１１から入力された画像の配置方法および反転の有無と、制御部１０２によって指定された縮小の有無、結合の有無、２Ｄ選択、視点数および配置順をフォーマット化して、画像を３次元画像として表示するために必要な３Ｄ情報を作成する。フォーマットの形式の一例を図１６に示す。図１６では図１０に対して結合の有無の代わりに配置方法が記録され、反転の有無が追加されている。ここで、配置方法は「水平配置」、「垂直配置」、「格子状配置」（結合の有無が「結合あり」の場合）および「分離」（結合の有無が「結合なし」の場合）のいずれかを表すが、結合の有無（結合あり／結合なし）と配置方法（水平配置／垂直配置／格子状配置）は別々に記録してもよい。また、第１から第Ｋまでの水平方向の反転の有無および垂直方向の反転の有無は、画像の配置順に記録してもよいし、視点番号順に記録してもよい。また、３Ｄ情報を作成する際には、設定値をそのまま用いてもよいし、固定長符号化または可変長符号化により符号化してもよい。
【００９３】
多重化部１０４の動作は第１の実施の形態と同様であるので、ここでの説明は省略する。
【００９４】
続いて、画像データ作成装置１１０で作成した画像データを３次元画像として表示するための再生装置について説明する。
【００９５】
図１７は、本発明における第２の実施の形態の画像データ再生装置の構成を示すブロック図である。図１７において、画像データ再生装置２１０は、逆多重化部２０１、３Ｄ情報を解析する３Ｄ情報解析部２１１、符号化データを復号する復号部２１２、復号した画像データを表示形式に変換する画像変換部２１３から構成される。
【００９６】
以上のように構成された画像データ再生装置２１０について、その動作を説明する。
【００９７】
逆多重化部２０１の動作は第１の実施の形態と同じであるので、ここでの説明は省略する。
【００９８】
３Ｄ情報解析部２１１は、３Ｄ情報を解析し、縮小の有無、画像配置の方法、視点数、反転の有無および２Ｄ選択を抽出する。復号部２１２は、逆多重化部２０１により分離された符号化データから画像データを復号する。
【００９９】
画像変換部２１３は、３Ｄ情報解析部２１１により入力された縮小の有無、画像配置の方法、視点数および反転の有無に応じて、復号された画像データを表示形式に変換する。表示形式については第１の実施の形態と同様であるので、ここでの説明は省略する。
【０１００】
なお、上記の実施の形態では、反転の方向は配置の方向と無関係に決定しているが、配置の方向と反転の方向を一致させるようにしてもよい。つまり水平配置のときには水平方向のみに反転し、垂直配置の場合には垂直方向のみに反転する。
【０１０１】
また、上記の実施の形態では、効率的に符号化するために隣接する画像の境界部分の連続性を高くなるようにしているが、静止画の場合には、以下のようにしてもよい。すなわち、画像のサイズがＤＣＴ演算を行うブロックのサイズの整数倍でないとき、右端の画素１列あるいは下端の画素１ラインをコピーすることで画素を補完して、画像サイズがブロックサイズの整数倍になるようにする。静止画の場合に、ＤＣＴ演算を行うブロック境界と画像の境界部分を一致させるようにすることで、効率的に符号化できるようになる。このとき、３Ｄ情報には反転の有無の代わりに、補完の有無とコピーした画素の列数またはライン数が記録される。
【０１０２】
以上のように、本実施の形態によれば、３次元画像を符号化する場合に、多視点画像を隣接させた際の境界部分の連続性が高くなるようにして符号化するため、効率良く符号化することが可能となる。
【０１０３】
＜第３の実施の形態＞
本発明の第３の実施の形態は、前述の管理情報内に、画像データの格納位置を示す格納情報を付加するものである。図１８に本実施の形態による画像データ作成装置１２０の構成を示す。図１８において図１４と同一部分には同一符号を付してある。画像データ作成装置１２０は、画像結合部１１１、制御部１０２、３Ｄ情報作成部１２１、画像データの格納位置を示す格納情報を作成する格納情報作成部１２２、符号化部１２３、３Ｄ情報、管理情報および画像データを多重化する多重化部１２４から構成される。
【０１０４】
以上のように構成された画像データ作成装置１２０について、結合の有無により「結合なし」が示され、複数の画像データを１つのファイルに記録する場合の動作を説明する。この場合以外の動作は、第２の実施の形態と同様であるため、ここでの説明は省略する。
【０１０５】
第２の実施の形態で述べたように、画像結合部１１１は、制御部１０２により入力された配置順に、入力された画像１から画像Ｋを出力する。したがって、符号化部１２３は、配置順で入力された画像データを所定の符号化形式で符号化した後、符号化後のデータサイズを格納情報作成部１２２に対して出力する。
【０１０６】
３Ｄ情報作成部１２１は、３Ｄ情報を作成するとともに、配置順を格納情報作成部１２２に対して出力する。
【０１０７】
格納情報作成部１２２は、視点番号とアドレスを対応付けて、所定のフォーマットの格納情報を作成する。このときのフォーマットの一例を図１９に示す。ここでアドレスとは、ファイルにおける画像データ、またはそれに付随するヘッダの開始位置を示すものである。格納情報作成部１２２は、アドレスの初期値を０とし、符号化部１２３から入力されたデータサイズを加算することで、各視点の画像データのアドレスを計算する。データサイズが入力される順序は配置順であるため、第ｎの視点番号に対応するアドレスは第ｎ−１までのデータサイズの加算値となる。
【０１０８】
例えば、図９に示す撮像装置で撮影した画像を記録する際に、配置順として、２、３、１、４、６、７、５、８が指定された場合について説明する。画像データは符号化部１２３において、この順序で符号化され、符号化後のデータサイズが同じ順序で格納情報作成部１２２に対して出力される。ここで、符号化後のデータサイズを各画像とも１００バイトとすると、格納情報作成部１２２には視点数だけ１００が入力され、画像２のアドレスは初期値の０バイト、画像３のアドレスは１００バイト、画像１のアドレスは２００バイトとなり、同様にして、画像８のアドレスは７００バイトとなる。したがって、このときの格納情報は、図２２（ａ）に示すように、第１の視点番号が２、第２の視点番号が３、第８の視点番号が８となり、第１のアドレスが０バイト、第２のアドレスが１００バイト、第８のアドレスは７００バイトとなる。
【０１０９】
多重化部１２４は、符号化後の画像データ、３Ｄ情報および管理情報を多重化する際に、使用するファイル形式とアドレスの開始位置に応じて、格納するアドレスを変更する。以下、既存形式と新規形式の双方のファイル形式について、アドレスの変更方法について説明する。
【０１１０】
図２０は、ファイル形式として、前述の既存形式を用いた場合の格納例を示す図である。前述のように、既存形式ではヘッダ部を拡張する形で、３Ｄ情報と管理情報が記録される。図２０において、Ａ〜Ｄはアドレスの開始位置を示している。Ａはファイルの先頭を、Ｂは３Ｄ情報の開始位置を、Ｃは管理情報の開始位置を、Ｄは第１の画像データの開始位置を指す。ここで、アドレスの開始位置をＡとすると、多重化部１２４は、前記格納情報作成部１２２において計算されたアドレスに対して、３Ｄ情報と管理情報を含んだヘッダ部のデータサイズを加算する。このデータサイズを２０バイトとすると、前述の例における格納情報のアドレスは、図２２（ｂ）に示すように、第１のアドレスが２０バイトに、第２のアドレスが１２０バイトに変更され、同様にして、第８のアドレスが７２０バイトに変更される。アドレスの開始位置はＡのほか、Ｂ、Ｃ、Ｄのいずれでもよい。
【０１１１】
図２１は、ファイル形式として新規形式を用いた場合の格納例を示す図である。図２１において、Ａ〜Ｃはアドレスの開始位置を示しており、Ａはファイルの先頭を、Ｂは管理情報の開始位置を、Ｄは第１のファイルヘッダの開始位置を指す。図２１に示すように、各画像データのそれぞれに、ファイルヘッダが付加されているため、アドレスはファイルヘッダの開始位置を示す情報となる。したがって、前記格納情報作成部１２２において計算されたアドレスに対して、各ファイルヘッダのサイズと３Ｄ情報および管理情報のデータサイズを加算する。ここで、アドレスの開始位置をＡとし、各ファイルヘッダのサイズを１０バイト、３Ｄ情報および管理情報のデータサイズを１５バイトとすると、前述の例における格納情報のアドレスは、図２２（ｃ）に示すように、第１のアドレスが１５バイトに、第２のアドレスが１２５バイトに、第８のアドレスが７８５バイトに変更される。
【０１１２】
続いて、画像データ作成装置１２０で作成した画像データを３次元画像として表示するための再生装置について説明する。
【０１１３】
図２３は、本発明における第３の実施の形態の画像データ再生装置の構成を示すブロック図である。図２３において、画像データ再生装置２２０は、逆多重化部２２１、格納情報を解析する格納情報解析部２２２、３Ｄ情報解析部２１１、符号化データを復号する復号部２１２、復号した画像データを表示形式に変換する画像変換部２１３から構成される。
【０１１４】
以上のように構成された画像データ再生装置２２０について、その動作を説明する。
【０１１５】
逆多重化部２２１は、ＩＣメモリなどの記録デバイスに記録されたファイルから、前述のように画像データと３Ｄ情報と管理情報が多重化されたデータを読み込み、３Ｄ情報と管理情報を分離し、さらに管理情報から格納情報を分離する。
【０１１６】
格納情報解析部２２２は、逆多重化部２２１により分離された格納情報を解析して、各視点の画像データの開始位置を示すアドレスを抽出する。
【０１１７】
３Ｄ情報解析部２１１の動作は、第２の実施の形態と同じであるので、ここでの説明は省略する。３Ｄ情報解析部２１１により視点数および視点番号が抽出されると、図示しない制御手段により、３次元表示をするための画像を選択するための視点番号の組み合わせが指定される。このとき、格納情報解析部２２２は、指定された視点番号に対応するアドレスを逆多重化部２２１に対して出力する。
【０１１８】
逆多重化部２２１は、指定されたアドレスから画像データを読み出して、復号部２１２に対して出力する。これ以降の動作は第２の実施の形態と同様であるので、ここでの説明は省略する。
【０１１９】
なお、上記の実施の形態において、画像データを視点番号単位で記録しているが、動画像の場合には、画像データは複数のフレームから構成されるため、図２０に示した格納例のほかに、図２４のようにフレーム単位で記録し、フレームのまとまりごとに格納情報を記録してもよい。ここで、最初の格納情報には、第１の画像から第Ｋの画像までの第１のフレームデータについてアドレスを記録する。これ以降の格納情報についても同様にして、第１の画像から第Ｋの画像までのフレームデータについてアドレスを記録する。アドレスの開始位置は図２０の場合と同様である。このとき、第１の画像から第Ｋの画像までの第ｉのフレームデータ（ただし、ｉは１以上の整数である）は同じタイミングで表示されるべきフレームとし、ある視点番号について対応するフレームが存在しない場合には、該視点番号に関する格納情報を省略してもよい。また、格納情報には次の格納情報の格納位置を示すアドレスを記録してもよい。また、格納情報は毎フレーム間隔で記録するのではなく、所定のフレーム間隔で記録してもよい。また、この例では管理情報に格納情報を記録していないが、最初の格納情報または、すべての格納情報を管理情報に含めて記録してもよい。なお、図２４は、既存形式のファイルにおける例を示しているが、新規形式のファイルについても同様である。
【０１２０】
また、上記の実施の形態において、格納情報として画像データの格納位置を示すアドレスを記録したが、代わりに以下のようにしてもよい。
【０１２１】
一般に、符号化された画像データには、その開始位置を示すためのユニークな符号語（スタートコード）が付加されている。データ中からスタートコードを検索することで、符号化された画像データを復号しなくとも、目的とする画像データにアクセスすることが可能である。しかし、スタートコードは符号化方式によって異なる場合が一般的であり、符号化方式によっては付加されない場合がある。したがって、図１８の多重化部１２４において、多重化の際に特有のスタートコードを画像データの先頭に記録する。このときの格納例を図２５に示す。さらに、画像データだけでなく３Ｄ情報や管理情報の開始位置にスタートコードを記録してもよいし、開始位置を示すアドレスの記録とスタートコードの記録を併用してもよい。
【０１２２】
また、上記の実施の形態において、格納情報にアドレスを記録する順番は、配置順と同じである場合について述べたが、常に視点番号順（昇順や降順）に記録してもよいし、その他の順序でもよい。
【０１２３】
また、上記の実施の形態において、格納情報としてデータサイズを累積加算したアドレス（絶対アドレス）を記録しているが、データサイズ自体（相対アドレス）を記録してもよい。こうすることで、格納情報を記録する際に必要となるデータサイズを減らすことができる。
【０１２４】
また、上記の実施の形態において、画像データが符号化された場合について述べているが、符号化されていない画像データに対して適用してもよい。
【０１２５】
以上のように、本実施の形態によれば、ファイルに記録された画像データをすべて読み出すことなく、必要な画像データのみを読み出すことにより、ファイルアクセスを効率的に行い、必要なメモリ量を削減したり、処理速度を向上させたりすることが可能である。
【０１２６】
【発明の効果】
本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、異なる視点の画像を結合するか否かを示す結合情報を生成する情報生成手段を備え、前記データ形式は、前記結合情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１２７】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、異なる視点の画像を結合する場合に、結合する画像の配置方法を示す配置情報を生成する情報生成手段を備え、前記データ形式は、前記配置情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１２８】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記画像を縮小するか否かを示す縮小情報を生成する縮小情報生成手段を備え、前記データ形式は、前記縮小情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１２９】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記複数の視点の一つを選択する選択情報を生成する選択情報生成手段を備え、前記データ形式は、前記選択情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１３０】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、視点の数を示す視点情報を生成する視点情報生成手段を備え、前記データ形式は、前記視点情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１３１】
また、本発明によれば、前記視点情報は、水平方向の視点数を示す情報、または／および、垂直方向の視点数を示す情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１３２】
また、本発明によれば、前記画像を所定の縮小率で縮小する場合には、前記視点数を用いて所定の縮小率を決定することにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１３３】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記複数の画像を格納する順序を示す順序情報を生成する順序情報生成手段を備え、前記データ形式は、前記順序情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１３４】
また、本発明によれば、異なる視点の画像を結合する場合には、前記順序情報は結合配置の順序を示すことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１３５】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、前記画像を反転するか否かを示す反転情報を生成する反転情報生成手段を備え、前記データ形式は、前記反転情報を含むことにより、３次元表示のための画像データに汎用性を持たせ、画像を符号化する際には、効率よく符号化することができるという有利な効果が得られる。
【０１３６】
また、本発明によれば、前記反転情報は、画像を水平方向に反転するか否かを示す情報、または／および、画像を垂直方向に反転するか否かを示す情報を含むことにより、３次元表示のための画像データに汎用性を持たせ、画像を符号化する際には、効率よく符号化することができるという有利な効果が得られる。
【０１３７】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は異なる視点の画像が結合されているか否かを示す結合情報を解析し、前記結合情報を用いて前記複数の画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１３８】
また、本発明によれば、異なる視点の画像が結合されている場合に、前記解析手段は結合された画像の配置方法を示す配置情報を解析することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１３９】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は、前記画像が縮小されているか否かを示す縮小情報を解析し、前記縮小情報を用いて前記複数の画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４０】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は前記複数の視点の一つを選択する選択情報を解析し、前記選択情報を用いて複数の視点の一つに対応する画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４１】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は視点の数を示す視点情報を解析し、前記視点情報を用いて前記複数の画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４２】
また、本発明によれば、前記視点情報は、水平方向の視点数を示す情報、または／および、垂直方向の視点数を示す情報を含むことにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４３】
また、本発明によれば、前記画像が所定の縮小率で縮小されている場合には、前記視点数を用いて所定の縮小率を決定することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４４】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は前記複数の画像を格納する順序を示す順序情報を解析し、前記順序情報を用いて前記複数の画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４５】
また、本発明によれば、異なる視点の画像が結合されている場合には、前記順序情報は結合配置の順序を示すことにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４６】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は前記画像が反転されているか否かを示す反転情報を解析し、前記反転情報を用いて前記複数の画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４７】
また、本発明によれば、前記反転情報は、画像が水平方向に反転されているか否かを示す情報、または／および、画像が垂直方向に反転されているか否かを示す情報を含むことにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１４８】
また、本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、各画像の先頭位置を示す情報を生成する情報生成手段を備え、前記データ形式は、前記情報を含むことにより、３次元表示のための画像データに汎用性と効率のよい任意の画像の選択性を持たせることができるという有利な効果が得られる。
【０１４９】
また、本発明によれば、各画像の先頭位置を示す情報として画像データ内の所定の位置から前記先頭位置までのデータ長を用いるにより、３次元表示のための画像データに汎用性と効率のよい任意の画像の選択性を持たせることができるという有利な効果が得られる。
【０１５０】
また、本発明によれば、各画像の先頭位置を示す情報として各画像のデータサイズを用いることにより、３次元表示のための画像データに汎用性と効率のよい任意の画像の選択性を持たせることができるという有利な効果が得られる。
【０１５１】
また、本発明によれば、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は複数の画像の先頭位置を示す情報を解析し、前記情報を用いて前記複数の画像のうち任意の画像を再生することにより、汎用性を持たせた画像データから任意の視点の画像を効率よく選択し、表示装置に応じて表示することができるという有利な効果が得られる。
【０１５２】
また、本発明によれば、各画像の先頭位置を示す情報として画像データ内の所定の位置から前記先頭位置までのデータ長を用いることにより、汎用性を持たせた画像データから任意の視点の画像を効率よく選択し、表示装置に応じて表示することができるという有利な効果が得られる。
【０１５３】
また、本発明によれば、各画像の先頭位置を示す情報として各画像のデータサイズを用いることにより、汎用性を持たせた画像データから任意の視点の画像を効率よく選択し、表示装置に応じて表示することができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像データ作成装置の構成を示す図である。
【図２】３Ｄ情報の構成例を示す図である。
【図３】左右画像の結合例を示す図である。
【図４】左右画像の結合例を示す図である。
【図５】多重化データのファイル形式を示す図である。
【図６】既存形式のファイルに画像データを格納する際のフォーマット例を示す図である。
【図７】新規形式のファイルに画像データを格納する際のフォーマット例を示す図である。
【図８】本発明の第１の実施の形態による画像データ再生装置の構成を示す図である。
【図９】多視点の場合の撮像装置の設置例を示す図である。
【図１０】多視点画像の格子状配置を示す図である。
【図１１】視点番号のふり方の例を示す図である。
【図１２】３Ｄ情報のフォーマット例を示す図である。
【図１３】ステレオアダプタで撮影した画像の構成を説明するための図である。
【図１４】本発明の第２の実施の形態による画像データ作成装置の構成を示す図である。
【図１５】反転処理の例を示す図である。
【図１６】３Ｄ情報のフォーマット例を示す図である。
【図１７】本発明の第２の実施の形態による画像データ再生装置の構成を示す図である。
【図１８】本発明の第３の実施の形態による画像データ作成装置の構成を示す図である。
【図１９】格納情報のフォーマット例を示す図である。
【図２０】既存形式のファイルに画像データを格納する際のフォーマット例を示す図である。
【図２１】新規形式のファイルに画像データを格納する際のフォーマット例を示す図である。
【図２２】格納情報の例を示す図である。
【図２３】本発明の第３の実施の形態による画像データ再生装置の構成を示す図である。
【図２４】既存形式のファイルに画像データを格納する際のフォーマット例を示す図である。
【図２５】既存形式のファイルに画像データを格納する際のフォーマット例を示す図である。
【図２６】時分割方式における画像の表示形式を示す図である。
【図２７】パララクスバリア方式の概念を説明するための図である。
【図２８】パララクスバリア方式における画像の表示形式を説明するための図である。
【図２９】従来の方式における合成画像を示す図である。
【符号の説明】
１００、１１０、１２０ 画像データ作成装置
１０１、１１１ 画像結合部
１０２ 制御部
１０３、１１２、１２１ ３Ｄ情報作成部
１０４、１２４ 多重化部
１１３、１２３ 符号化部
１２２ 格納情報作成部
２００、２１０、２２０ 画像データ再生装置
２０１、２２１ 逆多重化部
２０２、２１１ ３Ｄ情報解析部
２０３、２１３ 画像変換部
２１２ 復号部
２２２ 格納情報解析部
３０１〜３０６ 撮像装置

Claims (28)

1. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
   異なる視点の画像を結合するか否かを示す結合情報を生成する情報生成手段を備え、前記データ形式は、前記結合情報を含むことを特徴とする画像データ作成装置。
2. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
   異なる視点の画像を結合する場合に、結合する画像の配置方法を示す配置情報を生成する情報生成手段を備え、前記データ形式は、前記配置情報を含むことを特徴とする画像データ作成装置。
3. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
   前記画像を縮小するか否かを示す縮小情報を生成する縮小情報生成手段を備え、前記データ形式は、前記縮小情報を含むことを特徴とする画像データ作成装置。
4. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
   前記複数の視点の一つを選択する選択情報を生成する選択情報生成手段を備え、前記データ形式は、前記選択情報を含むことを特徴とする画像データ作成装置。
5. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
   視点の数を示す視点情報を生成する視点情報生成手段を備え、前記データ形式は、前記視点情報を含むことを特徴とする画像データ作成装置。
6. 請求項５に記載の画像データ作成装置において、
   前記視点情報は、水平方向の視点数を示す情報、または／および、垂直方向の視点数を示す情報を含むことを特徴とする画像データ作成装置。
7. 請求項５または６に記載の画像データ作成装置において、
   前記画像を所定の縮小率で縮小する場合には、前記視点数を用いて所定の縮小率を決定することを特徴とする画像データ作成装置。
8. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
   前記複数の画像を格納する順序を示す順序情報を生成する順序情報生成手段を備え、前記データ形式は、前記順序情報を含むことを特徴とする画像データ作成装置。
9. 請求項８に記載の画像データ作成装置において、
   異なる視点の画像を結合する場合には、前記順序情報は結合配置の順序を示すことを特徴とする画像データ作成装置。
10. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
    前記画像を反転するか否かを示す反転情報を生成する反転情報生成手段を備え、前記データ形式は、前記反転情報を含むことを特徴とする画像データ作成装置。
11. 請求項１０に記載の画像データ作成装置において、
    前記反転情報は、画像を水平方向に反転するか否かを示す情報、または／および、画像を垂直方向に反転するか否かを示す情報を含むことを特徴とする画像データ作成装置。
12. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は異なる視点の画像が結合されているか否かを示す結合情報を解析し、前記結合情報を用いて前記複数の画像を再生することを特徴とする画像データ再生装置。
13. 請求項１２に記載の画像データ再生装置において、
    異なる視点の画像が結合されている場合に、前記解析手段は結合された画像の配置方法を示す配置情報を解析することを特徴とする画像データ再生装置。
14. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は、前記画像が縮小されているか否かを示す縮小情報を解析し、前記縮小情報を用いて前記複数の画像を再生することを特徴とする画像データ再生装置。
15. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は前記複数の視点の一つを選択する選択情報を解析し、前記選択情報を用いて複数の視点の一つに対応する画像を再生することを特徴とする画像データ再生装置。
16. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は視点の数を示す視点情報を解析し、前記視点情報を用いて前記複数の画像を再生することを特徴とする画像データ再生装置。
17. 請求項１６に記載の画像データ再生装置において、
    前記視点情報は、水平方向の視点数を示す情報、または／および、垂直方向の視点数を示す情報を含むことを特徴とする画像データ再生装置。
18. 請求項１６または１７に記載の画像データ再生装置において、
    前記画像が所定の縮小率で縮小されている場合には、前記視点数を用いて所定の縮小率を決定することを特徴とする画像データ再生装置。
19. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は前記複数の画像を格納する順序を示す順序情報を解析し、前記順序情報を用いて前記複数の画像を再生することを特徴とする画像データ再生装置。
20. 請求項１９に記載の画像データ再生装置において、
    異なる視点の画像が結合されている場合には、前記順序情報は結合配置の順序を示すことを特徴とする画像データ再生装置。
21. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は前記画像が反転されているか否かを示す反転情報を解析し、前記反転情報を用いて前記複数の画像を再生することを特徴とする画像データ再生装置。
22. 請求項２１に記載の画像データ再生装置において、
    前記反転情報は、画像が水平方向に反転されているか否かを示す情報、または／および、画像が垂直方向に反転されているか否かを示す情報を含むことを特徴とする画像データ再生装置。
23. 複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、
    各画像の先頭位置を示す情報を生成する情報生成手段を備え、前記データ形式は、前記情報を含むことを特徴とする画像データ作成装置。
24. 請求項２３に記載の画像データ作成装置において、
    各画像の先頭位置を示す情報として画像データ内の所定の位置から前記先頭位置までのデータ長を用いることを特徴とする画像データ作成装置。
25. 請求項２３に記載の画像データ作成装置において、
    各画像の先頭位置を示す情報として各画像のデータサイズを用いることを特徴とする画像データ作成装置。
26. 所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
    前記データ形式を解析する解析手段を備え、前記解析手段は複数の画像の先頭位置を示す情報を解析し、前記情報を用いて前記複数の画像のうち任意の画像を再生することを特徴とする画像データ再生装置。
27. 請求項２６に記載の画像データ再生装置において、
    各画像の先頭位置を示す情報として画像データ内の所定の位置から前記先頭位置までのデータ長を用いることを特徴とする画像データ再生装置。
28. 請求項２６に記載の画像データ再生装置において、
    各画像の先頭位置を示す情報として各画像のデータサイズを用いることを特徴とする画像データ再生装置。

Images