JP2005110121A - 画像データ表示装置 - Google Patents

Abstract

【課題】 ３次元画像符号化データの高速再生時に、効率的にディスプレイ上に画像データを表示する画像データ表示装置を提供する。
【解決手段】 データ読出部１０１では、まず、読み出された画像符号化データのヘッダ情報オブジェクトを解析し、ヘッダ情報オブジェクトに続くオブジェクト種別を判定する。３次元識別情報解析部１０２では、データ読出部１０１より送られてきた３次元識別情報オブジェクトを解析し、識別フラグ（３次元画像データである場合には“１”、そうでない場合には“０”）を制御部１０５に通知する。制御部１０５は、３次元識別情報解析部１０２より入力される識別フラグおよびユーザにより入力される再生モードをもとに、再生制御情報として、“Ａ（３次元表示）”、“Ｂ（３次元→２次元変換表示）”、または“Ｃ（２次元表示）”のいずれかを出力する。
【選択図】 図１

Description

本発明は、３次元画像符号化データを再生し、ディスプレイ上に表示する技術に関し、より詳細には、３次元画像符号化データの高速再生時に、効率的に画像データをディスプレイ上に表示する画像データ表示装置に関するものである。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。

図１７は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
この時分割方式では、図１７のように、左眼用画像と右眼用画像が垂直１ラインおきに交互にならんだ形に配置し、左眼用画像を表示するフィールドと右眼用画像を表示するフィールドを交互に切り替えて表示するものである。左眼用画像及び右眼用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼用画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。このようにすることにより左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。

図１８は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図１８（ａ）は、視差が生じる原理を示す図である。一方、図１８（ｂ）は、パララクスバリア方式で表示される画面を示す図である。

図１８（ｂ）に示すような左眼用画像と右眼用画像のペアがストライプ状に並んだ画像を、図１８（ａ）に示すように、画像表示パネル１８０１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア１８０２をその前面に置くことにより、左眼用画像は左眼１８０３だけで、右眼用画像は右眼１８０４だけで観察することにより立体視を行う。

ところで、３次元画像データに限らず、表示する画像が動画像である場合、通常の再生のほかに、早送り再生、早戻し再生等の高速再生を行えることが重要である。
３次元動画像データの高速再生の一例として、後述する特許文献１において開示されている「立体動画像圧縮符号化装置及び立体動画像復号再生装置」があげられる。

本立体動画像圧縮符号化装置および立体動画像復号再生装置における高速再生時の動作について簡単に説明する。
符号化装置では、まず、カメラ等より入力された左眼用画像データと右眼用画像データから基準画像データを作成する。次に、作成した基準画像データと左眼用画像データおよび右眼用画像データとの差分を求め、それぞれ左眼用差分データおよび右眼用差分データとして出力する。これら基準画像データ、左眼用差分データおよび右眼用差分データを圧縮符号化し、多重化することにより３次元画像符号化データを作成している。

復号再生装置では、まず、圧縮された３次元画像符号化データを、基準画像データ、左眼用差分データおよび右眼用差分データに分離する。通常再生時には、基準画像データ、左眼用差分データおよび右眼用差分データすべてを復号し、基準画像データと左眼用差分データより左眼用画像を作成し、基準画像データと右眼用差分データより右眼用画像データを作成する。これら左眼用画像データおよび右眼用画像データを用いて、３次元画像として再生する。一方、高速再生時には、基準画像データのみを復号し、２次元画像としてその基準画像を再生する。
特開平７−３２７２４２号公報

しかしながら、従来の立体動画像復号再生装置では、左眼用画像データと右眼用画像データの基準画像を作成しない圧縮方式の３次元画像データの場合には、基準画像を表示するという高速再生処理が適用できないという問題があった。

さらに、高速再生時に表示する基準画像データは、２つの異なるカメラにより撮影された左眼用画像データと右眼用画像データから作成したものであり、実際にカメラで撮影された画像データとは異なるため、違和感のある画像データが表示される場合があった。

また、３次元画像データを３次元表示のままディスプレイに表示しながら高速再生した場合には、各画像フレームの表示時間が短くなるため、立体視するのが困難になり、表示されている動画像の内容の把握が困難になるという問題があった。個人差はあるものの、特に、高速再生の度合いが増すにつれて、この問題は顕著に表れていた。

本発明は、上記課題を解決するためになされたものであって、３次元画像符号化データの高速再生時に、効率的にディスプレイ上に画像データを表示する画像データ表示装置を提供することを目的とする。

本発明は、３次元画像データを立体的に表示する３次元表示モードと、前記３次元画像データを平面的に表示する２次元表示モードを切り替え可能な画像データ表示装置であって、３次元表示モードと２次元表示モードの選択を制御する制御手段を備え、前記制御手段は、３次元画像データが特殊再生されている場合に、２次元表示モードを選択することを特徴とする。

また、本発明は、前記画像データ表示装置において、前記表示用の画像を生成する表示用画像生成手段を備え、前記表示用画像生成手段は、前記制御手段が２次元表示モードを選択した場合に、前記３次元画像データを２次元画像データに変換することを特徴とする。

また、前記画像データ表示装置において、前記特殊再生は、少なくとも早送り再生もしくは早戻し再生を含むことを特徴とする。

また、本発明は、前記画像データ表示装置において、前記特殊再生は、再生速度の度合いが、所定の閾値以上の再生であることを特徴とする。

また、本発明は、前記画像データ表示装置において、前記所定の閾値は、ユーザにより可変に設定可能であることを特徴とする。

また、本発明は、前記画像データ表示装置において、前記表示用画像生成手段は、前記３次元画像データに含まれる複数の視点画像データから１つの視点画像データを選択して２次元画像データに変換することを特徴とする。

また、本発明は、前記画像データ表示装置において、選択された前記１つの視点画像データの視点情報を表示することを特徴とする。

また、本発明は、３次元画像データあるいは２次元画像データを表示する画像データ表示装置であって、３次元画像データを所定の方法で表示する場合に、３次元画像データを表示していることを示す情報を表示することを特徴とする。

本発明によれば、３次元画像データの高速再生時に、３次元画像データに含まれる複数の視点の画像データから、１視点画像データを選択し、２次元表示画像データに変換して表示する構成としたので、ユーザは、高速で変換する表示画像を立体視する必要がなくなるため、容易に内容を把握することができる。

また、３次元画像データの高速再生時の表示画像は、カメラで撮影された１視点の画像データであるため、違和感のない再生が可能となる。

また、３次元画像データの高速再生の度合いに応じて３次元表示を行うか２次元表示に変換するかを切り替える構成としたので、ユーザの立体視における個人差を考慮した柔軟な設定が可能となる。

さらに、表示している画像データが３次元画像符号化データであるのか２次元画像符号化データであるのかを区別する情報を表示することによって、表示されている画像データが、２次元であるのか３次元であるのかを容易に区別することができる。

以下、本発明の実施形態を図面とともに説明する。なお、図面において同一部分には同一の符号を付し、その説明は繰り返さない。

図１は、本発明の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。
本実施形態における画像データ表示装置は、データ読出部１０１、３次元識別情報解析部１０２、３次元表示制御情報解析部１０３、画像復号部１０４、制御部１０５、表示用画像生成部１０６、および画像表示部１０７から構成される。

データ読出部１０１では、ＳＤカード、コンパクトフラッシュ（Ｒ）カードに代表される半導体メディア、ＣＤ、ＤＶＤに代表されるディスクメディア、あるいはＤＶカセットテープに代表されるのテープメディア等に記録された３次元画像符号化データ、または２次元画像符号化データが読み出され、画像符号化データに含まれる各オブジェクト（後述）が分離される。各オブジェクトは、それぞれ３次元識別情報解析部１０２、３次元表示制御情報解析部１０３、画像復号部１０４に送られる。

図２は、データ読出部１０１により読込まれる画像符号化データの構成を示した図である。図２（ａ）は、３次元画像符号化データ、図２（ｂ）は、２次元画像符号化データの構成を示した図である。

各画像符号化データは、ヘッダ情報オブジェクト２０１、３次元識別情報オブジェクト２０２、３次元表示制御情報オブジェクト２０３、および画像情報オブジェクト２０４より構成される。

ここでは、ヘッダ情報オブジェクト２０１、３次元識別情報オブジェクト２０２、３次元表示制御情報オブジェクト２０３のあとに、所定の単位に分割された複数の画像情報オブジェクト２０４が続く構成としたが、読込み元の記録媒体等によっては、例えば、ヘッダ情報オブジェクト２０１が存在しなくてもよいし、３次元識別情報オブジェクト２０２、３次元表示制御情報オブジェクト２０３が周期的に含まれる構成であってもよい。

また、各オブジェクトがファイルとして記録されている場合、複数のオブジェクトが１つのまとまったファイルとして記録されていてもよいし、各オブジェクトが別々のファイルに記録されていてもよい。あるいはテープ等に記録されている場合には、複数のオブジェクトが画像データ領域に一括して記録されていてもよいし、３次元識別情報オブジェクトや、３次元表示制御情報オブジェクト等の情報量の少ないデータは、画像データ領域の拡張領域や、サブコード領域等の画像データ領域とは別の領域に記録されていてもよい。

図３は、画像符号化データに含まれる各オブジェクトの詳細を示した図である。
図３（ａ）は、３次元識別情報オブジェクト２０２の詳細を示した図である。３次元識別情報オブジェクト２０２ａには、オブジェクト固有のＩＤ(Object ID=0x11)、オブジェクト全体のサイズ(Object Size)、および３次元識別情報が格納されている。
図３（ｂ）は、３次元表示制御情報オブジェクト２０３ａの詳細を示した図である。３次元表示制御情報オブジェクト２０３ａには、オブジェクト固有のＩＤ(Object ID=0x12)、オブジェクト全体のサイズ(Object Size)、および３次元表示制御情報として、画像配置情報、サンプリング情報、および２次元選択画像情報が格納されている。

画像配置情報は、複数の視点より撮影された画像データがどのように配置されているかを示す情報であり、（水平方向の視点数,垂直方向の視点数）で表される。例えば、２つの視点より撮影された画像データが水平（左右）に配置されている場合、画像配置情報＝（２,１）となる。垂直（上下）に配置されている場合、画像配置情報＝（１，２）となる。

サンプリング情報は、それぞれの視点画像データのアスペクト比を示すものであり、（水平方向のサンプリング比,垂直方向のサンプリング比）で表される。例えば、水平方向の解像度のみ１／２となるようにサンプリングした場合、サンプリング情報＝（１／２,１）となる。垂直方向の解像度のみ１／２となるようにサンプリングした場合は、サンプリング情報＝（１,１／２）となる。

また、２次元選択画像情報は、複数の視点より撮影された画像データのうち１視点の画像データを選択するための情報であり、２次元選択画像情報＝（水平方向の視点番号,垂直方向の視点番号）となる。例えば、水平（左右）に配置された（画像配置情報＝（２，１））２つの視点より撮影された画像データから、左側の画像データを選択する場合、２次元選択画像情報＝（１，１）となる。同様に、右側の画像データを選択する場合、２次元選択画像情報＝（２，１）となる。

図３（ｃ）は、画像情報オブジェクト２０４ａの詳細を示した図である。画像情報オブジェクト２０４ａには、オブジェクト固有のＩＤ(Object ID=0x13)、オブジェクト全体のサイズ(Object Size)、および符号化データが格納されている。

データ読出部１０１では、まず、読み出された画像符号化データのヘッダ情報オブジェクト２０１を解析し、ヘッダ情報オブジェクト２０１に続くオブジェクト種別を判定する。次に、各オブジェクトのObject IDを参照することによって、Object IDが0x11の場合には３次元識別情報解析部１０２へ、Object IDが0x12の場合には３次元表示制御情報解析部１０３へ、Object IDが0x13の場合には画像復号部１０４へ送ることによって３次元画像符号化データまたは２次元画像符号化データの分離を行う。
なお、ここで用いた各オブジェクトのフィールドの種類および値（内容）は本実施形態における例であってこれらに限定されるものではない。

３次元識別情報解析部１０２では、データ読出部１０１より送られてきた３次元識別情報オブジェクト２０２ａを解析し、識別フラグ（３次元画像データである場合には“１”、そうでない場合には“０”）を制御部１０５に通知する。
３次元表示制御情報解析部１０３では、データ読出部１０１より送られてきた３次元表示制御情報オブジェクト２０３ａを解析し、３次元表示制御情報として、画像配置情報、サンプリング情報および２次元選択画像情報を表示用画像生成部１０６に通知する。
画像復号部１０４では、データ読出部１０１より送られてきた画像情報オブジェクト２０４ａを解析し、符号化データの復号をおこない、復号された３次元画像データまたは２次元画像データを表示用画像生成部１０６に送る。

次に、制御部１０５の動作について説明する。
制御部１０５は、画像データの再生モードを入力するためのスイッチ群を備え、ユーザが各スイッチを操作することによって、制御部１０５に再生モードを入力する。
図４は、再生モードの一覧を示した図である。ユーザは、“通常再生”、“逆転再生”、“早送り再生”、“早戻し再生”、“スロー再生”、および“コマ送り再生”を選択することができる。

制御部１０５では、３次元識別情報解析部１０２より入力される識別フラグおよびユーザにより入力される再生モードをもとに、再生制御情報として、“Ａ（３次元表示）”、“Ｂ（３次元→２次元変換表示）”、または“Ｃ（２次元表示）”のいずれかを出力する。
図５は、制御部１０５における入出力の関係を示した図である。識別フラグ＝“１”かつ再生モード＝“通常再生”、“逆転再生”、“スロー再生”、または“コマ送り再生”である場合には、“Ａ（３次元表示）”を出力し、識別フラグ＝“１”かつ再生モード＝“早送り再生”または“早戻し再生”である場合には、“Ｂ（３次元→２次元変換表示）”を出力し、識別フラグ＝“０”の場合には、“Ｃ（２次元表示）”を出力する。
図５における制御部１０５の入出力関係は一例であって、例えば、識別フラグ＝“１”かつ再生モード＝“逆転再生”の場合に、再生制御情報として“Ｂ（３次元→２次元変換表示）”を出力してもよい。

次に、表示用画像生成部１０６の動作について説明する。
図６は、表示用画像生成部１０６の内部構成を示すブロック図である。表示用画像生成部１０６は、スイッチ６０１、並べ替え部６０２、選択部６０３および解像度変換部６０４から構成される。また、スイッチ６０１は、接点６０１Ａ、接点６０１Ｂ、および接点６０１Ｃを備える。

制御部１０５より入力される再生制御情報＝“Ａ（３次元表示）”の場合、スイッチ６０１は接点６０１Ａへ接続し、画像復号部１０４で復号された画像データは並べ替え部６０２へ送られる。
制御部１０５より入力される再生制御情報＝“Ｂ（３次元→２次元変換表示）”の場合、スイッチ６０１は接点６０１Ｂへ接続し、画像復号部１０４で復号された画像データは選択部６０３へ送られる。
制御部１０５より入力される再生制御情報＝“Ｃ（２次元表示）”の場合、スイッチ６０１は接点６０１Ｃへ接続し、画像復号部１０４で復号された画像データはそのまま画像表示部１０７へ出力される。

並べ替え部６０２では、３次元表示制御情報解析部１０３より通知される３次元表示制御情報に基づき、画像表示部１０７で表示可能な形式となるように画像データの並べ替えが行われる。
例えば、画像表示部１０７における３次元画像表示方式が「時分割方式」の場合には、図１７で示される形式、「パララクスバリア方式」の場合には、図１８（ｂ）で示される形式となるように画像データの並べ替えが行われる。並べ替え後の画像データは、３次元表示画像データとして画像表示部１０７へ送られる。

選択部６０３では、３次元表示制御情報解析部１０３より通知される３次元表示制御情報に基づき、３次元画像データに含まれる複数の視点画像データのうち１視点画像データが選択され、解像度変換部６０４へ送られる。
解像度変換部６０４では、選択部６０３で選択された１視点画像データをアスペクト比に応じて拡大あるいは縮小して、２次元表示画像データとして画像表示部１０７に出力する。

画像表示部１０７は、外部からの入力により２次元画像表示モード／３次元画像表示モードが切り替え可能なディスプレイであり、表示用画像生成部１０６より出力された画像データを表示する。なお、本実施形態における３次元画像表示方式は、「パララクスバリア方式」とする。

画像表示部１０７では、制御部１０５より通知される再生制御情報＝“Ａ（３次元表示）”の場合、すなわち、３次元画像データの“通常再生”、“スロー再生”、または“コマ送り再生”の場合、３次元画像表示モードに切り換わる。
また、再生制御情報＝“Ｂ（３次元→２次元変換表示）”の場合、すなわち、３次元画像データの“早送り再生”、または“早戻し再生”の場合、２次元画像表示モードに切り換わる。
また、再生制御情報＝“Ｃ（２次元表示）”の場合、すなわち、２次元画像データの再生の場合、２次元画像表示モードに切り換わる。

ここで、いくつかの入力パターンを例に、本画像データ表示装置の動作を説明する。
図７は、本実施形態における画像データ表示装置への入力パターンの例を示した図である。ここでいう入力とは、データ読出部１０１に入力される画像符号化データの種類、および制御部に入力される再生モードである。
以下、図７に示された４つの入力パターンについて、本画像データ表示装置の動作を説明する。

まず、パターン１（３次元画像符号化データの通常再生）の場合について説明する。
データ読出部１０１に入力される３次元画像符号化データは、図２（ａ）で示される形式の画像符号化データである。

図８は、パターン１における３次元画像符号化データの詳細を示した図である。
３次元識別情報オブジェクト２０２ｂのオブジェクトサイズは８ｂｙｔｅであり、オブジェクトデータとして、識別情報＝“３Ｄ−００１”が格納されている。
３次元表示制御情報オブジェクト２０３ｂのオブジェクトサイズは２５６ｂｙｔｅであり、オブジェクトデータとして、画像配置情報＝（２，１）、サンプリング情報＝（１／２,１）および２次元選択画像情報＝（１，１）が格納されている。
画像情報オブジェクト２０４ｂのオブジェクトサイズは２０４８ｂｙｔｅであり、オブジェクトデータとして、符号化データ＝ＭＰＥＧ−４圧縮データが格納されている。

データ読出部１０１では、これらのオブジェクトが分離され、３次元識別情報オブジェクト２０２ｂは３次元識別情報解析部１０２へ、３次元表示制御情報オブジェクト２０３ｂは３次元表示制御情報解析部１０３へ、画像情報オブジェクト２０４ｂは画像復号部１０４へ送られる。

３次元識別情報解析部１０２では、３次元識別情報として“３Ｄ−００１”が格納されているので、入力された画像符号化データは３次元画像符号化データであると解析され、識別フラグとして“１”が出力される。
３次元表示制御情報解析部１０３では、３次元表示制御情報として、画像配置情報＝（２，１）、サンプリング情報＝（１／２，１）、２次元選択画像情報＝（１，１）が解析され、それぞれ表示用画像生成部１０６に通知される。

画像復号部１０４では、画像情報オブジェクト２０４ｂに格納されているＭＰＥＧ−４圧縮データが復号され、３次元画像データとして表示用画像生成部１０６に送られる。
制御部１０５では、３次元識別情報解析部１０２からの入力である識別フラグ＝“１”およびユーザからの入力である再生モード＝“通常再生”より、図５に従い、再生制御情報として“Ａ（３次元表示）”を出力する。

図９は、画像復号部１０４で復号される３次元画像データ（図９（ａ））および表示用画像生成部１０６で生成される３次元表示画像データ（図９（ｂ））を示した図である。
ここで、復号された３次元画像データは、３次元表示制御情報解析部１０３で解析されたように、左眼用画像データおよび右眼用画像データがそれぞれ水平方向の解像度が１／２となるようにサンプリングされ、左右に配置された構成となっている。

表示用画像生成部１０６では、制御部１０５より入力される再生制御情報＝“Ａ（３次元表示）”より、スイッチ６０１が接点６０１Ａに接続し、図９（ａ）で示された３次元画像データが並べ替え部６０２に送られる。
並べ替え部６０２では、３次元画像データが、３次元表示制御情報解析部１０３の解析結果である画像配置情報＝（２，１）およびサンプリング情報＝（１／２，１）をもとに、パララクスバリア方式で表示可能な３次元画像データ形式となるように並べ替えが行われる。（図９（ｂ））

図１０は、並べ替え部６０２の動作を説明するための図である。まず、図１０（ａ）で示されるように、３次元画像データをストライプ状に分割する。次に、分割された左眼用画像データＬ１、Ｌ２、Ｌ３、および右眼用画像データＲ１、Ｒ２、Ｒ３を、Ｌ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３のように左眼用画像データと右眼用画像データが交互に配置するように並べ替える。（図１０（ｂ））
画像表示部１０７では、制御部１０５より入力される再生制御情報＝“Ａ（３次元表示）”より、３次元画像表示モードに切り換わり、表示用画像生成部１０６より出力された３次元表示画像データをディスプレイ上に表示し、３次元画像符号化データの通常再生が行われる。

次に、パターン２（３次元画像符号化データの早送り再生）の場合について説明する。
データ読出部１０１に入力される３次元画像符号化データ、データ読出部１０１の動作、３次元識別情報解析部１０２の動作、３次元表示制御情報解析部１０３の動作、および画像復号部１０４の動作は、パターン１の場合と同様であるので説明を省略する。
制御部１０５では、３次元識別情報解析部１０２からの入力である識別フラグ＝“１”およびユーザからの入力である再生モード＝“早送り再生”により、図５に従い、再生制御情報として“Ｂ（３次元→２次元変換表示）”を出力する。

図１１は、画像復号部１０４で復号される３次元画像データ（図１１（ａ））および表示用画像生成部１０６で生成される２次元表示画像データ（図１１（ｂ−１）、（ｂ−２）、（ｂ−３）、（ｂ−４）、（ｂ−５））を示した図である。
ここで、復号された３次元画像データは、３次元表示制御情報解析部１０３で解析されたように、左眼用画像データおよび右眼用画像データがそれぞれ水平方向の解像度が１／２となるようにサンプリングされ、左右に配置された構成となっている。

表示用画像生成部１０６では、制御部１０５より入力される再生制御情報＝“Ｂ（３次元→２次元変換表示）”より、スイッチ６０１が接点６０１Ｂに接続し、図１１（ａ）で示された３次元画像データが選択部６０３に送られる。
選択部６０３では、３次元表示制御情報解析部１０３の解析結果である画像配置情報＝（２，１）および２次元選択画像情報＝（１，１）より、図１１（ａ）の左半分にある左眼用画像データが選択され、解像度変換部６０４に送られる。

解像度変換部６０４では、画像配置情報＝（２，１）およびサンプリング情報＝（１／２，１）より、水平方向が２倍に拡大され（図１１（ｂ−１））、２次元表示画像データとして出力される。

図１１（ｂ−１）の変換方法は一例であり、選択された左眼用画像データあるいは右眼用画像データに対して拡大処理を行わずにそのまま出力してもよいし（図１１（ｂ−２）、図１１（ｂ−３））、選択された画像データの位置を中央等に移動して出力してもよい（図１１（ｂ−４））。
また、ここでは１視点の画像データを選択するのに、３次元表示制御情報解析部１０３の解析結果である２次元選択画像情報を用いたが、特に２次元選択画像情報を用いずに２次元表示画像データを選択してもよい。
また、解像度変換部６０４では、必ずしも表示画面と同じ解像度に変換する必要はなく、例えば、図１１（ｂ−５）のように、表示画面より解像度の小さい画像に変換してもよい。
また、表示用画像生成部１０６は、入力された画像データ（図１１（ａ））をそのまま出力するようにしてもよい。

画像表示部１０７では、制御部１０５より入力される再生制御情報＝“Ｂ（３次元→２次元変換表示）”より、２次元画像表示モードに切り換わり、表示用画像生成部１０６より出力された２次元表示画像データをディスプレイ上に表示し、３次元画像符号化データの早送り再生が行われる。

このように、３次元画像符号化データの高速再生時には、左眼用画像データもしくは右眼用画像データの一方を選択して、２次元画像データとしてディスプレイ上に表示することにより、ユーザは、高速で変化する表示画像を立体視する必要がなくなるため、容易に内容を把握することができる。

また、選択された左眼用画像データもしくは右眼用画像データを図１１（ｂ−１）のように拡大して表示することによって、高速再生時と通常再生時とで画像内の物体の位置と大きさを同じにすることができるので、高速再生と通常再生の切り替え時の画像の乱れを防ぐことができる。

最後に、パターン３（２次元画像符号化データの通常再生）およびパターン４（２次元画像符号化データの早送り再生）の場合について説明する。
データ読出部１０１に入力される２次元画像符号化データは、図２（ｂ）で示される形式の画像符号化データである。

図１２は、パターン３およびパターン４における２次元画像符号化データの詳細を示した図である。
３次元識別情報オブジェクト２０２ｃのオブジェクトサイズは、２ｂｙｔｅであり、オブジェクトデータは存在しない。（Object ID, Object Sizeのフィールドのみ存在する。）
画像情報オブジェクト２０４ｃのオブジェクトサイズは２０４８ｂｙｔｅであり、オブジェクトデータとして、符号化データ＝ＭＰＥＧ−４圧縮データが格納されている。

データ読出部１０１では、これらのオブジェクトが分離され、３次元識別情報オブジェクト２０２ｃは、３次元識別情報解析部１０２へ、画像情報オブジェクト２０４ｃは画像復号部１０４へ送られる。
３次元識別情報解析部１０２では、３次元識別情報が存在しないので、３次元画像符号化データでないと解析され、識別フラグとして“０”を出力する。

３次元表示制御情報解析部１０３では、データ読出部１０１より３次元表示制御情報オブジェクト２０３ｃが送られてこないので、特に処理は行われない。
画像復号部１０４では、画像情報オブジェクト２０４ｃに格納されているＭＰＥＧ−４圧縮データが復号され、２次元画像データとして表示用画像生成部１０６に送られる。
制御部１０５では、３次元識別情報解析部１０２からの入力である識別フラグ＝“０”およびユーザからの入力である再生モード＝“通常再生”または“早送り再生”より、図５に従い、再生制御情報として“Ｃ（２次元表示）”を出力する。

図１３は、画像復号部１０４で復号される２次元画像データを示した図である。
表示用画像生成部１０６では、制御部１０５より入力される再生制御情報＝“Ｃ（２次元表示）”より、スイッチ６０１が接点６０１Ｃに接続し、図１３で示された２次元画像データが、そのまま２次元表示画像データとして出力される。

画像表示部１０７では、制御部１０５より入力される再生制御情報＝“Ｃ（２次元表示）”より、２次元画像表示モードに切り換わり、表示用画像生成部１０６より出力された２次元表示画像データをディスプレイ上に表示し、２次元画像符号化データの通常再生または早送り再生が行われる。

以上、図７におけるパターン１からパターン４までの動作を説明したが、３次元識別情報解析部の解析結果である識別フラグ、あるいは制御部１０５の出力結果である再生制御情報をもとに、表示している画像データが３次元画像符号化データなのか２次元画像符号化データなのかを区別する情報を画像表示部１０７に表示する構成としてもよい。

図１４は、３次元画像符号化データの早送り再生時の、画像表示部１０７におけるディスプレイの状態を示した図である。図１４では、３次元画像符号化データを示す文字列“３Ｄ”をディスプレイ上に表示しているが、文字列に限らず、特定の色の枠をつけて表示することにより区別したり、表示画面とは別にＬＥＤ等を点灯させることによって区別したり、あるいは特定の音によって区別するようにしてもよい。
また、３次元画像データか２次元画像データかを区別する情報は、画像データの再生中に常に表示していてもよいし、再生開始時の所定の時間（例えば５秒間）だけ表示するようにしてもよい。

このようにすることによって、表示されている画像データがもともと３次元画像符号化データであるのか２次元画像符号化データであるのかを区別することができる。特に、高速再生時には、画像表示部１０７に表示される２次元表示画像データが、３次元画像データを２次元表示画像データに変換して高速再生した画像データであるのか、２次元画像データをそのまま高速再生した画像データであるのかを容易に区別することができる。

また、３次元画像データを２次元表示画像データに変換して再生する場合、選択表示されている画像データがどの視点の画像データであるのかを示す視点情報も合わせて表示するようにしてもよい。例えば、２視点の画像データから構成される３次元画像データの場合、左眼用画像データを表示しているのであれば“左”、右眼用画像データを表示しているのであれば“右”をディスプレイ上に表示する。

また、３次元画像符号化データの高速再生時は、無条件に２次元画像データに変換して表示する構成としたが、早送りまたは早戻しの度合いに応じて３次元画像データのまま表示するか２次元画像データに変換して表示するかを切り替える構成としてもよい。この場合、制御部１０５の動作が図５で示される動作と異なる。

図１５は、早送りまたは早戻しの度合いに応じて切り替える場合の制御部１０５の動作を説明するための図である。
ここでは、３次元識別情報＝“１”かつ再生モード＝“早送り再生（≦２倍速）”、３次元識別情報＝“１”かつ再生モード＝“早戻し再生（≦２倍速）”の場合には、再生制御情報として“Ａ（３次元表示）”を出力し、３次元識別情報＝“１”かつ再生モード＝“早送り再生（＞２倍速）”、３次元識別情報＝“１”かつ再生モード＝“早戻し再生（＞２倍速）”の場合には、再生制御情報として“Ｂ（３次元→２次元変換表示）”を出力する点が図５の場合と異なる。すなわち、２倍速以下の高速再生の場合には、３次元画像データのまま表示し、２倍速を超える高速再生の場合には、２次元画像データに変換して表示する。

立体視には個人差があり、２倍速高速再生でも、通常再生と同様に立体に見える場合もあれば、各フレーム画像の表示時間が短くて立体に見えにくい場合もある。そのため、２倍速という閾値は例であって、他の閾値を設けてもよいし、ユーザにより閾値を可変に設定できる構成としてもよい。
このように、早送りまたは早戻しの度合いに応じて３次元表示するか否かを切り替えることによって、個人差等に応じた柔軟な設定が可能となる。

また、３次元画像の高速再生時には、２次元画像表示モードに切り替えて表示する構成としたが、３次元画像表示モードのままで、図１６に示すように、左眼用画像データと右眼用画像データとで、同じ画像データを表示するようにしてもよい。
このようにすることによって、特に、３次元画像表示専用のディスプレイにおいても、高速再生時に立体視する必要がない、効率的な高速再生を行うことができる。

本実施形態における画像データ表示装置では、２つの視点画像データから構成される３次元画像データの例を示したが、３視点以上の画像データから構成される３次元画像データの場合であっても同様に適用可能である。
さらに、本実施形態における画像データ表示装置では、記録媒体に記録されている画像符号化データを読出し、読み出された画像符号化データを復号した後に表示する構成としたが、本発明は、有線／無線を問わず、外部の手段により復号された３次元画像データあるいは２次元画像データを受信し、表示する形態においても同様に適用可能である。

本発明の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。 データ読出部より読込まれる３次元画像符号化データおよび２次元画像符号化データの構成を示す図である。 画像符号化データに含まれる３次元識別情報オブジェクト、３次元表示制御情報オブジェクト、および画像情報オブジェクトの詳細を示した図である。 制御部に入力される再生モードの一覧を示した図である。 制御部の動作を説明するための図である。 表示用画像生成部の内部構成を示したブロック図である。 本実施形態における画像データ表示装置への入力パターンの例を示した図である。 本実施形態における３次元画像符号化データの例を示した図である。 画像復号部で復号される３次元画像データおよび表示用画像生成部で生成される３次元表示画像データを示した図である。 並べ替え部の動作を説明するための図である。 画像復号部で復号される３次元画像データおよび表示用画像生成部で生成される２次元表示画像データを示した図である。 本実施形態における２次元画像符号化データの例を示した図である。 画像復号部で復号される２次元画像データを示した図である。 次元画像データの高速再生時における画像表示部の状態を示した図である。 制御部の動作を説明するための図である。 表示用画像生成部の動作を説明するための図である。 時分割方式による３次元画像表示を説明するための概念図である。 パララクスバリア方式による３次元画像表示を説明するための概念図である。

符号の説明

１０１ データ読出部
１０２ ３次元識別情報解析部
１０３ ３次元表示制御情報解析部
１０４ 画像復号部
１０５ 制御部
１０６ 表示用画像生成部
１０７ 画像表示部
２０１ ヘッダ情報オブジェクト
２０２，２０２ａ，２０２ｂ，２０２ｃ ３次元識別情報オブジェクト
２０３，２０３ａ，２０３ｂ ３次元表示制御情報オブジェクト
２０４，２０４ａ，２０４ｂ，２０４ｃ 画像情報オブジェクト
６０１ スイッチ
６０１Ａ 接点Ａ
６０１Ｂ 接点Ｂ
６０１Ｃ 接点Ｃ
６０２ 並べ替え部
６０３ 選択部
６０４ 解像度変換部
１８０１ 画像表示パネル
１８０２ パララクスバリア
１８０３ 左眼
１８０４ 右眼

Claims (8)

1. ３次元画像データを立体的に表示する３次元表示モードと、前記３次元画像データを平面的に表示する２次元表示モードを切り替え可能な画像データ表示装置であって、
   ３次元表示モードと２次元表示モードの選択を制御する制御手段を備え、
   前記制御手段は、３次元画像データが特殊再生されている場合に、２次元表示モードを選択することを特徴とする画像データ表示装置。
2. 表示用の画像を生成する表示用画像生成手段を備え、
   前記表示用画像生成手段は、前記制御手段が２次元表示モードを選択した場合に、前記３次元画像データを２次元画像データに変換することを特徴とする請求項１に記載の画像データ表示装置。
3. 前記特殊再生は、少なくとも早送り再生もしくは早戻し再生を含むことを特徴とする請求項１または２に記載の画像データ表示装置。
4. 前記特殊再生は、再生速度の度合いが、所定の閾値以上の再生であることを特徴とする請求項１乃至３のいずれかに記載の画像データ表示装置。
5. 前記所定の閾値は、ユーザにより可変に設定可能であることを特徴とする請求項４に記載の画像データ表示装置。
6. 前記表示用画像生成手段は、前記３次元画像データに含まれる複数の視点画像データから１つの視点画像データを選択して２次元画像データに変換することを特徴とする請求項２乃至５のいずれかに記載の画像データ表示装置。
7. 選択された前記１つの視点画像データの視点情報を表示することを特徴とする請求項６に記載の画像データ表示装置。
8. ３次元画像データあるいは２次元画像データを表示する画像データ表示装置であって、
   ３次元画像データを所定の方法で表示する場合に、３次元画像データを表示していることを示す情報を表示することを特徴とする画像データ表示装置。

Images