JP2008103820A - 立体画像処理装置 - Google Patents

Abstract

【課題】立体画像データを含む動画像データを再生する際に、視差の分布を一目で判断可能とする。
【解決手段】立体画像処理装置２００は、データ解析手段２０１により入力された動画像データを逆多重化し、３Ｄ表示制御情報解析手段２０３により３Ｄ表示を行う為に必要となる３Ｄ情報を解析するとともに、符号化された画像データを復号手段２０４で復号化する。表示制御手段２０５は視差情報提示手段２０７を制御し、視差情報提示画像の表示を判断し、画像生成手段２０８により立体表示方式に応じた画像を生成し、視差情報提示画像を表示する際には立体画像に重畳して動画像データの視差を示すグラフィカルユーザーインターフェース（ＧＵＩ）として視差情報提示画像を画像表示手段２０８に表示する。
【選択図】図２

Description

本発明は、立体画像処理装置に関し、特に、少なくとも３次元画像データを含む動画像データを再生する際に、３次元画像データ部の視差を視認可能とする立体画像処理装置に関する。

人間が立体感を得るための技術の１つとして、両眼視差を用いる技術が知られている。両眼視差とは、異なる２つの視点から対象物を見ることにより得られる映像のずれであり、これを元に奥行き方向の距離を知覚する。この両眼視差を利用して立体映像を表示する研究が従来から行われてきている。

近年では、様々な方式の立体視可能な表示装置が提案されており、２視点の画像を利用して立体視する２眼式、それ以上の視点数の画像を利用して複数の位置からより自然な立体視を可能とする多眼式、さらに視点数を増やし瞳に２つ以上の視点画像が入射するようにした超多眼式、などが提案されているが、いずれの方式においても各視点画像間の視差を利用して立体感を得ている。

このような表示装置における立体視を実現するための画像データとしては、複数視点に対応した画像を持たせる方法や、１つの視点からの画像である基準画像と、基準画像と別視点の画像における対応点までの距離、すなわち視差をあらわす情報を持った視差マップを備え、視差マップと基準画像を元に他の視点の画像を作り出す方法など様々な形式がある。

立体表示用の画像データの一例として、下記特許文献１に記載の「立体動画像圧縮符号化装置及び立体動画像復号再生装置」がある。この技術によれば、符号化装置ではカメラ等により入力された左眼用画像データと右眼用画像データから基準画像を生成し、次に基準画像と左眼用画像、右眼用画像との差分を求め、それぞれ左眼用差分データ、右眼用差分データとする。そして、基準画像と左眼用差分データ、右眼用差分データを圧縮符号化し、多重化することで、３次元画像符号化データを作成している。復号再生装置側では、符号化データを復号後に、基準画像と各差分データから左眼用画像、右眼用画像データを作成し立体画像を表示する。

このような立体視において、様々な要因により生体に影響を与えることが知られている。例えば、各視点画像間において、視差が大きいほど奥行き方向の距離が増大し、表示画面上に対して大きく飛び出す、あるいは、奥に引っ込んで見えることになる。ところが、視差が大きすぎると輻輳と調節との矛盾などに起因し、立体映像の観察者に疲労感を与えたり、気分が悪くなったりなどの生理的な影響を与える可能性がある。ここで、輻輳とは眼球運動の一種であり、観察する対象に視線を交差しようとする動きであり、調節とはピントを合わせることであり、眼の水晶体の厚みを変え屈折率を変える動きのことである。図１４に示すように、眼１４０７、１４０９と表示画面１４０３との距離を調節距離Ａとし、眼１４０７、１４０９と合焦位置１４０１との間の距離を輻輳距離Ｂとすると、輻輳距離Ｂは立体映像に合うのに対し、調節距離Ａは表示画面上に合うため、矛盾が生じる。突然視差の大きい画像が表示されたりした場合にも、眼がすぐに対応できずに立体視がうまく出来なかったり、疲労や不快感を感じる場合がある。

また、左右画像間の「歪み」や「ずれ」によっても疲労を生じる他、観察位置も疲労などの生理的影響を与える可能性がある。表示装置との距離が同じであっても、画面サイズが大きいほど視差が大きくなり影響が大きくなる他、距離が近くなると立体像の結像位置が自分に近い位置になるが、近くなりすぎると画像がうまく融像せずに立体像として認識できなくなり、疲労を感じる原因となる。このような生体への影響を軽減するための方法が提案されている。

下記特許文献２に記載の「立体画像処理方法および装置」によれば、複数の視点画像から立体画像を表示する時に生じる視差量を検出し、ユーザーの許容視差量の範囲内に入るように画像間の視差量を変化させる方法が記載されている。これにより、上記のような生理的な影響を抑制するとともに、表示装置が変わっても適切な立体画像を観察できるよう立体感の調整を行っている。

また、下記特許文献３に記載の「立体画像処理方法および装置」によれば、立体表示画像の立体感を調整するためのグラフィカルユーザーインターフェース（ＧＵＩ）を提供し、ユーザーの指示に基づいて画像の視差量を変化させることを可能とする技術が記載されている。

特開平７−３２７２４２号公報 特開２００３−２８４０９３号公報 特開２００３−２８４０９５号公報

上記のように、立体画像は視差の大きさなどによって生体に影響を与える可能性がある。しかしながら、従来の立体動画像の再生技術においては、一連の動画像データにおいていずれのシーンの視差が大きいか、すなわち飛び出しや奥行き感が強いかを判別する方法がなかった。そのため、立体動画像を途中から再生する場合などにおいて、いきなり立体感の高い画像が表示され、生体に強い影響を与える可能性があるという問題があった。

また、従来から、ユーザーの許容範囲内の視差に立体画像の視差を調整する方法は提案されている。しかしながら、この方法は画像自体を編集する方法であるため、動画像を途中から再生する際に、急に視差が強い画像から再生されることを防ぐ、という用途には向いていない上に、製作者の意図通りの飛び出し量で再生することができなくなるという問題がある。

本発明は、以上のような問題点を解決するためになされたものであって、少なくとも立体画像データを含む動画像データを再生する際に、一連の動画像の中でいずれのシーンの立体感が強いかを観察者に提示し、生体への影響を低減することを目的とする。また、ユーザーが立体感の強いシーンだけを視聴するとなどの様々な視聴方法を可能とする立体画像処理装置を提供することを目的とする。

本発明の一観点によれば、３次元画像データを含む動画像データを再生するための立体画像処理装置であって、前記３次元画像データの視差情報に基づいて、前記動画像データの各位置における視差の大きさを視認可能とする視差情報提示画像を生成する視差情報提示手段を有することを特徴とする立体画像処理装置が提供される。

前記視差情報提示画像と前記画像データとを同期させて、表示する画像を生成する画像生成手段を有することが好ましい。前記視差情報提示画像は、前記動画像データの各位置における視差の大きさに応じて視覚的に識別可能な画像として表示することにより、前記視差の大きさを視認可能とすることが好ましい。視覚的に識別可能な画像とは、例えば、色、又は、明るさなどである。

前記動画像データは、動画像データ内に含まれる３次元画像データに関する視差情報をメタデータとして保持していることを特徴とする。メタデータに視差情報を含む形式の立体動画像データにおいて、メタデータの視差情報を分析することにより視差情報提示画像を変化させ視差情報を提示することができる。

前記３次元画像データは２次元画像データと視差マップとを含んで構成されており、前記３次元画像データの視差情報は前記視差マップから検出することにより得ることが好ましい。前記３次元画像データは複数視点に対応した複数の画像からなり、前記３次元データの視差情報は前記複数視点に対応した複数画像間の視差を検出することにより得ることが好ましい。

前記３次元画像データは２次元画像データと３次元空間上での距離情報を保持するデプスマップとからなり、前記距離情報を前記視差情報として用いることもできる。前記３次元画像データの視差情報として、３次元画像内における最大視差を用いても良い。前記３次元画像内における最大視差を、視差の大きさに基づいて複数の区分に分割し、各区分に応じて前記視差情報提示画像を視覚的に識別可能な画像として表示することもできる。

前記３次元画像内における最大視差は、前記動画像データを一定単位に分割し、前記単位毎に最大視差を検出して前記視差情報提示画像に表すこともできる。前記視差情報提示画像は、表示される動画像に重畳して表示される再生位置指示ポインタを含み、該再生位置指示ポインタにより現在の動画像の再生位置を視認可能とするようにしても良い。

ユーザーの許容視差を保持する許容視差記憶手段を更に備え、前記動画像データを途中から再生する際に、再生位置の視差が前記許容視差より大きい場合には、前記動画像データの前後から視差が前記許容視差内に収まる位置を検索し、前記検索した位置から再生するように制御することが好ましい。

本発明の他の観点によれば、入力された動画像データを逆多重化するステップと、３Ｄ表示を行うために必要となる３Ｄ情報を解析して視差情報を取得するとともに、符号化された動画像データを復号するステップと、前記視差情報に基づいて、前記動画像データの各位置における視差の大きさを視認可能とする視差情報提示画像を生成するステップと、
視差情報提示画像の表示を判断し、立体表示方式に応じた画像を生成し、視差情報提示画像を表示する際には立体画像に重畳して動画像データの表示するステップと、を有することを特徴とする立体画像処理方法が提供される。本発明は、上記の各ステップをコンピュータに実行させるためのプログラムであっても良い。

本発明の立体画像処理装置によれば、一連の動画像の中でどの部分が３次元画像で構成されるか、また視差の大きいシーンがどこかを簡単に判断することができるという利点がある。

以下、本発明の実施の形態による立体画像処理装置について図面を参照しながら説明を行う。まず、本発明の第１の実施の形態による立体画像処理装置について説明する。本明細書において、以下、「３Ｄ」を３次元または立体、「２Ｄ」を２次元を意味する用語として用いる。また、立体画像からなる動画像データを「３Ｄ画像データ」、通常の２次元画像からなる動画像データを「２Ｄ画像データ」、立体画像と２次元画像の混在している動画像データを「２Ｄ３Ｄ混在画像データ」と称する。

まず、本発明の第１の実施の形態による立体画像処理装置について説明する。図１は、本実施の形態による立体画像処理装置に入力される動画像データの一構成例を示す図である。動画像データは、３Ｄ画像データか、２Ｄ３Ｄ混在画像データであるとする。以下では３Ｄ画像データである場合の例について説明する。

図１（ａ）に示すように、３Ｄ画像データ１００は、ヘッダ制御情報１０１と、３Ｄ識別情報１０２と、３Ｄ表示制御情報１０３と、画像データ１０４と、の少なくとも４つの構成要素を含んでいる。ここで、３Ｄ画像データ１００には音声データを一緒に記録してもよいが、簡単のためここでは省略する。また、これ以外の付加情報を含んでもよい。

各構成要素はオブジェクトと呼ばれ、図１（ｂ）に示す形式を有する。すなわち、１つのオブジェクト１０５は、それぞれを識別する為のオブジェクトＩＤ１０６とオブジェクトサイズ１０７とが記録され、その後オブジェクトサイズ１０７によって規定されるサイズのオブジェクトデータ１０８が続く。オブジェクトＩＤ１０６とオブジェクトサイズ１０７とを合わせてオブジェクトヘッダとする。このオブジェクトは階層構造をとることが可能である。

ヘッダ制御情報１０１は、例えば画像のサイズなど画像データ１０４を再生するために必要な制御情報である。３Ｄ識別情報１０２は、３Ｄ画像であるかどうか、あるいは、３Ｄ画像を含むかどうかを識別するための情報である。３Ｄ表示制御情報１０３は、得られた３Ｄ画像に関する情報であり、視差情報や所望の立体形式に変換するために必要な制御情報を含む。また、画像データ１０４は、画像データそのものである。画像データ１０４は圧縮されたものであっても、非圧縮であってもよい。

図２は、本実施の形態による立体画像処理装置の一構成例を示す機能ブロック図である。立体画像処理装置２００は、入力された動画像データを逆多重化するデータ解析手段２０１と、３Ｄ識別情報を解析する３Ｄ識別情報解析手段２０２と、３Ｄ表示を行うために必要となる３Ｄ情報を解析する３Ｄ表示制御情報解析手段２０３と、符号化された画像データを復号する復号手段２０４と、３Ｄ画像の表示方法や視差情報提示手段を制御する表示制御手段２０５と、表示制御手段２０５からの表示方法に関する情報に従い画像を生成する画像生成手段２０６と、動画像データの視差を示すグラフィカルユーザーインターフェース（ＧＵＩ）として視差情報提示画像を表示する視差情報提示手段２０７と、３Ｄ画像を表示する液晶パネルなどの画像表示手段２０８と、を含んで構成される。

データ解析手段２０１には、ＳＤメモリカード（商標名）などに代表される半導体メディアや、ＣＤ，ＤＶＤに代表されるディスクメディア、ハードディスクドライブなどの磁気メディア、あるいは、ＤＶカセットテープに代表されるテープメディア等に記録された動画像データが入力される。データ解析手段２０１では、各オブジェクトが分離される。まず、動画像データのヘッダ制御情報１０１を解析し、ヘッダ制御情報１０１に続くオブジェクト種別を判定する。次に、各オブジェクトのＩＤを参照することによってオブジェクトを識別し、図２中の各手段へと送る。

図３は、各オブジェクトの詳細を例示した図である。図３（ａ）は、３Ｄ識別情報１０２の詳細な構成例を示しており、３Ｄ識別情報に関するオブジェクトであることを示すオブジェクト固有のＩＤ、オブジェクト全体のサイズ（Ｓｉｚｅ）、および３Ｄ識別情報（Ｄａｔａ）が格納されている。

図３（ｂ）は、３Ｄ表示制御情報１０３の詳細な構成例を示しており、３Ｄ表示制御情報であることを示すオブジェクト固有のＩＤ、オブジェクト全体のサイズ（Ｓｉｚｅ）、および画像配置情報や視点数、視差情報といった３Ｄ表示に関連した様々な情報（Ｄａｔａ）が格納されている。

図３（ｃ）は、画像データの詳細な構成例を示しており、画像データ部であることを示すオブジェクト固有のＩＤ，オブジェクト全体のサイズ（Ｓｉｚｅ），及び符号化データ（Ｄａｔａ）が格納されている。

ここで、３Ｄ識別情報の固有ＩＤを０ｘ１１とし、３Ｄ表示制御情報の固有ＩＤを０ｘ１２とし、画像データの固有ＩＤを０ｘ１３とすると、解析データ手段２０１は、これらの固有ＩＤに従い、固有ＩＤが０ｘ１１であれば３Ｄ識別情報解析手段２０２に、０ｘ１２であれば３Ｄ表示制御情報解析手段２０３に、０ｘ１３であれば画像データであると判断して復号手段２０４へと、オブジェクトをそれぞれ分離して送る。

３Ｄ識別情報解析手段２０２は、データ解析手段２０１から送られてきた３Ｄ識別情報１０２を解析して表示制御手段２０５へと送る。３Ｄ識別情報は、動画データが３Ｄ画像データであるときは１と、２Ｄ画像データであるときは０と、２Ｄ３Ｄ混在データである時は３と、いうように定義される。

３Ｄ表示制御情報解析手段２０３は、データ解析手段２０１から送られてきた３Ｄ表示制御情報１０３を解析して表示制御手段２０５へと送る。ここで、図３（ｂ）に示す３Ｄ表示制御情報１０３に記述される情報の詳細を示す。なお、ここで挙げる以外にも、撮影時のカメラに関する情報や、撮影時に想定した表示装置の画面サイズなど様々な情報を含んでよい。

画像配置情報とは、３Ｄ画像データが含む、異なる視点の画像をどのような配置で格納されているかを示す、いわゆる配置フォーマットの情報である。図４にこの時の例を示す。図４（ａ）は、左眼の視点から見た左眼用画像Ｌと右眼の視点から見た右眼画像Ｒとを左右に並置した例である。また、図４の（ｂ）は、左眼用画像Ｌを上に、右眼用画像Ｒを下側に配置したフォーマットの例である。このような、３Ｄ画像の配置を画像配置情報によって示し、例えば図４（ａ）の配置を“１”、図４（ｂ）の配置を“２”というように規定しておくことで、この情報により画像データのフォーマットが識別可能となる。ここで示した以外にも、図４（ａ）で左右配置を逆にした配置など、図４（ｂ）で上下を逆にした配置など様々な形式が存在する。また、この様な、左右をまとめた形ではなく、それぞれ独立したストリームであってもよい。なお、図４（ａ）、図４（ｂ）では視点数は２となる。ここでは、入力される３Ｄ画像は図４（ａ）に示す形式をしているとして以下の説明を行う。

視差情報は、例えば、ある一定時間単位ごとの最大視差である。最大視差とは、２つの視点画像があった場合に、その画像内で最も視差のある部分の視差を示す。最大視差を説明するための例を図５に示す。図５（ａ）は左眼用画像、図５（ｂ）は右眼用画像である。点ＡＬと点ＡＲ点、ＢＬと点ＢＲとは、それぞれ左右画像の対応する点であり、ＡＬ、ＡＲは立体視したときに画像上で最も飛び出して見える点であり、ＢＬ、ＢＲは最も奥に離れて見える点を示している。視差は、左右画像の対応点同士において、各画像において左端から対応点までの距離（画素数）を算出し、その差分によって算出される。

左眼用画像の左端から点ＡＬまでの距離（画素数）ｄＬ１と、右眼用画像の左端から点ＡＲまでの距離ｄＲ１とを比較すると、ｄＬ１＞ｄＲ１であり、ｄＬ１−ｄＲ１は正の値となり表示画面より飛び出して見える。ＡＬ、ＡＲは、立体視した際に最も飛び出して見える点であるため、表示画面から飛び出す方向への最大視差をｄ１とすると、ｄ１＝｜ｄＬ１−ｄＲ１｜となる。また、距離ｄＬ２とｄＲ２とを比較すると、ｄＬ２＜ｄＲ２であり、ｄＬ２−ｄＲ２は負の値となり表示画面より奥行き方向に離れて見える。表示画面から奥行き方向への最大視差をｄ２とすると、ｄ２＝｜ｄＬ２−ｄＲ２｜となる。

視差の算出は、画像作成時に予め行われており、３Ｄ表示制御情報に視差情報として格納されているものとする。この視差情報の詳細な一例を図６に示す。ここでは、３Ｄ画像データが全体で３０分のストリームであるとし、図６における左端の１から６の区分は、３Ｄ画像データにおける５分間を表す。区分１は０〜５分、区分２は５分から１０分、というように順に５分おきの間隔における３Ｄ画像データの最大視差を示している。区分１である０から５分までのデータでは、飛び出し方向の最大視差ｄ１は１２８、表示画面より奥行きへの方向の最大視差ｄ２は４０であり、飛び出し感の強い画像であることを示す。

復号手段２０４は、データ解析手段２０１から送られてきた画像データ１０４が符号化されていた場合に、この符号化された画像データを復号し、画像生成手段２０６へと送る。

表示制御手段２０５は、入力された動画像データが３Ｄ画像データか２Ｄ画像データかなどの形式を３Ｄ識別情報解析手段２０２からの情報により認識する。そして、３Ｄ表示制御情報解析手段２０３からの情報に従い、視点数や配置位置情報などの情報を得る。また、表示制御手段２０５には、ユーザーからの指示情報が入力される。指示情報としては、画像を表示する画像表示手段２０８の立体表示方式、画像の再生モードがある。以下、ユーザーからの指示情報について説明する。

立体表示方式には様々なものがあるが、ここでは画像表示手段２０８がパララクスバリア方式の液晶ディスプレイであるとして説明する。バリアは液晶によって実現され、２Ｄと３Ｄとの切り替えが可能であるとする。

図７は、パララクスバリア方式を説明するための概念図である。図７（ａ）は、立体視に関する原理を示す図である。一方、図７（ｂ）は、パララクスバリア方式で表示される画面を示す図である。図７（ａ）に示すように、図７（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル７０１に表示し、同一視点の画素の間隔よりも狭い間隔のスリットを持つパララクスバリア７０２を画像表示パネル７０１の前面に配置する。この時、図７（ａ）における画像表示パネル７０１に表示された画像は、バリア７０２に遮られ、左眼７０３からは左眼画像部分だけを、右眼７０４からは右眼画像の部分だけを観察することとなり、立体視が可能となる。

このため、表示制御手段２０５は画像表示手段２０８の立体表示方式にあわせ、立体表示する場合には本実施の形態における入力画像である図４（ａ）の画像を、３Ｄ表示制御情報を参照して立体画像の視点数や形式を参照して、左眼画像と右眼画像がそれぞれ水平方向に１画素列おきに並ぶよう、変換した画像を生成するよう画像生成情報を画像生成手段２０６へ通知する。

次に、再生モードについて説明する。図８は、ユーザーからの指示情報である再生モードと表示方法との関係の一覧を示した図であり、再生モードは”通常再生”、”逆転再生”、”早見再生”、”早送り再生”、”早戻し再生”、”スロー再生”、”コマ送り再生”のうちのいずれかが選択される。再生モードがいずれであるかに応じて、表示方法を切り替える。尚、早送り再生、早戻し再生時には高速で画面が切り替わる。この際、シーンに応じて視差が異なることから、高速で大きく視差が異なる画像が３Ｄ表示されると、ユーザーに大きな負担を与えるうえ、高速であることから正確な立体視が行えずどのようなシーンかを判断することも困難になるため、早送り再生、早戻し再生時には２Ｄ表示するようにする。２Ｄ表示の方法としては様々な方法がある。一例としては、左右の眼に同じ画像が入るように、左眼用画像、右眼用画像のうちのいずれか一方を選択し、選択した画像を左右両方の眼に提示することで、視差がなくなり２Ｄ表示することが可能となる。また、左眼の画像だけ提示し、右眼の画像を提示しないという方法でもよい。

以上により、表示制御手段２０５はユーザーからの指示情報と３Ｄ識別情報、３Ｄ表示制御情報に従い、画像生成手段２０６に３Ｄ表示する為に必要となる画像生成情報を送る。

また、表示制御手段２０５は３Ｄ表示制御情報のうち視差情報を視差情報提示手段２０７へと送る。また、ユーザーからの指示情報についても入力がある度に視差情報提示手段２０７へと送る。ユーザーからの指示情報において再生モードが早送り、もしくは早戻しだった場合、視差情報提示手段２０７は視差情報提示画像を視差情報に基づいて生成し、画像生成手段２０６に送る。

画像生成手段２０６は、復号手段２０４から送られてきた３Ｄ画像データと、表示制御手段２０５より送られてきた画像生成情報を元に、画像表示手段２０８に表示する為の画像を生成する。さらに、視差情報提示手段２０７から視差情報提示画像が送られてきた場合には、生成した画像上に視差情報提示画像を重畳した画像を生成し、画像表示手段２０８に送り、画像表示手段２０８は画像を表示する。この際、復号後の画像データと視差情報提示画像とを同期させることで、表示される画像におけるリアルタイムの視差情報をユーザに提示することができる。

視差情報提示画像の例を図９に示す。図９（ａ）は画像表示手段２０８に、画像生成手段２０６からの３Ｄ画像と、視差情報提示手段２０７から送られてきた視差情報提示画像としての視差情報提示バー９００とを表示した時の図であり、図９（ｂ）は図９（ａ）に示された視差情報提示バー９００の詳細図である。再生モードは早送り、もしくは早戻しのため、３Ｄ画像は２Ｄ表示されている。同様に、視差情報提示バー９００も２Ｄ表示、すなわち視差が０となるように提示されている。視差情報提示バー９００は、水平方向の位置が動画像データの位置を示している。視差情報提示バー９００において、左端の９０１の部分は図６の区分１に対応しており、動画像データの最初の０〜５分までの区間を示しており、順に、次の９０２の部分は、区分２の５〜１０分を、その右の９０２の部分は区分３の１０〜１５分を、という対応になっている。視差情報提示バー９００は視差の大きさに応じて表示する色を変えるのが好ましい。

ここでは、視差０の時はその位置の視差情報提示バーの信号値を赤色Ｒ＝２５５、緑色Ｇ＝２５５、青色Ｂ＝２５５で白色表示に、視差が１以上２５未満のときはＲ＝２５５、Ｇ＝２００、Ｂ＝２５５で、２５以上５０未満の時はＲ＝２５５、Ｇ＝１００、Ｂ＝２５５で、５０以上から７５未満のときはＲ＝２５５、Ｇ＝０、Ｂ＝２００で、７５以上１００未満の時はＲ＝２５５、Ｇ＝０、Ｂ＝２００で、１００以上のときにはＲ＝２５５、Ｇ＝０、Ｂ＝０で赤色表示とすることとする。視差情報提示バー９００は飛び出し方向の最大視差ｄ１を示すとすると、図６で示した視差情報を参照して、視差情報提示バー９００は区分１と区分５では視差１００以上であるためＲ＝２５５、Ｇ＝０、Ｂ＝０となり、区分２は視差８０よりＲ＝２５５、Ｇ＝０、Ｂ＝２００、区分３と４とは視差が６４と５０であるためＲ＝２５５、Ｇ＝０、Ｂ＝２００、区分６は視差が４０であるためＲ＝２５５、Ｇ＝１００、Ｂ＝２５５の色で表示する。

図９（ｂ）はこの時の視差情報提示バー９００の詳細図であり、符号９０１の領域がＲ＝２５５、Ｇ＝０、Ｂ＝０、符号９０２がＲ＝２５５、Ｇ＝０、Ｂ＝２００、符号９０３がＲ＝２５５、Ｇ＝０、Ｂ＝２００、符号９０４がＲ＝２５５、Ｇ＝１００、Ｂ＝２５５の色を示している。このような視差情報提示バー９００を表示することにより、３Ｄ画像データにおいてどの辺りの映像の飛び出し量が多いかを、一目で確認することができる。

画像データを構成する全てのフレームにおいて最大視差を保持してもよいが、この場合視差が頻繁に変化するようなシーンでは、細かく色が変化するため、色が混ざって見えて実際の視差がどのくらいなのか判断しづらくなったり、操作を誤り視差の小さい部分を選択する際に大きい部分を選択してしまうなどということがありうるが、一定単位ごとに扱うことによりユーザーが視差の大小を判断しやすくなり、誤った選択により飛び出し量の多い部分から表示し生体に悪影響を与えることを防止できるという利点がある。

また、全てのフレームについて情報を保持すると情報量が多くなるのに対して、ここに示すように、ある一定の時間単位で最大視差を保持することにより、視差情報のデータ量を削減することが可能となる。特に、放送や、ストリーミングなどの、いわゆる伝送路が伝送できる情報量に限りがある場合には、この視差情報を減らし、減らした分だけ伝送する画像データの量を増やすことにより、画質を向上させたり、フレーム数を上げたりすることができるという利点がある。

また、上記のように視差情報を減らすことができた分だけ、受信装置側では、１フレームに割り当てる受信バッファの容量を少なくすることができ、また、１フレームを再生する際の処理量を削減することも可能である。

また、上記動画像データは、視差情報が伝送されることを意識していない従来の受信装置を用いた場合でも、視差情報を無効なデータとして無視することにより、受信及び再生が可能であるという利点がある。従来の方法では、伝送する視差情報が多すぎると、従来の受信装置の受信バッファを使い切ってしまう可能性があり、その結果、データの欠落や、それによる表示の遅延などが生じてしまう。これに対して、上述のように、動画像データの一定の区間における視差情報を求め、それを伝送することにより、このような問題の発生を抑制することが可能である。

視差の大きさに関しても、一定の範囲ごとに色を変えるようにすることにより、細かく色を変える場合よりも一目でおおよその視差の大きさがわかるようになる。

図９（ｂ）において、符号９０５は、再生位置指示ポインタである。この再生位置指示ポインタ９０５により、現在の再生位置を表示することができる。早送り再生や巻戻し再生で２Ｄ表示をしている際に、再生位置指示ポインタ９０５と視差情報提示バー９００とを参照することにより、現在の位置がどの程度の視差があるかを確認することができるとともに、３Ｄ表示になった場合にどの程度の飛び出し量になるかを確認することができる。視差が大きい部分から通常再生を開始した場合に、鑑賞位置や画面サイズなどにも依存するが、飛び出し量が強すぎ、眼など生体に悪影響を与える可能性があるが、このようにすることにより再生しようとする位置の視差を一目で確認可能であることから、ユーザーがあらかじめ表示手段から距離を置くなどの対応や、視差の小さい位置から表示を始めるなどの対応をとることが可能となり、３Ｄ表示による生体への悪影響を防止することが出来るという利点がある。また、飛び出し量の大きいシーンだけを視聴したいといった場合には、どのシーンにおける視差が大きいかを一目で判断することができるため、ユーザーは所望のシーンを即座に選択し、好みの飛び出し量のシーンを選択的に視聴することも可能となる。

尚、本実施の形態では、３Ｄ識別情報と３Ｄ表示制御情報とを別々に持つデータを用いることを例にして説明したが、３Ｄ識別情報と３Ｄ表示制御情報とを一つにまとめて保持してもよく、またヘッダ情報内に階層構造として保持していてもよい。各オブジェクトの固有ＩＤ等の値もここで挙げたものに限定されることはない。また、複数のオブジェクトが１つのまとまったデータとして記録されている場合でなくとも、各オブジェクトが別々のデータに記録されていてもよく、複数のオブジェクトが画像データ領域に一括して記録されていてもよい。また、オブジェクトの格納方法として、３Ｄ識別情報オブジェクトや３Ｄ表示制御情報オブジェクト等の情報量の少ないデータは、画像データ領域の拡張領域や、サブコード領域等の画像データ領域とは別の記憶領域に記録されていてもよい。

画像表示手段２０８の立体表示方式はパララックスバリア方式を例にして説明したが、時分割方式や偏光方式など他の立体表示方式であってもよく、表示デバイスも液晶素子を用いたデバイスに限定されるものではなく、時分割方式のプロジェクタ等であっても良い。

また、図６で示した視差の値自体も例示であるためこれに限られるものではなく、画像に応じて様々な値をとる。

また、ここでは簡単のため１区分を５分間とし、その中での最大視差を使用したが、１区分をより短い時間にしても長い時間にしてもよく、短い時間であればユーザーはより正確に動画像データにおける視差の分布を把握することが可能となる。ＤＶＤの再生画像データなどであれば、時間ではなくＤＶＤに付与されているチャプターごとに最大視差を保持する形式を用いてもよい。また、ここで示したように一定の区分ではなく、最大視差の変化がある一定量変化するまでを１区分として保持しているものとしてもよい。例えば、最初のフレームの最大視差が５０であった場合に、閾値を±１０と決めるとすると、最大視差が４０より小さくなるか、あるいは、６０より大きくなるまでを一区分として最大視差の値を保持するという形になる。

また、最大視差として利用するのは飛び出し方向、奥行き方向のどちらでもよく、奥行き感の強い画像や飛び出し感の強い画像など、動画像に応じて切り替えたり、ユーザーが切り替えを行えるようにしてもよい。ここでは奥行き方向の視差が負の値になるようにしたが、逆の計算方法としてもよく、視差の算出で負の値に対して絶対値をとって正の値にしたが、負の値のまま保持して符号により飛び出し方向か奥行き方向かを区別するようにしてもよい。

また、ここでは図９に示したような視差情報提示バーとして、動画像データ全体の位置と再生位置を示すものを復号後の画像データと同期して表示しているが、現在の再生位置の視差だけを示す画像を表示するものとしてもよい。この場合、図２に示した表示制御手段２０５は、３Ｄ表示制御情報解析手段２０３からの３Ｄ表示制御情報のうち提示する画像データと同期した視差情報を視差情報提示手段２０７へと送り、視差情報提示手段２０７は提示する画像データに応じた区分の最大視差が大きい場合には赤く、小さい場合には青い円形の画像を視差情報提示画像として生成し、画像生成手段２０６が視差情報提示画像を画像データに重畳して画面右端に表示するよう視差情報提示画像を生成することとなる。もちろん、視差情報提示画像の位置や形、色などはここに例示したものに限定されるものではない。

また、図９に示した視差情報提示バーは、早送り再生、早戻し再生のときに提示するものとして説明したが、ユーザーからの指示に応じて通常再生時や、画像を再生しない通常の早送りや早戻し中など、ここで示した以外のモードの時にも表示するようにしてもよい。図８における各再生モードにおける表示方法は、表示設定としてユーザーが任意に設定できるようにしてもよい。

また、視差情報提示バーの色を変える際、視差を２５ずつに区切って色を変えたが、この値に限定されるものではなく、視差に応じて１ずつ細かく色を変えるようにしてもよく、より大きい視差で区切ってもよい。視差情報提示バーの色に関しても、赤を基調とした色ではなく、青系統の色でも他の色でもよく、透明度を設定して透明度を変え明るさを変えるようにしてもよい。ここでは最大視差として飛び出し方向の視差に応じて表示するようにしたが、奥行き方向の視差ｄ２を表示してもよく、両方を同時に表示できるようにしてもよい。

また、動画像データは３Ｄ画像データ、２Ｄ画像データ、２Ｄ３Ｄ混在データのどれでもよいと前述したが、２Ｄあるいは２Ｄ３Ｄ混在時の２Ｄ部分においては、視差０に対応する色で表示するか、２Ｄであることを示す色別途を設定し表示する。２Ｄの色を別途設定した場合、２Ｄ部分だけ、３Ｄ部分だけを視聴することも可能となる。

次に、本発明の第２の実施の形態による立体画像処理技術について図面を参照しながら説明を行う。図１０は、本実施の形態による立体画像処理装置の一構成例を示す機能ブロック図である。尚、図１０において、図２と同様の機能ブロックに対しては同じ符号を付している。

図１０に示すように、立体画像処理装置１０００は、視差マップと画像データによって構成される動画像データを逆多重化するデータ解析手段１００１と、視差マップ解析手段１００２と、符号化された画像データを復号する復号手段２０４と、３Ｄ画像の表示方法や視差情報提示手段を制御する表示制御手段１００３と、表示制御手段１００３からの表示方法に関する情報に従い画像を生成する画像生成手段２０６と、動画像データの視差を示すグラフィカルユーザーインターフェース（ＧＵＩ）として視差情報提示画像を表示する視差情報提示手段２０７と、立体画像を表示する画像表示手段１００４と、を含んで構成される。

入力される３Ｄ画像データは、２Ｄ画像と視差マップとによって構成される。ここでは、多視点画像であり視点数を４とすると、基準画像である２Ｄ画像のほか、基準画像に対する各視点画像への視差の情報を保持する視差マップが３つ存在することとなる。視差マップとは、別視点の画像を、基準画像から別視点画像への対応点までの視差で表したものである。視差マップの作成方法としては、複数の視点画像からステレオマッチングにより検出する方法など様々なものがある。ここではステレオマッチングによる視差情報を検出する方法の一つを例としてあげる。

視差は、左眼用画像と右眼用画像とを比較し、被写体の対応点を求めることにより算出する。しかしながら、入力画像をそれぞれの画素値を値にもつ２次元の配列と見て、同じ行における点の対応関係を求めるときに、その点の画素の比較だけでは結果が非常に不安定になってしまう。そこで、面積相関法を使用し、注目している画素の周りの面で比較し、その面中の点それぞれについて左右の画像中で差をとり、その合計がもっとも小さいものを対応点とする。

図１１に示すように、ある一定のサイズのブロック単位で対応点を探す。それぞれの画素のＲＧＢ（赤、緑、青）成分の差を元に比較を行う。図１１（ａ）は左眼用画像、図１１（ｂ）は右眼用画像であり、それぞれの画像において左上から横方向にｘ番目、縦方向にｙ番目の画素を、Ｌ（ｘ、ｙ）、Ｒ（ｘ、ｙ）と表すものとする。縦方向には一致しているので、横方向のみで比較し視差を算出する。視差をｄで表し、Ｌ（ｘ、ｙ）とＲ（ｘ−ｄ、ｙ）の画素値についてＲＧＢ成分の差を比較する。これをブロック毎に行い、例えばブロックを４×４の画素構成とすると、左右それぞれ１６個の画素値を比較し、それらの差分およびその総和を求め、この差分の総和によって各ブロックの類似度を見る。この差分の総和が最も小さくなる時、それぞれのブロックは対応していることとなり、そのときのｄが視差となる。

図１１では図１１（ａ）の１１０１と図１１（ｂ）の１１０２Ｌ、１１０２ｍ、１１０２ｎのブロックを、それぞれ上記のようにＲＧＢ成分の差として算出すると、１１０２ｍで最も差が小さくなり、このブロックが対応するブロックであることが分かり、視差ｄを算出することができる。画像全体をブロックに分け、それぞれ対応点を見つけ出すことにより、画像全体の視差をブロック単位で算出することが出来る。

データ解析手段１００１では、視差マップと２Ｄ画像を分離する。視差マップは視差マップ解析手段１００２へと送られ、２Ｄ画像は復号手段２０４へと送られる。

視差マップ解析手段１００２は、視差マップから最大視差を求める。動画像データを構成する画像ごとに視差マップがあるため、これを解析し各フレームにおける最大視差を求めて、視差マップとこの最大視差とを表示制御手段１００３に送る。ここでは、各フレームにおける最大視差は、基準画像と代表となる別の視点の画像とを１つ決めておき、その２つの画像における最大視差をそのフレームの最大視差として算出する。

表示制御手段１００３は、送られてきた視差情報を視差情報提示手段２０７へと送り、視差マップを元に、画像表示手段１００４の立体方式に応じた表示画像を生成するための画像生成情報を画像生成手段２０６へと送る。ここで、画像表示手段１００４の立体方式はレンティキュラ方式であるとして説明を行う。レンティキュラ方式について図を用いて説明する。

図１２は、レンティキュラ方式の原理を示す図である。ここでは、多眼式であるとし、視点数は４であるとする。図１２は、表示装置を真上から見た図であり、図の矢印の方向が表示装置を正面から見た場合の水平方向となる。表示装置の画像表示パネル１２０１に４つの視点１２０５−１〜１２０５−４までから見た画像を水平方向に順に並べる配置にする。図１２の画像表示パネル１２０１に付されている１から４までの各数値は、１の部分には視点１（１２０５−１）の画像が、２の部分には視点２（１２０５−２）の画像がといったように、視点１から視点４の各視点に対応した画像が表示されていることを示している。そして、その前にレンティキュラレンズ１２０２を配置し、図のようにレンティキュラレンズ１２０２の一つの凸部に複数の画素からの光が入るようにする。これにより、各視点画像からの光が各視点画像に対応した位置に集まり、複数の位置から見ても立体視することが可能となる。

画像表示手段１００４は、レンティキュラ方式で４視点を持つとすると、表示制御手段１００３は視差マップの情報を画像生成手段２０６へと送り、復号手段２０４から送られてきた１つの視点の２Ｄ画像と視差マップの情報とから、複数視点の画像を画像生成手段２０６で生成させる。更に、それをレンティキュラ方式に合わせ、水平方向に各視点画像が並ぶようにした画像を生成させる。

視差情報提示手段２０７は、表示制御手段１００３から送られてきた視差情報を元に、第１の実施の形態と同様に、視差情報提示画像である視差情報提示バーを生成し、画像生成手段２０６へと送る。尚、第１の実施形態においては、視差情報提示バーは視差０としたが、視差を持たせて３Ｄ表示してもよく、ここでは視差を各視点間共通で飛び出し方向に２０持たせ、３Ｄ表示するとする。

画像生成手段２０６は、表示制御手段１００３からの画像生成情報に従い、上述のように立体画像を生成し、視差情報提示手段２０７より視差情報提示バーが送られてきたときには、これを重畳した画像を生成し、画像表示手段１００４に送り、画像表示手段１００４は画像を表示する。

この時、前述のように視差情報提示バーは再生モードが「早送り再生」等の際に表示されることとなるが、ユーザーが視差情報提示バーを確認しながら再度通常再生を開始する位置を決定するとしても、場合によっては操作の誤りなどから視差の大きい部分から再生を始めてしまうことがある。それを防止するためには、予めある一定以上の視差を許容視差として設定しておき、設定した許容視差よりも視差の大きな位置から再生を始めることが選択された場合、その前後の視差情報を検索し、最も近い許容視差内の位置を探してその位置から再生を行う。例えば、図１３に示すように１０秒ごとの飛び出し方向への最大視差ｄ１が視差情報として保持されているものとする。

図１３において、０：０３：１０の欄は動画の開始から３分の位置から３分１０秒までの位置の最大視差ｄ１を示している。あらかじめ許容視差は１００と設定されており、早送りによって開始から３分４５秒の位置からの再生がユーザーから指示されていたとすると、この時、図１３より０：０３：５０の部分を参照して、視差は１２２となり許容視差を超える。この前後で、許容視差内の部分を検索すると、最も近いのは３分５０秒以降の０：０４：００の部分となり、この部分から再生すれば、ユーザーがいきなり視差の大きい画像からの再生を始めることを防ぐことが可能となり、ユーザーに悪影響を与え気分の不良などを引き起こすのを防ぐことが出来る。

また、上記の手法を用いると画像編集を行う必要がないため、編集によって画像の製作者の意図と異なる表示になることもなく、手順が簡単である。以上に説明したように、表示制御手段１００３はユーザーからの指示情報を受け取り、再生を行う際に、上記のように視差情報に応じて再生位置を決定し、再生する画像を生成するよう画像生成手段２０６に画像生成情報を送る。

尚、ここで許容視差が予め与えられている場合を例に説明したが、ユーザーが各自の判断により自由に設定できるようにしてもよい。これにより、表示装置の画面サイズなど各自の環境に応じて設定できるようになる他、子供などが見る際には予め小さい許容視差としておくなど、状況に応じた対応が可能となる。また、ユーザーが立体画像を見る際の視差情報を記憶装置に保存しておき、その視差情報を解析しユーザーがどのくらいの視差のある映像をよく見るかを調べ、その頻度に応じて、頻度の高い許容視差を判断するなど、自動で設定すべき視差を判定する機能を設けてもよい。

また、図１１におけるステレオマッチングにおいては、ＲＧＢ成分の差を比較したが、Ｒ、Ｇ、Ｂそれぞれの差分に対して異なる重み付けをするようにしても良い。さらにまた、ＲＧＢ成分をＹＵＶ成分などに変換し、Ｙ、Ｕ、Ｖそれぞれの差分に対して異なる重み付けをしても良い。例えば、輝度成分だけを用いて差分の総和を求めてもよい。またここでは、ブロックを４×４の画素構成としたが、水平・垂直とも少なくとも一つ以上の画素から構成されていれば、ブロックの画素構成がいくつであってもかまわない。尚、ここで挙げたステレオマッチングの方法はその一例であり、他の手段を用いてもよい。

また、上記においては、多視点に対応して複数の視差マップを保持するものとしたが、視差マップの代わりに３次元空間上での距離を保持するデプスマップを保持し、空間上の距離と視点位置とから中間画像を生成するようにしてもよい。デプスマップの生成方法としては、赤外線カメラと赤外線ＬＥＤとを使用して、ＬＥＤからの光が帰ってくるまでの時間と光速とから距離を求める方法がある。デプスマップを使用する場合、表示画面に対して垂直な方向、すなわち飛び出し方向、奥行き方向に対応する距離が分かっており、視差の大きさと距離は対応するため、距離を視差情報として用いてもよい。撮影位置とデプスマップの情報から、表示画面に対して垂直な方向で距離が撮影位置から近いほど飛び出しが強く、遠いほど奥行き方向へ離れることとなる。そのため、最大視差として撮影位置から最も近い最近点、あるいは、最も遠い最遠点を用いることにより、視差を用いる場合と同様に扱うことが可能となる。

また、多視点の時の最大視差は、ここで挙げたように、代表となる２つの視点の画像の視差として算出してもよいし、隣り合う視点の画像ごとに視差を算出し、その最大のものを最大視差としてもよい。

また、ここでは視差情報提示画像である視差情報提示バーにおいて、基準画像と代表となる別の１つの視点の画像との最大視差を用いて表示したが、隣り合う視点画像ごとに視差を算出した場合、視差情報提示バーに関しても各視点に対応した視差情報提示バーを複数用意しておき、それぞれの視点位置に対応して、その視点位置から観察する２つの視差画像間の最大視差を視差情報提示バーで表示するようにしてもよい。多視点の場合には、観察する位置に応じて視認する視点画像が異なることから、最大視差も観察位置によって異なるが、隣り合う視点画像毎に全て視差を算出して各視差情報提示バーに表示することにより、観察位置に応じた適切な視差分布を確認することができる。

また、ここでは、３Ｄ画像は２Ｄ画像と視差マップとで構成され、このようなフォーマットの３Ｄ画像を作成する時点の視差マップの作成方法として、ステレオマッチングを挙げたが、視差マップではなく多視点の複数の画像をそのまま保持する形式の３Ｄ画像であった場合に、ここで挙げたようなステレオマッチングにより立体画像処理装置側で視差情報を検出することにより、多視点画像を保持する形式の動画像データにも対応することが可能である。

また、ここでは、第１の実施の形態と同様に、単純に最大視差の大小だけを判断して視差情報提示バーを変化させる例を示したが、急激に最大視差が変化するシーンを多く含む場合は、注意を喚起するように異なる色としてもよい。具体的には、各フレーム毎に視差マップから最大視差を検出することとする。まず、変化が大きいと判断する閾値となる視差量を定義する。この視差量をｄｓとし、今、ｄｓ＝１００とする。あるフレームにおける飛び出し方向の最大視差ｄ１（ｔ）と奥行き方向の最大視差ｄ２（ｔ）とを比較し、値の大きい方を保持する。次に、次のフレームにおけるｄ１（ｔ+１）とｄ２（ｔ+１）とを比較し、同様に値の大きい方を保持する。今、最初のフレームではｄ１（ｔ）＝６０、次のフレームではｄ２（ｔ＋１）＝１００が保持されるとする。２つのフレーム間で保持した値を比較し、２つの値が飛び出し方向と奥行き方向というように方向が異なり、かつ、それぞれの値の和が定義した視差量ｄｓを超える場合には、視差が急激に変化すると判断する。ここでは、ｄ１（ｔ）＋ｄ２（ｔ）＝１６０＞ｄｓ＝１００より、急激に変化すると判断される。ここで、ｄ１とｄ２の和としたのは、それぞれの値を正の値になるように定義しているためである。

このように急激に視差が変化するシーンが多いかどうかを、このようなシーンが例えば１分あたりで何回あるかを判断し、予め決められた回数の閾値、例えば３回であれば３回を越えるような場合には、その区間は視差の変化が大きいシーンであると判断する。視差の変化が大きい場合、ユーザーへの生理的な負担が大きいため、これによりユーザー側の注意を促すことが出来る。

また、ここでは、立体画像処理装置に表示手段を含めており、一体化している表現となっているが、表示装置と一体化は必須の要件ではなく、外部機器として実現してもよいことは言うまでもない。

以上、本発明の実施の形態による立体画像処理装置によれば、３次元画像データの視差情報を示す視差情報提示画像を表示するための視差情報提示手段を備え、上記視差情報提示画像により前記動画像データの各位置における視差の大きさを視認可能とすることを特徴とし、一連の動画像の中でどの部分が３次元画像で構成されるか、また視差の大きいシーンがどこであるかを簡単に判断することができる。

また、上記視差情報提示画像は、長さ方向の位置が動画像データの各位置を示すとともに、３次元画像データによって構成される位置では色又は明るさを２次元画像データによって構成される位置に対して異なるようにすることにより、色または明るさの違いによって、明示的に視差の変化を提示することができる。

また、上記動画像データは、動画像データ内に含まれる３次元画像データに関する視差情報をメタデータとして保持しており、メタデータに視差情報を含む形式の立体動画像データにおいて、メタデータの視差情報を分析することにより視差情報提示画像を変化させ視差情報を提示することができる。

また、上記３次元画像データは、２次元画像データと視差マップとからなり、上記３次元データの視差情報は視差マップから検出することにより、視差マップを保持する形式の立体動画像データにおいて、視差マップから各動画像の位置における視差を解析し、視差情報提示画像を変化させることで動画像データの時間的な視差の分布を視認可能とすることが出来る。

また、上記３次元画像データは、２次元画像データとデプスマップとからなり、上記デプスマップの距離情報を上記視差情報として用いることにより、デプスマップを保持する形式の立体動画像データにおいて、デプスマップの距離情報を視差情報として扱い、視差情報提示画像を変化させることで動画像データの時間的な視差の分布を視認することができる。

また、上記３次元画像データは複数視点に対応した複数の画像からなり、上記３次元データの視差情報は、上記複数視点に対応した複数画像間の視差を検出することにより得ることにより、複数視点画像を保持する立体動画像データ形式において、各視点画像間の差分から視差を検出し、視差情報提示画像を変化させることで動画像データの時間的な視差の分布を視認が可能となる。

また、上記３次元画像データの視差情報は、３次元画像内における最大視差量であることにより、視聴しようとする動画像の各位置での視差が大きいかどうかをあらかじめ確認することが可能となり、生体への影響を防止する為に視差の少ない部分から視聴するといった対応をすることも可能となる。

また、上記３次元画像内における最大視差を、視差の大きさに従い複数の区分に分割し、各区分に応じて上記視差情報提示画像の色、あるいは、明るさの少なくとも一方を異なるようにすることを特徴とし、細かく色を変える場合よりも一目でおおよその視差の大きさがわかるようになり視認性が向上する。

上記３次元画像内における最大視差は、動画像データを一定単位に分割し、単位ごとに最大視差を検出して視差情報提示画像に表すことにより、視差が頻繁に変化するようなシーンでは細かく色や明るさが変化し視差の大きさを判別しづらいが、一定単位ごとに扱うことによりユーザーが判断しやすくなり、誤った操作などにより意図せず視差の大きい画像から表示して生体に影響を与えることを防止することができる。

また、視差情報提示画像に重畳して表示される再生位置指示ポインタをさらに備え、再生位置指示ポインタにより現在の再生位置を視認可能とすることをにより、観察者が早送りなどを行い動画像の途中から視聴しようとする場合に、再生位置の視差がどの程度あるかを判別することが可能となる。

また、ユーザーの許容視差を保持する許容視差記憶手段を更に備え、動画像データを途中から再生する際に、再生位置の視差が許容視差より大きい場合には、動画像データの前後から視差が許容視差内に収まる位置を検索し、検索した位置から再生することにより、画像自体を編集する事無く、誤って視差の大きい部分から再生しようとした場合にも、許容視差内の部分から再生するようになるため、ユーザーに気分の悪化などの悪影響を与えるのを防止することができる。

尚、本発明は、上述した各実施の形態にいって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる形態についても本発明の技術的範囲に含まれるものとする。

本発明は立体画像処理装置に利用可能である。

本発明の第１の実施の形態による動画像データの一例を示す図である。 本実施の形態による立体画像処理装置を示すブロック図である。 動画像データにおける、各オブジェクトの詳細を示す図である。 動画像データにおける３Ｄ画像の例を示す図である。 ３Ｄ画像における最大視差を説明する図である。 ３Ｄ画像における最大視差の分布に関する一例を示す図である。 パララックスバリア方式を説明するための図である。 ユーザー指示情報の例を示す図である。 視差情報提示画像の一例を示す図である。 本発明の第２の実施の形態による立体画像処理装置を示すブロック図である。 視差情報を得るためのステレオマッチングを説明する図である。 レンティキュラ方式を説明する為の図である。 ３Ｄ画像における最大視差の分布に関する一例を示す図である。 立体視における輻輳と調節の関係を示す図である。

符号の説明

１００ 動画像データ
１０１ ヘッダ制御情報
１０２ ３Ｄ識別情報
１０３ ３Ｄ表示制御情報
１０４ ３Ｄ画像データ
１０５ オブジェクト
１０６ オブジェクトＩＤ
１０７ オブジェクトサイズ
１０８ オブジェクトデータ
２００ 立体画像処理装置
２０１ データ解析手段
２０２ ３Ｄ識別情報解析手段
２０３ ３Ｄ表示制御情報解析手段
２０４ 復号手段
２０５ 表示制御手段
２０６ 画像生成手段
２０７ 視差情報提示手段
２０８ 画像表示手段２０８
７０１ 画像表示パネル
７０２ パララクスバリア
７０３ 左眼
７０４ 右眼
９００、９０１、９０２、９０３、９０４ 視差情報提示バー
９０５ 再生位置指示ポインタ
６０２ 右眼
６０３ 左眼
１０００ 立体画像処理装置
１００１ データ解析手段
１００２ 視差マップ解析手段
１００３ 表示制御手段
１００４ 画像表示手段
１１０１、１１０２ ブロック
１２０１ 画像表示パネル
１２０２ レンティキュラレンズ

Claims (14)

1. ３次元画像データを含む動画像データを再生するための立体画像処理装置であって、
   前記３次元画像データの視差情報に基づいて、前記動画像データの各位置における視差の大きさを視認可能とする視差情報提示画像を生成する視差情報提示手段を有することを特徴とする立体画像処理装置。
2. 前記視差情報提示画像と前記画像データとを同期させて、表示する画像を生成する画像生成手段を有することを特徴とする請求項１に記載の立体画像処理装置。
3. 前記視差情報提示画像は、前記動画像データの各位置における視差の大きさに応じて視覚的に識別可能な画像として表示することにより、前記視差の大きさを視認可能とすることを特徴とする請求項１又は２に記載の立体画像処理装置。
4. 前記動画像データは、動画像データ内に含まれる３次元画像データに関する視差情報をメタデータとして保持していることを特徴とする請求項１から３までのいずれか１項に記載の立体画像処理装置。
5. 前記３次元画像データは２次元画像データと視差マップとを含んで構成されており、前記３次元画像データの視差情報は前記視差マップから検出することにより得ることを特徴とする請求項１から３までのいずれか１項に記載の立体画像処理装置。
6. 前記３次元画像データは複数視点に対応した複数の画像からなり、前記３次元データの視差情報は前記複数視点に対応した複数画像間の視差を検出することにより得ることを特徴とする請求項１から３までのいずれか１項に記載の立体画像処理装置。
7. 前記３次元画像データは２次元画像データと３次元空間上での距離情報を保持するデプスマップとからなり、前記距離情報を前記視差情報として用いることを特徴とする請求項１から３までのいずれか１項に記載の立体画像処理装置。
8. 前記３次元画像データの視差情報として、３次元画像内における最大視差を用いることを特徴とする請求項１から７までのいずれか１項に記載の立体画像処理装置。
9. 前記３次元画像内における最大視差を、視差の大きさに基づいて複数の区分に分割し、各区分に応じて前記視差情報提示画像を視覚的に識別可能な画像として表示することを特徴とする請求項８に記載の立体画像処理装置。
10. 前記３次元画像内における最大視差は、前記動画像データを一定単位に分割し、前記単位毎に最大視差を検出して前記視差情報提示画像に表すことを特徴とする請求項８又は９に記載の立体画像処理装置。
11. 前記視差情報提示画像は、表示される動画像に重畳して表示される再生位置指示ポインタを含み、該再生位置指示ポインタにより現在の動画像の再生位置を視認可能とすることを特徴とする請求項１から１０に記載の立体画像処理装置。
12. ユーザーの許容視差を保持する許容視差記憶手段を更に備え、
    前記動画像データを途中から再生する際に、再生位置の視差が前記許容視差より大きい場合には、前記動画像データの前後から視差が前記許容視差内に収まる位置を検索し、前記検索した位置から再生するように制御することを特徴とする請求項１から１１までのいずれか１項に記載の立体画像処理装置。
13. 入力された動画像データを逆多重化するステップと、
    ３Ｄ表示を行うために必要となる３Ｄ情報を解析して視差情報を取得するとともに、符号化された動画像データを復号するステップと、
    前記視差情報に基づいて、前記動画像データの各位置における視差の大きさを視認可能とする視差情報提示画像を生成するステップと
    視差情報提示画像の表示を判断し、立体表示方式に応じた画像を生成し、視差情報提示画像を表示する際には立体画像に重畳して動画像データの表示するステップと
    を有することを特徴とする立体画像処理方法。
14. 請求項１３に記載のステップをコンピュータに実行させるためのプログラム。

Images