JP2011172172A

JP2011172172A - 立体映像処理装置および方法、並びにプログラム

Info

Publication number: JP2011172172A
Application number: JP2010036372A
Authority: JP
Inventors: Katsuya Hyodo; 克也兵頭; Hiroyuki Nakamura; 裕行中村; Soichi Konami; 宗一小波
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-02-22
Filing date: 2010-02-22
Publication date: 2011-09-01
Also published as: US20150035955A1; US9167223B2; US20110205343A1; US8872902B2

Abstract

【課題】常に自然で見易い立体映像を表示することができるようにする。
【解決手段】表示位置調整部１４１は、例えば、立体映像の中でＧＵＩなどの二次元のオブジェクトを表示させる必要がある場合、その二次元のオブジェクトを表示させる位置を決定する。例えば、立体映像の中の飛び出し部分とできるだけ重ならない位置にＧＵＩなどの表示位置を調整して決定する。視差調整部１４２は、立体映像の中で表示されるＧＵＩなどが立体映像の飛び出し部分とともに飛び出しているように、ＧＵＩなどの画像に適切な視差を付加する。
【選択図】図８

Description

本発明は、立体映像処理装置および方法、並びにプログラムに関し、特に、常に自然で見易い立体映像を表示することができるようにする立体映像処理装置および方法、並びにプログラムに関する。

人間は、右目と左目で捉えた画像の違い（視差）を利用して、物体を立体的に認識している。眼球の回転運動は輻湊角を変化させ、人間はこれを物体までの距離として認識する。ここで輻湊角とは、視線の交差角である。

この人間の目の特性を利用して、左右目用に視差をつけた二つの二次元画像用意し、それぞれを左右の目に別々に映すと、その輻湊角から物体までの距離を錯覚し立体を感じる。ここで視差とは左右目用画像のずれ量である。

左右目用画像を一枚ずつ使って表示したものを立体画像、左右目用画像を複数枚ずつ用意し、それらを連続的に変化させたものを立体映像と称する。また、それらを表示できる装置を立体映像表示装置と称する。

また、左右一対のレンズ部が透視状態と遮光状態に交互に切り換えられるシャッタ眼鏡を用い、右眼用画像と左眼用画像とをディスプレイに視差を有するように交互に表示させ、右眼用画像と左眼用画像の切り換えのタイミングに合わせて左右のレンズ部を透視状態と遮光状態とに交互に切換制御することで、シャッタ眼鏡の切換操作を不要とする立体画像表示装置も提案されている（例えば、特許文献１参照）。

立体映像表示装置において、立体映像に重ねてＧＵＩやテキストなどの二次元のオブジェクトを表示することがある。その場合、大きく分けて２つの手法がある。１つは立体映像の上に固定された二次元のオブジェクトを重ねる手法である（手法Ａと称することにする）。手法Ａは、主にゲームなどで使用されている。

他の１つは、立体映像と二次元オブジェクトの表示領域を分けて表示する手法である（手法Ｂと称することにする）。手法Ｂは、主に映画の字幕などで使用されている。

特開２００１−３２０７３４号公報

しかしながら、手法Ａの問題点として、立体映像中で最も重要であると考えられる飛び出し部分をオブジェクトが遮ってしまう可能性があることが挙げられる。また、二次元オブジェクトを見るための輻湊角と立体オブジェクトを見るための輻湊角が異なるため、立体映像中の二次元オブジェクトを見る時、視聴者は輻湊角の調整を強いられ、眼精疲労を起こす原因となる。

また、手法Ｂの問題点として、画面中で二次元オブジェクトのためのエリアの確保が必要となる。このため、立体映像が画面全体を有効利用できないことや、手法Ａの場合と同様に、二次元と立体オブジェクトを見るための輻湊角が異なるため、眼精疲労の原因になることが挙げられる。

本発明はこのような状況に鑑みてなされたものであり、常に自然で見易い立体映像を表示することができるようにするものである。

本発明の一側面は、立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域を計算する候補座標値域計算手段と、前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算する視差合計値計算手段と、前記視差の値の合計値の最も小さい前記候補座標を前記二次元のオブジェクトの基準点の表示位置として決定する表示位置決定手段と、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定する最大値特定手段と、前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差を設定する視差設定手段とを備える立体映像処理装置である。

前記立体映像信号は、単位時間あたりのフレームレートを有し、視差合計値計算手段は、前記立体映像信号のフレームに含まれる情報であって、画素毎の視差を表す視差プレーンに基づいて特定される視差の値の合計値を計算するようにすることができる。

前記表示位置決定手段は、前記二次元のオブジェクトを表示させる複数のフレームにおいて前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算するようにすることができる。

前記最大値特定手段は、前記二次元のオブジェクトを表示させる複数のフレームの前記視差プレーンに基づいて、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定するようにすることができる。

本発明の一側面は、候補座標値域計算手段が、立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域を計算し、視差合計値計算手段が、前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算し、表示位置決定手段が、前記視差の値の合計値の最も小さい前記候補座標を前記二次元のオブジェクトの基準点の表示位置として決定し、最大値特定手段が、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定し、視差設定手段が、前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差を設定するステップを含む立体映像処理方法である。

本発明の一側面は、コンピュータを、立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域を計算する候補座標値域計算手段と、前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算する視差合計値計算手段と、前記視差の値の合計値の最も小さい前記候補座標を前記二次元のオブジェクトの基準点の表示位置として決定する表示位置決定手段と、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定する最大値特定手段と、前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差を設定する視差設定手段とを備える立体映像処理装置として機能させるプログラムである。

本発明の一側面においては、立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域が計算され、前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値が、前記候補座標毎に計算され、前記視差の値の合計値の最も小さい前記候補座標が前記二次元のオブジェクトの基準点の表示位置として決定され、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値が特定され、前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差が設定される。

本発明によれば、常に自然で見易い立体映像を表示することができる。

人間の目が立体映像を認識する仕組みを説明する図である。視差を有する右目用画像と左目用画像の例を示す図である。図２に示される立体映像が人間により観察される例を示す図である。従来の手法により立体映像に重ねて二次元のオブジェクトを表示した画像の例を示す図である。従来の手法により立体映像に重ねて二次元のオブジェクトを表示した画像の別の例を示す図である。立体映像を観察する場合の視線の輻湊角の変化を説明する図である。本発明の一実施の形態に係る立体映像表示システムの構成例を示すブロック図である。図７のオブジェクト表示調整部の詳細な構成例を示すブロック図である。立体映像信号のフレームの構成を説明する図である。ＧＵＩ信号により供給される情報を説明する図である。１秒間隔で得られる５フレームにおけるＧＵＩと重なる領域の視差合計値を示す図である。図８の視差調整部により生成される右目用プレーンと左目用プレーンを示す図である。ＧＵＩ合成処理を説明するフローチャートである。パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

最初に立体映像の表示について説明する。

図１は、人間の目が立体映像を認識する仕組みを説明する図である。

同図に示されるように、人間は、右目が捉えた画像と左目が捉えた画像との違い（視差）を利用して、物体を立体的に認識するようになされている。図１の例では、右目が捉えた画像と左目が捉えた画像において、円形の同じ物体が表示されているが、その表示位置が異なっている。

人間が注目する物体に視線の焦点を合わせるために、右目と左目の眼球を回転させることになる。眼球の回転運動は輻湊角を変化させ、人間は輻湊角により物体までの距離を認識し、その結果立体的な映像が認識されるのである。ここで輻湊角とは、視線の交差角である。

従って、例えば、二次元の表示部に立体映像を表示させる場合、視差を有する右目用画像と左目用画像を用意して表示するようにすればよい。例えば、図２に示されるように、視差を有する右目用画像と左目用画像を同時に二次元の表示部に表示すれば、その視差により、図中の三角形の物体が立体的に（例えば、表示部から飛び出しているように）表示されるようにすることができる。

なお、右目用画像と左目用画像は、例えば、それぞれ赤と青の光で重ねて表示され、それぞれ赤と青のカラーフィルタの付いたメガネにより分離されることで、人間の右目と左目によって観察される。

図３は、図２に示される立体映像が人間により観察される例を示す図である。同図に示されるように、左目の視線は、左目用画像の物体のほぼ中央に合わせられ、右目の視線は、右目用画像の物体のほぼ中央に合わせられている。そうすると、図中点線で示されている左目の視線と右目の視線の交差する位置に、あたかも物体が飛び出しているように感じられるのである。

ところで、立体映像に重ねてＧＵＩやテキストなどの二次元のオブジェクトを表示することがある。例えば、ゲームなどのコンテンツにおいて表示されるＧＵＩや、映画の字幕を表示する場合などがこれに該当する。

立体映像に重ねて二次元のオブジェクトを表示する場合、大きく分けて２つの手法がある。１つは立体映像の上に固定された二次元のオブジェクトを重ねる手法である（手法Ａと称することにする）。手法Ａは、主にゲームなどで使用されている。

図４は、手法Ａにより立体映像に重ねて二次元のオブジェクトを表示した画像の例を示す図である。同図において、長方形により囲まれたオブジェクト、および楕円により囲まれたオブジェクトが二次元のオブジェクトとされる。

手法Ａでは、図４に示されるように、例えば、立体映像の中の任意の位置に必要に応じて二次元のオブジェクトが表示される。しかしながら、手法Ａでは、立体映像の中で最も重要性の高い飛び出し部分を、二次元のオブジェクトが遮ってしまう可能性がある。すなわち、図３に示される物体のように、飛び出して見えるようにした部分に、二次元のオブジェクトが重ねられてしまうのである。このため、迫力ある立体映像を提供することができなくなる場合がある。

また、このように、飛び出し部分を二次元のオブジェクトが遮った場合、その立体映像を観察するユーザは、極めて大きな違和感を覚える。つまり、二次元のオブジェクトは視差を有しない映像であるから、ユーザにとっては通常通り（飛び出さずに）画面上に表示されているように感じられる。このような二次元のオブジェクトが、画面から飛び出して見える部分を覆うように表示されるのである。

すなわち、飛び出し部分を二次元のオブジェクトが遮った場合、ユーザから見ると、立体映像の飛び出し部分の一部が凹んで画面に貼り付き、その部分に二次元のオブジェクトが表示されているように見えるのである。

手法Ａには、上述したような問題があった。

立体映像に重ねて二次元のオブジェクトを表示する場合の他の１つの手法は、立体映像と二次元オブジェクトの表示領域を分けて表示する手法である（手法Ｂと称することにする）。手法Ｂは、主に映画の字幕などで使用されている。

図５は、手法Ｂにより立体映像に重ねて二次元のオブジェクトを表示した画像の例を示す図である。同図において、画面の上側の領域５１が立体映像を表示する領域とされ、画面の下側の領域５２が二次元のオブジェクトを表示する領域とされる。

しかしながら、手法Ｂの場合、画面中で二次元オブジェクトのための領域の確保が必要となる。このため、立体映像が画面全体を有効利用できないことになる。

また、立体映像に重ねて二次元のオブジェクトを表示する場合、ユーザは、立体映像の飛び出し部分と、二次元のオブジェクトの両方に注目すると考えられる。このような場合、ユーザは、例えば、視差の異なる映像を交互に見ることになる。しかしながら、急激な視差変化に伴う輻湊角の調整は眼精疲労を伴うと考えられている。

例えば、図６に示されるように、オブジェクトが二次元で表示されているシーンでは、人間の右目と左目の眼球は、視線の輻湊角がαとなるような向きに向けられている。その直後、シーンチェンジが発生してオブジェクトが立体的に表示されるシーンに切り替わると、右目と左目の眼球は、視線の輻湊角がβとなるように回転させられる。このように、急激に眼球を回転させることが眼精疲労につながる。

なお、輻湊角の変化と眼精疲労については、「岸信介ら, 2眼式立体映像のコンテンツ評価システムの試作, 映像情報メディア学会誌, 2006, Vol.60, No. 6 pp.934-942」、「原島博ら, 3次元画像と人間の科学, オーム社, 2000」などの文献に開示されている。

手法Ａ、手法Ｂともに、上述のような眼精疲労を引き起こしやすいという問題があった。

図７は、本発明の一実施の形態に係る立体映像表示システムの構成例を示すブロック図である。同図に示されるように、立体映像表示システム１００は、立体映像表示装置１０１とディスプレイ１０２により構成されている。

立体映像表示装置１０１は、内部に立体映像信号取得部１２１、およびオブジェクト表示調整部１２２を有する構成とされている。

立体映像信号取得部１２１は、例えば、チューナなど、放送波として送信された立体映像信号を受信するものとして構成される。また、立体映像信号取得部１２１は、例えば、ドライブなどのように、ＤＶＤ、ＨＤＤなどの記録媒体に記録された立体映像信号を読み出すものとして構成されるようにしてもよい。

オブジェクト表示調整部１２２は、立体映像信号取得部１２１により取得された立体映像信号に対して、ＧＵＩ、字幕などの予め用意された二次元のオブジェクトを合成して表示させる処理を施す機能ブロックとされる。なお、オブジェクト表示調整部１２２の詳細な構成については、図８を参照して後述する。

ディスプレイ１０２は、例えば、ＬＣＤ(Liquid Crystal display)などにより構成され、二次元の画像表示領域を有するものとされる。ユーザは、例えば、カラーフィルタの付いたメガネなどを装着して、ディスプレイ１０２に表示された立体映像を見るようになされている。

また、ディスプレイ１０２は、例えば、スクリーンなどにより構成され、立体映像表示装置１０１から投影された立体映像がスクリーンに表示されるようにしてもよい。さらに、立体映像表示装置１０１とディスプレイ１０２とが一体化された装置として、立体映像表示システム１００が構成されるようにすることも可能である。

図８は、図７のオブジェクト表示調整部１２２の詳細な構成例を示すブロック図である。同図に示されるように、オブジェクト表示調整部１２２は、内部に表示位置調整部１４１、および視差調整部１４２を有する構成とされている。

表示位置調整部１４１は、例えば、立体映像の中でＧＵＩなどの二次元のオブジェクトを表示させる必要がある場合、その二次元のオブジェクトを表示させる位置を決定するようになされている。表示位置調整部１４１は、例えば、立体映像の中の飛び出し部分とできるだけ重ならない位置にＧＵＩなどの表示位置を調整して決定する。

表示位置調整部１４１は、例えば、ＧＵＩ信号の供給を受けて、そのＧＵＩ信号に基づいて表示されるＧＵＩの表示位置を調整するようになされている。

視差調整部１４２は、立体映像の中で表示されるＧＵＩなどが立体映像の飛び出し部分とともに飛び出しているように、ＧＵＩなどの画像に適切な視差を付加するようになされている。

図９乃至図１２を参照してさらに詳細に説明する。

図９は、立体映像信号のフレームの構成を説明する図である。立体映像信号は、フレーム単位に構成されているものとする。図９は、立体映像信号の１フレームに含まれる情報を表している。なお、動画像を表示させる信号である立体映像信号は、例えば、１秒間に６０フレームを含むものとされる。すなわち、６０フレーム分の立体映像信号により、１秒間の立体映像を表示させることができる。

図９の例では、立体映像信号のフレームは、右目用プレーン、左目用プレーン、および視差プレーンを有する構成とされている。なお、この他にもフレームヘッダ、誤り検出ビットなどの情報が当該フレームに適宜挿入される。

右目用プレーン、および左目用プレーンは、ディスプレイ１０２に表示される１画面分の画像データとされる。なお、図９の例では、説明を簡単にするため、ディスプレイ１０２に表示される１画面分の画像は、６４（＝８×８）画素で構成されるものとし、右目用プレーン、および左目用プレーンの各矩形のそれぞれが１画素を表すものとする。

右目用プレーン、および左目用プレーンには、それぞれ６４個の矩形が示されており、各矩形の内部には、「０」または「１」が記載されている。ここでは、説明を簡単にするため、図中「０」と記された矩形は、黒色の画素を表すものとし、図中「１」と記された矩形は、白色の画素を表すものとする。

図９の例は、黒色の背景に２×５画素の白色の物体が表示される画像を表しており、２×５画素の白色の物体の表示位置が、右目用プレーンと左目用プレーンとでは異なるようになされている。すなわち、図３を参照して上述したように、視差を有する画像が表示され、その物体があたかも画面から飛び出しているように感じられる。

右目用プレーンと左目用プレーンとの表示位置の違いは、視差プレーンにより特定することができる。視差プレーンは、右目用プレーン、および左目用プレーンの各画素に対応する６４の矩形を有しており、右目用プレーンの画素が、左目用プレーンにおいて何画素ずれているかを表す情報とされる。図９の例では、右目用プレーンにおける２×５画素の白色の物体の表示位置に対応する部分の矩形にそれぞれ「２」が記されている。これは、右目用プレーンにおける２×５画素の白色の物体が、左目用プレーンにおいて右に２画素ずれて表示されることを表している。

図１０は、ＧＵＩ信号により供給される情報を説明する図である。ＧＵＩ信号は、表示させるべき、ＧＵＩ画像、画面の中でＧＵＩを表示させるべき所定の領域（可動領域と称する）、およびＧＵＩの標準表示位置の情報を含むものとされる。可動領域は、ＧＵＩのサイズ以上のサイズの画素群により構成されるものとする。すなわち、可動領域の中の複数の位置にＧＵＩを表示させることができる（ＧＵＩの表示位置をその領域内で動かすことができる）。

図１０の例では、説明を簡単にするために、ＧＵＩ画像が、４×２画素の白色の矩形の画像とされている。図中「０」と記された矩形は、黒色の画素を表すものとし、図中「１」と記された矩形は、白色の画素を表すものとする。なお、ＧＵＩ画像により、当該ＧＵＩのサイズ（４×２画素）も特定することができる。ここでサイズは、水平方向の画素数と垂直方向の画素数を意味するものとする。

また、可動領域は、６４（＝８×８）画素で構成される画面の中で、どの部分がＧＵＩを表示させるべき領域であるかを表す情報とされる。図１０の例では、６４画素で構成される画面の各頂点の座標が二次元のＸＹ座標として、（０，０）、（７，０）、（０，７）、（７，７）により示されている。そして、可動領域に対応する画素の矩形がハッチングされて示されている。

可動領域が矩形であることを前提とし、ＧＵＩ信号により可動領域の上下左右端の座標位置が指定されるようになされている。図１０の例では、可動領域の上端のＹ軸座標が５（「Ｔｏｐ＝５」）、下端のＹ軸座標が７（「Ｂｏｔｔｏｍ＝７」とされている。また、可動領域の左端のＸ軸座標が０（「Ｌｅｆｔ＝０」）、右端のＸ軸座標が７（「Ｒｉｇｈｔ＝７」）とされている。

標準表示位置は、ＧＵＩのデフォルトの表示位置を指定するものであり、例えば、ＧＵＩ画像の基準点が表示される座標により指定されるようになされている。ここでは、矩形のＧＵＩの左上端が基準点となるものとする。図１０の例では、標準表示位置の座標が（２，５）とされている。

このようなＧＵＩ信号に基づいてＧＵＩが表示されるのである。

表示位置調整部１４１は、ＧＵＩ信号からＧＵＩの可動領域とサイズ、標準表示位置を取得し、ＧＵＩの表示位置の候補となる候補座標(ｘ,ｙ)の値域を式（１）に従って計算する。

式（１）において、R_top、R_bottom、R_left、R_rightは、それぞれ可動領域のＴｏｐ、Ｂｏｔｔｏｍ、Ｌｅｆｔ、Ｒｉｇｈｔを表わしている。また、U_widthはＧＵＩ画像の横幅に対応する画素数（図１０の例では４）、U_heightはＧＵＩ画像の高さに対応する画素数（図１０の例では２）を表す。

図１０のＧＵＩ信号の場合、式（１）により得られるｘの値域は０≦ｘ≦４となり、式（１）により得られるｙの値域は５≦ｙ≦６となる。

表示位置調整部１４１は、上述のようにして得られたｘとｙの値域の中で候補座標(ｘ,ｙ)の全ての組み合わせについてその位置にＧＵＩを表示した場合、ＧＵＩと重なる領域の視差の値の和を計算する。ＧＵＩは、できるだけ視差のない部分に表示させるべきと考えられるからである。

例えば、最初に図９に示されるフレームにおいて図１０のＧＵＩ信号のＧＵＩを表示する場合、候補座標が（０，５）であったとき、視差プレーンの座標（０，５）を左上端として４×２画素のＧＵＩが表示されることになる。その場合、視差プレーンの座標（３，５）の画素位置の視差の値（２）と、座標（４，５）の画素位置の視差の値（２）が、ＧＵＩと重なる領域の視差の値となるから、ＧＵＩと重なる領域の視差の値の和は、４（＝２＋２）と計算される。

なお、上記の説明では、視差プレーンにおいて視差の値が０とされている画素位置（例えば、（０，５）、（０，６）、・・・の画素位置など）は、視差がない画素位置であるから、ＧＵＩと重なる領域の視差の値として計算していないが、これらの画素位置の視差の値を０として計算するようにしてもよい。

そして、表示位置調整部１４１は、最初にＧＵＩが表示されるフレームの後の複数のフレームにおけるＧＵＩと重なる領域の視差の値の和を同様にして計算する。通常ＧＵＩは、少なくとも数秒間連続して画面に表示されるものだからである。上述の例の場合、例えば、図９に示されるフレームの画像の１秒後に表示される画像のフレーム、２秒後に表示される画像のフレーム、・・・５秒後に表示される画像のフレームの５つのフレームにおいて、候補座標が（０，５）であったとき、ＧＵＩと重なる領域の視差の値の和がそれぞれ計算される。

表示位置調整部１４１は、このようにして計算された５つのフレームの視差の値の和の合計値を、候補座標毎に合計して比較する。上述の例の場合、候補座標は、（０，５）、（１，５）、・・・（４，５）、（０，６）、（１，６）、・・・（４，６）の合計１０通りの組み合わせが存在する。表示位置調整部１４１は、これら１０個の候補座標のそれぞれに対応する５つのフレームの視差の値の和の合計値を計算し、合計値が最も小さい候補座標を、調整後のＧＵＩ表示位置として決定する。なお、候補座標のそれぞれに対応する５つのフレームの視差の値の和の合計値を、視差合計値と称することにする。

例えば、図１１に示されるように、視差合計値が計算される。図１１は、上述の式（１）により得られるｘの値域が０≦ｘ≦４、ｙの値域が５≦ｙ≦６である場合、最初にＧＵＩが表示されるフレームから１秒間隔で得られる５フレームにおけるＧＵＩと重なる領域の視差合計値を示している。同図に示されるように、いまの場合、１０通りの候補座標が存在し、それぞれの候補座標に対応する５つの視差プレーンの領域の図を図１１（ａ）乃至図１１（ｊ）で表わしている。

図１１の例では、図１１（ｉ）と図１１（ｊ）とにおいて、それぞれ視差合計値が１となっている。

表示位置調整部１４１は、図１１の例のように、視差合計値が最も小さい候補座標が複数存在する場合、標準表示位置からの距離が最も近い候補座標を調整後のＧＵＩ表示位置として決定する。例えば、図１０に示されるＧＵＩ信号の場合、標準表示位置は（２，５）であるから、図１１（ｉ）に対応する候補座標（３，６）が標準表示位置からの距離が最も近い候補座標となる。

さらに、視差合計値が最も小さい候補座標であって、標準表示位置からの距離が最も近い候補座標が複数存在した場合、表示位置調整部１４１は、例えば、それらの候補座標の中からランダムに選択した１つの候補座標を、調整後のＧＵＩ表示位置として決定する。

このようにして、表示位置調整部１４１は、調整後のＧＵＩ表示位置を決定する。

表示位置調整部１４１により調整後のＧＵＩ表示位置が決定された後、視差調整部１４２は、立体映像の中で当該ＧＵＩ画像に付加される視差を設定する。

視差調整部１４２は、調整後のＧＵＩ表示位置にＧＵＩを表示した場合、ＧＵＩと重なる領域の視差の値の最大値Ｍを求める。例えば、候補座標が図１１（ｉ）に示される位置である場合、視差合計値が１だから、調整後のＧＵＩ表示位置にＧＵＩを表示したとき、ＧＵＩと重なる領域の視差の値の最大値Ｍは１となる。

そして、視差調整部１４２は、当該ＧＵＩを表示すべきフレームにおいて、右目用プレーンの調整後のＧＵＩ表示位置にＧＵＩを表示させるように画像を合成する。さらに、視差調整部１４２は、当該ＧＵＩを表示すべきフレームにおいて、左目用プレーンの調整後のＧＵＩ表示位置から、画面右側にＭ画素分右側にずらした表示位置にＧＵＩを表示させるように画像を合成する。すなわち、視差調整部１４２により、視差が付加されたＧＵＩ画像が合成された右目用プレーンと左目用プレーンが生成されることになる。

なお、ＧＵＩの視差として、必ずしもＭ画素分の視差を付加する必要はなく、例えば、Ｍに所定の係数を乗じるなどして得られた画素数分の視差が付加されるようにしてもよい。

なお、以上においては、表示位置調整部１４１と視差調整部１４２とが、図１１に示されるような、１秒間隔で５つのフレームを抽出して処理する例について説明したが、フレームの間隔や枚数はこれに限られるものではない。また、表示位置調整部１４１と視差調整部１４２とは、必ずしも複数のフレームを抽出して処理を行う必要はなく、例えば、表示位置調整部１４１または視差調整部１４２が１フレームのみを抽出して処理を行うようにしてもよい。

図１２は、図９に示されるフレームにおいて、図１０のＧＵＩ信号に基づいて表示されるＧＵＩを、図１１（ｉ）に示される位置を調整後のＧＵＩ表示位置として表示する場合、視差調整部１４２により生成される右目用プレーンと左目用プレーンを示す図である。

図１２の右目用プレーンは、図９の右目用プレーンの画像に重ねて、調整後のＧＵＩ表示位置（３，６）を左上端として４×２画素の白色の矩形のＧＵＩ画像を表示させるように合成されている。また、図１２の左目用プレーンは、図９の左目用プレーンの画像に重ねて、調整後のＧＵＩ表示位置から１画素右側にずらした位置（４，６）を左上端として４×２画素の白色の矩形のＧＵＩ画像を表示させるように合成されている。

図１２を参照して説明したように合成された右目用プレーンと左目用プレーンとが、ＧＵＩを表示するフレームのそれぞれについて生成されることになる。例えば、ＧＵＩを１０秒間表示する場合、６００（＝１０×６０）フレーム分の右目用プレーンと左目用プレーンとに視差が付加されたＧＵＩ画像が重ねて表示されるように合成される。

このように視差調整部１４２により生成された右目用プレーンと左目用プレーンとに基づく画像がディスプレイ１０２に出力される。

これにより、ディスプレイ１０２を観察するユーザには、例えば、立体映像の中の飛び出し部分とできるだけ重ならない位置にＧＵＩが表示されているように見える。さらに、そのＧＵＩは、画面に張り付いているように見えるのではなく、ＧＵＩと重なる飛び出し部分ともに、画面から飛び出して見えるのである。

このように本発明によれば、例えば、ＧＵＩを画面内の任意の位置に表示させるようにすることができ、例えば、従来の手法Ｂのように、画面中で二次元オブジェクトのための領域を確保する必要がないので、立体映像が画面全体を有効利用できる。

また、立体映像の中の飛び出し部分とできるだけ重ならない位置にＧＵＩが表示されるので、立体映像の中で最も重要性の高い飛び出し部分を、ＧＵＩが遮ることがないようにすることができ、迫力ある立体映像を提供することができる。よって、例えば、従来の手法Ａの問題点も解決できる。

さらに、ＧＵＩと重なる飛び出し部分ともに、ＧＵＩが画面から飛び出して見えるように視差を付加するようにしたので、ユーザに違和感を与えることもなく、また、眼精疲労の発生を抑止することもできる。

次に、図１３のフローチャートを参照して、図７のオブジェクト表示調整部１２２によるＧＵＩ合成処理の例について説明する。

ステップＳ２１において、表示位置調整部１４１は、ＧＵＩ信号を取得する。

ステップＳ２２において、表示位置調整部１４１は、ステップＳ２１で取得したＧＵＩ信号に基づいて、ＧＵＩの可動領域とサイズを特定する。

ステップＳ２３において、表示位置調整部１４１は、ステップＳ２２で特定したＧＵＩの可動領域とサイズに基づいて、候補座標の値域を計算する。このとき、例えば、上述した式（１）による計算によって、候補座標の値域が求められる。

ステップＳ２４において、表示位置調整部１４１は、ステップＳ２３の処理で得られた値域の中で候補座標(ｘ,ｙ)の全ての組み合わせについて視差合計値を計算する。このとき、例えば、図１１を参照して上述したように、各候補座標に対応する視差合計値がそれぞれ計算される。

ステップＳ２５において、表示位置調整部１４１は、調整後のＧＵＩ表示位置を決定する。

このとき、例えば、視差合計値が最も小さい候補座標が調整後のＧＵＩ表示位置として決定される。また、視差合計値が最も小さい候補座標が複数存在する場合、標準表示位置からの距離が最も近い候補座標を調整後のＧＵＩ表示位置として決定される。さらに、視差合計値が最も小さい候補座標であって、標準表示位置からの距離が最も近い候補座標が複数存在した場合、例えば、それらの候補座標の中からランダムに選択した１つの候補座標が、調整後のＧＵＩ表示位置として決定される。

ステップＳ２６において、視差調整部１４２は、ステップＳ２５の処理で決定された調整後のＧＵＩ表示位置にＧＵＩを表示した場合、ＧＵＩと重なる領域の視差の値の最大値Ｍを求める。例えば、候補座標が図１１（ｉ）である場合、視差合計値が１だから、調整後のＧＵＩ表示位置にＧＵＩを表示したとき、ＧＵＩと重なる領域の視差の値の最大値Ｍは１となる。

ステップＳ２７において、視差調整部１４２は、ステップＳ２６の処理結果に基づいて、Ｍ画素分の視差を付加して、ステップＳ２１の処理で取得したＧＵＩ信号のＧＵＩ画像を合成した右目用プレーンと左目用プレーンを生成する。

このとき、例えば、当該ＧＵＩを表示すべきフレームにおいて、右目用プレーンの調整後のＧＵＩ表示位置にＧＵＩを表示させるように画像が合成される。さらに、当該ＧＵＩを表示すべきフレームにおいて、左目用プレーンの調整後のＧＵＩ表示位置から、画面右側にＭ画素分右側にずらした表示位置にＧＵＩを表示させるように画像が合成される。

このようにしてＧＵＩ合成処理が実行される。

以上において、主に立体映像にＧＵＩを合成する場合を例として説明したが、勿論、字幕、その他の二次元オブジェクトが立体映像に合成されるようにすることもできる。

また、以上においては、立体映像信号のフレームに視差プレーンが含まれていることを前提として説明したが、立体映像信号のフレームに視差プレーンが含まれない場合でも、本発明を適用することが可能である。視差プレーンが含まれない場合、例えば、表示位置調整部１４１において、ブロックマッチング処理などにより、右目用プレーンと左目用プレーンにおけるオブジェクト（物体）の位置を特定し、視差プレーンと同様の情報を得るようにすればよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１４において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００立体映像表示システム，１０１立体映像表示装置，１０２ディスプレイ，１２１立体映像信号取得部，１２２オブジェクト表示調整部，１４１表示位置調整部，１４２視差調整部

Claims

立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域を計算する候補座標値域計算手段と、
前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算する視差合計値計算手段と、
前記視差の値の合計値の最も小さい前記候補座標を前記二次元のオブジェクトの基準点の表示位置として決定する表示位置決定手段と、
前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定する最大値特定手段と、
前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差を設定する視差設定手段と
を備える立体映像処理装置。
前記立体映像信号は、単位時間あたりのフレームレートを有し、
視差合計値計算手段は、
前記立体映像信号のフレームに含まれる情報であって、画素毎の視差を表す視差プレーンに基づいて特定される視差の値の合計値を計算する
請求項１に記載の立体映像処理装置。
前記表示位置決定手段は、
前記二次元のオブジェクトを表示させる複数のフレームにおいて前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算する
請求項２に記載の立体映像処理装置。
前記最大値特定手段は、
前記二次元のオブジェクトを表示させる複数のフレームの前記視差プレーンに基づいて、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定する
請求項３に記載の立体映像処理装置。
候補座標値域計算手段が、立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域を計算し、
視差合計値計算手段が、前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算し、
表示位置決定手段が、前記視差の値の合計値の最も小さい前記候補座標を前記二次元のオブジェクトの基準点の表示位置として決定し、
最大値特定手段が、前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定し、
視差設定手段が、前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差を設定するステップ
を含む立体映像処理方法。
コンピュータを、
立体映像の画面の中で二次元のオブジェクトを表示させるべき所定の領域である可動領域と、前記二次元のオブジェクトのサイズに基づいて、前記画面の中で前記二次元のオブジェクトの基準点の表示位置の候補座標の値域を計算する候補座標値域計算手段と、
前記値域の範囲内の候補座標のそれぞれを基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の合計値を、前記候補座標毎に計算する視差合計値計算手段と、
前記視差の値の合計値の最も小さい前記候補座標を前記二次元のオブジェクトの基準点の表示位置として決定する表示位置決定手段と、
前記決定された表示位置を基準点として前記二次元のオブジェクトを表示させた場合、前記立体映像において前記二次元のオブジェクトと重なる領域の画素のそれぞれの視差の値の最大値を特定する最大値特定手段と、
前記特定された視差の値の最大値に基づいて、前記立体映像の中で表示される前記二次元のオブジェクトの視差を設定する視差設定手段とを備える立体映像処理装置として機能させる
プログラム。