JP2014078861A - 表示制御装置 - Google Patents

Abstract

【課題】映像に対してカーソルを重畳させて立体表示する際、映像とカーソルの立体的な位置関係を好適に設定できる。表示制御装置を提供する。
【解決手段】映像およびカーソルを立体表示する表示部１０４と、カーソルを表示する場合、表示部上におけるカーソルの表示位置を示す位置情報を取得する検出部１０１と、映像に基づいて、表示部に映像を立体表示した際、映像の奥行き方向の定位位置を示す第１視差情報を少なくとも１つ以上の画素毎に取得する制御部１０３と、位置情報が示すカーソルの表示位置における映像の定位位置よりも、カーソルの定位位置が近くなるように、第１視差情報に基づいてカーソル用の視差情報である第２視差情報を設定する制御部１０３と、表示部に対して、取得した第１視差情報に基づき映像を立体表示させるとともに、位置情報が示す位置かつ第２視差情報で示される定位位置にカーソルを立体表示させる制御部１０３と、を備える。
【選択図】図１

Description

本開示は、立体表示する際の映像とカーソルの位置関係を制御する表示制御装置に関する。

特許文献１は、ステレオ写真間における、互いに対応する対応点の視差を検出し、その検出量から各画素の奥行の大小関係を取得する方法が開示されている。

特開２０１１−０９６２６３号公報

本開示は、映像に対してカーソルを重畳させて立体表示する際、映像とカーソルの立体的な位置関係を好適に設定できる表示制御装置を提供する。

本開示における表示制御装置は、立体表示されている映像に対してカーソルを重畳し表示する表示制御装置であって、映像およびカーソルを立体表示する表示部と、カーソルを表示する場合、表示部上におけるカーソルの表示位置を示す位置情報を取得する位置情報取得部と、映像に基づいて、表示部に映像を立体表示した際、映像の奥行き方向の定位位置を示す第１視差情報を少なくとも１つ以上の画素毎に取得する視差情報取得部と、位置情報が示すカーソルの表示位置における映像の定位位置よりも、カーソルの定位位置が近くなるように、第１視差情報に基づいてカーソル用の視差情報である第２視差情報を設定する設定部と、表示部に対して、取得した第１視差情報に基づき映像を立体表示させるとともに、位置情報が示す位置かつ第２視差情報で示される定位位置にカーソルを立体表示させる制御部と備える。

本開示における表示制御装置は、映像に対してカーソルを重畳させて立体表示する際、映像とカーソルの立体的な位置関係を好適に設定できる。

本実施形態における表示制御装置１００のブロック図 ステレオ映像上で、人に飛び出しや奥行きを感じさせるための基本的な仕組みを説明するための図 ステレオ映像とポリゴンデータを重なるように表示する動作を説明するための図 ポリゴンデータに基づくカーソルの定位位置を設定する方法を説明するための図 本実施例における制御部１０３の行う処理の説明図 本実施例における制御部１０３のフローチャート ポリゴンデータの構成を示す図 右眼からの指示位置とポリゴンデータの交点抽出の平滑化処理を説明するための図 スクリーン上において設定する複数の右眼用のカーソルの位置座標を説明するための図 本実施形態における制御部１０３の動作示すフローチャート 制御部１０３における交点座標Ｃを算出する際の動作を説明するための図 本実施形態における制御部１０３の動作内容を説明するためのフローチャート 本実施形態におけるＬｐ’の算出方法を説明するための図 本実施形態におけるＬｐ’の算出方法を説明するための図 多視点映像システムにおける多視点撮影を説明するための図 多視点映像システムにおける、多視点映像表示の様子を示す図 本実施例におけるＬｐ‘の算出方法を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜１７を用いて、実施の形態１を説明する。
昨今タッチパネルを搭載したタブレットの普及が進み、多視点映像システムが利用されるようになってきている。

図１５は、多視点映像システムにおける多視点撮影を示している。これは、デジタルカメラ等で、静止物を様々な角度から撮影するものである。撮影したデータは、撮影した視点と関連づけて蓄積されるものである。

図１６は、多視点映像システムにおける、多視点映像表示の様子を示している。ユーザは、タッチパネル等のインタフェース装置を使って、表示されているオブジェクトの表示角度や拡大率を変化させることができる。その結果、人は、自由な角度から自由な大きさで対象物を見ることができることから、高い臨場感を得ることができるという特徴がある。

本実施形態に開示する立体映像でのカーソル奥行きの定位位置の制御方法は、この多視点映像システムを３Ｄ撮影で実現する場合、有効に作用する。

図１は、上記の立体映像でのカーソル奥行の定位位置の制御をおこなう表示制御装置１００のブロック図である。

図１に示すよう、表示制御装置１００は、検出部１０１、蓄積部１０２、制御部１０３および表示部１０４を備える。

検出部１０１は、使用者からの操作に基づき、表示部１０４上に表示するカーソルの位置に関する情報を検出する。検出部１０１は、例えばマウス、タブレット等、いわゆるポインティングデバイスで構成される。要するに、表示部１０４上において表示するカーソルの位置を指定することができるものであれば、どのようなものを利用してもかまわない。検出部１０１は、ポインティングデバイスの指示する、画面上の座標値を取得する機能を備える。検出部１０１は、操作するユーザの操作の検出に検出遅れが発生しないように、例えば、１０ｍｓ間隔で、ポインティングデバイスの指し示す位置座標を取得するものとする。

蓄積部１０２は、表示部１０４で表示するステレオ映像を蓄積する。さらに、蓄積部１０２は、ステレオ映像のポリゴンデータを蓄積する。さらに、蓄積部１０２は、ステレオ映像に対してポリゴンデータを重畳する際に利用する付加情報を蓄積する。

上記ステレオ映像は、水平方向に所定（例えば６０ｍｍ）の距離離れた位置から同時に撮影することによって得られる映像で、各映像ファイルは、データサイズを抑えるために、ＪＰＥＧ等の適切な方法で圧縮されている。

上記ポリゴンデータは、ステレオ映像に写っている被写体の形状を、互いに１辺を接する３角形の集合体として定義したデータである。各３角形には、頂点の座標値Ｘ，Ｙ，Ｚが定義される。尚、ポリゴンデータの要素の形状は、３角形に限定する必要はない。頂点が同じ平面上に乗っている多角形でもよいし、あるいは、適切な補間関数で定義された自由曲面パッチであっても構わない。さらには、それらの平面や曲面群が、どのように相互に接続されているかを示すトポロジー構造を記述するデータを備えていても構わない。要は、ポリゴンデータとは、ステレオ映像に写っている被写体の形状を、コンピュータ内に定義された形状モデルとして定義するデータを指すものとする。
このポリゴンデータは、ステレオ写真の組み合わせから、一般に視差マッチングと呼ばれる方法によって、生成することができる。あるいは、ステレオ写真を撮影する際に、撮影対象をレーザ光線でスキャニングし、その位置情報を得る３Dスキャナーを使用して取得することもできる。

上記付加情報は、ステレオ映像とポリゴンデータの表示位置の対応関係を示す情報である。上記付加情報は、ステレオ映像とポリゴンデータの対応情報と、位置あわせ情報を含む。前記対応情報は、そのステレオ映像（群）とポリゴンデータが対応しているかの関係を含む情報である。また、前記位置あわせ情報は、上記ステレオ映像と上記ポリゴンデータを重ねて表示部１０４上に表示させたときに、これらの位置が重なって表示されるように、ポリゴンデータの座標系を平行・回転移動、または、拡大縮小する座標変換の情報を含む。 この付加情報によって、ステレオ映像と当該ステレオ映像に映し出される対象物のポリゴンデータは、互いに関連付けられている。これにより、表示制御装置１００はステレオ映像を選んだ場合に、写っている対象物のポリゴンデータを特定することができる。

制御部１０３は、蓄積部１０２に蓄積されるステレオ映像を表示部１０４に出力する機能を有する。具体的に、ステレオ映像が所定規格によって圧縮符号化されている場合、制御部１０３は、ステレオ映像を復号化し、表示用のステレオ映像を生成する。

さらに、制御部１０３は、表示部１０４上にカーソルを立体表示する際、当該カーソルの奥行き方向の定位位置を設定する機能を有する。つまり、カーソルは制御部１０３で定位位置を設定されることにより、ステレオ映像よりも手前に表示されるようになる。ここで、定位位置とは、ある特定の物体を立体視した際、表示部１０４の表示面と垂直な方向に定位する位置に関する情報である。つまり、定位位置が変更すると、視聴者が視聴した際に感じる飛び出し感が変わる。
図２は、ステレオ映像上で、人に飛び出しや奥行きを感じさせるための基本的な仕組みを説明するための図である。
Reの位置にある右眼から見える映像として、あるオブジェクトを、スクリーン上のRsの位置に表示する。一方、Leの位置にある左眼からは、このオブジェクトが、スクリーン上のLsの位置にあるように表示する。その結果、人は、視差からこのオブジェクトが、点C上にあるように感じることができる。つまり、スクリーン平面上に表示する、オブジェクトRsとLsの間の距離を適切に調整することによって、人は飛び出しや奥行きを感じることができる。制御部１０３は、このオブジェクトの表示間隔、すなわち視差を調整することにより定位位置を調整する。

具体的に、制御部１０３は、検出部１０１で検出したカーソルの表示位置および、ステレオ映像の視差情報に基づいて、カーソルの定位位置を設定する。

ここで、視差情報とは、視聴者がある映像を立体視した際に感じる飛び出しまたは引き込みに関する情報である。なお、制御部１０３の詳細な動作については後述する。

表示部１０４は、制御部１０３から出力されるステレオ映像およびカーソルに関する情報に基づいて、ステレオ映像およびカーソルを立体表示する。表示部１０４は、フレームシーケンシャル方式の表示デバイスでも構わないし、視差バリア方式の表示デバイスでも構わない。要するに、入力されるステレオ映像およびカーソルを立体表示できるデバイスであればどのようなものを利用しても構わない。
＜制御部１０３における動作説明＞
以下、図面を参照しながら制御部１０３における詳細な動作、特にカーソルを表示部１０４上に立体表示した際の定位位置の算出について説明する。

まず、制御部１０３は蓄積部１０２に蓄積されるステレオ映像、ポリゴンデータおよび付加情報を利用し、図３に示すようにステレオ映像とポリゴンデータとが重なるように、２つの情報を重畳させる。

そして、制御部１０３は、重畳後におけるポリゴンデータから得られる座標情報に基づいて、表示部１０４に表示させるカーソルの奥行き方向における定位位置を設定する。その際、制御部１０３は、ポリゴンデータが示すステレオ映像の定位位置を基準にしてカーソルの定位位置を設定する。

図４は、ポリゴンデータに基づくカーソルの定位位置を設定する方法を説明するための図である。

以下、説明の便宜上、表示するステレオ映像は既に設定されているものとする。また、制御部１０３は、検出部１０１からスクリーン上に表示するカーソルの位置座標Ｒｓを取得しているものとする。

点Ｃの位置に飛び出すようにカーソルを表示部１０４において立体表示する場合、制御部１０３は、予め設定されるステレオ映像および当該ステレオ映像のヘッダ情報等に基づいて得られる倍率や表示のスクリーンまでの距離を利用し、スクリーン上座標値を基準に、両眼それぞれの位置座標（Ｒｅ，Ｌｅ）を求める。ここで、スクリーン上座標値とは、スクリーン平面を基準にした座標値であり、ポリゴンデータをステレオ映像に重ねるように調整する際、ポリゴンデータが有する座標値を例えばアフィン変換によって変換したものである。

さらに、制御部１０３は、検出部１０１から得られるＲｓおよび右眼位置Ｒｅを結ぶ直線に基づき、ポリゴンデータと直線との交点Ｃの交点座標を求める。

そして、制御部１０３は、交点Ｃの座標値および左眼位置Ｌｅから得られる直線と、スクリーンとの交点をＬｓとして算出する。

そして、制御部１０３は、ＲｓおよびＬｓから算出される視差を視聴者側に飛び出すように調整することにより、カーソルが常にステレオ映像よりも手前に表示されるよう、カーソルの定位位置を設定する。

なお、上記の座標計算はポリゴンデータが有する３次元空間上における座標値に基づいて算出される。ただし、ポリゴンデータが座標値を有していない場合は、ステレオ映像からステレオマッチング法等を利用して直接的にカーソルの定位位置を設定しても構わない。

以下、図面を参照しながら制御部１０３における詳細動作を説明する。

図５は、本実施例における制御部１０３の行う処理の説明図である。

また、図６は、本実施例における制御部１０３のフローチャートである。

なお、以下の動作を実行する前には、仮想的に設定する右眼位置Ｒｅおよび左眼位置Ｌｅ座標値が取得されているものとする。ここでＲｅおよびＬｅの座標値はスクリーン平面をｘｙ座標とし、その平面に直交する方向にｚ軸方向を設定したｘｙｚ座標系として与えられる。以下、ｘｙｚ座標系と表現する場合は、この座標系を示す。

（ステップ１）制御部１０３は、ユーザの指示に基づいて、蓄積部１０２から目的のステレオ映像を読み込む。同時に、ステレオ映像に該当する部分のポリゴンデータも蓄積部１０２から読み込む。このとき、制御部１０３は例えばアフィン変換等を利用して、読み込んだポリゴンデータの座標系をｘｙｚ座標系に変換する。これにより、制御部１０３はスクリーン平面を基準とするポリゴンデータの座標値が取得できる。

（ステップ２）制御部１０３は、読み込んだステレオ映像をデコードし、表示部１０４に出力する。そして、表示部１０４は、出力されたステレオ映像を受け取ると、そのステレオ映像をディスプレイ上に立体表示する。

（ステップ３）制御部１０３は、検出部１０１が取得したカーソルの位置情報を取得する。具体的には、検出部１０１から右眼用のカーソルに関する位置情報を受け取る。この位置情報は、スクリーン平面上におけるｘｙ座標で表現される値である。なお、説明の便宜上、図５においてはＲｐと表現する。なお、制御部１０３は検出部１０１から取得する位置情報は右眼用のカールに関する位置情報と設定する。

（ステップ４）制御部１０３は、上記ステップで取得したＲｅの座標値、Ｒｐの座標値およびポリゴンデータの座標値に基づいて、ステップ３で取得したカーソルと右眼位置とで形成される直線と、ポリゴンデータ上の交点座標を計算する。この計算は例えば、ポリゴンデータを構成する各３角形の平面と直線との交点を求め、その交点が、３角形の領域に含まれるか否かを判定すればよい。この交点が、３角形の領域に含まれれば、その交点は点Ｃになり、含まれていなければ、別の３角形との交点を探すことによって行われる。

（ステップ５）次に制御部１０３は、左眼用のカーソルに関する位置情報を計算する。具体的に制御部１０３は、左眼位置Ｌｅと点Ｃを結ぶ直線と、スクリーン平面との交点座標を上記の位置情報として求める。ここで、左眼用のカーソルは、表示部１０４にカーソルを立体表示する際に、右眼用のカーソルと対になるものである。この点を、Ｌｐとする。

（ステップ６）制御部１０３は、ステップ５で求められたＬｐの位置座標を調節する。具体的に、制御部１０３は、所定の値だけＲｐとＬｐとの間隔を広くするようにＬｐの座標値をずらしたものをＬｐ’として求める。そして、この座標値を、実際に左眼用のカーソルを表示する位置と設定する。このＬｐの移動によって、視聴者が立体表示されたカーソルの定位位置は、点Ｃから視聴者側の点Ｃ’に移動することになる。これによりカーソルは、表示部１０４に表示される映像の表面に沿って奥行きが変化しながらも、所定の量、オブジェクトより手前に定位する。よって、視聴者において発生するカーソルの定位位置と、映像の定位位置とで起こる錯誤を防止することができる。

（ステップ７）制御部１０３は、表示部１０４にＲｐの座標値およびＬｐ’の座標値を出力する表示部１０４は、制御部１０３から出力されるＲｐの座標値およびＬｐ’の座標値に対してカーソルを表示する。これにより、視聴者はカーソルを視聴した際、当該カーソルを立体視できる。

上記の動作により、表示部１０４に立体表示されるカーソルは、ステレオ映像の表面より所定の値手前に定位して表示される。
（まとめ）
本実施形態における表示制御装置１００は、立体表示されている映像に対してカーソルを重畳し表示する表示制御装置１００であって、映像およびカーソルを立体表示する表示部１０４と、カーソルを表示する場合、表示部１０４上におけるカーソルの表示位置を示す位置情報を取得する検出部１０１と、制御部１０３を備え、
制御部１０３は、映像に基づいて、表示部に映像を立体表示した際、映像の奥行き方向の定位位置を示す第１視差情報を少なくとも１つ以上の画素毎に取得し、位置情報が示すカーソルの表示位置における映像の定位位置よりも、カーソルの定位位置が近くなるように、第１視差情報に基づいてカーソル用の視差情報である第２視差情報を設定し、表示部に対して、取得した第１視差情報に基づき映像を立体表示させるとともに、位置情報が示す位置かつ第２視差情報で示される定位位置にカーソルを立体表示させる。

上記の動作により、これによりカーソルは、表示部１０４に表示される映像の表面に沿って奥行きが変化しながらも、所定の量、オブジェクトより手前に定位する。よって、視聴者において発生するカーソルの定位位置と、映像の定位位置とで起こる錯誤を防止することができる。
（その他の実施形態１）
本実施形態における表示制御装置１００は、ステップ１とステップ２との間にステップＡを実施しても構い。

以下、ステップＡの動作について図面を参照しながら説明する。

（ステップＡ）制御部１０３は、蓄積部１０２から取得したポリゴンデータの平滑化をおこなう。具体的には、ポリゴンデータのある点に注目したときに、その点座標と、その周辺の点座標との加重平均を計算する。

図７は、ポリゴンデータの構成を示す図である。

図７の例では、点１〜点７の各点の座標ベクトルをＶ１〜Ｖ７としている。

点３の周りには、点１、点２、点６、点７が存在している。このとき、例えば点３については次の数式を用いて座標値を平滑化する。

また、点６についても同様に次式を用いて座標値を計算する。

なお、上記の説明においては、説明の便宜上、点３および点６についての説明のみであるが、他の点についても同様に計算することができる。

上記のように処理することにより。表示部１０４に表示するカーソルの奥行き方向の定位位置が、細かく変動することを避け、ヒステリシスに変動するように制御できる。
（その他の実施形態２）
蓄積部１０２に保存されているポリゴンデータは、ステレオ映像から生成される。しかし、画像処理の誤差から、取得されたポリゴンデータは、ポリゴンが定義されていない穴の開いた状態になることがある。つまり、ステレオ映像のすべてに対して座標値を有するポリゴンデータが定義できない。

そのようなポリゴンデータを用いて、ポインティングデバイスのカーソルの奥行き制御を行った場合、カーソル位置のポリゴン上の座標値を求める交点計算においてエラーが発生し、正しくポリゴンデータ上に点が求められない可能性がある。

本実施形態においては、上記の課題を解決する。

以下、図面を参照しながら本実施形態における表示制御装置１００の動作を説明する。

図８は、右眼からの指示位置とポリゴンデータの交点抽出の平滑化処理を説明するための図である。

図９は、スクリーン上において設定する複数の右眼用のカーソルの位置座標を説明するための図である。

図１０は、本実施形態における制御部１０３の動作示すフローチャートである。

制御部１０３は、図８に示すように、右眼位置Ｒｅと右眼用のカーソルの表示位置Ｒｐを結ぶ直線と、ポリゴンデータとの交点座標を求める際に、その周辺における座標値Ｃｎを求める機能を備える。

制御部１０３は、右眼用のカーソルを表示するＲｐと右眼位置Ｒｅとを結ぶ直線と、ポリゴンデータとの交点座標Ｃを算出する。本実施例では、そのとき、Ｒｐをただ１点とするのではなく、図９に示すように、Ｒｐの予定の距離分離れた点Ｒｐ１，Ｒｐ２，Ｒｐ３、Ｒｐ４を求める。

１．右眼位置ＲｅとＲｐ１を結ぶ直線と、ポリゴンデータとの交点座標をＣ１とする
２．右眼位置ＲｅとＲｐ２を結ぶ直線と、ポリゴンデータとの交点座標をＣ２とする
３．右眼位置ＲｅとＲｐ３を結ぶ直線と、ポリゴンデータとの交点座標をＣ３とする
４．右眼位置ＲｅとＲｐ４を結ぶ直線と、ポリゴンデータとの交点座標をＣ４とする
そして、制御部１０３は、算出した座標が、極端に離れているものを除外し、残った交点座標の平均値を以後に利用する交点Ｃの座標値とする。具体的に、制御部１０３は求めたＣ１〜Ｃ４について、右目位置Ｒｅからの距離を求め、その最大と最少のものを削除したうえで
残ったもので位置ベクトルを平均化する方法がある。図８に示した例では、Ｃ１〜Ｃ４のうち、Ｃ２とＣ４を除外して、Ｃ１とＣ３で平均化して得られる座標値を、交点座標Ｃのとして算出している。

以下、制御部１０３における詳細な動作について図面を参照しながら説明する。

本実施例の動作では、実施例１におけるステップ４に代えて、ステップ４−１からステップ４−４を実施する。

（ステップ４−１）制御部１０３は、ステップ３で取得したＲｐの座標値に基づいて、当該Ｒｐの周辺に複数個のＲｐｎを設定する。例えば、制御部１０３はＲｐ中心に、１０ピクセル離れた４つの点を生成し、Ｒｐ１，Ｒｐ２，Ｒｐ３、Ｒｐ４とする。

（ステップ４−２）制御部１０３は、右眼位置Ｒｅおよび上記で設定した位置Ｒｐｎを結ぶ直線と、ポリゴンデータとの交点座標をそれぞれＣ１からＣ４といて算出する。このステプ４−２の計算は、ステップ４−１で設定したＲｐｎのすべての点について行うまで繰り返すものとする。

（ステップ４−３）制御部１０３は、得られた複数個のＣｎからエラーと疑わしきＣｎを排除する。

（ステップ４−４）制御部１０３は、上記の排除の結果、残ったＣｎを平均化し、交点座標Ｃを求める。このときの、制御部１０３は、点Ｃｎへの位置ベクトルをＶＣｎした場合、次式によって算出する。

上記処理を行うことで、従来、単一の、直線とポリゴンデータの交点の１点だけから、交点座標Ｃを求めていた場合に比べて、仮にポリゴンデータに一部欠損があり、交点が求まらない場合であっても、周辺の状態を反映させることで、より安定的に、指示座標Ｃを求めることが可能になる。よって、表示部１０４に表示するカーソルの奥行き方向の位置が、大きく前後に変化することなく、視聴者は、目の疲労を大きく感じることなく、３Ｄ映像を見ることが可能になる。
（その他の実施形態３）
本実施の形態は、右眼位置Ｒｅと右眼用のカーソルの表示位置Ｒｐを結ぶ直線と、ポリゴンデータとの交点座標が、算出できなかった場合におけるエラー処理を開示する。

以下、上記のエラー処理の具体的動作について図面を参照しながら説明する。

図１１は、制御部１０３における交点座標Ｃを算出する際の動作を説明するための図である。

また、図１２は、本実施形態における制御部１０３の動作内容を説明するためのフローチャートである。

蓄積部１０２に保存されているポリゴンデータは、ステレオ映像から生成される。しかし、このポリゴンデータは、図１１に示すように、スクリーン面上の一部分のみを占める形状として定義している場合がある。つまり、このポリゴンデータは、スクリーン上全面にわたって定義されるのではなく、たとえば、画面の周囲では、ポリゴンデータが定義されていない。この場合は、たとえば図６におけるステップ４において交点座標を計算する際、右眼位置Ｒｅと右眼用のカーソルの表示位置Ｒｐを結ぶ直線と、ポリゴンデータとの交点座標Ｃを求めようと思っても、求めることができない。その結果、交点Ｃの座標が不定や極端に大きな、あるいは小さな値になると、この部分では、マウスカーソルの奥行は手前に飛び出したり、奥に引っ込んだりする。この結果、視聴者は目の疲労を起こしやすくなる可能性がある。

そこで、制御部１０３は、交点が求まらなかった場合、右眼位置Ｒｅと右眼用のカーソルを表示する表示位置Ｒｐを結ぶ直線上に、上記交点Ｃに対応する点ＴＣを設定する機能を備える。このようなＴＣを設定し、このＴＣが示す位置座標にカーソルを定位させることにより、視聴者にとって、見やすい３Ｄ映像とその指示カーソルとすることが可能になる。

なお、この点ＴＣと、スクリーン位置は、ポリゴンデータの存在する前後範囲の中に納まっていることが望ましい。ＴＣが、ポリゴンデータの存在する範囲から大きく逸脱していると、表示部１０４に表示するカーソルは、おおきく画面上から飛び出したり、または、大きく奥に引っ込んだりようになり、視聴者に目の疲労を起こさせる可能性があるためである。

以下、制御部１０３における詳細な動作について図面を参照しながら説明する。

本実施例の動作では、実施例１におけるステップ４に代えて、ステップ４−５からステップ４−７を実施する。

（ステップ４−５）制御部１０３は、右眼位置Ｒｅと右眼用のカーソルの表示位置Ｒｐを結ぶ直線と、ポリゴンデータとの交点Ｃを計算する。

（ステップ４−６）制御部１０３は、交点Ｃが計算できない場合、右眼位置Ｒｅと右眼用のカーソルの表示位置Ｒｐｎを結ぶ直線上で、スクリーンから所定の距離離れた位置にある、点ＴＣを求める。このときの「所定の値」は、３Ｄ画像に重なるように位置決めしたポリゴンデータの、ポリゴンデータの存在する前後範囲におさまるようになっていることが望ましい。

（ステップ４−７）制御部１０３は、点ＴＣの座標値を点Ｃの座標値に代えて以後の処理を実行する。

上記の処理を行うことで、ポリゴンデータの定義されている範囲の外に、ポインティングデバイスのカーソルを移動させたときであっても、表示部１０４に表示するカーソルの奥行き方向の位置が大きく前後に変化することを低減できる。よって、視聴者は、目の疲労を大きく感じることなく、３Ｄ映像を見ることが可能になる。
（その他の実施形態４）
上記の実施形態では、Ｌｐは、左眼位置Ｌｅとポリゴンデータ上の点Ｃ結ぶ直線とスクリーンとの交点として求めていた。さらに、その点の座標をさらに所定の値、水平方向に移動させることで、Ｌｐ’が求まるものとしている。

本実施形態では、上記の算出方法に限定されるものではなく、以下に開示する方法を用いて算出しても構わない。

図１３および図１４は、本実施形態におけるＬｐ’の算出方法を説明するための図である。

図１３に示すＬは、スクリーンと視聴位置との距離である。また、ｄは、人の両目の間隔である。通常は、６０ｍｍから６５ｍｍである。ｍは、求めた点Ｃのスクリーンからの飛び出し量である。ｇは点Ｃからスクリーンに下した位置からＬｐまでの距離である。さらにｇは、点Ｃからスクリーンに下した位置からＬｐまでの距離である。

幾何学的な関係から、図１３の場合は、次式が成立する。

（数４） （Ｌ−ｍ）／ｄ ＝ ｍ／ｇ
上記の数式に基づいて、ｇは次式で算出される。

（数５） ｇ＝ｍ×ｄ／（Ｌ−ｍ）
点Ｃがスクリーンより奥に定位している場合は、図１４に示すように、点Ｃの飛び出し量を−ｍとして計算する。これにより、点Ｃがスクリーンより手前に定位している場合に対して、左右逆方向にＲｐをずらすこととなりＬｐの位置が算出できる。ＬｐからＬｐ‘を求める場合、図１３および図１４どちらも、右の方向に、所定の距離ずらすことで、ポインティングデバイスのカーソルは、３Ｄ映像のオブジェクトの表面より少し手前に定位させることが可能になる。

上記のように、両目の距離（ｄ）、スクリーンと視聴位置との距離（Ｌ）を使用することで、より簡単な計算で、カーソルの表示位置を求めることができる。
（その他の実施形態５）
上記の各実施形態においては、ステレオ映像から生成したポリゴンデータ、または、３Ｄスキャナー等によって得られるポリゴンデータを用いることで、ステレオ映像に映っているオブジェクトの表面に沿って、立体表示するカーソルの奥行き定位位置を制御する方法を示した。

ところで、ユーザがオブジェクトの表示角度をさまざまに変更した場合、その視線方向での視差量を都度計算するのは、応答性の低下を招き、操作性が悪化することになる。本実施例で開示したように、表示されているオブジェクトに関する視差情報を、ポリゴンデータとしてその形状を定義することで、視線方向などが変わった場合でも、単一のポリゴンデータに基づいて、奥行き情報を求めることが可能になる。その結果、ユーザが映像の表示方向を変化させた直後であっても、別の視差データを読み出す必要はないので、待ち時間なく、マウスのカーソル位置を、オブジェクトの定位位置に沿って変化させることが可能になる。

加えて、ポリゴンデータは、ただ一つである必要はなく、所定の視点範囲ごとに、ポリゴンデータを定義しておくこともできる。視点が所定の範囲から変化からした場合に、制御部１０３は別のポリゴンデータを読み込むという動作であってもよい。この動作により、ポリゴンデータは、所定の視線から見える範囲のデータを備えておればよいことになる。
その結果、制御部１０３は、一度に読み込むべきデータ量を削減することができ、全体としての応答性を確保できる。

なお上記において、右眼位置と左眼位置の距離は、通常、人の両目の間隔である60mm程度で設定してよい。また、右眼位置と左眼位置と、スクリーンとの間の距離は、ディスプレイのサイズから想定される適正な視聴距離を設定してもよいし赤外線等を使用した測距手段を使って、人の視聴位置とディスプレイの間の距離を計測してもよい。
（その他の実施形態６）
上記の各実施形態においては、ステレオ映像と、ステレオ映像に写っているオブジェクトの形状を定義したポリゴンデータを用いて、マウスなどのポインティングデバイスのカーソルを、ステレオ映像に写っているオブジェクトの表面に沿って移動させる方法を示した。 ところで、実際のシステムにおいては、画面上に、ステレオ映像とカーソルだけでなく、説明用のウィンドウやＯＳＤメニューなどが重畳して表示されることがある。
図１７は、その様子を示したものである。ポリゴンデータと左右の眼の間に配置された平板は、視聴者からみたときの、ウィンドウまたはＯＳＤメニューの定位位置を示している。
この場合、ポインティングデータのカーソルは、上記オブジェクトのポリゴン上ではなく、オブジェクト上に重畳表示された、上記ウィンドウまたはＯＳＤメニュー上に定位するようにすることが望ましい。このようにすることで、ユーザは、カーソルがメニューの下にめり込むように感じられることがなく、自然にオブジェクト表面をカーソルでなぞることが可能になる。

本実施形態では、右目位置Ｒｅとスクリーン上のカーソル位置Ｒｐを結ぶ直線と、表示されているオブジェクトとの交点Ｃ１は上記直線とポリゴンデータとの交点を示し、交点Ｃ２は、上記直線と、上記ウィンドウまたはＯＳＤメニューとの交点を示している。

得られたＣ１とＣ２の、視聴者に近い方Ｃ２が、ユーザに見える側であるとして、Ｃ２の位置に、カーソルを定位させるようにする。すなわち、左眼位置ＬｅとＣを結ぶ直線と、スクリーン平面との交点Ｌｐを求め、さらに、カーソルが視聴者に近づくように所定の方向に所定の量移動させたＬｐ´を求める。
Ｌｐ´の位置に、左眼用のカーソルの映像を表示することで、視聴者には、Ｃ´の位置にカーソルが定位するように見える。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、ステレオ映像に対してカーソルを重畳する表示制御装置に適用可能である。具体的には、立体表示機能付きテレビまたはパーソナルコンピュータなどに、本開示は適用可能である。

１００ 表示制御装置
１０１ 検出部
１０２ 蓄積部
１０３ 制御部
１０４ 表示部

Claims (4)

1. 立体表示されている映像に対してカーソルを重畳し表示する表示制御装置であって、
   前記映像およびカーソルを立体表示する表示部と、
   前記カーソルを表示する場合、前記表示部上における前記カーソルの表示位置を示す位置情報を取得する位置情報取得部と、
   前記映像に基づいて、前記表示部に前記映像を立体表示した際、前記映像の奥行き方向の定位位置を示す第１視差情報を少なくとも１つ以上の画素毎に取得する視差情報取得部と、
   前記位置情報が示す前記カーソルの表示位置における前記映像の定位位置よりも、前記カーソルの定位位置が近くなるように、前記第１視差情報に基づいて前記カーソル用の視差情報である第２視差情報を設定する設定部と、
   前記表示部に対して、前記取得した第１視差情報に基づき前記映像を立体表示させるとともに、前記位置情報が示す位置かつ前記第２視差情報で示される定位位置に前記カーソルを立体表示させる制御部と、を備える、
   表示制御装置。
2. 前記設定部は、前記第１視差情報を取得した単位毎に、前記カーソルが移動する空間上において平滑化された第２視差情報を設定する請求項１に記載の表示制御装置。
3. 前記設定部は、前記位置情報が示す前記カーソルの表示位置および前記表示位置周辺における前記映像の視差情報を取得し、前記取得した視差情報を平滑化することにより前記第２視差情報を設定する請求項１に記載の表示制御装置。
4. 前記設定部は、前記表示部上に前記カーソルを立体表示した場合、所定の定位位置よりも画面の奥方向に定位しないように前記第２視差情報を設定する請求項１に記載の表示制御装置。