JP2007047294A - 立体画像表示装置 - Google Patents

Abstract

【課題】ユーザが立体画像表示装置を動かした場合に、左右等の３軸の移動及び３軸の周りの回転を同時に制御して、所望の視点から画像を表示することができ、携帯性を実現することが可能な立体画像表示装置を提供する。
【解決手段】立体画像表示装置１は、加速度センサー１０を用いて当該立体画像表示装置１の位置を、ジャイロセンサー２０を用いて当該立体画像表示装置１の角度をそれぞれ算出し、座標変換器３０が、これらの位置及び角度に基づいて立体座標を変換するための数式を生成し、透視変換器３１が、立体座標の変換を実際に行い、当該変換後の立体座標から画面表示のための平面座標に透視変換する。
【選択図】図２

Description

本発明は、立体画像を表示する装置に関し、特に、当該装置を動かすことにより、運動視差を利用して見たい方向から立体画像を表示する装置に関する。

従来、立体画像を表示する装置には、ユーザが見たい方向を指定することにより、立体画像を平面に投影して表示する装置がある。この見たい方向を指定するツールとして、一般に、マウスやジョイスティック等のペン型３次元ポインティングデバイスが使用される。

また、画像表示部をカプセルで覆い、そのカプセルを回転移動させることにより、ユーザが見たい方向を指定する立体画像表示装置が開示されている（特許文献１を参照。）。この立体画像表示装置は、画像表示部と、画像表示部の周囲を覆う透明カプセルと、ジャイロと、エンコーダとを備え、ジャイロが画像表示部をユーザ方向に向くように制御し、エンコーダが透明カプセルの水平及び垂直角度を検出し、これらの角度により、表示画像及び方向を変化させ、画像表示部に立体画像を表示するものである。

特許第３４４３９７２号公報

しかしながら、前述したマウスやジョイスティック等を使用してユーザが見たい方向を指定する表示装置が、携帯端末のような小型の装置の場合には、マウスまたはジョイスティックは、携帯性を重視する表示装置には不向きである。また、立体画像表示装置は、一般に、視点位置を変更する際の自由度として、左右移動、上下移動、奥行き移動、ｘ軸周りの回転、ｙ軸周りの回転、及びｚ軸周りの回転の６つの移動及び回転パラメータを有する。このため、マウスまたはジョイスティックでは、これらの６つのパラメータを同時に制御することが困難である。さらに、ユーザがマウス等を操作して表示画面を変化させる場合に、ユーザが受ける操作及び画面変化の感覚は、実際に行われる制御に伴う表示画面の変化と必ずしも一致しているとは限らないため、マウス等を用いて視点位置を変更するには、相当の慣れを要する。

一方、前述した特許文献１に記載された立体画像表示装置は、マウスやジョイスティック等のデバイスを使用するものではないが、画像表示部とは別に透明カプセルを備える必要があり、また、その透明カプセルは画像表示部を覆う構成とする必要がある。このため、構成が複雑になり、全体として大型になるという問題があった。したがって、携帯端末のような小型表示装置には不向きである点で、前述のマウスやジョイスティック等のデバイスを使用する場合と同様である。

そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、ユーザが当該立体画像表示装置を動かした場合に、左右移動、上下移動、奥行き移動、ｘ軸周りの回転、ｙ軸周りの回転、及びｚ軸周りの回転の６つの移動／回転パラメータを同時に制御して、所望の視点から画像を表示することができ、これにより、携帯性を実現することが可能な立体画像表示装置を提供することにある。

本発明による立体画像表示装置は、ユーザの所望する視点位置から立体画像を画面に表示する立体画像表示装置において、該立体画像表示装置を傾斜させたときの角度を検出する角度検出部と、該立体画像表示装置を移動させたときの位置を検出する位置検出部と、前記角度検出部により検出された角度及び位置検出部により検出された位置に基づいて、傾斜及び移動前の立体画像の立体座標を、傾斜及び移動後の立体画像の立体座標に変換する座標変換部と、該座標変換部により変換された立体画像の立体座標を、画面表示のための平面座標に変換する透視変換部と、を備えたことを特徴とする。

また、好適には、前記角度検出部により角度が検出される期間、及び位置検出部により位置が検出される期間を指定する期間指定部を備えることが望ましい。また、前記座標変換部が座標を変換するときに用いる角度及び位置を、それぞれ予め設定された初期角度及び初期位置とするリセット指定部を備えることが望ましい。

ここで、角度検出部は、例えばジャイロセンサー等を用いて角速度を検出し、当該角速度を積分することにより角度を求める。このジャイロセンサーは、横方向及び縦方向の２軸の周りの回転を検出するセンサーで十分であるが、これに加えて表示画面に対して垂直方向の軸の周りの回転を検出するセンサーであってもよい。また、位置検出器は、例えば加速度センサー等を用いて加速度を求め、当該加速度を２階積分することにより位置を求める。この加速度センサーは、縦横奥行き方向の３方向の移動を検出するセンサーである。

ユーザは、本発明の立体画像表示装置を手に持って立体画像を視聴する。この場合、表示されている画像は平面画像である。そして、例えば、視聴している立体画像を右側から見たい場合には、立体画像表示装置を左側に傾けることにより、立体画像表示装置は、立体画像の座標変換を行い、または、視点位置の変換を行う。これにより、ユーザは、立体画像を右側から見ることができる。

本発明によれば、ユーザが当該立体画像表示装置を動かした場合に、立体画像表示装置は、上下移動、左右移動、奥行き移動、ｘ軸周りの回転、ｙ軸周りの回転、及びｚ軸周りの回転の６つの移動／回転パラメータを同時に制御して、所望の視点位置からの画像を表示する。これにより、携帯性に優れた表示装置を実現することが可能となる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。
図１は、本発明の実施の形態による立体画像表示装置の外観、及び、移動／回転パラメータを説明する概略図である。この立体画像表示装置１は、ユーザが手に持つことができる携帯型の表示装置であり、前面には立体画像を表示するための表示部及びユーザがボタン等を押下するための操作部が設けられている。立体画像表示装置１は、アンテナを介して立体画像等の情報を受信したり、ネットワークやメモリチップを介して立体画像等の情報を取り込んだりして、当該立体画像等の情報を内部メモリに格納する。ユーザが操作部のボタン等を操作することにより、内部メモリから所望の立体画像の情報を読み出し、当該立体画像を表示部に表示する。これにより、ユーザは所望の立体画像を見ることができる。

そして、ユーザは、表示された立体画像の視点を変更し、他の視点から立体画像を見たい場合に、立体画像表示装置１を所定の移動方向及び所定の回転方向に動かす。立体画像表示装置１は、ユーザによる移動方向及び回転方向の動作を認識し、これらの動作に従って立体画像の座標または視点を変更して、再表示する。ここで、図１に示すように、立体画像表示装置１の移動方向には、左右／水平／横方向のｘ軸、上下／垂直／縦方向のｙ軸、及び奥行き／前後方向のｚ軸の３つがあり、回転方向には、左右方向のｘ軸周り、上下方向のｙ軸周り、及び奥行き方向のｚ軸周りの３つがある。ここで、立体画像表示装置１における表示部の中心を原点とした３次元の座標系を想定し、左右方向をｘ軸、上下方向をｙ軸、奥行き方向をｚ軸とする。また、ａ_ｘはｘ軸方向の加速度、ａ_ｙはｙ軸方向の加速度、ａ_ｚはｚ軸方向の加速度、ｒ_ｘはｘ軸の周りの角速度、ｒ_ｙはｙ軸の周りの角速度、ｒ_ｚはｚ軸の周りの角速度をそれぞれ表している。立体画像表示装置１は、これらの６つの移動／回転パラメータを制御し、ユーザの所望する視点であらゆる方向から立体画像を再表示する。

図２は、図１に示した立体画像表示装置１の機能構成を示すブロック図である。この立体画像表示装置１は、その内部に、加速度センサー１０、積分器１１，１２、ジャイロセンサー２０、積分器２１、座標変換器３０、透視変換器３１、及び表示器４０を備えている。加速度センサー１０は、立体画像表示装置１におけるｘ，ｙ，ｚ軸方向の加速度ａ_ｘ，ａ_ｙ，ａ_ｚをそれぞれ検出する。積分器１１は、加速度センサー１０により検出された加速度ａ_ｘ，ａ_ｙ，ａ_ｚを入力し、積分処理を施し、ｘ，ｙ，ｚ軸方向の速度ｖ_ｘ，ｖ_ｙ，ｖ_ｚにそれぞれに変換する。積分器１２は、積分器１１により積分して変換された速度ｖ_ｘ，ｖ_ｙ，ｖ_ｚを入力し、積分処理を施し、ｘ，ｙ，ｚ軸方向の位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚにそれぞれ変換する。このように、立体画像表示装置１は、加速度センサー１０により検出された加速度ａ_ｘ，ａ_ｙ，ａ_ｚを２階積分することにより、位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚを求めることができる。

加速度ａ_ｘ，ａ_ｙ，ａ_ｚから速度ｖ_ｘ，ｖ_ｙ，ｖ_ｚを求める式、及び速度ｖ_ｘ，ｖ_ｙ，ｖ_ｚから位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚを求める式を以下に示す。

ここで、ｋ_１〜ｋ_６は予め設定された係数とする。

ジャイロセンサー２０は、立体画像表示装置１におけるｘ，ｙ，ｚ軸周りの角速度ｒ_ｘ，ｒ_ｙ，ｒ_ｚをそれぞれ検出する。積分器２１は、ジャイロセンサー２０により検出された角速度ｒ_ｘ，ｒ_ｙ，ｒ_ｚを入力し、積分処理を施し、ｘ，ｙ，ｚ軸周りの角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚにそれぞれに変換する。このように、立体画像表示装置１は、ジャイロセンサー２０により検出された角速度ｒ_ｘ，ｒ_ｙ，ｒ_ｚを積分することにより、角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚを求めることができる。

角速度ｒ_ｘ，ｒ_ｙ，ｒ_ｚから角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚを求める式を以下に示す。

ここで、ｋ_７〜ｋ_９は予め設定された係数とする。

いま、立体画像表示装置１に表示されている立体画像の各点の座標を（ｘ，ｙ，ｚ）とし、ユーザが立体画像表示装置１を動かして座標を変換した後の立体画像の各点の座標を（Ｘ，Ｙ，Ｚ）とする。立体画像表示装置１がｘ，ｙ，ｚ軸方向に移動したときの座標（Ｘ，Ｙ，Ｚ）の式を以下に示す。

また、立体画像表示装置１がｘ軸の周りに回転したときの座標（Ｘ，Ｙ，Ｚ）の式を以下に示す。

また、立体画像表示装置１がｙ軸の周りに回転したときの座標（Ｘ，Ｙ，Ｚ）の式を以下に示す。

また、立体画像表示装置１がｚ軸の周りに回転したときの座標（Ｘ，Ｙ，Ｚ）の式を以下に示す。

図３は、立体画像から平面画像への変換処理を示す説明図である。ここで、固定の座標系の下で、ユーザの視点を○、ユーザが立体画像表示装置1を動かす前の任意の立体画像の点を●（その座標は（ｘ，ｙ，ｚ））、ユーザが立体画像表示装置１を動かした後の任意の立体画像の点を黒塗りの三角（その座標は（Ｘ，Ｙ，Ｚ））で示し、座標の原点は表示器４０の中心にあるものとする。また、立体画像表示装置1を動かす前の立体画像の各点の座標（ｘ，ｙ，ｚ）について、表示器４０における表示画面の座標を（ｄｘ，ｄｙ）、立体画像表示装置1を動かした後の立体画像の各点の座標（Ｘ，Ｙ，Ｚ）について、表示器４０における表示画面の座標を（ｄＸ，ｄＹ）とする。図３から以下のｄｘ，ｄＸの各式を導き出すことができる。同様に、ｄｙ，ｄＹの各式も導き出すことができる。
座標（ｘ，ｙ，ｚ）について、
ｄｘ＝ｈｘ／（ｚ＋ｈ）
ｄｙ＝ｈｙ／（ｚ＋ｈ） ・・・・・ （７）
座標（Ｘ，Ｙ，Ｚ）について、
ｄＸ＝ｈＸ／（Ｚ＋ｈ）
ｄＹ＝ｈＹ／（Ｚ＋ｈ） ・・・・・ （８）
ここで、ｈは、視点から原点までのｚ軸成分の距離に比例した予め設定された係数である。

図２に戻って、座標変換器３０は、積分器１２により積分して変換された位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚ、及び、積分器２１により積分して変換された角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚをそれぞれ入力し、上記（３）〜（６）に代入して、ユーザが立体画像表示装置1を動かす前の立体画像の座標（ｘ，ｙ，ｚ）と、動かした後の立体画像の座標（Ｘ，Ｙ，Ｚ）との間の関係式を生成する。これにより、動かす前の立体画像の座標（ｘ，ｙ，ｚ）から動かした後の立体画像の座標（Ｘ，Ｙ，Ｚ）に変換することができる。

透視変換器３１は、座標変換器３０により生成された（ｘ，ｙ，ｚ）と（Ｘ，Ｙ，Ｚ）との間の関係式を入力し、図示しない内部メモリから、立体画像表示装置1を動かす前の座標（ｘ，ｙ，ｚ）で表した立体画像の情報を読み出す。そして、立体画像の各点について、前記関係式を用いて（ｘ，ｙ，ｚ）から（Ｘ，Ｙ，Ｚ）への変換を実際に行い、上記（８）式を用いて、立体画像の３次元座標（Ｘ，Ｙ，Ｚ）から２次元座標（ｄＸ，ｄＹ）に変換し、表示器４０に表示する。これにより、立体画像の座標変換及び透視変換を行うことができる。この場合、透視変換器３１は、立体画像表示装置１を動かした後の座標（Ｘ，Ｙ，Ｚ）で表した立体画像の情報を内部メモリに格納する。尚、立体画像表示装置１を動かした後の座標（Ｘ，Ｙ，Ｚ）で表した立体画像の情報は、必ずしも内部メモリに格納する必要はなく、初期の座標（ｘ，ｙ，ｚ）で表した立体画像の情報を内部メモリに格納しておき、当該初期情報を用いて前記変換処理を行うようにしてもよい。

ところで、積分器１１，１２，２１は、ユーザが立体画像表示装置１の前面に設けられた操作部の動作ボタンを押しているときに、積分処理を施すようにしてもよい。この場合、積分器１１，１２，２１は、ボタンが押されている期間を積分期間として、積分処理を施す。

また、積分器１１，１２，２１は、ユーザが立体画像表示装置１の前面に設けられた操作部のリセットボタンを押したときに、予め設定された立体画像表示装置１の初期速度ｖ_ｘ，ｖ_ｙ，ｖ_ｚ（例えば０）、初期位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚ、初期角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚをそれぞれ出力するようにしてもよい。この場合、初期速度ｖ_ｘ，ｖ_ｙ，ｖ_ｚ、初期位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚ及び初期角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚは、ユーザが予め設定した初期の視点位置に対応するものであり、立体画像表示装置１は、ユーザの操作により、表示器４０の表示画面をリセットし、初期の視点位置における画像を表示する。

以上のように、本発明の実施の形態による立体画像表示装置１によれば、加速度センサー１０を用いて当該立体画像表示装置１の位置を、ジャイロセンサー２０を用いて当該立体画像表示装置１の角度をそれぞれ算出し、座標変換器３０が、これらの位置及び角度に基づいて立体座標を変換するための数式を生成し、透視変換器３１が、立体座標を実際に変換すると共に、当該変換後の立体座標から画面表示のための平面座標に透視変換するようにした。これにより、立体画像表示装置１は、左右移動、上下移動、奥行き移動、ｘ軸周りの回転、ｙ軸周りの回転、及びｚ軸周りの回転の６つの移動／回転パラメータを同時に制御するから、マウスやジョイスティック等のデバイスを使用する際の不都合を解消することができると共に、ユーザが所望する視点から画像を表示することができる。つまり、ユーザは、携帯型の立体画像表示装置１を手に持って立体画像を視聴している場合、立体画像表示装置１を移動及び回転させることにより、自己の所望する異なる方向から立体画像を視聴することが可能となる。

また、本発明の実施の形態による立体画像表示装置１によれば、加速度センサー１０がユーザによる立体画像表示装置１の移動を、ジャイロセンサー２０がその回転をそれぞれ検出し、座標変換器３０が移動及び回転前後の立体座標を変換するようにした。これにより、マウスやジョイスティック等のデバイスとは異なり、ユーザによる移動及び回転の操作量と立体座標変換量または視点移動量との間の関係がわかりやすいから、ユーザが所望する画面表示のための操作に比較的容易に慣れることができる。

また、本発明の実施の形態による立体画像表示装置１によれば、加速度センサー１０、ジャイロセンサー２０等の各手段を、当該立体画像表示装置１の内部に設けるように構成した。前述した特許文献１では、透明カプセルを表示装置とは別に設ける必要があり、また、その透明カプセルの位置や角度を検出するためのエンコーダやジャイロセンサーを表示装置の外部に設ける必要があった。これに対し、立体画像表示装置１では、外部にこれらの手段を設ける必要がないから、立体画像表示装置１自体が大型になることがなく、携帯性に優れた表示装置を実現することが可能となる。

また、本発明の実施の形態による立体画像表示装置１は、両眼視差を利用したものではなく、運動視差を利用したものであるから、ユーザの目の疲れを低減することができる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、立体画像表示装置１が表示する立体画像は、ＣＧ（コンピュータグラフィックス）で使用するポリゴンデータを有する３次元データであってもよく、ＶＲＭＬ（Virtual Reality Modeling Language）データを有する３次元データであってもよい。また、この立体画像は、両眼立体用の画像、多眼立体用の画像等から変換して、運動視差による立体画像に再構成（生成）したものであってもよい。ここで、多眼立体用の画像とは、異なる視点から撮影された２つ以上の画像をいう。

一般に、ＣＧは、数式等の記述を計算して立体画像を表現するものである。ＣＧで使用するポリゴンデータから本発明で扱うことが可能な立体画像（図２において、透視変換器３１に入力される立体画像）を生成する場合には、立体画像表示装置１に備えた立体画像生成手段（図示せず）が、ポリゴンデータを入力し、当該ポリゴンデータにおける記述に基づいて立体画像を生成し、当該立体画像を透視変換器３１に出力する。

また、多眼立体用の画像から本発明で扱うことが可能な立体画像を生成する場合には、立体画像表示装置１に備えた立体画像生成手段が、多眼立体用の画像（２つ以上の画像）を入力し、当該２つ以上の画像から奥行き情報を算出し、これらの画像及び奥行き情報に基づいて立体画像を生成し、当該立体画像を透視変換器３１に出力する。尚、多眼立体用の画像（多視点画像）から立体画像を生成する方法については、映像情報メディア学会誌Vol.58,No.6(2004年),pp.794〜806を参照されたい。

このような立体画像は、テレビ、ゲーム、科学教材、写真等の画像を対象とするが、これに限定されるものではなく、立体構造を確かめる必要のある画像であればよい。

また、立体画像表示装置１は、加速度センサー１０を備えるようにしたが、加速度センサー１０に限定されるものではなく、ｘ，ｙ，ｚ軸の位置ｐ_ｘ，ｐ_ｙ，ｐ_ｚを求めるための物理量を検出可能なセンサーであればよい。また、立体画像表示装置１は、ジャイロセンサー２０を備えるようにしたが、ジャイロセンサー２０に限定されるものではなく、ｘ，ｙ，ｚ軸周りの角度ｑ_ｘ，ｑ_ｙ，ｑ_ｚを求めるための物理量を検出可能なセンサーであればよい。

本発明の実施の形態による立体画像表示装置の外観、並びに、移動及び回転パラメータを説明する概略図である。 図１の立体画像表示装置の機能構成を示すブロック図である。 立体画像から平面画像への変換処理を示す説明図である。

符号の説明

１ 立体画像表示装置
１０ 加速度センサー
１１，１２，２１ 積分器
２０ ジャイロセンサー
３０ 座標変換器
３１ 透視変換器
４０ 表示器

Claims (3)

1. ユーザの所望する視点位置から立体画像を画面に表示する立体画像表示装置において、
   該立体画像表示装置を傾斜させたときの角度を検出する角度検出部と、
   該立体画像表示装置を移動させたときの位置を検出する位置検出部と、
   前記角度検出部により検出された角度及び位置検出部により検出された位置に基づいて、傾斜及び移動前の立体画像の立体座標を、傾斜及び移動後の立体画像の立体座標に変換する座標変換部と、
   該座標変換部により変換された立体画像の立体座標を、画面表示のための平面座標に変換する透視変換部と、を備えたことを特徴とする立体画像表示装置。
2. 請求項１に記載の立体画像表示装置において、
   さらに、前記角度検出部により角度が検出される期間、及び位置検出部により位置が検出される期間を指定する期間指定部を備えたことを特徴とする立体画像表示装置。
3. 請求項１または２に記載の立体画像表示装置において、
   さらに、前記座標変換部が座標を変換するときに用いる角度及び位置を、それぞれ予め設定された初期角度及び初期位置とするリセット指定部を備えたことを特徴とする立体画像表示装置。

Images