JP2008052641A - 映像表示システム - Google Patents

映像表示システム Download PDF

Info

Publication number
JP2008052641A
JP2008052641A JP2006230707A JP2006230707A JP2008052641A JP 2008052641 A JP2008052641 A JP 2008052641A JP 2006230707 A JP2006230707 A JP 2006230707A JP 2006230707 A JP2006230707 A JP 2006230707A JP 2008052641 A JP2008052641 A JP 2008052641A
Authority
JP
Japan
Prior art keywords
video
virtual reality
virtual
measurement target
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006230707A
Other languages
English (en)
Inventor
Haruka Amanuma
はるか 天沼
Hiroshi Hoshino
洋 星野
Akira Kawamura
亮 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2006230707A priority Critical patent/JP2008052641A/ja
Publication of JP2008052641A publication Critical patent/JP2008052641A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】実際の物体を見た観察者の印象と映像内の物体を見た観察者の印象との乖離を解消する。
【解決手段】プロジェクタ2から映像光を出射してスクリーン1に表示して、仮想現実空間内に対象物を含む仮想現実映像を表示する構成であり、所定の実長さを有する実対象物11と、観察者によって実対象物11を観察する実物体観察口12と、実対象物11を含む仮想現実映像を表示し仮想現実空間内の実対象物11を観察するVR物体観察口13とを備え、仮想現実空間内の実対象物11とVR物体観察口13との位置関係が実位置関係と同じ位置関係とする。観察者によって、VR物体観察口13で観察された仮想現実空間内の実対象物11の長さがサイズ入力部14で入力されると、入力された長さと実対象物11の所定の実長さとに基づいて、スクリーン1に表示される仮想現実映像を拡大又は縮小させる比率を演算装置3で演算する。
【選択図】図1

Description

本発明は、三次元映像をスクリーンに表示させて仮想現実感を作り出す映像表示システムに関する。
近年のコンピュータの性能向上に伴って、バーチャルリアリティ(VR)技術も発達し、VR映像の表示装置もさまざまなものが開発されてきた。VR映像は模型試作品の代替やシミュレーションなどの用途にも使われており、実物に近く見え、寸法や色などに関して正確に印象を伝えることのできる現実感の高いVR映像の表示技術が求められている。また、疲労の少ない映像提示の需要も高く、個人毎に映像提示のパラメータで映像の補正や調整を行うことで、精度を上げて見えやすくしている。
このようなVR映像を表示する技術としては、下記の特許文献1乃至3に記載されたものが知られている。
特許文献1には、左眼映像と右眼映像からなる立体映像の質を向上させるための変形補正方法であって、左/右映像の拡大及び縮小制御及び左/右映像の移動で補正することによって、カメラの被写体に対する拡大及び縮小撮影によって被写体に対する左/右カメラの撮像比率が変更されながら距離感が相異なって表示されることや、観察者の左眼と右眼との間隔が変更されながら立体画像の一部分が変形されて表示されることを抑制している。
特許文献2には、二眼式立体像を表示する技術であって、観察者自らが自己に最も適した左右の映像の輻輳点を変更でき、さらに映像がはっきり見えるように両眼に入射する映像の間隔を変更できることが記載されている。この特許文献2において、左右の映像の輻輳点を変更をするためには、観察者にボタン操作をさせて、ボタン操作量だけ輻輳点を前後にずらすように映像処理を行っている。
特許文献3には、観察者がVR表示上の映像を見た時と現実の3次元世界を見た時の印象を、VR映像上でできるだけ一致させる技術が記載されている。具体的には、画像面上に投影された物体の画像面上での見掛け上の大きさを算出しておき、見掛けの大きさと焦点距離の関係のテーブルを参照して、抽出された物体の見掛けの大きさに対応する焦点距離を求め、求められた焦点距離に対応して仮想的に焦点距離を修正し、当該焦点距離に従って画像面への投影像を生成する。
特表2004−507180号公報 特開2004−283613号公報 特開平7−249131号公報
特許文献1に記載された技術では、観察者の眼間距離を測定して両眼像差を自動的に補正することや、時分割方式において左右映像でフレームが異なるため拡大率が同じにならない拡大、縮小時に左右の映像で発生したずれを修正しているが、VR映像の見え方に影響する要因は両眼像差以外にも多数存在する。したがって、より没入感の高いVR映像を実現するためにVR映像の見え方を補正するためには、あらゆる種類のパラメータに対して観察者個人の特性を計測する必要がある。また、計測段階において観察者に与える負担が大きい。
特許文献2では、観察者自らが両眼像差と輻輳位置を調節しており、特許文献1の技術と比べると事前の観察者による測定が不要で操作負担は少ないが、実空間での物体の大きさが、VR映像内での大きさに対応している正確な映像を表示できない。
特許文献3では、画像面上に投影された物体の画像面上での見掛け上の大きさを算出して、仮想的な焦点距離を修正しているので、実空間での物体の大きさが、VR映像内での大きさに対応している正確な映像を表示できない。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、実際の物体を見た観察者の印象と映像内の物体を見た観察者の印象との乖離を解消することができる映像表示システムを提供することを目的とする。
本発明は、映像投影手段から出射した映像光を映像表示手段に投影させて、仮想現実空間内に仮想対象物を含む仮想現実映像を表示する映像表示システムであって、上述の課題を解決するために、所定の実長さを有する測定対象実物体と、観察者によって測定対象実物体を観察する視点位置となる実対象物観察口とを備え、測定対象実物体と実対象物観察口との実位置関係が設定された実対象物観察手段と、仮想現実空間に測定対象実物体を再現した測定対象仮想物体を含む仮想現実映像を表示する仮想現実映像表示手段と、当該仮想現実映像表示手段によって表示された仮想現実空間内の測定対象仮想物体を観察する視点位置となる仮想現実映像観察口とを備え、仮想現実映像表示手段によって、仮想現実空間内の測定対象仮想物体と仮想現実映像観察口との位置関係が実位置関係と同じ位置関係となる仮想現実映像を表示する仮想現実映像観察手段と、実対象物観察手段によって観察された測定対象実物体の長さと仮想現実映像観察手段によって観察された仮想現実空間内の測定対象仮想物体の長さとの観察者に把握された相違を表す値が入力される操作入力手段と、操作入力手段に入力された値に基づいて、映像投影手段及び映像表示手段によって表示される仮想現実映像を拡大又は縮小させる比率を演算する差異演算手段とを備える。この映像表示システムは、映像投影手段により、差異演算手段によって演算された仮想現実映像を拡大又は縮小させる比率に従って仮想現実映像を拡大又は縮小させる。
本発明は、映像投影手段から出射した映像光を映像表示手段に投影させて、仮想現実空間内に仮想対象物を含む仮想現実映像を表示する映像表示システムであって、上述の課題を解決するために、所定の一方向の実長さを有する測定対象実物体と、観察者によって測定対象実物体を観察する視点位置となる実対象物観察口とを備え、測定対象実物体と実対象物観察口との実位置関係が設定された実対象物観察手段と、仮想現実映像を表示する仮想現実映像表示手段と、当該仮想現実映像表示手段によって表示された仮想現実空間内の測定対象仮想物体を観察する視点位置となる仮想現実映像観察口とを備え、仮想現実映像表示手段によって、仮想現実空間内の測定対象仮想物体と仮想現実映像観察口との位置関係が実位置関係と同じ位置関係となり実対象物の一方向長さを把握させる第1の仮想現実映像、及び、予め設定された3次元の各辺長さを把握させる立体仮想対象物を含む仮想現実映像を表示する仮想現実映像観察手段と、実対象物観察手段によって観察された測定対象実物体の一方向長さと仮想現実映像観察手段によって観察された仮想現実空間内の測定対象仮想物体の一方向長さとの観察者に把握された相違を表す第1の値が入力されると共に、仮想現実映像内の立体仮想対象物の各辺長さの観察者に把握された相違を表す第2の値が入力される操作入力手段と、操作入力手段に入力された第1の値に基づく第1の比率と、予め設定された3次元の各辺の長さと操作入力手段に入力された第2の値とに基づく第2の比率を求め、当該第1の比率と第2の比率との乗算値を演算する差異演算手段とを備える。この映像表示システムは、 映像投影手段により、差異演算手段によって演算された乗算値に従って仮想現実映像を拡大又は縮小させる。
また、本発明に係る映像表示システムは、仮想現実映像観察手段は、仮想現実空間内の測定対象仮想物体の位置を複数設定し、操作入力手段は、仮想現実映像観察手段で設定された位置ごとに仮想現実空間内の測定対象仮想物体の長さの観察者に把握された相違を表す値を入力し、差異演算手段は、操作入力手段で入力した複数の仮想現実空間内の測定対象仮想物体の長さの観察者に把握された相違を表す値に基づいて、仮想現実映像を拡大又は縮小させる比率を演算する。
更に、本発明に係る映像表示システムは、差異演算手段で演算された仮想現実映像を拡大又は縮小させる比率を、観察者ごとに記憶する記憶手段を備えていても良い。
更にまた、本発明に係る映像表示システムは、記憶手段に記憶された各観察者について仮想現実映像を拡大又は縮小させる比率を、仮想現実空間内の測定対象仮想物体の位置ごと又は比率の算出処理ごとにデータベース化し、差異演算手段は、データベース化された比率を用いて仮想現実映像を拡大又は縮小させても良い。
本発明に係る映像表示システムによれば、観察者によって把握された測定対象実物体の長さと仮想現実空間内の測定対象仮想物体の長さとの相違を表す値を入力させ、当該入力された値に基づいて仮想現実映像を拡大又は縮小させる比率を演算するので、実際の物体を見た観察者の印象と映像内の物体を見た観察者の印象との乖離を解消した仮想現実映像を映像表示手段に表示させることができる。
本発明に係る映像表示システムによれば、実対象物の一方向長さを把握させる第1の仮想現実映像、及び、予め設定された3次元の各辺長さを把握させる立体対象物を含む仮想現実映像を表示させて、測定対象実物体の一方向長さと測定対象仮想物体の一方向長さとの観察者に把握された相違を表す第1の値と立体仮想対象物の各辺長さの観察者に把握された相違を表す第2の値が入力され、第1の値に基づく第1の比率と、第2の値に基づく第2の比率を求めて、当該第1の比率と第2の比率との乗算値によって仮想現実映像を拡大又は縮小させるので、仮想現実映像において3次元物体を実際に見た観察者の印象と映像内の3次元物体を見た観察者の印象との乖離を解消した仮想現実映像を映像表示手段に表示させることができる。
また、本発明に係る映像表示システムによれば、仮想現実空間内の測定対象仮想物体の位置を複数設定し、観察者に設定された位置ごとに仮想現実空間内の測定対象仮想物体の長さの相違を表す値を入力させ、入力した複数の仮想現実空間内の測定対象仮想物体の長さの相違を表す値に基づいて、仮想現実映像を拡大又は縮小させる比率を演算するので、より観察者の見え方に即した精度の高い仮想現実映像の補正を行うことができる。
更に、本発明に係る映像表示システムによれば、仮想現実映像を拡大又は縮小させる比率を、観察者ごとに記憶するので、観測者が再度計測することなしに比率を呼び出すことができる。
更にまた、本発明に係る映像表示システムによれば、仮想現実映像を拡大又は縮小させる比率を、仮想現実空間内の測定対象仮想物体の位置ごと又は比率の算出処理ごとにデータベース化したので、映像表示手段に仮想対象物を表示させる位置や比率の算出処理を決定するのみで、測定を行うことなく仮想現実映像を補正することができる。
以下、本発明の第1実施形態乃至第3実施形態について図面を参照して説明する。
[第1実施形態]
本発明を適用した第1実施形態に係る映像表示システムは、例えば図1に示すように、映像光が投影されるスクリーン1と、当該スクリーン1に向けて映像光を出射する映像投影手段であるプロジェクタ2と、当該プロジェクタ2に映像データを出力する演算装置3と、当該演算装置3から出力する映像データを補正するためのパラメータを生成する測定装置4とを備える。この映像表示システムにおけるスクリーン1は、任意形状の投影面を有した映像表示手段であり、プロジェクタ2から出射した3次元映像光をスクリーン1に投影させて、仮想現実空間内に仮想対象物を含む仮想現実映像(VR映像)を表示する。
この映像表示システムは、測定対象実物体を見た観察者の印象とVR映像内の測定対象仮想物体32を見た観察者の印象との乖離を求めて、当該乖離に基づいて演算装置3からプロジェクタ2に出力する映像データを補正するものである。具体的には、VR映像に含まれる測定対象仮想物体の幅(W)、奥行き(D)、高さ(H)の各長さと、測定対象実物体の幅(W)、奥行き(D)、高さ(H)の各長さとを観察者に比較させて、観察者が把握する相違を入力して、VR映像を観察者毎に適切なサイズに補正する。
プロジェクタ2は、スクリーン1に3次元のVR映像光を出射する。スクリーン1にVR映像を表示させるために、映像表示システムは、ユーザに右眼と左眼とで透過する映像光の偏光方向が異なる偏光メガネを装着させる偏光方式、又は、液晶シャッタメガネを装着させる時分割方式でプロジェクタ2から相互に視差が与えられた映像光を出射する。又は、偏光方式でスクリーン1にVR映像を表示する場合、スクリーン1として映像光の偏光方向を保持する素材のものを使用し、プロジェクタ2の2個の光出射口から偏光方向が異なる右眼用映像光と左眼用映像光を出射させる。また、時分割方式でスクリーン1にVR映像を表示する場合、1個の光出射口から右眼用映像光と左眼用映像光とを時分割で交互に出射し、右眼用映像光と左眼用映像光との出射タイミングと液晶シャッタメガネの右眼及び左眼シャッタの切り替えタイミングとの同期を取る。
また、VR映像が投影されるスクリーン1としては、偏光方式の場合には、映写面の表面にアルミ粉末などを塗布した所謂シルバースクリーンを用いる。更に、スクリーン1の形状としては、図1に示す半球ドーム型だけではなく、平面スクリーンや、円筒型の一部を用いた2次曲面スクリーンであっても良く、半球ドーム型スクリーン、平面スクリーン、2次曲面を種々組み合わせて形成したスクリーンであっても良い。このような様々な形状のスクリーン1であっても、映像表示システムは、当該形状に応じた映像の歪み補正処理を施した映像データを演算装置3から出力することになる。
測定装置4は、所定の実長さを有する測定対象実物体11と、ユーザによって測定対象実物体11を観察する視点位置となる実物体観察口12と、VR物体観察口13と、サイズ入力部14とを備える。測定対象実物体11と実物体観察口12とは、測定対象実物体11と実物体観察口12との実位置関係が設定された実対象物観察手段となる。
この測定装置4は、図2(b)に示すように、測定対象実物体11の実位置を実物体観察口12に対して前後に移動させる操作がユーザによって行われる実物体位置操作部15と、測定対象実物体11を実物体観察口12に対する前後方向に規制して移動させるスライド機構16とを備える。このスライド機構16は、例えば測定対象実物体11と直接連結する、又は、ねじ機構で連結する等の構成を備え、測定対象実物体11を奥行き方向に移動させる。
測定装置4は、実物体位置操作部15の操作に従って、測定対象実物体11の左右、前後、上下方向に回転させ、更に、ユーザの視点位置である実物体観察口12からの距離を変更する。測定装置4は、例えば、図3(a)に示すように測定対象実物体11の可動部11aと固定軸部11bとが直交となる状態と、図3(b)に示すように測定対象実物体11の可動部11aと固定軸部11bとが縦方向に平行となる状態と、図3(c)に示すように可動部11aが奥行き方向に平行となる状態といったように、測定対象実物体11に内蔵のアクチュエータ(図示せず)を駆動させる。なお、本例では、実物体位置操作部15によって測定対象実物体11を自動的に駆動させる場合について説明するが、手動によって測定対象実物体11を回転又は移動させた後の実位置、状態をセンサで読み取るようにしても良い。
このような測定装置4は、その機能的な内部構成を図4に示すように、実物体位置操作部15に接続された制御部21と、サイズ入力部14に接続された入力値処理部22と、描画部23と、投影部24と、測定対象実物体11の映像を含む仮想現実映像を表示する仮想現実映像表示手段である表示部25と、演算装置3と接続された出力部26とを備える。表示部25は、VR物体観察口13を視点位置としてVR映像が視認可能な位置に設けられている。
実物体位置操作部15には、測定対象実物体11の幅方向(W)及び高さ方向(H)の長さ、測定対象実物体11の姿勢(回転角度)及び実物体観察口12と固定軸部11bとの測定距離という測定対象実物体11の設定情報が入力され、制御部21に出力する。制御部21は、測定対象実物体11の設定情報が入力されると、図3に示したように測定対象実物体11を駆動させて、固定軸部11bに対する可動部11aの位置及び可動部11aの回転角度を決定する。また、実物体位置操作部15から制御部21に出力された測定対象実物体11の設定情報は、測定対象実物体11と同じ状態のVR映像を表示部25で表示させるために、入力値処理部22を介して描画部23に供給される。
描画部23は、測定対象実物体11をVR空間で再現した測定対象仮想物体32を仮想現実空間内で表示させるように投影部24を駆動させる。投影部24は、プロジェクタ2と同様に投影型の映像出力装置であり、測定対象実物体11を再現したVR映像を表示部25に表示させる。
サイズ入力部14は、実物体観察口12によって観察された測定対象実物体11の長さとVR物体観察口13によって観察された仮想現実空間内の測定対象仮想物体32の長さとの観察者に把握された相違を表す値が入力される操作入力手段である。例えば、サイズ入力部14には、ユーザによって表示部25に表示させている測定対象仮想物体32のVR映像のサイズを幅方向、高さ方向及び奥行き方向において変更する操作入力信号が供給され、入力値処理部22に出力する。このサイズ入力部14に入力される操作入力信号は、VR物体観察口13から見た測定対象仮想物体32のVR映像の長さを、実物体観察口12から見た測定対象実物体11の長さと同じとする量となる。
入力値処理部22は、測定対象仮想物体32のVR映像のサイズを変更する操作入力信号を描画部23に供給して、描画部23及び投影部24によって表示部25に表示させている測定対象仮想物体32のVR映像のサイズを変更させる。そして、このサイズ入力部14に入力されたVR映像サイズを変更する操作入力信号は、観察した測定対象実物体11の長さと、表示部25に表示した測定対象実物体11のVR映像の長さとの差異を計算するための測定値(補正パラメータ)として出力部26から演算装置3に送信される。
サイズ入力部14によって幅方向、高さ方向、奥行き方向のそれぞれについてVR映像サイズを変更する操作がなされた場合、補正パラメータは、幅方向、高さ方向、奥行き方向のそれぞれについて作成される。
演算装置3は、プロジェクタ2に出力する映像データを記憶する記憶部、当該映像データに補正を施す演算部等を備えるパーソナルコンピュータや映像サーバなどである。この演算装置3は、後述の測定装置4から、測定対象実物体11の長さと、ユーザで観察された仮想現実空間内の測定対象仮想物体32の長さとからなる補正パラメータが供給される。この双方の長さに基づき、演算装置3の演算部は、プロジェクタ2に出力する映像データを拡大又は縮小させる補正を行う。これにより、演算装置3は、ユーザによって操作されて測定装置4から入力された補正パラメータに基づいて、プロジェクタ2及びスクリーン1によって表示されるVR映像を拡大又は縮小させる比率を演算する(差異演算手段)。プロジェクタ2は、演算装置3から出力された比率に従って、スクリーン1に出力するVR映像を拡大又は縮小させる。また、演算装置3は、VR映像を拡大又は縮小させる比率の演算と共に、当該拡大又は縮小されるVR映像に対して、スクリーン1の形状に応じた歪み補正処理を施す。
このように構成された映像表示システムにおいて、測定装置4は、プロジェクタ2からスクリーン1に投影するVR映像における物体が、実際に直接視している物体と同じ長さに見えるようにユーザのVR映像の見え方の測定を行う。
先ず、VR映像の見え方の測定を始めるに当たって、実物体位置操作部15を用いて測定対象実物体11の実位置を設定する。このとき、図2(a)に示すように、スクリーン1でVR映像を観察する場合において、スクリーン1と対向したユーザの視点位置とスクリーン1に表示したVR映像内における仮想対象物体31の位置との距離であるVR物体表示位置L1と、実物体観察口12と測定対象実物体11との距離とが同じとなるように、測定対象実物体11の設置位置Lrを設定する。例えば、VR映像中で見たい仮想対象物体31が視点位置から70cmだけ奥に表示させる場合(L1=70cm)には、測定対象実物体11の実位置も実物体観察口12から70cmだけ離れた位置に設定し、VR映像内の仮想対象物体31が視点位置から3mだけ奥行き方向に表示させる場合(L1=3m)には、測定対象実物体11の実位置も実物体観察口12から3mだけ離れた位置に設定する(Lr=L1)。これにより、スクリーン1でVR映像内の仮想対象物体31を見る際により正確な補正パラメータを作成できる。
このとき、VR映像内における仮想対象物体31が複数存在して、奥行き方向において幅を持って分布している場合(例えばL1=1.5m〜4mの場合など)には、当該分布範囲の一点に測定対象実物体11の設置位置Lrを設定する。例えば、VR映像内の一番手前の仮想対象物体31の位置L1に測定対象実物体11の設置位置Lrに合わせる、又は、仮想対象物体31の分布範囲の中央の位置L1に測定対象実物体11の設置位置Lrを合わせる、又は、VR映像内の一番奥の仮想対象物体31の位置L1に測定対象実物体11の設置位置Lrを合わせる。
このように測定対象実物体11の設置位置Lrを決定すると、当該設置位置Lrの情報は、制御部21から入力値処理部22を介して描画部23に供給されて、表示部25に、実物体観察口12から設置位置Lrだけ離れた測定対象仮想物体32を含む映像を表示させる。このとき、描画部23は、図2(c)に示すように、表示部25に表示させるVR映像内の測定対象仮想物体32の位置Lvr(VR物体観察口13と測定対象仮想物体32との距離)を、VR物体表示位置L1に設定する。
なお、VR物体表示位置L1に対する測定対象実物体11の設置位置Lr、VR映像内の測定対象仮想物体32の位置Lvrの設定は、VR物体表示位置L1に、測定対象実物体11の設置位置Lrを合わせて、測定対象実物体11の設置位置Lrを設定した時に自動的にVR映像内の測定対象仮想物体32の位置Lvrを同じ値にするようにしても良い。
その後、ユーザが実物体観察口12から測定対象実物体11を見た時の測定対象実物体11の長さと、VR物体観察口13からVR映像を見たときの測定対象仮想物体32の長さとを同じにさせるようにサイズ入力部14を操作させる。このサイズ入力部14の操作量に応じてVR映像のサイズを変更して、ユーザが実物体観察口12から見る測定対象実物体11とVR映像内の測定対象仮想物体32とが同じサイズであるとの操作をした場合に、ユーザが測定対象実物体11と同じ長さと感じるVR映像内の測定対象仮想物体32の長さ(ユーザが把握するサイズの相違)である補正パラメータを生成して出力部26から演算装置3に出力できる。なお、測定対象実物体11と測定対象仮想物体32の見かけの長さを入力させて補正パラメータを作成しても良く、測定対象実物体11の長さを100とした場合のVR映像内の測定対象仮想物体32の長さを入力させて補正パラメータを作成しても良い。
また、図3(a)、(b)、(c)といったように測定対象実物体11の状態を変更すると共に、表示部25に表示させるVR映像を変更して、サイズ入力部14を操作させることによって、幅方向、高さ方向、奥行き方向において補正パラメータをそれぞれ作成する。このとき、測定対象実物体11及び測定対象仮想物体32の状態の切換は、実物体位置操作部15のボタン操作で行っても良く、ユーザとは別の測定者が行っても良い。また、測定対象実物体11の状態に応じたVR映像内の測定対象仮想物体32の切り替えは、実物体位置操作部15のボタン操作と同期しても良く、別個の操作部であっても良く、測定対象実物体11の位置変更に自動追従させても良い。
更に、補正パラメータの測定は、幅方向、高さ方向、奥行き方向のそれぞれで複数回行うことが望ましい。例えば、VR映像内の測定対象仮想物体32の長さを50cmとした場合、40〜60cmの範囲で5段階に分けて測定対象実物体11の長さを適宜設定して、それぞれの場合についてVR映像の測定対象仮想物体32を測定対象実物体11の見え方と同じとするようにサイズ入力部14を操作させて、補正パラメータを測定する。単純に複数回に亘って補正パラメータを測定する場合、VR映像における測定対象仮想物体32の長さに対して、例えば3段階で5%ずつ測定対象実物体11の長さを増減(あるいは5段階で5%、5段階で10%など)させても良い。また、測定対象実物体11の長さを40cm、45cm、50cm、60cmなどのように不均一な間隔で長さを変えて、補正パラメータを測定しても良い。より正確に補正パラメータを測定するためには、例えば、測定対象実物体11及びVR映像内の測定対象仮想物体32の各長さに対して複数回の測定を行って平均値を求めて補正パラメータを決定しても良い。更に、他の方法としては、複数回に亘って求めた補正パラメータの回帰直線の傾き(=拡大比率)を求めても良い。なお、測定対象実物体11の長さは、常にある一定の単位長さ(1m、10cm、50cmなど)を使用しても良く、VR映像内の測定対象仮想物体32の長さを変更しても良い。
更にまた、補正パラメータの精度が多少低下しても構わないのであれば、測定対象実物体11の各長さに対して1度ずつ補正パラメータの測定を行う、又は、単にVR映像内の測定対象仮想物体32の長さを入力させて補正パラメータを測定しても良い。
補正パラメータの測定が終了すると、測定装置4は、出力部26から補正パラメータを出力すると同時に、実物体観察口12に対する測定対象実物体11の測定方向、測定対象実物体11の長さ、VR映像内の測定対象仮想物体32の長さの他、必要に応じて表示部25における測定対象仮想物体32の表示位置なども出力する。
演算装置3は、測定装置4から出力された補正パラメータから映像の補正比率を計算する。補正比率は、測定対象実物体11の長さに対するVR映像内の測定対象仮想物体32の長さの割合とする。
例えば、測定対象実物体11(R)の実際の幅方向(W)長さ、高さ方向(H)長さ、奥行き方向(D)長さ[cm]に対して、補正パラメータとして、VR映像内の測定対象仮想物体32(VR)の幅方向(W)、高さ方向(H)、奥行き方向(D)における長さ[cm]が、
W→R=50、VR=52、R=55、VR=56、R=45、VR=48
H→R=50、VR=52、R=55、VR=58、R=45、VR=46
D→R=50、VR=54、R=55、VR=62、R=45、VR=42
となっていたとする。なお、上記の数値は、幅方向、高さ方向、奥行き方向それぞれについて測定対象実物体11の長さ(R)を50cm、55cm、45cmと変更し、当該測定対象実物体11の長さに合わせてVR映像内の測定対象仮想物体32の長さを変更した場合において、VR映像内の測定対象仮想物体32の長さ(VR)がサイズ入力部14で入力された測定値を示している。
この場合に、演算装置3は、幅方向(W)、高さ方向(H)、奥行き方向(D)の長さのそれぞれについて補正比率を平均値で求めた場合、
W→(52/50+56/55+48/45)/3×100≒104.2%
H→(52/50+58/55+46/45)/3×100≒103.9%
D→(54/50+62/55+42/45)/3×100≒104.7%
となる。
そして、演算装置3は、幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれの補正比率に応じて、プロジェクタ2に出力するVR映像の元映像データに補正を加える。上記比率の場合、図5(a)に示すように、元映像データ100の幅方向長さを104.2%に拡大すると共に元映像データ100の高さ方向の長さを103.9%に拡大して補正後の映像データ100’とし、図5(b)に示すように、元映像データ100a、100b、100cの奥行き方向の長さを104.7%に拡大することによって、奥行き方向の間隔を広げた映像データ100a’、100b’、100c’とする。
なお、補正比率<100%である場合には、元映像データを縮小することになる。そして、補正後のVR映像の元映像データは、幅方向、高さ方向、奥行き方向の補正後のVR映像に対して、スクリーン1に表示されるVR映像が予め設定された視点位置において歪みなく見えるようにスクリーン1の形状に応じた歪み補正である描画演算がされて、プロジェクタ2に出力される。この補正により、補正後のVR映像をスクリーン1に投影して、ユーザのVR映像の見え方の特性に合わせた映像とできる。なお、視点位置と映像投影位置が同じ場合には、歪み補正は不要になる。
また、幅方向、高さ方向、奥行き方向の補正比率に応じた拡大又は縮小の補正を描画演算時に行う場合、測定装置4からの補正パラメータより予め補正比率の算出のみを行っておき、実際に映像データをプロジェクタ2に出力する時に補正比率による映像データの拡大又は縮小を行った後に、歪み補正を行うことになる。
更に、VR物体観察口13からVR映像内の測定対象仮想物体32を観察させるのではなく、スクリーン1に仮想対象物体31を表示して、当該仮想対象物体31の長さをサイズ入力部14で入力させても良い。この場合、演算装置3は、幅方向、高さ方向、奥行き方向の比率の補正は行わずに、スクリーン1の形状に応じた映像補正のみを行う。この場合、サイズ入力部14で入力された操作入力信号に対応して即時にスクリーン1のVR映像を更新する処理を演算装置3で行うことになる。
[第1実施形態の効果]
以上詳細に説明したように、本発明を適用した映像表示システムによれば、測定装置4によって、実際に測定対象実物体11を見た時の長さと、VR映像内の測定対象仮想物体32を見た時の長さとの差異から、VR映像を拡大又は縮小する補正をすることができるので、実際の物体を見た観察者の印象とスクリーン1に表示された仮想対象物体31を見た観察者の印象との乖離を解消させることができ、ユーザ毎に最適な見え方のVR映像をスクリーン1に表示することができる。
すなわち、ユーザが見るVR映像が、実物の印象とどれだけ乖離しているのかのずれ量を測定して、ユーザ個人の見え方に応じて、スクリーン1に表示させるVR映像に補正を加えることで実物とVR映像との印象の乖離を解消できる。このとき、映像提示時のパラメータ設定を調節するのではなく、ユーザが見るVR映像そのものを調節することで、VR映像の見え方に影響するすべての要因を含んだ状態で補正を行うことができ、精度の高い補正が実現できる。
更に、VR映像の見え方のみを測定するため、ユーザにかかる事前測定の負担を少なくできる。
[第2実施形態]
つぎに、本発明を適用した第2実施形態に係る映像表示システムについて説明する。なお、上述の第1実施形態と同様の部分については、同一符号を付することによりその詳細な説明を省略する。
第2実施形態に係る映像表示システムは、第1物体について測定対象実物体11とVR映像とをユーザに比較させて、表示部25に表示させたVR映像の測定対象仮想物体32の幅方向(W)、高さ方向(H)、奥行き方向(D)のうちの一つの長さを測定対象実物体11と比較した第1測定結果を求め、次に、3次元の第2物体についてVR映像中の測定対象仮想3次元物体33(図7参照)の幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれの辺長比である第2測定結果を求めて、当該第1測定結果と第2測定結果とを組み合わせて、VR映像の拡大又は縮小の度合いを求めることを特徴とするものである。これにより、第2実施形態に係る映像表示システムは、計測回数を減らした上でスクリーン1に表示するVR映像をユーザ毎に適切なサイズに補正する。
ここで、第1物体は、測定対象実物体11のように一方向の長さを計測する形状となっており、第2物体は、図7のような直方体や内部空間用直方体などの3次元物体である。
この映像表示システムは、その機能的な内部構成を図6に示すように、実物体位置操作部15’によって測定対象実物体11の一方向の物体長さ及び測定対象実物体11と実物体観察口12との距離を入力する。また、サイズ入力部14’は、実物体観察口12によって観察された測定対象実物体11の一方向長さとVR物体観察口13によって観察された仮想現実空間内の測定対象仮想物体32の一方向長さとの観察者に把握された相違を表す第1の値が入力されると共に、VR映像内の測定対象仮想3次元物体33の各辺長さの観察者に把握された相違を表す第2の値が入力される。例えば、サイズ入力部14’には、測定対象仮想物体32の一方向の長さと、VR物体観察口13からVR映像内の3次元対象物体を見たときの幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれの長さとを入力する。なお、サイズ入力部14’には、VR映像内の仮想物体を、一方向のみの測定対象仮想物体32と測定対象仮想3次元物体33とを切換表示させる信号が入力される。
制御部21’は、実物体位置操作部15’に物体長さが入力されることによって測定対象実物体11の一方向の長さを変更する駆動制御、及び、実物体位置操作部15’に測定距離が入力されることによって実物体観察口12に対する測定対象実物体11の距離を駆動制御する。
入力値処理部22’は、サイズ入力部14’に入力された一方向長さ又は3次元の長さが供給されることによって、当該長さを描画部23に出力する。これにより、現在描画部23によって表示部25で表示させているVR映像内の測定対象仮想物体32又は測定対象仮想3次元物体33の長さを変更させる。
また、この映像表示システムにおいて、測定対象実物体11の状態設定については、測定対象実物体11の幅方向、高さ方向、奥行き方向いずれか一方向の測定で良いことから、回転機構はなくても良く、実物体位置操作部15’のうち、測定対象実物体11の方向を変更する操作スイッチ等は必要ない。
このような映像表示システムは、第1実施形態と同様に、予め設定されたVR物体表示位置L1に合わせて、測定対象実物体11の設置位置Lr及びVR映像内の測定対象仮想物体32(第1物体)の位置Lvrを決定し、予め設定された測定対象実物体11の一方向長さとVR物体観察口13からVR映像内の測定対象仮想物体32を見たときの一方向長さとを演算装置3に出力する。次に、サイズ入力部14’に対してVR映像内の測定対象仮想物体32を測定対象仮想3次元物体33に切り換える信号が入力されると、描画部23によって、測定対象仮想3次元物体33をVR映像内に表示させる。
測定対象仮想3次元物体33で再現される3次元対象物体としては、図7(a)、(b)のように、視点位置に対して外観の各面を見させる外観用直方体や、図7(c)、(d)のように、視点位置に対して内部の各面を見させる内部空間用直方体が挙げられる。測定装置4は、外観用直方体の場合には、視点位置を直方体の外部に設定し、内部空間用直方体の場合には、視点位置を直方体内部に設定する。
このような測定対象仮想3次元物体33で再現される3次元対象物体を表示させて、サイズ入力部14’に対して測定対象仮想3次元物体33の幅方向(W)、高さ方向(H)、奥行き方向(D)の長さがそれぞれ入力される。このとき、例えば図7(a)又は図7(c)の測定対象仮想3次元物体33をユーザに観察させた場合に、ユーザにサイズ入力部14’を操作させて、ユーザから図7(b)又は図7(d)のように立方体に見えるようにVR映像の測定対象仮想3次元物体33を変更させて、サイズ入力部14’に対して調整後の辺の長さを示す値を出力部26から演算装置3に出力する。なお、幅方向、高さ方向、奥行き方向の辺長比率がどう見えているかをサイズ入力部14’で入力させても良い。また、内部空間用直方体をVR映像内で表示させた場合には、立方体形状の部屋に自分がいるように見えるようにサイズ入力部14’で調整させても良い。
この図7(a)、(b)に示す外観用直方体と、図7(c)、(d)に示す内部空間用直方体とは、スクリーン1に実際に投影するVR映像の内容に応じて使い分けることが望ましい。例えば、部品形状をスクリーン1に表示させて検討する場合などには、VR映像内の仮想対象物体31が物体であるために、外観用直方体を使用することが望ましく、マンション内の広さや印象をVR映像内で検討させる場合には、内部空間用直方体を使用することが望ましい。なお、スクリーン1で表示させるVR映像によって、補正比率の測定時に外観用直方体を使うか内部空間用直方体を使うかを選択することになるが、予めVR映像と紐付けた直方体選択リストを作成しておき、VR映像の選択時にリストを読み込んで自動的に直方体を選択しても良い。
このようにサイズ入力部14’で一方向長さと、幅方向(W)、高さ方向(H)、奥行き方向(D)の長さを入力させた後、出力部26は、補正パラメータとして、測定方向と、測定対象実物体11の一方向長さ及びVR映像内の測定対象仮想物体32の一方向長さと、測定対象仮想3次元物体33を幅方向、高さ方向、奥行き方向それぞれについて直方体に調整させた時の辺長比率を出力する。例えば一方向長さの測定方向が高さ方向(H)である場合には、
H(高さ方向長さ)→R=50cm、VR=53cm
H:W:D(辺長比率)→1:1.07:1.26
といった補正パラメータを演算装置3に出力する。
また、サイズ入力部14’によって立方体形状に修正するのではなく、表示された直方体の辺長比率をサイズ入力部14’で入力させる場合、補正パラメータは、幅方向、高さ方向、奥行き方向の調整後の辺長比率ではなく、VR映像内の直方体の幅方向、高さ方向、奥行き方向の辺長比率及びサイズ入力部14’によって入力した幅方向、高さ方向、奥行き方向の辺長比率となる。なお、必要に応じてVR映像内における表示位置なども含めても良い。この場合、補正パラメータは、
H→R=50cm、VR=53cm
H:W:D→実際の測定対象仮想3次元物体33における直方体の辺長比=1:0.8:1.57
H:W:D→測定対象仮想3次元物体33の見かけの辺長比率=1:0.9:1.7
のようになる。この補正パラメータにおいては、高さ方向の長さを基準として、幅方向及び奥行き方向の長さをサイズ入力部14’で入力させた場合である。
なお、幅方向、高さ方向、奥行き方向の辺長比率は必ずしも高さ方向を基準にしなくても良く、基準値を1にする必要もない。例えば、H:W:D=2.5:2.38:2.59などとしても良い。
また、サイズ入力部14’によってVR映像内の測定対象仮想3次元物体33を立方体に調整させて、辺長比率を入力させる場合に、VR映像内の測定対象仮想3次元物体33の形状は、ランダムに生成しても良く、立方体に近いものを表示させた後に少しずつ辺長比を変更させても良い。また、測定回数も、第1実施形態と同様に、精度の向上のために複数回にした方が良いが、一回のみでも構わない。
演算装置3は、補正パラメータを入力すると、測定対象実物体11の一方向長さ(50cm)とサイズ入力部14’で入力されたVR映像内における測定対象仮想物体32の一方向長さ(53cm)とから、VR映像に対する補正比率を求める。上記のような補正パラメータの場合、図8に示すように、53/50×100=106%となる。
次に、演算装置3は、直方体形状の測定対象仮想3次元物体33を立方体に見えるように調整させた時の測定対象仮想3次元物体33の辺長比から、幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれの補正比率を求める。また、演算装置3は、直方体の測定対象仮想3次元物体33を立方体に変形させるのではなく、VR映像に表示した測定対象仮想3次元物体33の辺長比を答えさせる場合には、表示した測定対象仮想3次元物体33本来の辺長比に対するユーザが把握した辺長比から、幅方向(W)、高さ方向(H)、奥行き方向(D)の補正比率を求める。具体的には、一方向長さを測定した方向(今回の例では高さ方向)の辺長比を基準B(H=B)とし、H/B:W/B:D/Bという計算を行う。
上記の補正パラメータの場合、図8に示すように、H:W:D=1.00:1.07:1.26となる。また、奥行き方向(W)を基準とした場合には、H:W:D≒0.935:1.00:1.18となる。
また、サイズ入力部14’によって測定対象仮想3次元物体33の辺長比を幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれについて入力させた場合には、幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれについて、サイズ入力部14’で入力された見かけの辺長比/実際のVR映像内における辺長比という計算を行うことになる。
次に、演算装置3は、図8に示すように、一方向長さの補正パラメータから得た補正比率(106%)と、幅方向(W)、高さ方向(H)、奥行き方向(D)の補正パラメータから得た補正比率(H:W:D=1.00:1.07:1.26)とを乗算し、最終的な補正比率(H:W:D≒106%:113.4%:133.6%)を得る。この補正比率によって、プロジェクタ2に出力する映像データを拡大又は縮小させる。
なお、一方向長さについての補正パラメータの測定を終了したら直ちに、測定対象実物体11の実際の一方向長さとサイズ入力部14’から得られた一方向長さとを演算装置3に出力して、幅方向(W)、高さ方向(H)、奥行き方向(D)の辺長比率の測定中に平行して一方向長さの補正比率を求めておくことによって、幅方向(W)、高さ方向(H)、奥行き方向(D)から得た補正パラメータを演算装置3で入力した後に短時間で最終的な補正比率を得ることができる。
[第2実施形態の効果]
以上詳細に説明したように、本発明を適用した第2実施形態に係る映像表示システムによれば、一方向のVR映像を見た時の補正比率のみならず、3次元のVR映像を見たときの補正比率を求めて、当該双方の補正比率から、VR映像を拡大又は縮小させる補正を行うことができるので、3次元映像をユーザ毎に最適な映像として表示できる。特に、VR映像が物体であるのか空間であるのかに合わせて、図7のように直方体を区別して使用することによって、よりユーザの見え方に即した映像の補正を行うことができる。
[第3実施形態]
つぎに、本発明を適用した第3実施形態に係る映像表示システムについて説明する。なお、上述の実施形態と同様の部分については、同一符号を付することによりその詳細な説明を省略する。なお、測定装置4の内部構成は、図4を参照して行う。
第3実施形態に係る映像表示システムは、奥行き方向において見え方のVR物体表示位置L1を複数設置して、より精度高く映像データの補正を行うものである。この映像表示システムにおける測定装置4は、先ず、複数のVR物体表示位置L1を設定して、当該複数のVR物体表示位置L1で得た測定結果を用いて映像データの補正比率を求める。
複数のVR物体表示位置L1を設定する処理は、図9に示すように、ユーザの視点位置から奥行き方向に複数の仮想対象物体31を含むVR映像をスクリーン1に表示させる場合に、例えば3点のVR物体表示位置L1を設定する。このVR物体表示位置L1は、VR映像内に複数の仮想対象物体31が分布している場合に、当該分布範囲の最近点、再遠点及び中間点を設定しているが、VR映像内の各仮想対象物体31の位置に設定しても良い。そして、測定装置4は、VR物体表示位置L1に従って、測定対象実物体11と実物体観察口12との距離の測定対象実物体11の設置位置Lrを設定し、VR映像におけるVR映像内の測定対象仮想物体32の位置Lvrを設定する。
次に、測定装置4は、奥行き方向の位置ごとに、測定対象実物体11の位置を制御部21’によって移動させると共に、VR映像内の測定対象仮想物体32の奥行き方向の位置を描画部23で移動させる。そして、測定装置4は、奥行き方向の位置ごとに、サイズ入力部14から入力された長さ(補正パラメータ)を得て、演算装置3に出力する。この補正パラメータは、サイズ入力部14で入力された長さに加えて、当該長さに対応した奥行き方向の位置情報が含まれる。
次に、演算装置3は、奥行き方向の位置ごとの補正パラメータを用いて、映像データを拡大又は縮小させる補正比率を演算する。演算装置3は、(a)奥行き方向の位置ごとの補正パラメータから全体の傾向を求めて、当該傾向に基づいて補正比率を算出しても良く、(b)スクリーン1に表示させるVR映像内の領域を奥行き方向に分割して奥行き方向に応じた補正比率を算出しても良く、(c)何れかの補正パラメータを選択して全体で単一の補正比率を算出しても良く、(d)複数の補正パラメータの平均値から単一の補正比率を算出しても良い。
例えば、VR物体表示位置L1=200[cm]とした場合には、
H→R=50、VR=52、R=55、VR=58、R=45、VR=46
W→R=50、VR=52、R=55、VR=56、R=45、VR=48
D→R=50、VR=54、R=55、VR=62、R=45、VR=46
との補正パラメータが得られ、
VR物体表示位置L1=280[cm]とした場合には、
H→R=50、VR=54、R=55、VR=57、R=45、VR=42
W→R=50、VR=57、R=55、VR=65、R=45、VR=51
D→R=50、VR=52、R=55、VR=53、R=45、VR=48
との補正パラメータが得られ、
VR物体表示位置L1=350[cm]とした場合には、
H→R=50、VR=53、R=55、VR=59、R=45、VR=47
W→R=50、VR=57、R=55、VR=59、R=45、VR=51
D→R=50、VR=55、R=55、VR=61、R=45、VR=40
との補正パラメータが得られたとする。
そして、第1実施形態又は第2実施形態と同様に、
L1=200→H:W:D=103.9:104.2:104.7
L1=280→H:W:D=101.7:112.9:102.3
L1=300→H:W:D=105.9:111.5:103.3
といったように、VR物体表示位置L1ごとに、幅方向(W)、高さ方向(H)、奥行き方向(D)それぞれについての補正比率を得ることができる。
そして、演算装置3は、各VR物体表示位置L1において求められた部分的な補正比率に対して、上記(a)〜(d)の処理を行うことによって、映像データを拡大又は縮小させる補正比率を決定する。
演算装置3は、上記(a)のように、奥行き方向の位置ごとの補正パラメータから全体の傾向を求めて、当該傾向に基づいて補正比率を算出する場合には、例えばVR物体表示位置L1に対する補正比率の回帰直線を求めて、その直線を表す1次式を全体の傾向を表す補正比率として適用する。上記VR物体表示位置L1ごとの補正パラメータにおいて、幅方向の拡大率から近似直線を求めた場合、図10及び下記に示すような回帰直線を得ることができる。
補正比率=0.0832×対象物体までの距離(x)+87.898
このような補正比率の回帰直線が得られた場合、ユーザにとっては、図11(a)のような映像データが、図11(b)のようにVR映像の遠くの仮想対象物体31ほど小さく見えることを示しており、演算装置3は、図11(c)に示すようにVR映像において遠くに存在する仮想対象物体31ほど拡大率を大きくして補正することによって、図11(d)に示すように、スクリーン1に表示されたVR映像において手前及び奥行きの双方における仮想対象物体31のサイズを違和感無く見させることができる。
逆に、複数の補正パラメータから得た補正比率の回帰直線が単調減少の場合には、スクリーン1に表示させたVR映像の遠くほど仮想対象物体31のサイズが大きく見えているために、VR映像の遠くの仮想対象物体31の拡大率を下げる補正比率とする。
演算装置3は、奥行き方向における補正比率のみならず、幅方向(W)、奥行き方向(D)それぞれについてVR物体表示位置L1ごとの補正比率を求めて、映像データを拡大又は縮小させる補正を行って、プロジェクタ2に出力する。
また、演算装置3は、VR物体表示位置L1に対する補正比率を直線的に近似するのみならず、VR物体表示位置L1に対する補正比率を曲線で近似して、複数のVR物体表示位置L1におけるユーザの見え方の傾向を演算しても良い。この場合、演算装置3では、補正比率が曲線の式に変わることになる。
更に、演算装置3は、上記(b)のように、スクリーン1に表示させるVR映像内の領域を奥行き方向に分割して奥行き方向に応じた補正比率を算出しても良い。この場合、演算装置3は、図12に示すように、スクリーン1に表示するVR映像内の仮想空間を、奥行き方向における測定位置a,b,cを含む領域A1,B1,C1に分割する。例えば、視点位置から2m、4m、6mと3か所の測定位置a,b,cを設定した場合には、視点位置〜3m、3〜5m、5m〜という3つの領域A1,B1,C1を設定する。領域の設定は、例えば2つの測定位置a,bの中点で区分される領域A1,B1としても良く、隣接する測定位置a,b,c間で領域A2,B2,C2を設定しても良く、更には、VR映像内の各仮想対象物体31に対して、視点位置から最も近い測定位置と同じ奥行き方向長さとなる領域となるように他の領域を設定しても良い。
このように、測定位置a,b,c及び領域A1,B1,C1を設定した後、演算装置3は、分割後の各領域に対して、当該領域を含む測定位置での補正比率を求めて、映像データを拡大又は縮小させる補正を行う。例えば、領域A1では測定位置aでの補正比率を用いて映像データの補正を行い、領域B1では測定位置bでの補正比率を用いて映像データの補正を行うことになる。
仮に、図13に示すようにVR映像内の仮想対象物体31であるVR物体a〜eのうち、2つの領域B1,C1をまたがるVR物体dがあった場合には、VR物体dを基準にして領域B1,C1を修正した領域B2,C2を作成しても良い。この場合、領域B1を領域C1側に延長しても良く、他のすべてのVR物体が最も近い測定位置の領域に含まれるように領域を設定しても良く、VR物体の含まれる体積が多い方の領域における補正比率を用いて補正をしても良い。
また、2つの領域にまたがるVR物体が存在するにも拘わらず領域を変更しない場合、1つのVR物体d内で異なる補正比率による補正が施されるために部分的にVR物体dの形状は歪むものの領域B1,C1ごとの補正比率で補正をしても良く、領域B1,C1をまたがるVR物体dのみについては領域B1又はC1の何れかの領域における補正比率を用いて補正をしても良い。1つのVR物体で2種類の補正比率を用いて補正をする場合、それぞれの補正比率である拡大率又は縮小率が大幅に違う場合にはVR物体にサイズの段差が発生するが、例えば図14又は図15に示すように、隣接する領域A,B,C,Dの境界部に適当なマージン領域A,B,Cを設けて、補正比率の線形補完を行えばVR物体におけるサイズの段差を解消することができる。
図14に示すマージン領域A,B,Cは、隣り合う2つの領域A,B,Cの1/4の範囲としている。この結果、マージン領域Aでは、領域Aでの拡大率100%と領域Bでの拡大率78%とを線形補間した拡大率となり、マージン領域Bでは、領域Bでの拡大率78%と領域Cでの拡大率97%とを線形補間した拡大率となり、マージン領域Cでは、領域Cでの拡大率97%と領域Dでの拡大率104%とを線形補間した拡大率となる。また、図15に示すマージン領域A,B,Cでは、領域の1/2の範囲として全域にわたって線形補間を行っている。なお、線形補間してマージン領域における補正比率を設定するのみならず、曲線で補正比率を補完しても良い。
更に、演算装置3は、上記(c)のように、何れかの領域における補正パラメータを選択してVR映像における全体で単一の補正比率を算出しても良い。この場合、演算装置3は、複数の測定位置で求められた補正比率の中から、1つの補正比率のみを選択し、VR映像全体に亘って選択した補正比率での補正を行う。演算装置3は、複数の補正比率のうち単一の補正比率を選択する場合、演算装置3は、ユーザの選択操作によって補正比率を選択しても良く、VR映像内の仮想対象物体31の位置に最も近い測定位置での補正比率を自動選択しても良く、ユーザの視線追跡によって見ている領域に最も近い測定位置での補正比率を自動選択しても良い。更に、ユーザの視点位置から最も近い測定位置での補正比率を選択しても良く、この場合には、VR映像において遠くの仮想対象物体31ほどサイズの誤差の絶対量が減るために知覚しにくくなる(=違和感を感じにくい)ことから、対象物体のサイズについて違和感を感じやすい近方での補正の精度を向上させることができる。
ユーザに補正比率の選択操作をさせる場合には、それぞれの補正比率によって補正を行ったVR映像をスクリーン1で表示させて、何れかのVR映像を選択した操作をサイズ入力部14で入力することになる。また、VR映像内の仮想対象物体31の配置から補正比率を選択する場合、例えばVR映像の記述内容から物体座標を取得して、各対象物体座標と測定位置の距離の総和が最小になる測定位置を選択して、当該測定位置における補正比率を自動選択することになる。具体的には、図16に示すように、測定位置bと各仮想対象物体31との距離xiの総和xbが、
xb=Σxib=5.4+3.4+7.2+7.4+8.0+6.2+7.5+2.3=47.4
となり、
測定位置cと各仮想対象物体31との距離xiとの距離の総和xcが、
xc=Σxic=8.1+5.1+3.1+2.9+3.4+1.4+3.3+5.3=32.6
となるといったように、各測定位置jについて、測定位置jと仮想対象物体iとの距離xijの総和xjを求めて、総和xjが最小となる測定位置jでの補正比率を選択する。
ユーザの視線追跡により補正比率を自動選択する場合、演算装置3は、カメラや画像処理回路等からなる視線追跡装置から得られた視線ベクトル情報から、VR映像内のどの仮想対象物体31を注視しているのかを判別する。このために、演算装置3は、視線ベクトルを奥行き方向に延ばしていき、視点位置から最も近い位置で交差した仮想対象物体31を注視物体に設定し、当該注視物体が存在する領域における補正比率を選択する。
更に、演算装置3は、上記(d)のように、複数の補正パラメータ(補正比率)の平均値から単一の補正比率を算出しても良い。この場合、演算装置3は、複数の補正パラメータから複数の補正比率の平均値を求め、当該平均値によってVR映像全体の補正を行う。この手法は、上記(a)〜(c)のように補正比率を決定する場合と異なり、着目しているVR映像の部分ごとに最適な補正を行うわけではなく、補正比率の精度をより高める。
例えば、測定装置4から出力された補正パラメータが、
L1=200→H:W:D=103.9:104.2:104.7
L1=280→H:W:D=101.7:112.9:102.3
L1=300→H:W:D=105.9:111.5:103.3
である場合、高さ方向(H)の補正比率=(103.9+101.7+105.9)/3≒103.8、幅方向(W)の補正比率≒109.5、奥行き方向(D)の補正比率≒103.4となる。
なお、複数の補正比率を用いて映像データの補正を行う場合に、上記(a)〜(d)のうちの何れかの補正方法を用いるのかをユーザで選択できるようにしても良い。この場合、映像表示システムは、補正方法の選択肢を表示する表示手段と、選択を行うための入力手段を備える必要がある。
[第3実施形態の効果]
以上詳細に説明したように、本発明を適用した第3実施形態に係る映像表示システムによれば、VR映像の奥行き方向における複数の測定位置において補正比率を求めることによって、よりユーザの見え方に即した精度の高い映像の補正を行うことができる。
なお、上述した第3実施形態に係る映像表示システムは、奥行き方向において複数の測定位置を設定して補正比率を求めたが、これに限らず、VR映像内の左右方向や上下方向においても複数の測定位置を設定して複数の補正比率を求めても良い。この場合には、スクリーン1の中央部と端部とで補正比率を変更するなどの利点がある。
[第4実施形態]
つぎに、本発明を適用した第4実施形態に係る映像表示システムについて説明する。なお、上述の実施形態と同様の部分については、同一符号を付することによりその詳細な説明を省略する。なお、測定装置4の内部構成は、図4を参照して行う。
第4実施形態に係る映像表示システムは、ユーザが測定を行って得られた固有の補正比率を保持するメモリ(記憶手段、図示せず)を演算装置3に備えることを特徴とし、必要に応じて補正比率を呼び出せるようにしている。例えば演算装置3がパーソナルコンピュータからなる場合、演算装置3は、測定装置4からの補正パラメータに基づいて演算した補正比率と観察者IDとを対応させて登録しておき、当該パーソナルコンピュータのディスプレイやキーボードをユーザに操作させて補正比率を呼び出せるようにする。
なお、補正比率の登録タイミングは補正比率の決定後であればいつでも良いが、例えば補正比率によってVR映像を補正し、VR映像をスクリーン1で観察した後にユーザに判断させることが望ましい。
演算装置3に補正比率を登録する場合、図17に示すように、ユーザに補正比率の登録を行うか否かを問い合わせる登録用画像200をディスプレイに表示する。この登録用画像200は、測定装置4から補正パラメータを入力して補正比率を作成した後に、「この補正データを登録しますか?」とのメッセージ201と、登録ボタン202及び非登録ボタン203と、属性情報204とを含む。この属性情報204としては、通し番号の補正比率ID、測定日、当該補正比率を演算した基準となるVR映像内の測定位置、上述の第1実施形態〜第3実施形態で説明した何れかの補正方法、観察者名(ユーザ名)がある。そして、ユーザ名が入力された上で、登録ボタン202が操作された場合には、演算装置3は、当該ユーザの補正比率をメモリに記憶する。
なお、補正方法に関しては、上記(a)〜(d)の全ての補正方法で補正比率を演算した結果を一括で登録しても良い。更に、補正比率を演算した補正パラメータもユーザごとに記憶しておいても良い。補正パラメータを記憶しておくことにより、当該自己の補正パラメータを選択して第1実施形態〜第3実施形態で説明した何れかの補正方法を選択することにより、新たな補正比率を得ることができる。
また、演算装置3に登録した補正比率のデータは、演算装置3内のメモリではなく、演算装置3からアクセス可能なデータベースや、演算装置3と通信するネットワーク上のデータベースサーバに登録しておいても良い。このように補正比率を収集してデータベース化しておくことにより、補正比率のデータを分析することが可能になる。例えば、複数人の補正比率のデータから映像を補正する傾向、補正比率の平均値を求めて、多数のユーザに対応した高精度の補正を行うことができる。
VR映像をスクリーン1に表示する前段階において、登録した補正比率を演算装置3から呼び出す場合、図18に示すように、ユーザにどの補正比率のデータを呼び出すかを問い合わせる呼出用画像210をディスプレイに表示する。この呼出用画像210は、「どの補正データを使いますか?」とのメッセージ211と、登録時に設定された補正比率ID入力欄212と、決定ボタン213及びキャンセルボタン214と、登録済一覧情報215とを含む。この登録済一覧情報215は、ユーザの演算装置3に対する操作によってスクロール可能となっており、操作しているユーザの補正比率IDが探せるようになっている。このような呼出用画像210を表示させている状態において、ユーザが自己の観察者名となっている補正比率IDが補正比率ID入力欄212に入力されて、決定ボタン213が選択操作されると、当該補正比率を用いて映像データを補正することを決定する。
[第4実施形態の効果]
以上詳細に説明したように、本発明を適用した第4実施形態に係る映像表示システムによれば、補正比率を、ユーザごとに記憶しておくので、同じユーザの再利用時に補正比率のデータを呼び出すのみで、測定装置4による映像の見え方の測定を行うことなくVR映像を補正することができる。
また、この映像表示システムによれば、測定位置ごと又は補正処理ごとに異なる補正比率を記憶しておくので、測定位置や補正処理を指定して補正比率を決定するのみで、測定装置4の測定を行うことなく映像を補正することができる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
本発明を適用した第1実施形態に係る映像表示システムの構成図である。 本発明を適用した第1実施形態に係る映像表示システムによって、ユーザのVR映像の見え方を測定する設定処理について説明する図であり、(a)はVR物体表示位置、(b)は測定対象実物体の設置位置、(c)はVR映像内の測定対象仮想物体位置である。 本発明を適用した第1実施形態に係る映像表示システムにおいて、測定対象実物体の状態を変化させる説明図であり、(a)は幅方向の測定時の状態、(b)は高さ方向の測定時の状態、(c)は奥行き方向の測定時の状態である。 本発明を適用した第1実施形態に係る映像表示システムにおける測定装置の機能的な構成を示すブロック図である。 本発明を適用した第1実施形態に係る映像表示システムにおいて、(a)は映像データを幅方向及び高さ方向に拡大又は縮小させることの説明図であり、(b)は映像データを奥行き方向に拡大又は縮小させることの説明図である。 本発明を適用した第2実施形態に係る映像表示システムにおける測定装置の機能的な構成を示すブロック図である。 本発明を適用した第2実施形態に係る映像表示システムにおいて、(a)の外観用直方体の測定対象仮想3次元物体を表示させて、(b)の外観用直方体のように(観察者から立方体に見えるように)修正させることと、(c)の内部空間用直方体の測定対象仮想3次元物体を表示させて、(c)の内部空間用直方体のように修正させることとの説明図である。 本発明を適用した第2実施形態に係る映像表示システムにより、一方向の長さ測定と3次元物体の長さ測定とによって、幅方向(W)、高さ方向(H)、奥行き方向(D)の補正比率を演算する説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、複数のVR物体表示位置L1を設定する処理の説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、複数の補正比率から回帰直線を求める処理の説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、(a)の映像が、(b)のようにVR映像の遠くの仮想対象物体ほど小さく見えることと、(c)の映像において遠くに存在する仮想対象物体ほど拡大率を大きくして補正することによって、(d)のように見させる説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、奥行き方向を複数の領域の分割して補正比率を求めることの説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、領域にまたがる仮想対象物体が存在するときの処理についての説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、領域間に、領域の1/4の長さのマージン領域を設定して、補正比率を直線補間することの説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、領域間に、領域の1/4の長さのマージン領域を設定して、補正比率を直線補間することの説明図である。 本発明を適用した第3実施形態に係る映像表示システムにおいて、複数の補正比率のうち何れかの補正比率を選択する処理を説明する図である。 本発明を適用した第4実施形態に係る映像表示システムにおいて、観測者ごとに補正比率を登録する時に表示する登録用画像を示す図である。 本発明を適用した第4実施形態に係る映像表示システムにおいて、登録された補正比率を呼び出す時に表示する呼出用画像を示す図である。
符号の説明
1 スクリーン
2 プロジェクタ
3 演算装置
4 測定装置
11 測定対象実物体
11a 可動部
11b 固定軸部
12 実物体観察口
13 VR物体観察口
14 サイズ入力部
15 実物体位置操作部
16 スライド機構
21 制御部
22 入力値処理部
23 描画部
24 投影部
25 表示部
26 出力部
31 仮想対象物体
32 測定対象仮想物体
33 測定対象仮想3次元物体
100 元映像データ
200 登録用画像
201 メッセージ
202 登録ボタン
203 非登録ボタン
204 属性情報
210 呼出用画像
211 メッセージ
212 入力欄
213 決定ボタン
214 キャンセルボタン
215 登録済一覧情報

Claims (5)

  1. 映像投影手段から出射した映像光を映像表示手段に投影させて、仮想現実空間内に仮想対象物を含む仮想現実映像を表示する映像表示システムであって、
    所定の実長さを有する測定対象実物体と、観察者によって前記測定対象実物体を観察する視点位置となる実対象物観察口とを備え、前記測定対象実物体と前記実対象物観察口との実位置関係が設定された実対象物観察手段と、
    前記仮想現実空間に測定対象実物体を再現した測定対象仮想物体を含む仮想現実映像を表示する仮想現実映像表示手段と、当該仮想現実映像表示手段によって表示された仮想現実空間内の測定対象仮想物体を観察する視点位置となる仮想現実映像観察口とを備え、前記仮想現実映像表示手段によって、前記仮想現実空間内の測定対象仮想物体と前記仮想現実映像観察口との位置関係が前記実位置関係と同じ位置関係となる仮想現実映像を表示する仮想現実映像観察手段と、
    前記実対象物観察手段によって観察された測定対象実物体の長さと前記仮想現実映像観察手段によって観察された仮想現実空間内の測定対象仮想物体の長さとの観察者に把握された相違を表す値が入力される操作入力手段と、
    前記操作入力手段に入力された値に基づいて、前記映像投影手段及び前記映像表示手段によって表示される仮想現実映像を拡大又は縮小させる比率を演算する差異演算手段とを備え、
    前記映像投影手段は、前記差異演算手段によって演算された仮想現実映像を拡大又は縮小させる比率に従って仮想現実映像を拡大又は縮小させること
    を特徴とする映像表示システム。
  2. 映像投影手段から出射した映像光を映像表示手段に投影させて、仮想現実空間内に仮想対象物を含む仮想現実映像を表示する映像表示システムであって、
    所定の一方向の実長さを有する測定対象実物体と、観察者によって前記測定対象実物体を観察する視点位置となる実対象物観察口とを備え、前記測定対象実物体と前記実対象物観察口との実位置関係が設定された実対象物観察手段と、
    仮想現実映像を表示する仮想現実映像表示手段と、当該仮想現実映像表示手段によって表示された仮想現実空間内の測定対象仮想物体を観察する視点位置となる仮想現実映像観察口とを備え、前記仮想現実映像表示手段によって、前記仮想現実空間内の測定対象仮想物体と前記仮想現実映像観察口との位置関係が前記実位置関係と同じ位置関係となり実対象物の一方向長さを把握させる第1の仮想現実映像、及び、予め設定された3次元の各辺長さを把握させる立体仮想対象物を含む仮想現実映像を表示する仮想現実映像観察手段と、
    前記実対象物観察手段によって観察された測定対象実物体の一方向長さと前記仮想現実映像観察手段によって観察された仮想現実空間内の測定対象仮想物体の一方向長さとの観察者に把握された相違を表す第1の値が入力されると共に、前記仮想現実映像内の立体仮想対象物の各辺長さの観察者に把握された相違を表す第2の値が入力される操作入力手段と、
    前記操作入力手段に入力された第1の値に基づく第1の比率と、予め設定された3次元の各辺の長さと前記操作入力手段に入力された第2の値とに基づく第2の比率を求め、当該第1の比率と第2の比率との乗算値を演算する差異演算手段とを備え、
    前記映像投影手段は、前記差異演算手段によって演算された乗算値に従って仮想現実映像を拡大又は縮小させること
    を特徴とする映像表示システム。
  3. 前記仮想現実映像観察手段は、前記仮想現実空間内の測定対象仮想物体の位置を複数設定し、
    前記操作入力手段は、前記仮想現実映像観察手段で設定された位置ごとに仮想現実空間内の測定対象仮想物体の長さの観察者に把握された相違を表す値を入力し、
    前記差異演算手段は、前記操作入力手段で入力した複数の仮想現実空間内の測定対象仮想物体の長さの観察者に把握された相違を表す値に基づいて、仮想現実映像を拡大又は縮小させる比率を演算すること
    を特徴とする請求項1又は請求項2に記載の映像表示システム。
  4. 前記差異演算手段で演算された仮想現実映像を拡大又は縮小させる比率を、観察者ごとに記憶する記憶手段を備えたことを特徴とする請求項1乃至請求項3の何れか一項に記載の映像表示システム。
  5. 前記記憶手段に記憶された各観察者について仮想現実映像を拡大又は縮小させる比率を、前記仮想現実空間内の測定対象仮想物体の位置ごと又は比率の算出処理ごとにデータベース化し、前記差異演算手段は、前記データベース化された比率を用いて仮想現実映像を拡大又は縮小させることを特徴とする請求項4に記載の映像表示システム。
JP2006230707A 2006-08-28 2006-08-28 映像表示システム Pending JP2008052641A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006230707A JP2008052641A (ja) 2006-08-28 2006-08-28 映像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006230707A JP2008052641A (ja) 2006-08-28 2006-08-28 映像表示システム

Publications (1)

Publication Number Publication Date
JP2008052641A true JP2008052641A (ja) 2008-03-06

Family

ID=39236616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006230707A Pending JP2008052641A (ja) 2006-08-28 2006-08-28 映像表示システム

Country Status (1)

Country Link
JP (1) JP2008052641A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015529866A (ja) * 2012-06-04 2015-10-08 株式会社イマシブコリアImmersive Korea Co.,Ltd. ガイドサービス提供のためのシステム
US10194144B2 (en) 2016-07-07 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Projection image adjusting system and projection image adjusting method
JP2023501553A (ja) * 2019-11-11 2023-01-18 リアルシー・(ベイジン)・テクノロジー・カンパニー・リミテッド 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015529866A (ja) * 2012-06-04 2015-10-08 株式会社イマシブコリアImmersive Korea Co.,Ltd. ガイドサービス提供のためのシステム
US10194144B2 (en) 2016-07-07 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Projection image adjusting system and projection image adjusting method
JP2023501553A (ja) * 2019-11-11 2023-01-18 リアルシー・(ベイジン)・テクノロジー・カンパニー・リミテッド 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器
JP7407929B2 (ja) 2019-11-11 2024-01-04 リアルシー・(ベイジン)・テクノロジー・カンパニー・リミテッド 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器

Similar Documents

Publication Publication Date Title
CN102450001B (zh) 减少多投影仪系统中的视点相关伪像的方法、设备和投影系统
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US7907167B2 (en) Three dimensional horizontal perspective workstation
US7796134B2 (en) Multi-plane horizontal perspective display
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
US20060126925A1 (en) Horizontal perspective representation
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
KR20070047736A (ko) 수평 원근법 디스플레이
JP2006113807A (ja) 多視点画像の画像処理装置および画像処理プログラム
JP2006115198A (ja) 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
JP2006178900A (ja) 立体画像生成装置
KR20080100984A (ko) 3차원 영상 디스플레이 방법 및 장치
US8730320B2 (en) Lighting apparatus
JP2003348621A (ja) 二視点カメラの設定手段
JP5467683B2 (ja) 立体映像表示装置の立体ノギス像形成装置およびプログラム
JP2008052641A (ja) 映像表示システム
JP3955497B2 (ja) 立体映像表示装置及び立体映像表示方法
JP2004178579A (ja) 立体視用印刷物の製造方法、立体視用印刷物
JPH09172654A (ja) 立体画像編集装置
JP4333309B2 (ja) 複数画面画像表示システム、複数画像表示装置の相対位置検出方法、複数画像表示装置の相対位置検出プログラムおよび複数画像表示装置の相対位置検出プログラムを記録した記録媒体
JP5582958B2 (ja) 3dポインター装置
JPH10172004A (ja) 立体画像表示方法
JP2001042259A (ja) 医用画像表示装置
JP2001103514A (ja) 2次元映像を3次元映像に変換する方法