JP2023050903A - 仮想空間画像生成装置および方法 - Google Patents

仮想空間画像生成装置および方法 Download PDF

Info

Publication number
JP2023050903A
JP2023050903A JP2021161258A JP2021161258A JP2023050903A JP 2023050903 A JP2023050903 A JP 2023050903A JP 2021161258 A JP2021161258 A JP 2021161258A JP 2021161258 A JP2021161258 A JP 2021161258A JP 2023050903 A JP2023050903 A JP 2023050903A
Authority
JP
Japan
Prior art keywords
virtual space
viewpoint
space image
user
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021161258A
Other languages
English (en)
Inventor
大輔 根岸
Daisuke Negishi
英則 堀田
Hidenori Hotta
克典 岡嶋
Katsunori Okajima
峻平 大貫
Shumpei Onuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Yokohama National University NUC
Original Assignee
Suzuki Motor Corp
Yokohama National University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp, Yokohama National University NUC filed Critical Suzuki Motor Corp
Priority to JP2021161258A priority Critical patent/JP2023050903A/ja
Priority to PCT/JP2022/012969 priority patent/WO2023053516A1/ja
Priority to KR1020247007964A priority patent/KR20240047407A/ko
Priority to CN202280064034.XA priority patent/CN117980961A/zh
Publication of JP2023050903A publication Critical patent/JP2023050903A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することのできる仮想空間画像生成装置および方法を提供する。【解決手段】仮想空間画像生成装置2は、ユーザUの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する。仮想空間画像生成装置2は、ユーザUの視点が移動する場合に、視認性変化領域の視認性が第1状態と該第1状態とは異なる第2状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する仮想空間画像を生成する画像生成部14を備えている。【選択図】図1

Description

本発明は、仮想空間画像生成装置および方法に関する。
仮想空間画像を生成してディスプレイ装置に表示させる従来の技術として、例えば、特許文献1には、ユーザが視認する仮想空間画像をヘッドマウントディスプレイ(HMD:Head Mounted Display)に提供する仮想空間画像提供方法が開示されている。この仮想空間画像提供方法では、HMDの回転方向および回転速度が取得され、回転方向に対応する画面上の方向における仮想空間画像の両側の端部領域に、回転速度に応じた範囲および強さでぼかし処理が施されることにより、VR(Virtual Reality)酔いが低減されている。
特開2017-138701号公報
ところで、車両開発等においては、仮想空間画像上に評価対象となるオブジェクトを表示して、現実空間における該オブジェクトの視認性を評価する場合がある。この場合、仮想空間画像上に表示されるオブジェクトの見え方が、現実空間の見え方に近づくようにする必要がある。例えば、現実空間において、ユーザの視点が変化した直後や視野内の物体の配置または距離が変化した直後には、視点や物体の周辺領域がぼやけて見える。このような視点等の移動に伴う周辺領域のぼやけ方は、眼の焦点調整特性やユーザの状態、車両周辺の状態などに応じて、時間の経過とともに変化する。このため、仮想空間画像上にオブジェクトを表示して視認性を評価する際にも、上記のような現実空間でのぼやけ方の時間的な変化が再現されるようにするのが望ましい。
しかしながら、前述したような従来の技術では、HMDの回転速度に応じて仮想空間画像に施されるぼかし処理の範囲および強さが設定されているだけで、該設定された範囲に対して施されるぼかし処理の状態の時間的な変化までは考慮されていない。通常、画像データのぼかし処理は、画像処理を担うハードウェアの性能に応じた速度で実行され、眼の焦点調整速度よりも高速に、所望の強さでぼやけた状態の画像データが生成される。このため、従来の技術では、HMDの回転、つまりユーザの頭部の向きが変化して仮想空間画像上の視点が移動したときに、HMDに表示される仮想空間画像のぼやけ方の時間的な変化が現実空間の見え方とは異なってしまい、仮想空間画像上においてオブジェクトの視認性を評価する上で、改善の余地があった。
本発明は上記の点に着目してなされたもので、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することのできる仮想空間画像生成装置および方法を提供することを目的とする。
上記の目的を達成するため本発明の一態様は、ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成装置を提供する。この仮想空間画像生成装置は、前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第1状態と該第1状態とは異なる第2状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する画像生成部を備えている。
本発明の一態様に係る仮想空間画像生成装置によれば、視認性変化領域の視認性が、所定条件に基づいて変化する遷移完了時間をかけて第1および第2状態の間で遷移するようになるため、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。
本発明の一実施形態に係る仮想空間画像生成装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。 上記実施形態においてぼかし処理が施される前の仮想空間画像の一例を示す図である。 上記実施形態において視点周辺領域外にぼかし処理が施された後の仮想空間画像の一例を示す図である。 図3の仮想空間画像上でのユーザの視点移動の一例を示す図である。 仮想空間内での図4の視点移動を上方から見た概念図である。 上記実施形態においてユーザの視点移動から所要時間が経過した後の仮想空間画像の一例を示す図である。 上記実施形態における仮想空間画像の生成方法の一例を示すフローチャートである。 上記実施形態において視点が遠ざかる方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。 図8のグラフにおける曲線の形状を表す関数の時間定数の値を変更した場合の変化を例示したグラフである。 上記実施形態において視点が近づく方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。 図10のグラフにおける曲線の形状を表す関数の時間定数の値を変更した場合の変形を例示したグラフである。
以下、本発明の実施の形態について添付図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態に係る仮想空間画像生成装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。
図1において、運転シミュレータシステム1は、例えば、自動車等の車両開発における各種オブジェクトの視認性評価や車両運転の模擬体験などに利用される。この運転シミュレータシステム1は、本実施形態による仮想空間画像生成装置2と、センサ3と、画像形成装置4とを備える。
仮想空間画像生成装置2は、センサ3からの出力信号を基にユーザUの動作を検出し、該検出したユーザUの動作に応じて視認性が変化する領域を含む仮想空間画像を生成する。そして、仮想空間画像生成装置2は、生成した仮想空間画像を、ユーザUの頭部に装着されているヘッドマウントディスプレイ(HMD)等の画像形成装置4を介してユーザUに伝達する。本実施形態の画像形成装置4は、ユーザの左右の眼にそれぞれ対応した左右の表示部を有する。画像形成装置4は、左右の表示部各々に互いに視差のある仮想空間画像を表示することにより、ユーザに立体的な仮想空間を知覚させる。左右の表示部各々に視差のある仮想空間画像を表示する方法としては、左右の表示部各々に異なる仮想空間画像を表示してもよいし、左右の表示部各々に共通の仮想空間画像を出力しつつ、左右の表示部に光学シャッターを設けて各表示部から出力される仮想空間画像の間に視差を発生させてもよい。
なお、画像形成装置4は、HMDのように仮想空間画像を表示するディスプレイ装置がユーザUの頭部に装着される構成に限定されず、ユーザUの前方に配置される液晶ディスプレイ等の画像表示装置でもよい。また、画像形成装置4は、プロジェクタやヘッドアップディスプレイのように仮想空間画像を所定の投影面(スクリーン、ガラス、壁面)に投影する画像投影装置であってもよい。この場合、投影された仮想空間画像から仮想空間を知覚するために、ユーザの左右の眼に光学シャッター装置を別途装着することが好ましい。
このような運転シミュレータシステム1では、画像形成装置4(または光学シャッター装置)を介してユーザUの左右の眼各々に視差の異なる仮想空間画像を入力することにより、ユーザUが仮想空間を視認(知覚)することができる。これにより、現実空間における各種オブジェクトを仮想空間上で再現して、各種オブジェクトの視認性を仮想空間画像上で評価したり、車両の運転を仮想空間画像上で模擬的に体験したりすることができる。
具体的に、仮想空間画像生成装置2は、その機能ブロックとして、例えば、視点検出部11と、入力部12と、記憶部13と、画像生成部14と、表示制御部15とを備える。仮想空間画像生成装置2のハードウェア構成は、ここでは図示を省略するが、例えば、プロセッサ、メモリ、ユーザ入力インターフェースおよび通信インターフェースを含むコンピュータシステムを備える。つまり、仮想空間画像生成装置2では、コンピュータシステムのプロセッサがメモリに格納されたプログラムを読み出して実行することによって、視点検出部11、画像生成部14および表示制御部15の各機能が実現される。
視点検出部11は、センサ3の出力信号を用いてユーザUの視点を検出する。ユーザUの視点は、画像形成装置4上においてユーザUの視線が注がれている点である。センサ3としては、例えば、ユーザUが装着するHMDに内蔵された視線センサ等が使用される。センサ3は、ユーザUの眼の動きを検知して視線の方向を計測し、該視線の方向を示す信号を、コンピュータシステムの通信インターフェースを介して視点検出部11に出力する。視点検出部11は、センサ3で計測されたユーザUの視線方向、ユーザUの眼および画像形成装置4の位置関係、並びに、記憶部13に記憶されている仮想空間の画像データを用いて提供される仮想空間上の位置情報に基づき、画像形成装置4上におけるユーザUの視点の位置(2次元平面上の座標)を検出する。このような視点検出部11によるユーザUの視点検出機能は、アイトラッキングと呼ばれる場合がある。視点検出部11は、検出した視点の位置情報を画像生成部14に伝える。
なお、仮想空間画像生成装置2は、視点検出部11によるアイトラッキングの機能に加えて、ユーザUの頭部の動きを検出するヘッドトラッキングの機能や、ユーザUの身体の動きを検出するポジショントラッキングの機能を備えていてもよい。これらのヘッドトラッキングやポジショントラッキングによる検出結果も、視点検出部11の検出結果とともに画像生成部14に伝えられる。この検出結果には、例えば、ユーザUの頭の向きに関わる情報が含まれており、該情報に基づきユーザUの視線の向きを推定してもよい。
入力部12は、コンピュータシステムのユーザ入力インターフェースにより実現されており、例えば、キーボード、マウス、操作用コントローラ等を有している。また、入力部12は、外部から有線または無線で情報を受信する受信部を有し、外部コンピュータとの間で情報を受信する外部情報入力インターフェースとしても機能する。入力部12では、仮想空間の環境に関する条件(以下、「環境条件」とする)や、ユーザUに関する条件(以下、「ユーザ条件」とする)、仮想空間内での車両の走行条件(移動経路、速度)などの所定条件が入力される。環境条件は、仮想空間の天候(晴れ、曇り、雨、霧など)、湿度、走行環境(屋外、屋内、トンネルなど)、ウィンドガラスの状況、またはこれらの組み合わせを含む。また、ユーザ条件は、ユーザUの年齢、性別、視力、眼の健康度、開眼度、利き目、またはこれらの組み合わせを含む。入力部12で入力された所定条件に関する情報は、画像生成部14に伝えられるとともに記憶部13に記憶される。
なお、上記ユーザ条件は、運転シミュレータシステム1のユーザUとして想定される被験者に対して予め実験を行って取得した値を、入力部12を用いて仮想空間画像生成装置2に入力してもよく、或いは、仮想空間画像生成装置2に別途設けられたカメラ等でユーザUを撮影し、該撮影したユーザ画像を基にユーザ条件を判定または検出するようにしてもよい。
記憶部13は、コンピュータシステムに接続されたストレージデバイス(例えば、磁気ディスクや光学ディスク、フラッシュメモリ等)により実現されており、前述したユーザUの眼および画像形成装置4の位置関係や環境条件、ユーザ条件、車両の走行条件などの各種設定情報を記憶している。また、記憶部13は、各種オブジェクトを含む仮想空間の画像データを記憶している。各種オブジェクトは、仮想空間内において、ユーザUが車両の運転席から見ることのできる光景に含まれる様々な物体である。
画像生成部14は、記憶部13に記憶された画像データや入力部12から受信した画像データと各種設定情報とを用いて、画像形成装置4上に表示させる仮想空間画像を生成する。このとき、画像生成部14は、視点検出部11で検出される視点に基づいて、予め定められた視認性変化領域内の視認性が第1状態にあり、かつ、視認性変化領域外の視認性が第1状態とは異なる第2状態にある仮想空間画像を生成する。つまり、画像生成部14で生成される仮想空間画像には、相対的に高い視認性を有する画像部分と相対的に低い視認性を有する画像部分が含まれる。そして、画像生成部14は、視認性変化領域内に位置する画像部分が視認性変化領域外に位置する画像部分よりも相対的に高い視認性を有する第1状態と、視認性変化領域内に位置する画像部分が視点周辺領域外に位置する画像部分よりも相対的に低い視認性を有する第2状態との間で遷移するように、仮想空間画像を更新する。なお、視認性変化領域には、後述する移動元の視点周辺領域、移動先の視点周辺領域だけでなく、視点周辺領域以外の領域も含まれる。
視認性の状態は、例えば、対象となる領域に表示する画像にぼかし処理を施すことで制御される。ぼかし処理は、画像データの情報量を変化させて当該画像がぼやけて見える状態にする処理である。言い換えると、ぼかし処理は、ユーザUが視覚を通して確認できる情報量を減らす画像処理である。具体的なぼかし処理の例としては、処理の対象となる領域に表示する画像(オブジェクト)について、情報量を減らす処理、解像度を下げる処理、または表示面積を段階的に小さくする処理、表示面積を段階的に大きくする処理、或いはこれら処理の組み合わせなどがある。処理の組み合わせの例として、表示面積を段階的に大きくする処理と表示面積を段階的に小さくする処理とを順番に、またはこれらを交互に行うことでピントが合っていない状態を再現し易くなる。したがって、視認性が相対的に高い第1状態は、例えばぼかし処理を施す前のピントが合った状態であり、当該画像についてユーザUが視覚を通して確認できる情報量が多い状態を表している。また、視認性が相対的に低い第2状態は、例えばぼかし処理を施した後のピントが合っていないぼやけた状態であり、当該画像についてユーザUが視覚を通して確認できる情報量が少ない状態を表している。
図2は、ぼかし処理が施される前の仮想空間画像の一例を示している。この仮想空間画像は、左右の眼の一方に入力される仮想空間画像である。図2の仮想空間画像とは視差の異なる他の仮想空間画像(図示省略)が左右の眼の他方に入力される。ユーザUは、左右の眼にそれぞれ入力される視差の異なる仮想空間画像により仮想空間を知覚することができる。また、図3は、視点周辺領域外にぼかし処理が施された後の仮想空間画像の一例を示している。
図2および図3に示すように、画像生成部14で生成される仮想空間画像には、ユーザUが車両の運転席から見ることのできる仮想空間内の光景が表現されている。図示の例では、仮想空間画像は、車両を表すオブジェクトとして、ステアリングホイールの上部、ダッシュボードの上部、右側のフロントピラー、ルーフの前端部、ルームミラー、および右側のサイドミラー等を含んでいる。仮想空間画像の下部中央に表示されている数字の「8」は、ステアリングホイールの上端部付近の視認性を評価するためのオブジェクトである。また、仮想空間画像は、車外の静止物体を表すオブジェクトとして、道路、歩道、建物、および道路標識(一時停止)等を含んでいる。
ぼかし処理が施される前の仮想空間画像(図2)は、全てのオブジェクトにピントが合っており、仮想空間画像の全領域の視認性が高い状態にある。一方、ぼかし処理が施された後の仮想空間画像(図3)は、ユーザUの視点(□印)がステアリングホイールの上端部付近に表示されている数字の「8」のオブジェクト上の位置Pにあり、図中の破線で囲んだ視点周辺領域Aの内側に位置するオブジェクトにピントが合い、視点周辺領域Aの外側に位置するオブジェクトにはピントが合っていないぼやけた状態となっている。つまり、画像生成部14で生成され、かつ、ユーザUの視点の位置Pに応じてぼかし処理が施された仮想空間画像は、視点周辺領域A内の視認性が相対的に高い第1状態にあり、視点周辺領域A外の視認性が相対的に低い第2状態にある。なお、ユーザUの視点を示す□印は、実際の仮想空間画像には表示されない。
また、画像生成部14は、ユーザUの視点が移動した際に、ぼかし処理が施された仮想空間画像を更新する。この仮想空間画像の更新処理は、ユーザUの視点の任意の移動に対して実行する可能である。例えば、図3においてユーザUの視点の位置Pが視点周辺領域A内の異なる位置に移動した場合、移動前後で視点周辺領域にずれが生じた部分の画像が更新される。また例えば、ユーザUの視点の位置Pが視点周辺領域A外の離れた位置に移動し、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合には、移動先の視点周辺領域全体の画像と移動元の視点周辺領域全体の画像とが更新される。前者のような視点の移動量が少ない場合には、更新対象となる画像のデータ量は少ないので、画像生成部14における画像処理の負荷は軽減される。以下では、後者のような視点の移動量が多い場合の画像処理について具体例を挙げて詳しく説明する。
図4は、ユーザUの視点移動の一例を示している。図4の例では、ユーザUの視点(□印)は、ステアリングホイールの上端部付近に表示されている数字の「8」のオブジェクト(第1オブジェクト)上の位置Pnから、車両前方の左側歩道上に設置されている道路標識のオブジェクト(第2オブジェクト)上の位置Pfに移動している。道路標識のオブジェクトは、仮想空間内における奥行方向で、ステアリングホイールの上端部付近のオブジェクトよりも遠方に位置している。したがって、ユーザUの視点は、仮想空間内において、左右方向および上下方向に広がる2次元平面上(仮想空間画像上)で左上方向に移動し、かつ、奥行方向で遠方に移動していることになる。
なお、仮想空間内における奥行方向は、画像形成装置4の形態によって異なる。具体的には、ユーザUの頭部位置が変化しない画像形成装置4の場合、奥行方向は、仮想空間内の予め設定された固有の方向(例えば前後方向)となる。一方、ヘッドトラッキング等によりユーザUの頭部位置が変化する画像形成装置4の場合、奥行方向は、頭部の位置に応じて相対的に変わる所定の方向となる。例えば、頭部が向く方向としてもよいし、ユーザUの移動前の視点に対するユーザUの視線方向、つまり、ユーザUの眼Eと現実の移動前の視点または仮想空間内における移動前の視点とをつなぐ方向としてもよい。
図5は、上記のような仮想空間内でのユーザUの視点移動を上方から見た概念図である。図5において、矢印Z方向は仮想空間の奥行方向(車両前後方向)を示し、矢印X方向は仮想空間の水平方向(車両幅方向)を示している。図5に示すように、ユーザUの視点は、画像形成装置4上(仮想空間画像上)で位置Pnから位置Pfに移動する。移動元の視点の位置Pnに表示されている第1オブジェクト(数字の「8」)は、仮想空間内において、奥行方向で画像形成装置4から距離Znだけ離れた位置Pn’にある。また、移動先の視点の位置Pfに表示されている第2オブジェクト(道路標識)は、仮想空間内において、奥行方向で画像形成装置4から距離Zfだけ離れた位置Pf’にある。距離Zfは、距離Znよりも距離ΔZだけ長い。
現実空間におけるユーザUの眼Eの焦点(ピント)は、視点の移動元では画像形成装置4上の位置Pnに合っており、視点の移動先では画像形成装置4上の位置Pfに合っている。つまり、ユーザUの眼Eの現実的な焦点距離は、図5中の実線矢印で示すように、視点の移動元では眼Eから位置Pnまでの距離Fnとなり、視点の移動先では眼Eから位置Pfまでの距離Ffとなる。dは、奥行方向におけるユーザUの眼Eと画像形成装置4の間の距離を表す。図5ではユーザUが目線移動によって視線を変えているので、位置Pnと位置Fnとは距離dが異なっているが、移動前後の距離dの変化量Δd(図示省略)は僅かである。
一方、ユーザUの眼Eの仮想的な焦点距離は、図5中の点線矢印で示すように、視点の移動元では眼Eから位置Pn’までの距離Fn’となり、視点の移動先では眼Eから位置Pf’までの距離Ff’となる。つまり、仮想空間内では、位置Pn’は奥行方向において位置Pnよりも距離Znだけ後方に配置され、位置Pf’は、位置Pfよりも奥行方向において距離Zfだけ後方に配置されることになる。また、位置Pf’は、奥行方向において位置Pn’よりも距離ΔZだけ後方に位置している。さらに、図5では、距離ΔZは、距離Δdよりも遙かに大きくなっている。本実施形態では、このようなユーザUの視点移動に伴う現実的な焦点距離Fn,Ffの変化と仮想的な焦点距離Fn’,Ff’の変化との差異による見え方の違いが抑えられるように、画像形成装置4上に表示させる仮想空間画像の生成(更新)処理が行われる。
上記のようなユーザUの視点移動が生じた際、画像生成部14は、視点検出部11で検出される視点の位置Pn,Pf(2次元平面上の座標)の変化から、画像形成装置4上(仮想空間画像上)での視点の移動方向および移動量を判断する。また、画像生成部14は、仮想空間画像上の画素ごと(またはオブジェクトごと)に定義された奥行情報のうちで、視点検出部11で検出される視点の位置Pn,Pfに対応する奥行情報から、仮想空間内での視点の位置Pn’,Pf’を判断するとともに、仮想空間内で視点が少なくとも奥行方向に移動しているか、つまり、仮想空間内で視点が遠ざかる方向に移動しているか近づく方向に移動しているかを判断する。そして、画像生成部14は、仮想空間内で視点が奥行方向に移動する場合に、仮想空間画像の更新処理を実行する。
この更新処理において、画像生成部14は、移動先の視点周辺領域Af(視認性変化領域)内の視認性が第2状態から第1状態に上昇し、かつ、該視認性が第1状態と第2状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化するように、仮想空間画像を更新する第1処理と、移動元の視点周辺領域An内の視認性が第1状態から第2状態に低下するように、仮想空間画像を更新する第2処理とを行う。遷移完了時間は、ユーザUの視点移動が完了してから視認性の遷移が完了するまでの時間である。つまり、画像生成部14による仮想空間画像の更新処理では、移動先の視点周辺領域Af内の視認性が、所定条件に基づいて変化する遷移完了時間をかけて、第2状態から第1状態に遷移するとともに、移動元の視点周辺領域An内の視認性が第1状態から第2状態に遷移する仮想空間画像が生成される。
ユーザUの視点移動の直後における仮想空間画像は、図4に示すように、移動元の視点周辺領域An内の視認性が第1状態(ピントが合った状態)にあり、移動先の視点周辺領域Af内の視認性が第2状態(ピントが合っていないぼやけた状態)にある。このような視点移動直後の仮想空間画像における視認性の状態(ぼかし処理の状態)は、前述の図3に示した仮想空間画像(ユーザUの視点移動前)における視認性の状態と同じである。
図6は、ユーザUの視点移動から遷移完了時間が経過した後の仮想空間画像の一例を示している。遷移完了時間が経過して更新処理(第1処理および第2処理)が完了した仮想空間画像は、図6に示すように、移動元の視点周辺領域An内の視認性が第2状態(ピントが合っていないぼやけた状態)に遷移し、移動先の視点周辺領域Af内の視認性が第1状態(ピントが合った状態)に遷移している。
なお、画像生成部14は、前述したヘッドトラッキングやポジショントラッキングによる検出結果が伝えられている場合に、ユーザUの頭部の動きや身体の動きに追従して仮想空間画像を変化させてもよい。例えば、ユーザUが頭部を左側に向けた場合、画像生成部14は、ヘッドトラッキングにより検出されるユーザUの頭部の動きに合わせて、仮想空間内でユーザUの左方向にある光景が映し出されるように、仮想空間画像を変化させる。また例えば、ユーザUが移動して身体の位置が変化した場合、画像生成部14は、ポジショントラッキングにより検出されるユーザUの現在位置に合わせて、ユーザUの視界が移り変わるように、仮想空間画像を変化させる。
表示制御部15(図1)は、画像生成部14で生成される仮想空間画像を画像形成装置4に表示させるための制御信号を生成し、該制御信号を画像形成装置4に出力する。表示制御部15からの制御信号を受けた画像形成装置4は、該制御信号に従って仮想空間画像を表示する。
次に、本実施形態による仮想空間画像生成装置2の動作について説明する。
図7は、仮想空間画像生成装置2による仮想空間画像の生成方法の一例を示すフローチャートである。
本実施形態生成装置2では、まず、図7のステップS10において、視点検出部11が、センサ3の出力信号を用いて、画像形成装置4上におけるユーザUの視点の位置(2次元平面上の座標)を検出する。この視点検出部11による視点位置の検出処理は、所定の周期で繰り返し実行される。視点検出部11で検出されたユーザUの視点の位置情報は、画像生成部14に伝えられる。
続くステップS20では、視点検出部11からの視点の位置情報を受けた画像生成部14が、記憶部13に記憶された画像データ(または入力部12から受信した画像データ)および各種設定情報を用いて、画像形成装置4上に表示させる仮想空間画像を生成する。このとき、画像生成部14は、前述の図3に示した一例にあるように、ユーザUの視点の位置Pに基づき視点周辺領域Aの外側に位置する画像部分にぼかし処理を施す。これにより、視点周辺領域A内の視認性が相対的に高い第1状態にあり、かつ、視点周辺領域A外の視認性が相対的に低い第2状態にある仮想空間画像が生成される。
次のステップS30では、画像生成部14が、視点検出部11から所定の周期で伝えられる視点の位置情報を基にユーザUの視点の移動を判定する処理を実行する。この判定処理では、移動前の視点に対して移動先の視点が少なくとも奥行方向に移動しているか否かが判定される。視点移動があった場合には(YES)、次のステップS40に進み、視点移動がなかった場合には(NO)、ステップS50に移る。
ステップS40では、画像生成部14が、ユーザの視点移動に応じた仮想空間画像の更新処理を行う。更新処理が完了すると、次のステップS50に進み、表示制御部15が、画像生成部14で生成(または更新)された仮想空間画像を画像形成装置4に表示させる制御を行う。仮想空間画像が画像形成装置4に表示されると、ステップS30に戻って同様の処理が繰り返し実行される。
ここで、上記ステップS40における仮想空間画像の更新処理について具体的に説明する。
前述したように本実施形態による画像生成部14は、ユーザUの視点が移動した際、移動先の視点周辺領域Af内の視認性が第2状態から第1状態に上昇し、かつ、該視認性が第1状態と第2状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化するように、仮想空間画像を更新する第1処理と、移動元の視点周辺領域An内の視認性が第1状態から第2状態に低下するように、仮想空間画像を更新する第2処理とを行う。
このような仮想空間画像の更新処理において、移動先の視点周辺領域内の視認性の第2状態から第1状態への遷移は、移動先の視点周辺領域内の画像に施されたぼかし処理を軽減することで実現される。つまり、ぼかし処理された画像のぼかし量(ぼかし割合)を減少させてピントの合った状態に近づけることで、当該領域内の視認性を上昇させて第2状態から第1状態に遷移させる。視認性を第2状態から第1状態に遷移させるぼかし量の軽減処理は、遷移完了時間をかけて行われる。この遷移完了時間は、ユーザUの視点移動が完了してからぼかし量の軽減処理を開始するまでの遅延時間と、ぼかし量の軽減処理を開始してから完了するまでの遷移時間とを含んでいる。
また、移動元の視点周辺領域内の視認性の第1状態から第2状態への遷移は、移動元の視点周辺領域内の画像にぼかし処理を施すことで実現される。つまり、ぼかし処理における画像のぼかし量(ぼかし割合)を増加させることで、当該領域内の視認性を低下させて第1状態から第2状態に遷移させる。
画像生成部14による仮想空間画像の第1処理では、遷移完了時間に含まれる遅延時間および遷移時間が、所定条件の1つであるユーザUの視点の移動方向に応じて変化する。ユーザUの視点の移動方向は、画像形成装置4上(仮想空間画像上)の上下および左右の各方向、仮想空間内での奥行方向、並びに、これらの方向の組み合わせを含んでいる。本実施形態では、例えば、仮想空間内での奥行方向に関し、ユーザUの視点が遠ざかる方向に移動しているか近づく方向に移動しているかによって、遅延時間および遷移時間が変化する。前述の図4~図6に例示したユーザUの視点の位置Pnから位置Pfへの移動は、遠ざかる方向の視点移動に該当し、その逆の移動(位置Pfから位置Pnへの移動)は、近づく方向の視点移動に該当する。以下では、遷移完了時間に含まれる遅延時間および遷移時間の変化の仕方について、視点移動の方向ごとに具体例を挙げて詳しく説明する。
図8は、視点が遠ざかる方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。図8の上段のグラフは、移動先の視点周辺領域Afに対応しており、図8の下段のグラフは、移動元の視点周辺領域Anに対応している。各グラフの縦軸は視認性Vの状態を表し、横軸は時間tを表す。縦軸の視認性Vの状態は、横軸との交点(原点)から離れるほど高くなる。なお、視認性Vの状態は、前述したようにぼかし処理における画像のぼかし量(ぼかし割合)に対応している。このため、図8の各グラフの縦軸は画像のぼかし量も表しており、該ぼかし量は原点から離れるほど少なくなる。
図8において、ユーザUの視点は、時間t1で位置Pn(数字の「8」の第1オブジェクト上)にあり、時間t2で位置Pf(道路標識の第2オブジェクト上)に移動している。時間t1において、移動先の視点周辺領域Af内の視認性は相対的に低い第2状態V2にあり、移動元の視点周辺領域An内の視認性は相対的に高い第1状態V1にある。
図8の各グラフ中の破線は、上述したような従来の技術において仮想空間画像に施されるぼかし処理に対応した視認性の時間的な変化を表している。従来の技術では、仮想空間画像に施されるぼかし処理が、画像処理を担うハードウェアの性能に応じた速度で実行される。このため、視認性(ぼかし量)の第1状態V1および第2状態V2間の遷移が、ユーザUの視点の移動と略同時の短期間(時間t1~t2)で完了している。
一方、本実施形態における画像生成部14による仮想空間画像の更新処理では、各グラフ中の実線で示すように、移動先の視点周辺領域Af内の視認性が第2状態V2から徐々に上昇して第1状態V1に遷移するとともに、移動元の視点周辺領域An内の視認性が第1状態V1からすぐに低下して第2状態V2に遷移する。
具体的に、移動先の視点周辺領域Af内の視認性の時間的な変化は、図8の上段のグラフに示すように、ユーザUの視点移動が完了してから所定の遅延時間L1が経過するまでの期間(時間t2~t3)、視認性が第2状態V2に維持され、時間t3になると視認性が上昇し始める。時間t3以降、移動先の視点周辺領域Af内の視認性は、時間の経過に従って漸次変化し、時間t4で第1状態V1まで上昇する。
つまり、ユーザUの視点移動の完了後、遅延時間L1の経過を待って、移動先の視点周辺領域Af内の画像に施されたぼかし処理を軽減する処理が開始される。そして、画像のぼかし量(ぼかし割合)が時間の経過とともに徐々に減らされることにより、移動先の視点周辺領域Af内の視認性が第2状態V2(ピントが合っていないぼやけた状態)から第1状態V1(ピントが合った状態)に遷移する。遷移を開始してから完了するまでの遷移時間α1は、時間t3~t4である。ユーザUの視点移動が完了してから視認性の遷移が完了するまでに要する遷移完了時間T1(時間t2~t4)は、遅延時間L1および遷移時間α1の合計となる。
ここで、移動先の視点周辺領域Af内の画像にピントが合った状態は、前述の図5を参照して説明した、ユーザUの眼Eの焦点が移動先の視点の仮想的な位置Pf’に合った状態に相当している。つまり、仮想空間画像上において移動先の視点周辺領域Af内の視認性を第1状態に上昇させる画像処理は、現実空間においてユーザUが眼Eの焦点調整機能を働かせて焦点距離をFf’に調整する動作に相当している。したがって、視認性を第1状態V1に上昇させる際の当該視認性の時間的な変化が、眼Eの焦点調整機能により焦点距離をFf’にする際の当該焦点距離の時間的な変化に近づくようになれば、現実空間の見え方に近い視認性を実現した仮想空間画像を生成することが可能になる。
図8の上段のグラフにおいて、遷移時間α1に亘る曲線C1は、移動先の視点周辺領域Af内の視認性を第1状態V1に上昇させる際の当該視認性の時間的な変化を表している。この曲線C1の形状が、例えば、次の(1)式に示す関数に従うようにすることによって、眼Eの焦点調整機能による焦点距離の時間的な変化に近づけることができる。
Figure 2023050903000002
上記(1)式において、tは、ぼかし処理を軽減する処理を開始してからの時間[s]を表している。Fは、時間tでの焦点距離[m]を表している。Doは、視点移動開始時の焦点距離の逆数であるディオプター(diopter)を表している。Dtは、視点移動終了時の焦点距離の逆数であるディオプターを表している。eは、ネイピア数(自然対数の底)を表している。τは、時間定数を表している。図8のように視点が遠ざかる方向に移動する場合、Doは1/Fn’を意味し、Dtは1/Ff’を意味する。
上記(1)式における焦点距離Fは、時間tでの視認性Vの状態に対応している。具体的に、視認性の第1状態V1は、(1)式の焦点距離Fが前述の図5に示した仮想的な焦点距離Ff’となる状態(F=Ff’)に対応している。また、視認性の第2状態V2は、(1)式の焦点距離Fが図5の仮想的な焦点距離Fn’となる状態(F=Fn’)に対応している。
また、上記(1)式における時間定数τは、前述した環境条件およびユーザ条件に合わせて設定され、時間定数τに応じて遷移時間α1の長さ(曲線C1の形状)が変化する。図9は、時間定数τの値を変更した場合の遷移時間α1の変化を例示している。図9の例では、時間定数τの値をτ=0.1としたときの遷移時間α1よりもτ=0.2としたときの遷移時間α1’の方が長くなり、該遷移時間α1’よりもτ=0.3としたときの遷移時間α1’’の方が更に長くなっている。
上記のような移動先の視点周辺領域Af内の視認性の時間的な変化に対して、移動元の視点周辺領域An内の視認性の時間的な変化は、図8の下段のグラフに示すように、ユーザUの視点移動が完了してすぐに視認性が第1状態V1から低下し始め、時間t3’で第2状態V2まで低下する。つまり、ユーザUの視点移動の完了後直ちに移動元の視点周辺領域An内の画像のぼかし処理が開始される。そして、画像のぼかし量(ぼかし割合)が時間の経過とともに増やされることにより、移動元の視点周辺領域An内の視認性が第1状態V1(ピントが合った状態)から第2状態V2(ピントが合っていないぼやけた状態)に遷移する。このように移動元の視点周辺領域An内の視認性を変化させることで、ユーザUが移動元の視点周辺領域Anの見え方に違和感を抱くことを防止できる。
図10は、視点が近づく方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。図10の上段のグラフは、移動先の視点周辺領域Anに対応しており、図10の下段のグラフは、移動元の視点周辺領域Afに対応している。前述した図8と同様に、各グラフの縦軸は視認性Vの状態(ぼかし量)を表し、横軸は時間tを表す。縦軸の視認性Vの状態は、横軸との交点(原点)から離れるほど高くなる(ぼかし量は原点から離れるほど少なくなる)。
図10において、ユーザUの視点は、時間t1で位置Pf(道路標識の第2オブジェクト上)にあり、時間t2で位置Pn(数字の「8」の第1オブジェクト上)に移動している。時間t1において、移動先の視点周辺領域An内の視認性は相対的に低い第2状態V2にあり、移動元の視点周辺領域Af内の視認性は相対的に高い第1状態V1にある。
図10の各グラフ中の破線は、前述した図8の場合と同様に、従来の技術において仮想空間画像に施されるぼかし処理に対応した視認性の時間的な変化を表しており、視認性の第1状態V1および第2状態V2間の遷移が短期間(時間t1~t2)で完了している。
一方、本実施形態における画像生成部14による仮想空間画像の更新処理では、各グラフ中の実線で示すように、移動先の視点周辺領域An内の視認性が第2状態V2から徐々に上昇して第1状態V1に遷移するとともに、移動元の視点周辺領域Af内の視認性が第1状態V1からすぐに低下して第2状態V2に遷移する。
具体的に、移動先の視点周辺領域An内の視認性の時間的な変化は、図10の上段のグラフに示すように、ユーザUの視点移動が完了してから所定の遅延時間L2が経過するまでの期間(時間t2~t3)、視認性が第2状態V2に維持され、時間t3になると視認性が上昇し始める。前述した遠ざかる方向の視点移動における遅延時間L1は、近づく方向の視点移動における遅延時間L2よりも長くなるように設定されている(L1>L2)。好ましくは、近づく方向の視点移動における遅延時間L2に対して、遠ざかる方向の視点移動における遅延時間L1が2倍以上となるようにするのがよい。具体的には、遠ざかる方向の視点移動における遅延時間L1を0.05秒から0.2秒までの範囲(0.05<L1<0.2)に設定し、近づく方向の視点移動における遅延時間L2を0秒から0.05秒までの範囲(0<L2<0.05)に設定するのが好適であることが実験により確認されている。時間t3以降、移動先の視点周辺領域Af内の視認性は、時間の経過に従って漸次変化し、時間t5で第1状態V1まで上昇する。
つまり、ユーザUの視点移動の完了後、遅延時間L2の経過を待って、移動先の視点周辺領域An内の画像に施されたぼかし処理を軽減する処理が開始される。そして、画像のぼかし量(ぼかし割合)が時間の経過とともに徐々に減らされることにより、移動先の視点周辺領域An内の視認性が第2状態V2(ピントが合っていないぼやけた状態)から第1状態V1(ピントが合った状態)に遷移する。遷移を開始してから完了するまでの遷移時間α2は、時間t3~t5である。前述した遠ざかる方向の視点移動における遷移時間α1は、近づく方向の視点移動における遷移時間α2よりも長くなるように設定されている(α1>α2)。ユーザUの視点移動が完了してから視認性の遷移が完了するまでに要する遷移完了時間T2(時間t2~t5)は、遅延時間L2および遷移時間α2の合計となる。
上記遷移時間α2に亘る曲線C2の形状は、例えば、前述した(1)式に示す関数に従うようにすることによって、眼Eの焦点調整機能による焦点距離の時間的な変化に近づけることができる。図10のように視点が近づく方向に移動する場合、上記(1)式における、Doは1/Ff’を意味し、Dtは1/Fn’を意味する。また、時間定数τは、前述した環境条件およびユーザ条件に合わせて設定され、時間定数τに応じて曲線C2の形状(遷移時間α2の長さ)が変化する。図11は、時間定数τの値を変更した場合の遷移時間α2の変化を例示している。図11の例では、時間定数τの値をτ=0.1としたときの遷移時間α2よりもτ=0.2としたときの遷移時間α2’の方が長くなり、該遷移時間α2’よりもτ=0.3としたときの遷移時間α2’’の方が更に長くなっている。前述した遠ざかる方向の視点移動における時間定数τは、近づく方向の視点移動における時間定数τの2倍以上となるように設定するのが好ましい。具体的には、遠ざかる方向の視点移動における時間定数τを0.05から0.2までの範囲(0.05<τ<0.2)に設定し、近づく方向の視点移動における時間定数τを0から0.1の範囲(0<τ<0.1)に設定するのが好適であることが実験により確認されている。
上記のような移動先の視点周辺領域An内の視認性の時間的な変化に対して、移動元の視点周辺領域Af内の視認性の時間的な変化は、図10の下段のグラフに示すように、ユーザUの視点移動が完了してすぐに視認性が第1状態V1から低下し始め、時間t3’で第2状態V2まで低下する。つまり、ユーザUの視点移動の完了後直ちに移動元の視点周辺領域Af内の画像のぼかし処理が開始される。そして、画像のぼかし量(ぼかし割合)が時間の経過とともに増やされることにより、移動元の視点周辺領域Af内の視認性が第1状態V1(ピントが合った状態)から第2状態V2(ピントが合っていないぼやけた状態)に短時間で遷移する。このように移動元の視点周辺領域Af内の視認性を変化させることで、ユーザUが移動元の視点周辺領域Afの見え方に違和感を抱くことを防止できる。
以上説明したように、本実施形態による仮想空間画像生成装置2では、画像生成部14が、ユーザUの視点が移動する場合に、移動元の視点周辺に位置する視認性変化領域の視認性が第1状態V1と第2状態V2との間で遷移するのに要する遷移完了時間T1,T2が所定条件に基づいて変化する仮想空間画像を生成する。これにより、視認性変化領域の視認性が、所定条件に基づき変化する遷移完了時間T1,T2をかけて第1および第2状態V1,V2の間で遷移するようになるため、ユーザUの視点が移動しても現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。このような仮想空間画像生成装置2を適用して運転シミュレータシステム1を構築すれば、車両開発等において、現実空間における各種オブジェクトを仮想空間上で再現して、各種オブジェクトの視認性を仮想空間画像上で正確に評価することが可能になる。また、運転シミュレータシステム1を利用して車両運転の模擬体験を行えば、ユーザUに対してよりリアルな運転体験を提供できるようになる。
また、本実施形態の仮想空間画像生成装置2における遷移完了時間T1,T2は、遅延時間L1,L2と遷移時間α1,α2を含んでいる。眼の焦点調整機能において、視点を移動させてから焦点距離が変化するまでの間には遅れ(タイムラグ)が生じる。このような眼の性質を考慮して、遷移完了時間T1,T2に含まれる遅延時間L1,L2を適切に設定し、遅延時間L1,L2の経過を待って遷移時間α1,α2を開始することにより、生成される仮想空間画像の視認性を現実空間の見え方により近づけることができる。
また、本実施形態の仮想空間画像生成装置2では、ユーザUの視点の移動方向に応じて遷移時間α1,α2が変化する仮想空間画像が生成される。眼の焦点調整機能において、焦点距離の調整時間(眼のピントが合うまでに要する時間)は視点の移動方向によって異なるので、視点の移動方向に依存して視点周辺領域のぼやけ方が変わる。このような眼の性質に合うように、視点の移動方向に応じて遷移時間α1,α2を変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に更に近づけることができる。
また、本実施形態の仮想空間画像生成装置2では、遠ざかる方向の視点移動における遷移時間α1が、近づく方向の視点移動における遷移時間α2よりも長くなる仮想空間画像が生成される。眼の焦点調整機能において、視点が近づく方向に移動にする場合よりも、視点が遠ざかる方向に移動する場合の方が焦点距離の調整時間が長くなる。このような眼の性質に合うように、仮想空間画像の処理における遷移時間α1,α2を調整することによって、生成される仮想空間画像の視認性を現実空間の見え方に更に近づけることができる。
さらに、本実施形態の仮想空間画像生成装置2では、仮想空間内でのユーザUの視点の仮想的な位置(Pn’,Pf’)に対応するユーザの眼の焦点距離(Fn’,Ff’)の変化に応じて遷移時間α1,α2が変化する仮想空間画像が生成される。眼の焦点調整機能において、現実空間で視点を移動させたときの視点周辺領域のぼやけ方は、焦点距離の変化量に応じて変わる。このような眼の性質に合うように、眼の焦点距離の変化に応じて、仮想空間画像の処理における遷移時間α1,α2を変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に一層近づけることができる。
加えて、本実施形態の仮想空間画像生成装置2では、遠ざかる方向の視点移動における遅延時間L1が、近づく方向の視点移動における遅延時間L2よりも2倍以上長く、かつ、遠ざかる方向の視点移動における遷移時間α1を決める関数の時間定数τが、近づく方向の視点移動における遷移時間α2を決める関数の時間定数τの2倍以上となる仮想空間画像が生成される。このような設定とすることにより、生成される仮想空間画像の視認性を現実空間の見え方により一層近づけることができる。特に、遠ざかる方向の視点移動において、遅延時間L1が0.05秒から0.2秒までの範囲に設定され、かつ、時間定数τが0.05から0.2までの範囲に設定されるとともに、近づく方向の視点移動において、遅延時間L2が0秒から0.05秒までの範囲に設定され、かつ、時間定数τが0から0.1の範囲に設定されるようにすれば、仮想空間画像の視認性を現実空間の見え方に確実に近づけることができる。
また、本実施形態の仮想空間画像生成装置2では、仮想空間の環境に関する条件(環境条件)や、ユーザUに関する条件(ユーザ条件)に基づき遷移完了時間が変化する仮想空間画像が生成される。眼の焦点調整機能において、現実空間で視点を移動させたときの視点周辺領域のぼやけ方は、仮想空間の環境(天候、湿度、走行環境、ウィンドガラスの状況など)や、ユーザの状態(年齢、性別、視力、眼の健康度、開眼度、利き目など)に応じて変わる。このような眼の性質に合うように、仮想空間画像の処理における遷移完了時間を環境条件やユーザ条件に基づき変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に効果的に近づけることができる。
また、本実施形態の仮想空間画像生成装置2では、ユーザUの視点が移動して、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合に、遷移完了時間が所定条件に基づいて変化する仮想空間画像が生成される。これにより、ユーザUの視点が、視点周辺領域外の離れた位置に大きく移動した場合にも、移動先の視点周辺領域全体の視認性を現実空間の見え方に確実に近づけることができる。
以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形および変更が可能である。例えば、既述の実施形態では、ユーザUの視点が仮想空間内で奥行方向(遠ざかる方向または近づく方向)に移動する一例を説明した。しかしながら、奥行方向の移動を伴わない視点移動、例えば、仮想空間画像に表示した先行車両の左右のテールランプ間でユーザUの視点が移動するような場合にも、本発明による仮想空間画像の生成技術を適用することで、現実空間の見え方に近い仮想空間画像を実現できるようになる。
また、既述の実施形態では、ユーザUの視点移動が完了してから遅延時間L1,L2が経過するまでの期間、移動先の視点周辺領域内の視認性が第2状態に維持される一例を説明したが、遅延時間L1,L2の間に視認性が微増する仮想空間画像を生成するようにしてもよい。さらに、既述の実施形態では、遷移時間における視認性の時間的な変化が(1)式などの関数に従う一例を説明したが、視認性の状態と焦点距離とを関連付けたマップを用いて視認性を変化させるようにしてもよい。
遷移時間における視認性の時間的な変化が(1)式に示した関数に従うようにした場合に、該(1)式のディオプターDo(視点移動開始時の焦点距離の逆数)およびディオプターDt(視点移動終了時の焦点距離の逆数)として、既述の実施形態では、ユーザUの眼Eの仮想的な焦点距離Fn’,Ff’の逆数を用いる一例を示したが、該Fn’,Ff’の逆数に代えて、奥行き方向の距離Zn,Zfの逆数を用いるようにしてもよい。
加えて、視認性変化領域の視認性の変化度合は、視点移動開始時の焦点距離と視点移動終了時の焦点距離との偏差に応じて変化させるようにすることも可能である。
1…運転シミュレータシステム
2…仮想空間画像生成装置
3…センサ
4…画像形成装置
11…視点検出部
12…入力部
13…記憶部
14…画像生成部
15…表示制御部
A,An,Af…視点周辺領域
F,Fn,Fn’,Ff,Ff’…焦点距離
L1,L2…遅延時間
P,Pn,Pf…視点の位置
Pn’,Pf’…仮想空間内での視点の位置
T1,T2…遷移完了時間
U…ユーザ
V1…第1状態
V2…第2状態
α1,α2…遷移時間
τ…時間定数

Claims (11)

  1. ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成装置において、
    前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第1状態と該第1状態とは異なる第2状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する画像生成部を備えることを特徴とする仮想空間画像生成装置。
  2. 前記遷移完了時間は、前記ユーザの視点移動が完了してから前記遷移を開始するまでの遅延時間と、前記遷移を開始してから完了するまでの遷移時間とを含むことを特徴とする請求項1に記載の仮想空間画像生成装置。
  3. 前記画像生成部は、前記ユーザの視点が移動する方向を前記所定条件として、該視点の移動方向に応じて前記遷移時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項2に記載の仮想空間画像生成装置。
  4. 前記画像生成部は、前記視点の移動方向が遠ざかる方向である場合の前記遷移時間が、前記視点の移動方向が近づく方向である場合の前記遷移時間よりも長くなる前記仮想空間画像を生成するように構成されていることを特徴とする請求項3に記載の仮想空間画像生成装置。
  5. 前記画像生成部は、仮想空間内での前記ユーザの視点の仮想的な位置の変化に対応する前記ユーザの眼の焦点距離の変化を前記所定条件として、該焦点距離の変化に応じて前記遷移時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項4に記載の仮想空間画像生成装置。
  6. 前記画像生成部は、遠ざかる方向の視点移動における前記遅延時間が、近づく方向の視点移動における前記遅延時間よりも2倍以上長く、かつ、前記遠ざかる方向の視点移動における前記遷移時間を決める関数の時間定数が、前記近づく方向の視点移動における前記遷移時間を決める関数の時間定数の2倍以上となる前記仮想空間画像を生成するように構成されていることを特徴とする請求項5に記載の仮想空間画像生成装置。
  7. 前記遠ざかる方向の視点移動において、前記遅延時間は0.05秒から0.2秒までの範囲に設定され、かつ、前記時間定数は0.05から0.2までの範囲に設定され、
    前記近づく方向の視点移動において、前記遅延時間は0秒から0.05秒までの範囲に設定され、かつ、前記時間定数は0から0.1の範囲に設定される、ことを特徴とする請求項6に記載の仮想空間画像生成装置。
  8. 前記画像生成部は、仮想空間の環境に関する条件を前記所定条件として、該環境に関する条件に基づき前記遷移完了時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項1~7のいずれか1つに記載の仮想空間画像生成装置。
  9. 前記画像生成部は、前記ユーザに関する条件を前記所定条件として、該ユーザに関する条件に基づき前記遷移完了時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項1~7のいずれか1つに記載の仮想空間画像生成装置。
  10. 前記画像生成部は、前記ユーザの視点が移動して、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合に、前記遷移完了時間が前記所定条件に基づいて変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項1~9のいずれか1つに記載の仮想空間画像生成装置。
  11. ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成方法において、
    前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第1状態と該第1状態とは異なる第2状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する仮想空間画像生成方法。
JP2021161258A 2021-09-30 2021-09-30 仮想空間画像生成装置および方法 Pending JP2023050903A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021161258A JP2023050903A (ja) 2021-09-30 2021-09-30 仮想空間画像生成装置および方法
PCT/JP2022/012969 WO2023053516A1 (ja) 2021-09-30 2022-03-22 仮想空間画像生成装置および方法
KR1020247007964A KR20240047407A (ko) 2021-09-30 2022-03-22 가상 공간 화상 생성 장치 및 방법
CN202280064034.XA CN117980961A (zh) 2021-09-30 2022-03-22 虚拟空间图像生成装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021161258A JP2023050903A (ja) 2021-09-30 2021-09-30 仮想空間画像生成装置および方法

Publications (1)

Publication Number Publication Date
JP2023050903A true JP2023050903A (ja) 2023-04-11

Family

ID=85782153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161258A Pending JP2023050903A (ja) 2021-09-30 2021-09-30 仮想空間画像生成装置および方法

Country Status (4)

Country Link
JP (1) JP2023050903A (ja)
KR (1) KR20240047407A (ja)
CN (1) CN117980961A (ja)
WO (1) WO2023053516A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP6092437B1 (ja) 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
JP2021184116A (ja) * 2018-09-07 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11435821B2 (en) * 2019-09-26 2022-09-06 Apple Inc. Gaze-independent dithering for dynamically foveated displays

Also Published As

Publication number Publication date
KR20240047407A (ko) 2024-04-12
CN117980961A (zh) 2024-05-03
WO2023053516A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
JP6138634B2 (ja) ヘッドアップディスプレイ装置
US9771083B2 (en) Cognitive displays
JP2019030004A (ja) イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
JP2018156176A (ja) 車両の表示システム及び車両の表示システムの制御方法
JP2018154154A (ja) 車両の表示システム及び車両の表示システムの制御方法
CN117934775A (zh) 车辆
WO2023053515A1 (ja) 仮想空間画像生成装置および方法
KR20200110033A (ko) 영상 디스플레이 시스템 및 방법
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
WO2023053516A1 (ja) 仮想空間画像生成装置および方法
JP6196840B2 (ja) ヘッドアップディスプレイ装置
JP2021135933A (ja) 表示方法、表示装置及び表示システム
KR102384426B1 (ko) 운전 시 눈부심 방지 장치 및 방법
JP2007280203A (ja) 情報提示装置、自動車、及び情報提示方法
JPWO2018030320A1 (ja) 車両用表示装置
WO2023053517A1 (ja) 視認性情報取得装置の制御方法および視認性情報取得装置
CN113924518A (zh) 控制机动车的增强现实平视显示器装置的显示内容
JP2021056358A (ja) ヘッドアップディスプレイ装置
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法
WO2021065700A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JP7322886B2 (ja) 車両用表示装置、方法、及びコンピュータ・プログラム
JP2018103902A (ja) ヘッドアップディスプレイ装置
JP2022113292A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法