JP2023172180A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2023172180A JP2023172180A JP2022083808A JP2022083808A JP2023172180A JP 2023172180 A JP2023172180 A JP 2023172180A JP 2022083808 A JP2022083808 A JP 2022083808A JP 2022083808 A JP2022083808 A JP 2022083808A JP 2023172180 A JP2023172180 A JP 2023172180A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- gaze
- image processing
- virtual camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 137
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 52
- 210000001508 eye Anatomy 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 11
- 230000035807 sensation Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 ヘッドマウントディスプレイを装着するユーザが感じる臨場感を損なうことのなく、仮想カメラの位置を変更する。【解決手段】 画像処理装置100は、仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させるものであって、前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得し、取得した前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する。【選択図】 図1
Description
本開示は、ヘッドマウントディスプレイに表示する表示画像を生成する画像処理技術に関する。
ユーザの頭部に装着されて表示部に動画像等の画像を表示することができる、ヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)とも呼ぶ)がある。HMDによれば、ユーザに高い臨場感画像を提供することができる。HMDに表示される画像としては、仮想世界に対応する画像である仮想現実(以下、VR(Virtual Reality)とも呼ぶ)画像がある。また、HMDに表示される画像としては、仮想世界に対応する画像と現実世界に対応する画像とを重ね合わせた画像である複合現実(以下、MR(Mixed Reality)とも呼ぶ)画像等もある。MR画像の表示は、まず、HMDに取り付けられた外向きの撮像装置によりHMDを装着しているユーザ(以下、装着者とも呼ぶ)の外部環境の現実世界をリアルタイムに撮像する。更に、仮想世界に対応する画像と、撮像された現実世界に対応する画像とを重ね合わせた画像をHMDの表示部に表示することにより、装着者にMR画像を提供する。
VR画像及びMR画像のどちらにおいても、仮想世界に対応する画像は、以下のように取得される。まず、装着者の位置及び姿勢を示す位置姿勢情報に基づいて、装着者の位置に対応する仮想世界の空間(以下、仮想空間とも呼ぶ)の位置に仮想カメラを配置する。更に、仮想カメラからの仮想空間又は仮想空間に配置されたオブジェクトの見えを仮想世界に対応する画像として生成する。ここで、VR画像においては、装着者の眼の位置に対応する仮想空間の位置に仮想カメラを配置することが好適である。
一方、MR画像における現実世界に対応する画像は、上述のように、外向きの撮像装置による撮像により得られた画像であるため、装着者の眼の位置よりも前方の位置から撮像されたものとなる。非特許文献1には、MR画像を取得する際に、外向きの撮像装置の位置に対応する仮想空間の位置に、仮想カメラを配置する手法が開示されている。当該手法によれば、仮想空間に配置されたオブジェクトの像と当該オブジェクトに対応する現実世界の空間に存在するオブジェクトの像とが同一の距離及び大きさで表現されたMR画像を取得することができる。
"Camera render position",[online],"Varjo",[令和4年4月15日検索],インターネット<URL:https://developer.varjo.com/docs/get-started/camera-render-position>
上述のように、VR画像を取得するときの好適な仮想カメラの位置と、非特許文献1に開示された手法を用いてMR画像を取得するときの仮想カメラの位置とは、仮想カメラの光軸方向において互いに異なる。そのため、VR画像にとって好適な位置に仮想カメラを配置したVR画像と、非特許文献1に開示された手法を用いて取得されたMR画像との間でHMDの表示を切り替えた場合には、仮想カメラの位置が仮想カメラの光軸方向に突然に変更されることになる。その結果、装着者は、仮想空間に配置されたオブジェクトの大きさ、又は仮想カメラから当該オブジェクトまでの距離が突然に変化したように感じる。そのため、装着者が感じる臨場感が低下してしまう。
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、を有する。
本開示に係る画像処理装置によれば、装着者が感じる臨場感を損なうことなく、仮想空間に配置されたオブジェクトの像を好適な大きさとすることができる。
以下、本開示の実施形態について図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
[実施形態1]
実施形態1では、ヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)とも呼ぶ)を装着しているユーザ(以下、装着者とも呼ぶ)の仮想空間に配置されたオブジェクトへの注視度が最小であるか否かを判定する。本実施形態では、一例として、仮想空間に配置されたオブジェクト(以下、仮想オブジェクトとも呼ぶ)への注視度(以下、単に、注視度とも呼ぶ)が0であるか否かを判定する形態について説明する。注視度が最小である場合、仮想カメラの位置を当該仮想カメラの光軸方向に変更する。まず、本実施形態で行われる処理の概要について説明する。
実施形態1では、ヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)とも呼ぶ)を装着しているユーザ(以下、装着者とも呼ぶ)の仮想空間に配置されたオブジェクトへの注視度が最小であるか否かを判定する。本実施形態では、一例として、仮想空間に配置されたオブジェクト(以下、仮想オブジェクトとも呼ぶ)への注視度(以下、単に、注視度とも呼ぶ)が0であるか否かを判定する形態について説明する。注視度が最小である場合、仮想カメラの位置を当該仮想カメラの光軸方向に変更する。まず、本実施形態で行われる処理の概要について説明する。
本実施形態では、仮想カメラの基準位置として、現実世界の空間(以下、現実空間とも呼ぶ)における装着者の眼の位置に対応する仮想空間の位置を設定するものとして説明する。また、本実施形態では、仮想カメラの光軸方向における仮想カメラの位置は、基準位置からの当該光軸方向のオフセット量(以下、単に、オフセット量とも呼ぶ)を変更することにより変更されるものとして説明する。更に、本実施形態では、HMDの表示モードとして、「VRモード」及び「MRモード」という2種類の表示モードがあるものとして説明する。VRモードとは、HMDの表示部に、仮想現実(以下、VR(Virtual Reality)とも呼ぶ)画像が表示される表示モードである。以下、特に、VR画像が表示されている状態を「VR状態」と称して説明する。また、MRモードとは、HMDの表示部に、仮想世界に対応する画像と現実世界に対応する画像とが重畳された画像である複合現実(以下、MR(Mixed Reality)とも呼ぶ)画像が表示される表示モードである。以下、特に、MR画像が表示されている状態を「MR状態」と称して説明する。また、VRモードからMRモードへの切り替え、又はMRモードからVRモードへの切り替えにおいて、VR状態からMR状態への切り替え中の状態、及びMR状態からVR状態への切り替え中の状態を切り替え中状態と称して説明する。
VR状態においては、オフセット量を0に設定することにより、仮想カメラを基準位置と同一の位置に配置する。これにより、首振り等の動作を行う装着者に対して、違和感のないVR画像を提供することができる。MR状態においては、HMDに取り付けられた外向きの撮像装置(以下、外向きカメラとも呼ぶ)の位置と装着者の眼の位置との違いに対応するオフセット量を設定する。これにより、仮想カメラを外向きカメラの位置に対応する仮想空間の位置と同一の位置に配置する。MR状態においては、仮想オブジェクトと現実空間に存在するオブジェクト(以下、現実オブジェクトとも呼ぶ)とを並べて比較するという利用方法、又は現実空間に存在する装着者の手と仮想オブジェクトとを相互に作用させる利用方法等がある。このような利用方法においては、オフセット量を上述したように設定することにより、現実オブジェクトの像と、当該現実オブジェクトに対応する仮想オブジェクトの像とを、同一の大きさ且つ同一の位置で表示させることができる。これにより、装着者の操作性及び臨場感等を向上させることができる。
しかしながら、HMDの表示モードに応じて仮想カメラのオフセット量を上述のように設定して仮想カメラの位置を決定する場合、表示モードが切り替えられたときに、装着者は、仮想オブジェクトの位置又は大きさが突然に変化したように感じてしまう。その結果、装着者の操作性及び臨場感が低下してしまう。本実施形態では、装着者の視線を示す情報(以下、視線情報とも呼ぶ)を用いて、装着者の仮想オブジェクトへの注視度が最小である状態を検知する。更に、注視度が最小である状態のときに仮想カメラのオフセット量を変更して、仮想カメラの光軸方向に仮想カメラの位置を変更する。本実施形態における注視度が最小である状態とは、例えば、装着者がまばたき等により瞼を閉じている(以下、閉眼とも呼ぶ)状態である。このように、装着者が瞼を閉じている間、すなわち、装着者の閉眼状態において、仮想カメラの位置を変更することにより、仮想オブジェクトの位置又は大きさが変化されたことを装着者に認識されることを抑制することができる。
以上が本実施形態で行われる仮想カメラの位置を変更する方法の概要である。なお、上述のHMDの表示モード、並びに、VR状態及びMR状態における仮想カメラのオフセット量の設定は、あくまで一例であり、様々な表示モードの想定とそれに応じたオフセット量の設定が可能である。また、仮想カメラの基準位置は、装着者の眼の位置に対応する仮想空間の位置に限定されるものではなく、仮想空間における任意の位置を仮想カメラの基準位置として設定してよい。この場合、オフセット量には、設定した基準位置に応じて適切な値が設定されれば良い。
図1及び3を参照して、実施形態1に係る画像処理装置100の構成について説明する。図1は、実施形態1に係る画像処理装置100の構成の一例を示すブロック図である。画像処理装置100は、HMDシステム1に適用される。HMDシステム1は、HMD10及び画像処理装置100を備える。HMD10は、図1に一例として示すように、例えば、外向きカメラ11、位置検出装置12、姿勢検出装置13、視線検出装置14、及び表示装置15を備える。図1及び2を参照して、HMD10の構成について説明する。図2は、実施形態1に係るHMD10の一例を示す斜視図である。具体的には、図2(a)は、HMD10を略正面から見たときの外観の一例を示す斜視図であり、図2(b)は、HMD10を略背面、すなわち、装着者の顔部が接する側から見たときの一例を示す斜視図である。なお、図2(b)において、破線は、HMD10の内部に配置された部位を示している。
外向きカメラ11は、HMD10に取り付けられて、取り付け位置から装着者の周囲の環境を撮像するための撮像装置である。外向きカメラ11は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、又はステレオカメラにより構成される。外向きカメラ11は、撮像により得られた画像(以下、撮像画像とも呼ぶ)のデータを画像処理装置100に出力する。なお、外向きカメラ11は、取り付け位置から装着者の周囲の環境を撮像して、当該撮像により得られた画像のデータを出力可能なものであれば、上述のものに限定されるものではない。以下、外向きカメラ11は、ステレオカメラにより構成されているものとして説明する。
位置検出装置12(図2には不図示)は、装着者の位置を特定するためのものである。位置検出装置12は、例えば、GPS(Global Positioning System)受信機等のGNSS(Global Navigation Satellite System)受信機により構成される。位置検出装置12は、装着者の位置を特定可能な信号等の情報、又は、装着者の位置を示す情報を出力する。なお、位置検出装置12は、装着者の位置を特定可能な情報、又は装着者の位置を示す情報を出力可能なものであれば、上述のものに限定されるものではない。GNSS受信機等を用いた位置の特定手法は周知であるため、当該特定手法の説明については省略する。
姿勢検出装置13は、装着者の姿勢、具体的には、装着者の頭部の向き、より具体的には、装着者の顔部の向いている方向を特定するためのものである。姿勢検出装置13は、例えば、地磁気センサ、傾きセンサ、加速度センサ、若しくは高度センサ、又は、これらのセンサの組合せにより構成される。姿勢検出装置13は、装着者の姿勢を特定可能な信号等の情報、又は装着者の姿勢を示す情報を出力する。なお、姿勢検出装置13は、装着者の姿勢を特定可能な情報、又は装着者の姿勢を示す情報を出力可能なものであれば、上述のものに限定されるものではない。地磁気センサ、傾きセンサ、加速度センサ、又は高度センサ等を用いた姿勢の特定手法は周知であるため、当該特定手法の説明については省略する。
視線検出装置14は、装着者の視線の方向(以下、視線方向とも呼ぶ)、具体的には、装着者の眼球のうちの瞳孔の向いている方向を特定するためのものである。視線検出装置14は、例えば、装着者の眼部を撮像する撮像装置、又は装着者の眼部に向かって照射した赤外光等の反射光を受光する受光センサ等により構成される。視線検出装置14は、装着者の視線方向を特定可能な信号等の情報、又は装着者の視線方向を示す情報を出力する。なお、視線検出装置14は、装着者の視線方向を特定可能な情報、又は装着者の視線方向を示す情報を出力可能なものであれば、上述のものに限定されるものではない。撮像装置又は赤外光等の反射光を受光する受光センサ等を用いた視線方向の特定手法は周知であるため、当該特定手法の説明については省略する。
表示装置15(図2には不図示)は、一対の接眼レンズ201、及びディスプレイパネル202により構成される。表示装置15は、表示画像を示す信号等の情報を取得して、表示画像をディスプレイパネル202に表示する。例えば、ディスプレイパネル202には、装着者の頭部の向き(すなわち、HMD10の向き)に応じた視差画像が表示画像として表示される。ディスプレイパネル202は、LCD(Liquid Crystal Display)又は有機EL(electro-luminescence)ディスプレイ等により構成される。ディスプレイパネル202は、表示画像を表示可能なものであれば、上述のものに限定されるものではない。
画像処理装置100は、情報取得部101、撮像画像取得部102、仮想画像取得部103、姿勢取得部104、位置取得部105、及び基準取得部106を備える。画像処理装置100は、上述の構成に加えて、状態取得部107、視線取得部108、注視度取得部109、変更部110、生成部111、及び出力部112を備える。
画像処理装置100のハードウェア構成について説明する。図1に一例として示す画像処理装置100が備える各部の処理は、画像処理装置100に内蔵されたASIC(Application Specific Integrated Circuit)等のハードウェアによってなされる。当該処理は、FPGA(Field Programmable Gate Array)等のハードウェアによってなされるものであってもよい。また、当該処理は、CPU(Central Processor Unit)若しくはGPU(Graphic Processor Unit)、及びメモリを用いたソフトウエアによってなされてもよい。
図3は、図1に一例として示す画像処理装置100が備える各部がソフトウエアにより動作する場合の、実施形態1に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。画像処理装置100は、コンピュータにより構成されており、当該コンピュータは、図3に一例として示すようにCPU301、ROM302、RAM303、補助記憶装置304、表示部305、操作部306、通信部307、及びバス308を有している。
CPU301は、ROM302又はRAM303に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図1に示す画像処理装置100が備える各部として機能させる。なお、画像処理装置100は、CPU301とは異なる1又は複数の専用のハードウェアを有し、CPU301による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ASIC、FPGA、及びDSP(デジタルシグナルプロセッサ)等がある。ROM302は、変更を必要としないプログラム等を格納する。RAM303は、補助記憶装置304から供給されるプログラム若しくはデータ、又は通信部307を介して外部から供給されるデータ等を一時記憶する。補助記憶装置304は、例えばハードディスクドライブ等で構成され、画像データ又は音声データ等の種々のデータを記憶する。
表示部305は、例えば液晶ディスプレイ又はLED等により構成され、ユーザが画像処理装置100を操作又は閲覧するためのGUI(Graphical User Interface)等を表示する。操作部306は、例えばキーボード、マウス、ジョイスティック、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をCPU301に入力する。CPU301は、表示部305を制御する表示制御部、及び操作部306を制御する操作制御部としても動作する。
通信部307は、画像処理装置100の外部の装置との通信に用いられる。例えば、画像処理装置100が外部の装置と有線接続される場合には、通信用のケーブルが通信部307に接続される。画像処理装置100が外部の装置と無線通信する機能を有する場合には、通信部307はアンテナを備える。バス308は、画像処理装置100の備える各部をつないで情報を伝達する。実施形態1では、表示部305及び操作部306は、画像処理装置100の内部に存在するものとして説明するが、表示部305及び操作部306の少なくとも一方は、画像処理装置100の外部に別の装置として存在していてもよい。
図1に一例として示す、画像処理装置100が備える構成について説明する。以下、現実空間の位置は、鉛直方向に直交する平面における互いに直交する方向をx軸及びy軸、鉛直方向における重力と反対の方向を正方向とするz軸とする3次元座標系を用いて定義されるものとして説明する。なお、上述の3次元座標系を用いた現実空間の位置の定義は、あくまで一例であって、各軸の取り方等の現実空間の位置の定義の手法については任意のもので良い。
情報取得部101は、仮想空間を示す情報(以下、仮想空間情報とも呼ぶ)を取得する。仮想空間情報には、仮想オブジェクトを示す情報が少なくとも含まれる。具体的には、例えば、仮想空間情報は、仮想空間を表すコンピュータグラフィックス(CG:Computer Graphics)のデータである。例えば、情報取得部101は、補助記憶装置304に予め記憶されている仮想空間情報を読み出すことにより、仮想空間情報を取得する。以下、仮想空間情報が示す仮想空間の位置は、上述の3次元座標系を用いて定義されるものとして説明する。すなわち、本実施形態においては、現実空間の位置と、当該位置に対応する仮想空間の位置とは、同一の3次元座標で表現される。情報取得部101により取得された仮想空間情報は、例えば、RAM303に一時記憶される。
撮像画像取得部102は、現実世界を撮像することにより得られた撮像画像のデータ(以下、撮像画像データとも呼ぶ)を取得する。具体的には、撮像画像取得部102は、通信部307を介して、HMD10に備えられた外向きカメラ11から出力される撮像画像データを取得する。本実施形態では、外向きカメラ11は、ステレオカメラに構成されるものとしたため、撮像画像は、ステレオカメラの左側及び右側のそれぞれの撮像部による撮像により得られた2つの画像がセットになった視差画像である。本実施形態では、一例として、撮像画像は、RGBの3チャンネルのカラー画像である場合について説明する。撮像画像はカラー画像に限定されるものではなく、レンダリング後の画像が1チャンネルのグレースケール画像であってもよい。撮像画像取得部102に取得された撮像画像データは、例えば、RAM303に一時記憶される。
姿勢取得部104は、装着者の姿勢、具体的には、装着者の頭部の向き、より具体的には、装着者の顔部の向いている方向を示す情報(以下、姿勢情報とも呼ぶ)を取得する。具体的には、例えば、姿勢取得部104は、まず、通信部307を介して、姿勢検出装置13から出力される信号等の情報を取得する。次に、姿勢検出装置13から取得した情報を用いて装着者の姿勢を特定することにより、姿勢情報を生成して取得する。姿勢情報は、例えば、上述した3次元座標系における3×3の回転行列と、ロール、ピッチ、及びヨーとを用いて表現される。姿勢情報の表現方法は、これに限定されるものではなく、姿勢情報は、クォータニオン等の他の表現方法により表現されてもよい。姿勢取得部104により取得された姿勢情報は、例えば、RAM303に一時記憶される。
位置取得部105は、装着者の位置、具体的には、装着者の頭部の位置を示す情報(以下、位置情報とも呼ぶ)を取得する。具体的には、例えば、位置取得部105は、まず、通信部307を介して、位置検出装置12から出力される信号等の情報を取得する。次に、位置検出装置12から取得した情報を用いて装着者の位置を特定することにより、位置情報を生成して取得する。位置取得部105による装着者の位置の特定方法は、上述の方法に限定されるものではない。例えば、位置取得部105は、姿勢取得部104により取得された姿勢情報と撮像画像取得部102により取得された撮像画像データとを用いて、周知のSLAM(Simultaneous Localization and Mapping)手法等により装着者の位置を特定してもよい。位置情報は、例えば、上述した3次元座標系における3次元座標を用いて表現される。位置情報の表現方法は、これに限定されるものではなく、現実空間の位置を表現する座標系に合わせて表現されるものであればよい。位置取得部105により取得された位置情報は、例えば、RAM303に一時記憶される。
基準取得部106は、仮想カメラの基準位置を示す情報(以下、基準位置情報とも呼ぶ)を取得する。具体的には、例えば、基準取得部106は、姿勢取得部104により取得された姿勢情報と、位置取得部105により取得された位置情報とに基づいて、仮想カメラの基準位置を決定して、基準位置情報を取得する。姿勢情報により、装着者が向いている方向、具体的には、装着者の顔部が向いている方向が特定される。また、位置情報により、装着者の位置、具体的には、装着者の頭部の位置が特定される。まず、基準取得部106は、例えば、装着者が向いている方向を上述の3次元座標系における単位ベクトルとして取得し、装着者の位置を上述の3次元座標系における3次元座標として取得する。次に、基準取得部106は、上述したように仮想カメラの基準位置は装着者の眼の位置に対応する仮想空間の位置となるため、取得した3次元座標が装着者の眼の位置になるように仮想カメラの基準位置を決定する。例えば、基準取得部106は、装着者の左右それぞれの眼の位置に合わせて、左眼の位置に対応する3次元座標と右眼の位置に3次元座標とを仮想カメラの基準位置として決定する。基準取得部106は、決定した仮想カメラの基準位置と、取得した単位ベクトルとを基準位置情報として取得して、取得した基準位置情報を、例えば、RAM303に一時記憶させる。
状態取得部107は、HMD10の表示状態を取得する。具体的には、例えば、まず、状態取得部107は、HMD10の表示モードを示す情報(以下、表示モード情報とも呼ぶ)をRAM303等から取得する。更に、状態取得部107は、例えば、取得した表示モード情報が示す表示モードと当該表示モード情報を取得する前に直近に取得した表示モード情報が示す表示モードとが互いに異なるときに、HMD10が切り替え中状態にあるものとして表示状態を取得する。
具体的には、表示モードがVRモードからMRモードに変更されていたとき、状態取得部107は、VR状態からMR状態への切り替え中状態であるものとして表示状態を取得する。また、表示モードがMRモードからVRモードに変更されていたとき、状態取得部107は、MR状態からVR状態への切り替え中状態であるものとして表示状態を取得する。表示状態がVR状態又はMR状態であるものとして表示状態を取得する条件については後述する。状態取得部107により取得された表示状態を示す情報は、例えば、RAM303に一時記憶される。なお、HMD10の表示モードの変更に伴う表示モード情報の更新は、例えば、表示モードを変更するためのHMD10に備えられた図2には不図示のボタン等をユーザが操作することにより行われる。当該更新の方法は、上述のものに限定されるものではなく、当該更新は、予め定められた任意の条件を満たしたときに行われてよい。
視線取得部108は、装着者の視線を示す視線情報を取得する。具体的には、例えば、視線取得部108は、まず、通信部307を介して、視線検出装置14から出力される信号等の情報を取得する。次に、視線検出装置14から取得した情報を用いて装着者の視線を特定することにより、視線情報を生成して取得する。視線情報は、例えば、上述した3次元座標系における、眼の位置を示す3次元座標と、視線の方向を示す3次元の単位ベクトルとを用いて表現される。例えば、視線取得部108は、装着者の左右の眼のそれぞれについての視線情報を取得する。なお、視線の方向の特定は、例えば、周知のアイトラッキング技術を用いて行えばよい。また、視線情報の表現方法はこれに限らず、装着者の視線の方向を一意に表現可能なものであれば任意のものを用いて良い。視線取得部108により取得された視線情報は、例えば、RAM303に一時記憶される。
注視度取得部109は、仮想オブジェクトに対する装着者の注視度を取得する。具体的には、注視度取得部109は、視線取得部108により取得された視線情報を用いて、注視度を決定して取得する。視線情報における目の位置を示すデータ(3次元座標)、及び視線の方向を示すデータ(3次元の単位ベクトル)が含まれない場合、注視度を0等の予め定められた範囲のうちの最小の値に決定する。視線の方向は、装着者の眼部の撮像により得られる画像、又は装着者の眼部に向かって照射した赤外光等の反射光の受光により得られる信号等に基づいて特定される。例えば、まばたき等により装着者の瞼が閉じられている状態(閉眼状態)のとき、装着者の瞳孔又は角膜の位置又は方向等を確認することができない。したがって、視線取得部108により取得される視線情報は、目の位置を示すデータ(3次元座標)、及び視線の方向を示すデータ(3次元の単位ベクトル)を含まないものとなる。そのため、本実施形態では、視線情報が取得できなかった状態をまばたき等により閉眼状態となっているものとして、注視度を最小の値に決定する。
なお、注視度を最小の値に決定する方法は、これに限定されるものではない。例えば、視線情報は、閉眼状態を示す情報を含まれる場合に、注視度取得部109は、注視度を最小の値に決定してもよい。この場合、視線取得部108は、装着者の瞳孔又は角膜の位置又は方向等を確認することができない場合に、視線情報に閉眼状態を示す情報を含めて視線情報を生成する。また、注視度取得部109による注視度の決定方法は、これに限定されるものではない。例えば、注視度取得部109は、視線情報が示す視線の方向、及び、装着者の眼の位置に対応する仮想空間の位置からの仮想空間における仮想オブジェクトの相対位置等に基づいて注視度を決定してもよい。なお、視線情報が示す視線の方向、及び、装着者の眼の位置に対応する仮想空間の位置からの仮想空間における仮想オブジェクトの相対位置等に基づいて注視度を決定する形態については、実施形態2にて後述する。
変更部110は、注視度取得部109により取得された注視度に基づいて、仮想カメラの光軸方向に仮想カメラの位置を変更する。具体的には、変更部110は、注視度に基づいて仮想カメラの基準位置からの光軸方向のオフセット量を変更することにより、光軸方向に前記仮想カメラの位置を変更する。例えば、変更部110は、VRモードからMRモードに、又はMRモードからVRモードに切り替えられたときに、注視度に基づいて仮想カメラの基準位置からの光軸方向のオフセット量を変更する。すなわち、変更部110は、状態取得部により取得されたHMD10の表示状態が、VR状態からMR状態への切り替え中状態、又は、MR状態からVR状態への切り替え中状態であるときに、注視度に基づいてオフセット量を変更する。
より具体的には、HMD10の表示状態がVR情報からMR状態への切り替え中状態であり、且つ注視度が最小の値である場合、仮想カメラの位置は、外向きカメラ11の位置に対応する仮想空間の位置に変更される。すなわち、変更部110は、当該場合、オフセット量を、外向きカメラ11の位置に対応する仮想空間の位置と装着者の眼の位置に対応する仮想空間の位置との間の距離に相当する値に変更することにより、仮想カメラの位置を変更する。当該変更後、HMD10の表示状態は、MR状態に変更される。なお、オフセット量は、例えば、上述した3次元座標系における3次元の単位ベクトルとスカラー量によって定義される。また、オフセット量の定義は、これに限定されるものではなく、3次元座標として定義されてもよい。また、HMD10の表示状態がMR状態からVR状態への切り替え中状態であり、且つ注視度が最小の値である場合、仮想カメラの位置は、仮想カメラの基準位置とした装着者の眼の位置に対応する仮想空間の位置に変更される。すなわち、変更部110は、当該場合、オフセット量を0に変更する。当該変更後、HMD10の表示状態は、VR状態に変更される。
仮想画像取得部103は、仮想カメラからの仮想オブジェクトの見えに対応する像を取得する。具体的には、仮想画像取得部103は、基準取得部106により取得された仮想カメラの基準位置と、変更部110により変更されたオフセット量に応じて配置された仮想カメラから仮想空間をみた画像(以下、仮想カメラ画像とも呼ぶ)を生成する。具体的には、例えば、仮想カメラには、装着者の左右のそれぞれの眼に対応する2つの仮想カメラがある。2つの仮想カメラのうちの一方の基準位置は、装着者の左右の眼のうちの一方の位置に対応する仮想空間の位置に設定されており、2つの仮想カメラのうちの他方の基準位置は、装着者の左右の眼のうちの他方の位置に対応する仮想空間の位置に設定されている。2つの仮想カメラのそれぞれは、各仮想カメラの基準位置にオフセット量を加算した位置に配置される。
仮想画像取得部103は、情報取得部101により取得された仮想空間情報を用いて、公知のCGレンダリング処理により、2つの仮想カメラのそれぞれの位置と向き(光軸方向)とから2つの仮想カメラのそれぞれに対応する仮想カメラ画像を生成する。なお、仮想カメラ画像の画角は、例えば、HMD10が備える表示装置15の大きさ、又は装着者の眼の位置と表示装置15との間の距離等に基づいて予め設定された固定値を用いる。仮想画像取得部103により取得された仮想カメラ画像のデータ(以下、仮想カメラ画像データとも呼ぶ)は、例えば、RAM303に一時記憶される。
生成部111は、状態取得部107から取得した表示状態に応じて、HMD10が備える表示装置15に表示させる表示画像のデータ(以下、表示画像データとも呼ぶ)を生成する。例えば、表示状態がVR状態である場合、又はMR状態からVR状態への切り替え中状態である場合には、仮想画像取得部103により取得された仮想カメラ画像データをそのまま表示画像データとすることにより、表示画像データを生成する。また、表示状態がMR状態である場合、又はVR状態からMR状態への切り替え中状態である場合には、以下のように表示画像データを生成する。当該場合、生成部111は、撮像画像取得部102により取得された撮像画像と、仮想画像取得部103により取得された仮想カメラ画像とを合成し、当該合成により得た画像(以下、合成画像とも呼ぶ)のデータを表示画像データとして生成する。出力部112は、生成部111により生成された表示画像データをHMD10に出力して、HMD10が備える表示装置15に表示画像を表示させる。
図4を参照して、画像処理装置100の動作について説明する。図4は、実施形態1に係る画像処理装置100の処理フローの一例を示すフローチャートである。画像処理装置100は、図4に示すフローチャートの処理を繰り返して実行する。以下の説明において、記号「S」はステップを意味する。まず、S401にて、撮像画像取得部102は、撮像画像データを取得する。次に、S402にて、情報取得部101は、仮想空間情報を取得する。次に、S403にて、姿勢取得部104は姿勢情報を取得し、位置取得部105は位置情報を取得する。なお、位置取得部105が位置検出装置12から出力される信号等の情報に基づいて位置情報を取得する場合、S401の処理は、後述するS414の処理の前までに行えばよい。またなお、当該場合において、表示状態がVR状態である場合等の生成部111が表示画像データを生成する際に撮像画像データが不要である場合については、必ずしもS401の処理を実行する必要はない。
次に、S404にて、基準取得部106は、基準位置情報を取得する。次に、S405にて、状態取得部107は、HMD10の表示状態を取得する。次に、S406にて、例えば、視線取得部108は、S405にて取得された表示状態が切り替え中状態であるか否かを判定する。S406にて切り替え中状態であると判定された場合、S407にて、視線取得部108は、視線情報を取得する。S407の後、S408にて、注視度取得部109は、仮想オブジェクトに対する装着者の注視度を取得する。S408の後、S409にて、変更部110は、注視度が最小の値であるか否かを判定する。S409にて注視度が最小の値であると判定された場合、S410にて、変更部110は、仮想カメラの位置を変更する。S410の後、S411にて、例えば、変更部110は、表示状態を表示モードに対応する表示状態に変更する。
S411の後、又は、S406にて切り替え中状態でないと判定された場合、若しくはS409にて注視度が最小の値でないと判定された場合、S412にて、仮想画像取得部103は、仮想カメラ画像データを取得する。S412の後、S413にて、生成部111は、表示画像データを生成し、S414にて、出力部112は、S413にて生成された表示画像データを出力する。S414の後、画像処理装置100は、図4に示すフローチャートの処理を終了し、S401に戻って、当該フローチャートの処理を繰り返して実行する。
以上のように構成した画像処理装置100によれば、装着者が閉眼しているとき、すなわち、仮想オブジェクトに対する装着者の注視度が最小の値のときに仮想カメラの位置を変更することができる。これにより、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラを移動させることができる。結果として、画像処理装置100によれば、装着者が感じる臨場感を損なうことのなく、仮想カメラの位置を変更することができる。
なお、実施形態1では、VRモードからMRモードへの切り替え、又はMRモードからVRモードへの切り替えの場合を一例として、仮想カメラの位置を変更する方法について説明したが、本開示に係る画像処理装置の適用範囲はこれに限定されるものではない。本開示に係る画像処理装置は、例えば、互いに異なる2つのVRモードが存在するときに、一方のVRモードから他方のVRモードに切り替える場合等においても適用可能である。
[実施形態2]
図1並びに5及び6を参照して、実施形態2に係る画像処理装置100について説明する。実施形態1に係る画像処理装置100は、仮想オブジェクトに対する装着者の注視度が最小の値であるか否かを判定し、最小の値である場合に、仮想カメラの位置を仮想カメラの光軸方向に変更するものであった。実施形態2では、仮想カメラの位置を仮想カメラの光軸方向に変更する際に、仮想オブジェクトに対する装着者の注視度に基づいて変更量を変化させる形態について説明する。
図1並びに5及び6を参照して、実施形態2に係る画像処理装置100について説明する。実施形態1に係る画像処理装置100は、仮想オブジェクトに対する装着者の注視度が最小の値であるか否かを判定し、最小の値である場合に、仮想カメラの位置を仮想カメラの光軸方向に変更するものであった。実施形態2では、仮想カメラの位置を仮想カメラの光軸方向に変更する際に、仮想オブジェクトに対する装着者の注視度に基づいて変更量を変化させる形態について説明する。
実施形態2に係る画像処理装置100(以下、単に、画像処理装置100とも呼ぶ)は、実施形態1に係る画像処理装置100と同様に図1に一例として示す各部を備える。画像処理装置100が備える各部の処理は、実施形態1に係る画像処理装置100と同様に、画像処理装置100に内蔵されたASIC若しくはFPGA等のハードウェアによってなされる。当該処理は、RAM等のメモリとCPU等のプロセッサとを用いたソフトウエアによってなされてもよい。また、画像処理装置100は、実施形態1に係る画像処理装置100と同様に、図1に一例として示す画像処理システム1に適用される。なお、以下、画像処理装置100が備える注視度取得部109及び変更部110以外の各部は、実施形態1に係る画像処理装置100が備える対応する各部と同様であるため、詳細な説明を省略する。
まず、図5を参照して、画像処理装置100で行われる、仮想オブジェクトに対する装着者の注視度に基づいて変更量を変化させる処理の概要について説明する。図5は、実施形態2に係る画像処理装置100で行われる処理の一例を説明するための説明図である。図5は、一例として、表示モードがVRモードからMRモードに変更された際の仮想カメラの位置の経時変化の一例を示している。図5において、横軸は時間の経過を表し、縦軸は仮想空間における位置を表している。
図5(a)は、表示モードがVRモードからMRモードに変更される前、すなわち、VR状態における仮想カメラ501の位置の一例を示している。このとき、HMD10の表示装置15には、仮想空間に配置された仮想オブジェクト502を仮想カメラ501から見たときの見えに対応する画像が表示されている。図5(d)は、表示モードがVRモードからMRモードに変更された後のMR状態における仮想カメラ503の位置の一例を示している。このとき、表示装置15には、仮想オブジェクト502を仮想カメラ503から見たときの見えに対応する画像と、現実オブジェクト504を図5には不図示の外向きカメラ11による撮像により得られた撮像画像とが重畳された画像が表示されている。
また、図5(b)及び図5(c)は、表示モードがVRモードからMRモードに変更された後のVR状態からMR状態への切り替え中状態における仮想カメラ505,506の位置の一例を示している。このとき、表示装置15には、仮想オブジェクト502を仮想カメラ505,506から見たときの見えに対応する画像と、現実オブジェクト504を図5には不図示の外向きカメラ11による撮像により得られた撮像画像とが重畳された画像が表示されている。
VR状態では、仮想カメラ501は装着者の眼の位置に設定され、MR状態では、仮想カメラ503はHMD10に備えられた外向きカメラ11に対応する仮想空間の位置に設定される。そのため、仮想カメラ501は、仮想カメラ503に比べて、仮想オブジェクト502から離れた位置に設置されている。上述したように、本実施形態では、VR状態からMR状態に変更する際に、仮想オブジェクト502に対する装着者の注視度に基づいて、図5(d)に一例として示す仮想カメラ503の位置へと仮想カメラの位置を徐々に近づける。
具体的には、仮想オブジェクト502に対する装着者の注視度が高い場合には、仮想カメラの移動量を小さくして、例えば、仮想カメラ501の位置から仮想カメラ505の位置に仮想カメラ501を移動させる。より具体的には、例えば、当該場合には、単位時間あたりの仮想カメラの移動量を小さくして、予め定められた期間に、仮想カメラ501の位置から仮想カメラ505の位置まで、仮想カメラ501をゆっくりと移動させる。これにより、仮想カメラの移動に伴う仮想オブジェクトの変化について装着者に知覚させることを抑制することができる。これに対して、仮想オブジェクト502に対する装着者の注視度が低い場合には、仮想カメラの移動量を大きくして、例えば、仮想カメラ505の位置から仮想カメラ506の位置に仮想カメラ505を移動させる。当該場合には、単位時間あたりの仮想カメラ505の移動量を大きくして、予め定められた期間に、仮想カメラ505の位置から仮想カメラ506の位置まで、仮想カメラ505を素早くと移動させる。これにより、仮想カメラの移動に伴うオブジェクトの変化について装着者に知覚させることを抑制しつつ、仮想カメラ505の位置を図5(d)に一例として示す最終状態の仮想カメラ503の位置に大きく近づけることができる。
なお、実施形態1に係る画像処理装置100は、装着者が閉眼した状態等の仮想オブジェクトに対する注視度が最小となったときに、仮想カメラを移動させて、VR状態とMR状態とを切り替えるものであった。これにより、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラの移動を可能とした。しかしながら、実施形態1で説明した方法では、表示モードの切り替えがなされてから注視度が最小となるまでの期間において、仮想カメラの移動が行われない。そのため、装着者の注視度が最小となるタイミングによっては、装着者による表示モードの切り替え指示の後、長い期間に亘って、仮想カメラの移動が行われないことがある。これに対して、実施形態2に係る画像処理装置100では、注視度が最小でない状態であっても、注視度に応じて仮想カメラの移動量を変更して、仮想カメラを移動させることができる。そのため、実施形態2に係る画像処理装置100によれば、注視度が最小でない状態であっても、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラの位置を移動させることができる。
実施形態2に係る画像処理装置100の構成について説明する。注視度取得部109は、姿勢取得部104により取得された姿勢情報、視線取得部108により取得された視線情報、現在の仮想カメラの位置を示す情報、及び情報取得部101により取得された仮想空間情報を用いて、注視度を取得する。具体的には、例えば、まず、注視度取得部109は、仮想空間情報を用いて、仮想オブジェクトの重心又は中心等の位置を示す3次元座標(以下、中心座標とも呼ぶ)を取得する。なお、3次元座標系については実施形態1と同様のものでよい。また、仮想オブジェクトの中心座標の取得は、仮想空間情報のデータ形式に応じて適切に算出すればよい。
例えば、仮想空間情報のデータ形式が頂点の3次元座標とトライアングルリスト等の面を示すデータとを含むポリゴンデータである場合、ポリゴンデータに含まれる複数の頂点の3次元座標の平均値又は重心値等を算出することにより中心座標を取得すれば良い。なお、仮想オブジェクトの中心座標については仮想オブジェクトのおおよそ中心の位置を示す3次元座標が取得できればよく、中心座標の算出方法は任意のものでよい。また、中心座標については、VR状態及びMR状態のどちらにおいてもHMD10の表示装置15に表示され得る仮想オブジェクトの中心座標のみ、算出すればよい。更に、VR状態及びMR状態のどちらにおいても表示装置15に表示され得る仮想オブジェクトのうちから現在の仮想カメラの位置から離れた位置に存在する仮想オブジェクトについては除外する等、中心座標を取得する仮想オブジェクトを限定してもよい。
次に、注視度取得部109は、視線情報及び姿勢情報を用いて、装着者が注視している仮想空間の位置を示す3次元座標(以下、注視座標とも呼ぶ)を取得する。注視座標については、例えば、視線情報に含まれる、左右のそれぞれの眼の位置を示す3次元座標を始点とし、且つ、左右のそれぞれの眼の視線方向を示す3次元の単位ベクトルの方向に伸びる2つの半直線の交点の3次元座標を算出することにより取得する。また、注視度取得部109は、現在の仮想カメラの位置を始点とし、且つ、仮想オブジェクトの中心座標を終点とする3次元ベクトルと、現在の仮想カメラの位置を始点とし、且つ、注視座標を終点とする3次元ベクトルとを算出する。以下、一例として、仮想カメラの位置は、左右の2つの仮想カメラのそれぞれの位置を示す3次元座標の平均値であるものとして説明する。上述の仮想カメラの位置の決定方法は、あくまで一例であって、例えば、左右の2つの仮想カメラのうちの一方の3次元座標を仮想カメラの位置として用いてもよい。
次に、注視度取得部109は、算出した2つの3次元ベクトル同士がなす角θを算出し、例えば、cosθの値を仮想オブジェクトに対する装着者の現在の注視度とする。なお、以下、θが90度以上であるときには、θの大きさに関わらず注視度を0とするものとして説明する。注視度取得部109により取得された注視度は、例えば、RAM303に一時記憶される。
上述では、注視度を取得する際に姿勢情報及び視線情報を用いる方法について説明したが、注視度取得部109は、姿勢情報のみを用いて注視度を取得してもよい。具体的には、例えば、RAM303等に現在の処理を行っている時点よりも前の時点における姿勢情報を保存しておき、前の時点における姿勢と現在の姿勢との差が大きいときには注視度を低く設定し、当該差が小さいときには注視度を高く設定する。装着者の姿勢の変化が大きい場合、装着者が早い動きをしているため、視点が定まっていないとして注視度を低く設定する。この場合、例えば、前の時点の姿勢情報が示す装着者の顔部の向いている方向と現在の姿勢情報が示す装着者の顔部の向いている方向とがなす角φを算出し、cosφの値を注視度とする。
また、注視度取得部109は、姿勢情報及び視線情報を用いて取得した注視度と、姿勢情報のみを用いて取得した注視度との積を算出して、当該積を仮想オブジェクトに対する装着者の注視度として取得してもよい。なお、上述では一例として、ベクトル同士又は方向同士がなす角の余弦を用いて注視度を算出したが、注視度の取得方法は、これに限定されるものではない。例えば、当該角の角度に基づいて注視度を線形に決定して取得する等、別の方法により注視度を取得してもよい。
変更部110は、注視度取得部109により取得された注視度に基づいて、仮想カメラの移動量を決定して、仮想カメラの位置を変更する。以下に、具体的な処理について説明する。具体的には、例えば、まず、変更部110は、RAM303等から現在設定されているオフセット量dとMR状態において設定すべきオフセット量dMRとを取得する。次に、変更部110は、注視度が高くなるにつれて例えば線形にオフセット量が変化するように、仮のオフセット量dtを算出する。具体的には、変更部110は、注視度が0等の最小の値である場合にはオフセット量が最大のdmaxになるように、また、注視度が1等の最大の値である場合にはオフセット量が最小の0となるように、仮のオフセット量dtを例えば線形に変化させる。なお、仮のオフセット量の変化のさせ方は、線形に限らず、例えば、注視度が高いほど緩やかに、注視度が低いほど急激に値が変化させるように、非線形に変化させてもよい。
更に、変更部110は、状態取得部107により取得された表示状態がVR状態からMR状態への切り替え中状態である場合には、現在設定されているオフセット量dに仮のオフセット量dtを加算する。このとき、変更部110は、加算した値d+dtがdMR以下である場合には、現在設定されているオフセット量を加算した値d+dtに更新して、仮想カメラの位置を変更する。また、加算した値d+dtがdMRよりも大きい場合には、現在設定されているオフセット量をdMRに更新して、仮想カメラの位置を変更する。一方、状態取得部107により取得された表示状態がMR状態からVR状態への切り替え中状態である場合には、現在設定されているオフセット量dから仮のオフセット量dtを減算する。このとき、変更部110は、減算した値d―dtが0以上である場合には、現在設定されているオフセット量を減算した値d―dtに更新して、仮想カメラの位置を変更する。また、減算した値d―dtが0よりも小さい場合、すなわち負の値である場合には、現在設定されているオフセット量を0に更新して、仮想カメラの位置を変更する。
また更に、変更部110は、表示状態がVR状態からMR状態への切り替え中状態である場合には、現在設定されているオフセット量がMR状態におけるオフセット量dMRと同値となったときに、表示状態をMR状態に変更する。また、表示状態がMR状態からVR状態への切り替え中状態である場合には、現在設定されているオフセット量が0となったときに、表示状態をVR状態に変更する。
図6を参照して、画像処理装置100の動作について説明する。図6は、実施形態2に係る画像処理装置100の処理フローの一例を示すフローチャートである。画像処理装置100は、図6に示すフローチャートの処理を繰り返して実行する。なお、以下の説明において、実施形態1に係る画像処理装置100と同様の処理については、図4と同じ符号を用いて説明を省略する。まず、画像処理装置100は、S401からS408までの処理を実行する。S408の後、S601にて、変更部110は、S408にて取得された注視度に基づいて、仮想カメラの移動量を決定して仮想カメラの位置を変更する。S601の後、S602にて、変更部110は、表示モードに対応する表示状態における仮想カメラの位置に仮想カメラの移動が完了したか否かを判定する。S602にて仮想カメラの移動が完了したと判定された場合、S411にて、例えば、変更部110は、表示状態を表示モードに対応する表示状態に変更する。S411の後、又は、S406にて切り替え中状態でないと判定された場合、若しくはS602にて仮想カメラの移動が完了していないと判定された場合、画像処理装置100は、S412からS414までの処理を実行してする。S414の後、画像処理装置100は、図6に示すフローチャートの処理を終了し、S401に戻って、当該フローチャートの処理を繰り返して実行する。
以上のように構成した画像処理装置100によれば、注視度に基づいて仮想カメラの移動量を変化させることにより、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラの位置を移動させることができる。これにより、仮想オブジェクトに対する装着者の注視度が最小となるまでの間においても、装着者が感じる臨場感を損なうことのなく、仮想カメラの位置を変更することができる。
なお、実施形態2では、VRモードからMRモードへの切り替え、又はMRモードからVRモードへの切り替えの場合を一例として、仮想カメラの位置を変更する方法について説明したが、本開示に係る画像処理装置の適用範囲はこれに限定されるものではない。本開示に係る画像処理装置は、例えば、互いに異なる2つのVRモードが存在するときに、一方のVRモードから他方のVRモードに切り替える場合等においても適用可能である。
[その他の実施形態]
本開示は、上述の実施形態の1つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1つ以上の機能を実現するASIC等の回路によっても実現可能である。
本開示は、上述の実施形態の1つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1つ以上の機能を実現するASIC等の回路によっても実現可能である。
なお、本開示は、その開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。例えば、実施形態1と実施形態2とを併用してもよく、実施形態2の処理において、視線情報が取得できなかった場合、又は、視線情報に閉眼状態を示す情報が含まれている場合に、実施形態1の処理を行ってもよい。
[本開示の構成]
<構成1>
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、
を有すること
を特徴とする画像処理装置。
<構成1>
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、
を有すること
を特徴とする画像処理装置。
<構成2>
前記変更手段は、前記注視度に基づいて前記仮想カメラの基準位置からの前記光軸方向のオフセット量を変更することにより、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成1に記載の画像処理装置。
前記変更手段は、前記注視度に基づいて前記仮想カメラの基準位置からの前記光軸方向のオフセット量を変更することにより、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成1に記載の画像処理装置。
<構成3>
前記ユーザの位置及び姿勢を示す位置姿勢情報を取得する位置取得手段と、
前記位置姿勢情報に基づいて、前記基準位置を取得する基準取得手段と、
を更に有すること
を特徴とする構成2に記載の画像処理装置。
前記ユーザの位置及び姿勢を示す位置姿勢情報を取得する位置取得手段と、
前記位置姿勢情報に基づいて、前記基準位置を取得する基準取得手段と、
を更に有すること
を特徴とする構成2に記載の画像処理装置。
<構成4>
前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの1つを選択的に切り替えて、前記表示画像として前記ヘッドマウントディスプレイに表示させること
を特徴とする構成1乃至3のいずれか1つに記載の画像処理装置。
前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの1つを選択的に切り替えて、前記表示画像として前記ヘッドマウントディスプレイに表示させること
を特徴とする構成1乃至3のいずれか1つに記載の画像処理装置。
<構成5>
前記変更手段は、前記複数の画像が選択的に切り替えられたときに、前記注視度に基づいて、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成4に記載の画像処理装置。
前記変更手段は、前記複数の画像が選択的に切り替えられたときに、前記注視度に基づいて、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成4に記載の画像処理装置。
<構成6>
前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記複数の画像のうちから、前記表示状態に応じた前記表示画像を前記ヘッドマウントディスプレイに表示させることを
特徴とする構成4又は5に記載の画像処理装置。
前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記複数の画像のうちから、前記表示状態に応じた前記表示画像を前記ヘッドマウントディスプレイに表示させることを
特徴とする構成4又は5に記載の画像処理装置。
<構成7>
前記変更手段は、前記仮想画像から前記複合画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記ユーザの眼の位置に対応する前記仮想空間の位置から、前記撮像装置の位置に対応する前記仮想空間の位置に変更すること
を特徴とする構成4乃至6のいずれか1つに記載の画像処理装置。
前記変更手段は、前記仮想画像から前記複合画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記ユーザの眼の位置に対応する前記仮想空間の位置から、前記撮像装置の位置に対応する前記仮想空間の位置に変更すること
を特徴とする構成4乃至6のいずれか1つに記載の画像処理装置。
<構成8>
前記変更手段は、前記複合画像から前記仮想画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記撮像装置の位置に対応する前記仮想空間の位置から前記ユーザの眼の位置に対応する前記仮想空間の位置に変更すること
を特徴とする構成4乃至7のいずれか1つに記載の画像処理装置。
前記変更手段は、前記複合画像から前記仮想画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記撮像装置の位置に対応する前記仮想空間の位置から前記ユーザの眼の位置に対応する前記仮想空間の位置に変更すること
を特徴とする構成4乃至7のいずれか1つに記載の画像処理装置。
<構成9>
前記変更手段は、前記注視度が低いときに、前記注視度が高いときと比較して前記仮想カメラの位置の変更量がより大きくなるように、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成1乃至8のいずれか1つに記載の画像処理装置。
前記変更手段は、前記注視度が低いときに、前記注視度が高いときと比較して前記仮想カメラの位置の変更量がより大きくなるように、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成1乃至8のいずれか1つに記載の画像処理装置。
<構成10>
前記注視度取得手段は、前記ユーザの視線を示す視線情報に基づいて、前記注視度を決定して取得すること
を特徴とする構成1乃至9のいずれか1つに記載の画像処理装置。
前記注視度取得手段は、前記ユーザの視線を示す視線情報に基づいて、前記注視度を決定して取得すること
を特徴とする構成1乃至9のいずれか1つに記載の画像処理装置。
<構成11>
前記注視度取得手段は、前記視線情報に視線の方向を示すデータが含まれない場合、又は前記視線情報が前記ユーザの閉眼状態を示す場合に、前記注視度を小さい値に決定すること
を特徴とする構成10に記載の画像処理装置。
前記注視度取得手段は、前記視線情報に視線の方向を示すデータが含まれない場合、又は前記視線情報が前記ユーザの閉眼状態を示す場合に、前記注視度を小さい値に決定すること
を特徴とする構成10に記載の画像処理装置。
<構成12>
前記仮想オブジェクトを示す情報を少なくとも含む仮想空間情報を取得する情報取得手段、
を更に有し、
前記注視度取得手段は、前記視線情報と前記仮想空間情報が示す前記仮想オブジェクトの位置とに基づいて、注視する前記仮想オブジェクトの位置が前記ユーザの視線に近いほど前記注視度を大きい値に決定すること
を特徴とする構成10又は11に記載の画像処理装置。
前記仮想オブジェクトを示す情報を少なくとも含む仮想空間情報を取得する情報取得手段、
を更に有し、
前記注視度取得手段は、前記視線情報と前記仮想空間情報が示す前記仮想オブジェクトの位置とに基づいて、注視する前記仮想オブジェクトの位置が前記ユーザの視線に近いほど前記注視度を大きい値に決定すること
を特徴とする構成10又は11に記載の画像処理装置。
<構成13>
前記ユーザの姿勢を示す姿勢情報を取得する姿勢取得手段、
を更に有し、
前記注視度取得手段は、前記姿勢情報に基づいて、前記注視度を決定して取得すること
を特徴とする構成1乃至12のいずれか1つに記載の画像処理装置。
前記ユーザの姿勢を示す姿勢情報を取得する姿勢取得手段、
を更に有し、
前記注視度取得手段は、前記姿勢情報に基づいて、前記注視度を決定して取得すること
を特徴とする構成1乃至12のいずれか1つに記載の画像処理装置。
<構成14>
前記注視度取得手段は、前記姿勢情報に基づいて前記ユーザの姿勢の変化を示す情報を取得し、前記姿勢の変化の変化量が大きいほど前記注視度を小さい値に決定すること
を特徴とする構成13に記載の画像処理装置。
前記注視度取得手段は、前記姿勢情報に基づいて前記ユーザの姿勢の変化を示す情報を取得し、前記姿勢の変化の変化量が大きいほど前記注視度を小さい値に決定すること
を特徴とする構成13に記載の画像処理装置。
<構成15>
前記表示画像を生成する生成手段と、
前記表示画像を示す情報を出力する出力手段と、
を更に有し、
前記生成手段は、前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を含む前記表示画像を生成すること
を特徴とする構成1乃至14のいずれか1つに記載の画像処理装置。
前記表示画像を生成する生成手段と、
前記表示画像を示す情報を出力する出力手段と、
を更に有し、
前記生成手段は、前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を含む前記表示画像を生成すること
を特徴とする構成1乃至14のいずれか1つに記載の画像処理装置。
<構成16>
撮像装置による撮像により得られた撮像画像のデータを取得する画像取得手段と、
を更に有し、
前記生成手段は、前記表示画像として、前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの1つを選択的に切り替えて生成すること
を特徴とする構成15に記載の画像処理装置。
撮像装置による撮像により得られた撮像画像のデータを取得する画像取得手段と、
を更に有し、
前記生成手段は、前記表示画像として、前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの1つを選択的に切り替えて生成すること
を特徴とする構成15に記載の画像処理装置。
<構成17>
前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記生成手段は、前記表示状態に応じて複数の画像のうちの1つを選択的に切り替えて、前記表示画像を生成することを
特徴とする構成15又は16に記載の画像処理装置。
前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記生成手段は、前記表示状態に応じて複数の画像のうちの1つを選択的に切り替えて、前記表示画像を生成することを
特徴とする構成15又は16に記載の画像処理装置。
<構成18>
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理方法であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得工程と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更工程と、
を有すること
を特徴とする画像処理方法。
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理方法であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得工程と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更工程と、
を有すること
を特徴とする画像処理方法。
<構成19>
コンピュータを、構成1乃至17のいずれか1つに記載の画像処理装置として動作させるためのプログラム。
コンピュータを、構成1乃至17のいずれか1つに記載の画像処理装置として動作させるためのプログラム。
100 画像処理装置
109 注視度取得部
110 変更部
109 注視度取得部
110 変更部
Claims (19)
- 仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、
を有すること
を特徴とする画像処理装置。 - 前記変更手段は、前記注視度に基づいて前記仮想カメラの基準位置からの前記光軸方向のオフセット量を変更することにより、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする請求項1に記載の画像処理装置。 - 前記ユーザの位置及び姿勢を示す位置姿勢情報を取得する位置取得手段と、
前記位置姿勢情報に基づいて、前記基準位置を取得する基準取得手段と、
を更に有すること
を特徴とする請求項2に記載の画像処理装置。 - 前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの1つを選択的に切り替えて、前記表示画像として前記ヘッドマウントディスプレイに表示させること
を特徴とする請求項1に記載の画像処理装置。 - 前記変更手段は、前記複数の画像が選択的に切り替えられたときに、前記注視度に基づいて、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする請求項4に記載の画像処理装置。 - 前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記複数の画像のうちから、前記表示状態に応じた前記表示画像を前記ヘッドマウントディスプレイに表示させること
を特徴とする請求項4に記載の画像処理装置。 - 前記変更手段は、前記仮想画像から前記複合画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記ユーザの眼の位置に対応する前記仮想空間の位置から、前記撮像装置の位置に対応する前記仮想空間の位置に変更すること
を特徴とする請求項4に記載の画像処理装置。 - 前記変更手段は、前記複合画像から前記仮想画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記撮像装置の位置に対応する前記仮想空間の位置から前記ユーザの眼の位置に対応する前記仮想空間の位置に変更すること
を特徴とする請求項4に記載の画像処理装置。 - 前記変更手段は、前記注視度が低いときに、前記注視度が高いときと比較して前記仮想カメラの位置の変更量がより大きくなるように、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする請求項1に記載の画像処理装置。 - 前記注視度取得手段は、前記ユーザの視線を示す視線情報に基づいて、前記注視度を決定して取得すること
を特徴とする請求項1に記載の画像処理装置。 - 前記注視度取得手段は、前記視線情報に視線の方向を示すデータが含まれない場合、又は前記視線情報が前記ユーザの閉眼状態を示す場合に、前記注視度を小さい値に決定すること
を特徴とする請求項10に記載の画像処理装置。 - 前記仮想オブジェクトを示す情報を少なくとも含む仮想空間情報を取得する情報取得手段、
を更に有し、
前記注視度取得手段は、前記視線情報と前記仮想空間情報が示す前記仮想オブジェクトの位置とに基づいて、注視する前記仮想オブジェクトの位置が前記ユーザの視線に近いほど前記注視度を大きい値に決定すること
を特徴とする請求項10に記載の画像処理装置。 - 前記ユーザの姿勢を示す姿勢情報を取得する姿勢取得手段、
を更に有し、
前記注視度取得手段は、前記姿勢情報に基づいて、前記注視度を決定して取得すること
を特徴とする請求項1に記載の画像処理装置。 - 前記注視度取得手段は、前記姿勢情報に基づいて前記ユーザの姿勢の変化を示す情報を取得し、前記姿勢の変化の変化量が大きいほど前記注視度を小さい値に決定すること
を特徴とする請求項13に記載の画像処理装置。 - 前記表示画像を生成する生成手段と、
前記表示画像を示す情報を出力する出力手段と、
を更に有し、
前記生成手段は、前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を含む前記表示画像を生成すること
を特徴とする請求項1に記載の画像処理装置。 - 撮像装置による撮像により得られた撮像画像のデータを取得する画像取得手段と、
を更に有し、
前記生成手段は、前記表示画像として、前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの1つを選択的に切り替えて生成すること
を特徴とする請求項15に記載の画像処理装置。 - 前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記生成手段は、前記表示状態に応じて複数の画像のうちの1つを選択的に切り替えて、前記表示画像を生成すること
を特徴とする請求項15に記載の画像処理装置。 - 仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理方法であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得工程と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更工程と、
を有すること
を特徴とする画像処理方法。 - コンピュータを、請求項1乃至17のいずれか1項に記載の画像処理装置として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022083808A JP2023172180A (ja) | 2022-05-23 | 2022-05-23 | 画像処理装置、画像処理方法、及びプログラム |
US18/315,539 US12061737B2 (en) | 2022-05-23 | 2023-05-11 | Image processing apparatus, image processing method, and storage device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022083808A JP2023172180A (ja) | 2022-05-23 | 2022-05-23 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023172180A true JP2023172180A (ja) | 2023-12-06 |
Family
ID=88791435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022083808A Pending JP2023172180A (ja) | 2022-05-23 | 2022-05-23 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US12061737B2 (ja) |
JP (1) | JP2023172180A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6582205B2 (ja) * | 2018-02-28 | 2019-10-02 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
DE112021005303T5 (de) * | 2020-10-08 | 2023-09-07 | Sony Group Corporation | Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und informationsverteilungssystem |
US11567569B2 (en) * | 2021-04-08 | 2023-01-31 | Google Llc | Object selection based on eye tracking in wearable device |
-
2022
- 2022-05-23 JP JP2022083808A patent/JP2023172180A/ja active Pending
-
2023
- 2023-05-11 US US18/315,539 patent/US12061737B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20230376109A1 (en) | 2023-11-23 |
US12061737B2 (en) | 2024-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914147B2 (en) | Image generation apparatus and image generation method using frequency lower than display frame rate | |
US20240037880A1 (en) | Artificial Reality System with Varifocal Display of Artificial Reality Content | |
JP6619871B2 (ja) | 媒介現実コンテンツの共有 | |
US10115235B2 (en) | Method for controlling head mounted display, and system for implemeting the method | |
JP5996814B1 (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
WO2019142560A1 (ja) | 視線を誘導する情報処理装置 | |
EP3196734B1 (en) | Control device, control method, and program | |
CN110300994B (zh) | 图像处理装置、图像处理方法以及图像系统 | |
CN110998666B (zh) | 信息处理装置、信息处理方法以及程序 | |
US20220291744A1 (en) | Display processing device, display processing method, and recording medium | |
JP2018526716A (ja) | 媒介現実 | |
JP2017134716A (ja) | 仮想現実空間提供方法および仮想現実空間提供プログラム | |
JP2017021824A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP6212666B1 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
GB2582106A (en) | Display device and display device control method | |
JP2023172180A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018026099A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
JP6275809B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
US20240135660A1 (en) | Information processing apparatus and information processing method | |
JP2017142769A (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP2023096844A (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP2018045299A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |