JP2022086879A - 情報処理装置、情報処理方法、プログラムおよびデータ構造 - Google Patents
情報処理装置、情報処理方法、プログラムおよびデータ構造 Download PDFInfo
- Publication number
- JP2022086879A JP2022086879A JP2020199148A JP2020199148A JP2022086879A JP 2022086879 A JP2022086879 A JP 2022086879A JP 2020199148 A JP2020199148 A JP 2020199148A JP 2020199148 A JP2020199148 A JP 2020199148A JP 2022086879 A JP2022086879 A JP 2022086879A
- Authority
- JP
- Japan
- Prior art keywords
- sickness
- suppression
- situation
- user
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 74
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000001629 suppression Effects 0.000 claims abstract description 136
- 206010025482 malaise Diseases 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims description 83
- 230000008569 process Effects 0.000 claims description 70
- 230000004807 localization Effects 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000011282 treatment Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 210000004556 brain Anatomy 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 201000003152 motion sickness Diseases 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止すること。【解決手段】実施形態に係る情報処理装置は、取得部と、推定部と、抑制処理部とを備える。取得部は、仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する。推定部は、取得部によって取得された状況に基づいて、ユーザの酔い状況を推定する。抑制処理部は、推定部によって推定されたユーザの酔い状況に応じて、デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する。また、抑制処理部は、上記抑制処理の実行に際し、ユーザの酔い状況に応じて、音声に関する上記抑制処理および映像に関する上記抑制処理のバランス調整を実行する。【選択図】図4
Description
開示の実施形態は、情報処理装置、情報処理方法、プログラムおよびデータ構造に関する。
従来、HMD(Head Mounted Display)等を用いてユーザに対し、VR(Virtual Reality)やMR(Mixed Reality)といった、仮想空間体験を含むデジタルコンテンツを提供する技術が知られている。
また、かかる技術において、たとえば車両等の移動体に搭載され、かかる移動体をモーション・プラットフォームとして利用可能なVRシステムも提案されている(たとえば、特許文献1参照)。
しかしながら、従来技術は、仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止するうえで、更なる改善の余地がある。
たとえば、VRコンテンツの提供を受けるユーザには、乗り物酔いに似た「VR酔い」が起こりうることが知られている。VR酔いは、音声と映像の同期ズレや、音声および映像の変動が大きく脳の処理が追いつかないといった原因により生じうる動揺病の一つである。特に、車両に搭載されるVRシステムの場合、通常の乗り物酔いも加わるため、ユーザの酔いは更に酷くなる傾向にある。
実施形態の一態様は、上記に鑑みてなされたものであって、仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止することができる情報処理装置、情報処理方法、プログラムおよびデータ構造を提供することを目的とする。
実施形態の一態様に係る情報処理装置は、取得部と、推定部と、抑制処理部とを備える。前記取得部は、仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する。前記推定部は、前記取得部によって取得された状況に基づいて、前記ユーザの酔い状況を推定する。前記抑制処理部は、前記推定部によって推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する。また、前記抑制処理部は、前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する。
実施形態の一態様によれば、仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止することができる。
以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法、プログラムおよびデータ構造の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
また、以下では、実施形態に係る情報処理システム1が、車両に搭載される車載システムである場合を例に挙げて説明する。また、以下では、実施形態に係る情報処理システム1は、ユーザに対し、仮想空間体験を含むデジタルコンテンツとしてVRコンテンツを提供するVRシステムであるものとする。
まず、実施形態に係る情報処理方法の概要について、図1~図3を用いて説明する。図1は、実施形態に係る情報処理システム1の概略構成を示す図である。また、図2は、VR酔いの説明図である。また、図3は、実施形態に係る情報処理方法の概要説明図である。
図1に示すように、実施形態に係る情報処理システム1は、HMD3と、情報処理装置10とを含む。
HMD3は、ユーザUに対し、情報処理装置10から提供されるVRコンテンツを提示し、ユーザにVR体験を享受させるための情報処理端末である。HMD3は、ユーザUの頭部に装着されて利用されるウェアラブルコンピュータ(wearable computer)であり、図1の例ではゴーグル型である。なお、HMD3は眼鏡型であってもよいし、帽子型であってもよい。
HMD3は、表示部31と、スピーカ32と、センサ部33とを備える。表示部31は、ユーザUの眼前に配置されるように設けられ、情報処理装置10から提供されるVRコンテンツに含まれる映像を表示する。
なお、図1の例では、表示部31は、ユーザUの左右それぞれの眼前に1つずつ設けられている例を示しているが、1つだけであってもよい。また、表示部31は、視界を完全に覆う非透過型であってもよいし、ビデオ透過型や光学透過型であってもよい。本実施形態では、非透過型であるものとする。
スピーカ32は、たとえば図1に示すようにヘッドフォン型に設けられ、ユーザUの耳に装着される。スピーカ32は、情報処理装置10から提供されるVRコンテンツに含まれる音声を出力する。
センサ部33は、ユーザUの内外の状況の変化を検知するデバイスであって、たとえばカメラやモーションセンサ等を含む。
情報処理装置10は、たとえばコンピュータであり、車両に搭載される車載装置であって、有線または無線でHMD3と接続され、HMD3に対し、VRコンテンツを提供する。また、情報処理装置10は、センサ部33によって検知された状況の変化を随時取得し、かかる状況の変化をVRコンテンツに反映させる。
たとえば、情報処理装置10は、センサ部33によって検知されたユーザUの頭部や視線の変化に応じて、VRコンテンツの仮想空間における視界の向きを変化させることが可能である。
ところで、このようなHMD3を用いたVRコンテンツの提供にあたっては、ユーザUに、乗り物酔いに似た「VR酔い」が起こりうることが知られている。
図2に示すように、VR酔いは、音声と映像の同期ズレや、音声および映像の変動が大きく脳の処理が追いつかないといった原因等により生じうる。また、VR酔いは、HMD3を用いて享受しているVR体験による感覚と、周囲環境の変化によるユーザU自身の生身の感覚とのズレによっても生じうる。
そこで、実施形態に係る情報処理方法では、ユーザUに関する内外の状況を取得し、取得した状況に基づいてユーザUのVR酔い状況を推定し、推定したVR酔い状況に応じて音声および映像に関するVR酔いの抑制処理を実行することとした。また、かかる際に、VR酔い状況に応じて、音声に関する抑制処理および映像に関する抑制処理のバランス調整を実行することとした。
具体的には、図3に示すように、実施形態に係る情報処理方法では、情報処理装置10が随時、ユーザUに関する内外の状況を取得し、ユーザUのVR酔い状況を推定する(ステップS1)。情報処理装置10は、たとえばユーザUの身体的状況の変化を検知することによってVR酔い状況を推定する。
また、情報処理装置10は、たとえば提供中のVRコンテンツの種別や映像の状況、音声の状況といった、VRコンテンツの使用状況に基づいてVR酔い状況を推定する。
また、情報処理装置10は、たとえば道路状況や車両の状況、操作状況といった、車両の走行状況に基づいてVR酔い状況を推定する。また、情報処理装置10は、たとえばユーザごとの酔いやすさ等を示す各種のパラメータ等を含むユーザ情報に基づいてVR酔い状況を推定する。
なお、情報処理装置10は、かかるVR酔い状況の推定処理においては、たとえば機械学習のアルゴリズムを用いて生成された推定モデルを用いることができる。かかる推定モデルは、実際のVR酔い状況の推定結果に基づいて適宜強化学習される。強化学習の結果、たとえばVR酔い状況を推定するための判定閾値等が適宜更新される。
そして、情報処理装置10は、ステップS1での推定結果に応じて、VRコンテンツの音声および映像それぞれに関するVR酔いの抑制処理を実行する。音声に関するVR酔いの抑制処理は、概略的にはVRコンテンツの音声に関する刺激を弱めるものであって、たとえば音像定位感の低下処理である。また、映像に関するVR酔いの抑制処理は、概略的にはVRコンテンツの映像に関する刺激を弱めるものであって、たとえばコントラストや色味等の低下処理である。
このように、VRコンテンツの音声および映像に関する刺激を弱めることによって、VRコンテンツの音声および映像によって喚起される酔いやすさを緩和することができる。すなわち、VRコンテンツによるユーザUのVR酔いを抑止するのに資することができる。
そのうえで、実施形態に係る情報処理方法では、情報処理装置10は、VRコンテンツの音声および映像それぞれに関するVR酔いの抑制処理を実行するに際し、ユーザUのVR酔い状況に応じて、音声および映像に関するVR酔いの抑制処理のバランス調整を実行する(ステップS2)。
これにより、VRコンテンツによるVR体験の効果をできるだけ維持しつつ、VRコンテンツによるユーザUのVR酔いを抑止することが可能となる。
上述したように、実施形態に係る情報処理方法は、ユーザUに関する内外の状況を取得し、取得した状況に基づいてユーザUのVR酔い状況を推定し、推定したVR酔い状況に応じて音声および映像に関するVR酔いの抑制処理を実行する。また、かかる際に、VR酔い状況に応じて、映像に関する抑制処理および音声に関する抑制処理のバランス調整を実行する。
したがって、実施形態に係る情報処理方法によれば、VRコンテンツによるユーザUのVR酔いを抑止することができる。以下、実施形態に係る情報処理方法を適用した情報処理システム1の構成例について、より具体的に説明する。
図4は、実施形態に係る情報処理システム1の構成例を示すブロック図である。また、図5は、抑制処理部12dの構成例を示すブロック図である。なお、図4および図5では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
換言すれば、図4および図5に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
また、図4および図5を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
図4に示すように、実施形態に係る情報処理システム1は、HMD3と、情報処理装置10とを含む。
HMD3については図1を用いて説明済みのため、ここでの説明は省略する。情報処理装置10は、記憶部11と、制御部12とを備える。また、情報処理装置10は、各種センサ5が接続される。
各種センサ5は、車両の内外の状況をセンシングするセンサ群であって、たとえばカメラ5aや、バイタルセンサ5b、加速度センサ5c、舵角センサ5d等を含む。
カメラ5aは、車両に搭載されるフロントカメラ、リアカメラ、サイドカメラ、室内カメラ等であって、車両の内外を撮影する。室内カメラは、たとえばユーザUの状態を撮影する。
バイタルセンサ5bは、ユーザUの身体的状況を検知するセンサであって、たとえばユーザUに装着され、ユーザUの心拍や脳波、血中酸素濃度、発汗等のバイタルデータを測定する。
加速度センサ5cは、車両に加わる加速度や車速を測定する。舵角センサ5dは、車両の舵角を測定する。なお、各種センサ5には無論、図4に示す各センサ5a~5d以外のセンサが含まれてよい。
記憶部11は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子等によって実現され、図4の例では、VRコンテンツDB(データベース)11aと、ユーザ情報11bと、推定モデル11cと、抑制処理情報11dとを記憶する。
VRコンテンツDB11aは、HMD3へ提供されるVRコンテンツ群が格納されたデータベースである。ユーザ情報11bは、HMD3を利用するユーザに関する情報であって、上述したユーザごとの酔いやすさ等を示す各種のパラメータ等を含む。ユーザ情報11bは、ユーザUの過去のVR酔い状況の推定結果に基づいて適宜更新される。
推定モデル11cは、上述した機械学習のアルゴリズムを用いて生成された推定モデルである。推定モデル11cはたとえば、後述する取得部12bによって取得されたユーザUの内外の各種の状況を示すデータが入力されることによって、ユーザUのVR酔い状況を示す値(たとえば、VR酔いの度合いを示すレベル値)を出力する。
抑制処理情報11dは、ユーザUのVR酔いの度合いに応じて実行すべきVR酔いの抑制処理が定義付けられた情報である。抑制処理情報11dの具体例については、図7を用いた説明で後述する。
制御部12は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部11に記憶されている図示略の各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部12は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
制御部12は、提供部12aと、取得部12bと、推定部12cと、抑制処理部12dとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
提供部12aは、VRコンテンツDB11aに格納されたVRコンテンツをHMD3に対し提供する。また、提供部12aは、HMD3のセンサ部33によって検知された状況の変化を随時取得し、かかる状況の変化をVRコンテンツに反映させる。
取得部12bは、各種センサ5からのセンシングデータを随時取得する。また、取得部12bは、提供部12aから、提供中であるVRコンテンツの種別や映像の状況、音声の状況といったVRコンテンツの使用状況を随時取得する。また、取得部12bは、取得した各種のデータを推定部12cへ出力する。
推定部12cは、取得部12bによって取得された各種のデータに基づき、推定モデル11cを用いてユーザUのVR酔い状況を推定する。また、推定部12cは、推定した推定結果を抑制処理部12dへ出力する。
抑制処理部12dは、推定部12cの推定結果に応じて、音声によるVR酔い抑制および映像によるVR酔い抑制のバランス調整を行いつつ、VRコンテンツの音声および映像に関するVR酔いの抑制処理を実行する。
図5に示すように、抑制処理部12dは、音声処理部12daと、映像処理部12dbと、バランス調整部12dcとを有する。音声処理部12daは、VRコンテンツの音声に関するVR酔いの抑制処理を実行する。映像処理部12dbは、VRコンテンツの映像に関するVR酔いの抑制処理を実行する。
バランス調整部12dcは、推定部12cの推定結果に応じて、音声処理部12daによる音声処理および映像処理部12dbによる映像処理のバランス調整を実行する。
ここで、抑制処理部12dが実行する抑制処理の内容について、より具体的に図6および図7を用いて説明する。図6は、抑制処理の処理内容を示す図である。また、図7は、抑制処理情報11dの一例を示す図である。
図6に示すように、抑制処理部12dのバランス調整部12dcは、たとえば推定部12cが推定するユーザUの「VR酔いの度合いに応じてバランス調整」を実行する。より具体的には、同図に示すように、バランス調整部12dcは、たとえばユーザUが軽度のVR酔いである場合には、音声に関する抑制処理を主体的に実行する。かかる「音声に関する抑制処理を主体的に」とは、音声に関する抑制処理のみを行う場合を含む。
たとえば、一般に、映像よりも音声の方が情報量は少ないため、映像に関する抑制処理を施すよりも、音声に関する抑制処理を施す方が、VR酔いを抑制する効果は小さいと考えられる。言い換えれば、映像に関する抑制処理を施した場合、VR酔いを抑制する効果は大きいが、VR体験の効果は薄まると言える。
このため、ユーザUが軽度のVR酔いである場合には、音声に関する抑制処理を主体的に実行することにより、VRコンテンツによるVR体験の効果をできるだけ維持しつつ、ユーザUのVR酔いを抑止することが可能となる。
また、同図に示すように、バランス調整部12dcは、たとえばユーザUが中程度のVR酔いである場合には、映像に関する抑制処理を主体的に実行する。かかる「映像に関する抑制処理を主体的に」とは、映像に関する抑制処理のみを行う場合を含む。
これにより、ユーザUが中程度のVR酔いである場合にも、VRコンテンツによるVR体験の効果をできるだけ維持しつつ、ユーザUのVR酔いを抑止することが可能となる。
また、同図に示すように、バランス調整部12dcは、ユーザUのVR酔いの程度に応じて定まるそれぞれの強度で音声および映像それぞれに関する抑制処理を実行するようにしてもよい。この点については、後に図7に示すこととする。
また、同図に示すように、バランス調整部12dcは、複数の音声につき、「音声に関するバランス調整」を実行することができる。かかる場合、バランス調整部12dcは、音声処理部12daに対し、単に音声を足し合わせるのではなく環境に応じて音声を合成させる。
具体的には、バランス調整部12dcは、たとえばVRコンテンツにおいて車外の2台の車両それぞれに対応する仮想オブジェクトの音声を出力させるに際し、聴取位置(すなわち、ユーザUの位置)から見て奥の車両の音声は、現実空間と同様に手前の車両で一部が遮断されるように合成させる。
これにより、仮想空間における感覚と現実空間における感覚のズレを軽減し、VRコンテンツによるVR体験の効果をできるだけ維持しつつ、ユーザUのVR酔いを抑止することが可能となる。
なお、音声に関する抑制処理は、たとえば、音像定位感の低下処理や、音量変化速度の低下処理、音量変化幅の減縮処理等である。
音像定位感の低下処理では、音声処理部12daはたとえば、無定位音(モノラル音)を混合する。音声処理部12daは、かかる無定位音を混合する場合、定位音と無定位音との混合割合を、VR酔い状況に応じて調整する。
たとえば音声処理部12daは、VR酔いの度合いが大きいほど、無定位音の混合割合を大きくする。なお、定位音と無定位音との混合割合は、徐々に変更することが効果的である。また、音声処理部12daは、無定位音としてランダムノイズを混合してもよい。
また、音像定位感の低下処理では、音声処理部12daはたとえば、定位性が映像と無相関の音声を混合する。かかる音声は、たとえばヒーリング音や環境音(風の音や、焚き火の音等)である。音声処理部12daは、かかる無相関音を混合する場合、定位音と無相関音との混合割合を、VR酔い状況に応じて調整する。
たとえば音声処理部12daは、VR酔いの度合いが大きいほど、無相関音の混合割合を大きくする。
また、音像定位感の低下処理では、音声処理部12daはたとえば、定位音処理を行うが、その移動処理を禁止する。なお、このとき、音声処理部12daは、2点間の瞬時移動は可とするが、徐々に移動することは禁止とする。
また、音像定位感の低下処理では、音声処理部12daはたとえば、定位移動距離を短縮する。なお、このとき、音声処理部12daは、定位移動時間については変更しない。
また、音像定位感の低下処理では、音声処理部12daはたとえば、左右の音を逆位相に出力する。これにより、たとえばステレオ効果はモノラルに近くなる。
また、音像定位感の低下処理では、音声処理部12daはたとえば、重低音を強調して合成する。また、音像定位感の低下処理では、音声処理部12daはたとえば、ヒーリング音や環境音(風の音や、焚き火の音等)を出力する。これは、VRコンテンツの音声と混合しない場合である。
また、音像定位感の低下処理では、音声処理部12daはたとえば、BGM(すなわち、常時混合音)の音声を大きく合成する。音声処理部12da、かかるBGMの音声を大きく合成する場合、合成する割合を、VR酔い状況に応じて調整する。
また、音像定位感の低下処理では、音声処理部12daはたとえば、感音源を切り替える。かかる場合、音声処理部12daは感音源を、たとえばHMD3のスピーカ32から、図示略の骨伝導スピーカやボディソニック等へ切り替える。
また、音声処理部12daは、これまで説明した音像定位感の低下処理を適宜組み合わせてもよい。
なお、音像定位感は、音源自体に定位感を持たせることと、音源からの音声を加工することにより、発生させる方法があるが、前者は、マルチトラックの各音声信号に対しレベル調整、時間・位相調整等を行って各種混合等を行うことにより定位感を強弱させることができる。また、後者は、音声加工の各パラメータを調整することにより定位感を強弱させることができる。また、一つのVRコンテンツの音源自体が、音像定位感、定位移動距離、音量変化幅等が異なる複数の音源パターンからなるデータ構造を有して予め記録されており、VR酔い状況に応じてこれらの音源パターンを切り替えることによって、VR酔いの抑制効果レベルを切り替えるようにしてもよい。
また、映像に関する抑制処理は、たとえば、コントラスト、輝度、輝度変化幅等の低下処理や、遠近感の調整処理、仮想オブジェクトの移動速度の低下処理等である。コントラスト、輝度、輝度変化幅等の低下処理は、映像処理部12dbがたとえば画像処理により実現するが、ディスプレイ駆動制御によって実現してもよい。遠近感調整処理は、一つのVRコンテンツの映像データ自体が、遠近感の異なる複数の映像パターンからなるデータ構造を有して予め記録されており、映像処理部12dbが、VR酔い状況に応じてこれらの映像パターンを切り替えることによって、VR酔いの抑制効果レベルを切り替えるようにしてもよい。また、このとき、上記音源パターンの切り替え処理は、映像パターンとのバランスを取りつつ行われるとよい。
また、図7に示すように、抑制処理情報11dには、VR酔いの度合いに応じて抑制処理部12dが実行すべき音声および映像それぞれに関するVR酔いの抑制処理が定義付けられている。なお、同図に示すように、抑制処理情報11dには、さらにコンテンツ種別が関連付けられてもよい。
同図の例では、酔いの度合いは、L1からL3にかけて次第に大きくなることを示している。また、コンテンツ種別は、A~Cにかけて次第に酔いやすくなることを示している。酔いやすい種別とは、たとえばアクション系やホラー系等である。
また、同図の例では、音声に関する抑制処理である処理a,b,cは、処理aから処理cにかけて次第に抑制処理の強度が強くなることを示している。また、処理a,b,cにそれぞれ付した1,2,3の数値は、1から3にかけて次第に抑制処理の強度が強くなることを示している。たとえば処理aに関しては、強度の関係は、a1<a2<a3となる。
映像に関する抑制処理である処理l,m,nについても同様である。したがって、たとえば処理mに関しては、強度の関係は、m1<m2<m3となる。
これを前提として、図7の例の場合、酔いの度合いがL1であれば、抑制処理部12dは、コンテンツ種別がAの場合、音声に関する処理a1のみを実行する。また、コンテンツ種別がBの場合、抑制処理部12dは、音声に関しては処理a1よりも強度が強い処理a2を、映像に関しては処理l2をそれぞれ実行する。また、コンテンツ種別がCの場合、抑制処理部12dは、音声に関しては処理a2よりも強度が強い処理a3を、映像に関しては処理l2よりも強度が強い処理l3をそれぞれ実行する。
また、酔いの度合いがL2であれば、抑制処理部12dは、コンテンツ種別がAの場合、音声に関しては処理a1~a3よりも強度が強い処理b1を、映像に関しては処理l2およびl3よりも強度が強い処理m1をそれぞれ実行する。また、コンテンツ種別がBの場合、抑制処理部12dは、音声に関しては処理b1よりも強度が強い処理b2を、映像に関しては処理m1よりも強度が強い処理m2をそれぞれ実行する。また、コンテンツ種別がCの場合、抑制処理部12dは、音声に関しては処理b2よりも強度が強い処理b3を、映像に関しては処理m2よりも強度が強い処理m3をそれぞれ実行する。
同様に、酔いの度合いがL3であれば、抑制処理部12dは、コンテンツ種別がAの場合、音声に関しては処理b1~b3よりも強度が強い処理c1を、映像に関しては処理m1~m3よりも強度が強い処理n1をそれぞれ実行する。また、コンテンツ種別がBの場合、抑制処理部12dは、音声に関しては処理c1よりも強度が強い処理c2を、映像に関しては処理n1よりも強度が強い処理n2をそれぞれ実行する。また、コンテンツ種別がCの場合、抑制処理部12dは、音声に関しては処理c2よりも強度が強い処理c3を、映像に関しては処理n2よりも強度が強い処理n3をそれぞれ実行する。
図4の説明に戻る。抑制処理部12dは、図6および図7を用いて説明した抑制処理を推定部12cの推定結果および抑制処理情報11dに基づいて実行し、かかる実行結果を提供部12aがHMD3へ向けて提供するVRコンテンツに反映させる。
次に、実施形態に係る情報処理装置10が実行する処理手順について、図8を用いて説明する。図8は、実施形態に係る情報処理装置10が実行する処理手順を示すフローチャートである。なお、図8に示す処理手順は、提供部12aがHMD3へVRコンテンツを提供している間、随時繰り返される。
図8に示すように、まず取得部12bが、ユーザUに関する内外の状況を取得する(ステップS101)。そして、推定部12cが、取得された状況に基づいてユーザUのVR酔い状況を推定する(ステップS102)。
そして、抑制処理部12dが、推定された推定結果に応じて音声および映像に関するVR酔いの抑制処理のバランスを調整する(ステップS103)。そして、抑制処理部12dは、調整したバランスで抑制処理を実行し(ステップS104)、処理を終了する。
上述してきたように、実施形態に係る情報処理装置10は、取得部12bと、推定部12cと、抑制処理部12dとを備える。取得部12bは、VRコンテンツ(「仮想空間体験を含むデジタルコンテンツ」の一例に相当)のユーザUに関する内外の状況を取得する。推定部12cは、取得部12bによって取得された状況に基づいて、ユーザUのVR酔い(「酔い」の一例に相当)状況を推定する。抑制処理部12dは、推定部12cによって推定されたユーザUのVR酔い状況に応じて、VRコンテンツの音声および映像に関するVR酔いの抑制処理を実行する。また、抑制処理部12dは、上記抑制処理の実行に際し、ユーザUのVR酔い状況に応じて、上記音声に関する上記抑制処理および上記映像に関する上記抑制処理のバランス調整を実行する。
したがって、実施形態に係る情報処理装置10によれば、VRコンテンツによるユーザUのVR酔いを抑止することができる。特に、音声と映像の同期ズレや、音声および映像の変動が大きく脳の処理が追いつかないといった原因により生じうるVR酔いを抑止することができる。また、VRコンテンツによるVR体験の効果をできるだけ維持しつつ、VRコンテンツによるユーザUのVR酔いを抑止することができる。
また、抑制処理部12dは、VR酔い状況を示す度合いが軽度である場合に、音声に関する抑制処理を主体的に実行する。
したがって、実施形態に係る情報処理装置10によれば、VRコンテンツの映像によるVR体験の効果をできるだけ維持しつつ、VRコンテンツによるユーザUのVR酔いを抑止することができる。
また、抑制処理部12dは、VR酔い状況を示す度合いが軽度である場合に、音声に関する抑制処理のみを実行する。
したがって、実施形態に係る情報処理装置10によれば、VRコンテンツの映像によるVR体験の効果をできるだけ維持しつつ、また、処理負荷を嵩ませることなく、VRコンテンツによるユーザUのVR酔いを抑止することができる。
また、抑制処理部12dは、VR酔い状況を示す度合いが中程度である場合に、映像に関する抑制処理を主体的に実行する。
したがって、実施形態に係る情報処理装置10によれば、ユーザUのVR酔いが軽度以上である場合に、速やかにVRコンテンツによるユーザUのVR酔いを軽減することができる。
また、抑制処理部12dは、VR酔い状況を示す度合いに応じて定まるそれぞれの強度で音声および映像それぞれに関する抑制処理を実行する。
したがって、実施形態に係る情報処理装置10によれば、ユーザUのVR酔いに応じた適正なバランスで音声および映像それぞれに関する抑制処理を実行することが可能となる。
また、VRコンテンツの映像データは、少なくとも遠近感が異なる複数の映像パターンを有しており、抑制処理部12dは、映像に関する抑制処理として、上記映像パターンを切り替える切り替え処理を実行する。
したがって、実施形態に係る情報処理装置10によれば、予め記録された映像パターンを切り替えることによって、たとえばVR酔いの抑制効果レベルを切り替えることが可能となる。
また、VRコンテンツの音源データは、少なくとも音像定位感、定位移動距離または音量変化幅が異なる複数の音源パターンを有しており、抑制処理部12dは、音声に関する抑制処理として、上記映像パターンとバランスを取りつつ上記音源パターンを切り替える切り替え処理を実行する。
したがって、実施形態に係る情報処理装置10によれば、予め記録された音源パターンを映像パターンとバランスを取りつつ切り替えることによって、視覚面および聴覚面でバランスの取れたVR酔いの抑制効果レベルの切り替えを行うことが可能となる。
なお、上述した実施形態では、HMD3と情報処理装置10とが分離した構成である場合を例に挙げたが、これに限られるものではなく、HMD3と情報処理装置10とが一体である構成であってもよい。
また、上述した実施形態では、ユーザUに対し、情報処理装置10から提供されるVRコンテンツを提示する提示デバイスとしてHMD3を例に挙げたが、提示デバイスはこれに限られるものではなく、たとえば骨伝導スピーカを含むものであってもよいし、ボディソニックのように振動を提示する振動提示デバイスを含むものであってもよい。
また、提示デバイスは、ウェアラブルコンピュータに限らず、たとえば車両であれば、フロントウィンドウやサイドウィンドウ等をディスプレイで構成し、かかるディスプレイに対し映像出力を行ってもよい。また、音声出力は、車載スピーカに対し行ってもよい。車載スピーカは通常、前後左右を含む多方向に複数個を適宜配置可能であるので、3D再生には好適である。なお、車両でなければ、VRコンテンツの提供空間の壁をディスプレイで構成し、かかる空間に複数個のスピーカを車載スピーカと同様に配置することとなる。
また、上述した実施形態では、情報処理装置10がVRコンテンツを提供する例を挙げたが、仮想空間体験を含むデジタルコンテンツであればよく、AR(Augmented Reality)コンテンツやMRコンテンツであってもよい。
また、上述した実施形態では、情報処理装置10が車両に搭載される車載装置である例を挙げたが、これに限られるものではなく、仮想空間体験を含むデジタルコンテンツを提供するゲーム機等のコンピュータであってもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 情報処理システム
3 HMD
5 各種センサ
10 情報処理装置
11 記憶部
11a VRコンテンツDB
11b ユーザ情報
11c 推定モデル
11d 抑制処理情報
12 制御部
12a 提供部
12b 取得部
12c 推定部
12d 抑制処理部
12da 音声処理部
12db 映像処理部
12dc バランス調整部
31 表示部
32 スピーカ
33 センサ部
3 HMD
5 各種センサ
10 情報処理装置
11 記憶部
11a VRコンテンツDB
11b ユーザ情報
11c 推定モデル
11d 抑制処理情報
12 制御部
12a 提供部
12b 取得部
12c 推定部
12d 抑制処理部
12da 音声処理部
12db 映像処理部
12dc バランス調整部
31 表示部
32 スピーカ
33 センサ部
Claims (11)
- 仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する取得部と、
前記取得部によって取得された状況に基づいて、前記ユーザの酔い状況を推定する推定部と、
前記推定部によって推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する抑制処理部と
を備え、
前記抑制処理部は、
前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する
ことを特徴とする情報処理装置。 - 前記抑制処理部は、
前記酔い状況を示す度合いが軽度である場合に、前記音声に関する前記抑制処理を主体的に実行する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記抑制処理部は、
前記酔い状況を示す度合いが軽度である場合に、前記音声に関する前記抑制処理のみを実行する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記抑制処理部は、
前記酔い状況を示す度合いが中程度である場合に、前記映像に関する前記抑制処理を主体的に実行する
ことを特徴とする請求項1、2または3に記載の情報処理装置。 - 前記抑制処理部は、
前記酔い状況を示す度合いに応じて定まるそれぞれの強度で前記音声および前記映像それぞれに関する前記抑制処理を実行する
ことを特徴とする請求項1~4のいずれか一つに記載の情報処理装置。 - 前記デジタルコンテンツの映像データは、少なくとも遠近感が異なる複数の映像パターンを有しており、
前記抑制処理部は、
前記映像に関する前記抑制処理として、前記映像パターンを切り替える切り替え処理を実行する
ことを特徴とする請求項1~5のいずれか一つに記載の情報処理装置。 - 前記デジタルコンテンツの音源データは、少なくとも音像定位感、定位移動距離または音量変化幅が異なる複数の音源パターンを有しており、
前記抑制処理部は、
前記音声に関する前記抑制処理として、前記映像パターンとバランスを取りつつ前記音源パターンを切り替える切り替え処理を実行する
ことを特徴とする請求項6に記載の情報処理装置。 - 仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する取得工程と、
前記取得工程において取得された状況に基づいて、前記ユーザの酔い状況を推定する推定工程と、
前記推定工程において推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する抑制処理工程と
を含み、
前記抑制処理工程は、
前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する
ことを特徴とする情報処理方法。 - 仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する取得手順と、
前記取得手順において取得された状況に基づいて、前記ユーザの酔い状況を推定する推定手順と、
前記推定手順において推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する抑制処理手順と
をコンピュータに実行させ、
前記抑制処理手順は、
前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する
ことを特徴とするプログラム。 - 仮想空間体験を含む一つのデジタルコンテンツのデータ構造であって、
少なくとも遠近感が異なる複数の映像パターンを含む
ことを特徴とするデータ構造。 - 少なくとも音像定位感、定位移動距離または音量変化幅が異なる複数の音源パターンをさらに含む
ことを特徴とする請求項10に記載のデータ構造。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020199148A JP2022086879A (ja) | 2020-11-30 | 2020-11-30 | 情報処理装置、情報処理方法、プログラムおよびデータ構造 |
PCT/JP2021/009159 WO2022113386A1 (ja) | 2020-11-30 | 2021-03-09 | 情報処理装置、情報処理方法、プログラムおよびデータ構造 |
US18/026,324 US20230355919A1 (en) | 2020-11-30 | 2021-03-09 | Information processing device, information processing method, program, and data configuration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020199148A JP2022086879A (ja) | 2020-11-30 | 2020-11-30 | 情報処理装置、情報処理方法、プログラムおよびデータ構造 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022086879A true JP2022086879A (ja) | 2022-06-09 |
Family
ID=81894081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020199148A Pending JP2022086879A (ja) | 2020-11-30 | 2020-11-30 | 情報処理装置、情報処理方法、プログラムおよびデータ構造 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022086879A (ja) |
-
2020
- 2020-11-30 JP JP2020199148A patent/JP2022086879A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11805382B2 (en) | Coordinated tracking for binaural audio rendering | |
JP7306838B2 (ja) | 集中レベルに基づく、知覚される周囲音の制御 | |
US20200324073A1 (en) | Audio controller | |
EP2957991B1 (en) | Method and system for reducing motion sickness in virtual reality systems | |
US10814095B2 (en) | Apparatus, sound data generation method, and non-transitory computer readable storage medium | |
JP4684234B2 (ja) | 音像定位装置 | |
JP4848648B2 (ja) | 車載情報提供装置 | |
US11523244B1 (en) | Own voice reinforcement using extra-aural speakers | |
US11102578B1 (en) | Audio system and method of augmenting spatial audio rendition | |
US11070933B1 (en) | Real-time acoustic simulation of edge diffraction | |
JP7040521B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2022086879A (ja) | 情報処理装置、情報処理方法、プログラムおよびデータ構造 | |
WO2022113386A1 (ja) | 情報処理装置、情報処理方法、プログラムおよびデータ構造 | |
JP2022086876A (ja) | 情報処理装置、情報処理方法、プログラムおよびデータ構造 | |
US20220322024A1 (en) | Audio system and method of determining audio filter based on device position | |
JP7085656B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2022086880A (ja) | 情報処理装置、情報処理方法およびプログラム | |
Yang et al. | Investigating redundant multimodal speedometer displays for supporting concurrent lane and speed tracking | |
JP7462017B2 (ja) | 音声処理プログラム、情報処理システム、情報処理装置、および音声処理方法 | |
JP7293741B2 (ja) | 姿勢改善支援装置、姿勢改善支援方法、及び姿勢改善支援プログラム | |
JP7252998B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
JP2024072983A (ja) | 動揺病抑制システム、方法、および、プログラム | |
JP2018086135A (ja) | 運転支援システム | |
WO2022038931A1 (ja) | 情報処理方法、プログラム、及び、音響再生装置 | |
JP2022189598A (ja) | 情報処理装置、情報処理システムおよびxrコンテンツの再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231109 |