JP2017146963A - 仮想空間表示システム - Google Patents
仮想空間表示システム Download PDFInfo
- Publication number
- JP2017146963A JP2017146963A JP2017003240A JP2017003240A JP2017146963A JP 2017146963 A JP2017146963 A JP 2017146963A JP 2017003240 A JP2017003240 A JP 2017003240A JP 2017003240 A JP2017003240 A JP 2017003240A JP 2017146963 A JP2017146963 A JP 2017146963A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- person
- vehicle
- movement
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims description 61
- 230000008859 change Effects 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 30
- 230000035807 sensation Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 239000011435 rock Substances 0.000 abstract description 15
- 230000001953 sensory effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 32
- 230000000694 effects Effects 0.000 description 22
- 230000009471 action Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000012447 hatching Effects 0.000 description 4
- 241000282320 Panthera leo Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000251730 Chondrichthyes Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
- B60W60/00136—Planning or execution of driving tasks specially adapted for occupant comfort for intellectual activities, e.g. reading, gaming or working
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/186—Displaying information according to relevancy
- B60K2360/1868—Displaying information according to relevancy according to driving situations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
車両における自動運転は、概ね次の技術によって実現されている。車両には、GPS(Global Positioning System)や、レーザ、カメラによって周囲の対象物を検出するセンサなど種々のセンサが搭載されており、自動運転の制御装置は、これらのセンサを活用して、車両の位置、姿勢、および周辺の対象物を検出する。制御装置は、予め用意された高精度の3次元地図と検出結果とを比較し、車両の位置、姿勢などを高精度に特定する。また、周辺の対象物のうち、歩行者や対向車両など自車両が回避すべき対象物を特定する。そして、制御装置は、これらの検出または特定された種々の情報に基づいて、車両の速度および進行方向を制御するのである。
上述した課題は、車両に限らず、航空機、船舶など、自動運転する移動体に共通する課題と言える。また、自動運転に限らず他人が運転する移動体に搭乗する場合も同様である。さらに、ヘッドマウントディスプレイを装着した人物が自身で通常の移動体を運転する場合や、歩行等する場合も同様である。
本発明は、かかる課題に鑑み、表示された仮想空間を視認しながら人物が、感じる違和感を抑制することを目的とする。併せて、自動運転や他人が運転する移動体においては、搭乗者が、体感する移動体の動きに違和感を覚えることなく、運転以外の事項を楽しむことができるようにすることを目的とする。
人物に対して当該人物の周囲の実環境とは異なる仮想空間の表示を行う仮想空間表示システムであって、
前記人物に対して前記仮想空間を表示するための表示装置と、
前記人物の周囲に存在する対象物のうち、その有無によって該人物が、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える重要対象物を特定する周辺状況検出部と、
前記重要対象物を所定の規則に基づいて前記体感または予測に与える影響に適合したオブジェクトに置換して前記表示装置に前記仮想空間を表示させる仮想空間表示部とを備える仮想空間表示システムとして構成することができる。
本発明において、人物は、自動運転または他者が運転する移動体に搭乗する人物、自身で通常の移動体を運転する人物や歩行等する人物など、何らかの手段で移動する人物を意味する。
重要対象物の特定は、種々の方法が可能である。例えば、人物の進行方向の所定範囲内に存在する対象物を重要対象物と判断してもよい。対象物の移動速度や移動方向を検知し、人物と衝突するか否かを予測し、衝突すると予測される対象物を重要対象物と特定するようにしてもよい。また、路面などに所定以上の起伏や凹凸がある場合に、それを重要対象物と判断してもよい。
仮想空間を表示するための表示装置は、例えば、人物の視界の大部分を覆うように設置されたディスプレイ、人物が装着するヘッドマウントディスプレイ、グラス型のディスプレイなど種々の装置を用いることができる。
また、表示される仮想空間は、人物の周囲の実環境と異なるものであればよく、例えば、ゲームなどのエンターテイメントのための仮想空間、読書・テレビ・ビデオ・映画などの表示、テレビ電話やテレビ会議など他者との通信映像などが挙げられる。また、現実空間を完全に排除する必要も無く、例えば、人物の周囲を撮影した画像を加工するなど、現実空間を利用して作成した仮想空間であってもよい。
オブジェクトへの置換は、例えば、予め多数のオブジェクトを記憶した置換データベースを用意し、この中から適宜、選択するようにしてもよい。また、重要対象物を撮影した画像を加工してオブジェクトを生成するようにしてもよい。
また、重要対象物はそのまま表示されるのではなくオブジェクトに置換して表示されるため、仮想空間に応じたオブジェクトを選択することにより、人物は、仮想空間のできごととして違和感なく自身の動きを認識できるようになる。この結果、人物は、現実空間では何が起きているのだろう、といった疑問を感じることなく、仮想空間に没入することが可能となる。逆に、現実空間における人物の動きが、仮想空間における人物の体感と適合することによって、仮想空間のリアリティを向上させる効果もある。
ゲーム等のエンターテイメントと異なり、読書やテレビ電話など、リアリティ向上の要請が低い仮想空間表示においても、画面の下方に風景が流れる様子や道などを表示することによって、現実空間における自身の動きを認識させる表示を行うことが好ましい。そして、かかる表示中に、重要対象物を置換したオブジェクトを適宜、配置することにより、本発明における効果を得ることが可能となる。
前記表示装置は、前記人物が装着する装着型表示装置または没入型表示装置であるものとしてもよい。
これらの表示装置を用いる場合、人物は仮想空間と一体化した感覚を覚えやすいため、視覚からの情報による動きに対する認識と動きに対する現実の体感や予測との違和感を覚えやすい。従って、本発明の有用性が高いと言える。
前記人物は、自動運転または他人によって運転される移動体の搭乗者であり、
前記重要対象物は、その有無によって前記移動体が移動するパスに影響を与える対象物であるものとしてもよい。
移動体に搭乗する場合、人物は、自身の意思に無関係に移動している状態にあるため、特にその動きについての体感や予測に違和感を覚えやすい。
かかる表示によって、本発明は、現実空間において歩行者などを検知して移動体が決定するパスと、仮想空間において岩や穴などに置換されたオブジェクトを見て搭乗者が意識する移動状態とを一致させることができる。本発明によれば、このように搭乗者の意思に関わらず移動体が移動する際に、その動きを正当化させる表示を搭乗者に示すことが可能となる。この結果、搭乗者は仮想空間を見ながらも、移動体の動きに対して違和感を覚えることを回避できる。搭乗者は、仮想空間内の認識とはいえ、移動体がとるべきパスの理由を理解することができ、移動体は、その理解に沿った動きをするからである。
よって、本発明は、このように移動体の搭乗者に対して、特に有用性が高い。
移動体には、パスを決定するための制御装置が備えられることになるが、この制御装置は、移動体自体に搭載してもよいし、移動体を遠隔操縦可能な装置として構成してもよい。
前記周辺状況検出部は、前記人物が移動する速度に影響を与える対象物も重要対象物として特定するものとしてもよい。
かかる重要対象物としては、信号機、踏切のように停止すべき対象物や、人物が移動体に搭乗している場合には、制限速度標識や幅員が狭い道路のように速度を低下させるべき対象物などが挙げられる。
かかる対象物も重要対象物に含めることによって、搭乗者には、仮想空間において移動体の速度変化がなぜ生じているかを理解することができるようになるため、違和感をさらに抑制し、また仮想空間によっては、そのリアリティを向上させることも可能となる。
前記重要対象物は、その外観が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示するものとしてもよい。
外観が変化するとは、形状、サイズ、色などが変化することを意味する。重要対象物には、パスに影響を与えるものも含む。移動体が車両の場合、例えば、形状が変化する重要対象物としては踏切の遮断機が挙げられ、色が変化する重要対象物としては信号機が挙げられる。航空機の場合、例えば、サイズが変化する重要対象物として発達する積乱雲などが挙げられる。
上記態様では、これらの外観の変化をオブジェクトの外観または位置に反映させるのである。例えば、遮断機を門のオブジェクトで表現する場合、遮断機が下りているときは閉じた門、上がっているときは開いた門で表示することにより、重要対象物のパスに与える影響を、オブジェクトにも反映させることができる。オブジェクトへの反映方法は、このように形状の変化だけでなく、例えば、赤信号を移動体の目前に存在する岩で表現し、青信号の場合はその岩を転がして移動させることにより通行可能な状態を表現する、というように、オブジェクトの位置で反映させてもよい。
重要対象物の外観の変化は、定期的に生じるもの、不定期に生じるものなどが存在する。信号機のように定期的に生じるものを仮想空間で表現する場合は、オブジェクトも定期的に変化させるようにしてもよい。こうすることにより、比較的容易に重要対象物の変化を仮想空間に反映させることができる。もっとも、かかる方法では、現実空間の変化とオブジェクトの変化とが必ずしも一致するとは限らない。例えば、現実空間では赤信号から青信号に変わっていないのに、仮想空間では一定の時間が経過した時点で早々に通行可能な表示に変わってしまうことも生じうる。しかし、必ずしも目前が通行可能な状態になった瞬間に通行を開始しなくてはならないというものでもないから、現実空間と仮想空間との時間のずれが搭乗者に対して与える違和感は、許容される場合もある。
一方、重要対象物の変化が不定期に生じるものや、青信号から赤信号への変化のように通行可能な状態から不能な状態への変化は、現実空間における重要対象物の変化を検知してオブジェクトの変化に反映させる必要がある。例えば、移動体に搭載された種々のセンサで重要対象物の変化を検知するようにしてもよいし、移動体の動きの変化で重要対象物の変化を検知するようにしてもよい。例えば、移動体の前方に重要対象物として信号機が存在することが検知された場合、併せて移動体の減速が検知されたときには、それによって、信号機が青から赤に変化したのだと判断するのである。本発明においては、搭乗者が移動体の動きに対して違和感を覚えない仮想空間表示を実現すれば良いのであるから、このように移動体の動きから重要対象物の変化を検知することで足りるのである。かかる態様によれば、比較的容易に重要対象物の変化をオブジェクトに反映させることが可能となる。移動体の動きによる検知は、赤信号から青信号への変化のような重要対象物の定期的な変化を、オブジェクトに反映させるときにも利用可能である。
前記重要対象物は、その位置が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示するものとしてもよい。
重要対象物には、パスに影響を与えるものも含む。人物が車両に搭乗している場合、位置が変化する重要対象物、即ち移動する重要対象物としては、歩行者、自転車、対向車両などが挙げられる。上記態様では、例えば、歩行者の移動に併せて、オブジェクトの位置を移動させたり、障害物の大きさを変化させたりする。こうすることによって、移動する重要対象物に応じて、移動体が大きく回避するなど、そのパスに対する違和感を軽減する表示を実現することができる。
重要対象物の位置の変化は、移動体に搭載したセンサによって重要対象物の移動方向や速度を検出し、これに基づいて予測してもよい。また、移動体のパスを検知し、これに見合う位置に重要対象物が移動してくるものだと判断する方法をとってもよい。
前記仮想空間表示部は、前記重要対象物の種別に応じた所定の対応関係で前記オブジェクトへの置換を行うものとしてもよい。
例えば、歩行者は常に穴に置換し、移動車両は岩に置換するという態様である。このように常に一定の種別で置換することにより、搭乗者は、次第に、仮想空間におけるオブジェクトと現実空間における重要対象物との対応関係を認識できるようになり、仮想空間を見ながら現実空間も理解することができるようになる。かかる認識は、特に故障時のような緊急時など、搭乗者が移動体を運転しなくてはならない場合に有用である。搭乗者は、仮想空間を見ながらも現実空間もある程度、認識できているため、直ちに現実空間における運転に注意を払うことが可能となるのである。
上記態様においては、重要対象物の種別とオブジェクトとの対応関係は保ちつつ、種々のバリエーションを持たせても良い。例えば、歩行者を穴に置換する場合、歩行者の性別、身体のサイズなどに応じて、穴の大きさや、穴の形状、穴の周囲の様子などを変化させることは差し支えない。こうすることにより、多様な表現を実現することができ、搭乗者に仮想空間表示を楽しませることが可能となる。
前記仮想空間表示部は、前記重要対象物以外に前記移動体の周囲に存在する一般対象物の少なくとも一部について、所定の規則に従ってオブジェクトに置換して前記仮想空間を表示するものとしてもよい。
かかる態様では、一般対象物についても、規則に従ってオブジェクトに置換する。例えば、ビルを仮想空間における壁に置換するなどの態様である。こうすることによって、多彩な仮想空間を比較的容易に生成することが可能となる利点がある。
前記仮想空間は、前記搭乗者が遊戯を行うための遊戯用の空間であるものとしてもよい。
いわゆるゲームなどの空間である。こうすることによって、搭乗者は自動運転する移動体での移動を楽しみながら過ごすことができる。
操作は必ずしもコントローラに依る必要はない。コントローラによらない方法として、例えば、搭乗者の動きをセンサで検知し、仮想空間表示や移動体の移動に反映させるようにしてもよい。こうすることによって、例えば、搭乗者が、危険を感じて無意識に前に腕を突っ張る動きをしたときに、移動体を急停止させるなど、より自然かつ直感的な運転を実現することができる。
最初に、本実施例で実現する仮想空間表示について説明する。図1は、実施例としての仮想空間表示の概要を示す説明図である。
図の中央には、実施例としての仮想空間表示システムが搭載された車両VHを示した。車両VHは、コンピュータを搭載しており、カメラなどのセンサによって周囲の状況を検知しながら、自律的に自動運転することができる機能を有している。車両VHの搭乗者DVは、ヘッドマウントディスプレイを装着しており、そのヘッドマウントディスプレイには、図の下側に示されている仮想空間VWが表示されている。
図の上側には、車両VHが走行している現実空間RWの様子を示した。現実空間RWにおいては、図示するように建物が存在しており、車両VHは道路上を矢印Aのように走行しようとしているものとする。車両VHの前方からは、対向車Cが接近している。また、車両VHが左折する先には、人が自転車Pに乗って移動している。車両VHは、こうした周囲の状況を認識しながら走行しているから、自転車Pに衝突しないよう、矢印Aの先端付近のB点で一旦停止し、自転車Pが通り過ぎた後、再び走行を開始することになる。
仮想空間VWには、搭乗者DVがゲームをするための画面が表示されている。この例では、仮想空間VWの表示は、ゲームの画面でありながら、現実空間RWを反映した表示となっている。搭乗者DVは、この仮想空間VWを、移動しながらゲームを行うのである。画面は、搭乗者DVの意思に関わらずカメラ視点の移動によって自動的に変化していく。図示した場面では、矢印AVのように左の通路に移動しようとしている。ゲーム画面の中央前方からはキャラクターCVがまっすぐ向かってくる様子が表示されている。これは、現実空間RWにおける対向車Cを置換したオブジェクトである。また、左側には、岩PVが転がっていく様子が表示されている。これは現実空間RWにおける自転車Pを置換したオブジェクトである。このように本実施例では、現実空間RWにおいて、車両VHが移動するパスに影響を与える対象物、即ち重要対象物については、オブジェクトに置換した上で、仮想空間VWにも表示させるのである。
こうすることによって、搭乗者DVの目の前には、転がっていく岩PVが表示されているから、自動運転する車両VHが点Bで一旦停止するのに合わせ、仮想空間VWにおいて点BVで移動が停止しても、違和感を覚えることなく、ゲームを続行することができる。また、搭乗者DVに、ゲーム画面において点BVで移動が停止するのと適合した車両VHの動きを体感させることができるため、ゲームのリアリティを向上させることも可能となる。
3次元地図データベース113は、車両100の自動運転に利用される高精度の3次元地図である。3次元地図データベース113は、道路の形状だけでなく、その周囲に存在する建物、道路標識、信号機、ガードレールなど種々の地物の位置および形状を3次元モデルとして格納している。3次元地図データベース113には、道路上の中央線、停止線、横断歩道などの種々の白線等を格納してもよい。
置換データベース114は、現実空間に存在する対象物に関連づけて仮想空間に表示されるオブジェクトを格納するデータベースである。対象物には、建物のように固定された対象物だけでなく、歩行者や対向車両のように移動する対象物も含まれる。置換データベース114の内容については、後で具体的に示す。
車両100には、その周囲に存在する種々の対象物を検出するためのセンサ101が搭載されており、周辺状況検出部111は、センサ101の検出結果を利用して車両100の周囲の状況を検出する。センサとしては、レーザ、赤外線、レーダを利用した対象物の検出センサや、静止画像または動画像を撮影する種々のカメラなどを単一または組み合わせて用いることができる。周辺状況検出部111は、センサ101の検出結果だけでなく、3次元地図データベース113を併用してもよい。センサ101による検出結果を3次元地図データベース113に格納された3次元モデルと照合することにより、より精度良く対象物の種別や大きさなどを特定することが可能となる。
位置・姿勢検出部112は、車両100の位置および姿勢を検出する。位置は、緯度経度および高度などの座標で表される。姿勢は車両100の進行方向を方角、方位角などで表すことができる。必要に応じて車両100の姿勢としてピッチ角を検出してもよい。これらの検出は、車両100に例えば、GPS、地磁気センサなどを搭載することにより行うことができる。位置・姿勢検出部112は、GPS等の出力を、3次元地図データベース113と照合することにより、より高精度で位置および姿勢を検出可能としてもよい。さらに、位置・姿勢検出部112は、周辺状況検出部111も併用してもよい。車両100の周辺に存在する種々の対象物を特定し、これらを3次元地図データベース113と照合することにより、さらに高精度で位置および姿勢を検出可能となる。
自動運転制御部116は、ルート設定部115で指定されたルートを走行するように、車両100の動力、操舵および制動を制御し、自動運転を実現する。車両100は、走行中には、周辺状況検出部111や位置・姿勢検出部112の検出結果に応じて、周辺の対象物を回避しながら走行する。このように予め指定されたルートとは別に、時々刻々の状況に応じて車両が走行する軌跡を本明細書ではパスと称する。上述の通り、パスは、予め指定されたルートだけでなく、車両100の周囲における対象物の存否や対象物の動きなどによって影響を受けることになる。また車両100の移動速度も、対象物の存否等によって影響を受けることになる。本明細書では、パスや移動速度に影響を与える対象物を重要対象物と称し、それ以外の対象物を一般対象物と称するものとする。重要対象物としては、例えば、車両100の前方にある信号機や歩行者、図1に示した自転車Pが相当する。また、一般対象物としては、車両100の側方にある建物などが相当する。移動する対象物であっても、図1の対向車Cのように遠方に位置し、車両100のパスおよび移動速度に影響を与えない対象物は、一般対象物に属する。
仮想空間表示部118は、搭乗者が装着するヘッドマウントディスプレイ130に対して、仮想空間画像を表示する。表示媒体は、ヘッドマウントディスプレイ130に代えて、搭乗者の前方や側方に配置した大型ディスプレイ等を利用してもよい。仮想空間を表示する際、仮想空間表示部118は、車両100の周囲に検出された重要対象物については、置換データベース114を参照し、所定のオブジェクトに変換した上で仮想空間に表示する。重要対象物がパスや移動速度に与える影響に応じて、その形状、大きさなどを変化させてもよい。一般対象物については、仮想空間画像の表示内容に応じた処理を行う。例えば、重要対象物と同様、置換データベース114を参照してオブジェクトに置換してもよいし、一般対象物は無視して表示しないものとしてもよい。また、仮想空間画像は、一般対象物の存否に関係なく生成するようにしてもよい。
ゲーム処理部117aは、表示モードの一つとしてゲームを選択したときに、ゲームの進行やそれに応じたゲーム画面などを決定する。ゲーム画面の背景画像を生成し、仮想空間表示部118に表示を指示してもよい。
読書処理部117bは、表示モードの一つとして読書を選択したときに、仮想空間に表示すべき書籍の内容や、搭乗者の操作に応じてページめくり、拡大などの表示制御を行う。本実施例では、搭乗者は読書中も車両100の移動を体感しているため、読書モードの仮想空間表示では、書籍画像の背景などで車両100の移動に適合した画像を表示する。読書処理部117bは、こうした背景画像の生成を行うようにしてもよい。
会議処理部117cは、表示モードの一つとして会議を選択したときに、仮想空間に、テレビ会議の画像の表示を行う。搭乗者の操作に応じて会議画像の視線変更や拡大、会議資料の表示などを可能としてもよい。本実施例では、搭乗者は会議中も車両100の移動を体感しているため、会議モードの仮想空間表示では、会議画像の背景などで車両100の移動に適合した画像を表示する。会議処理部117cは、こうした背景画像の生成を行うようにしてもよい。
次に、置換データベース114の内容について説明する。図3〜5は、それぞれ置換データベース114の例を示す説明図である。これらに図示する通り、置換データベース114は、現実空間における対象物(左欄)と、仮想空間に表示されるオブジェクト(右欄)とを対応づけて格納している。ここに示したのは一例に過ぎず、対応関係は任意に設定可能である。また、対象物とオブジェクトは、1対1の対応関係である必要はなく、1対多、多対1など種々の対応関係が可能である。
図3に示す通り、信号機には、門のオブジェクトを対応づけた。信号機の横の( )内には、車両のパスまたは移動速度に与える影響を示した。信号機は、停止(赤)と進行(青)という移動速度に対する影響を交互に与えることになる。オブジェクトでもこれに対応した表現を実現するため、停止(赤)に対しては閉じた門、進行(青)に対しては開いた門を対応づけている。閉じた門/開いた門の変化は、例えば、閉じた門を表示してから一定時間経過した時点、または車両が移動を開始した時点で変化させるものとしている。信号の色の変化は定期的であるから、時間の経過によってオブジェクトを変化させるようにすることで、信号の色を検知するまでなく、比較的容易に現実空間の状態をオブジェクトに反映させることが可能となる。また、車両が移動を開始した時点で門を開くようにしておけば、オブジェクトを変化させるまでの経過時間と信号の変化の周期にずれが生じた場合でも、仮想空間において閉じた門に突っ込むような事態を回避することができる。
別の例として図3の下段に示す通り、踏切に対しては滝のオブジェクトを対応させた。踏切も、停止、即ち遮断機が下りた状態と、進行、遮断機があがった状態とが変化する。オブジェクトでは、これに適応させるため、停止に対しては滝の水が全幅で流れ落ちている状態を対応させ、進行に対しては滝の水が中央部分では流れ落ちていない状態を対応させるものとした。両者の変化は、信号機の場合と同様、全幅で流れる状態を表示してから一定時間経過した時点、または車両が移動を開始した時点で変化させるものとしている。
工事中のバリケードに対しては、壁のオブジェクトを対応づける。壁は、バリケードが車両のパスに対して与える回避という影響に適合したものとなっている。壁の長さは、バリケードが設けられた範囲に応じて変化させればよい。
駐車車両に対しては、寝ているライオンのオブジェクトを対応づけている。駐車車両は一種の障害物であり、車両のパスに対して回避という影響を与えるが、一方、移動する可能性のある対象物である。かかる対象物に対して、回避すべき対象物であり、かつ移動する可能性がある対象物として、本実施例では、寝ているライオンを対応づけた。この例では、駐車車両が移動を開始した時点で、ライオンを歩かせるようにしてもよい。
中段に示す通り、飛び出しに対しては、転がり落ちてくる丸太のオブジェクトを対応づけた。飛び出しは、車両に対して急停止という影響を与えるため、搭乗者に対して危険を感じさせるオブジェクトを対応づけることによって、両者の影響を適合させることができる。
下段に示す通り、対向車に対しては、転がってくる岩のオブジェクトを対応づけた。対向車も岩も、車両のパスに対して回避という影響を与えるため、適合したものとなっている。対向車の大きさや移動速度に応じて、岩のサイズや移動速度などを変化させてもよい。
以上で例示したように現実空間とオブジェクトを対応づけておくことにより、現実空間において車両の移動速度やパスが受ける影響に応じた仮想空間を表示することが可能となる。また、重要対象物を置換データベースによって所定のオブジェクトに置換することにより、搭乗者は、例えば、仮想空間表示に表示された穴を見て、現実空間には歩行者がいるというように、仮想空間表示を見ながら現実空間を認識することが可能となる。
以下、本実施例において車両を自動運転するとともに仮想空間を表示するための処理について説明する。以下の処理は、ハードウェア的には、車両に搭載された制御装置が実行する処理であり、図2に示した各機能ブロックおよびデータベースによって実現される処理である。
図6は、自動運転処理のフローチャートである。制御装置は、まず自動運転ルートを設定する(ステップS10)。ルートは、搭乗者によって指定された出発地から目的地までの経路探索によって自動的に設定するものとしてもよいし、搭乗者がコントローラの操作や音声によって指示するようにしてもよい。
ルートが設定されると、制御装置は次の手順で車両の自動運転を開始する。制御装置は、車両に搭載されたセンサの検出結果を3次元地図データベースと照合することによって、車両周囲の対象物を認識する(ステップS11)。また、GPS等のセンサによる検出結果と、3次元地図データベースおよび対象物の検出結果とを照合することで、自車位置および姿勢を認識する(ステップS12)。
次に、制御装置は、これらの認識結果に基づいて重要対象物を抽出する(ステップS13)。重要対象物とは、車両の移動速度およびパスに影響を与える対象物である。重要対象物の抽出は、種々の方法で行うことができる。例えば、車両の進行方向の所定の領域内に存在する対象物を全て重要対象物とする簡易な方法、種々の対象物と車両と衝突すると予測される対象物を重要対象物とする方法、速度標識や赤信号など車両の移動速度などを規制する対象物を重要対象物とする方法などを挙げることができる。
制御装置は、こうして抽出された重要対象物に基づいて、車両のパスおよび速度を設定する(ステップS14)。車両が走行すべきルートは既に設定されているため、本実施例では、重要対象物に応じて、ルートを修正等することによってパスを設定するものとした。図中にパスおよび速度の設定方法の概要を例示した。例えば、重要対象物として赤信号が抽出されている場合、車両のパス、速度に対しては「停止」という影響を与えるから、制御装置は、これに応じて車両の停止、即ち「速度=0」に設定する。重要対象物として歩行者、車などの障害物が抽出されている場合には、図示するように、車両が回避または停止することになる。制御装置は、重要対象物と車両との距離や位置などに応じて停止すべきか回避すべきかを判断し、回避すべき場合には、本来のルートから外れた回避パスを決定する。
こうして車両が走行すべきパスおよび速度が決定されると、制御装置は、車両制御、即ち車両の動力装置、制動装置、操舵装置を制御して、設定通りの走行を実現する(ステップS15)。
制御装置は、ステップS11〜S15の処理を目的地に到着するまで(ステップS16)、繰り返し実行する。
図7は、コマンド判定処理のフローチャートである。この処理は、自動運転処理と並行して制御装置が繰り返し実行する処理である。
処理を開始すると、制御措置はコントローラに対する操作および搭乗者の動作を検出する(ステップS30)。何も操作または動作が検出されないときは(ステップS31)、そのままコマンド判定処理を終了する。
例えば、右側の図の上段に示すように、コントローラの十字キー(図中のハッチング)が操作されたときは、仮想空間に表示されている画面に応じて種別が異なる。経路選択メニュー画面が表示されているときは、種別は「運転制御」と判断される。この場合の操作に応じた指示は、メニューに表示された経路の選択となる。その他の画面が表示されているときは、種別は「表示モード固有」と判断される。この場合の操作に応じた指示は、表示モードに応じて異なる。例えば、図の例では、ゲームモードのときは移動が指示され、読書モードのときはページめくりが指示され、会議モードのときはズームが指示されることになる。
右側の図の2段目に示すように、コントローラのボタン(図中のハッチング)が操作されたときは、種別は「運転制御」と判断され、停止が指示される。このようにコントローラの特定のボタンは、表示モードと無関係に運転制御と判断されるようにしておくことにより、このボタンを緊急停止ボタンとして機能させることが可能となる。
右側の図の3段目に示すように、搭乗者の動作に対しても種別は判断することができる。図の例では、搭乗者が手を交差する動作をしたときは、種別は「運転制御」と判断され、停止が指示される。こうすることで、非常時にはコントローラの操作に依らずに車両を緊急停止することができる。かかる指示を与える動作として、危険を感じたときに搭乗者が無意識にとる可能性が高い動作を選択しておくことにより、自然な動作による指示が可能となり安全性を向上させることが可能となる。図に示した手を交差するという動作も、何らかの対象物に衝突しそうな状況に遭遇したときに、思わず搭乗者がとる動作の一例である。
操作および動作に応じた種別の判断は、図示した対応関係を予めデータベース等で用意しておくことにより容易に行うことが可能となる。
操作または動作が「表示モード固有」と判断される場合(ステップS31)、制御装置は、表示モードに応じた指示を仮想空間表示処理に対して出力する(ステップS33)。仮想空間表示処理の処理内容は、後述するが、ヘッドマウントディスプレイに表示する仮想空間画像を生成する際に、搭乗者による指示が反映させることになる。
制御装置は、以上のコマンド判定処理を繰り返し実行することにより、搭乗者の意図を、車両の運転または仮想空間の表示に反映させることができる。
図8は、仮想空間表示処理のフローチャートである。搭乗者が装着したヘッドマウントディスプレイに仮想空間の画像を表示させるための処理である。制御装置は、この処理も、自動運転処理(図6)、コマンド判定処理(図7)と並行して繰り返し実行する。
処理を開始すると、制御装置は、表示モードの選択を行う(ステップS50)。例えば、図中に示すように「ゲーム」「読書」「会議」といった表示モードを表すボタンをメニューとして表示し、搭乗者の選択を入力するようにしてもよい。一旦、表示モードが選択された後は、ステップS50をスキップするようにしてもよいし、表示モードの選択メニューを常に画面の端などに表示しておき、任意のタイミングで表示モードを切り替えることができるようにしてもよい。
次に、制御装置は、自車位置、姿勢を読み込む(ステップS51)。これらの情報は、自動運転処理において認識された結果(図6のステップS12参照)を用いるようにしてもよい。
また、制御装置は、重要対象物置換処理を実行する(ステップS52)。この処理は、車両の周辺に存在する重要対象物を、置換データベースに基づいて、仮想空間に表示するためのオブジェクトに置換する処理である。処理の内容は後で詳述する。
表示モードが「ゲーム」の場合は、ゲーム画面を表示する(ステップS54)。図中にゲーム画面の表示例を示した。この画面では、重要対象物の一つである自転車は、転がる岩に置換されて表示されている。また、一般対象物も、置換データベースに基づいてオブジェクトに置換され、ゲームの背景を構成している。従って、ゲーム画面では、仮想空間ながら、自身が移動すべき道が認識できるような画像となっている。
もっとも、ゲーム画面の表示は、かかる方法に限られない。一般対象物については、必ずしも何らかのオブジェクトに置換する必要はない。即ち、ゲーム画面の背景画像は、一般対象物と無関係の画像として生成することができる。ゲームの背景を、水中の画像などとしても構わない。かかる場合でも、重要対象物は、置換データベースに基づいて所定のオブジェクトに置換して表示する。ゲームの背景であれば、重要対象物である自転車を、水中を泳ぐサメなどに置換してもよい。かかる置換は、置換データベースの対応関係をゲームの背景画像に応じて用意しておくことにより、容易に実現可能である。
表示モードが「読書」の場合は、読書画面を表示する(ステップS55)。図中に読書画面の表示例を示した。この画面では、読書する書籍を中央に表示している。仮想空間表示のリアリティを向上させるため、現実の書籍を表した画像とした。搭乗者は、コントローラの操作等によって、書籍のページをめくり、読書を楽しむことができる。また、操作によって読書の一部を拡大表示するなどの機能をもたせてもよい。読書画面では、搭乗者が車両の移動を体感しながら読書しても違和感を覚えないように、書籍の背景に、車両の移動に合わせて流れる風景を表示している。また、書籍の下方には、車両の移動に即したパスを表す矢印を表示している。こうすることにより、搭乗者は読書に意識を払いながらも、自然と目に入る周囲の画像によって、自身の体感に即した車両の移動を認識することができるため、違和感を覚えることなく読書を継続することができる。また、重要対象物は、読書画面表示においても表示される。図の例では、歩行者を表す穴がパスとともに表示されている。こうすることによって、搭乗者は、仮想空間内での理解ではあるが、車両がパスを変化させた理由を理解することができ、違和感を回避することが可能となる。読書画面における背景画像、パス、および重要対象物の表示は、この例に限らず、種々の表示が可能である。
表示モードが「会議」の場合は、会議画面を表示する(ステップS56)。図中に会議画面の表示例を示した。この画面では、テレビ会議の画像を中央に表示している。テレビ会議の画像は、現実空間における他の会議室での様子をカメラで撮影した画像を、ネットワーク経由で取得すればよい。搭乗者は、コントローラの操作等によって、視点を移動させたり、拡大表示、会議資料の表示への切り替えなどの機能をもたせてもよい。会議画面では、会議画像の背景に、車両の移動に合わせて流れる風景を表示している。また、会議画像の下方には、車両の移動に即したパスを表す矢印を表示している。こうすることにより、搭乗者は会議をしながらも、自然と目に入る周囲の画像によって、自身の体感に即した車両の移動を認識することができるため、違和感を覚えない。また、重要対象物は、読書画面と同様、会議画面表示においても表示されている。会議画面における背景画像、パス、および重要対象物の表示は、この例に限らず、種々の表示が可能である。
制御装置は、自車位置、姿勢、重要対象物、表示モードを読み込む(ステップS70)。そして、置換データベースを参照し、重要対象物を仮想空間に表示するためのオブジェクトに置換する(ステップS71)。重要対象物は、表示モードに応じて異なるオブジェクトに置換するようにしてもよい。
しかし、穴の位置によっては、図中のパスA、パスBのいずれをとっても不自然とは言えない状態になることがある。かかる状態では、搭乗者が穴を見てパスBのように回避すべきと認識したにも関わらず、車両はパスAのように移動することが生じうるため、搭乗者の認識と車両のパスとが食い違う可能性がある。
これに対し、現実空間において歩行者が矢印のように移動している場合には、ハッチングを付した状態のように穴を拡大して表示するとする。かかる状態の穴を回避するためのパスとしては、パスAと大回りのパスCとが存在するが、自車位置を考えるとパスAの方が自然であることは明らかである。制御装置も、歩行者が矢印のように移動していることを検知しているから、安全な経路として、パスAを選択する。従って、ハッチングを施した表示を行えば、搭乗者の認識と、車両の移動とを適合させることができ、搭乗者が違和感を覚える可能性をさらに抑制できる利点がある。
ステップS72では、上述の通り、現実空間において車両のとるパスに適合するようにオブジェクトにエフェクトを施すのである。エフェクトの例としては、図示したような形状の変化の他、サイズの変化、オブジェクト自体の移動などが挙げられる。具体的には、自動運転処理において設定された車両のパス、速度(図6のステップS14参照)を取得し、それに適合するようにエフェクトの内容を決定すればよい。また、エフェクトには、このように置換データベースに記憶されているオブジェクトの形状等を変化させる処理の他、置換データベースに複数の態様が格納されている場合に、その中から適切なものを選択する処理も含まれる。例えば、図3の信号機の例で示したように、信号機の色に応じて、閉じた門、開いた門のいずれかを選択する処理が挙げられる。
以上で説明した実施例の仮想空間表示システムによれば、搭乗者に対して、現実空間の車両の移動に適合した仮想空間、即ち移動体の動きを正当化させる画像を表示することができる。この結果、現実空間において重要対象物を検知して移動体が決定するパスと、仮想空間におけるオブジェクトを見て搭乗者が意識する移動状態とを一致させることができる。この結果、搭乗者は仮想空間を見ながらも、移動体の動きに対して違和感を覚えることを回避できるのである。また、搭乗者は、移動体の動きについて、現実空間では何が起きているのだろう、といった疑問を感じることなく、仮想空間に没入することが可能となる。逆に、現実空間における移動体の動きが、仮想空間における搭乗者の体感と適合することによって、仮想空間のリアリティを向上させる効果もある。こうして、実施例の仮想空間表示システムによれば、仮想空間への没入と、否応なしに体感する現実空間の動きに対する違和感の軽減とを両立させることができる。
次に実施例2における仮想空間表示システムについて説明する。実施例1では、人物が移動体に搭乗して移動する例を示したのに対し、実施例2では、人物自身が移動する例を示す。
図10は実施例2としての仮想空間表示の概要を示す説明図である。テーマパークのアトラクションとしての例を示した。この例では、アトラクションのプレーヤーP1は、ヘッドマウンドディスプレイHMDを装着して、仮想空間VW2を視ながら、仮想空間内に現れるモンスターCVを捕まえる遊戯を行うことができる。
システム構成は、実施例1(図2参照)と同様である。ただし、自動運転に必要な機能ブロック、即ち自動運転制御部116、3次元地図データベース113は省略しても差し支えない。また、アトラクションの内容によってモード処理部117内の読書処理部117b、会議処理部117cなども省略可能である。位置・姿勢検出部112は、プレイヤーP1が装着するヘッドマウントディスプレイHMDにGPSなどを取り付けても良いし、アトラクション内にカメラやセンサを設けてプレイヤーP1の位置を検出するようにしてもよい。
また、周辺状況検出部111は、ヘッドマウントディスプレイHMDに、外部の状況を撮影するカメラを統合してもよいし、アトラクションのように遊戯を行うエリア内の障害物の位置や種類、他のプレイヤーP2の位置などが把握されている場合には、これらの情報を活用するものとしてもよい。
本発明は、このように、表示装置を装着した人物自身が自らの意思で移動している場合にも適用することが可能であり、実施例1と同様の効果を得ることができる。
実施例2は、歩行する例を示したが、例えば、ヘッドマウントディスプレイHMDを装着した人物が、何らかの移動体を運転する場合に本発明を適用することも可能である。具体的には、倉庫内などの非常に狭く見通しが悪い通路においてカート運転する場合に、運転者が装着したヘッドマウントディスプレイに、通路を真上から見下ろした平面図とそこを移動する自身のカートや他の歩行者、カートなどを表示させてもよい。こうすることで、運転者は平面内を移動させるようにカートの進路を適切に制御しながら運転することができ、また、他の歩行者等の位置も容易に把握できるため、安全に運転することが可能となる。
例えば、本実施例では、オブジェクトが変化する態様も含めて置換データベースに格納するものとしたが、置換データベースには基本形状のみを格納し、オブジェクトの変化は全てエフェクトで処理するようにしてもよい。
本実施例では、重要対象物のエフェクト(図9のステップS72)において、自動運転処理で特定されたパス等の情報を用いているが、信号機や踏切のように規則的に変化するオブジェクトについては、自動運転処理からの情報を利用せずにエフェクトを施すようにしてもよい。例えば、重要対象物について、規則的に変化するか否か、車両のパスまたは移動速度に対して与える影響が「停止」「回避(曲がる)」「進む」のいずれであるかなどによって、複数の区分に分類し、自動運転処理からの情報を利用するもの、利用しないものに分けて処理する方法をとることができる。こうすることによって、信号機などのように規則的に変化するオブジェクトの処理を軽い負荷で済ませることができる利点がある。
101…センサ
110…主制御部
111…周辺状況検出部
112…位置・姿勢検出部
113…3次元地図データベース
114…置換データベース
115…ルート設定部
116…自動運転制御部
117…モード処理部
117a…ゲーム処理部
117b…読書処理部
117c…会議処理部
118…仮想空間表示部
119…コマンド判定部
130…ヘッドマウントディスプレイ
131…動作検出部
132…コントローラ
Claims (11)
- 人物に対して当該人物の周囲の実環境とは異なる仮想空間の表示を行う仮想空間表示システムであって、
前記人物に対して前記仮想空間を表示するための表示装置と、
前記人物の周囲に存在する対象物のうち、その有無によって該人物が、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える重要対象物を特定する周辺状況検出部と、
前記重要対象物を所定の規則に基づいて前記体感または予測に与える影響に適合したオブジェクトに置換して前記表示装置に前記仮想空間を表示させる仮想空間表示部とを備える仮想空間表示システム。 - 請求項1記載の仮想空間表示システムであって、
前記表示装置は、前記人物が装着する装着型表示装置または没入型表示装置である仮想空間表示システム。 - 請求項1または2記載の仮想空間表示システムであって、
前記人物は、自動運転または他人によって運転される移動体の搭乗者であり、
前記重要対象物は、その有無によって前記移動体が移動するパスに影響を与える対象物である仮想空間表示システム。 - 請求項1〜3いずれか記載の仮想空間表示システムであって、
前記周辺状況検出部は、前記人物が移動する速度に影響を与える対象物も重要対象物として特定する仮想空間表示システム。 - 請求項1〜4いずれか記載の仮想空間表示システムであって、
前記重要対象物は、その外観が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示する仮想空間表示システム。 - 請求項1〜5いずれか記載の仮想空間表示システムであって、
前記重要対象物は、その位置が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示する仮想空間表示システム。 - 請求項1〜6いずれか記載の仮想空間表示システムであって、
前記仮想空間表示部は、前記重要対象物の種別に応じた所定の対応関係で前記オブジェクトへの置換を行う仮想空間表示システム。 - 請求項1〜7いずれか記載の仮想空間表示システムであって、
前記仮想空間表示部は、前記重要対象物以外に前記移動体の周囲に存在する一般対象物の少なくとも一部について、所定の規則に従ってオブジェクトに置換して前記仮想空間を表示する仮想空間表示システム。 - 請求項1〜8いずれか記載の仮想空間表示システムであって、
前記仮想空間は、前記搭乗者が遊戯を行うための遊戯用の空間である仮想空間表示システム。 - 人物に対して当該人物の周囲の実環境とは異なる仮想空間の表示を行う仮想空間表示方法であって、
コンピュータが実行するステップとして、
前記人物の周囲に存在する対象物のうち、その有無によって該人物が、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える重要対象物を特定するステップと、
前記人物に対して前記仮想空間を表示するための表示装置に対して、前記重要対象物を所定の規則に基づいて前記体感または予測に与える影響に適合したオブジェクトに置換して前記仮想空間を表示させるステップとを備える仮想空間表示方法。 - 人物に対して当該人物の周囲の実環境とは異なる仮想空間の表示を行うためのコンピュータプログラムであって、
前記人物の周囲に存在する対象物のうち、その有無によって該人物が、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える重要対象物を特定する機能と、
前記人物に対して前記仮想空間を表示するための表示装置に対して、前記重要対象物を所定の規則に基づいて前記体感または予測に与える影響に適合したオブジェクトに置換して前記仮想空間を表示させる機能とをコンピュータに実現させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/005677 WO2017142009A1 (ja) | 2016-02-18 | 2017-02-16 | 仮想空間表示システム |
US16/105,738 US10593126B2 (en) | 2016-02-18 | 2018-08-20 | Virtual space display system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016028809 | 2016-02-18 | ||
JP2016028809 | 2016-02-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017146963A true JP2017146963A (ja) | 2017-08-24 |
JP6232649B2 JP6232649B2 (ja) | 2017-11-22 |
Family
ID=59683154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017003240A Active JP6232649B2 (ja) | 2016-02-18 | 2017-01-12 | 仮想空間表示システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10593126B2 (ja) |
JP (1) | JP6232649B2 (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019049831A (ja) * | 2017-09-08 | 2019-03-28 | パナソニックIpマネジメント株式会社 | 映像表示制御装置、映像表示システムおよび映像表示制御方法 |
WO2019064872A1 (ja) * | 2017-09-29 | 2019-04-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2019117432A (ja) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | 表示制御装置 |
CN111133367A (zh) * | 2017-09-26 | 2020-05-08 | 奥迪股份公司 | 用于至少在第一人员和第二人员之间进行虚拟会晤的方法和系统 |
KR20200062328A (ko) * | 2017-10-12 | 2020-06-03 | 아우디 아게 | 자동차에서 적어도 한 쌍의 가상 현실 안경을 작동하기 위한 방법 및 시스템 |
KR20200062266A (ko) * | 2017-10-04 | 2020-06-03 | 아우디 아게 | 멀미를 겪지 않고 차량에서 디지털 콘텐츠 보기 |
JP2020103782A (ja) * | 2018-12-28 | 2020-07-09 | トヨタ紡織株式会社 | 空間提供システム |
CN111976742A (zh) * | 2019-05-22 | 2020-11-24 | 丰田自动车株式会社 | 信息处理装置、自动驾驶车辆、信息处理方法和存储介质 |
JP2021026431A (ja) * | 2019-08-02 | 2021-02-22 | 株式会社Nttドコモ | 仮想空間表示装置 |
JP2021040871A (ja) * | 2019-09-10 | 2021-03-18 | 株式会社カプコン | ゲームプログラム、ゲーム装置、及びゲームシステム |
JP2021053421A (ja) * | 2019-10-01 | 2021-04-08 | 株式会社カプコン | ゲームプログラム、コンピュータ、及びゲームシステム |
JP2021084038A (ja) * | 2019-11-28 | 2021-06-03 | 株式会社カプコン | ゲームプログラム、コンピュータ、及びゲームシステム |
KR20210077843A (ko) * | 2019-12-17 | 2021-06-28 | 이휘원 | 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템 |
JP2021111029A (ja) * | 2020-01-07 | 2021-08-02 | トヨタ自動車株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
KR20220104067A (ko) * | 2017-09-26 | 2022-07-25 | 아우디 아게 | 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템 |
JP2022165229A (ja) * | 2021-04-19 | 2022-10-31 | 株式会社カプコン | システム、プログラムおよび移動体 |
US11736669B2 (en) | 2021-06-11 | 2023-08-22 | Toyota Jidosha Kabushiki Kaisha | Image projection device, medium, and image projection method |
US12062232B2 (en) | 2017-10-04 | 2024-08-13 | Audi Ag | Viewing digital content in a vehicle without suffering from motion sickness |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116537A (ja) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
JP7190261B2 (ja) * | 2018-04-27 | 2022-12-15 | 日立Astemo株式会社 | 位置推定装置 |
JP2020013416A (ja) | 2018-07-19 | 2020-01-23 | 株式会社アルファコード | 仮想空間画像提供装置および仮想空間画像提供用プログラム |
DE102018213634A1 (de) * | 2018-08-13 | 2020-02-13 | Audi Ag | Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Anzeigeeinrichtung und Anzeigeeinrichtung zum Verwenden in einem Kraftfahrzeug |
US10766483B2 (en) * | 2018-08-22 | 2020-09-08 | International Business Machines Corporation | Active vehicle virtual reality prevention of predictive motion sickness |
DE102018216383B4 (de) * | 2018-09-25 | 2023-12-07 | Audi Ag | Verfahren und Steuereinrichtung zum Betreiben einer am Kopf tragbaren Anzeigeeinrichtung in einem Kraftfahrzeug |
US11294467B2 (en) | 2018-12-18 | 2022-04-05 | Immersion Corporation | Systems and methods for integrating environmental haptics in virtual reality |
DE102019116711A1 (de) * | 2019-06-19 | 2021-01-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, Vorrichtung und Fortbewegungsmittel zur Kinetosevermeidung während einer Verwendung einer Datenbrille im Fortbewegungsmittel |
DE102019116712A1 (de) * | 2019-06-19 | 2020-12-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Kinetosevermeidung während einer Verwendung einer Datenbrille in einem Fortbewegungsmittel |
KR102614495B1 (ko) * | 2019-08-02 | 2023-12-15 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
DE102020108986A1 (de) | 2020-04-01 | 2021-10-07 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel, Vorrichtung und Verfahren zum Steuern eines Computerspiels an Bord eines Fortbewegungsmittels |
DE102020128090A1 (de) | 2020-10-26 | 2022-04-28 | Man Truck & Bus Se | Entertainment-Vorrichtung für Kraftfahrzeuge zur Bereitstellung einer Entertainment-Anwendung und Verfahren zum Festlegen eines Zugriffs und/oder einer konkreten Bereitstellung auf die Entertainment-Anwendung |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013257716A (ja) * | 2012-06-12 | 2013-12-26 | Sony Computer Entertainment Inc | 障害物回避装置および障害物回避方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008230296A (ja) | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | 車両用運転支援システム |
DE102010040803A1 (de) * | 2010-09-15 | 2012-03-15 | Continental Teves Ag & Co. Ohg | Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs |
JP5691568B2 (ja) * | 2011-01-28 | 2015-04-01 | ソニー株式会社 | 情報処理装置、報知方法及びプログラム |
EP3416153A1 (en) * | 2011-05-03 | 2018-12-19 | iOnRoad Technologies Ltd. | Parking space identifying method and system |
US20130083061A1 (en) * | 2011-09-30 | 2013-04-04 | GM Global Technology Operations LLC | Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers |
KR102028720B1 (ko) * | 2012-07-10 | 2019-11-08 | 삼성전자주식회사 | 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법 |
US9908048B2 (en) * | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US9630631B2 (en) * | 2013-10-03 | 2017-04-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
JP5842110B2 (ja) * | 2013-10-10 | 2016-01-13 | パナソニックIpマネジメント株式会社 | 表示制御装置、表示制御プログラム、および記録媒体 |
CN109828671B (zh) * | 2014-01-23 | 2022-02-22 | 索尼公司 | 图像显示装置和图像显示方法 |
US20150321606A1 (en) * | 2014-05-09 | 2015-11-12 | HJ Laboratories, LLC | Adaptive conveyance operating system |
US10449445B2 (en) * | 2014-12-11 | 2019-10-22 | Elwha Llc | Feedback for enhanced situational awareness |
US20170103574A1 (en) * | 2015-10-13 | 2017-04-13 | Google Inc. | System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience |
US10717406B2 (en) * | 2015-10-26 | 2020-07-21 | Active Knowledge Ltd. | Autonomous vehicle having an external shock-absorbing energy dissipation padding |
US11112266B2 (en) * | 2016-02-12 | 2021-09-07 | Disney Enterprises, Inc. | Method for motion-synchronized AR or VR entertainment experience |
-
2017
- 2017-01-12 JP JP2017003240A patent/JP6232649B2/ja active Active
-
2018
- 2018-08-20 US US16/105,738 patent/US10593126B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013257716A (ja) * | 2012-06-12 | 2013-12-26 | Sony Computer Entertainment Inc | 障害物回避装置および障害物回避方法 |
Non-Patent Citations (1)
Title |
---|
▲高▼下昌裕,小玉亮,田口峻,梶本裕之: "乗用車を用いた体感型エンタテインメントシステム", 第20回日本バーチャルリアリティ学会大会論文集, JPN6017013453, September 2015 (2015-09-01), JP, pages 400 - 401, ISSN: 0003621622 * |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019049831A (ja) * | 2017-09-08 | 2019-03-28 | パナソニックIpマネジメント株式会社 | 映像表示制御装置、映像表示システムおよび映像表示制御方法 |
JP7038217B2 (ja) | 2017-09-26 | 2022-03-17 | アウディ アクチェンゲゼルシャフト | 少なくとも第1の人物と第2の人物との間でバーチャル会議を行う方法およびシステム |
US11277584B2 (en) | 2017-09-26 | 2022-03-15 | Audi Ag | Method and system for carrying out a virtual meeting between at least a first person and a second person |
KR102445595B1 (ko) * | 2017-09-26 | 2022-09-20 | 아우디 아게 | 적어도 제1 사람과 제2 사람 사이의 가상 미팅을 수행하기 위한 방법 및 시스템 |
CN111133367A (zh) * | 2017-09-26 | 2020-05-08 | 奥迪股份公司 | 用于至少在第一人员和第二人员之间进行虚拟会晤的方法和系统 |
KR20200060451A (ko) * | 2017-09-26 | 2020-05-29 | 아우디 아게 | 적어도 제1 사람과 제2 사람 사이의 가상 미팅을 수행하기 위한 방법 및 시스템 |
KR20220104067A (ko) * | 2017-09-26 | 2022-07-25 | 아우디 아게 | 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템 |
CN111133367B (zh) * | 2017-09-26 | 2022-12-20 | 奥迪股份公司 | 用于至少在第一人员和第二人员之间进行虚拟会晤的方法和系统 |
KR102605318B1 (ko) * | 2017-09-26 | 2023-11-22 | 아우디 아게 | 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템 |
JP2020535489A (ja) * | 2017-09-26 | 2020-12-03 | アウディ アクチェンゲゼルシャフトAudi Ag | 少なくとも第1の人物と第2の人物との間でバーチャル会議を行う方法およびシステム |
JP7173024B2 (ja) | 2017-09-29 | 2022-11-16 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2019064872A1 (ja) * | 2017-09-29 | 2019-04-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JPWO2019064872A1 (ja) * | 2017-09-29 | 2020-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN111108531A (zh) * | 2017-09-29 | 2020-05-05 | 索尼公司 | 信息处理设备、信息处理方法以及程序 |
US11450020B2 (en) | 2017-09-29 | 2022-09-20 | Sony Corporation | Information processing apparatus, method for processing information, and computer program |
KR20200062266A (ko) * | 2017-10-04 | 2020-06-03 | 아우디 아게 | 멀미를 겪지 않고 차량에서 디지털 콘텐츠 보기 |
KR102403915B1 (ko) * | 2017-10-04 | 2022-05-31 | 아우디 아게 | 멀미를 겪지 않고 차량에서 디지털 콘텐츠 보기 |
JP2020536331A (ja) * | 2017-10-04 | 2020-12-10 | アウディ アクチェンゲゼルシャフトAudi Ag | 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること |
JP7002648B2 (ja) | 2017-10-04 | 2022-01-20 | アウディ アクチェンゲゼルシャフト | 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること |
US12062232B2 (en) | 2017-10-04 | 2024-08-13 | Audi Ag | Viewing digital content in a vehicle without suffering from motion sickness |
KR102442811B1 (ko) | 2017-10-12 | 2022-09-13 | 아우디 아게 | 자동차에서 적어도 한 쌍의 가상 현실 안경을 작동하기 위한 방법 및 시스템 |
KR20200062328A (ko) * | 2017-10-12 | 2020-06-03 | 아우디 아게 | 자동차에서 적어도 한 쌍의 가상 현실 안경을 작동하기 위한 방법 및 시스템 |
JP2020537258A (ja) * | 2017-10-12 | 2020-12-17 | アウディ アクチェンゲゼルシャフトAudi Ag | 自動車において少なくとも1つの仮想現実眼鏡を操作する方法およびシステム |
JP7012153B2 (ja) | 2017-10-12 | 2022-01-27 | アウディ アクチェンゲゼルシャフト | 自動車において少なくとも1つの仮想現実眼鏡を操作する方法およびシステム |
JP2019117432A (ja) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | 表示制御装置 |
JP7326740B2 (ja) | 2018-12-28 | 2023-08-16 | トヨタ紡織株式会社 | 空間提供システム |
JP2020103782A (ja) * | 2018-12-28 | 2020-07-09 | トヨタ紡織株式会社 | 空間提供システム |
CN111976742A (zh) * | 2019-05-22 | 2020-11-24 | 丰田自动车株式会社 | 信息处理装置、自动驾驶车辆、信息处理方法和存储介质 |
JP2020189579A (ja) * | 2019-05-22 | 2020-11-26 | トヨタ自動車株式会社 | 情報処理装置、自律走行車両、情報処理方法及びプログラム |
JP7268481B2 (ja) | 2019-05-22 | 2023-05-08 | トヨタ自動車株式会社 | 情報処理装置、自律走行車両、情報処理方法及びプログラム |
CN111976742B (zh) * | 2019-05-22 | 2023-12-01 | 丰田自动车株式会社 | 信息处理装置、自动驾驶车辆、信息处理方法和存储介质 |
JP2021026431A (ja) * | 2019-08-02 | 2021-02-22 | 株式会社Nttドコモ | 仮想空間表示装置 |
JP7431538B2 (ja) | 2019-09-10 | 2024-02-15 | 株式会社カプコン | ゲームプログラム、車両、及びゲームシステム |
JP2021040871A (ja) * | 2019-09-10 | 2021-03-18 | 株式会社カプコン | ゲームプログラム、ゲーム装置、及びゲームシステム |
JP2021053421A (ja) * | 2019-10-01 | 2021-04-08 | 株式会社カプコン | ゲームプログラム、コンピュータ、及びゲームシステム |
JP2021084038A (ja) * | 2019-11-28 | 2021-06-03 | 株式会社カプコン | ゲームプログラム、コンピュータ、及びゲームシステム |
KR20210077843A (ko) * | 2019-12-17 | 2021-06-28 | 이휘원 | 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템 |
KR102387352B1 (ko) * | 2019-12-17 | 2022-04-15 | 이휘원 | 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템 |
JP7247901B2 (ja) | 2020-01-07 | 2023-03-29 | トヨタ自動車株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP2021111029A (ja) * | 2020-01-07 | 2021-08-02 | トヨタ自動車株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP7273328B2 (ja) | 2021-04-19 | 2023-05-15 | 株式会社カプコン | システム、プログラムおよび移動体 |
JP2022165229A (ja) * | 2021-04-19 | 2022-10-31 | 株式会社カプコン | システム、プログラムおよび移動体 |
US11736669B2 (en) | 2021-06-11 | 2023-08-22 | Toyota Jidosha Kabushiki Kaisha | Image projection device, medium, and image projection method |
Also Published As
Publication number | Publication date |
---|---|
US10593126B2 (en) | 2020-03-17 |
US20180357836A1 (en) | 2018-12-13 |
JP6232649B2 (ja) | 2017-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6232649B2 (ja) | 仮想空間表示システム | |
WO2017142009A1 (ja) | 仮想空間表示システム | |
US10215583B2 (en) | Multi-level navigation monitoring and control | |
CN104515531B (zh) | 增强的3-维(3-d)导航系统和方法 | |
US9902403B2 (en) | Sensory stimulation for an autonomous vehicle | |
CN106463060B (zh) | 处理装置、处理系统和处理方法 | |
US10043316B2 (en) | Virtual reality experience for a vehicle | |
US9922466B2 (en) | Virtual reality experience for a vehicle | |
US20140362195A1 (en) | Enhanced 3-dimensional (3-d) navigation | |
US10546560B2 (en) | Systems and methods for presenting virtual content in a vehicle | |
JP7331696B2 (ja) | 情報処理装置、情報処理方法、プログラム、および移動体 | |
US20160054563A9 (en) | 3-dimensional (3-d) navigation | |
WO2020113187A1 (en) | Motion and object predictability system for autonomous vehicles | |
JP7322713B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11955019B2 (en) | User interfaces for mutually exclusive three dimensional flying spaces | |
Zihsler et al. | Carvatar: increasing trust in highly-automated driving through social cues | |
JP5256075B2 (ja) | 速度感覚制御装置 | |
WO2020183893A1 (ja) | 情報処理装置及び情報処理方法、並びに移動体装置 | |
JP2017194961A (ja) | 車両の運転において運転者を支援する方法および運転者支援システム | |
US20210192851A1 (en) | Remote camera augmented reality system | |
JP2021166627A (ja) | ゲームプログラム、コンピュータ、及びゲームシステム | |
JP7340078B2 (ja) | 情報処理装置及びプログラム | |
JP7247901B2 (ja) | 移動体制御装置、移動体制御方法、およびプログラム | |
JP7273477B2 (ja) | 表示制御装置、表示制御方法及び表示制御用プログラム | |
Williamson | Running into trouble: Exploring the negotiation of public space between running groups and other users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6232649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |