CN116114012A - 信息处理装置、信息处理方法和程序 - Google Patents
信息处理装置、信息处理方法和程序 Download PDFInfo
- Publication number
- CN116114012A CN116114012A CN202180054912.5A CN202180054912A CN116114012A CN 116114012 A CN116114012 A CN 116114012A CN 202180054912 A CN202180054912 A CN 202180054912A CN 116114012 A CN116114012 A CN 116114012A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual space
- change
- movement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000008859 change Effects 0.000 claims abstract description 171
- 238000000034 method Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 27
- 230000007423 decrease Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 description 106
- 238000012545 processing Methods 0.000 description 76
- 239000013598 vector Substances 0.000 description 57
- 230000008569 process Effects 0.000 description 33
- 208000012886 Vertigo Diseases 0.000 description 26
- 231100000889 vertigo Toxicity 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 210000004556 brain Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 208000002173 dizziness Diseases 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 230000002567 autonomic effect Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 208000035475 disorder Diseases 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000036632 reaction speed Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000000449 premovement Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
信息处理装置通过显示装置形成用户能够观察的虚拟空间,具备获取在虚拟空间中引起用户的位置的移动和用户的朝向的变化中的至少一方的信息的信息获取单元。信息处理装置具备基于所获取的信息,向显示装置输出使在虚拟空间中供用户观察的景象在规定的时间范围内发生变化的图像的控制单元。
Description
技术领域
本发明涉及信息处理装置、信息处理方法和程序。
背景技术
专利文献1所记载的虚拟现实程序所涉及的游戏系统具备:以覆盖玩家的视界的方式佩戴在玩家的头部的头戴式显示器、能够检测玩家的身体的动作的输入接收装置、以及计算机。
(现有技术文献)
(专利文献)
专利文献1:日本特开2019-005564号公报
(非专利文献)
非专利文件1:氏家弘裕,多田充德,兵头启一郎,S7-2伴随头部运动的、利用了HMD的图像观察所引起的VR眩晕(又称“VR晕动症”),人体工程学,2018,54卷,Supplement号,p.S7-2,2018/07/10
发明内容
(发明所要解决的问题)
根据非专利文献1,随着近年来头戴式显示器(以下,称为HMD)涌入市场,虚拟现实、人工现实感(以下,称为VR)环境正在为公众所熟悉。另一方面,有时会产生在VR环境中的眩晕、即VR眩晕。本发明的目的在于,提供防止VR环境中的VR眩晕的信息处理装置等。
(解决问题所采用的措施)
本发明的实施方式的一个方面,以信息处理装置为例而示出。
该信息处理装置通过显示装置形成用户能够观察的虚拟空间,该信息处理装置具备:
信息获取单元,其获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息;以及
控制单元,其基于所获取的信息,向所述显示装置输出使在所述虚拟空间中供所述用户观察的景象在规定的时间范围内发生变化的图像。
作为本发明的实施方式的另一方面的信息处理装置通过显示装置形成用户能够观察的虚拟空间,该信息处理装置具备:
信息获取单元,其获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息;以及
控制单元,其基于所获取的信息,以在所述虚拟空间中的所述用户的视线的移动方向上移动后位置比移动前位置变亮的方式形成图像,并将其输出给所述显示装置。
本发明的实施方式的另一方面,以上述信息处理装置等的至少一个计算机所执行的信息处理方法为例而示出。
本发明的实施方式的又另一方面,以使上述信息处理装置等的至少一个计算机执行的程序为例而示出。
(发明的效果)
如上所述,本发明可以提供防止VR环境中的VR眩晕的信息处理装置等。
附图说明
图1为本发明中的信息处理装置的框图。
图2为本发明的实施例一中的用户的移动方向的推移图。
图3为本发明的实施例一中的用户的视点方向的推移图。
图4为在本发明的实施例一中输出的图像的推移图。
图5为示出在本发明的实施例一中用户向高度方向改变移动方向的示例的图。
图6为示出在本发明的实施例二中用户向右转动时的图像输出例的图。
图7为示出在本发明的实施例二中用户向左转动时的图像输出例的图。
图8为示出本发明的实施例一中的处理的一个示例的流程图。
图9为示出本发明的实施例二中的处理的流程图。
图10为本发明的实施例三中的用户的移动方向的推移图。
图11为示出本发明的实施例三中的处理的一个示例的流程图。
图12为示出本发明的实施例四中的用户的移动时的坐标插值图像的图。
图13为示出本发明的实施例四中的用户的方向转换时的插值图像的图。
图14为示出本发明的实施例四中的处理的一个示例的流程图。
具体实施方式
以下,基于附图,说明本发明的一实施方式(也被称为实施例)中的信息处理装置和信息处理方法。
<第一实施例>
使用图1~图5和图8,说明第一实施例(也被称为实施例一)。
图1为示出本实施例中的信息处理装置的硬件结构的框图。信息处理装置10具有CPU(Central Processing Unit:中央处理器)101、主存储部102和通过各种接口连接的输入输出部件。CPU 101通过存储于主存储部102的程序执行信息处理。
信息处理装置10例如具备:有线接口(以下,称为有线I/F)103、无线接口(以下,称为无线I/F)104、通信接口(以下,称为通信I/F)105、外部存储部106、头戴式显示器(以下,称为HMD)107、控制器A 108A、和控制器B 108B。其中,信息处理装置10为例如被称为个人计算机、游戏设备、智能电话、便携式信息终端的电子设备。
CPU 101包括控制电路1011,执行在主存储部102中可执行地展开的计算机程序,提供信息处理装置10的功能。CPU 101可以是多核的,也可以包括执行信息处理等的专用处理器。CPU 101可包括用于执行信息处理、乘积累加运算、矢量运算、其他的处理的专用的硬件电路。
控制电路1011包括CPU、MPU(Micro Processor Unit:微处理器)、GPU(GraphicsProcessing Unit:图形处理器)等的各种处理器。控制电路1011具有控制整个信息处理装置10的功能。
控制电路1011执行存储在信息处理装置10所具有的主存储部102或者经由有线I/F103而连接的外部存储部106中的规定的应用程序,由此向HMD 107的显示装置1071提供虚拟空间。由此,控制电路1011可使HMD 107执行用于使用户沉浸于三维虚拟空间(VR空间)的动作。
主存储部102用于存储CPU 101所执行的计算机程序、CPU 101所处理的数据等。主存储部102构成为包括ROM(Read-Only Memory:只读存储器)、RAM(Random Access Memory:随机存取存储器)等的易失性存储器,其暂时存储CPU 101所使用的程序、运算形参等的控制用数据。主存储部102例如包括主存储器和只读存储器。主存储部102还包括动态随机存取存储器(DRAM)和高速缓冲存储器。在动作和使用时,若处理数据存储于主存储部102内,则主存储部102存储用于由CPU 101执行的命令的至少一部分。
除主存储部102外,信息处理装置10还可具有外部存储部106。外部存储部106例如作为用于辅助主存储部102的存储区域来使用,存储CPU 101所执行的计算机程序、CPU 101所处理的数据等。外部存储部106包括以快闪存储器、HDD(Hard Disk Drive:机械硬盘)为例而示出的盘驱动器(disk drive)等的非易失性存储器。外部存储部106存储用户的认证程序、包括与各种图像、对象(object)相关的数据的游戏程序等。在外部存储部106中还可以构筑包括用于管理各种数据的表(table)的数据库。
有线接口(以下,称为有线I/F)103传输CPU 101和外部存储部106之间的信息。被传输的数据例如为CPU 101所执行的计算机程序、CPU 101所处理的数据等的信息。有线I/F103构成为包括USB(Universal Serial Bus:通用串行总线)端子、DVI(Digital VisualInterface:数字视频接口端子)和HDMI(注册商标)(High-Definition MultimediaInterface:高清多媒体界面)端子等的各种连接端子,用于连接CPU 101和外部存储部106。有线I/F 103并不限定于此,也可以连接CPU 101和HMD 107、控制器A108A、控制器B 108B。
无线接口(以下,称为无线I/F)104用于无线连接CPU 101和HMD 107、控制器A108A和控制器B 108B,并传输两者之间的信息。被传输的信息例如为设置在HMD 107的加速度传感器1072所检测到的信息、用户向控制器A 108A或者控制器B 108B输入的信息、控制电路1011生成并向HMD 107输出的图像的信息。无线I/F 104并不限定于此,也可以无线连接CPU 101和外部存储部106,并传输两者之间的信息。无线I/F 104例如为Bluetooth LowEnergy(BLE:低功耗蓝牙)(注册商标)、无线局域网等。此外,图1的结构为信息处理装置10的一个示例,在实施例一和后述的实施例二至实施例四中,信息处理装置10并不限定于图1的结构。例如,可以是HMD 107、控制器A 108A和控制器B 108B中的任意一个或者全部通过有线I/F 103与CPU 101相连接的装置。即使HMD 107、控制器A108A和控制器B 108B中的任意一个通过有线I/F 103与CPU 101相连接,CPU 101也可以实施在实施例一至实施例四中所示出的处理。
通信接口(以下,称为通信I/F)105通过网络N与其他的装置交换数据。通信I/F105例如为可以与移动电话网络的基站相连接的终端侧的通信装置。通信I/F 105可包括对于无线局域网(Local Area Network)的接口、Bluetooth(蓝牙)(注册商标)、Bluetooth LowEnergy(BLE;低功耗蓝牙)(注册商标)的接口。
HMD 107存在诸如以覆盖双眼的方式进行佩戴,并完全覆盖眼睛的“非透过型”、“透过型”的类型。HMD 107并不限定于此,也可以是以覆盖单眼的方式进行佩戴的类型。在本实施例中,HMD 107包括显示装置1071和加速度传感器1072。此外,在HMD107中不设置加速度传感器1072,而与HMD 107独立地设置加速度传感器1072也可。
显示装置1071例如为液晶显示器、电致发光面板等。显示装置1071可由信号处理专用的处理器和存储在存储器等的程序形成。显示装置1071可包括专用的硬件电路。在实施例一和后述的实施例二至实施例四中,HMD 107包含于信息处理装置10,并与CPU101合作而向用户提供虚拟空间。其中,实施例一和后述的实施例二至实施例四的处理可由网络N上的其他的信息处理装置执行。在该情况下,HMD 107与其他的信息处理装置合作而向用户提供虚拟空间。在本实施例中,显示装置1071设置于HMD 107,但显示装置1071也可以包括眼镜。
显示装置1071具有构成为完全覆盖佩戴了HMD 107的用户的视界(视野)的非透过型的显示装置。由此,用户只能观察显示于显示装置1071的图像。即,用户失去外界的视野,因此用户可以沉浸于控制电路1011生成并显示于显示装置1071的虚拟空间的图像。
加速度传感器1072为用于测定规定的时间范围内的速度变化(加速度)的传感器。加速度传感器1072实时(每1/80秒)检测变化,并将所检测到的变化经由无线I/F 104发送给CPU 101的控制电路1011。加速度传感器1072搭载于HMD 107的显示装置1071的近旁,可通信地与控制电路1011相连接。加速度传感器1072包括地磁传感器、加速度传感器、倾角传感器、角速度(陀螺仪)传感器中的至少一种,可以检测佩戴于用户的头部的HMD 107的各种动作。加速度传感器1072并不限定于设置在HMD 107,也可用例如设置于外部的位置追踪相机(Position Tracking Camera)(位置传感器)等替代。
加速度传感器1072具有检测与设置在HMD 107的未图示的多个检测点的位置、倾角相关的信息的功能。其中,加速度传感器1072也可包括对HMD 107进行摄影的位置追踪相机。位置追踪相机检测设置在HMD 107的未图示的多个检测点的位置、速度、加速度等。检测点例如为发出红外线、可见光的发光部。作为加速度传感器1072的位置追踪相机包括红外线传感器、多个光学相机。控制电路1011从加速度传感器1072获取HMD 107的位置信息,由此可以准确地将虚拟空间中的虚拟相机的位置和现实空间中的佩戴了HMD 107的用户的位置关联起来。
接着,说明与HMD 107的位置、倾角(视轴的朝向)相关的信息的获取方法。可以用搭载于HMD 107的加速度传感器1072检测基于佩戴了HMD 107的用户的头部的动作的与HMD107的位置、倾角相关的信息。以佩戴了HMD 107的用户的头部为中心定义三维坐标系(XYZ坐标)。将用户直立的垂直方向设为Y轴,将与Y轴正交且连接显示装置1071的中心和用户的方向设为Z轴,将与Y轴和Z轴正交的方向设为X轴。
加速度传感器1072检测绕各轴的角度(即,由表示绕Y轴转动的偏航角(yawangle)、表示绕X轴转动的俯仰角(pitch angle)、表示绕Z轴转动的滚动角(roll angle)决定的倾角)。加速度传感器1072根据上述角度的随时间的变化,决定用于控制电路1011定义(控制)视野信息的角度(倾角)信息数据。
控制器A 108A和控制器B 108B为以用户分别用左右手把持或者分别佩戴于用户的左右手的状态进行操作的用于输入用户的指示的设备,是信息获取单元的一个示例。在本实施例中,控制器A 108A和控制器B 108B分别作为输入用户的指示的单元具有操作杆(stick)。例如,用户将控制器A 108A或者控制器B 108B的操作杆向左侧扳倒,由此,用户观察到在虚拟空间中将自身的身体的轴、即所观察的方向转动到左手方向时的景象。此外,用户将操作杆向右侧扳倒,由此,用户观察到在虚拟空间中将身体的轴、即所观察的方向转动到右手方向时的景象。用户输入指示的操作并不限定于用手指扳倒控制器的操作杆,输入指示的操作还可以如下:控制器具有按钮,用户的手指按压按钮而输入指示。
在本实施例中,考虑到用户分别用左右手把持控制器A 108A和控制器B 108B而进行操作,或者,在手上佩戴控制器A 108A和控制器B 108B而进行操作的情况,因此信息处理装置10具有两台控制器。不过,控制器的台数并不限定于两台,也可以是用户用双手把持一台控制器而输入指示,或者,用户以佩戴于双手的状态输入指示。此外,信息处理装置10也可以具有三台以上的控制器,通过用户用双手以外的部分(例如双脚)把持或者佩戴控制器而输入指示。控制器具有触控面板,用户用手指触摸触控面板而输入指示的结构也可。除游戏用控制台以外,控制器还可以是例如智能电话、PDA(Personal Digital Assistant:个人数字助理)、平板电脑、笔记本电脑(Note Personal Computer)等的具备触控显示器的便携式设备。
接着,使用图2~图4,说明第一实施例中的、用户的朝向、视线以及供用户观察的景象发生变化的状态。
图2为实施例一中的用户在虚拟空间中所识别的用户的移动状态的推移图。在此,关于移动状态,以用户的位置和供用户观察的虚拟空间中的方向(景象)为例而示出。图2所示的矢量P1~P8表示用户在向0度方向(从用户的角度观察时的跟前侧到进深侧、即对象21的方向)移动的过程中朝向了90度方向(从用户的角度观察时的右侧,即对象23的方向)时,规定的时间范围内的每帧的移动的方向矢量。
在实施例一中,在用户向0度(对象21)方向移动的过程中朝向90度(对象23)方向的情况下,用户并不是一下子从P1移动到P8。用户在规定的时间范围内阶段性地向P1、P2、P3……P8移动的方式,供用户观察的虚拟空间的景象发生变化。即,在供用户观察的虚拟空间的景象从P1方向的景象变化为P8方向的景象的期间,对移动的变化阶段进行插值而生成P2~P7方向的景象,并将P2~P7方向的景象向HMD 107输出。信息处理装置10的CPU 101所具有的控制电路1011所进行的该插值处理生成人在虚拟空间内向直行方向(0度方向)移动的过程中将朝向改变为90度方向时观察到的光景的变化。
图3为实施例一中的用户在虚拟空间中识别的自身的位置的变化和用户的视点方向的变化的推移图。图3所示的矢量P1~P8表示用户在向0度方向(从用户的角度观察时的跟前侧到进深侧,即对象21的方向)移动的过程中朝向了90度方向(从用户的角度观察时的右侧,即对象23的方向)时,规定的时间范围内的每帧的虚拟空间中的用户的位置和用户的视点方向的矢量。此外,图2的矢量P1~P8和图3的矢量P1~P8各自对应而表示相同的帧。即,在图2和图3中,通过矢量P1~P8示出时间的经过程度(时间序列)连动的情况。
着眼于图3中的从P1到P8为止的用户的视点方向的矢量。相对于P1中的用户的视点方向为0度方向(从用户的角度观察时的跟前侧到进深侧,即对象21的方向),P2中的用户的视点方向一下子变化为朝向90度方向(从用户的角度观察时的右侧,即对象23的方向)。此外,从P3到P8为止,用户的视点方向维持为90度方向。因此,比较图2中的用户的移动方向的矢量P1~P8和图3中的用户的视点方向的矢量P1~P8可知,P1和P8分别以0度方向、90度方向一致。然而,关于P2~P7,图2中的移动方向比0度大且比90度小,而图3中的视点方向均为90度。即,信息处理装置10(CPU 101)若识别出用户在现实空间中将朝向向右手方向转动90度,则将虚拟空间中的用户本身的朝向立即转动为如图3的矢量P2至P8所示那样。此时,信息处理装置10(CPU 101)将用户的虚拟空间中的移动方向从矢量P1的方向改变为矢量P8的方向。在该情况下,供用户观察的虚拟空间的方向(即,景象)如图2的矢量P1到P8所示那样以阶段性逐渐变化。该方向的变化(即,角度的变化)在最初较大,逐渐地变化的程度变小。
此外,在实施例一中,假设用户在虚拟空间中向所观察的方向移动。如图2、图3所示,关于检测到90度转动后的用户的移动量的成分,最初、例如从矢量P1到P2、从P到P3的矢量P1方向的移动量的成分大,矢量P8方向的移动量的成分小。之后,矢量P1方向的移动量的成分逐渐减少,矢量P8方向的移动量的成分逐渐增加。而且,在变化的最终阶段,矢量P8方向的移动量的成分占主导地位,最终,用户在虚拟空间中只剩下矢量P8的移动量的成分而用户在虚拟空间中向P8方向移动。信息处理装置10(CPU 101)在虚拟空间中使用户观察到上述景象。
图4为在实施例一中控制电路1011基于从加速度传感器1072所获得的信息生成并输出(显示)至HMD 107的显示装置1071的图像的推移图。P1~P8分别表示输出到HMD 107的显示装置1071的图像,在各图像中的箭头表示图像从P1变化至P8的期间,用户所观察的范围的变化的方向。此外,图2中的P1~P8、图3中的P1~P8和图4中的P1~P8在时间的经过程度(时间序列)上连动。
在P1中,表示随着用户向显示于图像中央的对象21方向(0度方向)行进,显示于图像中央的对象21和显示于图像右侧的对象22的尺寸看起来逐渐扩大。即,放射状的箭头表示用户所观察的虚拟空间的视角(Angle of view)逐渐变窄,被观察的景象、即观察对象逐渐被扩大、被拉进(zoom in)的过程。
在P2中,用户向对象21和对象22的方向移动的同时,朝向变化为90度方向。因此,在P1中用户在图像中央曾观察到的对象21从图像中消失,在P1中曾在图像的中央右侧观察到的对象22移动至图像的中央左侧,并以比P1的情况大的尺寸显示。此时,箭头示出被用户观察到的虚拟空间的景象从左侧流向右侧,对象22逐渐向右方向移动的情况。
在矢量P3的状态下,用户维持90度的视点方向而向对象22的近乎正面移动。因此,对象22以比矢量P2的状态大的尺寸显示于图像的大致中央。此时,箭头同样示出被用户观察到的虚拟空间的景象从左侧流向右侧,对象22逐渐向右方向移动的情况。
在矢量P4的状态下,用户维持90度的视点方向而向对象22的左侧附近且对象23的方向移动。因此,在图像的右端显示与P3的情况相比进一步扩大的尺寸的对象22。此外,在图像的左上小小地显示对象23。此时,如图2的矢量P4所示,用户在虚拟空间中逐渐朝向对象23。因此,在图4的矢量P4的状态下,箭头示出被用户观察到的虚拟空间的景象从左上流向右下侧,对象22逐渐向后方移动,对象23逐渐靠近的情况。
从图4的矢量P5到P7为止,用户维持90度的视点方向而向对象23的大致左方向移动。因此,对象23从图像的左上到中央以逐渐扩大的尺寸显示。在图4的矢量的P8状态下,由于用户维持90度的视点方向而以向对象23的大致左侧靠近的方式移动,因此在图像的右侧以比P7的情况大的尺寸显示对象23。此时,用户在虚拟空间中向矢量的图2的P8方向移动,因此,在图4的矢量P8的状态下,箭头示出在用户的正前方被观察到的景象逐渐扩大的情况。
假设,在显示于HMD 107所具备的显示装置1071的虚拟空间中用户向直行方向(0度方向,即P1方向)移动的过程中将移动方向改变为90度的方向的情况下,不进行P2~P7的插值而将用户的移动方向从P1改变为P8。在该情况下,在图4中,显示于HMD 107的显示装置1071的图像从图4的矢量P1的状态一下子变成P8的状态。在该情况下,在用户的脑海中浮现在景象从P1变化至P8的期间景象会向P2~P7逐渐改变的情景。此外,在现实世界中,若用户在步行中、利用自行车、汽车等的交通工具移动的过程中如图2、图3所示那样改变行进方向,则用户会体验到景象向P2~P7逐渐改变的情景。因此,若用户识别到在虚拟空间中从图4的矢量P1的状态一下子变成P8的状态,则会在用户的大脑意识或者现实世界中的体验和用户在虚拟空间中所观察到的景象之间产生差异。因此,用户容易产生VR眩晕。
然而,在实施例一的信息处理装置10中,控制电路1011在P1和P8之间插值P2~P7阶段性变化的景象。因此,能够维持用户的移动方向和大脑意识一致的状态。因此,通过使用实施例一的信息处理装置10,可抑制用户的VR眩晕。
上述的“规定的时间范围”、即从P1变化至P8的时间范围设定为例如0.1秒至0.3秒。该范围可根据人对于来自外部的刺激(例如,视觉刺激、听觉刺激)的反应速度来决定。因此,使用实施例一的信息处理装置10的用户的移动方向、视线方向和所观察的景象连动,并以人的反应速度为基准而阶段性地变化,因此可抑制用户产生VR眩晕的情况。
更进一步地,上述的“规定的时间范围”、即从P1变化至P8的时间范围设定为例如约0.2秒。这是因为根据经验可知,人对于来自外部的刺激(例如,视觉刺激、听觉刺激)的反应速度通常为约0.2秒。因此,使用实施例一的信息处理装置10的用户的移动方向、视线方向和所观察的景象连动,并与人的反应速度的平均值相匹配而阶段性地变化。如此,在信息处理装置10所进行的插值处理中,提供适当的加速度和延迟而能够防止用户的自主神经紊乱。详细地,在用户的移动和方向转换时,信息处理装置10提供“大脑日常感受到的延迟时间(约0.2秒)”和“在现实世界中日常感受到的加速度”。由此,信息处理装置10使用户的大脑觉得在VR空间中的动作、影像的延迟等“与日常生活动作没什么不同”,通过抑制自主神经紊乱,可抑制用户产生VR眩晕的情况。其中,延迟时间也可称为人对来自外部的刺激进行响应时的响应时间。此外,作为延迟时间,举例约0.2秒,但延迟时间并不限定于约0.2秒。以下,在各实施例中也相同。
当着眼于规定的时间范围内的用户在虚拟空间中移动的角度时,例如,图2的P2表示用户朝向了90度方向时的用户的移动方向。P1表示在用户朝向90度方向一帧之前的用户的移动方向。在图2中,从P1(0度)到P8(90度)为止,作为两者的中间时间点的P2~P7的矢量角度的变化程度逐渐减小。这表示控制电路1011基于在从原点出发的矢量的前端在相同半径的球面上移动时给出两个矢量而插值求出其中间的矢量的方法(所谓的球面线性插值),生成图像。“用户当前行进的方向(移动方向)”(矢量P1、P2、……、P7)和“用户朝向的方向(视点方向)”(矢量P8)的角度之差乘以衰减率(恒定比例)而求出进行球面线性插值时的矢量方向(角度)。在衰减率恒定的情况下,随着插值以P1、P2、……的方式推进,插值的角度逐渐变小。
此外,关于实施例一的图2中的用户的移动方向,比较从P1到P2的矢量的角度的变化和从P7到P8的矢量的角度的变化。在图2中,在用户的移动方向从P1(0度)变化为P2(大约35度)的情况下,角度变化大约35度。与之相对地,在图2中,在用户的移动方向从P7(85度)变化为P8(90度)的情况下,角度变化大约5度。因此,可以说在图2中用户的移动方向从P7变化为P8的角度比从P1变化为P2的角度平缓。同样地,可知从P2变化为P3、从P3变化为P4……从P6变化为P7的角度逐渐减小,逐渐平缓。
其中,关于规定的时间范围内的P1到P8的变化,分别规定为从P1到P5为止的变化为初期的期间部分,从P5到P8为止的变化为终期的期间部分。在该情况下,可以说是控制电路1011以所述终期的期间部分中的所述景象的每时间单位的变化与所述初期的期间部分中的所述景象的每时间单位的变化相比成为平缓的变化的方式,生成在虚拟空间中能够观察的图像并将其阶段性地输出给HMD 107的显示装置1071。由此,用户能够觉得在显示于HMD 107的虚拟空间中所观察到的景象的变化与人观察现实的景象时的变化相同。因此,用户对于显示于显示装置1071的图像的变化所持有的违和感少,可将其看作自然的景象,因此可抑制用户产生VR眩晕的情况。
更进一步地,在实施例一中,随着时间序列从P1推进到P2、从P2推进到P3……从P7推进到P8,球面线性插值的矢量方向发生变化的角度逐渐减小,变得平缓。因此,用户对于显示于显示装置1071的图像的变化所持有的违和感更少,可将其看作自然的景象,因此可进一步抑制用户产生VR眩晕的情况。
此外,在上述图2至图4中,说明了在虚拟空间中直行的用户将朝向向右手方向改变90度的情况下,信息处理装置10通过插值后的图像使用户在虚拟空间中观察到逐渐变化的景象的处理例。然而,信息处理装置10的处理并不限定于直行中的用户将朝向向右手方向改变90度的情况。即,CPU 101从加速度传感器1072或者控制器A 108A、控制器B 108B获取在虚拟空间中引起用户的位置的移动和用户的朝向的变化中的至少一方的信息。该信息还包括例如在不改变直行方向的前提下仅使加速度急剧变化的信息。此外,该信息并不限定于将朝向向右手方向改变90度,还包括以各种角度将朝向向左右改变的情况。此外,该信息还包括在不直行移动的前提下以各种角度仅将朝向向左右改变的情况。更进一步地,该信息不仅包括水平面内的变化,还包括向高度方向改变用户的朝向或者移动方向的情况。
图5为示出在虚拟空间中用户24向高度方向改变移动方向的示例的图。在图5中,虚拟空间中的用户24在地面25上例如从右手方向向左手方向移动。图5所示的箭头表示虚拟空间中的用户24的移动轨迹。在地面的左右方向的中央附近存在阶梯(高差)。通过信息处理装置10所进行的球面线性插值的处理,对在虚拟空间中越过阶梯(向高度方向改变移动方向)时的用户24的移动轨迹进行插值。因此,该轨迹被插值成以平滑的曲线越过阶梯的轨迹,而不是直线性轨迹。在现实世界中,用户在步行过程中越过阶梯时,能够体验到以如图5所示那样被插值成平滑曲线的轨迹越过阶梯的情况,而不是直线性轨迹。因此,能够维持用户的移动方向和意识一致的状态。因此,通过使用实施例一的信息处理装置10,即使在用户向高度方向改变移动方向的情况下,也可抑制用户的VR眩晕。
在图5中,示出了虚拟空间中的用户24在地面25上从右手方向向左手方向移动时的信息处理装置10进行的处理。然而,信息处理装置10进行的处理并不限定于此。在虚拟空间中的用户24在地面25上从左手方向向右手方向移动时,信息处理系统10对用户24的移动轨迹进行与图5相同的插值的处理也可。
CPU 101从加速度传感器1072或者控制器A 108A、控制器B 108B获取伴随着这种变化的现实世界的信号。之后,基于所获取的信号,在虚拟空间中使用户观察到如上插值的景象的变化。此外,球面线性插值为插值方法的一个示例,信息处理装置10所进行的插值并不限定于球面线性插值。信息处理装置10检测在虚拟空间中引起用户的朝向的变化、位置的移动等的信息(来自加速度传感器1072或者控制器A 108A、控制器B108B的信号)。在该情况下,信息处理装置10只要以在虚拟空间中朝着用户的朝向的变化终止状态下的朝向、位置的移动终止地点而逐渐降低加速度、角加速度的方式使用户的朝向、位置变化即可。此外,信息处理装置10在规定的时间范围内,进行连续的“线性插值(用直线拟合两点间的函数值的方法)”的处理而进行与球面线性插值近似的处理也可。其中,连续的“线性插值(用直线拟合两点间的函数值的方法)”的处理是指,用户的朝向、位置的变化从初期状态成为最终状态为止,迭代重复进行阶段性地进行线性插值的处理。以下,在各实施例中也相同。可以说与基于球面线性插值的插值处理相比,信息处理装置10的基于连续的线性插值的插值处理的处理负荷小。因此,通过信息处理装置10进行基于连续的线性插值的插值处理,相比于基于球面线性插值的插值处理,可减轻处理负荷的同时,可抑制用户产生VR眩晕的情况。
图8为示出实施例一中的处理的一个示例的流程图。首先,在实施例一的处理中,CPU 101获取来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号。来自加速度传感器1072的检测信号表示用户的姿态的变化、朝向的变化、用户的动作等。CPU 101基于来自加速度传感器1072的检测信号,生成反映出与虚拟空间中的用户的移动相伴的景象的变化的图像。此外,来自控制器A108A、控制器B 108B的操作信号例如为与虚拟空间中的用户的移动速度、加速度、移动方向等相关的指示。CPU 101基于该操作信号,生成反映出与虚拟空间中的用户的移动相伴的景象的变化的图像。
因此,在该处理中,CPU 101判定是否获取了来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号(步骤S1)。该检测信号或者操作信号可以说是在虚拟空间中引起用户的位置的移动和用户的朝向的变化中的至少一方的信息的一个示例。或者,可以说是CPU 101作为信息获取单元的一个示例而执行步骤S1的处理,所述信息获取单元获取在虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息。
在控制电路1011获取了来自加速度传感器1072的检测信号或者来自控制器A108A、控制器B 108B的操作信号的情况下(在步骤S2中“是”),进入步骤S3。控制电路1011基于所获取的检测信号或者操作信号,CPU 101生成虚拟空间中的图像。在控制电路1011没有获取到该检测信号、该操作信号中的任意一个的情况下(在步骤中S2中“否”),处理返回到步骤S1。
在步骤S3中,控制电路1011生成在虚拟空间中供用户观察的景象在规定的时间范围发生变化的图像。更为具体地,为了使基于虚拟空间中的用户的位置、速度、加速度和朝向中的至少一个的变化的被用户观察的图像的变化在从开始到规定时间为止的期间内完成,控制电路1011分多个帧而生成图像。此外,控制电路1011将规定的时间范围内的变化的期间分别规定为初期的期间部分、终期的期间部分。在该情况下,控制电路1011以终期的期间部分中的景象的每时间单位的变化与初期的期间部分中的景象的每时间单位的变化相比成为平缓的变化的方式,生成在虚拟空间中可观察的图像。控制电路1011通过无线I/F104将上述生成的图像阶段性地输出给HMD 107。通过该处理,控制电路1011使用户在虚拟空间中观察到在规定的时间范围阶段性地变化的景象。即,为了在虚拟空间形成如图4的矢量P1至P8所示的景象,控制电路1011以规定的帧周期向HMD 107输出对应的帧。控制电路1011作为控制单元的一个示例而执行步骤S3的处理,该控制单元向显示装置输出使在虚拟空间中供用户观察的景象在规定的时间范围发生变化的图像。
作为移动速度、移动方向的变化的示例,举例如下。在此,假设,通过左手的控制器用户“移动”,并在下文中均用左手操作控制器A 108A(或者控制器B 108B)等的操作杆。作为例一,在虚拟空间的用户朝向了0度方向时,用户将控制器的操作杆扳向+45度方向。在该情况下,虚拟空间的用户保持朝向0度方向下从停止状态平滑地加速的同时向45度方向斜向行进。若用户将手指从控制器A 108A等的操作杆移开而控制器A108A等的操作杆返回到原来的位置,则虚拟空间的用户平滑地减速而停止。其中,平滑地加速是,如上所述的那样加速度逐渐增加的情况。此外,平滑地减速是,加速度逐渐减小的情况。下同。
作为例二,在虚拟空间的用户朝向了0度方向时,用户将控制器A 108A等的操作杆扳向+180度方向。在该情况下,虚拟空间的用户保持朝向0度方向下从停止状态平滑地加速的同时进行后退(向180度方向行进)。若用户将手指从控制器A 108A等的操作杆移开而控制器A 108A等的操作杆返回到原来的位置,则虚拟空间的用户平滑地减速而停止。
作为例三,在虚拟空间的用户朝向了90度方向时,用户将控制器的操作杆A108A等扳向+30度方向。在该情况下,虚拟空间的用户保持朝向90度方向下从停止状态平滑地加速的同时向120度方向斜向行进。若用户将手指从控制器A 108A等的操作杆移开而控制器A108A等的操作杆返回到原来的位置,则虚拟空间的用户平滑地减速而停止。
作为例四,在虚拟空间的用户朝向了90度方向时,用户将控制器A 108A等的操作杆扳向-30度方向。在该情况下,虚拟空间的用户保持朝向90度方向下从停止状态平滑地加速的同时向60度方向斜向行进。若用户将手指从控制器A 108A等的操作杆移开而控制器A108A等的操作杆返回到原来的位置,则虚拟空间的用户平滑地减速而停止。
作为例五,在虚拟空间的用户朝向了90度方向时,用户将控制器A 108A等的操作杆扳向0度方向。在该情况下,虚拟空间的用户保持朝向90度方向下平滑地加速的同时向着所朝的方向笔直地行进。若用户将手指从控制器A 108A等的操作杆移开而控制器A108A等的操作杆返回到原来的位置,则虚拟空间的用户平滑地减速而停止。
作为例六,在虚拟空间的用户朝向-139度方向时,用户将控制器A 108A等的操作杆扳向0度方向。在该情况下,虚拟空间的用户保持朝向-139度方向下平滑地加速的同时向着所朝的方向笔直地行进。若用户将手指从控制器A 108A等的操作杆移开而控制器A 108A等的操作杆返回到原来的位置,则虚拟空间的用户平滑地减速而停止。
作为例七,举出在例一中虚拟空间的用户朝向斜向45度方向移动的过程中用户将视点向30度方向改变时的例子。在虚拟空间的用户朝向0度方向的同时用户将控制器A108A等的操作杆扳向+45度方向而使虚拟空间的用户朝向45度方向斜向行进的过程中,用户朝向30度方向。在该情况下,虚拟空间的用户保持朝向30度方向下其移动方向从45度平滑地变为75度,并保持朝向30度方向下向75度方向斜向行进。其中,如图2所示,移动方向从一方的角度平滑地变为另一方的角度是,在虚拟空间中朝向的变化的时间变化、即角加速度逐渐减小的情况。
根据实施例一,信息处理装置10基于来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号,能够使用户观察到在虚拟空间中阶段性地变化的景象。因此,供用户观察的景象接近于用户的预测或者用户在现实世界中体验的景象。因此,抑制虚拟空间中的用户的VR眩晕。
此外,在实施例一中,从上述矢量P1的状态到P8的状态的变化所需的规定的时间范围为0.1秒至0.3秒。该时间范围为在经验上或者人体工程学上适用于抑制用户的VR眩晕的时间。更进一步地,在实施例一中,上述规定的时间范围被设定为约0.2秒。该时间为在经验上或者人体工程学上更适用于抑制用户的VR眩晕的时间。如此,信息处理装置10所进行的插值处理提供适合于虚拟空间中的用户的动作的加速度和延迟,由此可防止用户的自主神经紊乱。详细地,信息处理装置10在用户的移动和方向转换等时提供“大脑日常感受到的延迟时间(约0.2秒)”和“在现实世界中日常感受到的加速度”。由此,信息处理装置10使用户的大脑觉得在VR空间中的动作、影像的延迟等“与日常生活动作没什么不同”,通过抑制自主神经紊乱,可进一步抑制用户产生VR眩晕的情况。
关于用户的移动方向的角度,从P7变化为P8的角度比从P1变化为P2的角度平缓。这可以说是终期的期间部分中的所述景象的每时间单位的变化为比所述初期的期间部分中的所述景象的每时间单位的变化平缓的变化的一个示例。
因此,用户对于显示于显示装置1071的上述景象的变化所持有的违和感少,可将其看作自然的景象。因此,可抑制虚拟空间内的用户的VR眩晕。
更进一步地,在实施例一中,对控制电路1011生成并向显示装置1071输出的虚拟空间的图像(景象)进行球面线性插值。随着时间序列从P1(初期的期间部分的开始时间点)推进到P2、从P2推进到P3……从P7推进到P8(终期的期间部分的结束时间点),上述球面线性插值的矢量方向的角度变化逐渐减小。
这可以说是从所述初期的期间部分的开始时间点到所述终期的期间部分的结束时间点为止,景象的每时间单位的变化为在虚拟空间中用户所观察的方向的角度变化逐渐减小的变化的一个示例。因此,用户对于显示于显示装置1071的图像的变化所持有的违和感更少,可将其看作自然的景象。因此,可进一步抑制虚拟空间内的用户的VR眩晕。
在图2至图4和图8中,说明了在用户向0度(对象21)方向移动的过程中,朝向90度(对象23)方向的情况的处理。用户在不改变朝向的前提下改变直行方向(前后方向)上的速度的处理或者从停止状态开始移动并之后停止的处理如下。CPU 101获取例如来自控制器A108A、控制器B 108B的操作信号,并将其判断为来自用户的移动开始、移动停止、移动速度、加速度等的指示。例如,用户将控制器A 108A或者控制器B 108B的操作杆向前扳倒,由此,用户开始在虚拟空间中前进(向直行方向的移动),并使移动速度、加速度等发生变化。此外,例如,从用户将控制器A 108A或者控制器B 108B的操作杆向前扳倒的状态恢复,由此,用户指示停止在虚拟空间中的前进(向直行方向的移动)。
如此一来,CPU 101使虚拟空间中的用户的加速度逐渐增加,并暂时加速至峰值速度,之后,为了停止而使加速度逐渐降低。更具体地,在显示于HDM 107所具有的显示装置1071的虚拟空间中,用户所观察的景象逐渐加速而快速变化,从而暂时以峰值速度发生变化。之后,用户所观察的景象以为了停止而使加速度逐渐降低的方式变化,最终停止变化。其中,峰值速度是,在虚拟空间中从用户开始前进(向直行方向的移动)到停止为止的期间内的最快的速度。
例如,在用户向前扳倒了操作杆时,花费约0.2秒从停止状态向朝向的方向平滑地加速。此外,为了从操作杆移开手指而使操纵杆返回到中立位置(neutral)而花费约0.2秒平滑地减速而停止,CPU 101改变在虚拟空间中用户所观察的图像的帧。通过这种处理,用户对于显示于显示装置1071的图像的变化所持有的违和感更少,可将其看作自然的景象。如此,信息处理装置10所进行的插值处理提供适合于虚拟空间中的用户的动作的加速度和延迟,由此可防止用户的自主神经紊乱。详细地,信息处理装置10在用户的移动和方向转换等时提供“大脑日常感受到的延迟时间(约0.2秒)”和“在现实世界中日常感受到的加速度”。由此,信息处理装置10使用户的大脑觉得在VR空间中的动作、影像的延迟等“与日常生活动作没什么不同”,通过抑制自主神经紊乱,可进一步抑制用户产生VR眩晕的情况。
<第二实施例>
使用图6,图7和图9,说明第二实施例(也被称为实施例二)。第一实施例和第二实施例的信息处理装置的结构共通,因此在本实施方式中省略图1的说明。图6涉及在实施例二的虚拟空间中,信息获取单元获取引起用户的位置的移动和所述用户的朝向的变化中的至少一方的信息的方面。而且,示出在用户向右转动的情况下,控制电路1011基于所获取的信息生成图像的例子。
在本图中,虚拟空间中的用户的移动后位置(转动的方向)、即图像的右端被明亮地显示(透明度100%),随着从图像的右端向左侧移动,图像逐渐变暗,在作为移动前位置的图像的左端显示为透明度0%。这是因为,以将用户的视点向移动后位置(转动方向)诱导的目的,控制电路1011以从用户的转动方向朝向相反方向而图像逐渐变暗的方式施加了渐变(gradation)。其中,透明度为产生渐变的阴影的图像的透明度。透明度100%是指没有阴影的图像的情况。透明度0%为阴影的图像最暗的情况,并指用户无法观察到受到渐变的影响之前的原来的图像的状态。
与图6的情况相反地,图7示出在实施例二的虚拟空间中用户向左转动时的图像。在本图中,虚拟空间中的用户的移动后位置(转动的方向)、即图像的左端被明亮地显示(透明度100%),随着从图像的左端向右侧移动,图像逐渐变暗,在作为移动前位置的图像的右端显示为透明度0%。与图6的情况相同地,这是因为,以将用户的视点向移动后位置(转动方向)诱导的目的,控制电路1011以从用户的转动方向朝向相反方向而图像逐渐变暗的方式施加了渐变。
关于透明度从图像的一端到另一端的变化(渐变)程度,在图6和图7中,在控制电路1011所生成的图像中,用户的移动后位置(透明度100%)和移动前位置(透明度0%)的中间部分的透明度被处理为大致50%。但并不限定于此,只要以在虚拟空间中的用户的视线的移动方向上移动后位置比移动前位置变亮的方式形成图像即可。也可以根据控制电路1011所生成的图像的内容,适当调整渐变的程度(透明度),例如,使移动后位置的透明度小于100%,使移动前位置的透明度大于0%,或者,将中间部分的透明度处理为30%、70%等。
图6和图7说明了用户向右或者左方向转动时的图像的透明度的变化。实施例二并不限定于此,也可以根据用户向前后方向、斜向方向转动的情况,控制电路1011生成调整为使用户的移动后位置的透明度变大且使移动前位置的透明度变小的图像。
控制电路1011生成如图6和图7所示的图像,并将其输出(显示)至HMD 107的显示装置1071,由此,观察图像的用户的视点从移动前位置(透明度低而暗的方向)被诱导至移动后位置(透明度高而亮的方向)。因此,用户可以预测在虚拟空间中的移动后位置,因此可抑制虚拟空间中的用户的VR眩晕。
在控制电路1011获取了在虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息的情况下,生成如图6和图7所示的阴影的图像的透明度从图像的一端到另一端变化的图像。而且,所生成的图像被输出(显示)至HMD 107的显示装置1071。关于这种变化,可以通过用户操作如控制器A 108A、控制器B 108B那样的信息获取单元的操作部,控制电路1011获取引起用户的位置的移动和用户的朝向的变化中的至少一方的信息。
例如,在用户的右手或者左手的手指将控制器A 108A或者控制器B 108B的操作杆向右扳倒的情况下,该输入信息被发送至控制电路1011,控制电路1011生成如图6那样的图像,并将其输出(显示)至显示装置1071。或者,在将上述控制器的操作杆向左扳倒的情况下,该输入信息被发送至控制电路1011,控制电路1011生成如图7那样的图像,并将其输出(显示)至显示装置1071。通过用户自己操作信息获取单元,如图6或者图7那样的透明度从一端到另一端变化的图像显示于显示装置1071。因此,用户的输入操作和用户所观察的图像的一致性变高,从而可抑制虚拟空间中的用户的VR眩晕。
关于如显示于图6和图7的图像,如加速度传感器1072那样的信息获取单元检测HMD 107的显示装置1071配合显示在虚拟空间的对象的动作而动作的情况。而且,信息获取单元获取引起用户的位置的移动和用户的朝向的变化中的至少一方的信息。例如,存在佩戴了HMD 107的用户配合在虚拟空间的图像中所显示的对象的向右方向的移动的动作而朝向右方的情况。在该情况下,加速度传感器1072检测该动作,所获取的信息被发送至控制电路1011,控制电路1011生成如图6那样的图像,并将其输出(显示)至显示装置1071。或者,存在佩戴HMD 107的用户配合在虚拟空间的图像中所显示的对象的向左方向的移动的动作而朝向左方的情况。在该情况下,加速度传感器1072检测该动作,所获取的信息被发送至控制电路1011,控制电路1011生成如图7那样的图像,并将其输出(显示)至显示装置1071。
信息获取单元检测与显示在虚拟空间的对象的动作相配合的用户(显示装置1071)的动作,由此,如图6或者图7那样的透明度从一端到另一端变化的图像显示于显示装置1071。因此,用户的动作和用户所观察的图像的一致性变高,从而可抑制虚拟空间中的用户的VR眩晕。
图9为示出实施例二中的处理的一个示例的流程图。
在显示在显示装置1071的虚拟空间中,HMD 107的加速度传感器1072检测用户的动作。或者,通过用户操作控制器,加速度传感器1072接收来自用户的指示(步骤T1)。
控制器A 108B或者控制器B 108B判定用户是否向左右中的任意一方扳倒了控制器A 108B和控制器B 108B所具有的操作杆。或者,加速度传感器1072判定头戴式显示器是否进行了与显示在虚拟空间的对象21至23的动作相配合的动作(步骤T2)。
存在控制器A 108B或者控制器B 108B判定为用户向左右中的任意一方扳倒了控制器A 108B和控制器B 108B所具有的操作杆的情况。或者,在加速度传感器1072判定为头戴式显示器进行了与显示在虚拟空间的对象21至23的动作相配合的动作的情况下(在步骤T2中为“是”),处理进入步骤T3。在这种情况下,通过无线I/F 104将上述的信息发送至CPU101的控制电路1011。否则(在步骤T2中为“否”),处理返回到步骤T1。
控制电路1011基于上述的信息,生成处理为用户的视界从转动方向朝向转动反方向而逐渐变暗的图像(步骤T3)。
所生成的图像经由无线I/F 101而从控制电路1011输出给HMD 107。HMD 107接收上述的图像,并在显示装置1071的虚拟空间中显示上述图像,以使供用户观察上述图像。
在实施例二的处理中,判定CPU 101是否获取了来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号(步骤T1)。该检测信号或者操作信号可以说是在虚拟空间中引起用户的位置的移动和用户的朝向的变化中的至少一方的信息的一个示例。CPU 101可作为信息获取单元的一个示例而执行步骤T1的处理,所述信息获取单元获取在虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息。
此外,CPU 101基于上述获取的检测信号或者操作信号,生成处理为用户的视界从转动方向(移动后位置)朝向转动反方向(移动前位置)而逐渐变暗的图像(步骤T3)。CPU101将上述图像输出给HMD 107。HMD 107接收上述的图像,并在显示装置1071的虚拟空间中显示上述图像。因此,CPU 101可作为控制单元的一个示例而执行步骤T3的处理,所述控制单元基于获取的信息,以在虚拟空间内的用户的视线的移动方向上移动后位置比移动前位置变亮的方式形成图像,并将所形成的图像显示于所述显示装置而供用户观察所形成的图像。
而且,观察上述图像的用户的视点从移动前位置(透明度低而暗)被诱导至移动后位置(透明度高而亮)。因此,用户可以预测在虚拟空间中的移动后位置。因此,抑制虚拟空间中的用户的VR眩晕。
在实施例二中,用户将控制器A 108A或者控制器B 108B的操作杆向左右任意一方扳倒,由此,控制电路1011获取引起用户的位置的移动和用户的朝向的变化中的至少一方的信息(步骤T2)。这可以说是,通过用户操作信息获取单元的操作部,信息获取单元获取引起用户的位置的移动和用户的朝向的变化中的至少一方的信息的情况的一个示例。
如此,通过用户自己操作信息获取单元,透明度从一端到另一端变化图像显示于显示装置1071。因此,用户的输入操作和用户所观察的图像的一致性变高,从而抑制虚拟空间中的用户的VR眩晕。
此外,在实施例二中,在用户所佩戴的HMD 107的显示装置1071进行了与显示在虚拟空间的对象的动作相配合的动作的情况下,加速度传感器1072检测该动作,控制电路1011获取所检测到的信息(步骤T2)。这可以说是,信息获取单元的检测部检测显示装置进行了与显示在虚拟空间的对象的动作相配合的动作,由此,信息获取单元获取引起用户的位置的移动和用户的朝向的变化中的至少一方的信息的情况的一个示例。
如此,信息获取单元检测与显示在虚拟空间的对象的动作相配合的用户的动作,由此,透明度从一端到另一端变化的图像显示于显示装置1071。因此,用户的动作和用户所观察的图像的一致性变高,从而抑制虚拟空间中的用户的VR眩晕。
<第三实施例>
使用图10和图11,说明第三实施例(也被称为实施例三)。在上述实施例一中,说明了在用户向0度(对象21)方向移动的过程中朝向90度(对象23)方向的情况下的处理。在实施例一中,示出以下处理的例子:若识别出用户在现实空间中将朝向向右手方向转动90度,则直接将虚拟空间中的用户自身的朝向转动为如图3的矢量P2至P8所示的处理(参照图2~图4)。在实施例三中,示出以下处理的例子:若识别出在现实空间中用户将朝向向右手方向转动90度,则逐渐加速虚拟空间中的用户自身的朝向的转动,之后,以用户的朝向暂时以峰值角速度转动之后成为最终的用户的朝向的方式使转动的角加速度逐渐降低的处理。其中,峰值角速度是,从用户改变朝向之后,到虚拟空间中的用户的移动成为在最终的用户的朝向上的直行为止的期间内的最快的角速度。其他的结构和处理与实施例一相同,因此将与实施例一相同的处理应用于实施例三,并在下文中说明实施例一和实施例三的不同点。
图10为实施例三中的用户在虚拟空间中识别的用户的移动状态的推移图。其中,以用户的位置和用户所观察的虚拟空间中的方向(景象)为例示出移动状态。在图10中所示的矢量P1~P8表示用户在向0度方向(从用户的角度观察时的跟前侧到进深侧,即对象21的方向)移动的过程中朝向90度方向(从用户的角度观察时的右侧,即对象23的方向)时,规定的时间范围内的每一帧的移动的速度和移动的方向矢量。其中,当着眼于从P1到P8为止的用户的视点方向的矢量时,用户所观察的虚拟空间的方向(即、景象)如图10的矢量P1到P8那样逐步且阶段性地变化。关于矢量的角度,从P1到P3为止缓缓变大,在P4、P5中角度的变化成为最大,从P6到P8为止缓缓变小。其中,关于P1到P8的期间,例如,可以将P1到P3的期间称为初期的期间部分,将P6到P8的期间称为终期的期间部分,将P4到P5的期间称为夹在初期的期间部分和终期的期间部分之间的中间的期间部分。因此,速度的时间变化(即加速度)和方向的时间变化(角速度)的时间变化(即角加速度)在最初(即初期的期间部分)变化的程度(加速度、角加速度)逐渐变大,在中间的期间部分暂时达到最大的变化量。之后(即终期的期间部分)变化的程度(加速度、角加速度)逐渐减小。因此,可以说在期间的划分数量和变化的程度方面,与最初(即初期的期间部分)较大地变化,之后(即终期的期间部分)变化的程度逐渐变小的实施例一不同。
图11为示出实施例三中的处理的一个示例的流程图。与实施例一的流程图的不同点如下。在实施例一中的图8的流程图的步骤S3的处理中,,为了使基于用户的位置、速度、加速度和朝向中的至少一个的变化的映入用户的眼睛的图像的变化在从开始到规定时间为止的期间内完成,CPU 101将变化的期间分为两个。而且,对以从初期的期间部分的开始时间点到所述终期的期间部分的结束时间点为止使加速度逐渐降低的方式变化的图像进行球面插值并分成多个帧而阶段性地输出给HMD 107。在实施例三中的图11的流程图的步骤U3的处理中,CPU 101所生成的图像的变化的期间分为三个。而且,与实施例一的处理的不同点在于,实施例三的上述图像为以在初期的期间加速度逐渐增加,在中间的期间加速度到达峰值,在终期的期间加速度逐渐降低的方式变化的图像。
因此,在实施例三的信息处理装置10中,控制电路1011将P1和P8之间的期间分成初期的期间部分、中间的期间部分和终期的期间部分。并且,控制电路1011以初期的期间部分和终期的期间部分中的景象的每时间单位的变化与中间的期间部分中的景象的每时间单位的变化相比平缓地变化的方式对P2~P7阶段性地变化的景象进行插值。因此,与实施例一相同地,在实施例三中,用户对于显示于显示装置1071的图像的变化所持有的违和感少,可将其看作自然的景象。因此,抑制虚拟空间中的用户的VR眩晕。
上述的“规定的时间范围”、即从P1变化至P8的时间范围设定为例如0.1秒至0.3秒。该范围可根据人对于来自外部的刺激(例如,视觉刺激、听觉刺激)的反应速度来决定。因此,使用实施例三的信息处理装置10的用户的移动方向、视线方向和所观察到的景象连动,并以人的反应速度为基准而阶段性的变化,因此可进一步抑制用户产生VR眩晕的情况。
关于在实施例一中所说明的与用户在虚拟空间中前进(向直行方向的移动)相关的处理,在实施例三中也与实施例一相同。即,例如,通过用户向前扳倒控制器A 108A或者控制器B 108B的操作杆,用户开始在虚拟空间中前进(向直行方向的移动),并使移动速度、加速度等发生变化。此外,例如,从用户向前扳倒的控制器A 108A或者控制器B 108B的操作杆的状态恢复,由此,用户指示停止在虚拟空间中的前进(向直行方向的移动)。
如此一来,CPU 101使虚拟空间中的用户的速度逐渐增加(初期的期间部分),并暂时加速至峰值速度(中间的期间部分),之后,为了停止而使加速度逐渐降低(终期的期间部分)。更具体地,在显示于HDM 107所具有的显示装置1071的虚拟空间中,用户所观察的景象逐渐加速而快速变化,从而暂时以峰值速度发生变化。之后,用户所观察的景象以为了停止而使加速度逐渐降低的方式变化,最终停止变化。
例如,在用户向前扳倒了操作杆时,花费约0.2秒从停止状态向朝向的方向平滑地加速。为了用户从操作杆移开手指而使操纵杆返回到中立位置(neutral)而以花费约0.2秒平滑地减速而停止,CPU 101改变在虚拟空间中用户所观察的图像的帧。通过这种处理,用户对于显示于显示装置1071的图像的变化所持有的违和感更少,可将其看作自然的景象。因此,进一步抑制虚拟空间内的用户的VR眩晕。
此外,也可以组合实施例二的处理和实施例三的处理。即,作为实施例二的处理,CPU 101将虚拟空间中的用户的移动后位置(转动的方向)、即图像的右端明亮地显示(透明度100%)。随着从图像的右端向左侧移动,CPU 101使图像逐渐变暗,在作为移动前位置的图像的左端显示为透明度0%。同时,作为实施例三的处理,CPU 101在用户在虚拟空间内移动的过程中改变行进方向上的速度。或者,CPU 101在改变方向等情况下可以生成如下的图像:在规定的时间范围内的初期的期间部分中,使变化的程度缓缓增大,在中间的期间部分中,变化的程度成为最大,在终期的期间部分中,使变化的程度缓缓减小的图像。CPU 101可以将所生成的图像输出给HMD 107的显示装置1071。用户可以预测在虚拟空间中的移动后位置,对于显示于显示装置1071的图像的变化所持有的违和感少,可将其看作自然的景象。因此,进一步抑制虚拟空间内的用户的VR眩晕。
<第四实施例>
使用图12至图14,说明第四实施例(也被称为实施例四)。在上述实施例一和二中,示出了在虚拟空间中,水平面内的变化或者向高度方向改变用户的移动方向或朝向的处理。在实施例三中,若识别出用户在现实空间中将朝向向右手方向或者左手方向转动90度,则使虚拟空间中的用户自身的朝向的转动逐渐加速。而且,示出暂时以峰值角速度转动用户的朝向之后以成为最终的用户的朝向的方式使转动的角加速度逐渐降低的处理。在实施例四中,示出在虚拟空间中,在三维方向上改变用户的移动方向或者朝向的处理。在三维方向上改变用户的移动方向或者朝向的处理包括与用户的移动相关的处理和与转动相关的处理。其他的结构和处理与实施例一相同。因此,将与实施例一相同的处理应用于实施例四,并在下文中说明实施例一和实施例四的不同点。
图12为示出实施例四中的用户的移动时的坐标插值图像的图。在图12中示出虚拟空间中的用户的当前的坐标PC、用户的移动目标的坐标PT。用户的移动目标的坐标为基于HMD 107的加速度传感器1072所检测到的信息、用户对控制器A 108A或者控制器B 108B所输入的信息的用户的移动后位置的坐标。在该情况下,在信息处理装置10所进行的球面线性插值的处理下用户位于插值后的坐标。对规定的时间范围内的每一帧进行插值处理。在图12中,作为插值后的坐标,示出C1、C2、C3。C1、C2、C3分别为实施了第一次、第二次、第三次的插值处理后虚拟空间中的用户所处的坐标。其中,PC表示当前的用户所处的坐标Vector3(X,Y,Z),PT表示用户的移动目标的坐标Vector3(X,Y,Z)。此外,PN表示插值后的下一个坐标Vector3(X,Y,Z)。即,在此,PC、PT、PN均为矢量值。在PC、PT被每帧地更新为最新信息的情况下,插值处理后的坐标PN的计算式如下。
插值后的坐标PN=(PT-PC)×衰减率
根据上述的计算式,如图12中的插值后的坐标C1、C2、C3所示,随着从当前的坐标PC推进至C1、从C1推进至C2、从C2推进至C3、从C3推进至移动目标的坐标PT,坐标间的距离的变化的程度变小。即,随着从当前的坐标PC推进至C1、从C1推进至C2、从C2推进至C3、从C3推进至移动目标的坐标PT,用户的移动中的加速度降低。
关于规定的时间范围内的PC到PT的变化,分别规定为从PC到C2为止的变化为初期的期间部分,从C2到PT为止的变化为终期的期间部分。在该情况下,可以说是控制电路1011以所述终期的期间部分中的所述景象的每时间单位的变化与所述初期的期间部分中的所述景象的每时间单位的变化相比成为平缓的变化的方式,生成在虚拟空间中可观察的图像并将其阶段性地输出给HMD 107的显示装置1071。由此,用户能够觉得在显示于HMD 107的虚拟空间中所观察到的景象的变化与人观察现实的景象时的变化相同。因此,用户对于显示于显示装置1071的图像的变化所持有的违和感少,可将其看作自然的景象,因此可抑制用户产生VR眩晕的情况。
图13为示出实施例四中的用户的方向转换时的插值图像的图。在图13中示出虚拟空间中的用户的当前的移动方向RC、VR-HMD的朝向、或者基于控制器的操作杆的对于VR-HMD的相对输入方向RT。在该情况下,在信息处理装置10所进行的球面线性插值的处理下用户向插值后的移动方向移动。对规定的时间范围内的每一帧进行插值处理。在图13中,作为插值后的移动方向,示出D1、D2、D3。D1、D2、D3分别为实施了第一次、第二次、第三次的插值处理后虚拟空间中的用户移动的移动方向。其中,RC表示用户的当前的移动方向的左右的朝向Quaternion(0,1,0,W),RT表示VR-HMD左右的朝向Quaternion(0,1,0,W)。此外,RN表示插值后的下一个左右的朝向Quaternion(0,1,0,W)。即,在此,RC、RT、RN均为矢量值。在RC、RT被每帧地更新为最新信息的情况下,插值处理后的移动方向的计算式如下。
插值后的移动方向RN-(RT-RC)×衰减率
根据上述的计算式,如图13中的插值后的移动方向D1、D2、D3所示,随着从当前的移动方向RC推进至D1、从D1推进至D2、从D2推进至D3、从D3推进至移动目标的坐标RT,移动方向的角度的变化的程度变小。即,随着从当前的移动方向RC推进至D1、从D1推进至D2、从D2推进至D3、从D3推进至移动目标的坐标RT,用户转动的角速度逐渐降低。
关于规定的时间范围内的RC到RT的变化,分别规定为从RC到D2为止的变化为初期的期间部分,从D2到RT为止的变化为终期的期间部分。在该情况下,可以说是控制电路1011以所述终期的期间部分中的所述景象的每时间单位的变化与所述初期的期间部分中的所述景象的每时间单位的变化相比成为平缓的变化的方式,生成在虚拟空间中可观察的图像并将其阶段性地输出给HMD 107的显示装置1071。由此,用户能够觉得在显示于HMD 107的虚拟空间中所观察到的景象的变化与人观察现实的景象时的变化相同。因此,用户对于显示于显示装置1071的图像的变化所持有的违和感少,可将其看作自然的景象,因此可抑制用户产生VR眩晕的情况。
图14为示出实施例四中的处理的一个示例的流程图。首先,在实施例四的处理中,CPU 101获取来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号。来自加速度传感器1072的检测信号表示用户的姿态的变化、朝向的变化、用户的动作等。CPU 101基于来自加速度传感器1072的检测信号,生成反映出与虚拟空间中的用户的移动相伴的景象的变化的图像。此外,来自控制器A108A、控制器B 108B的操作信号例如为与虚拟空间中的用户的移动速度、加速度、移动方向等相关的指示。CPU 101基于该操作信号,生成反映出与虚拟空间中的用户的移动相伴的景象的变化的图像。
因此,在该处理中,判定CPU 101判定是否获取了来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号(步骤S11)。该检测信号或者操作信号可以说是在虚拟空间中引起用户的位置的移动和用户的朝向的变化中的至少一方的信息的一个示例。或者可以说是CPU 101作为信息获取单元的一个示例而执行步骤S11的处理,所述信息获取单元获取在虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息。
在控制电路1011获取了来自加速度传感器1072的检测信号或者来自控制器A108A、控制器B 108B的操作信号的情况下(在步骤S12中为“是”),处理进入步骤S13。之后,控制电路1011基于所获取的检测信号或者操作信号,CPU 101生成虚拟空间中的图像。在控制电路1011没有获取到该检测信号或该操作信号的情况下(在步骤S12中为否),处理返回到步骤S11。
在步骤S13中,控制电路1011生成在虚拟空间中供用户观察的景象在规定的时间范围发生变化的图像。更为具体地,为了使基于虚拟空间中的用户的位置、速度、加速度和朝向中的至少一个的变化的被用户观察的图像的变化在从开始到规定时间为止的期间内完成,控制电路1011分多个帧而生成图像。此外,控制电路1011将规定的时间范围内的变化的期间分别规定为初期的期间部分、终期的期间部分。在该情况下,控制电路1011以终期的期间部分中的景象的每时间单位的变化与初期的期间部分中的景象的每时间单位的变化相比成为平缓的变化的方式,生成在虚拟空间中可观察的图像。控制电路1011通过无线I/F104将上述生成的图像阶段性地输出给HMD 107(步骤S13)。通过该处理,控制电路1011使用户在虚拟空间中观察到在规定的时间范围阶段性地变化的景象。即,为了在虚拟空间形成如图12的PC至PT和图13的RC至RT所示的景象,控制电路1011以规定的帧周期向HMD107输出对应的帧。控制电路1011作为控制单元的一个示例而执行步骤S13的处理,并结束处理,所述控制单元向显示装置输出使在虚拟空间中供用户观察的景象在规定的时间范围发生变化的图像。
根据实施例四,信息处理装置10基于来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号,能够使用户观察到在虚拟空间内阶段性地变化的景象。因此,供用户观察的景象接近于用户的预测或者用户在现实世界中体验的景象。因此,可抑制虚拟空间中的用户的VR眩晕。
实施例四中的“规定的时间范围”、即从PC变化至PT(从RC变化至RT)的时间范围设定为例如0.1秒至0.3秒。该范围可根据人对于来自外部的刺激(例如,视觉刺激、听觉刺激)的反应速度来决定。因此,使用实施例四的信息处理装置10的用户的移动方向、视线方向和所观察到的景象连动,并以人的反应速度为基准而阶段性的变化,因此可进一步抑制用户产生VR眩晕的情况。
实施例四中的“规定的时间范围”、即从PC变化至PT(从RC变化至RT)的时间范围进一步设定为约0.2秒。根据,该时间为在经验上或者人体工程学上更适用于抑制用户的VR眩晕的时间。因此,使用实施例一的信息处理装置10的用户的移动方向、视线方向和所观察到的景象连动,并与人的反应速度的平均值相匹配而阶段性地变化。如此,在信息处理装置10所进行的插值处理中,通过对虚拟空间中的用户的动作提供适当的加速度和延迟,可防止用户的自主神经紊乱。详细地,信息处理装置10在用户的移动和方向转换时,提供“大脑日常感受到的延迟时间(约0.2秒)”和“在现实世界中日常感受到的加速度”。由此,信息处理装置10使用户的大脑觉得在VR空间中的动作、影像的延迟等“与日常生活动作没什么不同”,通过抑制自主神经紊乱,可进一步抑制用户产生VR眩晕的情况。
<变形例>
在第四实施例中,作为用户的方向转换时的插值图像,示出了关于规定的时间范围内的从坐标PC到PT的变化,分别规定为从PC到C2为止的变化为初期的期间部分、从C2到PT为止的变化为终期的期间部分的处理。此外,作为用户的方向转换时的插值图像,关于规定的时间范围中的从坐标RC到RT的变化,分别规定为从RC到D2为止的变化为初期的期间部分,从D2到RT为止的变化为终期的期间部分。在变形例中,例如可以分别规定为从PC到C1(从RC到D1)的期间为初期的期间部分,从C3到PT(从D3到RT)的期间为终期的期间部分,从C1到C3(从D1到D3)的期间为夹在初期的期间部分和终期的期间部分之间的中间的期间部分。可以在这些期间中的速度的时间变化(即加速度)和方向的时间变化(角速度)的时间变化(即角加速度)中,在最初(即初期的期间部分)变化的程度(加速度、角加速度)逐渐变大,在中间的期间部分暂时达到最大的变化量。之后(即终期的期间部分),变化的程度(加速度、角加速度)逐渐减小。在该情况下,在期间的划分数量和变化的程度方面,本变形例与最初(即初期的期间部分)较大地变化,之后(即终期的期间部分)变化的程度逐渐变小的实施例四不同。
控制电路1011以初期的期间部分和终期的期间部分中的景象的每时间单位的变化与中间的期间部分中的景象的每时间单位的变化相比平缓地变化的方式对从C1至C3(从D1至D3)阶段性地变化的景象进行插值。因此,与实施例四相同地,在本变形例中,用户对于显示于显示装置1071的图像的变化所持有的违和感少,可将其看作自然的景象。因此,可抑制虚拟空间内的用户的VR眩晕。
在上述实施例一至实施例四中,如上所述,以逐渐增加加速度,之后为了停止而使加速度逐渐降低的变化为例示出位置的变化。然而,信息处理装置10的处理并不限定于这种处理。信息处理装置10的处理例如可以为在虚拟空间中以等加速度加速,之后,为了停止而以等加速度逐渐减速的处理。在上述实施例一中,为了停止而使角加速度逐渐降低的变化为例示出朝向的变化。然而,信息处理装置10的处理并不限定于这种处理。信息处理装置10的处理例如可以为在虚拟空间中为了停止而以等角加速度逐渐减速的处理。在上述实施例三中,逐渐增加角加速度,之后,为了停止而使角加速度逐渐降低的变化为例示出朝向的变化。然而,信息处理装置10的处理并不限定于这种处理。信息处理装置10的处理例如可以为在虚拟空间中以等加速度加速,之后,为了停止而以等加速度逐渐减速的处理。
上述的实施例一至实施例四归根结底是个示例,本发明可以在不脱离其主旨的范围内适当变更而实施。在本发明中说明的处理和/或者单元可以提取其中的一部分而实施,也可以自由地组合而实施,只要在技术上不产生矛盾即可。
在上述的实施例一至实施例四中,信息处理装置10(CPU 101)获取来自加速度传感器1072的检测信号或者来自控制器A 108A、控制器B 108B的操作信号。而且,信息处理装置10执行如上述的图8、图9、图11、图14所示的、使用户观察到虚拟空间中的景象的处理。然而,也可以由信息处理装置10以外的装置执行图8、图9、图11、图14的处理中的至少一部分或者全部。例如,也可以通过通信I/F105和网络N而信息处理装置10可访问的服务器等的其他的信息处理装置执行图8、图9、图11、图14的处理中的至少一部分或者全部。信息处理装置10可以通过通信I/F 105和网络N接收基于其他的信息处理装置所执行的结果的图像,并将其输出给HMD 107。
将赋予有在上述的实施方式中所说明的功能的计算机程序提供给计算机,该计算机所具有的一个以上的处理器读取程序而执行,由此,可以实现本发明。这种计算机程序可以通过能够与计算机的系统总线相连接的非暂时性计算机可读存储介质来提供给计算机,也可以通过网络来提供给计算机。非暂时性计算机可读存储介质例如包括磁盘(软(注册商标)盘、硬盘驱动器(HDD)等)、光盘(CD-ROM、DVD盘、蓝光光盘等)等的任意类型的盘(disk)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM(Erasable Programmable Read OnlyMemory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory:带电可擦可编程只读存储器)、磁卡、快闪存储器、光卡、适合存储电子命令的任意类型的介质。
(附图标记的说明)
10:信息处理装置;21、22、23:对象;24:用户;25:地面;
101:CPU;102:主存储部;103:有线I/F;104:无线I/F;
105:通信I/F;106:外部存储部;107:HMD;108A:控制器A;
108B:控制器B;1011:控制电路;1071:显示装置;1072:加速度传感器。
Claims (13)
1.一种信息处理装置,其通过显示装置形成用户能够观察的虚拟空间,其特征在于,具备:
信息获取单元,其获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息;以及
控制单元,其基于所获取的信息,向所述显示装置输出使在所述虚拟空间中供所述用户观察的景象在规定的时间范围内发生变化的图像。
2.根据权利要求1所述的信息处理装置,其中,
所述规定的时间范围至少被分为初期的期间部分和终期的期间部分的两个期间部分,
所述控制单元以使所述终期的期间部分中的所述景象的每时间单位的变化与所述初期的期间部分中的所述景象的每时间单位的变化相比成为平缓的变化的方式,将所述图像输出给所述显示装置。
3.根据权利要求2所述的信息处理装置,其中,
所述景象的每时间单位的变化为:从所述初期的期间部分的开始时间点到所述终期的期间部分的结束时间点为止,使在虚拟空间中用户所观察的方向的角度变化逐渐减小的变化。
4.一种信息处理装置,其通过显示装置形成能够观察的虚拟空间,其特征在于,具备:
信息获取单元,其获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息;以及
控制单元,其基于所获取的信息,以在所述虚拟空间中的所述用户的视线的移动方向上移动后位置比移动前位置变亮的方式形成图像,并将其输出给所述显示装置。
5.根据权利要求4所述的信息处理装置,其中,
通过用户操作所述信息获取单元的操作部,所述信息获取单元获取引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息。
6.根据权利要求4所述的信息处理装置,其中,
通过所述信息获取单元的检测部检测到所述显示装置与显示在所述虚拟空间的对象的动作相配合而动作的事情,所述信息获取单元获取引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息。
7.根据权利要求1至3中的任一项所述的信息处理装置,其中,
所述规定的时间范围至少被分为初期的期间部分、终期的期间部分和夹在所述初期的期间部分和终期的期间部分之间的中间的期间部分的三个期间部分,
所述控制单元以使所述初期的期间部分和所述终期的期间部分中的所述景象的每时间单位的变化与所述中间的期间部分中的所述景象的每时间单位的变化相比成为平缓的变化的方式,将所述图像输出给所述显示装置。
8.根据权利要求1、2、3或7中的任一项所述的信息处理装置,其中,
所述规定的时间范围为0.1秒至0.3秒。
9.根据权利要求1、2、3或7中的任一项所述的信息处理装置,其中,
所述规定的时间范围为约0.2秒。
10.一种信息处理方法,其为由包括形成用户能够观察的虚拟空间的显示装置、信息获取单元和控制单元的计算机来实现的方法,其特征在于,
所述信息获取单元获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息,
所述控制单元基于所获取的信息,向所述显示装置输出使在所述虚拟空间中供所述用户观察的景象在规定的时间范围发生变化的图像。
11.一种信息处理方法,其为由形成用户能够观察的虚拟空间的显示装置和计算机实现的方法,其特征在于,
所述计算机获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息,
所述计算机基于所获取的信息,以在所述虚拟空间中的所述用户的视线的移动方向上移动后位置比移动前位置变亮的方式形成图像,并将其输出给所述显示装置。
12.一种程序,其特征在于,所述程序使与形成用户能够观察的虚拟空间的显示装置合作的计算机执行以下功能:
获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息;以及
基于所获取的信息,向所述显示装置输出使在所述虚拟空间中供所述用户观察的景象在规定的时间范围发生变化的图像。
13.一种程序,其特征在于,所述程序使与形成用户能够观察的虚拟空间的显示装置合作的计算机执行以下功能:
获取在所述虚拟空间中引起所述用户的位置的移动和所述用户的朝向的变化中的至少一方的信息;以及
基于所获取的信息,以在所述虚拟空间中的所述用户的视线的移动方向上移动后位置比移动前位置变亮的方式形成图像,并将其输出给所述显示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-155825 | 2020-09-16 | ||
JP2020155825 | 2020-09-16 | ||
PCT/JP2021/034070 WO2022059730A1 (ja) | 2020-09-16 | 2021-09-16 | 情報処理装置、情報処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116114012A true CN116114012A (zh) | 2023-05-12 |
Family
ID=80776694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180054912.5A Pending CN116114012A (zh) | 2020-09-16 | 2021-09-16 | 信息处理装置、信息处理方法和程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230215123A1 (zh) |
JP (1) | JP7300569B2 (zh) |
CN (1) | CN116114012A (zh) |
WO (1) | WO2022059730A1 (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103202010A (zh) * | 2010-11-09 | 2013-07-10 | 富士胶片株式会社 | 增强现实感提供设备 |
US20180120929A1 (en) * | 2016-10-31 | 2018-05-03 | Colopl, Inc. | Method of suppressing vr sickness, program for executing the method on a computer, and information processing device |
JP2018072992A (ja) * | 2016-10-26 | 2018-05-10 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
US20180173230A1 (en) * | 2016-12-20 | 2018-06-21 | GM Global Technology Operations LLC | Contextual-assessment vehicle systems |
JP2018165985A (ja) * | 2018-05-24 | 2018-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
US20180326302A1 (en) * | 2017-05-15 | 2018-11-15 | Nintendo Co., Ltd. | Non-transitory storage medium having stored therein information processing program, information processing system, information processing apparatus, and information processing method |
JP2019040303A (ja) * | 2017-08-23 | 2019-03-14 | 株式会社コロプラ | ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ |
WO2019181153A1 (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
JP2019185363A (ja) * | 2018-04-09 | 2019-10-24 | Necパーソナルコンピュータ株式会社 | 表示制御装置、表示制御方法、及びプログラム |
US20200135150A1 (en) * | 2017-04-26 | 2020-04-30 | Sony Corporation | Information processing device, information processing method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3020390A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance |
-
2021
- 2021-09-16 CN CN202180054912.5A patent/CN116114012A/zh active Pending
- 2021-09-16 JP JP2022550598A patent/JP7300569B2/ja active Active
- 2021-09-16 WO PCT/JP2021/034070 patent/WO2022059730A1/ja active Application Filing
-
2023
- 2023-03-15 US US18/121,737 patent/US20230215123A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103202010A (zh) * | 2010-11-09 | 2013-07-10 | 富士胶片株式会社 | 增强现实感提供设备 |
JP2018072992A (ja) * | 2016-10-26 | 2018-05-10 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
US20180120929A1 (en) * | 2016-10-31 | 2018-05-03 | Colopl, Inc. | Method of suppressing vr sickness, program for executing the method on a computer, and information processing device |
US20180173230A1 (en) * | 2016-12-20 | 2018-06-21 | GM Global Technology Operations LLC | Contextual-assessment vehicle systems |
US20200135150A1 (en) * | 2017-04-26 | 2020-04-30 | Sony Corporation | Information processing device, information processing method, and program |
US20180326302A1 (en) * | 2017-05-15 | 2018-11-15 | Nintendo Co., Ltd. | Non-transitory storage medium having stored therein information processing program, information processing system, information processing apparatus, and information processing method |
JP2019040303A (ja) * | 2017-08-23 | 2019-03-14 | 株式会社コロプラ | ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ |
WO2019181153A1 (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
JP2019185363A (ja) * | 2018-04-09 | 2019-10-24 | Necパーソナルコンピュータ株式会社 | 表示制御装置、表示制御方法、及びプログラム |
JP2018165985A (ja) * | 2018-05-24 | 2018-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230215123A1 (en) | 2023-07-06 |
JPWO2022059730A1 (zh) | 2022-03-24 |
JP7300569B2 (ja) | 2023-06-30 |
WO2022059730A1 (ja) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10409365B2 (en) | Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor | |
JP5767386B1 (ja) | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム | |
KR102358983B1 (ko) | Hdm에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택 | |
US20230188843A1 (en) | Image display apparatus having a plurality of display modes | |
JP6097377B1 (ja) | 画像表示方法及びプログラム | |
US9779702B2 (en) | Method of controlling head-mounted display system | |
CN110300994B (zh) | 图像处理装置、图像处理方法以及图像系统 | |
EP3757727B1 (en) | Image re-projection for foveated rendering | |
JP6266814B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
KR20150048623A (ko) | 화면 조작장치 및 화면 조작방법 | |
EP3128413A1 (en) | Sharing mediated reality content | |
EP3333808A1 (en) | Information processing device | |
US20220291744A1 (en) | Display processing device, display processing method, and recording medium | |
CN116710181A (zh) | 用于相对于用户身体更新设备的显示器的系统、方法和图形用户界面 | |
JP6212666B1 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
JP6223614B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 | |
JP6416338B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 | |
CN116114012A (zh) | 信息处理装置、信息处理方法和程序 | |
JP2016115329A (ja) | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム | |
JP2018195172A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
US20230376109A1 (en) | Image processing apparatus, image processing method, and storage device | |
JP2018163637A (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB03 | Change of inventor or designer information |
Inventor after: Maruyama Keiichiro Inventor before: Maruyama Keiichiro Inventor before: Yi Tengke |
|
CB03 | Change of inventor or designer information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |