CN115623184A - 虚拟现实模拟器以及计算机可读取记录介质 - Google Patents

虚拟现实模拟器以及计算机可读取记录介质 Download PDF

Info

Publication number
CN115623184A
CN115623184A CN202210773341.7A CN202210773341A CN115623184A CN 115623184 A CN115623184 A CN 115623184A CN 202210773341 A CN202210773341 A CN 202210773341A CN 115623184 A CN115623184 A CN 115623184A
Authority
CN
China
Prior art keywords
virtual
virtual space
user
space
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210773341.7A
Other languages
English (en)
Inventor
加来航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115623184A publication Critical patent/CN115623184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及虚拟现实模拟器以及计算机可读取记录介质。在裸眼VR模拟中抑制用户感受到的不协调感。VR模拟器在实际空间中设置于远离用户的位置且不与用户一体地活动的画面上，投影或者显示虚拟空间图像。更详细而言，VR模拟器取得作为实际空间中的用户的头部的位置的实际用户位置的信息。VR模拟器取得作为与实际用户位置对应起来的虚拟空间内的位置的虚拟用户位置。而且，VR模拟器根据表示虚拟空间的结构的虚拟空间结构信息，通过配置于虚拟空间内的虚拟用户位置的摄像机，对虚拟空间进行拍摄，取得虚拟空间图像。此时，VR模拟器进行镜头移位处理，在该镜头移位处理中，以使画面的整体收敛于摄像机的视场范围中的方式，使摄像机的镜头移位。

Description

虚拟现实模拟器以及计算机可读取记录介质
技术领域
本公开涉及虚拟现实(VR：Virtual Reality)模拟。特别是，本公开涉及裸眼VR模拟。
背景技术
专利文献1公开一种图像显示装置。图像显示装置包括图像生成部、投影仪以及检测部。图像生成部使用虚拟世界的空间的数据，生成由设置于虚拟世界的空间的虚拟摄像机拍摄的虚拟世界的一部分的图像。投影仪与用户一体地活动，并且，将由图像生成部生成的图像投影到现实世界的空间。检测部检测投影仪的位置以及投影仪的投影方向。图像生成部根据投影仪的移动使虚拟摄像机在虚拟世界的空间中移动。另外，图像生成部以使与投影仪的投影方向对应的方向为拍摄方向的方式设定虚拟摄像机。在用户的朝向变化、投影仪的投影方向变化时，与其对应地虚拟摄像机的拍摄方向也变动。
作为表示本公开的技术领域中的申请时的技术水平的文献，还可以举出专利文献2、专利文献3以及专利文献4。
现有技术文献
专利文献
专利文献1：日本特开2018-056924号公报
专利文献2：日本特开2003-141573号公报
专利文献3：日本特开2004-110804号公报
专利文献4：日本专利第3761563号
发明内容
考虑用户无需佩戴头戴式显示器等VR设备而能够体验VR的“裸眼VR模拟”。在裸眼VR模拟的情况下，在远离用户的位置设置画面，在该画面中描绘虚拟世界(虚拟空间)的图像。在这样的裸眼VR模拟中，最好尽可能抑制用户感受到的不协调感。
本公开的1个目的在于提供一种能够在裸眼VR模拟中抑制用户感受到的不协调感的技术。
第1观点涉及虚拟现实模拟器。
虚拟现实模拟器具备：
1个或者多个处理器；以及
1个或者多个存储装置，储存表示虚拟空间的结构的虚拟空间结构信息。
1个或者多个处理器构成为进行：
取得实际用户位置的信息的处理，该实际用户位置为实际空间中的用户的头部的位置；
取得虚拟用户位置的处理，该虚拟用户位置为与实际用户位置对应起来的虚拟空间内的位置；
拍摄处理，根据虚拟空间结构信息，通过配置于虚拟空间内的虚拟用户位置的摄像机对虚拟空间进行拍摄，取得虚拟空间图像；以及
在画面中投影或者显示虚拟空间图像的处理，该画面在实际空间中设置于远离用户的位置，并且不与用户一体地活动，
拍摄处理包括镜头移位处理，在该镜头移位处理中，以使画面的整体收敛于摄像机的视场范围中的方式，使摄像机的镜头移位。
第2观点除了第1观点以外，还包括接下来的特征。
拍摄处理还包括远近感调整处理，在该远近感调整处理中，以消除和实际用户位置与画面之间的距离相当的远近感的方式，调整摄像机的焦距。
第3观点除了第1或者第2观点以外，还包括接下来的特征。
1个或者多个处理器根据实际用户位置的过去的历史，预测未来的实际用户位置，
而且，1个或者多个处理器根据与未来的实际用户位置对应起来的未来的虚拟用户位置，进行拍摄处理。
第4观点涉及由计算机执行、进行虚拟现实模拟的虚拟现实模拟程序。
虚拟现实模拟程序使计算机执行：
取得实际用户位置的信息的处理，该实际用户位置为实际空间中的用户的头部的位置；
取得虚拟用户位置的处理，该虚拟用户位置为与实际用户位置对应起来的虚拟空间内的位置；
拍摄处理，根据表示虚拟空间的结构的虚拟空间结构信息，通过配置于虚拟空间内的虚拟用户位置的摄像机对虚拟空间进行拍摄，取得虚拟空间图像；以及
在画面中投影或者显示虚拟空间图像的处理，该画面在实际空间中设置于远离用户的位置，并且不与用户一体地活动，
拍摄处理包括镜头移位处理，在该镜头移位处理中，以使画面的整体收敛于摄像机的视场范围中的方式，使摄像机的镜头移位。
根据本公开，能够在裸眼VR模拟中抑制用户感受到的不协调感。
附图说明
图1是用于说明本公开的实施方式所涉及的裸眼VR模拟的概要的概念图。
图2是用于说明本公开的实施方式所涉及的裸眼VR模拟的概要的概念图。
图3是示出本公开的实施方式所涉及的VR模拟器的结构例的框图。
图4是示出本公开的实施方式所涉及的VR模拟器的功能结构例的框图。
图5是示出本公开的实施方式所涉及的由VR模拟器实施的处理的流程图。
图6是用于说明本公开的实施方式所涉及的虚拟空间拍摄处理(步骤S130)的概念图。
图7是用于说明本公开的实施方式所涉及的虚拟空间拍摄处理(步骤S130)中的第1特征的概念图。
图8是用于说明本公开的实施方式所涉及的虚拟空间拍摄处理(步骤S130)中的第2特征的概念图。
图9是用于说明本公开的实施方式所涉及的虚拟空间拍摄处理(步骤S130)中的第3特征的概念图。
图10是用于说明本公开的实施方式的变形例的框图。
(符号说明)
1：用户；4：画面；10：VR模拟器；20：传感器；30：信息处理装置；31：处理器；32：存储装置；40：描绘装置；100：VR模拟程序；110：实际用户位置取得部；120：虚拟用户位置取得部；130：虚拟空间拍摄部；140：描绘部；200：传感器检测信息；210：坐标变换信息；220：虚拟空间结构信息；230：画面信息；IMG：虚拟空间图像；OBJ：物体；Ur：实际用户位置；Uv：虚拟用户位置；VC：虚拟摄像机。
具体实施方式
参照附图，说明本公开的实施方式。
1.裸眼VR模拟的概要
图1是用于说明本实施方式所涉及的裸眼VR(Virtual Reality，虚拟现实)模拟的概要的概念图。在裸眼VR模拟中，用户1无需佩戴头戴式显示器等VR设备而能够体验VR。
更详细而言，在远离用户1的位置设置至少一个画面(screen，屏幕)4。与头戴式显示器的情况不同，画面4与用户1独立，不与用户1一体地活动。画面4的位置也可以固定。画面4也可以垂直于地面设置。也可以在用户1的周围设置多个画面4。多个画面4也可以无接缝地连续地配置。在图1所示的例子中，多个画面4垂直于地面设置，并且以相互正交的方式无接缝地连续地配置。画面4也可以比用户1大。画面4例如设置于VR体验房间。
这样在远离用户1的画面4中描绘虚拟世界(虚拟空间)的图像。例如，在远离画面4的位置设置投影仪，从投影仪向画面4投影图像。作为其他例子，画面4也可以是液晶显示器、有机EL显示器等显示装置的画面。在该情况下，在显示装置的画面4中显示图像。在以下的说明中，“在画面4中描绘图像”是指，在画面4中投影或者显示图像。
在这样的裸眼VR模拟中，最好尽可能抑制用户1感受到的不协调感。例如，在虚拟世界中存在物体OBJ。最好以能够从用户1的位置无不协调感地看到该物体OBJ的方式，在画面4中描绘该物体OBJ。不协调感少是指，例如，在画面4中描绘的物体OBJ的图像的失真少。作为其他例子，不协调感少是指，在画面4中描绘的物体OBJ的距离感接近现实。如后所述，本实施方式提供一种在裸眼VR模拟中能够抑制用户1感受到的不协调感的技术。
参照图2，说明在本实施方式中使用的主要的用语。
“实际空间SPr”是用户1以及画面4实际存在的空间。在实际空间SPr中，至少1个画面4远离用户1地设置。
“实际空间坐标系(Xr，Yr，Zr)”是规定实际空间SPr的坐标系。实际空间坐标系的原点设定于实际空间SPr内的任意的位置。Xr轴、Yr轴、Zr轴相互正交。Xr轴以及Yr轴表示水平方向，Zr轴表示铅直方向。
“实际用户位置Ur”是实际空间SPr(即实际空间坐标系)中的用户1的位置。更详细而言，实际用户位置Ur是实际空间SPr中的用户1的头部的位置。例如，实际用户位置Ur是实际空间SPr中的用户1的眼睛的位置。实际用户位置Ur也可以是实际空间SPr中的用户1的两眼的中心位置。
“虚拟空间SPv”是作为VR模拟的对象的虚拟世界的空间。虚拟世界是任意的。例如，虚拟世界是一个街道。作为其他例子，虚拟世界也可以是游戏的世界。
“虚拟空间坐标系(Xv，Yv，Zv)”是规定虚拟空间SPv的坐标系。虚拟空间坐标系的原点设定于虚拟空间SPv内的任意的位置。Xv轴、Yv轴、Zv轴相互正交。Xv轴以及Yv轴表示水平方向，Zv轴表示铅直方向。
“虚拟用户位置Uv”是虚拟空间SPv(即虚拟空间坐标系)中的用户1的位置。
实际空间坐标系(Xr，Yr，Zr)和虚拟空间坐标系(Xv，Yv，Zv)预先相互对应起来。因此，实际空间坐标系与虚拟空间坐标系之间能够进行坐标变换。即，能够将实际空间坐标系中的任意的位置变换为虚拟空间坐标系中的对应的位置。相反地，还能够将虚拟空间坐标系中的任意的位置变换为实际空间坐标系中的对应的位置。例如，能够将实际用户位置Ur变换为对应的虚拟用户位置Uv。作为其他例子，能够将实际空间SPr中的画面4的位置变换为虚拟空间SPv中的对应的位置。作为又一其他例子，还能够将虚拟空间SPv中的物体OBJ的位置变换为实际空间SPr中的对应的位置。
“VR模拟器10”是实现本实施方式所涉及的裸眼VR模拟的模拟器。VR模拟器10存在于实际空间SPr。以下，详细说明本实施方式所涉及的VR模拟器10。
2.VR模拟器
2-1.VR模拟器的结构例
图3是示出本实施方式所涉及的VR模拟器10的结构例的框图。VR模拟器10包括传感器20、信息处理装置30以及描绘装置40。
传感器20检测用于取得实际用户位置Ur的信息。例如，传感器20是对用户1进行拍摄的摄像机。作为其他例子，传感器20也可以是佩戴于用户1的头部的位置传感器。在后面详细说明使用传感器20取得实际用户位置Ur的取得方法的各种例子。
描绘装置40在画面4中描绘图像。例如，描绘装置40是投影仪。投影仪设置于远离画面4的位置，向画面4投影图像。作为其他例子，描绘装置40是液晶显示器、有机EL显示器等显示装置。显示装置具备画面4，在自身的画面4中显示图像。
信息处理装置30是进行各种信息处理的计算机。信息处理装置30包括1个或者多个处理器31(以下简称为处理器31)和1个或者多个存储装置32(以下简称为存储装置32)。处理器31执行各种处理。例如，处理器31包括CPU(Central Processing Unit，中央处理单元)。存储装置32储存各种信息。作为存储装置32，例示易失性存储器、非易失性存储器、HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)等。
VR模拟程序100是进行裸眼VR模拟的计算机程序。通过信息处理装置30(处理器31)执行VR模拟程序100，实现本实施方式所涉及的裸眼VR模拟。VR模拟程序100被储存于存储装置32。VR模拟程序100也可以记录于计算机可读取的记录介质。VR模拟程序100也可以经由网络提供。
在存储装置32中，预先储存坐标变换信息210、虚拟空间结构信息220以及画面信息230。
坐标变换信息210表示实际空间坐标系(Xr，Yr，Zr)与虚拟空间坐标系(Xv，Yv，Zv)之间的对应关系(参照图2)。通过使用该坐标变换信息210，能够进行实际空间坐标系与虚拟空间坐标系之间的坐标变换。
虚拟空间结构信息220表示虚拟空间SPv的结构(configuration)。更详细而言，在虚拟空间SPv中，存在各种物体OBJ。虚拟空间结构信息220表示虚拟空间SPv(虚拟空间坐标系)中的各物体OBJ的占有范围。例如，虚拟空间结构信息220表示虚拟空间SPv(虚拟空间坐标系)中的各物体OBJ的位置、尺寸以及形状。
画面信息230表示设置于实际空间SPr的各画面4的信息。更详细而言，画面信息230表示实际空间SPr(实际空间坐标系)中的各画面4的占有范围。例如，画面信息230表示实际空间SPr(实际空间坐标系)中的各画面4的位置、尺寸以及形状。
2-2.利用VR模拟器的处理例
图4是示出本实施方式所涉及的VR模拟器10的功能结构例的框图。在VR模拟器10中，作为功能块，包括实际用户位置取得部110、虚拟用户位置取得部120、虚拟空间拍摄部130以及描绘部140。这些功能块通过执行VR模拟程序100的处理器31和存储装置32的协作实现。
图5是示出本实施方式所涉及的由VR模拟器10实施的处理的流程图。参照图4以及图5，说明由VR模拟器10实施的处理流程。
2-2-1.步骤S110(实际用户位置取得处理)
在步骤S110中，实际用户位置取得部110取得实际空间SPr中的实际用户位置Ur。如上所述，实际用户位置Ur是实际空间SPr中的用户1的头部的位置。例如，实际用户位置Ur是实际空间SPr中的用户1的眼睛的位置。实际用户位置Ur也可以是实际空间SPr中的用户1的两眼的中心位置。
更详细而言，设置于实际空间SPr的传感器20检测用于取得实际用户位置Ur的信息。传感器检测信息200表示由传感器20检测得到的检测结果。实际用户位置取得部110从传感器20取得传感器检测信息200。传感器检测信息200被储存到存储装置32。然后，实际用户位置取得部110根据传感器检测信息200取得实际用户位置Ur。实际用户位置Ur的信息被储存到存储装置32。
例如，传感器20是对用户1进行拍摄的至少一台摄像机。摄像机例如设置于VR体验房间的预定位置。实际空间坐标系中的摄像机的设置位置以及设置方向的信息预先提供。传感器检测信息200是由摄像机拍摄的用户1的图像。实际用户位置取得部110通过解析由传感器检测信息200表示的用户1的图像，辨识用户1的头部(例如眼睛)。然后，实际用户位置取得部110根据从摄像机观察到的用户1的头部的位置、摄像机的设置位置以及设置方向，取得实际用户位置Ur。
作为其他例子，传感器20也可以是佩戴于用户1的头部的位置传感器。例如，位置传感器是测量针对VR体验房间的墙壁、顶棚的相对距离的测距传感器。在该情况下，传感器检测信息200是通过位置传感器测量的相对距离。实际空间坐标系中的墙壁、顶棚的位置的信息预先提供。实际用户位置取得部110能够根据墙壁、顶棚的位置和针对他们的相对距离，取得实际用户位置Ur。
2-2-2.步骤S120(虚拟用户位置取得处理)
在步骤S120中，虚拟用户位置取得部120取得与在步骤S110中取得的实际用户位置Ur对应起来的虚拟用户位置Uv。更详细而言，虚拟用户位置取得部120根据坐标变换信息210，将实际用户位置Ur变换为与其对应的虚拟用户位置Uv。虚拟用户位置Uv的信息被储存到存储装置32。
2-2-3.步骤S130(虚拟空间拍摄处理)
在步骤S130中，虚拟空间拍摄部130生成从虚拟用户位置Uv观察到的虚拟空间SPv的图像即进行绘制。以下，将从虚拟用户位置Uv观察到的虚拟空间SPv的图像称为“虚拟空间图像IMG”。
图6是用于说明步骤S130的概念图。虚拟空间拍摄部130在虚拟空间SPv内的虚拟用户位置Uv配置虚拟摄像机VC。虚拟摄像机VC是以软件方式实现的摄像机。虚拟摄像机VC的参数(焦距、传感器尺寸等)被设定为匹配人类的视觉。而且，虚拟空间拍摄部130通过使用配置于虚拟用户位置Uv的虚拟摄像机VC对虚拟空间SPv进行拍摄。由虚拟摄像机VC拍摄的虚拟空间SPv的图像是虚拟空间图像IMG。从虚拟空间结构信息220得到虚拟空间SPv的结构、即虚拟空间SPv(虚拟空间坐标系)中的各物体OBJ的位置、形状以及尺寸。因此，虚拟空间拍摄部130能够根据虚拟空间结构信息220，对虚拟空间SPv进行拍摄而取得虚拟空间图像IMG、即能够进行绘制。
虚拟空间拍摄部130也可以针对各画面4的每一个取得虚拟空间图像IMG。从画面信息230得到实际空间SPr中的各画面4的位置。虚拟空间拍摄部130根据画面信息230和坐标变换信息210取得虚拟空间SPv中的各画面4的位置。而且，虚拟空间拍摄部130使用虚拟摄像机VC，从虚拟用户位置Uv对各画面4的方向的虚拟空间SPv进行拍摄。或者，虚拟空间拍摄部130也可以从虚拟用户位置Uv对全周方向的虚拟空间SPv进行拍摄。
此外，在本实施方式中，不需要用户1的视线方向的信息。虚拟摄像机VC不论用户1的视线方向如何，都对预定方向的虚拟空间SPv进行拍摄。预定方向包括从虚拟用户位置Uv观察的各画面4的方向。预定方向也可以是全周方向。虚拟空间拍摄部130并非剪切出用户1的视线方向的虚拟空间图像IMG，而是取得有可能从虚拟用户位置Uv观察到的虚拟空间图像IMG。作为比较例，根据上述专利文献1公开的技术，在用户的朝向变化时，与其对应地虚拟摄像机的拍摄方向也变动。
在虚拟空间拍摄处理(步骤S130)中，进行在画面4中描绘虚拟空间图像IMG时的用于抑制不协调感的努力。关于用于抑制不协调感的努力，在后面的章节3中详细说明。
2-2-4.步骤S140(描绘处理)
在步骤S140中，描绘部140通过控制描绘装置40，在画面4中描绘虚拟空间图像IMG。此时，描绘部140也可以针对各画面4的每一个描绘针对各画面4的每一个得到的虚拟空间图像IMG。在描绘装置40是投影仪的情况下，描绘部140通过控制投影仪，将虚拟空间图像IMG投影到画面4。作为其他例子，在描绘装置40是显示装置的情况下，描绘部140通过控制显示装置，将虚拟空间图像IMG显示于画面4。
3.虚拟空间拍摄处理(步骤S130)的特征
在虚拟空间拍摄处理(步骤S130)中，进行在画面4中描绘虚拟空间图像IMG时的用于抑制不协调感的努力。以下，作为本实施方式所涉及的虚拟空间拍摄处理的特征，说明“消失点的固定”、“镜头移位”以及“远近感调整”这三个种类。通过三个种类的特征处理中的至少一个种类的特征处理，至少得到抑制用户1感受到的不协调感的效果。当然，也可以进行三个种类的特征处理中的2个以上种类的特征处理。
3-1.消失点的固定
图7是用于说明虚拟空间拍摄处理(步骤S130)中的第1特征的概念图。作为第1特征，虚拟空间图像IMG的消失点在从虚拟用户位置Uv观察时固定于笔直的水平方向的位置。换言之，虚拟空间拍摄部130以从虚拟用户位置Uv看消失点存在于水平方向的方式，取得虚拟空间图像IMG。
不论用户1的视线方向如何，在从虚拟用户位置Uv观察时消失点都固定在水平方向上。即使用户1的视线方向上下变动，虚拟摄像机VC也不上下旋转。在假设使虚拟摄像机VC根据用户1的视线方向的上下变动而上下旋转时，描绘于画面4的虚拟空间图像IMG的垂直线收敛，虚拟空间图像IMG看起来失真。根据本实施方式，不论用户1的视线方向如何，消失点都固定在水平方向上，所以防止了描绘于画面4的虚拟空间图像IMG失真。即，能够抑制用户1感受到的不协调感。
当然，如果在实际空间SPr中用户1移动视线，则与其对应地用户1的视场变化。此时，描绘于用户1的周围的画面4的虚拟空间图像IMG自身也不发生任何变化，以使得存在于实际空间SPr的物体自身不发生任何变化。
3-2.镜头移位(Lens Shift)
图8是用于说明虚拟空间拍摄处理(步骤S130)中的第2特征的概念图。作为第2特征，虚拟空间拍摄部130以使画面4的整体收敛于虚拟摄像机VC的视场范围中的方式，进行使虚拟摄像机VC的镜头移位的“镜头移位处理”。在镜头移位处理中，虚拟空间拍摄部130不改变焦距(focal length)，而使虚拟摄像机VC的镜头在上下方向和/或左右方向上移位。此外，消失点的位置不会由于镜头移位而变化。
为了使画面4的整体收敛于虚拟摄像机VC的视场范围中而所需的镜头移位量能够根据画面4的尺寸以及实际用户位置Ur和画面4的位置关系决定。从画面信息230得到实际空间SPr中的画面4的位置、尺寸。因此，虚拟空间拍摄部130能够根据实际用户位置Ur和画面信息230，决定为了使画面4的整体收敛于虚拟摄像机VC的视场范围中而所需的镜头移位量。
通过进行这样的镜头移位处理，抑制在画面4中发生什么也没有映出的区域。因此，提高用户1针对VR的身临其境感。
在此，避免虚拟摄像机VC上下旋转也很重要。在假设为了使画面4的整体收敛于视场范围中而使虚拟摄像机VC上下旋转时，描绘于画面4的虚拟空间图像IMG的垂直线收敛，虚拟空间图像IMG看起来失真。根据本实施方式，进行并非使虚拟摄像机VC上下旋转，而使虚拟摄像机VC的镜头移位的镜头移位处理。由此，能够防止描绘于画面4的虚拟空间图像IMG失真。即，能够抑制用户1感受到的不协调感。
3-3.远近感的调整
图9是用于说明虚拟空间拍摄处理(步骤S130)中的第3特征的概念图。在某个画面4中描绘某个物体OBJ的图像。距离DA是用户1(虚拟用户位置Uv)与该物体OBJ之间的距离。距离DB是用户1(实际用户位置Ur)与该画面4之间的距离。
虚拟摄像机VC对从虚拟用户位置Uv离开距离DA的物体OBJ进行拍摄，生成包括该物体OBJ的虚拟空间图像IMG。在假设在离开距离DB的画面4中原样地描绘离开距离DA的物体OBJ的图像时，在从实际用户位置Ur观察时，该物体OBJ看起来存在于离开距离DA+DB的位置。例如，设为距离DA是10m，距离DB是2m。在2m前的画面4中原样地描绘10m前的物体OBJ的图像时，该物体OBJ看起来存在于12m前。即，除了虚拟空间SPv中的远近感以外，还不必要地加上了实际空间SPr中的远近感。其结果，物体OBJ看起来比原本小。这也可能成为不协调感的原因。
因此，作为第3特征，虚拟空间拍摄部130消除和实际用户位置Ur与画面4之间的距离DB相当的远近感。更详细而言，虚拟空间拍摄部130将虚拟摄像机VC的焦距调整到望远侧，以消除和实际用户位置Ur与画面4之间的距离DB相当的远近感。由此，消除不必要的远近感，再现虚拟空间SPv中的本来的距离感，抑制用户1感受到的不协调感。
根据实际用户位置Ur与画面4之间的距离DB，决定为了消除不必要的远近感而所需的焦距的调整量。实际空间SPr中的画面4的位置从画面信息230得到。虚拟空间拍摄部130能够根据实际用户位置Ur和画面信息230，决定为了消除与距离DB相当的远近感而所需的焦距的调整量。此外，虚拟空间拍摄部130针对每个画面4进行远近感的调整。
4.变形例
如上所述，从实际用户位置Ur的取得至虚拟空间图像IMG的描绘进行各种处理。描绘于画面4的虚拟空间图像IMG的外观有可能发生与该处理时间对应的延迟。为了抑制这样的延迟，在变形例中，进行未来的实际用户位置Ur的预测(推测)。
图10是用于说明变形例的框图。适当省略与上述的图4重复的说明。历史信息HST是表示实际用户位置Ur的过去的历史的信息，被储存到存储装置32。
在步骤S110中，实际用户位置取得部110取得实际用户位置Ur。实际用户位置取得部110将取得的实际用户位置Ur登记到历史信息HST，更新历史信息HST。另外，实际用户位置取得部110根据利用历史信息HST表示的实际用户位置Ur的过去的历史，预测(推测)未来的实际用户位置Ur。例如，实际用户位置取得部110根据实际用户位置Ur的过去的历史，计算实际用户位置Ur的加速度，根据该加速度，预测未来的实际用户位置Ur。在实际用户位置Ur的预测中，也可以使用卡尔曼滤波器等。
在步骤S120中，虚拟用户位置取得部120取得与在步骤S110中预测的未来的实际用户位置Ur对应起来的虚拟用户位置Uv。即，虚拟用户位置取得部120取得未来的虚拟用户位置Uv。然后，在步骤S130中，虚拟空间拍摄部130在未来的虚拟用户位置Uv配置虚拟摄像机VC，进行虚拟空间拍摄处理。
这样，根据变形例，预测未来的实际用户位置Ur，根据与未来的实际用户位置Ur对应起来的未来的虚拟用户位置Uv进行虚拟空间拍摄处理。由此，描绘于画面4上的虚拟空间图像IMG的外观的延迟得到抑制。这也有助于抑制用户1所感受到的不协调感。
5.总结
如以上说明，根据本实施方式，能够实现裸眼VR模拟。具体而言，通过在与实际用户位置Ur对应起来的虚拟用户位置Uv配置虚拟摄像机VC，并利用该虚拟摄像机VC对虚拟空间SPv进行拍摄，取得虚拟空间图像IMG。虚拟空间图像IMG描绘于设置在远离用户1的位置且不与用户1一体地活动的画面4中。
作为在画面4中描绘虚拟空间图像IMG时的用于抑制不协调感的努力，说明了“消失点的固定”、“镜头移位”以及“远近感调整”这三个种类(参照章节3)。通过这三个种类的特征处理中的至少一个种类的特征处理，至少得到抑制用户1感受到的不协调感的效果。当然，也可以进行三个种类的特征的处理中的2个以上种类的特征处理。
本实施方式所涉及的裸眼VR模拟不依赖于画面4的位置、方位、形状。还能够形成顶棚、地面、前后、左右的6面体的VR体验房间。还能够进一步分割画面4，实现更复杂的形状的画面结构。还能够形成全球面型的VR体验房间。

Claims (4)

1.一种虚拟现实模拟器，具备：
1个或者多个处理器；以及
1个或者多个存储装置，储存表示虚拟空间的结构的虚拟空间结构信息，
所述1个或者多个处理器构成为进行：
取得实际用户位置的信息的处理，该实际用户位置为实际空间中的用户的头部的位置；
取得虚拟用户位置的处理，该虚拟用户位置为与所述实际用户位置对应起来的所述虚拟空间内的位置；
拍摄处理，根据所述虚拟空间结构信息，通过配置于所述虚拟空间内的所述虚拟用户位置的摄像机对所述虚拟空间进行拍摄，取得虚拟空间图像；以及
在画面中投影或者显示所述虚拟空间图像的处理，所述画面在所述实际空间中设置于远离所述用户的位置，并且不与所述用户一体地活动，
所述拍摄处理包括镜头移位处理，在该镜头移位处理中，以使所述画面的整体收敛于所述摄像机的视场范围中的方式，使所述摄像机的镜头移位。
2.根据权利要求1所述的虚拟现实模拟器，其中，
所述拍摄处理还包括远近感调整处理，在该远近感调整处理中，以消除和所述实际用户位置与所述画面之间的距离相当的远近感的方式，调整所述摄像机的焦距。
3.根据权利要求1或者2所述的虚拟现实模拟器，其中，
所述1个或者多个处理器
根据所述实际用户位置的过去的历史，预测未来的所述实际用户位置，
根据与未来的所述实际用户位置对应起来的未来的所述虚拟用户位置，进行所述拍摄处理。
4.一种计算机可读取记录介质，记录有虚拟现实模拟程序，其中，所述虚拟现实模拟程序在由计算机执行时，使所述计算机执行：
取得实际用户位置的信息的处理，该实际用户位置为实际空间中的用户的头部的位置；
取得虚拟用户位置的处理，该虚拟用户位置为与所述实际用户位置对应起来的虚拟空间内的位置；
拍摄处理，根据表示所述虚拟空间的结构的虚拟空间结构信息，通过配置于所述虚拟空间内的所述虚拟用户位置的摄像机对所述虚拟空间进行拍摄，取得虚拟空间图像；以及
在画面中投影或者显示所述虚拟空间图像的处理，所述画面在所述实际空间中设置于远离所述用户的位置，并且不与所述用户一体地活动，
所述拍摄处理包括镜头移位处理，在该镜头移位处理中，以使所述画面的整体收敛于所述摄像机的视场范围中的方式，使所述摄像机的镜头移位。
CN202210773341.7A 2021-07-12 2022-07-01 虚拟现实模拟器以及计算机可读取记录介质 Pending CN115623184A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021115014A JP2023011263A (ja) 2021-07-12 2021-07-12 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
JP2021-115014 2021-07-12

Publications (1)

Publication Number Publication Date
CN115623184A true CN115623184A (zh) 2023-01-17

Family

ID=84799325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210773341.7A Pending CN115623184A (zh) 2021-07-12 2022-07-01 虚拟现实模拟器以及计算机可读取记录介质

Country Status (3)

Country Link
US (1) US20230012029A1 (zh)
JP (1) JP2023011263A (zh)
CN (1) CN115623184A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023011264A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768527B2 (en) * 2006-05-31 2010-08-03 Beihang University Hardware-in-the-loop simulation system and method for computer vision
JP4863527B2 (ja) * 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
JP5941146B2 (ja) * 2011-07-29 2016-06-29 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． 投影取込システム、プログラムおよび方法
JP6772424B2 (ja) * 2016-03-15 2020-10-21 株式会社Ｃｅｎｏｔｅ 投影装置、投影方法及びプログラム
US10467799B2 (en) * 2017-03-09 2019-11-05 Houzz, Inc. Dynamically modeling an object in an environment from different perspectives
EP3502839A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
JP7182920B2 (ja) * 2018-07-02 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110728749B (zh) * 2019-10-10 2023-11-07 青岛大学附属医院 虚拟三维图像显示系统及方法
KR20230058712A (ko) * 2020-09-03 2023-05-03 삼성전자주식회사 통신 시스템에서 컨텐츠와 디바이스들의 성능 차이 완화를 위한 방법 및 장치

Also Published As

Publication number Publication date
JP2023011263A (ja) 2023-01-24
US20230012029A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
US10999412B2 (en) Sharing mediated reality content
JP7073481B2 (ja) 画像表示システム
KR20180027361A (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
JP2007052304A (ja) 映像表示システム
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
WO2019051228A1 (en) TRANSPARENT DISPLAY BASED ON A CAMERA
US11443719B2 (en) Information processing apparatus and information processing method
CN115623184A (zh) 虚拟现实模拟器以及计算机可读取记录介质
US11187895B2 (en) Content generation apparatus and method
CN115623185A (zh) 虚拟现实模拟器以及计算机可读取记录介质
US11748938B2 (en) Virtual reality simulator and virtual reality simulation program
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
JP6456551B1 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
CN115623186A (zh) 虚拟现实模拟器以及计算机可读取记录介质
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
JP7172036B2 (ja) ３ｄｃｇ空間の鑑賞条件連動システム、方法、およびプログラム
JP2011234272A (ja) 携帯端末装置、サーバ装置および画像補正方法
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
KR102596487B1 (ko) 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2005077808A (ja) 画像表示装置および画像表示方法ならびに画像表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination