CN110555912B - 虚拟现实内容重现方法及装置 - Google Patents

虚拟现实内容重现方法及装置 Download PDF

Info

Publication number
CN110555912B
CN110555912B CN201910457085.9A CN201910457085A CN110555912B CN 110555912 B CN110555912 B CN 110555912B CN 201910457085 A CN201910457085 A CN 201910457085A CN 110555912 B CN110555912 B CN 110555912B
Authority
CN
China
Prior art keywords
virtual reality
reality content
user
factor
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910457085.9A
Other languages
English (en)
Other versions
CN110555912A (zh
Inventor
梁雄渊
金起弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN110555912A publication Critical patent/CN110555912A/zh
Application granted granted Critical
Publication of CN110555912B publication Critical patent/CN110555912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Architecture (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开虚拟现实内容重现方法及装置。所述方法包括以下步骤：确认佩戴虚拟现实内容重现装置的用户的人为因素；确认虚拟现实内容重现装置的硬件因素；确认虚拟现实内容的软件因素；将用于引导标定辅助装置的运作的标定引导信息输出给佩戴虚拟现实内容重现装置的用户并检测用于运作标定辅助装置的用户的标定交互信息；基于人为因素、硬件因素及软件因素之间的关系和所检测到的标定交互信息而分析引发现实空间与通过虚拟现实内容所表现的虚拟空间之间的距离差的空间差因素；考虑空间差因素而校正虚拟现实内容；以及输出所校正的虚拟现实内容，并在输出虚拟现实内容期间确认用户的交互信息，并将反映交互信息的虚拟现实内容输出。

Description

虚拟现实内容重现方法及装置
技术领域
本发明涉及虚拟现实内容重现方法及装置，更具体地，涉及改善虚拟现实内容的现实性的方法及装置。
背景技术
虚拟现实是指，通过计算机制造特定的环境、场景而使用上述特定的环境、场景的人处于犹如与实际周边场景、环境互动的人机交互的界面。即使人不直接体验一般很难经验到的环境，虚拟现实也可以使人体验上述环境并进行操作。
以上述虚拟现实为基础，开发了可体验虚拟现实的虚拟现实内容，用户可通过重现虚拟现实内容的装置而利用虚拟现实内容。
虚拟现实内容可通过虚拟图像的组合构成，上述虚拟图像可通过拍摄规定的对象物的虚拟摄像头而获取，虚拟现实内容重现装置随着通过位于与虚拟摄像头相对应的位置的显示器而向用户的左眼和右眼分别提供虚拟图像，用户识别成位于虚拟空间，并可识别存在于虚拟空间的规定的对象物。
发明内容
上述虚拟现实内容存在如下问题，即，对现实空间的客体或环境进行建模而提供虚拟环境，因此，无法提供与实际现实空间相同的客体或环境。此外，在对现实空间的客体或环境进行建模的过程中，基于固定的要素执行建模，重现虚拟现实内容的装置也使用固定的要素来重现虚拟现实内容。
尤其，根据用户的特性，多种要素可发生变化，虚拟现实内容或重现其的装置使用固定的要素，因此，各用户所感受到的虚拟现实会存在差异。
此外，因由用户识别的实际现实空间与虚拟空间的差异，会发生虚拟现实内容使用的副作用(恶心，头晕等)。
本发明的技术问题在于，提供可在用户适应性地减少实际现实空间与虚拟空间的差异的方法及装置。
本发明所要解决的技术问题并不局限于以上提及的技术问题，本发明所属技术领域的普通技术人员可从以下的记载明确理解未提及的其他技术问题。
根据本发明的一实施方式，本发明提供的虚拟现实内容重现方法可包括：确认佩戴有虚拟现实内容重现装置的用户的人为因素的步骤；确认上述虚拟现实内容重现装置的硬件(HW，Hardware)因素的步骤；确认上述虚拟现实内容的软件(SW，Software)因素的步骤；将用于引导标定辅助装置的运作的标定引导信息输出给佩戴上述虚拟现实内容重现装置的上述用并检测用于运作上述标定辅助装置的上述用户的标定(calibration)交互信息的步骤；基于上述人为因素、硬件因素及软件因素之间的关系和所检测到的上述标定交互信息，并分析引发现实空间与通过虚拟现实内容所表现的虚拟空间之间的距离差的空间差因素的步骤；考虑上述空间差因素而校正上述虚拟现实内容的步骤；以及输出所校正的上述虚拟现实内容，并在输出上述虚拟现实内容的期间确认上述用户的交互信息，而且将反映有上述交互信息的上述虚拟现实内容输出的步骤。
根据本发明的一实施方式，本发明提供的虚拟现实内容重现装置可包括：虚拟现实因素确认部，用于确认佩戴有虚拟现实内容重现装置的用户的人为因素、上述虚拟现实内容重现装置的硬件因素以及上述虚拟现实内容的软件因素；虚拟现实因素确认部，将用于引导标定辅助装置的运作的标定引导信息输出给佩戴上述虚拟现实内容重现装置的上述用户并检测用于运作上述标定辅助装置的上述用户的标定交互信息；空间差因素分析部，基于上述人为因素、硬件因素及软件因素之间的关系、所检测到的上述标定交互信息而分析引发现实空间和通过虚拟现实内容所表现的虚拟空间之间的距离差；以及虚拟现实内容处理部，考虑上述空间差因素而校正上述虚拟现实内容，并在输出上述虚拟现实内容的期间确认上述用户的交互信息，而且将反映有上述交互信息的上述虚拟现实内容输出。
对于本发明，在上面简要地概括的特征只不过是后述的本发明的详细说明的示例性的实施方式，而并非限定本发明的范围。
根据本发明，本发明提供可在用户适应性地减少实际现实空间与虚拟空间的差异的方法及装置。
本发明中可获得的效果并不局限于以上所提及的效果，本发明所属技术领域的普通技术人员可从以下的记载明确理解未提及的其他效果。
附图说明
图1为适用本发明的一实施例的虚拟现实内容重现方法的虚拟现实内容重现系统的一例示图。
图2为示出图1的虚拟现实内容重现装置的详细结构的图。
图3a为示例性地示出虚拟现实内容重现装置所使用的人为因素的图。
图3b为示例性地示出虚拟现实内容重现装置所使用的硬件因素的图。
图4a至图4f为示例性地示出通过虚拟现实内容重现装置分析的空间差因素的图。
图5为示出本发明的一实施例的虚拟现实内容重现方法的顺序的流程图。
图6为示例性地示出执行本发明的一实施例的虚拟现实内容重现方法及装置的计算系统的框图。
具体实施方式
以下，参照附图，详细说明本发明，使本发明所属技术领域的普通技术人员容易实施本发明。但是，本发明可体现为多种不同形态，而并不局限于在此说明的实施例。
在说明本发明的实施例的过程中，在判断为对于公知结构或功能的具体说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。而且，图中省略了与本发明的说明无关的部分，对类似的部分标注类似的附图标记。
本发明中，当一个结构要素与其他结构要素“连接”、“结合”或“联接”时，这不仅意味着直接连接关系，还可以意味着在中间隔着其他结构要素的间接连接关系。此外，当一个结构要素“包括”或“具有”其他结构要素时，只要没有特殊反对的记载，意味着还可包括其他结构要素，而并非意味着排除其他结构要素。
本发明中，“第一”、“第二”等的术语仅用于区分两种结构要素，只要没有特殊提及，并不限定结构要素的顺序或重要程度等。因此，本发明的范围内，一实施例的第一结构要素可被称为其他实施例的第二结构要素，同样，一实施例的第二结构要素也可被称为其他结构要素的第一结构要素。
本发明中，相互区分的结构要素用于明确说明各个特征，而并非意味着结构要素必须分离。即，多个结构要素合而形成为一个硬件或软件单位，还可以一个结构要素分散而形成为多个硬件或软件单位。因此，只要并非特殊提及，如上所述，合并或分散的实施例也包含在本发明的范围。
本发明中，多种实施例中说明的结构要素并非意味着必要的结构要素，一部分可以为选择性结构要素。因此，一实施例中，由说明的结构要素的部分集合构成的实施例也包含在本发明的范围。此外，在多种实施例中，在说明的结构要素追加其他结构要素的实施例也包含在本发明的范围。
以下，参照附图，说明本发明的实施例。
图1为适用本发明的一实施例的虚拟现实内容重现方法的虚拟现实内容重现系统的一示例图。
虚拟现实内容重现系统可包括虚拟现实内容重现装置11、用于确认佩戴虚拟现实内容重现装置11的用户的动作信息或姿势信息的用户交互确认装置13、以及标定(calibration)辅助装置15。
虚拟现实内容重现装置11可从用户交互确认装置13接收用户的动作信息或姿势信息，并将用户的动作信息或姿势信息反映在虚拟现实内容中而输出。例如，虚拟现实内容可包括与用户相对应的身体模型，上述身体模型可表现出基于用户的动作信息或姿势信息的动作或姿势。
此外，虚拟现实内容重现装置11可使用从用户交互确认装置13提供的用户的动作信息或姿势信息来处理用户输入。例如，虚拟现实内容重现装置11可输出规定的菜单或输入按钮等，从用户交互确认装置13提供的用户的动作信息或姿势信息与上述菜单或输入按钮的选择相对应时，可处理对于上述菜单或输入按钮的选择的用户输入。
在虚拟现实内容重现装置11向用户提供虚拟现实内容的过程中，因多种因素，实际现实环境与虚拟现实环境所提供的虚拟环境有可能会发生差异。尤其是，会发生使用者在现实空间中和虚拟空间中所识别的距离的差异、即距离感差异，因这种距离感差异，在虚拟现实内容的使用过程中会产生不适感，或者可能会发生副作用(恶心、头晕等)。
因此，本发明的一实施例的虚拟现实内容重现装置11一边向佩戴装置的用户提供用于引导标定辅助装置15的运作的标定引导内容，一边确认在运作标定辅助装置15的期间内发生的用户的交互信息(以下，称之为“标定交互信息”)。而且，虚拟现实内容重现装置11使用标定交互信息而对引发现实空间和由虚拟现实内容所表现出的虚拟空间之间的距离差的空间差因素进行分析。
进而，虚拟现实内容重现装置11在分析空间差因素之后，反映空间差因素而来执行对虚拟现实内容的校正并向用户提供。此时，在虚拟现实内容重现装置11分析空间差因素的过程中，可考虑人为因素(human factor)、硬件因素、软件因素等。而且，虚拟现实内容重现装置11对人为因素、硬件因素、软件因素所包含的要素进行控制而执行对虚拟现实内容的校正。
图2为示出图1的虚拟现实内容重现装置的详细结构的图。
参照图2，虚拟现实内容重现装置200可包括虚拟现实因素确认部201、标定处理部202、空间差因素分析部203、交互信息确认部204、内容处理部205、显示部206及用户输入界面207。
虚拟现实因素确认部201可确认佩戴虚拟现实内容重现装置200的用户的人为因素。人为因素可包含上述用户的身高、上述用户的眼睛的位置(eye height)、上述用户的两眼之间的距离(H-IPD，Human Inter-pupil-distance)、上述用户的年龄、上述用户的性别、上述用户的人种、以朝向对象物的上述用户的视点为基准的收敛角、视觉交互区(visualinteraction region)中的至少一个。
由此，虚拟现实因素确认部201感测用户是否佩戴虚拟现实内容重现装置200，并提供能够输入用户的身高、用户的年龄、用户的性别、用户的人种等的菜单，从而处理用户输入而确认用户的身高、用户的年龄、用户的性别、用户的人种等。而且，虚拟现实因素确认部201基于用户的身高为基础而可确认上述用户的眼睛的位置。此外，虚拟现实因素确认部201可通过规定的传感器而确认上述用户的两眼之间的距离。进而，使用上述的因素(用户的身高、用户的年龄、用户的性别、用户的人种、用户的眼睛的位置、两眼之间的距离等)而可确认以朝向规定的对象物的用户的视点为基准的收敛角、视觉交互区等。
虚拟现实因素确认部201可确认虚拟现实内容重现装置200的硬件因素。例如，虚拟现实因素确认部201从存储于在装置200的内部所具备的存储介质的信息中确认装置的硬件因素，或者可从用于管理装置的硬件因素的服务器装置接收装置的硬件因素。
硬件因素可包含虚拟现实内容重现装置200的光学系统和影像输出板、根据设计光学时所定义的眼睛的位置而定义的物理视野角(P-FOV，physical field of view)、基于作为与在人为因素中的两眼之间的距离相对应的要素而具备于虚拟现实内容重现装置200的两眼式影像输出部的位置的物理IPD(physical IPD)、显示分辨率、通过虚拟现实内容重现装置的光学系统设计而确定的影像图像的焦点距离(Virtual image distance)、立体深度(stereo depth)和范围等。
虚拟现实因素确认部201可确认重现的虚拟现实内容的软件因素(SW)。收录虚拟现实内容的VRC文件格式可包含软件因素。虚拟现实内容重现装置200解析VRC文件格式来检测软件因素。
上述软件因素可包含通过作为虚拟现实影像的基础的虚拟摄像头而定义的视野角度(G-FOV，geometric FOV)、作为虚拟现实影像的基础的虚拟摄像头之间的距离(G-IPD)、表示生成虚拟现实影像时将三维空间的点投影成二维图像的工法的虚拟摄像头投影方式、表示虚拟现实影像的更新速度的每秒帧数(FPS，frames per second)等。
标定处理部202通过显示部206向佩戴装置200的用户输出用于引导标定辅助装置15的运作的标定引导内容。而且，标定处理部202从交互信息确认部13接收在用户对上述标定辅助装置15进行运作的期间所发生的用户的交互信息，并将所接收的交互信息作为标定交互信息来加以管理。
标定处理部202可向空间差因素分析部203提供标定交互信息，空间差因素分析部203基于上述的人为因素、硬件因素及软件因素之间的关系和所检测的标定交互信息而分析现实空间和引发通过虚拟现实内容而表现的虚拟空间之间的距离差的空间差因素。关于空间差因素分析部203分析空间差因素的具体动作，在后单独说明。
标定处理部202和空间差因素分析部203相互联动而动作。具体地，标定处理部202可接收从空间差因素分析部203提供的空间差因素分析结果，反映空间差因素分析结果而对标定引导内容进行校正之后输出。此时，标定处理部202反复处理校正及输出标定引导内容的动作，反复执行至最终用户在现实空间和虚拟空间中感受不到距离差为止。
例如，标定引导内容可以为以引导用户直接用手拿住现实空间的客体(钥匙)来向在现实空间和虚拟空间中相同存在的钥匙孔插入的动作的方案为基础来构成的内容。由此，标定辅助装置15可以为设置在现实空间的形成有钥匙孔的装置。而且，标定引导内容表现出与标定辅助装置15的实际形状相对应的形状的虚拟客体，可表现出反映在运作上述标定辅助装置15的期间所发生的用户的交互信息的客体。此时，在标定处理部202输出标定引导内容的过程中，反映上述的人为因素、硬件因素及软件因素之间的关系而重组标定引导内容之后输出。
另一方面，交互信息确认部204可检测用户的动作信息或姿势信息，确认基于用户的动作信息或姿势信息的交互信息，并将其提供给标定处理部202、内容处理部205及用户输入界面207。
内容处理部205对虚拟现实内容进行解码而转换为用于重现虚拟现实内容的数据，并将所转换的数据提供给显示部206。此时，内容处理部205可确认交互信息确认部204所提供的交互信息，交互信息反映在虚拟现实内容而组成虚拟现实内容。例如，虚拟现实内容可包含与用户相对应的身体模型，内容处理部205以上述身体模型表现出基于包含在交互信息中的用户的动作信息或姿势信息的动作或姿势的方式组成虚拟现实内容。
尤其，内容处理部205考虑空间差因素分析部203所提供的上述空间差因素而对上述虚拟现实内容进行校正并输出所校正的上述虚拟现实内容。
用户输入界面207使用从交互信息确认部204提供的交互信息、即用户的动作信息或姿势信息来识别用户的动作信息或姿势信息等所表示的用户输入，并可提供所识别的用户输入。作为另一例，用户输入界面207还可包括触摸屏或输入按钮等，确认对触摸屏或输入按钮指示基于动作的输入的信息，并可提供与此相对应的用户输入。
以下，说明空间差因素分析部203分析空间差因素的具体动作。
空间差因素分析部203检测分别包含于人为因素、硬件因素及软件因素的要素中的至少一个，反映以所检测到的要素为基准所控制的环境而组成标定引导内容，并确认在输出标定引导内容的期间所确认的标定交互信息。而且，空间差因素分析部203可通过所确认的标定交互信息来分析对用户的行为结果(例如，准确度、工作时间、误差发生程度及比率等)所产生的影响。
进而，空间差因素分析部203改变所检测的要素并反复执行上述动作，并分析各个要素对用户的行为结果(例如，准确度、作业时间、误差发生程度及比率等)产生的影响。
此外，空间差因素分析部203可执行显著性检验(基于p-value的统计分析)，并通过回归分析(regression analysis)法来分析独立/从属变数等之间的关系。
例如，空间差因素分析部203可将用户的位置(P)、用户与对象物之间的收敛角(CA)、空间尺度参数(W)等作为空间差因素来进行分析。
具体地，空间差因素分析部203可将用户的位置(P)确定为空间差因素，并如以下的数学式1或数学式2所示，可分析距离差与用户的位置(P)或收敛角(CA)之间的关系。此外，数学式1所示的距离差与用户的位置(P)之间的关系如图4a那样示出，数学式2所示的距离差与收敛角(CA)之间的关系如图4b那样示出。
[数学式1]
ΔD1＝B1+C1*P+C2*P2
[数学式2]
ΔD1＝B2+C3*CA+C4*CA2
作为另一例，空间差因素分析部203可将用户与对象物之间的收敛角(CA)确定为空间差因素，并如以下的数学式3或数学式4所示，可示出深度差与收敛角(CA)之间的关系。此外，数学式3所示的深度差与收敛角(CA)之间的关系如图4c那样示出，数学式4所示的深度差与收敛角(CA)之间的关系如图4d那样示出。
[数学式3]
ΔZ1＝B3+C5*CA
[数学式4]
ΔZ1＝B4+C6*CA
作为另一例，空间差因素分析部203可将空间尺度参数(W)确定为空间差因素，并如以下的数学式5或数学式6所示，可示出距离差与空间尺度参数(W)之间的关系。此外，数学式5所示的距离差与空间尺度参数(W)之间的关系如图4e那样示出，数学式6所示的距离差与空间尺度参数(W)之间的关系如图4f那样示出。
[数学式5]
ΔD2＝B5+C7*W
[数学式6]
ΔD2＝B6+C2*W
图5为示出本发明的一实施例的虚拟现实内容重现方法的顺序的流程图。
参照图5，步骤S501中，虚拟现实内容重现装置可确认佩戴虚拟现实内容重现装置的用户的人为因素。
人为因素可包含上述用户的身高、上述用户的眼睛的位置(eye height)、上述用户的两眼之间的距离(H-IPD，Human Inter-pupil-distance)、上述用户的年龄、上述用户的性别、上述用户的人种、以朝向对象物的上述用户的视点为基准的收敛角、视觉交互区中的至少一个。由此，虚拟现实内容重现装置感测用户是否佩戴虚拟现实内容重现装置，并提供能够输入用户的身高、用户的年龄、用户的性别、用户的人种等的菜单，从而对用户输入进行处理而确认用户的身高、用户的年龄、用户的性别及用户的人种等。
而且，虚拟现实内容重现装置基于用户的身高而可确认上述用户的眼睛的位置。此外，虚拟现实内容重现装置可通过规定的传感器而确认上述用户的两眼之间的距离(H-IPD)。进而，使用上述的因素(用户的身高、用户的年龄、用户的性别、用户的人种、用户的眼睛的位置、两眼之间的距离等)而可确认以朝向规定的对象物的用户的视点为基准的收敛角、视觉交互区等。
步骤S502中，虚拟现实内容重现装置可确认装置的硬件因素。例如，虚拟现实内容重现装置从存储于在装置的内部所具备的存储介质的信息中确认装置的硬件因素，或者从用于管理装置的硬件因素的服务器装置提供装置的硬件因素。
硬件因素可包含虚拟现实内容重现装置的光学系统和影像输出板、根据设计光学时所定义的眼睛的位置而定义的物理视野角(P-FOV，physical field of view)、基于作为与在人为因素中的两眼之间的距离相对应的要素而具备于虚拟现实内容重现装置的两眼式影像输出部的位置的物理IPD(physical IPD)、显示分辨率、通过虚拟现实内容重现装置的光学系统设计而确定的影像图像的焦点距离(Virtual image distance)、立体深度(stereo depth)和范围等。
步骤S503中，虚拟现实内容重现装置可确认重现的虚拟现实内容的软件因素(SW，Software)。收录虚拟现实内容的VRC文件格式可包含软件因素，虚拟现实内容重现装置解析VRC文件格式来检测软件因素。
上述软件因素可包含通过作为虚拟现实影像的基础的虚拟摄像头而定义的视野角度(G-FOV，geometric FOV)、作为虚拟现实影像的基础的虚拟摄像头之间的距离(G-IPD)、表示当生成虚拟现实影像时将三维空间的点投影成二维图像的工法的虚拟摄像头投影方式、表示虚拟现实影像的更新速度的每秒帧数(FPS，frames per second)等。
另一方面，步骤S504中，虚拟现实内容重现装置可确认标定交互信息。具体地，虚拟现实内容重现装置向佩戴装置的用户输出用于引导标定辅助装置的运作的标定引导内容，通过用户交互确认装置来检测在对上述标定辅助装置进行运作的期间所发生的用户的交互信息，并将其作为标定交互信息来加以管理。
虚拟现实内容重现装置基于上述的人为因素、硬件因素及软件因素之间的关系和所检测的标定交互信息而可分析现实空间和引发通过虚拟现实内容而表现的虚拟空间之间的距离差的空间差因素(步骤S505)。
例如，标定引导内容可以为以引导用户直接用手拿住现实空间的客体(钥匙)来向在现实空间和虚拟空间中相同存在的钥匙孔插入的动作的方案为基础来构成的内容。由此，标定辅助装置可以为设置在现实空间的形成有钥匙孔的装置。而且，标定引导内容为表现出与标定辅助装置的实际形状相对应的虚拟客体，可表现处反映在运作上述标定辅助装置的期间所发生的用户的交互信息的客体。此时，在虚拟现实内容重现装置输出标定引导内容的过程中，反映上述的人为因素、硬件因素及软件因素之间的关系而重组标定引导内容之后输出。
虚拟现实内容重现装置使用在输出标定引导内容的期间所确认的标定交互信息来分析引发现实空间与虚拟空间之间的距离差的空间差因素。
例如，虚拟现实内容重现装置检测分别包含于人为因素、硬件因素及软件因素的要素中的至少一个，反映以所检测到的要素为基准所控制的环境额组成标定引导内容，并确认在输出标定引导内容的期间所确认的标定交互信息。而且，虚拟现实内容重现装置通过所确认的标定交互信息来分析对用户的行为结果(例如，准确度、工作时间、误差发生程度及比率等)产生的影响。进而，虚拟现实内容重现装置改变所检测的要素并反复执行上述动作，并分析各个要素对用户的行为结果(例如，准确度、工作时间、误差发生程度及比率等)产生的影响。
此外，虚拟现实内容重现装置执行显著性检验(基于p-value的统计分析)，并通过回归分析(regression analysis)法来分析独立/从属变数等之间的关系。
例如，虚拟现实内容重现装置可将用户的位置(P)、用户与对象物之间的收敛角(CA)、空间尺度参数(W)等作为空间差因素来进行分析。
具体地，虚拟现实内容重现装置可将用户的位置(P)确定为空间差因素，并如上述的数学式1或数学式2所示，可分析距离差与用户的位置(P)之间的关系。
作为另一例，虚拟现实内容重现装置可将用户与对象物之间的收敛角(CA)确定为空间差因素，并如上述的数学式3或数学式4所示，可示出深度差与收敛角(CA)之间的关系。
作为另一例，虚拟现实内容重现装置可将空间尺度参数(W)确定为空间差因素，并如上述数学式5或数学式6所示，可示出距离差与空间尺度参数(W)之间的关系。
上述的步骤S504和步骤S505使用者在现实空间和虚拟空间中感受不到距离差为止被反复执行。即，虚拟现实内容重现装置可确认空间差因素分析结果，反映空间差因素分析结果而对标定引导内容进行校正之后输出。此时，虚拟现实内容重现装置可确认因素分析结果是否为用户在现实空间和虚拟空间中感受到距离差的水准，考虑如此确认的结果而反复执行至用户在现实空间和虚拟空间感受不到距离差为止。
另一方面，步骤S506中，虚拟现实内容重现装置考虑上述空间差因素而对上述虚拟现实内容进行校正，并输出所校正的上述虚拟现实内容。
图6为示例性地示出执行本发明的一实施例的虚拟现实内容重现方法及装置的计算系统的框图。
参照图6，计算系统1000可包括通过总线1200连接的至少一个处理器1100、存储器(memory)1300、用户界面输入装置1400、用户界面输出装置1500、存储部(storage)1600及网络界面1700。
处理器1100为执行对存储在中央处理装置CPU或存储器1300和/或存储部1600的指令的处理的半导体装置。存储器1300及存储部1600可包括多种易失性或非易失性存储介质。例如，存储器1300可包括只读存储器(ROM，Read Only Memory)或随机存取存储器(RAM，Random Access Memory)。
因此，与本说明书中记载的实施例相关而说明的方法或算法的步骤可由通过处理器1100执行的硬件、软件模块实现、或由这两个的结合直接实现。软件模块还可设置于如RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM的存储介质(即，存储器1300和/或存储部1600)中。示例性的存储介质与处理器1100偶联，该处理器1100可从存储介质读取信息，并向存储介质写入信息。作为另一方法，存储介质还可以与处理器1100形成为一体。处理器及存储介质还可设置于专用集成电路(ASIC)内。专用集成电路还可设置于用户终端内。作为另一方法，处理器及存储介质还可在用户终端内作为个别组件而设置。
本发明的示例性方法是为了说明的明确性而以一系列动作的形式表现，但是这并非用于限定执行步骤的顺序，在必要的情况下，各个步骤还可同时或按不同顺序执行。为了实现本发明的方法，在示例性的步骤中追加包括其他步骤、或者除去一部分步骤而包括剩余的步骤、或者除去一部分步骤并追加包括其他步骤也可。
本发明的多种实施例并非罗列所有可能的组合，而是用于说明本发明的代表性的实施方式，在多种实施例中所说明的事项可以独立适用或通过两个以上的组合而适用。
此外，本发明的多种实施例可通过硬件、固件(firmware)、软件或这些的组合等实现。在基于硬件而实现的情况下，可通过一个或一个以上的专用集成电路(ASICs，Application Specific Integrated Circuits)、数字信号处理器(DSPs，Digital SignalProcessors)、数字信号处理设备(DSPDs，Digital Signal Processing Devices)、可编程逻辑器件(PLDs，Programmable Logic Devices)、现场可编程门阵列(FPGAs，FieldProgrammable Gate Arrays)、通用处理器(general processor)、控制器、微控制器、微处理器等而实现。
本发明的范围包括使多种实施例的方法的动作在装置或计算机上执行的软件或机器可执行指令(例如，操作系统、应用、固件、程序等)及存储这些软件或指令等而能够在装置或计算机上执行的非暂时性计算机可读介质(non-transitory computer-readablemedium)。

Claims (12)

1.一种虚拟现实内容重现方法，用于重现虚拟现实内容，其特征在于，包括：
确认佩戴有虚拟现实内容重现装置的用户的人为因素的步骤；
确认上述虚拟现实内容重现装置的硬件因素的步骤；
确认上述虚拟现实内容的软件因素的步骤；
将用于引导标定辅助装置的运作的标定引导信息输出给佩戴有上述虚拟现实内容重现装置的上述用户并检测用于运作上述标定辅助装置的上述用户的标定交互信息的步骤；
基于上述人为因素、硬件因素及软件因素之间的关系和所检测到的上述标定交互信息而分析引发现实空间与通过虚拟现实内容所表现的虚拟空间之间的距离差的空间差因素的步骤；
考虑上述空间差因素而校正上述虚拟现实内容的步骤；以及
输出所校正改的上述虚拟现实内容，并在输出上述虚拟现实内容的期间确认上述用户的交互信息，而且将反映有上述交互信息的上述虚拟现实内容输出的步骤。
2.根据权利要求1所述的虚拟现实内容重现方法，其特征在于，
上述空间差因素包含：用户的位置p、上述用户与对象物之间的收敛角CA及空间尺度参数W中的至少一个。
3.根据权利要求2所述的虚拟现实内容重现方法，其特征在于，
分析上述空间差因素的步骤包括：确认至少一个上述空间差因素与距离差之间的关系的步骤。
4.根据权利要求2所述的虚拟现实内容重现方法，其特征在于，
分析上述空间差因素的步骤包括：确认至少一个上述空间差因素与深度差之间的关系的步骤。
5.根据权利要求3所述的虚拟现实内容重现方法，其特征在于，
上述用户的位置p与距离差示出数学式1：ΔD1＝B1+C1*P+C2*P2或数学式2：ΔD3＝B7+C9*P的关系。
6.根据权利要求3所述的虚拟现实内容重现方法，其特征在于，
上述收敛角CA和距离差示出数学式3：ΔD1＝B2+C3*CA+C4*CA2的关系。
7.根据权利要求4所述的虚拟现实内容重现方法，其特征在于，
上述收敛角CA和深度差示出数学式4：ΔZ1＝B3+C5*CA的关系。
8.根据权利要求3所述的虚拟现实内容重现方法，其特征在于，
上述空间尺度参数W和深度差示出数学式5：ΔD2＝B5+C7*W的关系。
9.根据权利要求1所述的虚拟现实内容重现方法，其特征在于，
上述人为因素包含：上述用户的身高、上述用户的眼睛的位置、上述用户的两眼之间的距离、上述用户的年龄、上述用户的性别、上述用户的人种、以上述用户的视点为基准的收敛角以及上述用户的视野角度中的至少一个。
10.一种虚拟现实内容重现装置，用于重现虚拟现实内容，其特征在于，包括：
虚拟现实因素确认部，用于确认有佩戴虚拟现实内容重现装置的用户的人为因素、上述虚拟现实内容重现装置的硬件因素以及上述虚拟现实内容的软件因素；
标定处理部，将用于引导标定辅助装置的运作的标定引导信息输出给佩戴有上述虚拟现实内容重现装置的上述用户并检测用于运作上述标定辅助装置的上述用户的标定交互信息；
空间差因素分析部，基于上述人为因素、硬件因素及软件因素之间的关系、所检测到的上述标定交互信息而分析引发现实空间和通过虚拟现实内容所表现的虚拟空间之间的距离差；以及
虚拟现实内容处理部，考虑上述空间差因素而校正上述虚拟现实内容，并在输出上述虚拟现实内容的期间确认上述用户的交互信息，而且将反映有上述交互信息的上述虚拟现实内容输出。
11.根据权利要求10所述的虚拟现实内容重现装置，其特征在于，
分析上述空间差因素的步骤包括：确认至少一个上述空间差因素与距离差之间的关系的步骤。
12.根据权利要求10所述的虚拟现实内容重现装置，其特征在于，
分析上述空间差因素的步骤包括：确认至少一个上述空间差因素与深度差之间的关系的步骤。
CN201910457085.9A 2018-05-30 2019-05-29 虚拟现实内容重现方法及装置 Active CN110555912B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180062066A KR20190136401A (ko) 2018-05-30 2018-05-30 가상현실 콘텐츠 재생 방법 및 장치
KR10-2018-0062066 2018-05-30

Publications (2)

Publication Number Publication Date
CN110555912A CN110555912A (zh) 2019-12-10
CN110555912B true CN110555912B (zh) 2023-08-11

Family

ID=68736389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457085.9A Active CN110555912B (zh) 2018-05-30 2019-05-29 虚拟现实内容重现方法及装置

Country Status (2)

Country Link
KR (1) KR20190136401A (zh)
CN (1) CN110555912B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648038A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 在虚拟现实中显示交互对象的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310758A1 (en) * 2014-04-26 2015-10-29 The Travelers Indemnity Company Systems, methods, and apparatus for generating customized virtual reality experiences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648038A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 在虚拟现实中显示交互对象的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向大屏幕投影环境的场景漫游交互技术;许春耀等;《计算机工程与设计》;20130516(第05期);全文 *

Also Published As

Publication number Publication date
KR20190136401A (ko) 2019-12-10
CN110555912A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN108369742B (zh) 使用传感器融合的经优化对象扫描
KR101930657B1 (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
AU2008204084B2 (en) Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
US11050994B2 (en) Virtual reality parallax correction
US20150199850A1 (en) Information processing apparatus and information processing method
US11025879B2 (en) Image processing apparatus, image processing method, and storage medium storing program
US9727229B2 (en) Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN113221847A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111708432A (zh) 安全区域确定方法、装置、头戴显示设备及存储介质
US10834380B2 (en) Information processing apparatus, information processing method, and storage medium
CN110555912B (zh) 虚拟现实内容重现方法及装置
US9123146B2 (en) Stereoscopic image display control apparatus, and stereoscopic image display control method
CN115515487A (zh) 基于使用多视图图像的3d人体姿势估计的基于视觉的康复训练系统
JP5808004B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111089579B (zh) 异构双目slam方法、装置及电子设备
EP4235393A1 (en) Image processing device, image processing method, and image processing program
US9552059B2 (en) Information processing method and electronic device
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
KR101921988B1 (ko) 환자의 3차원 골격 모델을 생성하는 방법
KR102441052B1 (ko) Ａｖｍ 영상 변환 장치 및 방법
JPWO2013140702A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102364191B1 (ko) 탈모치료 평가를 위한 헤어카운터 및 이의 동작 방법
US20240233205A1 (en) Perspective Correction With Depth Clamping
US20240078640A1 (en) Perspective Correction with Gravitational Smoothing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant