CN113052949B - 多种扩展现实模式的集成渲染方法及适用其的装置 - Google Patents

多种扩展现实模式的集成渲染方法及适用其的装置 Download PDF

Info

Publication number
CN113052949B
CN113052949B CN202011062252.9A CN202011062252A CN113052949B CN 113052949 B CN113052949 B CN 113052949B CN 202011062252 A CN202011062252 A CN 202011062252A CN 113052949 B CN113052949 B CN 113052949B
Authority
CN
China
Prior art keywords
augmented reality
virtual object
virtual
content
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011062252.9A
Other languages
English (en)
Other versions
CN113052949A (zh
Inventor
刘秉炫
李容载
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN113052949A publication Critical patent/CN113052949A/zh
Application granted granted Critical
Publication of CN113052949B publication Critical patent/CN113052949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及多种扩展现实模式的集成渲染方法及装置，从存储装置加载包括表示扩展现实图像且表示扩展现实图像中包含的虚拟客体的至少一个虚拟客体内容的扩展现实(XR)场景(Scene)内容，接收选择包括虚拟现实模式与增强现实模式的多个扩展现实模式中任意一个扩展现实模式的用户的选择，根据选择的扩展现实模式保持或变换关于至少一个虚拟客体内容的多个渲染选项各自的属性，渲染具有保持或变换的属性的至少一个虚拟客体内容，能够以此从一个XR‑场景内容生成虚拟现实图像及增强现实图像。

Description

多种扩展现实模式的集成渲染方法及适用其的装置
技术领域
涉及多种扩展现实模式的集成渲染方法，更具体来讲涉及能够根据扩展现实场景内容生成增强现实及虚拟现实图像的集成渲染方法。
背景技术
虚拟现实(VR：Virtual Reality)技术是通过计算机模拟现实世界的客体及背景等且将模拟的虚拟客体及虚拟背景提供给用户，增强现实(AR：Augment ed Reality)技术是在现实世界的影像上一并提供虚拟制成的虚拟客体，混合现实(MR：Mixed Reality)技术是在现实世界结合虚拟现实以提供现实的物理客体与虚拟客体交互的环境。
虚拟现实(VR)技术是将现实世界的客体及背景全部变换成虚拟客体，提供仅由虚拟客体构成的影像，因此将客体及背景全部渲染。与之相反，增强现实(AR)技术是提供仅对象客体被渲染而其余客体及背景未被渲染的影像，因此仅渲染对象客体且其余则不进行渲染。虚拟现实(VR)画面显示客体及背景均通过3D渲染生成的虚拟客体，而增强现实(AR)画面显示仅部分客体为通过3D渲染生成的虚拟客体，其余为通过摄像头模块拍摄的实际客体及实际空间。
由于上述虚拟现实(VR)与增强现实(AR)的差异，以往在向用户终端的用户提供的渲染虚拟现实(VR)图像的方式与渲染增强现实(AR)图像的方式上存在差异。因此以往表示虚拟现实(VR)图像的场景内容(scene content)与表示增强现实(AR)图像的场景内容的制作上存在差异，制作的各场景内容分别被不同的应用(application)分析渲染。虚拟现实(VR)应用与增强现实(AR)应用分别以不同的方式对场景内容进行解析及渲染。
由于上述差异，虚拟现实(VR)应用无法适当地解析表示增强现实(AR)图像的场景内容，同样，增强现实(AR)应用无法适当地解析表示虚拟现实(VR)图像的场景内容。因此，即使是能够把虚拟现实(VR)及增强现实(AR)画面都提供给用户的用户终端，从虚拟现实(VR)模式变更为增强现实(AR)模式时需要分别运行不同的场景代码及其他应用，因此具有虚拟现实(VR)模式与增强现实(AR)模式不兼容的问题。
并且，如上所述，现有的虚拟现实/增强现实技术为了渲染虚拟现实图像与增强现实图像而需要另外的应用及另外的场景内容，因此具有为了存储另外的应用及另外的场景内容而需要大量数据的问题。
发明内容
技术问题
目的在于提供用于生成增强现实及虚拟现实图像的集成渲染方法及装置。并且，不限于如上所述的技术目的，可从以下说明导出其他技术目的。
技术方案
本发明的一个方面的多种扩展现实模式的集成渲染方法包括：从存储装置加载包括表示扩展现实(XR，eXtended Reality)图像且表示所述扩展现实图像中包含的虚拟客体的至少一个虚拟客体内容的XR-场景(scene)内容的步骤；接收选择包括虚拟现实模式与增强现实模式的多个扩展现实模式中任意一个扩展现实模式的用户的选择的步骤；以及根据选择的所述扩展现实模式保持或变换关于所述至少一个虚拟客体内容的多个渲染选项各自的属性，渲染具有保持或变换的所述属性的所述至少一个虚拟客体内容的步骤。
在所述渲染的步骤，选择的所述扩展现实模式为所述虚拟现实模式的情况下，保持所述多个渲染选项各自的属性，根据保持的所述属性渲染所述至少一个虚拟客体内容，选择的所述扩展现实模式为所述增强现实模式的情况下，变换所述多个渲染选项各自的属性，根据变换的所述属性渲染所述至少一个虚拟客体内容。
所述渲染的步骤包括：选择的所述扩展现实模式为所述增强现实模式的情况下，将所述虚拟客体内容的多个渲染选项中指示所述虚拟客体的可视(visible)或非可视(invisible)的可视选项的属性从可视变换成非可视的步骤；从由摄像头模块生成的表示现实空间的现实空间图像数据检测所述增强现实模式的增强对象客体的步骤；将与检测到的所述增强对象客体对应的所述XR-场景内容中包含的虚拟客体内容的可视选项的属性从非可视变换成可视的步骤；以及渲染所述XR-场景内容中所述虚拟客体内容的可视选项的属性为可视的虚拟客体的步骤。
在将所述可视选项的属性从可视变换成非可视的步骤，将所述XR-场景内容中除照明相关内容以外的其余虚拟客体内容的可视选项从可视变换成非可视。
所述渲染的步骤还包括：选择的所述扩展现实模式为所述增强现实模式的情况下，将所述XR-场景内容中包含的底色选项变换成透明，将所述扩展现实图像的背景变换成所述现实空间图像数据的步骤。
所述渲染的步骤还包括：选择的所述扩展现实模式为所述虚拟现实模式的情况下，将所述XR-场景内容中包含的底色选项变换成预先设定的底色，将所述扩展现实图像的背景变换成预先设定的底色的步骤。
在检测所述增强对象客体的步骤，提取所述现实空间图像数据中包含的形状，比较提取到的所述形状与所述增强对象客体的形状，检测与所述增强对象客体的形状匹配的形状作为所述增强对象客体。
本发明的另一方面的用于多种扩展现实模式的集成渲染的用户终端包括：处理器，其从存储装置加载包括表示扩展现实(XR)图像且表示所述扩展现实图像中包含的虚拟客体的至少一个虚拟客体内容的XR-场景内容；输入模块，其用于接收选择包括虚拟现实模式与增强现实模式的多个扩展现实模式中任意一个扩展现实模式的用户的选择；渲染选项变换部，其根据选择的所述扩展现实模式保持或变换关于所述至少一个虚拟客体内容的多个渲染选项各自的属性；以及渲染部，其渲染具有保持或变换的所述属性的所述至少一个虚拟客体内容。
技术效果
用户终端根据用户选择的扩展现实模式变换一个扩展现实场景内容中包含的虚拟客体内容的渲染选项，根据变换的渲染选项生成扩展现实图像数据，将生成的扩展现实图像数据提供给用户。当用户选择虚拟现实模式的情况下，用户终端利用一个扩展现实场景内容生成表示虚拟现实的图像数据并提供给用户，用户选择增强现实模式的情况下，生成表示增强现实的图像数据并提供给用户。不需要为了生成虚拟现实图像或增强现实图像而制作另外的场景内容或安装另外的应用，能够利用一个扩展现实场景内容及一个应用向用户提供虚拟现实图像及增强现实图像。
并且，用户终端能够通过一个扩展现实场景内容及扩展现实应用将虚拟现实图像及增强现实图像提供给用户，因此用于提供扩展现实的数据量减少，从而能够节省存储装置的存储空间。
并且，本发明的实施例的集成渲染方法在生成增强现实图像时考虑对增强对象客体造成的影响生成增强现实图像，因此能够在增强现实图像生成与现实空间的实际客体极其近似的虚拟客体，能够生成接近现实空间的增强现实图像。用户终端从而能够向用户提供高度的沉浸感。
附图说明
图1为简要示出本发明的一个实施例的扩展现实(XR)提供系统的示意图；
图2为图1所示的用户终端的构成图；
图3为本发明的一个实施例的多种扩展现实模式的集成渲染方法的流程图；
图4为图3所示的渲染步骤的具体流程图；
图5a及图5b为示出通过集成渲染方法渲染的图像显示于显示部的例示画面的示意图；
图6a至图6c为本发明的扩展现实场景内容的例示；
图7为示出不考虑照明相关内容，将扩展现实场景内容中包含的所有客体的渲染选项变换成非可视且只把增强对象客体的渲染选项变换成可视以生成的增强现实图像显示于显示部的例示画面的示意图。
附图标记说明
10：用户终端
101：处理器 102：摄像头模块
103：渲染选项变换部 104：客体检测部
105：渲染部 106：显示部
107：输入模块 108：通信模块
109：存储装置 20：扩展现实服务器
具体实施方式
以下参见附图对本发明的实施例进行具体说明。以下要说明的本发明的实施例涉及对扩展现实(XR)图像渲染的方法。本发明的实施例所属技术领域的一般技术人员能够理解以下要说明的“扩展现实(XR，eXtended Reality)”是包括虚拟现实(VR，VirtualReality)、增强现实(AR，Augumented Reality)及混合现实(MR，Mixed Reality)的概念，表示制成虚拟世界与现实世界相连接的环境，用户能够与该环境实时交互的技术。以下将把虚拟现实(VR)环境及增强现实(AR)环境提供给用户的系统称为“扩展现实(XR)提供系统”。
图1为简要示出本发明的一个实施例的扩展现实(XR)提供系统的示意图。参考图1，本实施例的扩展现实提供系统由用户终端10与扩展现实服务器20构成。扩展现实服务器20将包括表示扩展现实图像且表示包含于扩展现实图像的虚拟客体的至少一个虚拟客体内容的扩展现实场景(XR-Scene)内容、及解析XR-场景内容的扩展现实应用存储在扩展现实服务器20的存储装置(未图示)，将存储的XR-场景内容及扩展现实应用通过网络发送给用户终端10。XR-场景内容是以结构化的形式表示扩展现实的场景的计算机语言，表示包含于扩展现实的场景的虚拟客体及背景。作为XR-场景内容的例，可列举通过标记(markup)语言编写的程序代码。虚拟客体内容在扩展现实上表示虚拟客体的形状。XR-场景内容由至少一个虚拟客体内容构成。扩展现实应用渲染XR-场景内容以生成虚拟现实(VR)、增强现实(AR)及混合现实(MR)图像数据。生成的虚拟现实(VR)、增强现实(AR)及混合现实(MR)图像数据通过用户终端10的显示部106提供给用户。
用户终端10是向用户提供扩展现实图像的设备。用户终端10通过预先安装的扩展现实应用向用户提供扩展现实环境。更具体来讲，用户终端10从扩展现实服务器20接收扩展现实应用及XR-场景内容。用户终端10通过接收的扩展现实应用解析接收的XR-场景内容。扩展现实应用对接收的XR-场景内容进行渲染以生成表示扩展现实的扩展现实图像数据，通过显示部106将生成的扩展现实图像数据提供给用户。扩展现实应用根据用户选择的扩展现实模式保持或变换XR-场景内容的渲染选项，渲染具有保持或变换的渲染选项的XR-场景内容生成扩展现实图像数据。
例如，扩展现实应用根据用户是否选择了虚拟现实模式或增强现实模式变换XR-场景内容中包含的虚拟客体内容的渲染选项，根据变换的渲染选项渲染虚拟客体内容。更具体来讲，用户选择虚拟现实模式的情况下，扩展现实应用变换XR-场景内容使得生成表示虚拟现实的虚拟现实图像数据，对变换的XR-场景内容进行渲染生成虚拟现实图像数据。用户终端10将生成的虚拟现实图像数据通过显示部106提供给用户使得用户能够体验虚拟现实环境。用户选择增强现实模式的情况下，扩展现实应用变换XR-场景内容使得生成表示增强现实的增强现实图像数据，对变换的XR-场景内容进行渲染生成增强现实图像数据。用户终端10将生成的增强现实图像数据通过显示部106提供给用户使得用户能够体验增强现实环境。
用户终端10将生成的扩展现实图像数据通过用户终端10的显示部106提供给用户。以下假设用户终端10预先安装有扩展现实应用。作为用户终端10的例有智能手机(smartphone)、平板电脑(tablet PC)、头戴式显示器(Head Mount Display，HMD)、膝上电脑(laptop)、智能眼镜(smart glasses)等。
图2为图1所示的用户终端的构成图。参考图2，用户终端10由处理器101、摄像头模块102、渲染选项变换部103、客体检测部104、渲染部105、显示部106、输入模块107、通信模块108及存储装置109构成。处理器101处理智能手机之类的与用户终端10的一般任务。摄像头模块102拍摄用户终端10所在的现实空间，生成表示所在的现实空间的图像数据。
渲染选项变换部103根据选择的扩展现实模式变换从扩展现实服务器20接收的XR-场景内容中包含的虚拟客体内容的渲染选项。如上所述，虚拟现实与增强现实向用户提供不同的画面。渲染选项变换部103变换XR-场景内容中包含的虚拟客体内容的渲染选项使得生成关于用户终端10的用户选择的扩展现实模式的扩展现实图像数据。例如，用户选择增强现实模式的情况下，渲染选项变换部103将作为在增强现实模式需要渲染成虚拟客体的对象的增强对象客体以外的客体的客体内容的渲染选项中指示可视(visible)或非可视(invisible)的可视选项的属性从可视变换成非可视。
并且，渲染选项变换部103根据选择的扩展现实模式变换XR-场景内容中表示扩展现实图像的背景的颜色的底色选项。渲染选项变换部103根据用户终端10的用户选择的扩展现实模式保持或变换XR-场景内容的底色选项。例如，选择虚拟现实模式的情况下，渲染选项变换部103将XR-场景内容的底色选项保持白色，选择增强现实模式的情况下，渲染选项变换部103将XR-场景内容的底色选项变换成透明色。
客体检测部104分析摄像头模块102生成的表示现实空间的图像数据，从图像数据检测增强对象客体。用户选择增强现实模式的情况下，客体检测部104从由摄像头模块102生成的图像数据检测增强对象客体。例如，客体检测部104在从摄像头模块102接收的图像数据检测表示增强对象客体的目标标记。目标标记是用于识别增强现实中作为增强现实的渲染对象的物体的标记。标记包括快速响应码(Quick Response Code，QR码)、条形码(barcode)、自然特征(natural feature)等。
渲染部105渲染表示扩展现实图像的XR-场景内容。渲染部105渲染XR-场景内容中包含的表示虚拟客体的虚拟客体内容。渲染部105渲染XR-场景内容以生成表示扩展现实的扩展现实图像。渲染部105渲染从扩展现实服务器接收且由渲染选项变换部103保持或变换的XR-场景内容。更具体来讲，渲染部105根据XR-场景内容的底色选项及虚拟客体内容的可视选项渲染XR-场景内容，生成包括按照底色选项的背景及虚拟客体的扩展现实图像。渲染部105将生成的扩展现实图像输入到显示部106。例如，选择虚拟现实模式的情况下，渲染部105渲染底色选项保持白色且虚拟客体内容的可视选项保持可视的XR-场景内容以生成包括白色的背景及虚拟客体的虚拟现实图像。选择增强现实模式的情况下，渲染部105渲染底色选项变换成透明且增强对象客体以外的虚拟客体内容的可视选项变换成非可视的XR-场景内容以生成包括表示现实空间的图像的背景及增强对象客体的增强对象图像。
其中，渲染选项变换部103、客体检测部104及渲染部105可以由不同于处理器101的另外的专用处理器构成，也可以通过处理器101运行计算机程序实现。
显示部106显示扩展现实图像数据。显示部106显示表示扩展现实的扩展现实图像数据以向用户终端10的用户提供扩展现实环境。输入模块107接收用户输入的操作虚拟客体的命令、在显示的扩展现实图像数据对画面进行旋转、放大及缩小的命令等。输入模块107的例有触摸屏面板、运动控制器、键盘、鼠标、用于识别手动作的摄像头等。
通信模块108支持通信功能使得能够接入移动通信基站或WiFi中继器通过因特网等广域网与扩展现实服务器20进行通信。通信模块108能够通过3G、4G、5G、WiFi、Wibro、Zigbee等多种通信方式与扩展现实服务器20连接，从扩展现实服务器20接收数据且向扩展现实服务器20发送数据。存储装置109存储有在用户终端10运行的扩展现实应用及被这种应用使用的数据，例如扩展现实场景内容等。
用户终端10除了以上说明的构成要素之外还可以包括附加构成要素。例如，用户终端10如图2所示，包括用于在多个构成要素之间传输数据的总线，虽然在图2中省略，但包括向各构成要素供应驱动电源的电力模块(未图示)。如上，对本实施例所属技术领域的一般技术人员公知的构成要素的说明会导致混淆本实施例的特征，因此予以省略。以下对本发明的一个实施例的表示扩展现实的扩展现实图像生成方法进行说明的过程中，对用户终端10的各构成要素进行具体说明。
图3为本发明的一个实施例的多种扩展现实模式的集成渲染方法的流程图。参考图3，本实施例的基于扩展现实模式的多种扩展现实模式的集成渲染方法由图2所示的在用户终端10按时间顺序执行的步骤构成。
在301步骤，用户终端10的处理器101通过输入模块107从用户接收到使得运行扩展现实应用的命令的情况下，运行扩展现实应用。如上所述，用户终端10运行扩展现实应用之前已经从扩展现实服务器20下载安装有扩展现实应用。
在302步骤，用户终端10的处理器101加载(load)XR-场景内容。对于包括表示扩展现实图像且表示扩展现实图像中包含的虚拟客体的至少一个虚拟客体内容的扩展现实(XR)-场景内容，用户终端10通过输入模块107从用户接收或通过通信模块108从扩展现实服务器20接收并存储在存储装置109。处理器101加载用户输入的扩展现实场景内容或存储于存储装置109的XR-场景内容。
在303步骤，用户终端10的处理器101通过输入模块107从用户接收对包括虚拟现实模式及增强现实模式的多个扩展现实模式中任意一个扩展现实模式的选择。用户选择虚拟现实模式及增强现实模式中任意一个模式，通过用户终端10的输入模块107输入选择的扩展现实模式。用户终端10的处理器101通过输入模块107接收用户对扩展现实模式的选择。
在304步骤，用户终端10的渲染部105根据在303步骤选择的任意一个扩展现实模式保持或变换关于在302步骤中加载的XR-场景内容中包含的至少一个虚拟客体内容的多个渲染选项各自的属性，渲染具有保持或变换的属性的至少一个虚拟客体内容。更具体来讲，渲染部105根据用户选择的扩展现实模式保持或变换XR-场景内容中包含的虚拟客体内容的渲染选项的属性。例如，用户选择虚拟现实模式的情况下，渲染部105将虚拟客体内容的渲染选项中指示虚拟客体的可视(visible)或非可视(in-visible)的可视选项的属性保持可视，用户选择增强现实模式的情况下，渲染部105将虚拟客体内容的可视选项的属性从可视变换成非可视。虚拟客体内容的渲染选项的例有指示虚拟客体的可视或非可视的可视选项、指示虚拟客体的色度的色度选项、指示虚拟客体的材质的质感(texture)选项等多种具体选项。
渲染部105渲染具有保持或变换的属性的XR-场景内容的虚拟客体内容。如上所述，渲染部105根据选择的扩展现实模式将XR-场景内容中包含的虚拟客体内容的可视选项的属性保持可视或变换成非可视。渲染部105渲染XR-场景内容中包含的至少一个虚拟客体内容的渲染选项中可视选项的属性为可视的虚拟客体内容。渲染部105不渲染虚拟客体内容的可视选项的属性为非可视的虚拟客体内容。更具体来讲，后续对XR-场景内容的变换及渲染进行具体说明。
图4为图3所示的渲染步骤的具体流程图。参考图4，在3041步骤，用户终端10的处理器101确定在303步骤选择的扩展现实模式是否为增强现实模式。在303步骤选择的扩展现实模式为增强现实模式的情况下执行3042步骤，否则，即，在303步骤选择的扩展现实模式为虚拟现实模式的情况下执行3046步骤。
在3042步骤，用户终端10的渲染选项变换部103将XR-场景内容中指示扩展现实图像的背景的颜色的底色选项的属性变换成透明。如上所述，增强现实是在表示现实空间的图像上增加虚拟客体并提供给用户。用户选择增强现实模式的情况下，用户终端10的显示部106在画面显示表示现实空间的图像上包括增强对象客体的虚拟客体的增强现实图像。在303步骤中用户选择增强现实模式的情况下，渲染选项变换部103将XR-场景内容的底色选项的属性变换成透明，渲染具有变换的底色选项的XR-场景内容以将背景渲染为透明。从而，即使渲染XR-场景内容的背景，但由于扩展现实图像的背景仍为透明，因此用户能够看到由摄像头模块102生成的表示现实空间的现实空间图像。
在3043步骤，用户终端10的渲染选项变换部103将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性从可视(visible)变换成非可视(invisible)。用户选择增强现实模式的情况下，渲染选项变换部103将XR-场景内容中包含的虚拟客体内容的可视选项从可视变换成非可视，以此使得XR-场景内容中包含的虚拟客体内容不被渲染。如上所述，在虚拟现实模式，用户终端10向用户提供表示客体及背景均被渲染的虚拟现实的图像，而在增强现实模式，用户终端10向用户提供仅增强对象客体被渲染而其余则表示由摄像头模块拍摄的实际空间的图像。从而在3043步骤，选择增强现实模式的情况下，用户终端10不需要渲染除XR-场景内容中表示增强对象客体的虚拟客体内容以外的表示其余虚拟客体的其他虚拟客体内容。用户终端10的渲染选项变换部103从而通过将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性从可视变换成非可视，防止增强对象客体的虚拟客体内容以外的其他表示虚拟客体的虚拟客体内容在增强现实模式被渲染。
在3044步骤，用户终端10的客体检测部104从表示现实空间的图像数据检测要在增强现实模式增强的增强对象。客体检测部104检测要在增强现实模式渲染生成虚拟客体的增强对象客体。客体检测部104从由用户终端10的摄像头模块102生成的图像数据检测在增强现实模式中的增强对象客体。摄像头模块102生成表示当前用户终端10观察到的现实空间的图像数据。从由摄像头模块102生成的表示现实空间的图像数据中检测到作为要在增强现实模式增强的增强对象的增强对象客体的情况下，用户终端10渲染通过与增强对象客体对应的虚拟客体内容表示的虚拟客体，将渲染的虚拟客体包含在由当前摄像头模块102生成的图像数据上，将包括虚拟客体的图像数据通过显示部106提供给用户。用户从而能够通过用户终端10的显示部106看到现实世界与虚拟客体一起出现的图像。
如上所述，客体检测部104从由摄像头模块102生成的表示现实空间的图像数据检测增强对象客体。客体检测部104以从图像数据检测表示增强对象客体的目标(target)标记的方式检测增强对象客体。目标标记是用于识别要在增强现实模式增强的对象的标记。客体检测部104通过从表示现实空间的图像数据检测到的目标标记识别增强对象客体。
本发明的一个实施例的客体检测部104通过图像处理提取表示现实空间的图像数据中包含的形状，利用提取的形状检测表示增强对象客体的目标标记。更具体来讲，客体检测部104提取表示现实空间的图像数据中包含的形状。例如，客体检测部104从图像数据提取特征点(feature point，keypoint)。特征点是图像中与周围背景相区分且容易识别的地点。特征点是即使图像数据中形体、大小或位置变化也能够轻易地识别，即使摄像头的视点及照明变化也能够轻易地识别的地点。作为特征点的例有棱角(corner)、分界线(edge)等。客体检测部104通过分析提取的特征点提取图像数据中包含的形状。客体检测部104能够利用人工神经网络(Artificial Neural Network)技法提取图像数据中包含的形状。从图像数据提取特征点及形状的方法是本实施例所属技术领域的普通技术人员公知的内容，因此为了防止对此具体说明混淆本实施例的特征而不再更具体地进行说明。
客体检测部104提取从表示现实空间的图像数据提取的形状中的目标标记。更具体来讲，客体检测部104比较提取的形状与预先存储在用户终端10的存储装置109的目标标记形状。客体检测部104根据比较结果将从图像数据提取的形状中与目标标记的形状一致的形状检测为目标标记。客体检测部104提取与预先存储于存储装置109的目标标记的形状相同的形状作为目标标记。
用户终端10的存储装置109预先存储有目标标记的形状。如上所述，目标标记的形状是要在增强现实模式增强的对象客体的形状。客体检测部104比较存储在存储装置109的增强对象客体的形状与从由摄像头模块102生成的表示现实空间的图像数据提取的形状，将与预先存储的目标标记的形状一致的形状确定为目标标记。以增强对象为3D打印机的粉盒的情况为例，用户终端10的存储装置109预先存储作为增强对象的粉盒的形状。客体检测部104比较从表示现实空间的图像数据提取的形状与预先存储于存储装置109的粉盒的形状。通过比较，将与预先存储于存储装置109的粉盒的形状一致的形状确定为增强对象客体。
在本发明的另一实施例中，用户终端10的存储装置109可存储QR码(QuikcResponse code)、条形码(bar code)等任意的码作为目标标记的形状。用户向要在增强现实模式增强的对象物体附着作为目标标记的形状存储的QR码或条形码，以此在现实空间指定增强对象。以增强对象为粉盒的情况为例，用户将作为目标标记形状存储在存储装置109的QR码附着在作为实际增强对象的粉盒。客体检测部104可比较存储在存储装置109的QR码或条形码的形状与从表示现实空间的图像数据提取的形状，将与预先存储的QR码或条形码的形状一致的形状确定为目标标记。
在本发明的又一实施例中，目标标记包括肉眼无法识别的电子信号。例如，用户终端10能够通过小型无线通信设备发送的信号检测目标标记。发送包括增强对象的形状及位置的信息的信标信号的无线通信设备附着于实际增强对象，附着于实际增强对象的无线通信设备向用户终端10发送关于目标标记的信号。用户终端10可根据接收的关于目标标记的信号识别目标标记的形状及位置。用户终端10除了上述例示以外还可通过多种方法识别目标标记。
在3045步骤，用户终端10的渲染选项变换部103将表示与从XR-场景内容检测的增强对象客体对应的虚拟客体的虚拟客体内容的渲染选项变换成可视(visible)。渲染选项变换部103将表示与在3044步骤检测到的增强对象客体对应的虚拟客体的虚拟客体内容的渲染选项中可视选项的属性从非可视重新变换成可视。将表示作为要在增强现实模式增强为虚拟客体的对象的增强对象客体的虚拟客体内容的可视选项的属性重新变更为可视，用户终端10的渲染部105渲染表示与增强对象客体对应的虚拟客体的虚拟客体内容以生成增强对象客体的虚拟客体。如上所述，在3043步骤中渲染选项变换部103将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性从可视变换成非可视，在3045步骤中渲染选项变换部103将表示与增强对象客体对应的虚拟客体的虚拟客体内容的可视选项从非可视重新变换成可视。在3043步骤中将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性从可视变换成非可视以使得在增强现实模式虚拟客体不被渲染，在3045步骤中将表示与增强现实模式中增强对象客体对应的虚拟客体的虚拟客体内容的渲染选项中可视选项的属性从非可视重新变换成可视，以此使得表示与增强现实模式中增强对象客体对应的虚拟客体的虚拟客体内容被渲染。因此渲染部105如后续的3048步骤中所述说明选择增强现实模式的情况下渲染具有变换的属性的XR-场景内容以生成增强对象客体的虚拟客体。
在3046步骤，用户终端10的渲染选项变换部103将XR-场景内容中指示扩展现实图像的背景的颜色的底色选项的属性变换成预先设定的背景色。如上所述，虚拟现实技术向用户提供由计算机生成的表示客体及背景的图像。用户选择虚拟现实模式的情况下，用户终端10的显示部106在画面显示表示由用户终端10渲染的虚拟客体及背景构成的虚拟现实的图像。在303步骤中用户选择虚拟现实模式的情况下，渲染选项变换部103将XR-场景内容中的底色选项的属性变换成预先设定的背景色。其中，背景色可被用户预先设定为白色、灰色、黑色等颜色。
在3047步骤，用户终端10的渲染选项变换部103将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性变换成可视。渲染选项变换部103在用户选择虚拟现实模式的情况下将XR-场景内容中包含的虚拟客体内容的可视选项的属性从非可视变换成可视或将可视选项的属性保持为可视。将XR-场景内容中包含的虚拟客体内容的可视选项变换成可视以使得XR-场景内容中包含的虚拟客体内容被渲染。如上所述，在虚拟现实模式，用户终端10向用户提供表示客体及背景均被渲染的虚拟现实的图像，因此渲染XR-场景内容中包含的虚拟客体内容，将表示虚拟客体及背景的图像提供给用户。
如上所述，用户选择增强现实模式的情况下，在3043步骤中将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性从可视变换成非可视。之后用户改成选择虚拟现实模式的情况下，为了提供表示虚拟现实的图像，需要将XR-场景内容中包含的虚拟客体内容的渲染选项中可视选项的属性从非可视重新变换成可视。因此，在3047步骤中渲染选项变换部103将XR-场景内容中包含的虚拟客体内容的可视选项的属性变换成可视。
在3048步骤，用户终端10的渲染部105渲染XR-场景内容中渲染选项中可视选项的属性为可视的虚拟客体内容。渲染部105渲染XR-场景内容中可视选项的属性为可视的虚拟客体内容，生成通过虚拟客体内容表示的虚拟客体。选择增强现实模式的情况下，由于在3043步骤至3045步骤XR-场景内容中包含的虚拟客体内容中表示与增强对象客体对应的虚拟客体的虚拟客体内容的可视选项的属性为可视且其余虚拟客体内容的可视选项的属性已变换成非可视，因此渲染部105渲染表示与增强对象客体对应的虚拟客体的虚拟客体内容，生成增强对象客体的虚拟客体。选择虚拟现实模式的情况下，由于XR-场景内容中包含的虚拟客体内容的可视选项的属性为可视，因此渲染部105渲染XR-场景内容中包含的虚拟客体内容生成虚拟客体。渲染部105渲染XR-场景内容生成包括渲染的虚拟客体的扩展现实图像。综合以上所述的内容，用户选择增强现实模式的情况下，渲染部105生成以摄像头模块102生成的表示现实空间的图像为背景且包括增强对象客体被渲染的虚拟客体的增强现实图像，用户选择虚拟现实模式的情况下，渲染部105渲染XR-场景内容生成预先设定的背景色的底上包括XR-场景内容中包含的虚拟客体内容的虚拟客体的虚拟现实图像。
再次参考图3，在305步骤，用户终端10的显示部106显示生成的扩展现实图像数据。显示部106显示在305步骤生成的扩展现实图像数据，向用户提供扩展现实画面。选择增强现实模式的情况下，显示部106显示表示现实空间及渲染的增强对象客体的增强现实图像数据。更具体来讲，显示部106显示由用户终端10的摄像头模块102拍摄的画面上包括由渲染部105渲染的增强对象物体的虚拟客体的扩展现实图像数据。用户终端10的用户能够通过显示部106同时看到由摄像头模块102拍摄的画面及增强对象客体的虚拟客体，从而能够体验增强现实环境。
选择虚拟现实模式的情况下，显示部106显示包括渲染的虚拟客体的虚拟现实图像数据。更具体来讲，显示部106显示包括由渲染部105渲染的虚拟客体的扩展现实图像数据。用户终端10的用户能够通过显示部106看到由用户终端10生成的虚拟客体，从而能够体验虚拟现实环境。
图5a及图5b为示出包括通过扩展现实渲染选项变换部渲染方法渲染的虚拟客体的扩展现实图像显示于显示部的例示画面的示意图。更具体来讲，图5a是表示虚拟现实的虚拟现实图像显示于用户终端10的显示部106的例示画面，图5b是表示增强现实的增强现实图像显示于显示部106的例示画面。参考图5a的例，用户选择虚拟现实模式的情况下，用户终端10渲染XR-场景内容中包含的虚拟客体内容，用户终端10的显示部106显示表示底色的背景及渲染的虚拟客体的虚拟现实图像。在图5a的例示画面中，阀门、阀门把手、示出阀门把手的旋转方向的箭头及说明阀门把手的操作方法的注释被渲染成3D虚拟客体并显示于底色的虚拟环境空间。
参考图5b，如上所述，用户选择增强现实模式的情况下，用户终端10将XR-场景内容中包含的虚拟客体内容的可视选项的属性从可视变换成非可视，检测增强对象客体且将表示与增强对象客体对应的虚拟客体的虚拟客体内容中可视选项的属性变换成可视，以渲染表示与增强对象客体对应的虚拟客体的虚拟客体内容，用户终端10的显示部106显示表示由摄像头模块102拍摄的现实空间的图像上包括增强对象客体的虚拟客体的虚拟现实图像。在图5b的例示画面中作为增强对象客体的阀门把手的虚拟客体及示出阀门把手的旋转方向的箭头的虚拟客体显示于阀门所在的现实空间的画面上。
比较图5a及图5b，是虚拟现实模式的情况下，在底色的虚拟现实背景上整个阀门被渲染且显示于底色的虚拟空间上，相反，是增强现实模式的情况下，仅渲染作为增强对象的阀门的把手，一并显示由用户终端10的摄像头模块102拍摄的现实空间的画面与阀门把手的虚拟客体。
在306步骤，用户终端10的处理器101通过输入模块107从用户接收扩展现实应用的结束命令、扩展现实模式的变更命令、虚拟客体的操作命令等输入。用户终端10的用户可通过输入模块107向正在用户终端10运行的扩展现实应用输入结束应用、变更扩展显示模式、操作虚拟客体的位置/方向等命令。
在307步骤，用户终端10的处理器101在307步骤确认输入的命令是否为变更扩展现实模式的命令。从用户终端10的用户在306步骤接收到变更扩展现实模式的命令的情况下执行304步骤，否则执行308步骤。
在308步骤，用户终端10的处理器101处理在307步骤输入的命令。处理器101在扩展现实应用处理用户输入的命令。例如，用户输入使得结束扩展现实应用的命令的情况下，处理器101结束扩展现实应用。用户输入操作虚拟客体的位置及方向的命令的情况下，处理器101根据输入的命令在变扩展现实上变更被操作的虚拟客体的位置及方向。输入结束应用的命令的情况下，在308步骤结束扩展现实应用，否则重新返回306步骤。
如上所述，XR-场景内容包括表示虚拟客体的至少一个虚拟客体内容，虚拟客体内容根据选择的扩展现实模式被渲染。根据在扩展现实模式是否被渲染区分虚拟客体内容。更具体来讲，虚拟客体内容区分为选择增强现实模式的情况下被渲染的增强现实用虚拟客体内容、选择虚拟现实模式的情况下被渲染的虚拟现实用虚拟客体内容及分别在增强现实模式与虚拟现实模式被渲染的扩展现实用虚拟客体内容。XR-场景内容可包括增强现实用虚拟客体内容、虚拟现实用虚拟客体内容及扩展现实用虚拟客体内容这三种，XR-场景内容可包括虚拟现实用虚拟客体内容与增强现实用虚拟客体内容中至少一个与扩展现实用虚拟客体内容。
XR-场景内容中虚拟客体内容可包括表示虚拟客体内容的种类的类型标签、表示虚拟客体内容的标识的标识标签及表示表现扩展现实中的虚拟客体的元数据的虚拟客体标签。例如，是虚拟现实用虚拟客体内容的情况下，虚拟客体内容的类型标签表示是虚拟现实用虚拟客体内容，是增强现实用虚拟客体内容的情况下，虚拟客体内容的类型标签表示是增强现实用虚拟客体内容，是扩展现实用虚拟客体内容的情况下，类型标签表示是扩展现实用虚拟客体内容。
渲染XR-场景内容中包含的至少一个虚拟客体内容时，渲染部105根据XR-场景内容中包含的至少一个虚拟客体内容的类型标签及扩展现实模式渲染至少一个虚拟客体内容。更具体来讲，选择虚拟现实模式的情况下，渲染部105渲染虚拟客体内容的类型标签表示是虚拟现实用虚拟客体内容的虚拟客体内容及类型标签表示是扩展现实用虚拟客体内容的虚拟客体内容。选择增强现实模式的情况下，渲染部105渲染虚拟客体内容的类型标签表示是增强现实用虚拟客体内容的虚拟客体内容及类型标签表示是扩展现实用虚拟客体内容的虚拟客体内容。
图6a至图6c为本发明的扩展现实场景内容的例示。图6a至图6c例示的扩展现实(XR)场景内容以用标签指示关于待增强的实际物体的元数据，以标签为组用上位标签的子标签宣告待增强的实际物体的方式表示扩展现实图像。图5a及图5b的各例示画面是根据图6a至图6c所示的各XR-场景内容生成的虚拟现实图像与增强现实图像。图6a的例示XR-场景内容的具体说明如下。
6-7行：加载扩展现实场景解析器。
74-77行：存储扩展现实场景的题目、说明等元数据。
78-81行：存储扩展现实场景的基本上下文(context)。
82行：指定要在增强现实模式使用的追踪(tracking)引擎。
84-89行：存储关于用户的虚拟摄像头的信息。是虚拟现实模式的情况下用户可直接操作虚拟摄像头的变焦、旋转等，而如果是增强现实模式的情况下，用户无法与用户终端10的摄像头模块102的信息同步地直接操作。
92-93行：在虚拟空间插入周边光与直接光。
95-117行：接收待增强的实际物体(阀门)的元数据。在增强现实模式利用该元数据识别到增强对象客体时要增强的虚拟模型的组。更具体来讲，97行为阀门的把手的虚拟模型，98行为箭头的虚拟模型，99行为关于工作方法的说明的虚拟模型，104行为阀门外壳的虚拟模型，105行为阀门螺钉的虚拟模型。111行虽在图5a及图5b中没有示出，但是是阀座(seatring)的虚拟模型，112行是插入到阀门的内部的滚珠的虚拟模型，113行为关于111-112行的虚拟模型被渲染时阀座及滚珠的说明的虚拟模型。117行是关于阀门的下部外壳的虚拟模型。
在图6a例示的XR-场景内容中，96至100行记载的虚拟客体内容是在增强现实模式渲染的增强现实用虚拟客体内容，103至114行记载的虚拟客体内容是在增强现实模式及虚拟现实模式均渲染的扩展现实用虚拟客体内容，117行记载的虚拟现实内容是在虚拟现实模式渲染的虚拟现实用虚拟客体内容。
在图6a的XR-场景内容中96至100行的增强现实用虚拟客体内容记载如下。
其中，虚拟客体内容的类型标签为wxr-aranchor，表示是仅在增强现实模式渲染的增强现实用虚拟客体内容。96行的虚拟客体内容的标识用“STEP01”表示。wxr-aranchor标签组中包含的虚拟客体内容(97至99行记载的id＝“handle”，id＝“handelarow”，及id＝“annotation01”)在具有wxr-aranchor标签的id＝“STEP01”被渲染时一起被渲染。
图6a的XR-场景内容中103至107行的扩展现实用虚拟客体内容记载如下。
其中，虚拟客体内容的类型标签为wxr-target，表示是在增强现实模式及虚拟现实模式均渲染的扩展现实用虚拟客体内容。103行的虚拟客体内容的标识用“STEP02”表示。wxr-target标签组中包含的虚拟客体内容(104至106行记载的id＝“3cover”，id＝“screws”，及id＝“annotation02”)在具有wxr-target标签的id＝“STEP02”被渲染时一起被渲染。
图6a的XR-场景内容中117行的虚拟现实用虚拟客体内容记载如下。
其中，虚拟客体内容的类型标签为wxr-obj，表示是仅在虚拟现实模式渲染的虚拟现实用虚拟客体内容。117行的虚拟客体内容的标识用“base”表示。
图6b及图6c为XR-场景内容的其他实施例。图6b例示的XR-场景内容包括在选择虚拟现实模式的情况下渲染的虚拟现实用虚拟客体内容、及分别在增强现实模式与虚拟现实模式渲染的扩展现实用虚拟客体内容。图6c例示的XR-场景内容包括选择增强现实模式的情况下渲染的增强现实用虚拟客体内容及分别在增强现实模式与虚拟现实模式渲染的扩展现实用虚拟客体内容。
在本发明的又一实施例的3043步骤，渲染选项变换部103将XR-场景内容中除照明相关内容以外的虚拟客体内容的可视选项的属性从可视变换成非可视。渲染选项变换部103在用户选择增强现实模式的情况下，将XR-场景内容中包含的虚拟客体内容中除照明相关内容以外的虚拟客体内容的可视选项的属性从可视变换成非可视。表示扩展现实图像的XR-场景内容包括照明相关内容。
照明相关内容是生成扩展现实图像时扩展现实图像中与照明相关的内容。在实际空间中照明不具有形态，但对其他客体的颜色造成影响。同样，在扩展现实中照明同样是不具有形态，但是对其他客体的颜色造成影响的无形的客体。由于这种照明的性质，生成扩展现实图像时不渲染照明相关内容的情况下，渲染的虚拟客体与现实空间的对象客体的颜色之间可能会产生差异。其中，照明包括直接照明、间接照明、自然光等。
与其相关，图7是示出包括不考虑照明相关内容的情况下将XR-场景内容中包含的虚拟客体内容的可视选项的属性变换成非可视且将表示与增强对象客体对应的虚拟客体的虚拟客体内容的可视选项变换成可视的情况下所被渲染的增强对象客体的虚拟客体的增强现实图像的画面的例示。参考图7，用户终端10渲染XR-场景内容生成增强现实图像时不对XR-场景内容中包含的照明相关内容一并渲染的情况下，渲染XR-场景内容时在虚拟空间照明对虚拟客体造成的影响不被考虑，因此渲染的虚拟客体的颜色可能会不同于在现实空间看到的实际客体的颜色。
比较图5b所示的例示画面与图7所示的例示画面，图7所示的例示画面由于用户终端10渲染时将照明相关内容的可视选项的属性变换成非可视的情况下生成增强现实图像，因此渲染的阀门把手的虚拟客体的颜色看起来是不同于现实空间的阀门把手颜色的黑色。与之相反，图5b所示的例示画面由于用户终端10渲染时未将照明相关内容的可视选项的属性变换成非可视的情况下生成增强现实图像，因此渲染的阀门把手的虚拟客体的颜色看起来是与现实空间的阀门把手颜色相同的亮灰色。
如上所述，根据本发明的又一实施例，生成增强现实图像数据时将增强对象客体与照明相关内容一并渲染，因此增强对象客体的虚拟客体被渲染成与在现实空间看到的现实客体近似的颜色。用户终端10从而能够向用户提供接近现实的增强现实环境，用户由于接近现实的增强现实图像而能够获得高度的沉浸感。
另外，上述本发明的实施例可编写成能够通过计算机运行的程序，在利用计算机可读存储介质运行所述程序的通用数字计算机实现。并且，在上述本发明的实施例中使用的数据的结构可通过多种方式存储于计算机可读存储介质。所述计算机可读存储介质有磁存储介质(例如，ROM、软盘、硬盘等)、光学读取介质(例如，CD-ROM、DVD等)之类的存储介质。
以上主要说明了本发明的优选实施例。本发明所属技术领域的普通技术人员能够理解可在不超出本发明的本周特性的范围内以变形方式实施。因此公开的实施例应从说明的角度而不是限定的角度考虑。本发明的范围示于权利要求范围而不是上述说明，应解释为与之等同范围内的所有差异均包含于本发明。

Claims (11)

1.一种集成渲染方法，是多种扩展现实模式的集成渲染方法，其特征在于，包括：
从存储装置加载包括表示扩展现实XR图像且表示所述扩展现实XR图像中包含的虚拟客体的至少一个虚拟客体内容的XR-场景内容的步骤；
接收选择包括虚拟现实模式与增强现实模式的多个扩展现实模式中任意一个扩展现实模式的用户的选择的步骤；以及
根据选择的所述扩展现实模式保持或变换关于所述至少一个虚拟客体内容的多个渲染选项各自的属性，渲染具有保持或变换的所述属性的所述至少一个虚拟客体内容，以生成相当于选择的所述扩展现实模式的图像数据的步骤，
所述多个渲染选项包括表示由所述XR-场景内容表示的扩展现实图像的背景的底色选项和指示包含于所述扩展现实XR图像的虚拟客体的可视或非可视的可视选项。
2.根据权利要求1所述的集成渲染方法，其特征在于：
在所述渲染的步骤，
选择的所述扩展现实模式为所述虚拟现实模式的情况下，保持所述多个渲染选项各自的属性，根据保持的所述属性渲染所述至少一个虚拟客体内容，
选择的所述扩展现实模式为所述增强现实模式的情况下，变换所述多个渲染选项各自的属性，根据变换的所述属性渲染所述至少一个虚拟客体内容。
3.根据权利要求2所述的集成渲染方法，其特征在于，所述渲染的步骤包括：
选择的所述扩展现实模式为所述增强现实模式的情况下，将所述虚拟客体内容的多个渲染选项中指示所述虚拟客体的可视或非可视的可视选项的属性从可视变换成非可视的步骤；
从由摄像头模块生成的表示现实空间的现实空间图像数据检测所述增强现实模式的增强对象客体的步骤；
将与检测到的所述增强对象客体对应的所述XR-场景内容中包含的虚拟客体内容的可视选项的属性从非可视变换成可视的步骤；以及
渲染所述XR-场景内容中所述虚拟客体内容的可视选项的属性为可视的虚拟客体的步骤。
4.根据权利要求3所述的集成渲染方法，其特征在于：
在将所述可视选项的属性从可视变换成非可视的步骤，将所述XR-场景内容中除照明相关内容以外的其余虚拟客体内容的可视选项从可视变换成非可视。
5.根据权利要求3所述的集成渲染方法，其特征在于，所述渲染的步骤还包括：
选择的所述扩展现实模式为所述增强现实模式的情况下，将所述XR-场景内容中包含的底色选项变换成透明，将所述扩展现实XR图像的背景变换成所述现实空间图像数据的步骤。
6.根据权利要求5所述的集成渲染方法，其特征在于，所述渲染的步骤还包括：
选择的所述扩展现实模式为所述虚拟现实模式的情况下，将所述XR-场景内容中包含的底色选项变换成白色，将所述扩展现实XR图像的背景变换成白色的步骤。
7.根据权利要求3所述的集成渲染方法，其特征在于，
在检测所述增强对象客体的步骤，提取所述现实空间图像数据中包含的形状，比较提取到的所述形状与所述增强对象客体的形状，检测与所述增强对象客体的形状匹配的形状作为所述增强对象客体。
8.一种计算机可读存储介质，存储有用于在计算机运行权利要求1至7中任一项所述的方法的程序。
9.一种用户终端，是用于多种扩展现实模式的集成渲染的用户终端，其特征在于，包括：
处理器，其从存储装置加载包括表示扩展现实XR图像且表示所述扩展现实XR图像中包含的虚拟客体的至少一个虚拟客体内容的XR-场景内容；
输入模块，其用于接收选择包括虚拟现实模式与增强现实模式的多个扩展现实模式中任意一个扩展现实模式的用户的选择；
渲染选项变换部，其根据选择的所述扩展现实模式保持或变换关于所述至少一个虚拟客体内容的多个渲染选项各自的属性；以及
渲染部，其渲染具有保持或变换的所述属性的所述至少一个虚拟客体内容，以生成相当于选择的所述扩展现实模式的图像数据，
所述多个渲染选项包括表示由所述XR-场景内容表示的扩展现实图像的背景的底色选项和指示包含于所述扩展现实XR图像的虚拟客体的可视或非可视的可视选项。
10.一种存储有扩展现实XR-场景内容的存储介质，存储有包括虚拟现实用虚拟客体内容与增强现实用虚拟客体内容中至少一个与扩展现实用虚拟客体内容的XR-场景内容，其特征在于，
所述虚拟现实用虚拟客体内容包括表示是虚拟现实用虚拟客体内容的类型标签及表示表现虚拟现实用虚拟客体的元数据的虚拟客体标签，
所述增强现实用虚拟客体内容包括表示是增强现实用虚拟客体内容的类型标签、及表示表现增强现实用虚拟客体的元数据的虚拟客体标签，
所述扩展现实用虚拟客体内容包括表示是扩展现实用虚拟客体内容的类型标签、及表示表现扩展现实用虚拟客体的元数据的虚拟客体标签，
对于所述虚拟现实用虚拟客体内容、所述增强现实用虚拟客体内容及所述扩展现实用虚拟客体内容中至少一个虚拟客体内容的多个渲染选项包括表示由所述XR-场景内容表示的扩展现实图像的背景的底色选项和指示包含于所述扩展现实XR图像的虚拟客体的可视或非可视的可视选项。
11.根据权利要求10所述的存储有XR-场景内容的存储介质，其特征在于，
所述虚拟现实用虚拟客体内容能够在虚拟现实模式被渲染，
所述增强现实用虚拟客体内容能够在增强现实模式被渲染，
所述扩展现实用虚拟客体内容能够在所述虚拟现实模式及所述增强现实模式被渲染。
CN202011062252.9A 2019-12-10 2020-09-30 多种扩展现实模式的集成渲染方法及适用其的装置 Active CN113052949B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0163954 2019-12-10
KR1020190163954A KR102262521B1 (ko) 2019-12-10 2019-12-10 다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치

Publications (2)

Publication Number Publication Date
CN113052949A CN113052949A (zh) 2021-06-29
CN113052949B true CN113052949B (zh) 2024-06-07

Family

ID=76209845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011062252.9A Active CN113052949B (zh) 2019-12-10 2020-09-30 多种扩展现实模式的集成渲染方法及适用其的装置

Country Status (3)

Country Link
US (1) US11361523B2 (zh)
KR (1) KR102262521B1 (zh)
CN (1) CN113052949B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610363B2 (en) 2020-12-31 2023-03-21 Oberon Technologies, Inc. Systems and methods for virtual reality environments
KR20230057494A (ko) * 2021-10-21 2023-05-02 삼성디스플레이 주식회사 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템
KR102606746B1 (ko) * 2022-12-26 2023-11-29 주식회사 인터랙트 XR(extended reality) 컨텐츠를 이용한 훈련 시스템, 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093734A1 (ko) * 2017-11-08 2019-05-16 엘지전자 주식회사 미디어 데이터를 송수신하는 방법 및 그 장치
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314624A1 (en) * 2015-04-24 2016-10-27 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
KR20180014492A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093734A1 (ko) * 2017-11-08 2019-05-16 엘지전자 주식회사 미디어 데이터를 송수신하는 방법 및 그 장치
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
US11361523B2 (en) 2022-06-14
KR102262521B1 (ko) 2021-06-08
CN113052949A (zh) 2021-06-29
US20210174602A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
CN113052949B (zh) 多种扩展现实模式的集成渲染方法及适用其的装置
JP5521727B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
Grasset et al. Image-driven view management for augmented reality browsers
EP3416091A1 (en) Systems and methods for generating and reading intrinsic matrixed bar codes
KR101330811B1 (ko) 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
US9208379B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium storing program
US20150206353A1 (en) Time constrained augmented reality
US20160125252A1 (en) Image recognition apparatus, processing method thereof, and program
US11922661B2 (en) Augmented reality experiences of color palettes in a messaging system
KR20150105479A (ko) 2차원 코드 증강 현실의 실현 방법 및 디바이스
US5317680A (en) Using regular graphic shapes to identify a pointer-selected graphic object
Liu et al. Embedded media markers: marks on paper that signify associated media
KR20110136026A (ko) 증강현실 데이터 최적화 시스템
KR20110136024A (ko) 증강현실 장치 간 정보 공유 방법
KR101374726B1 (ko) 특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법
CN111638792A (zh) Ar效果的呈现方法、装置、计算机设备及存储介质
Beglov Object information based on marker recognition
KR102434457B1 (ko) 확장현실 기반 가상 체험 서비스 제공 장치 및 방법
CN115843375A (zh) 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质
CN114549809A (zh) 手势识别方法以及相关设备
CN114282031A (zh) 信息标注方法、装置、计算机设备及存储介质
KR20120087232A (ko) 증강 현실 기반의 콘텐츠 표현 시스템 및 그 방법
EP3510440B1 (en) Electronic device and operation method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant