CN114782655B - 基于独立的特征数据的实体追踪方法及装置 - Google Patents

基于独立的特征数据的实体追踪方法及装置 Download PDF

Info

Publication number
CN114782655B
CN114782655B CN202111610866.0A CN202111610866A CN114782655B CN 114782655 B CN114782655 B CN 114782655B CN 202111610866 A CN202111610866 A CN 202111610866A CN 114782655 B CN114782655 B CN 114782655B
Authority
CN
China
Prior art keywords
entity
feature data
uri
engine
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111610866.0A
Other languages
English (en)
Other versions
CN114782655A (zh
Inventor
刘秉炫
李容载
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Institute of Science and Technology
Original Assignee
Korea Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210111237A external-priority patent/KR102489927B1/ko
Application filed by Korea Institute of Science and Technology filed Critical Korea Institute of Science and Technology
Publication of CN114782655A publication Critical patent/CN114782655A/zh
Application granted granted Critical
Publication of CN114782655B publication Critical patent/CN114782655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于独立于增强现实引擎的特征数据的实体追踪方法及装置，根据实体的名称及AR引擎的名称的组合生成关于实体的特征数据的URI，利用该URI获取将实体的特征表示为在AR引擎能够处理的格式的实体的特征数据，能够基于如此获取的特征数据运行AR引擎以执行在增强现实空间中的实体的追踪，从而能够基于独立于增强现实引擎的特征数据进行实体追踪。

Description

基于独立的特征数据的实体追踪方法及装置
技术领域
本发明涉及在增强现实空间追踪实体的方法及装置。
背景技术
增强现实(AR：Augmented Reality)是在现实空间的图像重叠虚拟图像并显示为一个图像的技术，对应于现实空间的增强现实空间中存在需要重叠显示虚拟图像的至少一个实体。由于需要在增强现实空间反映实体在现实空间中的移动，因此实体追踪技术是增强现实应用提供的代表性技术。这种实体的追踪通过增强现实应用调用的增强现实引擎来执行。以下将增强现实引擎简称为“AR引擎”。
实体追踪技术可分为追踪二维图像的技术及追踪三维对象的技术。实体相当于二维图像的情况下，AR引擎根据二维图像生成表示其二维图像的特征的特征数据，并利用特征数据在增强现实空间中追踪实体。实体相当于三维对象的情况下，AR引擎根据表示三维对象的多个图像生成表示其三维对象的特征的特征数据，并利用特征数据在增强现实空间中追踪实体。如此，根据是二维图像追踪还是三维对象追踪，生成特征数据的算法也会不同。
增强现实应用分为本机(native)应用及网络(web)应用。本机应用是基于由谷歌公司的安卓、iOS等平台提供的SDK(Software Development Kit，软件开发工具包)开发的应用，只能在支持该SDK的平台运行。网络应用是用HTML(Hypertext Markup Language，超文本标记语言)、CSS(Client Side Script，客户端脚本)、JS(Java Script，Java脚本)等网络语言编写的应用，在安卓、iOS两者均可运行。
由于这些各种增强现实应用采用不同的AR引擎，且每一个AR引擎所使用的特征数据的格式不相同，因此各个增强现实应用需要生成适合其所采用的AR引擎的格式的特征数据。从而，现有的增强现实应用包括依赖于增强现实引擎的特征数据生成算法。
由于对于每个AR引擎来讲生成特征数据的算法、特征匹配算法不相同，因此某些AR引擎可能相比于其他AR引擎呈现出对于二维图像的优异的追踪性能，或呈现出对实体的特定形状的优异的追踪性能，而对于三维对象等实体的另一类型及形状呈现出较差的追踪性能。因此，正在尝试开发使用多个类型的AR引擎的增强现实应用，但因为增强现实应用需包含关于其使用的所有AR引擎的多个特征数据生成算法，因此具有增强现实应用的开发越来越难以及增强现实应用的大小增大的问题。
发明内容
技术问题
本发明的目的在于提供不使用依赖于增强现实引擎的特征数据生成算法，而是独立于增强现实引擎获取特征数据并运行AR引擎，从而能够执行在增强现实空间中的实体的追踪的基于独立于增强现实引擎的特征数据的实体追踪方法及装置。此外，目的在于提供存储用于在计算机执行所述实体追踪方法的程序的计算机可读存储媒体。不限于如上所述的技术问题，通过以下说明能够导出又一技术问题。
技术方案
根据本发明的一方面的基于独立于增强现实引擎的特征数据的实体追踪方法，包括：根据第一实体的名称与第一AR引擎的名称的组合生成关于所述第一实体的特征数据的URI(Uniform Resource Identifier：统一资源标识符)的步骤；利用关于所述第一实体的特征数据的URI，获取将所述第一实体的特征表示为在所述第一AR引擎能够处理的格式的第一实体的特征数据的步骤；以及基于获取的所述第一实体的特征数据运行所述第一AR引擎来执行在增强现实空间中的所述第一实体的追踪的步骤。
生成关于所述第一实体的特征数据的URI的步骤为，根据资源服务器的主机名、所述第一实体的名称及所述第一AR引擎的名称的组合生成关于所述第一实体的特征数据的URI，在获取所述第一实体的特征数据的步骤中，能够利用关于所述第一实体的特征数据的URI，向对应于关于所述第一实体的特征数据的URI的主机的资源服务器请求所述第一实体的特征数据，以从所述资源服务器获取所述第一实体的特征数据。
所述实体追踪方法还包括根据所述资源服务器的主机名与所述第一实体的名称的组合生成所述第一实体的URI的步骤；及从所述多个类型的AR引擎中检测将用于所述第一实体的追踪的第一AR引擎的步骤，在生成关于所述第一实体的特征数据的URI的步骤中，可通过在生成的所述第一实体的URI附加检测到的所述第一AR引擎的名称来生成关于所述第一实体的特征数据的URI。
所述实体追踪方法还包括检测所述第一AR引擎针对所述第一实体将要使用的实体追踪方法的步骤，在生成关于所述第一实体的特征数据的URI的步骤中，可在生成的所述第一实体的URI添加检测到的所述第一AR引擎的名称及检测到的所述实体追踪方法的名称来生成关于所述第一实体的特征数据的URI。
在检测所述实体追踪方法的步骤中，可根据所述第一实体属于二维图像还是三维对象检测所述第一AR引擎针对所述第一实体将要使用的实体追踪方法。
所述实体追踪方法还包括从增强现实内容检测所述增强现实内容所表示的增强现实空间中的至少一个实体的步骤，在生成关于所述第一实体的特征数据的URI的步骤中，可从检测到的所述至少一个实体中所述第一实体的名称及所述第一AR引擎的名称的组合生成关于所述第一实体的特征数据的URI。
所述实体追踪方法可包括：根据第二实体的名称及第二AR引擎的名称的组合生成关于所述第二实体的特征数据的URI的步骤；利用关于所述第二实体的特征数据的URI获取将所述第二实体的特征表示为在所述第二AR引擎能够处理的格式的第二实体的特征数据的步骤；及基于获取到的所述第二实体的特征数据运行所述第二AR引擎，以在增强现实空间中执行所述第二实体的追踪的步骤。
所述实体追踪方法还包括：所述第一AR引擎为了追踪所述第一实体确认需要所述第一实体的特征数据还是原始图像的步骤，在生成关于所述第一实体的特征数据的URI的步骤中，可在确认到所述第一AR引擎需要所述第一实体的特征数据的情况下，生成关于所述第一实体的特征数据的URI。
所述实体追踪方法还可以包括：在确认到所述第一AR引擎需要所述第一实体的原始图像的情况下，根据资源服务器的主机名及所述第一实体的名称的组合生成关于所述第一实体的原始图像的URI的步骤；利用关于所述第一实体的原始图像的URI获取所述第一实体的原始图像的步骤；及基于获取到的所述第一实体的原始图像运行所述第一AR引擎，以在所述增强现实空间中执行对所述第一实体的追踪的步骤。
根据本发明的另一方面提供计算机可读存储介质，存储有用于在计算机执行所述实体追踪方法的程序。
根据本发明的又一方面的基于独立于增强现实引擎的特征数据的实体追踪装置包括：根据第一实体的名称与第一AR引擎的名称的组合生成关于第一实体的特征数据的URI的URI处理部；及利用关于所述第一实体的特征数据的URI，获取将所述第一实体的特征表示为在所述第一AR引擎中能够处理的格式的第一实体的特征数据，基于获取的所述第一实体的特征数据运行所述第一AR引擎以在增强现实空间执行对所述第一实体的追踪的AR处理部。
技术效果
根据实体的名称及AR引擎的名称的组合生成关于实体的特征数据的URI，利用该URI获取将实体的特征表示为在AR引擎能够处理的格式的实体的特征数据，基于如此获取的特征数据运行AR引擎，从而能够执行在增强现实空间中的实体的追踪，因此能够基于独立于增强现实引擎的特征数据进行实体追踪。
如此，独立于增强现实引擎使用URI获取实体的特征数据，基于其特征数据运行AR引擎，从而能够执行在增强现实空间中的实体的追踪，因此增强现实应用不需要包括依赖于增强现实引擎的特征数据生成算法。即，增强现实应用包括独立于增强现实引擎的特征数据获取算法，因此不需要包括依赖于增强现实引擎的特征数据生成算法。
增强现实应用使用多个AR引擎的情况下，不需要按各个AR引擎包括根据实体的原始图像生成特征数据的多个算法，因此能够开发高效的增强现实应用。利用关于实体的特征数据的URI获取实体的特征数据并基于该特征数据仅调用运行AR引擎即可实现根据本发明的增强现实空间中的实体追踪，因此能够提供不包含依赖于AR引擎的特征数据生成算法的通用增强现实应用。
增强现实应用不需要按每个AR引擎包括特征数据生成算法，因此能够减少增强现实应用的大小，从而能够减少开发增强现实应用所需作业量。开发某一增强现实应用的情况下，在现有增强现实应用中能够原封再利用利用关于实体的特征数据的URI获取实体的特征数据的算法等大部分算法，因此使得增强现实应用的开发变得非常容易。
附图说明
图1是根据本发明的一个实施例的AR客户端1的构成图；
图2是关于二维图像的特征数据的一例的示意图；
图3是关于三维对象的特征数据的一例的示意图；
图4是根据本发明的一个实施例的实体追踪方法的流程图；
图5是图1所示AR客户端1的特征数据获取过程的一例的示意图；
图6是根据本发明的另一实施例的多个增强现实应用的运行例的示意图；
图7是存储于图1所示资源服务器2的URI表的一例的示意图。
附图标记说明
1：AR客户端 11：主处理器
12：AR处理部 13：URI处理部
14：通信模块 15：输入模块
16：输出模块 17：摄像头模块
18：传感器模块 19：存储器
20：总线 2：资源服务器
具体实施方式
以下参见附图详细说明本发明的实施例。以下将要说明的本发明的实施例涉及不使用依赖于增强现实引擎的特征数据生成算法，能够独立于增强现实引擎获取特征数据并运行AR引擎以执行在增强现实空间中的实体的追踪的基于独立于增强现实引擎的特征数据的实体追踪方法及装置。
以下，基于独立于增强现实引擎的特征数据的实体追踪方法可以简称为“实体追踪方法”，基于独立于增强现实引擎的特征数据的实体追踪装置可以简称为“实体追踪装置”或“AR客户端”。以下术语“增强现实(Augmented Reality)”可以简称为“AR”，“URI”是“统一资源标识符(Uniform Resource Identifier)”的缩写。
图1是根据本发明的一个实施例的AR客户端1的构成图。参见图1，根据本实施例的AR客户端1由主处理器11、AR处理部12、URI处理部13、通信模块14、输入模块15、输出模块16、摄像头模块17、传感器模块18、存储器19及总线20构成。根据本实施例的AR客户端1追踪存在于增强现实空间的至少一个实体，然后将如此追踪的实体叠加在虚拟图像进行显示。因此，根据本实施例的AR客户端1还可以称为实体追踪装置。
主处理器11执行某一应用，根据该应用的程序代码，控制AR处理部12、URI处理部13、输入模块15、输出模块16、通信模块14、摄像头模块17、传感器模块18，并从存储器19读取数据或向存储器19存储数据。尤其，本实施例的主处理器11执行以下说明的增强现实应用。主处理器11例如可以有CPU(Central Processing Unit，中央处理器)、AP(ApplicationProcessor，应用处理器)等。
AR处理部12随着增强现实应用的运行进行增强现实内容的获取、解析、渲染。URI处理部13随着增强现实应用的运行生成每一实体的URI、关于某一实体的特征数据的URI及关于某一实体的原始图像的URI。本实施例中某一实体的原始图像是指表示该实体的二维图像或三维图像的数据。AR处理部12、URI处理部13是随着增强现实应用运行而工作的处理器，可以是与主处理器11物理上相同的处理器，还可以是GPU(Graphics Processing Unit，图形处理单元)等被主处理器11使用的另外的专用处理器。
通信模块14通过互联网等网络与资源服务器2或其他服务器进行通信。通信模块14可通过LTE(Long Term Evolution，长期演进)、无线局域网(WiFi)等多种通信方式与资源服务器2或其他服务器进行通信。输入模块15接收用户的指令、选择、信息等。输入模块15例如可以有触摸板、键盘、鼠标等。输出模块16由显示板等图像输出装置和扬声器等音频输出装置的组合构成，以向用户提供视听觉输出。
摄像头模块17通过拍摄位于AR客户端1所在空间以生成现实空间的图像。传感器模块18利用内置于AR客户端1的陀螺仪(gyroscope)、加速度计(accelerometer)、GPS(Global Positioning System，全球定位系统)传感器等检测AR客户端1的当前位置和姿势，从而生成AR客户端1的当前位置和姿势信息。AR客户端1的位置信息可表示为对应于三维坐标系的增强现实空间中的x，y，z的三维坐标值。AR客户端1的姿势信息可以表示为表示x轴方向的旋转角度的滚动(roll)值、表示y轴方向的旋转角度的俯仰(pitch)值、表示z轴方向的旋转角度的偏航(yaw)值。
存储器19中存储增强现实应用及其运行过程中所使用的数据等。根据图1所示示例，存储器19中存储增强现实应用A、AR引擎A、AR引擎B、增强现实内容等。各AR引擎是被增强现实应用调用执行实体追踪的函数程序。总线20的作用为在主处理器11、AR处理部12、URI处理部13等上述多个构成要素之间传递数据。
资源服务器2具有利用URI系统按多个实体、多个AR引擎、多个实体追踪方法层级化存储的特征数据的数据库，接收到某一URI的情况下，提供与其相应的特征数据。
图2是关于二维图像的特征数据的一例的示意图。图2的(a)中示出某一住宅的二维图像，图2的(b)中示出关于图2的(a)中示出的二维图像的特征数据。图2的(b)中所示十字点相当于图2的(a)中所示二维图像的特征点。关于二维图像的特征数据是表示这些特征点的二进制数据。图2的(b)是为了有助于理解关于二维图像的特征数据而将这些二进制数据视觉化示出的。各AR引擎能够从由摄像头模块17连续输入的多个现实空间图像中的每一个检测对应于二维图像的特征数据的部分，并根据多个现实空间图像所表示的现实空间中的检测部分的变化趋势，追踪对应于现实空间的增强现实空间中的各个实体。
图3是关于三维对象的特征数据的一例的示意图。图3的(a)中示出对应于三维对象的玩具猫的多个二维图像中的任意一个。为了表示三维对象，需要在多个角度拍摄的玩具猫的多个二维图像。图3的(b)中示出根据玩具猫的多个二维图像生成的特征数据。图3的(b)中所示三维坐标系的点相当于对应于三维对象的玩具猫的特征点。对于三维图像的特征数据是表示这种特征点的二进制数据。图3的(b)是为了有助于理解关于三维对象的特征数据而将这种二进制数据视觉化示出的。各AR引擎能够从由摄像头模块17连续输入的多个现实空间图像中的每一个检测对应于三维对象的特征数据的部分，并根据多个现实空间图像所表示的现实空间中的检测部分的变化趋势，追踪对应于现实空间的增强现实空间中的各个实体。
图4是根据本发明的一个实施例的实体追踪方法的流程图。参见图4，根据本实施例的实体追踪方法由在图1所示AR客户端1以时序处理的步骤构成。因此，即使是以下省略的内容，对图1所示AR客户端1的在上述描述的内容还适用于以下将要描述的实体追踪方法。根据本实施例的实体追踪方法可由增强现实应用实现，通过AR客户端1的主处理器11、AR处理部12、URI处理部13等执行。以下参见图4具体说明AR客户端1的主处理器11、AR处理部12、URI处理部13等各个构成要素。
在步骤41，AR客户端1的主处理器11通过输入模块15接收来自用户的要求运行根据本实施例的增强现实应用A的指令的情况下，运行增强现实应用A。增强现实应用A在运行之前从资源服务器2或其他服务器下载并安装于AR客户端1。增强现实应用A可以由资源服务器2提供，也可以由其他服务器提供。这种增强现实应用A可用爪哇(java)等计算机编程语言编写。以下的步骤是随着增强现实应用A运行时通过AR处理部12、URI处理部13执行的步骤。
在步骤42中，AR客户端1的AR处理部12通过输出模块16向用户显示关于增强现实应用A能够提供的多种增强现实内容的信息。用户从如此显示的信息表示的多种增强现实内容中选择其想要体验的某一个增强现实内容。AR处理部12通过输入模块15接收对增强现实应用A能够提供的至少一个增强现实内容中某一个的用户选择信息情况下，通过通信模块14从资源服务器2或其他服务器获取用户选择信息所表示的某一个增强现实内容。增强现实内容可以由资源服务器2提供，也可以由其他服务器。通信模块14的作用为通过网络向资源服务器2或其他服务器发送AR处理部12的增强现实内容请求，并从资源服务器2或其他服务器接收增强现实内容并传递至AR处理部12。
在步骤43中，AR客户端1的AR处理部12解析在步骤42中接收到的增强现实内容，从增强现实内容检测增强现实内容表示的增强现实空间中的至少一个实体。增强现实内容是将在现实空间的图像重叠至少一个虚拟图像进行显示的增强现实空间的各个场景(scene)以结构化的形式表示的内容，包括存在于增强现实空间的至少一个实体的信息，例如各个实体的名称。如此，AR处理部12可通过解析增强现实内容来检测增强现实空间中各个实体的名称。
存在于增强现实空间的各个实体是对应于各个实体的虚拟图像重叠显示的要素，可分为二维图像及三维对象。存在于增强现实空间的各个实体由于在其当前位置显示虚拟图像，因此必需追踪其位置。某个实体为三维对象的情况下，根据其当前姿势显示的虚拟图像可能不同，因此追踪其位置的同时还可追踪其姿势。本实施例中，执行实体的追踪是指追踪实体的位置或追踪实体的位置及姿势。
这种增强现实内容可用XML(eXtensible Markup Language，可扩展标记语言)等标记(markup)语言编写。本实施例的增强现实内容可表示单一帧图像，也可以表示多个帧的影像。根据渲染模式，本实施例的增强现实内容还可以是显示为增强现实图像或显示为虚拟现实图像的混合现实内容。
在步骤44中，URI处理部13根据资源服务器2的主机名及在步骤43检测到的各实体的名称的组合生成各个实体的URI(Uniform Resource Identifier，统一资源标识符)。URI处理部13可通过在资源服务器2的主机名添加在步骤43检测到的各实体的名称生成各个实体的URI。以用于显示在存在于某一现实空间的住宅重叠表示该住宅的地址的虚拟图像的增强现实内容为例，URI处理部13可通过在资源服务器2的主机名“server.com”中附加实体名称“house”来生成该实体的URI“http://server.com/house”。
以用于显示在存在于某一现实空间的玩具猫的脸部重叠显示根据该现实空间的天气呈现表情变化的虚拟图像的增强现实内容为例，URI处理部13可通过在资源服务器2的主机名“server.com”附加实体的名称“cat”来生成该实体的URI“http://server.com/cat”。资源服务器2的主机名“server.com”可以包含于增强现实应用，还可以包含于增强现实内容。
在步骤45中，AR处理部12从多个类型的AR引擎中选择将用于在步骤41中检测到的各个实体的追踪的AR引擎。AR处理部12可从增强现实应用A的设置信息或在步骤43中的增强现实内容的解析结果检测将用于实体的追踪的AR引擎的名称。增强现实内容可包括最适合追踪其表示的增强现实空间中存在的各个实体的AR引擎的名称。增强现实应用A可设计成用户能够选择多个类型的AR引擎中的任意一个。该情况下，用户可在设置增强现实应用A的运行环境的过程中选择多个类型的AR引擎中的任意一个。
在步骤46中，AR处理部12基于在步骤45中检测到的AR引擎的属性，确定在步骤45中检测到的AR引擎为了追踪在步骤43中检测到的实体需要该实体的特征数据和原始图像中哪一个。在步骤46中，确认到AR引擎需要实体的特征数据的情况下，执行步骤47。在步骤46中，确认到AR引擎需要实体的原始图像的情况下，执行步骤410。例如，AR引擎A的属性被设定为始终在追踪二维图像之前执行根据二维图像生成其特征数据的过程的情况下，AR引擎A需要二维图像数据，而非其特征数据。
在步骤47中，AR处理部12检测在步骤45检测到的AR引擎将要对在步骤43检测到的各个实体使用的实体追踪方法。更具体来讲，AR处理部12可根据在步骤43检测到的各个实体属于二维图像或三维对象中的哪一个，检测对在步骤43检测到的各个实体将要使用的在步骤45检测到的AR引擎的实体追踪方法。增强现实空间中的二维图像追踪方法与三维对象追踪方法随着二维图像与三维对象之间的数据格式不同而异。
在步骤48中，URI处理部13通过在步骤44中生成的各个实体的URI附加在步骤45检测到的AR引擎的名称及在步骤47检测到的实体追踪方法的名称来生成关于在步骤43中检测到的各个实体的特征数据的URI。如此，URI处理部13根据资源服务器2的主机名、在步骤43中检测到的各个实体的名称、在步骤45中检测到的AR引擎的名称及在步骤47检测到的实体追踪方法的名称的组合生成关于在步骤43检测到的各个实体的特征数据的URI。
图5是图1所示AR客户端1的特征数据获取过程的一例的示意图。例如，在步骤43检测到的实体的名称为图2所示二维图像的名称“house”，在步骤45中检测到的AR引擎的名称为“AREngineA”，并且在步骤47检测到的实体追踪方法的名称为“ImageTracking”的情况下，关于图2所示二维图像实体的特征数据的URI为“http://server.com/house/AREngineA/ImageTracking”。例如，在步骤43检测到的实体的名称为图3所示三维对象的名称“cat”，在步骤45中检测到的AR引擎的名称为“AREngineB”，并且步骤47检测到的实体追踪方法的名称为“ObjectTracking”的情况下，关于图3所示三维对象实体的特征数据的URI为“http://server.com/house/AREngineB/ObjectTracking”。
AR处理部12、URI处理部13是随着增强现实应用运行工作的处理器，其根据增强现实应用的程序代码工作，因此为了帮助理解本实施例，增强现实应用以提供URI并获取特征数据的形态示出。
在步骤49中，AR处理部12利用在步骤49中生成的关于各个实体的特征数据的URI获取将各个实体的特征表示为在步骤45中检测到的AR引擎能够处理的格式的各个实体的特征数据。AR处理部12利用在步骤49中生成的关于各个实体的特征数据的URI，接入对应于该URI的主机的资源服务器2，请求表示各个实体的特征的各个实体的特征数据，并从资源服务器2获取作为对该请求的响应的各个实体的特征数据。通信模块14的作用为通过网络向资源服务器2发送这种AR处理部12的请求，并从资源服务器2接收对该请求的响应并传递给AR处理部12。
如图5所示，关于图2所示二维图像实体的特征数据的URI为“http://server.com/house/AREngineA/ImageTracking”的情况下，AR客户端1可利用该URI接入资源服务器2，以从资源服务器2获取图2所示二维图像实体的特征数据。如图5所示，关于图3所示三维对象实体的特征数据的URI为“http://server.com/house/AREngineB/ObjectTracking”的情况下，AR客户端1可利用该URI接入资源服务器2，以从资源服务器2获取图3所示三维对象实体的特征数据。
在步骤410中，URI处理部13通过在步骤44中生成的每一实体的URI附加“originalImage”生成关于在步骤43检测到的各个实体的原始图像的URI。其中，各个实体的原始图像是指用于表示各个实体的二维图像或三维图像的数据。各个实体的特征数据相比于各个实体的原始图像，其数据大小非常小，因此能够有效实现实体追踪。
在步骤411中，AR处理部12利用在步骤49中生成的关于各个实体的原始图像的URI，获取在步骤43检测到的各个实体的原始图像。AR处理部12利用在步骤49中生成的关于各个实体的原始图像的URI接入资源服务器2并请求各个实体的原始图像，并从资源服务器2获取作为对该请求的响应的各个实体的原始图像。通信模块14的作用为通过网络向资源服务器2发送这种AR处理部12的请求，并从资源服务器2接收对该请求的响应并传递到AR处理部12。其中，各个实体的原始图像是指表示各个实体的二维图像的数据。
在步骤412中，AR处理部12基于在步骤49中获取到的特征数据或在步骤411中获取到的原始图像运行在步骤45中检测到的AR引擎，以进行在步骤42中接收到的增强现实内容所表示的增强现实空间中的各个实体的追踪。基于在步骤411中获取到的原始图像运行在步骤45中检测到的AR引擎的情况下，AR引擎根据该原始图像生成该原始图像的特征数据。增强现实空间是指AR客户端1当前所在的现实空间中通过增强现实内容利用虚拟图像将要增强显示的空间，其可以是现实空间的全部或一部分。
AR处理部12从由摄像头模块17连续输入的多个现实空间图像中每一个检测与各个实体的特征数据对应的部分，可根据从摄像头模块17连续输入的多个现实空间图像所表示的现实空间中的检测部分的位置变化趋势追踪增强现实空间中的各个实体的位置。AR处理部12还可根据从摄像头模块17连续输入的多个图像所表示的现实空间中的检测部分的姿势变化趋势追踪增强现实空间中的各个实体的姿势。
接着，AR处理部12通过渲染在步骤42中接收到的增强现实内容，于对从摄像头模块17实时输入的多个现实空间图像中的每一个，生成在步骤412中追踪到的各个实体的位置重叠各个实体的虚拟图像的增强现实图像。AR处理部12还可以对多个现实空间图像中的每一个，参照在步骤412中追踪到的各个实体的位置和姿势，根据各个实体的姿势变化旋转各个实体的虚拟图像并重叠。输出模块16显示如此生成的增强现实图像。图4所示实施例涉及实体追踪方法，因此在图4中省略了该步骤。
图6是根据本发明的另一实施例的多个增强现实应用的运行例的示意图。根据图6所示示例，多个增强现实应用与多个类型的AR引擎彼此一对一对应。在另一示例中，一个增强现实应用还可以使用多个类型的AR引擎，在又一示例中，多个增强现实应用还可以使用一种AR引擎。多个增强现实应用还可以设置在一个AR客户端1，并且还可以分别设置在多个AR客户端1。
运行增强现实应用A之后检测到的实体为“实体A”，AR引擎A的属性被设置成基于实体A的特征数据运行的情况下，通过执行步骤41～49、412实现对实体A的追踪。即，URI处理部13根据资源服务器2的主机名、在步骤43检测到的至少一个实体中的实体A的名称、在步骤45中检测到的AR引擎A的名称及在步骤47检测到的实体追踪方法的名称的组合生成关于实体A的特征数据的URI。之后，AR处理部12利用该URI获取将实体A的特征表示为在AR引擎A能够处理的格式的特征数据。
接着，AR处理部12基于如此获取的特征数据运行AR引擎A以进行在增强现实空间的实体A的追踪。AR处理部12、URI处理部13为随着增强现实应用的运行进行工作的处理器，其根据增强现实应用的程序代码工作，因此为了帮助理解本实施例，以增强现实应用提供URI并获取特征数据的形态示出。
如上所述，各AR引擎是独立于增强现实应用执行实体的追踪的函数程序的一种，AR处理部12通过调用AR引擎A并向其中输入实体A的特征数据并运行AR引擎A。之后，AR引擎A向AR处理部12返回该AR引擎A的实体追踪结果，例如将实体A的位置返回至AR处理部12。之后，AR处理部12针对从摄像头模块17实时输入的多个现实空间图像中每一个，在实体A的位置重叠各个实体A的虚拟图像，从而生成关于各个现实空间图像的增强现实图像。
通过运行增强现实应用B检测到的实体为“实体B”，并且AR引擎B的属性被设置成基于实体B的特征数据运行的情况下，通过执行步骤41～49、412实现实体B的追踪。即，URI处理部13根据资源服务器2的主机名、在步骤43检测到的至少一个实体中实体B的名称、在步骤45中检测到的AR引擎B的名称及在步骤47检测到的实体追踪方法的名称的组合生成关于实体B的特征数据的URI。之后，AR处理部12利用该URI获取将实体B的特征表示为在AR引擎B能够处理的格式的特征数据。
接着，AR处理部12通过基于如此获取的特征数据运行AR引擎B以在增强现实空间追踪实体B。更具体来讲，AR处理部12通过调用AR引擎B并向其输入实体B的特征数据并执行AR引擎B。之后，AR引擎B向AR处理部12返回通过该AR引擎B得到的实体追踪结果，例如将实体B的位置返回至AR处理部12。之后，AR处理部12针对从摄像头模块17实时输入的多个现实空间图像中每一个，在实体B的位置重叠各个实体B的虚拟图像，从而生成关于各个现实空间图像的增强现实图像。
通过运行增强现实应用N检测到的实体为“实体N”，且AR引擎N的属性被设置成基于实体N的原始图像运行的情况下，通过执行步骤41～46、410～412实现实体N的追踪。即，URI处理部13根据资源服务器2的主机名、在步骤43检测到的至少一个实体中实体N的名称的组合生成关于实体N的原始图像的URI。之后，AR处理部12利用该URI获取实体N的原始图像。
接着，AR处理部12通过基于如此获取到的原始图像执行AR引擎N，在增强现实空间中进行实体N的追踪。更具体来讲，AR处理部12通过调用AR引擎N并向其输入实体N的原始图像，并运行AR引擎N。之后，AR引擎N向AR处理部12返回通过该AR引擎N得到的实体追踪结果，例如向AR处理部12返回实体N的位置。之后，AR处理部12针对从摄像头模块17实时输入的多个现实空间图像中每一个，在实体N的位置重叠各个各个实体N的虚拟图像，从而生成关于现实空间图像的增强现实图像。其他增强现实应用的运行过程也会按照上述两种示例中任意一个实现。
图7是存储于图1所示资源服务器2的URI表的一例的示意图。图7所示URI表是利用URI系统按多个实体、多个AR引擎、多个实体追踪方法分层存储的特征数据的数据库，是为了帮助对它的理解而视觉化示出的。图7所示URI表的各个URI表示实体的特征数据或原始图像存储在资源服务器2的数据库的哪个位置，因此AR客户端1能够快速获取各个实体的特征数据或原始图像。根据图7所示URI表，多个类型的AR引擎分类为“ARCore”、“ARKit”、“Vuforia”、“Wikitude”。
如上所述，某一AR引擎的属性被设置成始终在追踪实体之前执行根据实体的原始图像生成其特征数据的过程的情况下，该AR引擎需要原始图像，而非特征数据。该情况下，在步骤43检测到的实体的名称为“house”的情况下，关于该实体的原始图像的URI可以为“http://server.com/outdoor/house/OriginalImage”。在步骤43检测到的实体的名称为“cat”的情况下，关于该实体的原始图像的URI可以为“http://server.com/indoor/cat/OriginalImage”。
某实体的原始图像不论各AR引擎的类型都相同，因此从高效使用资源服务器2的数据存储空间的方面来讲，优选的是如此按各个实体单一化关于原始图像的URI。资源服务器2管理的实体的个数非常多的情况下，为了快速访问各个实体的特征数据或原始图像的存储位置，可通过分组多个实体来分层定义各实体的URI。即，某实体的URI可通过在其实体所属分组的名称附加实体名称的方式生成。
“ARCore”为只能在在谷歌公司的安卓平台运行的本机AR引擎，提供推测在现实空间中的摄像头位置的“Motion tracking”功能、推测现实空间的集合体系的“Environmentunderstanding”功能、追踪二维图像的“Augmented images”功能等。“ARCore”不提供追踪三维对象的功能。
图2所示二维图像为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/outdoor/house”。在步骤45中检测到的AR引擎的名称为“ARCore”、在步骤47检测到的实体追踪方法的名称为“AugmentedImages”的情况下，在步骤48生成的特征数据的URI为“http://server.com/outdoor/house/ARCore/AugmentedImages”。该例子属于“ARCore”的属性被设置成基于实体的特征数据运行的情况。如果是“ARCore”的属性被设置成基于实体的原始图像运行的情况，可使用如上所述的原始图像的URI。
“ARKit”是只能在在苹果公司的iOS平台运行的本机AR引擎，提供推测在现实空间中的摄像头位置的“ARWorldTrackingConfiguration”功能、利用GPS推测摄像头位置的“ARGeoTrackingConfiguration”功能、追踪二维图像的“ARImageTrackingConfiguration”功能、追踪三维对象的“ARObjectScanningConfiguration”功能等。
图2所示二维图像为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/outdoor/house”。在步骤45中检测到的AR引擎的名称为“ARKit”、在步骤47检测到的实体追踪方法的名称为“ARImageTracking”的情况下，在步骤48生成的特征数据的URI为“http://server.com/outdoor/house/ARKit/ARImageTracking”。
图3所示三维对象为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/indoor/cat”。在步骤45中检测到的AR引擎的名称为“ARKit”，在步骤47检测到的实体追踪方法的名称为“ARObjectScanning”的情况下，在步骤48生成的特征数据的URI为“http://server.com/indoor/cat/ARKit/ARObjectScanning”。这两个例子属于“ARKit”的属性被设置成基于实体的特征数据运行的情况。如果是“ARKit”的属性被设置成基于实体的原始图像运行的情况，可使用如上所述的原始图像的URI。
“Vuforia”是在安卓及iOS两者均可运行的PTC公司的AR引擎，提供推测在现实空间中的摄像头位置的“Area Targets”功能、追踪二维图像的“ImageTargets”功能、追踪三维对象的“Model Targets”功能等。
图2所示二维图像为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/outdoor/house”。在步骤45中检测到的AR引擎的名称为“Vuforia”、在步骤47检测到的实体追踪方法的名称为“ImageTargets”的情况下，在步骤48生成的特征数据的URI为“http://server.com/outdoor/house/Vuforia/Image Targets”。
图3所示三维对象为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/indoor/cat”。在步骤45中检测到的AR引擎的名称为“Vuforia”、在步骤47检测到的实体追踪方法的名称为“Model Targets”的情况下，在步骤48生成的特征数据的URI为“http://server.com/indoor/cat/Vuforia/ModelTargets”。这两个例子属于“Vuforia”的属性被设置成基于实体的特征数据运行的情况。如果是“Vuforia”的属性被设置成基于实体的原始图像运行的情况，可使用如上所述的原始图像的URI。
“Wikitude”是可在安卓及iOS两者执行的维基途德(Wikitude)公司的AR引擎，提供推测在现实空间中的摄像头位置的“Scene Tracking”功能、能够识别平面并重叠虚拟图像的“Instant Tracking”功能、追踪二维图像的“Image Tracking”功能、追踪三维对象的“Object Tracking”功能等。
图2所示二维图像为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/outdoor/house”。在步骤45中检测到的AR引擎的名称为“Wikitude”、在步骤47检测到的实体追踪方法的名称为“ImageTracking”的情况下，在步骤48生成的特征数据的URI为“http://server.com/outdoor/house/Wikitude/ImageTracking”。
图3所示三维对象为在步骤43检测到的实体的情况下，在步骤44生成的实体的URI为“http://server.com/indoor/cat”。在步骤45中检测到的AR引擎的名称为“Wikitude”、在步骤47检测到的实体追踪方法的名称为“ObjectTracking”的情况下，在步骤48生成的特征数据的URI为“http://server.com/indoor/cat/Wikitude/ObjectTracking”。这两个例子属于“Wikitude”的属性设置成基于实体的特征数据运行的情况。如果是“Wikitude”的属性被设置成基于实体的原始图像运行的情况，可使用如上所述的原始图像的URI。
如上所述，根据各AR引擎的类型，不仅其提供的功能不同，而且根据实体属于二维图像或三维对象中哪一个，各AR引擎的实体追踪性能也不相同，还根据实体的形状呈现出各AR引擎的不同的实体追踪性能。因此，需要将增强现实应用设计成根据增强现实内容向用户提供何种增强现实服务适合其的AR引擎。为了使增强现实应用提供高品质的增强现实服务，还可以使用不同的多个AR引擎。尤其，“ARCore”、“ARKit”只能在其专用平台运行，因此需要针对同一增强现实服务设计各自的增强现实应用。
根据本实施例，独立于AR引擎及实体追踪方法利用关于实体的特征数据的URI从资源服务器2获取该实体的特征数据，并基于如此获取的特征数据运行AR引擎，因此增强现实应用不需要按AR引擎及实体追踪方法包括根据实体的原始图像生成特征数据的多个算法，因此能够开发高效的增强现实应用。
根据本实施例的在增强现实空间中的实体的追踪，能够仅通过利用关于实体的特征数据的URI从资源服务器2获取该实体的特征数据并调用运行AR来实现，因此能够提供不包括依赖于AR引擎及实体追踪方法的特征数据生成算法的通用增强现实应用。
增强现实应用不需要按AR引擎及实体追踪方法包括特征数据生成算法，从而能够减小增强现实应用的大小，从而可减少开发增强现实应用所需作业量。在开发某一增强现实应用的情况下，在现有增强现实应用中能够直接再利用使用关于实体的特征数据的URI从资源服务器2获取该实体的特征数据的算法等大部分算法，因此使增强现实应用的开发非常容易。
另外，如上所述的根据本发明一个实施例的实体追踪方法可编写成能够在计算机的处理器运行的程序，并且能够使用计算机可读存储介质记录并在运行该程序的计算机实现。计算机包括台式机、笔记本电脑、智能手机、嵌入式计算机等能够运行程序的所有类型的计算机。并且，用于上述本发明的一个实施例的数据结构可通过多种手段记录在所述计算机可读存储介质。所述计算机可读存储介质包括随机存取存储器(RAM)、只读存储器(ROM)、磁存储介质(例如，软盘、硬盘等)、光学可读介质(例如，CD-ROM、DVD等)等存储介质。
以上以优选实施例为中心说明了本发明。本发明所属技术领域的普通技术人员应理解在不脱离本发明实质特性的范围内可以以变形的方式实施。因此，应从说明的角度理解公开的实施例，而不是从限定的角度理解。本发明的范围并非示于上述的说明，而是权利范围所指范围，与其等同范围内的所有差异点均应解释为包含于本发明。

Claims (11)

1.一种实体追踪方法，是基于独立于增强现实引擎的特征数据的实体追踪方法，其特征在于，包括：
根据第一实体的名称与第一AR引擎的名称的组合生成关于所述第一实体的特征数据的统一资源标识符URI的步骤；
利用关于所述第一实体的特征数据的URI获取将所述第一实体的特征表示为在所述第一AR引擎能够处理的格式的第一实体的特征数据的步骤；以及
基于获取的所述第一实体的特征数据运行所述第一AR引擎来执行在增强现实空间中的所述第一实体的追踪的步骤。
2.根据权利要求1所述的实体追踪方法，其特征在于：
生成关于所述第一实体的特征数据的URI的步骤为，根据资源服务器的主机名、所述第一实体的名称及所述第一AR引擎的名称的组合生成关于所述第一实体的特征数据的URI，
获取所述第一实体的特征数据的步骤为，利用对所述第一实体的特征数据的URI，向对应于对所述第一实体的特征数据的URI的主机的资源服务器请求所述第一实体的特征数据，以从所述资源服务器获取所述第一实体的特征数据。
3.根据权利要求2所述的实体追踪方法，其特征在于，所述根据第一实体的名称与第一AR引擎的名称的组合生成关于所述第一实体的特征数据的统一资源标识符URI的步骤之前，还包括：
根据所述资源服务器的主机名与所述第一实体的名称的组合生成所述第一实体的URI的步骤；以及
从多个类型的AR引擎中检测将用于追踪所述第一实体的第一AR引擎的步骤，
生成关于所述第一实体的特征数据的URI的步骤为，通过在生成的所述第一实体的URI附加检测到的所述第一AR引擎的名称来生成关于所述第一实体的特征数据的URI。
4.根据权利要求3所述的实体追踪方法，其特征在于，所述从多个类型的AR引擎中检测将用于追踪所述第一实体的第一AR引擎的步骤之后，所述生成关于所述第一实体的特征数据的URI的步骤之前，还包括：
检测所述第一AR引擎针对所述第一实体所要使用的实体追踪方法的步骤，
生成关于所述第一实体的特征数据的URI的步骤为，在生成的所述第一实体的URI附加检测到的所述第一AR引擎的名称及检测到的所述实体追踪方法的名称来生成关于所述第一实体的特征数据的URI。
5.根据权利要求4所述的实体追踪方法，其特征在于：
检测所述第一AR引擎针对所述第一实体所要使用的实体追踪方法的步骤为，根据所述第一实体属于二维图像还是三维对象检测所述第一AR引擎针对所述第一实体将要使用的实体追踪方法。
6.根据权利要求1所述的实体追踪方法，其特征在于，还包括：
从增强现实内容检测所述增强现实内容所表示的增强现实空间中的至少一个实体的步骤，
生成关于所述第一实体的特征数据的URI的步骤为，根据检测到的所述至少一个实体中所述第一实体的名称及所述第一AR引擎的名称的组合生成关于所述第一实体的特征数据的URI。
7.根据权利要求1所述的实体追踪方法，其特征在于，还包括：
根据第二实体的名称及第二AR引擎的名称的组合生成关于所述第二实体的特征数据的URI的步骤；
利用关于所述第二实体的特征数据的URI获取将所述第二实体的特征表示为在所述第二AR引擎能够处理的格式的第二实体的特征数据的步骤；以及
基于获取到的所述第二实体的特征数据运行所述第二AR引擎以执行增强现实空间中所述第二实体的追踪的步骤。
8.根据权利要求2所述的实体追踪方法，其特征在于，所述生成关于所述第一实体的特征数据的URI的步骤之前，还包括：
所述第一AR引擎为了追踪所述第一实体确认需要所述第一实体的特征数据还是原始图像的步骤，
生成关于所述第一实体的特征数据的URI的步骤为，在确认到所述第一AR引擎需要所述第一实体的特征数据的情况下，生成关于所述第一实体的特征数据的URI。
9.根据权利要求8所述的实体追踪方法，其特征在于，还包括：
在确认到所述第一AR引擎需要所述第一实体的原始图像的情况下，根据资源服务器的主机名及所述第一实体的名称的组合生成关于所述第一实体的原始图像的URI的步骤；
利用关于所述第一实体的原始图像的URI获取所述第一实体的原始图像的步骤；以及
基于获取到的所述第一实体的原始图像运行所述第一AR引擎以在所述增强现实空间中执行对所述第一实体的追踪的步骤。
10.一种计算机可读存储介质，其特征在于，存储有用于在计算机运行根据权利要求1-9中任一项所述的实体追踪方法的程序。
11.一种实体追踪装置，是基于独立于增强现实引擎的特征数据的实体追踪装置，其特征在于，包括：
URI处理部，其根据第一实体的名称与第一AR引擎的名称的组合生成关于第一实体的特征数据的URI；以及
AR处理部，其利用对所述第一实体的特征数据的URI获取将所述第一实体的特征表示为在所述第一AR引擎能够处理的格式的第一实体的特征数据，并基于获取的所述第一实体的特征数据运行所述第一AR引擎以在增强现实空间执行所述第一实体的追踪。
CN202111610866.0A 2021-01-22 2021-12-27 基于独立的特征数据的实体追踪方法及装置 Active CN114782655B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0009217 2021-01-22
KR20210009217 2021-01-22
KR10-2021-0111237 2021-08-23
KR1020210111237A KR102489927B1 (ko) 2021-01-22 2021-08-23 증강현실 엔진에 독립적인 피처 데이터 기반의 엔터티 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
CN114782655A CN114782655A (zh) 2022-07-22
CN114782655B true CN114782655B (zh) 2025-03-28

Family

ID=82423710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111610866.0A Active CN114782655B (zh) 2021-01-22 2021-12-27 基于独立的特征数据的实体追踪方法及装置

Country Status (2)

Country Link
US (1) US11880948B2 (zh)
CN (1) CN114782655B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12659375B2 (en) * 2023-03-20 2026-06-16 Accenture Global Solutions Limited Responsive metaverse content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556579B1 (ko) * 2011-11-29 2015-10-01 퀄컴 인코포레이티드 3차원 객체들의 추적
KR102197615B1 (ko) * 2019-08-12 2020-12-31 주식회사 엘지유플러스 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554633B (en) * 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
CN107590453B (zh) * 2017-09-04 2019-01-11 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
US11232636B2 (en) * 2018-02-08 2022-01-25 Edx Technologies, Inc. Methods, devices, and systems for producing augmented reality
US20200364937A1 (en) * 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556579B1 (ko) * 2011-11-29 2015-10-01 퀄컴 인코포레이티드 3차원 객체들의 추적
KR102197615B1 (ko) * 2019-08-12 2020-12-31 주식회사 엘지유플러스 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버

Also Published As

Publication number Publication date
US11880948B2 (en) 2024-01-23
US20220237876A1 (en) 2022-07-28
CN114782655A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US9904664B2 (en) Apparatus and method providing augmented reality contents based on web information structure
KR101494844B1 (ko) 메타 데이터를 이용한 차트 변환 시스템 및 그 방법
JP7664228B2 (ja) 画像処理方法、装置、コンテンツ共有方法およびデバイス
CN111031293B (zh) 全景监控的展示方法、装置和系统及计算机可读存储介质
US10621768B2 (en) Augmented reality and virtual reality engine at the object level for virtual desktop infrastucture
CN110532497B (zh) 生成全景图的方法、生成三维页面的方法以及计算设备
CN108536467B (zh) 代码的定位处理方法、装置、终端设备及存储介质
KR20210010521A (ko) 개인 정보를 공유하는 방법, 장치, 단말기기 및 저장 매체
CN117201883A (zh) 用于图像编辑的方法、装置、设备和存储介质
JP2016540333A (ja) 端末標記方法、端末標記装置、プログラム及び記録媒体
US11475636B2 (en) Augmented reality and virtual reality engine for virtual desktop infrastucture
CN117351177B (zh) 三维场景中虚拟物体展示方法、装置及存储介质
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
US11880948B2 (en) Method and apparatus for tracking entity based on feature data independent of augmented reality engine
CN115118587B (zh) 一种创建连接器的方法及装置
CN114764329B (zh) 一种ui界面自适应约束求解方法及相关装置
JP6412193B2 (ja) 同時ユーザからのリアルタイムのメッセージおよび位置を用いたカスタマイズされたマップの生成
KR102489927B1 (ko) 증강현실 엔진에 독립적인 피처 데이터 기반의 엔터티 추적 방법 및 장치
JP2019192294A (ja) 情報表示方法および装置
CN113645506A (zh) 一种图片合成方法、装置、电子设备及存储介质
TWI908183B (zh) 呈現網頁之方法、裝置及記錄有命令之非暫時性電腦可讀記錄媒體
CN111338739B (zh) 一种页面内容的处理方法、显示方法及系统
HK40087283A (zh) 一种数据处理方法、装置、计算机设备以及存储介质
WO2026020490A1 (zh) 一种生成媒体内容的方法、装置、设备和存储介质
JP2006092277A (ja) Ｗｅｂページ作成支援装置、Ｗｅｂページ作成支援方法及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant