CN113516776A - 增强现实同步方法、装置、终端设备及存储介质 - Google Patents
增强现实同步方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113516776A CN113516776A CN202110418102.5A CN202110418102A CN113516776A CN 113516776 A CN113516776 A CN 113516776A CN 202110418102 A CN202110418102 A CN 202110418102A CN 113516776 A CN113516776 A CN 113516776A
- Authority
- CN
- China
- Prior art keywords
- model
- equipment
- augmented reality
- point cloud
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000013475 authorization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 241000190070 Sarracenia purpurea Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种增强现实同步方法,包括:第二设备接收所述第一设备发送的第一特征点云,所述第一特征点云是所述第一设备对场景进行识别得到的特征点坐标的集合;所述第二设备对所述场景进行识别得到第二特征点云,将所述第一特征点云和所述第二特征点云进行配准,确定配准对应的坐标变换参数;所述第二设备接收所述第一设备发送的增强现实模型文件,所述增强现实模型文件是所述第一设备建立第一AR模型对应的文件;所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。该方式不仅降低了对网络的要求,且便捷快速。此外,还提出了一种增强现实同步系统、终端设备及存储介质。
Description
技术领域
本申请涉及增强现实技术领域,具体涉及一种增强现实同步方法、装置、终端设备及存储介质。
背景技术
增强现实(AR,Augmented Reality)同步技术是指在多个终端设备之间分享同一AR模型的技术。现有的增强现实同步技术是通过在云端进行特征点解析,然后将解析结果发送到多个终端来实现同步的,该增强现实同步方式缺乏终端设备交互的便捷性。因此,亟待一种便捷且快速的增强现实同步方法。
发明内容
基于此,有必要针对上述问题,提出一种对便捷且快速的增强现实同步方法、装置、终端设备及存储介质。
为实现上述目的,本申请第一方面提供一种增强现实同步方法,包括:
第二设备接收第一设备发送的第一特征点云,所述第一特征点云是所述第一设备对场景中的多个点进行识别得到的特征点坐标的集合;
所述第二设备对至少包含所述多个点的场景进行识别得到第二特征点云,将所述第一特征点云和所述第二特征点云进行配准,确定配准对应的坐标变换参数,并向所述第一设备反馈配准成功消息,所述配准成功消息用于指示所述第二设备可接收增强现实模型文件;
所述第二设备接收所述第一设备发送的增强现实模型文件,所述增强现实模型文件是所述第一设备建立第一AR模型对应的文件;
所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。
为实现上述目的,本申请第二方面提供一种增强现实同步方法,所述方法还包括:
第一设备对所述场景中的多个点进行识别得到第一特征点云,所述第一特征点云是指识别得到的特征点坐标的集合;
所述第一设备将所述第一特征点云发送到所述第二设备,以使第二设备根据识别得到的第二特征点云和所述第一特征点云进行配准,确定配准对应的坐标变换参数,所述第二特征点云是第二设备对至少包含所述多个点的场景进行识别得到的;
所述第一设备接收所述第二设备反馈的配准成功消息;
所述第一设备建立第一AR模型,将所述第一AR模型对应的增强现实模型文件发送到所述第二设备,以使所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。
为实现上述目的,本申请第三方面提供增强现实同步系统,包括:第一设备和第二设备;
第一设备对所述场景中的多个点进行识别得到第一特征点云,所述第一特征点云是指识别得到的特征点坐标的集合;
所述第一设备将所述第一特征点云发送到所述第二设备,以使第二设备根据识别得到的第二特征点云和所述第一特征点云进行配准,确定配准对应的坐标变换参数,所述第二特征点云是第二设备对至少包含所述多个点的场景进行识别得到的;
所述第一设备接收所述第二设备反馈的配准成功消息;
所述第一设备建立第一AR模型,将所述第一AR模型对应的增强现实模型文件发送到所述第二设备,以使所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。
为实现上述目的,本申请第四方面提供一种终端设备,包括存储器和处理器,所述存储器有存储计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面所述的方法中的步骤。
为实现上述目的,本申请第五方面提供一种计算机可读存储介质,有存储计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如第一方面所述的方法中的步骤。
上述增强现实同步方法、系统、终端设备及存储介质,第二设备接收所述第一设备发送的第一特征点云,并将所述第一特征点云和所述第二特征点云进行配准,确定配准对应的坐标变换参数;之后,第二设备接收第一设备发送的增强现实模型文件,增强现实文件是第一设备建立第一AR模型生成的文件;最后,第二设备基于增强现实模型文件和坐标变换参数建立第二AR模型。该增强现实同步方式基于终端设备之间的本地通信实现,不仅降低了对网络的要求,并且便捷、快速,实现了两端或多端之间的实时协作反馈。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1是一个实施例中增强现实同步方法的流程图;
图2是另一个实施例中增强现实同步方法的流程图;
图3是一个实施例中增强现实同步方法的流程图;
图4是一个实施例中增强现实同步装置的结构框图;
图5是一个实施例中增强现实同步系统中的交互时序图;
图6是一个实施例中终端设备的内部结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,提出了一种增强现实同步方法,该增强现实同步方法应用于终端设备,具体包括以下步骤:
步骤102,第二设备接收第一设备发送的第一特征点云,第一特征点云是第一设备对场景中的多个点进行识别得到的特征点坐标的集合。
其中,第一设备和第二设备可以是带有拍摄功能及通信能力的智能设备,例如,智能手机、平板、膝上型笔记本电脑等。特征点云的识别,首先由第一设备的摄像头对一个场景进行拍摄,该场景为进行增强现实的基础场景,即识别到该场景后,在该场景的基础上生成三维虚拟坐标。其中,多个点为对场景进行识别得到的特征点,后续基于该特征点进行三维虚拟模型的建立。例如,对桌面的场景进行拍摄,桌面上放置着水杯等物品,此时将水杯等物体作为标识物,识别到水杯等物体后生成三维虚拟坐标,多个特征点坐标为水杯等物体上的特征点。
其中,第一设备和第二设备通过本地通信建立连接,本地通信包括:蓝牙通信、局域网通信中的一种。基于建立的本地通信,第二设备接收第一设备发送的第一特征点云。
步骤104,第二设备对至少包含多个点的场景进行识别得到第二特征点云,将第一特征点云和第二特征点云进行配准,确定配准对应的坐标变换参数,并向第一设备反馈配准成功消息,配准成功消息用于指示第二设备可接收增强现实模型文件。
其中,为了实现在第二设备上同步AR模型,需要确定第一设备和第二设备的视角及空间的关系。第二设备也要对上述基本相同的场景进行识别。第一设备和第二设备与该场景的位置关系,例如距离、视角等,可以相同或不相同。由于场景中都包含相同的多个特征点,第一设备对多个特征点识别得到该多个特征点的坐标集合,作为第一特征点云;第二设备对该多个特征点进行识别得到该特征点的坐标集合,作为第二特征点云。第一设备和第二设备由于拍摄角度、距离等的不同,以设备自身为参考点,针对同一个点得到的坐标是不同的,所以需要将第一特征点云和第二特征点云进行配准,配准的目的是将两者转换到同一坐标系下。配准的方式可以采用最近邻迭代算法,计算第一特征点云通过例如旋转、平移和缩放等变换能够使得变换后的第一特征点云和第二特征点云重合,从而将两个设备或多个设备的坐标系进行统一,这个过程可以称作配准。确定配准对应的坐标变换参数,即坐标变换矩阵,根据坐标变换矩阵可以将在第一设备的视角的点云转换为第二设备的视角的点云或反之。
配准成功后,第二设备将配置成功消息发送给第一设备,告知第一设备可以开始发送AR模型了,即第二设备可以接收增强现实模型文件了。
步骤106,第二设备接收第一设备发送的增强现实模型文件,增强现实模型文件是第一设备建立第一AR模型对应的文件。
其中,增强现实模型文件中包含有用于建立第一AR模型的数据。第一设备将增强现实模型文件发送给第二设备,第二设备根据该增强现实模型文件建立与第一设备中一样的AR模型。在一个实施例中,第一设备中的增强现实模型文件是以模型指令的形式发送给第二设备的。
步骤108,第二设备基于增强现实模型文件和坐标变换参数建立第二AR模型。
其中,第二设备建立第二AR模型,需要将增强现实模型文件中模型的坐标经过坐标变换参数转换到第二设备视角下的坐标,从而在第二设备上建立同样的AR模型。为了区分,将第二设备建立的AR模型称为“第二AR模型”。
上述增强现实同步方法,第二设备接收第一设备发送的第一特征点云,并将第一特征点云和第二特征点云进行配准,确定配准对应的坐标变换参数;之后,第二设备接收第一设备发送的增强现实模型文件,增强现实文件是第一设备建立第一AR模型生成的文件;最后,第二设备基于增强现实模型文件和坐标变换参数建立第二AR模型。该增强现实同步方式基于终端设备之间的本地通信实现,不仅降低了对网络的要求,并且便捷、快速,实现了两端或多端之间的实时协作反馈。。
传统的增强现实同步为采用锚点的同步更新,锚点包括位置、角度等姿态信息,导致传输的数据量大,且采用锚点进行同步需要不断进行坐标参考系旋转平移变化来同步,并且锚点的更新不能清晰表达运动动作。为了能够较少冗余信息的传输,且能够清晰表达运动动作,本申请创新地提出了以下同步方法。
如图2所示,在一个实施例中,在不同的终端设备之间建立了相同的AR模型之后,为了实现对于该AR模型的协同操作,该方法还包括以下步骤:
步骤110,第二设备接收第一设备发送的第一操作指令信息,第一操作指令信息包括:指令类型和对应的第一变量数据,其中,第一操作指令信息根据第一设备对第一AR模型的操作生成。
其中,第一操作指令信息根据第一设备对第一AR模型的操作生成,包括:指令类型和对应的第一变量数据。第一变量数据是指对第一AR模型操作对应的变量数据,比如,对第一AR模型进行移动操作,那么就会产生相应的移动数据,比如,移动向量数据。为了使得第二设备中的第二AR模型能够与第一AR模型同步,第一设备将产生的第一变量数据发送给第二设备。传统的AR模型传输的是锚点数据,需要传输的数据量大,且不能明确运动动作(比如,旋转、平移等动作),而本方案中采用以操作指令的方式在设备之间进行传输,不仅减少了无效冗杂信息的传输,且明确了运动动作。
其中,指令类型是指操作的类型,指令类型可分为旋转类型、平移类型、缩放类型等。当然指令类型也可以是多个动作混合类型,比如,可以是旋转+平移的类型,即既包含旋转也包含平移的类型。
此外,还可以包含其他类型的操作指令,例如变换AR模型的颜色,或者更换显示状态,例如更改模型的动画(例如,旋转、律动等动画效果),本申请对此不做限制。
步骤112,第二设备根据指令类型和对应的第一变量数据对第二AR模型进行相应调整。
其中,为了使得第二设备上的第二AR模型与第一设备上的第一AR模型保持同步,第二设备接收到指令类型和第一变量数据后进行与第一设备同样的操作调整,不同的操作对应的变量数据类型不同,如表1中所示,为常见的几种指令类型(即操作类型)以及相应的变量数据类型。
表1
指令类型 | 作用 | 对应的变量数据类型 |
MODEL(模型) | 表示是一个模型数据 | 模型文件,File |
MOVE(移动类型) | 表示是一个移动操作 | 平移向量(方向和距离) |
ROTATE(旋转类型) | 表示是一个旋转操作 | 四元数(旋转角度) |
SCALE(缩放类型) | 表示是一个缩放操作 | 在各个方向上的缩放比例 |
通过以指令信息传输的方式进行模型同步,相对于原有的锚点数据传输,该方式大大减少了冗余信息的传输,且能够明确需要传输的运动动作,且通过该方式,不仅可以传输动作数据,而且可以传输其他类型的数据,比如,模型颜色的变化数据。
上述增强现实同步方法,当第一设备操作第一AR模型时,生成第一操作指令信息,并将第一操作指令信息发送给第二设备,这样第二设备就可以根据接收到的第一操作指令信息中包含的指令类型和对应的第一变量数据对第二AR模型进行调整,从而使得第一AR模型和第二AR模型进行同步。第一设备通过将指令类型和对应的第一变量数据发送给第二设备从而第二设备根据指令类型和对应的第一变量数据快速实现第二AR模型和第一AR模型同步。
在一个实施例中,上述增强现实同步方法还包括:第二设备生成第二操作指令信息,第二操作指令信息包括:指令类型和对应的第二变量数据,其中,第二操作指令信息是根据第二设备对第二AR模型的操作生成;将第二操作指令信息发送给第一设备,以使第一设备根据指令类型和对应的第二变量数据对第一AR模型进行相应调整。
其中,增强现实同步不仅可以将第一设备的操作同步到第二设备,同时,第二设备的操作也可以同步到第一设备,所以当操作第二设备上的第二AR模型时会自动生成第二操作指令信息,将生成的第二操作指令信息发送到第一设备,以使第一设备根据第二变量数据对第一AR模型进行调整。第二设备通过将指令类型和对应的第二变量数据发送给第一设备有利于第一设备根据指令类型和对应的第二变量数据快速实现第一AR模型和第二AR模型同步。
在一个实施例中,第二设备对第二AR模型进行操作,并将操作对应生成的第二变量数据发送给第一设备,以使第一设备根据第二变量数据进行调整之前,还包括:第二设备接收第一设备发送的授权指令,授权指令用于授权第二设备对第二AR模型进行操作,且使得在授权第二设备进行操作期间,第一设备不生成第一操作指令信息。
其中,为了避免第一设备和第二设备出现操作冲突,即出现两者同时操作的情况,第二设备在接收到第一设备的授权指令后才有权限对第二AR模型进行操作并将操作产生的第二操作指令信息发送给第一设备,在这个过程中,第一设备不进行操作,或者说第一设备此时操作无效。
在另一个实施例中,与第一设备连接的第二设备可以有多个,当有多个时,为了避免操作之间的冲突,采用第一设备对第二设备授权的形式来操作,第二设备只有接收到第一设备的授权指令时,才有权限对第二设备上的第二AR模型进行操作。比如,当有3个第二设备时,分别为A、B和C,当A设备接收到授权,才允许A进行操作,此时其他的第二设备B和C以及第一设备都不能操作。
在一个实施例中,上述增强现实同步方法还包括:当第二设备对第二AR模型进行操作生成第二操作指令信息的过程中接收到第一操作指令信息时,将第一操作指令信息作为第一优先级,将生成的第二操作指令信息作为第二优先级;第二设备按照优先级顺序依次执行第一操作指令信息和第二操作指令信息。
其中,第一设备的操作的优先级大于第二设备的优先级,所以第二设备接收到第一设备发送的第一操作指令信息时,优先执行第一操作指令信息。
在一个实施例中,第一操作指令信息和第二操作指令信息各自还包括:时间戳;方法还包括:第二设备将接收到的第一操作指令信息根据时间戳加入到队列,第二设备将生成的第二操作指令信息根据时间戳加入到队列,第二设备根据指令队列中的每个操作指令信息中的时间戳有序根据对应的变量数据对第二AR模型进行调整对第二AR模型,其中,如果两个或多个操作指令信息的时间戳相同,则根据优先级,仅执行高优先等级的指令操作信息,而丢弃低优先级的指令操作信息。
在一个实施例中,第一操作指令信息和第二操作指令信息各自还包括:时间戳;同样的,方法还包括:第一设备将接收到的第二操作指令信息根据时间戳加入到队列,第一设备将生成的第一操作指令信息根据时间戳加入到队列,第一设备根据指令队列中的每个操作指令信息中的时间戳有序根据对应的变量数据对第一AR模型进行调整,其中,如果两个或多个操作指令信息的时间戳相同,则根据优先级,仅执行高优先等级的指令操作信息,而丢弃低优先级的指令操作信息。
上述实施例中的增强现实同步方式是站在第二设备的角度进行描述的,下面以第一设备的角度来描述增强现实同步方法。如图3所示,以第一设备为执行主体,提出了一种增强现实同步方法,该方法包括:
步骤302,第一设备对场景中的多个点进行识别得到第一特征点云,第一特征点云是指识别得到的特征点坐标的集合;
步骤304,第一设备将第一特征点云发送到第二设备,以使第二设备根据识别得到的第二特征点云和第一特征点云进行配准,确定配准对应的坐标变换参数,第二特征点云是第二设备对至少包含多个点的场景进行识别得到的;
步骤306,第一设备接收第二设备反馈的配准成功消息;
步骤308,第一设备建立第一AR模型,将第一AR模型对应的增强现实模型文件发送到第二设备,以使第二设备基于增强现实模型文件和坐标变换参数建立第二AR模型。
如图4所示,一种增强现实同步系统,该系统包括:第一设备402和第二设备404;
第一设备402用于对场景中的多个点进行识别得到第一特征点云,将第一特征点云发送到第二设备;
第二设备404用于对至少包含多个点的场景进行识别得到第二特征点云,将第一特征点云和第二特征点云进行配准,确定配准对应的坐标变换参数;
第一设备402还用于建立第一AR模型,并将第一AR模型对应的增强现实模型文件发送到第二设备;
第二设备404还用于基于增强现实模型文件和坐标变换参数建立第二AR模型。
在一个实施例中,第一设备402还用于根据对第一AR模型的操作生成第一操作指令信息,第一操作指令信息包括:指令类型和对应的第一变量数据,将第一操作指令信息发送给第二设备;
第二设备404还用于根据指令类型和对应的第一变量数据对第二AR模型进行相应调整。
在一个实施例中,第二设备404还用于根据对第二AR模型的操作生成生成第二操作指令信息,第二操作指令信息包括:指令类型和对应的第二变量数据,其中,第二操作指令信息根据第二设备对第二AR模型的操作生成;将第二操作指令信息发送给第一设备,以使第一设备根据指令类型和对应的第二变量数据对第一AR模型进行相应调整。
在一个实施例中,第二设备还用于接收第一设备发送的授权指令,授权指令用于授权第二设备对第二AR模型进行操作,且使得在授权第二设备进行操作期间,第一设备不生成第一操作指令信息。
在一个实施例中,第二设备还用于当对第二AR模型进行操作生成第二操作指令信息的过程中接收到第一操作指令信息时,将第一操作指令信息作为第一优先级,将生成的第二操作指令信息作为第二优先级;第二设备按照优先级顺序依次执行第一操作指令信息和第二操作指令信息。
在一个实施例中,第二设备还用于当指令类型为移动类型时,第一变量数据为移动向量,根据移动向量调整第二AR模型;当指令类型为旋转类型时,第一变量数据为旋转信息,根据旋转信息调整第二AR模型;当指令类型为缩放类型时,第一变量数据为确定缩放比例,根据缩放比例调整第二AR模型。
如图5所示,为一个实施例中,增强现实同步系统中第一设备和第二设备的交互时序图。其中,第一设备为主设备,第二设备为从设备,首先,第一设备和第二设备建立本地通信。然后第一设备对场景中的多个点进行识别得到第一特征点云,然后将第一特征点云发送到第二设备,第二设备接收到第一特征点云后,将第一特征点云和其识别得到的第二特征点云进行配准,确定配准对应的坐标变换参数,并返回配准成功消息到第一设备。第一设备建立第一AR模型,将第一AR模型对应的增强现实模型文件发送到第二设备,第二设备接收到增强现实模型文件后,基于坐标变换参数和增强现实模型文件建立第二AR模型。
当第一设备对第一AR模型进行操作时,生成第一操作指令信息(包括指令类型和对应的第一变量数据),然后将第一操作指令信息发送给第二设备,第二设备根据接收到的第一操作指令信息对第二AR模型进行相应调整。
当第二设备对第二AR模型进行操作时,生成第二操作指令信息,然后将第二操作指令信息发送到第一设备,第一设备根据第二操作指令信息对第一AR模型进行相应的调整。
也就是说,第一设备和第二设备都可以主动对自身建立的AR模型进行操作,然后将该操作同步到对方AR模型,从而使得两者的AR模型可以保持同步。
在另一实施例中,当有多个第二设备时,每个第二设备接收到第一设备发送的AR模型文件,从而在本地建立相应第二AR模型,第一设备和第二设备都可以主动对自身建立的AR模型进行操作,然后将该操作的操作指令信息同步到所有其他设备的AR模型,从而使得多端之间的AR模型保持同步。
图6示出了一个实施例中终端设备的内部结构图。该终端设备具体可以是手机、平板电脑、笔记本电脑等。如图6所示,该终端设备包括通过系统总线连接的处理器、存储器和网络接口。该终端设备还可有存储计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述的增强现实同步方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行上述的增强现实同步方法。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端设备的限定,具体的终端设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种计算机可读存储介质,有存储计算机程序,计算机程序被处理器执行时,使得处理器执行上述增强现实同步方法的步骤。
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,根据本申请的技术方案及其发明构思加以等同替换或改变,都应涵盖在本申请的保护范围之内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本申请构成任何限制。
Claims (10)
1.一种增强现实同步方法,其特征在于,所述方法还包括:
第二设备接收第一设备发送的第一特征点云,所述第一特征点云是所述第一设备对场景中的多个点进行识别得到的特征点坐标的集合;
所述第二设备对至少包含所述多个点的场景进行识别得到第二特征点云,将所述第一特征点云和所述第二特征点云进行配准,确定配准对应的坐标变换参数,并向所述第一设备反馈配准成功消息,所述配准成功消息用于指示所述第二设备可接收增强现实模型文件;
所述第二设备接收所述第一设备发送的增强现实模型文件,所述增强现实模型文件是所述第一设备建立第一AR模型对应的文件;
所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第二设备接收所述第一设备发送的第一操作指令信息,所述第一操作指令信息包括:指令类型和对应的第一变量数据,其中,所述第一操作指令信息根据所述第一设备对所述第一AR模型的操作生成;
所述第二设备根据所述指令类型和对应的第一变量数据对所述第二AR模型进行相应调整。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第二设备生成第二操作指令信息,所述第二操作指令信息包括:指令类型和对应的第二变量数据,其中,所述第二操作指令信息根据所述第二设备对所述第二AR模型的操作生成,
将所述第二操作指令信息发送给所述第一设备,以使所述第一设备根据所述指令类型和对应的第二变量数据对所述第一AR模型进行相应调整。
4.根据权利要求3所述的方法,其特征在于,所述第二设备对所述第二AR模型进行操作,并将所述操作对应生成的第二变量数据发送给所述第一设备,以使所述第一设备根据所述第二变量数据进行调整之前,还包括:
所述第二设备接收所述第一设备发送的授权指令,所述授权指令用于授权所述第二设备对所述第二AR模型进行操作,且使得在授权所述第二设备进行操作期间,所述第一设备不生成所述第一操作指令信息。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述第二设备对所述第二AR模型进行操作生成第二操作指令信息的过程中接收到第一操作指令信息时,将所述第一操作指令信息作为第一优先级,将生成的所述第二操作指令信息作为第二优先级;
所述第二设备按照优先级顺序依次执行所述第一操作指令信息和所述第二操作指令信息。
6.根据权利要求1所述的方法,其特征在于,所述第二设备根据所述指令类型和对应的变量数据对所述第二AR模型进行相应调整,包括:
当所述指令类型为移动类型时,所述第一变量数据为移动向量,根据所述移动向量调整所述第二AR模型;
当所述指令类型为旋转类型时,所述第一变量数据为旋转信息,根据所述旋转信息调整所述第二AR模型;
当所述指令类型为缩放类型时,所述第一变量数据为确定缩放比例,根据所述缩放比例调整所述第二AR模型。
7.一种增强现实同步方法,其特征在于,所述方法还包括:
第一设备对所述场景中的多个点进行识别得到第一特征点云,所述第一特征点云是指识别得到的特征点坐标的集合;
所述第一设备将所述第一特征点云发送到所述第二设备,以使第二设备根据识别得到的第二特征点云和所述第一特征点云进行配准,确定配准对应的坐标变换参数,所述第二特征点云是第二设备对至少包含所述多个点的场景进行识别得到的;
所述第一设备接收所述第二设备反馈的配准成功消息;
所述第一设备建立第一AR模型,将所述第一AR模型对应的增强现实模型文件发送到所述第二设备,以使所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。
8.一种增强现实同步系统,其特征在于,所述系统包括:第一设备和第二设备;
所述第一设备还用于对场景中的多个点进行识别得到第一特征点云,将所述第一特征点云发送到所述第二设备;
所述第二设备用于对至少包含所述多个点的场景进行识别得到第二特征点云,将所述第一特征点云和所述第二特征点云进行配准,确定配准对应的坐标变换参数;
所述第一设备还用于建立第一AR模型,并将第一AR模型对应的增强现实模型文件发送到所述第二设备;
所述第二设备还用于基于所述增强现实模型文件和所述坐标变换参数建立第二AR模型。
9.一种计算机可读存储介质,有存储计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的增强现实同步方法的步骤。
10.一种终端设备,包括存储器和处理器,所述存储器有存储计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的增强现实同步方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110418102.5A CN113516776A (zh) | 2021-04-19 | 2021-04-19 | 增强现实同步方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110418102.5A CN113516776A (zh) | 2021-04-19 | 2021-04-19 | 增强现实同步方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113516776A true CN113516776A (zh) | 2021-10-19 |
Family
ID=78062823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110418102.5A Pending CN113516776A (zh) | 2021-04-19 | 2021-04-19 | 增强现实同步方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113516776A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120263154A1 (en) * | 2011-04-13 | 2012-10-18 | Autonomy Corporation Ltd | Methods and systems for generating and joining shared experience |
US20180247456A1 (en) * | 2017-02-27 | 2018-08-30 | Hiscene (Shanghai) Information Technology Co., Ltd. | Method and device for augmented reality display of real physical model |
CN110070617A (zh) * | 2018-11-02 | 2019-07-30 | 北京微播视界科技有限公司 | 数据同步方法、装置、硬件装置 |
US20190299095A1 (en) * | 2018-03-29 | 2019-10-03 | Boe Technology Group Co., Ltd. | Virtual image interaction method, virtualization device and augmented reality system |
CN110751735A (zh) * | 2019-09-30 | 2020-02-04 | 亮风台(上海)信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
US20210042999A1 (en) * | 2018-11-06 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Method, device, and storage medium for segmenting three-dimensional object |
WO2021047427A1 (zh) * | 2019-09-10 | 2021-03-18 | 中兴通讯股份有限公司 | 增强现实互动实现方法及系统、增强现实设备、存储介质 |
-
2021
- 2021-04-19 CN CN202110418102.5A patent/CN113516776A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120263154A1 (en) * | 2011-04-13 | 2012-10-18 | Autonomy Corporation Ltd | Methods and systems for generating and joining shared experience |
US20180247456A1 (en) * | 2017-02-27 | 2018-08-30 | Hiscene (Shanghai) Information Technology Co., Ltd. | Method and device for augmented reality display of real physical model |
US20190299095A1 (en) * | 2018-03-29 | 2019-10-03 | Boe Technology Group Co., Ltd. | Virtual image interaction method, virtualization device and augmented reality system |
CN110070617A (zh) * | 2018-11-02 | 2019-07-30 | 北京微播视界科技有限公司 | 数据同步方法、装置、硬件装置 |
US20210042999A1 (en) * | 2018-11-06 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Method, device, and storage medium for segmenting three-dimensional object |
WO2021047427A1 (zh) * | 2019-09-10 | 2021-03-18 | 中兴通讯股份有限公司 | 增强现实互动实现方法及系统、增强现实设备、存储介质 |
CN110751735A (zh) * | 2019-09-30 | 2020-02-04 | 亮风台(上海)信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
Non-Patent Citations (2)
Title |
---|
MOSTAFA UDDIN等: "GLAMAR: Geo-Location Assisted Mobile Augmented Reality for Industrial Automation", 《2020 IEEE/ACM SYMPOSIUM ON EDGE COMPUTING (SEC)》, 22 February 2021 (2021-02-22) * |
吕圣卿等: "一种基于网络的并行渲染和跨平台同步展示系统", 《计算机应用与软件》, vol. 34, no. 10, 31 October 2017 (2017-10-31), pages 113 - 117 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12002239B2 (en) | Data processing method and device used in virtual scenario | |
US11145083B2 (en) | Image-based localization | |
US20200357136A1 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
CN109874021B (zh) | 直播互动方法、装置及系统 | |
CN110140099B (zh) | 用于跟踪控制器的系统和方法 | |
CN107818592B (zh) | 协作式同步定位与地图构建的方法、系统及交互系统 | |
CN109313484B (zh) | 虚拟现实交互系统、方法及计算机存储介质 | |
CN110310326A (zh) | 一种位姿数据处理方法、装置、终端及计算机可读存储介质 | |
US10977869B2 (en) | Interactive method and augmented reality system | |
JP2016105577A (ja) | カメラモデルパラメータ推定装置及びそのプログラム | |
EP3173134B1 (en) | Synchronization object determining method, apparatus, and system | |
CN110083235A (zh) | 交互系统及数据处理方法 | |
CN113426117A (zh) | 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质 | |
CN111338808A (zh) | 一种协同计算方法及系统 | |
CN111298429A (zh) | 游戏中虚拟载具的状态同步方法和装置 | |
WO2021196973A1 (zh) | 虚拟内容的显示方法、装置、电子设备及存储介质 | |
Apicharttrisorn et al. | Breaking edge shackles: Infrastructure-free collaborative mobile augmented reality | |
CN113516776A (zh) | 增强现实同步方法、装置、终端设备及存储介质 | |
CN116486051B (zh) | 一种多用户展示协同方法、装置、设备及存储介质 | |
CN109873995A (zh) | 一种可互动的地幕投影系统及方法 | |
CN111417016A (zh) | 一种姿态估计方法、服务器和网络设备 | |
CN108646588B (zh) | 一种基于传感器图像生成模型的电视制导武器仿真器 | |
CN114373016A (zh) | 一种在扩展现实技术场景中实现点的定位方法 | |
US12002162B2 (en) | Method and apparatus for providing virtual contents in virtual space based on common coordinate system | |
WO2019037073A1 (zh) | 一种数据同步的方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |