CN115396656A - 基于ar sdk的增强现实方法、系统、设备及介质 - Google Patents
基于ar sdk的增强现实方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115396656A CN115396656A CN202211038997.0A CN202211038997A CN115396656A CN 115396656 A CN115396656 A CN 115396656A CN 202211038997 A CN202211038997 A CN 202211038997A CN 115396656 A CN115396656 A CN 115396656A
- Authority
- CN
- China
- Prior art keywords
- sdk
- augmented reality
- head
- mounted display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000004891 communication Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于AR SDK的增强现实方法、系统、设备及存储介质，所述基于AR SDK的增强现实方法包括：通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像。本申请解决了当前AR SDK不支持AR/VR等头戴显示设备的技术问题，提高用户的AR体验效果。
Description
技术领域
本申请涉及AR/VR技术领域，尤其涉及一种基于AR SDK的增强现实方法、系统、设备及存储介质。
背景技术
随着近年来AR技术的快速发展，如今只需借助集成的AR增强现实开发软件包(ARSDK)进行开发，例如苹果公司发布的ARKit、谷歌公司发布的ARCore等，就能够帮助我们以最简单快捷的方式实现AR场景构建、虚拟场景交互等AR技术功能，然而，苹果的ARkit只支持其自家头戴显示设备，而谷歌的ARcore则只支持其认证过的安卓手机，而几乎所有ARSDK都不支持市场下其他的AR、VR以及MR等设备，导致用户的AR体验效果较差。
发明内容
本申请的主要目的在于提供一种基于AR SDK的增强现实方法、系统、设备及存储介质，旨在提高用户的AR体验效果。
为实现上述目的，本申请提供一种基于AR SDK的增强现实方法，所述方法应用于基于AR SDK的增强现实系统，所述基于AR SDK的增强现实系统包括第一终端和头戴显示设备，所述第一终端设置有AR SDK开发软件包，所述第一终端与所述头戴显示设备建立无线串流通信连接，所述基于AR SDK的增强现实方法包括：
通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；
通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像。
可选地，所述基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像的步骤包括：
获取虚拟物体模型；
通过所述AR SDK对所述真实图像进行光照估计以及平面检测处理，得到光线信息和平面信息；
基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整，并将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像。
可选地，所述光线信息包括光线强度、光线照射角度和光线颜色，
所述基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整的步骤包括：
基于所述光线强度、光线照射角度、光线颜色以及和所述平面信息，调整所述虚拟物体模型的光源参数以及位置信息。
可选地，所述获取虚拟物体模型的步骤包括：
调用所述第一终端中的AR SDK对应的接口函数，以获取目标用户所述AR SDK的预设虚拟物体模型库中所选择的虚拟物体模型。
可选地，所述通过所述头戴显示设备对所述处理图像进行透视处理，得到目标图像的步骤包括：
确定佩戴所述头戴显示设备的用户的观察视角信息；
基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像。
可选地，所述将所述处理图像发送至所述头戴显示设备的步骤包括：
将所述处理图像以串流形式进行压缩，并将压缩后的处理图像发送至所述头戴显示设备。
在通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像的步骤之后，还包括：
将所述目标图像投射到所述头戴显示设备的显示屏幕上，以供用户在所述显示屏幕上观看所述目标图像。
本申请还提供一种基于AR SDK的增强现实系统，所述基于AR SDK的增强现实系统包括第一终端和头戴显示设备，所述第一终端设置有AR SDK开发软件包，所述第一终端与所述头戴显示设备建立无线串流通信连接，所述基于AR SDK的增强现实方法包括：
所述头戴显示设备，用于拍摄真实图像，并将所述真实图像发送至所述第一终端；
所述第一终端，用于接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
所述头戴显示设备，还用于对所述处理图像进行透视处理，得到目标图像，以将所述目标图像投射到所述头戴显示设备中。
本申请还提供一种基于AR SDK的增强现实设备，所述基于AR SDK的增强现实设备为实体设备，所述基于AR SDK的增强现实设备包括：存储器、处理器以及存储在所述存储器上的基于AR SDK的增强现实程序，所述基于AR SDK的增强现实程序被所述处理器执行实现如上述的基于AR SDK的增强现实方法的步骤。
本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储基于AR SDK的增强现实程序，所述基于AR SDK的增强现实程序被处理器执行实现如上述的基于AR SDK的增强现实方法的步骤。
本申请提供了一种基于AR SDK的增强现实方法、系统、设备及存储介质，本申请首先通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端，进而通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备，进一步地，通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像，实现了通过建立第一终端与头戴显示设备之间的无线串流通信，使得能够将AR、VR或者MR等头戴显示设备拍摄的真实图像实时传输到支持AR SDK的第一终端中，在第一终端中的AR SDK对真实图像进行处理，并将实现AR功能后的处理图像实时地传回头戴显示设备中，可通过所述头戴显示设备对所述处理图像进行透视处理，得到目标图像后显示在头戴显示设备中，从而基于第一终端中的AR SDK，在AR、VR或者MR等头戴显示设备中也能够体验到丰富的AR功能，提高用户的AR体验效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请设计的基于AR SDK的增强现实系统架构示意图；
图2为本申请基于AR SDK的增强现实方法第一实施例的流程示意图；
图3为本申请基于AR SDK的增强现实方法第二实施例的流程示意图；
图4为本申请基于AR SDK的增强现实方法第三实施例的流程示意图；
图5为本申请实施例方案涉及的硬件运行环境的基于AR SDK的增强现实设备结构示意图；
图6为本申请基于AR SDK的增强现实系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；
通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像。
本发明提供一种解决方案，旨在实现了通过建立第一终端与头戴显示设备之间的无线串流通信，使得能够将AR、VR或者MR等头戴显示设备拍摄的真实图像实时传输到支持AR SDK的第一终端中，在第一终端中的AR SDK对真实图像进行处理，并将实现AR功能后的处理图像实时地传回头戴显示设备中，可通过所述头戴显示设备对所述处理图像进行透视处理，得到目标图像后显示在头戴显示设备中，从而基于第一终端中的AR SDK，在AR、VR或者MR等头戴显示设备中也能够体验到丰富的AR功能，提高用户的AR体验效果。
进一步地，参照图1，图1为本申请设计的基于AR SDK的增强现实系统架构示意图，其中，所述包括第一终端和头戴显示设备，所述第一终端设置有AR SDK开发软件包。
所述基于AR SDK的增强现实系统的交互原理如下：
所述头戴显示设备，用于拍摄真实图像，并将所述真实图像发送至所述第一终端；
具体地，首先将所述第一终端与所述头戴显示设备建立无线串流通信连接，进而通过所述头戴显示设备中的外置摄像头实时拍摄真实图像，通过所述无线串流通信，将所述真实图像实时发送至所述第一终端。
所述第一终端，用于接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
具体地，所述第一终端接收所述头戴显示设备发送的真实图像，进而调用AR SDK的接口函数，通过所述AR SDK对所述真实图像进行光照估计以及平面检测等处理，并且获取所述AR SDK中的虚拟物体模型，基于处理得到的光线信息和平面信息，对所述虚拟物体模型进行调整，从而将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像，进而将所述处理图像以串流形式进行压缩，并将压缩后的处理图像发送至所述头戴显示设备。
所述头戴显示设备，还用于对所述处理图像进行透视处理，得到目标图像；
所述头戴显示设备，还用于将所述目标图像投射到所述头戴显示设备的显示屏幕上，以供用户在所述显示屏幕上观看所述目标图像。
具体地，所述头戴显示设备接收所述处理图像，进而确定佩戴所述头戴显示设备的用户的观察视角信息，基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像，进一步地，将所述目标图像投射到所述头戴显示设备的显示屏幕上，以供用户在所述显示屏幕上观看所述目标图像。
基于上述基于AR SDK的增强现实系统架构但不限于上述架构，提出本申请基于ARSDK的增强现实方法实施例。
具体地，参照图2，本申请实施例提供一种基于AR SDK的增强现实方法，在本申请基于AR SDK的增强现实方法的第一实施例中，所述基于AR SDK的增强现实方法包括：
步骤S10，通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；
在本实施例中，需要说明的是，所述头戴显示设备包括AR设备、VR设备以及MR等结合AR功能等头戴显示设备，所述第一终端包括手机、平板、电脑等终端设备，所述头戴显示设备与所述第一终端之间建立无线串流通信连接，其中，所述无线串流通信是通过网路实时压缩和传输影音的技术，进一步地，所述头戴显示设备设置有摄像头，所述摄像头用于拍摄当前所处环境的真实图像，所述第一终端设置有AR SDK增强现实开发软件包，其中，所述AR SDK设置有光照估计、平面检测等功能，所述光照估计为检测拍摄得到的真实图像的光线信息。
具体地，通过所述头戴显示设备中的摄像头在当前环境下进行实时拍摄，并将当前环境视频中的每一帧真实图像以无线串流的形式实时发送至所述第一终端中，实现了以无线串流通信的形式将AR、VR或者MR等头戴显示设备拍摄的真实图像实时传输到支持ARSDK的第一终端中，在第一终端中的AR SDK对真实图像进行处理。
步骤S20，通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
在本实施例中，具体地，通过所述第一终端接收所述头戴显示设备发送的真实图像，进而将调用所述第一终端中的AR SDK对应的接口函数，需要说明的是，所述AR SDK存储有虚拟物体模型库，从而用户可在所述虚拟物体模型中选择对应的虚拟物体模型，进一步地，通过所述AR SDK中的光照估计技术检测所述真实图像对应的光线信息，其中，所述光线信息包括光线强度、光线照射角度和光线颜色等信息，以及通过所述AR SDK中的平面检测技术检测所述真实图像对应的平面信息，进一步地，基于所述光线强度、光线照射角度、光线颜色，调整所述虚拟物体模型对应的光线强度参数、光线照射角度参数以及光线颜色参数，使得虚拟物体模型的光源参数和真实图像中的光线信息相匹配，进而使得基于虚拟物体模型以及真实图像合成后的图像更加匹配贴切，另外地，基于所述平面信息，调整所述虚拟物体模型的位置信息，进一步地，将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像。
步骤S30，通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像。
在通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像的步骤之后，还包括：
步骤a1,将所述目标图像投射到所述头戴显示设备的显示屏幕上，以供用户在所述显示屏幕上观看所述目标图像。
在本实施例中，需要说明的是，由于头戴显示设备中的摄像头是通过广角镜头进行拍摄，拍摄的范围会比佩戴头戴显示设备的目标用户通过人眼观察范围要广，因此，需要对所述处理图像进行video see through视频透视处理。具体地，需要确定佩戴所述头戴显示设备的用户的观察视角点，从而确定在该观察视角点下，人眼真实能够观察到的观察视角信息，进而在接收到第一终端发送的处理图像后，基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像，进而将目标图像投射到所述头戴显示设备中的屏幕上，使得用户可在所述显示屏幕上欣赏到具体AR功能的目标图像。
本申请实施例通过上述方案，也即，通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像，实现了通过建立第一终端与头戴显示设备之间的无线串流通信，使得能够将AR、VR或者MR等头戴显示设备拍摄的真实图像实时传输到支持AR SDK的第一终端中，在第一终端中的AR SDK对真实图像进行处理，并将实现AR功能后的处理图像实时地传回头戴显示设备中，可通过所述头戴显示设备对所述处理图像进行透视处理，得到目标图像后显示在头戴显示设备中，从而基于第一终端中的AR SDK，在AR、VR或者MR等头戴显示设备中也能够体验到丰富的AR功能，提高用户的AR体验效果。
进一步地，参照图3，基于本申请中第一实施例，在本申请的另一实施例中，所述基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像的步骤包括：
步骤A10，获取虚拟物体模型；
步骤A20，通过所述AR SDK对所述真实图像进行光照估计以及平面检测处理，得到光线信息和平面信息；
步骤A30，基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整，并将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像。
在本实施例中，具体地，通过所述第一终端接收所述头戴显示设备发送的真实图像，进而将调用所述第一终端中的AR SDK对应的接口函数，其中，所述AR SDK设置有虚拟物体模型库，虚拟物体模型库存储有大量的虚拟物体模型，用户可在所述虚拟物体模型中选择对应的虚拟物体模型，进一步地，通过所述AR SDK中的光照估计技术检测所述真实图像对应的光线信息，其中，所述光线信息包括光线强度、光线照射角度和光线颜色等信息，以及通过所述AR SDK中的平面检测技术检测所述真实图像对应的平面信息，进一步地，基于所述光线强度、光线照射角度、光线颜色，调整所述虚拟物体模型对应的光线强度参数、光线照射角度参数以及光线颜色参数，使得虚拟物体模型的光源参数和真实图像中的光线信息相匹配，进而使得基于虚拟物体模型以及真实图像合成后的图像更加匹配贴切，另外地，基于所述平面信息，调整所述虚拟物体模型的位置信息，进一步地，将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像，例如，当检测到真实图像中存在一个桌子，虚拟物体模型为一本书，在合成后的图像可使得本放在桌子上。
本申请实施例通过上述方案，也即，获取虚拟物体模型，进而通过所述AR SDK对所述真实图像进行光照估计以及平面检测处理，得到光线信息和平面信息，进一步地，基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整，并将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像，实现了通过建立第一终端与头戴显示设备之间的无线串流通信，使得能够将AR、VR或者MR等头戴显示设备拍摄的真实图像实时传输到支持AR SDK的第一终端中，在第一终端中的AR SDK对真实图像进行处理，从而从而基于第一终端中的AR SDK，在AR、VR或者MR等头戴显示设备中也能够体验到丰富的AR功能，使用户具有良好的AR体验效果。
进一步地，参照图4，基于本申请中第一实施例，在本申请的另一实施例中，所述通过所述头戴显示设备对所述处理图像进行透视处理，得到目标图像的步骤包括：
步骤B10，确定佩戴所述头戴显示设备的用户的观察视角信息；
步骤B20，基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像。
在本实施例中，需要说明的是，所述观察视角信息是指用户人眼观察到的视角范围，由于头戴显示设备中的摄像头拍摄的范围会比佩戴头戴显示设备的目标用户通过人眼观察范围要广，因此，需要对处理图像进行调整。具体地，需要确定佩戴所述头戴显示设备的用户的观察视角点，从而确定在该观察视角点下人眼真实能够观察到的观察视角信息，进而在接收到第一终端发送的处理图像后，基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像，例如：假设摄像头的拍摄范围是20m×15m，人眼观察到的视角范围是10m×8m，需要将摄像头拍摄到的处理图像对应的尺寸比例进行调整成视角范围对应的尺寸比例，进一步地，将目标图像投射到所述头戴显示设备中的屏幕上，从而使得用户在头戴显示设备上观看到的图像范围更加贴合人眼真实观察到的范围。
本申请实施例通过上述，也即，确定佩戴所述头戴显示设备的用户的观察视角信息，进而基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像，实现了在接收到通过AR SDK处理后的处理图像后，对所述处理图像进行透视处理，从而使得用户观看头戴显示设备的显示屏幕上的图像更加贴切用户人眼真实观看得到图像范围，提高用户AR体验效果。
参照图5，图5是本申请实施例方案涉及的硬件运行环境的基于AR SDK的增强现实设备结构示意图。
如图5所示，该基于AR SDK的增强现实设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该基于AR SDK的增强现实设备还可以包括矩形用户接口、网络接口、相机、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口(如WIFI接口)。
本领域技术人员可以理解，图5中示出的基于AR SDK的增强现实设备结构并不构成对基于AR SDK的增强现实设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及基于AR SDK的增强现实程序。操作系统是管理和控制基于AR SDK的增强现实设备硬件和软件资源的程序，支持基于AR SDK的增强现实程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与基于AR SDK的增强现实系统中其它硬件和软件之间通信。
在图5所示的基于AR SDK的增强现实设备中，处理器1001用于执行存储器1005中存储的基于AR SDK的增强现实程序，实现上述任一项所述的基于AR SDK的增强现实方法的步骤。
本申请基于AR SDK的增强现实设备具体实施方式与上述基于AR SDK的增强现实方法各实施例基本相同，在此不再赘述。
此外，请参照图6，图6是本申请基于AR SDK的增强现实系统的功能模块示意图，本申请还提供一种基于AR SDK的增强现实系统，所述基于AR SDK的增强现实系统包括：
发送模块，用于通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；
增强现实处理模块，用于通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
透视处理模块，用于通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像。
可选地，所述增强现实处理模块还用于：
获取虚拟物体模型；
通过所述AR SDK对所述真实图像进行光照估计以及平面检测处理，得到光线信息和平面信息；
基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整，并将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像。
可选地，所述增强现实处理模块还用于：
基于所述光线强度、光线照射角度、光线颜色以及和所述平面信息，调整所述虚拟物体模型中的光源参数以及位置信息，得到所述处理图像。
可选地，所述增强现实处理模块还用于：
调用所述第一终端中的AR SDK对应的接口函数，以获取目标用户在所述AR SDK的预先虚拟物体模型库中所选择的虚拟物体模型。
可选地，所述透视处理模块还用于：
确定佩戴所述头戴显示设备的用户的观察视角信息；
基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像。
可选地，所述AR SDK的增强现实系统还用于：
将所述处理图像以串流形式进行压缩，并将压缩后的处理图像发送至所述头戴显示设备。
本申请基于AR SDK的增强现实系统的具体实施方式与上述基于AR SDK的增强现实方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，且所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于AR SDK的增强现实方法的步骤。
本申请计算机可读存储介质具体实施方式与上述基于AR SDK的增强现实方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (10)
1.一种基于AR SDK的增强现实方法，其特征在于，所述方法应用于基于AR SDK的增强现实系统，所述基于AR SDK的增强现实系统包括第一终端和头戴显示设备，所述第一终端设置有AR SDK增强现实开发软件包，所述第一终端与所述头戴显示设备建立无线串流通信连接，所述基于AR SDK的增强现实方法包括：
通过所述头戴显示设备拍摄得到真实图像，并将所述真实图像发送至所述第一终端；
通过所述第一终端接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像。
2.如权利要求1所述的基于AR SDK的增强现实方法，其特征在于，所述基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像的步骤包括：
获取虚拟物体模型；
通过所述AR SDK对所述真实图像进行光照估计以及平面检测处理，得到光线信息和平面信息；
基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整，并将调整后的虚拟物体模型和所述真实图像进行叠加处理，得到所述处理图像。
3.如权利要求2所述的基于AR SDK的增强现实方法，其特征在于，所述光线信息包括光线强度、光线照射角度和光线颜色，
所述基于所述光线信息和所述平面信息，对所述虚拟物体模型进行调整的步骤包括：
基于所述光线强度、光线照射角度、光线颜色以及和所述平面信息，调整所述虚拟物体模型的光源参数以及位置信息。
4.如权利要求2所述的基于AR SDK的增强现实方法，其特征在于，所述获取虚拟物体模型的步骤包括：
调用所述第一终端中的AR SDK对应的接口函数，以获取目标用户在所述AR SDK的预设虚拟物体模型库中所选择的虚拟物体模型。
5.如权利要求1所述的基于AR SDK的增强现实方法，其特征在于，所述通过所述头戴显示设备对所述处理图像进行透视处理，得到目标图像的步骤包括：
确定佩戴所述头戴显示设备的用户的观察视角信息；
基于所述观察视角信息，对所述处理图像的尺寸比例进行调整，得到所述目标图像。
6.如权利要求1所述的基于AR SDK的增强现实方法，其特征在于，所述将所述处理图像发送至所述头戴显示设备的步骤包括：
将所述处理图像以串流形式进行压缩，并将压缩后的处理图像发送至所述头戴显示设备。
7.如权利要求1所述的基于AR SDK的增强现实方法，其特征在于，在通过所述头戴显示设备接收所述处理图像，并对所述处理图像进行透视处理，得到目标图像的步骤之后，还包括：
将所述目标图像投射到所述头戴显示设备的显示屏幕上，以供用户在所述显示屏幕上观看所述目标图像。
8.一种基于AR SDK的增强现实系统，其特征在于，所述基于AR SDK的增强现实系统包括第一终端和头戴显示设备，所述第一终端设置有AR SDK开发软件包，所述第一终端与所述头戴显示设备建立无线串流通信连接，其中：
所述头戴显示设备，用于拍摄真实图像，并将所述真实图像发送至所述第一终端；
所述第一终端，用于接收所述头戴显示设备发送的真实图像，并基于所述AR SDK对所述真实图像进行增强现实处理，得到处理图像，以及将所述处理图像发送至所述头戴显示设备；
所述头戴显示设备，还用于对所述处理图像进行透视处理，得到目标图像。
9.一种基于AR SDK的增强现实设备，其特征在于，所述基于AR SDK的增强现实设备包括：存储器、处理器以及存储在存储器上的基于AR SDK的增强现实程序，
所述基于AR SDK的增强现实程序被所述处理器执行实现如权利要求1至7中任一项所述基于AR SDK的增强现实方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于AR SDK的增强现实程序，所述基于AR SDK的增强现实程序被处理器执行实现如权利要求1至7中任一项所述基于AR SDK的增强现实方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038997.0A CN115396656A (zh) | 2022-08-29 | 2022-08-29 | 基于ar sdk的增强现实方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038997.0A CN115396656A (zh) | 2022-08-29 | 2022-08-29 | 基于ar sdk的增强现实方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115396656A true CN115396656A (zh) | 2022-11-25 |
Family
ID=84122262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211038997.0A Pending CN115396656A (zh) | 2022-08-29 | 2022-08-29 | 基于ar sdk的增强现实方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115396656A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018045985A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳梦境视觉智能科技有限公司 | 一种增强现实显示系统 |
| CN108520552A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109005285A (zh) * | 2018-07-04 | 2018-12-14 | 百度在线网络技术（北京）有限公司 | 增强现实处理方法、终端设备及存储介质 |
| CN109255841A (zh) * | 2018-08-28 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | Ar图像呈现方法、装置、终端及存储介质 |
| CN109445596A (zh) * | 2018-11-02 | 2019-03-08 | 北京盈迪曼德科技有限公司 | 一种一体式混合现实头戴显示系统 |
| CN109814719A (zh) * | 2018-07-26 | 2019-05-28 | 亮风台（上海）信息科技有限公司 | 一种基于穿戴眼镜的显示信息的方法与设备 |
| CN112114667A (zh) * | 2020-08-26 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于双目摄像头和vr设备的ar显示方法及系统 |
| CN113012299A (zh) * | 2021-02-22 | 2021-06-22 | 北京市商汤科技开发有限公司 | 显示方法及装置、设备、存储介质 |
| CN113902520A (zh) * | 2021-09-26 | 2022-01-07 | 深圳市晨北科技有限公司 | 增强现实图像显示方法、装置、设备及存储介质 |
| CN114419293A (zh) * | 2022-01-26 | 2022-04-29 | 广州鼎飞航空科技有限公司 | 一种增强现实的数据处理方法、装置及设备 |
-
2022
- 2022-08-29 CN CN202211038997.0A patent/CN115396656A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018045985A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳梦境视觉智能科技有限公司 | 一种增强现实显示系统 |
| CN108520552A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109005285A (zh) * | 2018-07-04 | 2018-12-14 | 百度在线网络技术（北京）有限公司 | 增强现实处理方法、终端设备及存储介质 |
| CN109814719A (zh) * | 2018-07-26 | 2019-05-28 | 亮风台（上海）信息科技有限公司 | 一种基于穿戴眼镜的显示信息的方法与设备 |
| CN109255841A (zh) * | 2018-08-28 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | Ar图像呈现方法、装置、终端及存储介质 |
| CN109445596A (zh) * | 2018-11-02 | 2019-03-08 | 北京盈迪曼德科技有限公司 | 一种一体式混合现实头戴显示系统 |
| CN112114667A (zh) * | 2020-08-26 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于双目摄像头和vr设备的ar显示方法及系统 |
| CN113012299A (zh) * | 2021-02-22 | 2021-06-22 | 北京市商汤科技开发有限公司 | 显示方法及装置、设备、存储介质 |
| CN113902520A (zh) * | 2021-09-26 | 2022-01-07 | 深圳市晨北科技有限公司 | 增强现实图像显示方法、装置、设备及存储介质 |
| CN114419293A (zh) * | 2022-01-26 | 2022-04-29 | 广州鼎飞航空科技有限公司 | 一种增强现实的数据处理方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102381713B1 (ko) | 촬영 방법, 촬영 장치, 및 이동 단말 | |
| CN109167950B (zh) | 视频录制方法、视频播放方法、装置、设备及存储介质 | |
| CN108762501B (zh) | Ar显示方法、智能终端、ar设备及系统 | |
| CN108495032B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2022527708A (ja) | 画像処理方法およびヘッドマウントディスプレイデバイス | |
| JP2018046430A (ja) | 情報処理装置および方法、並びにプログラム | |
| CN106507178B (zh) | 视频播放方法及装置 | |
| CN110830811A (zh) | 直播互动方法及装置、系统、终端、存储介质 | |
| CN107147927B (zh) | 基于直播连麦的直播方法及装置 | |
| CN109002248B (zh) | Vr场景截图方法、设备及存储介质 | |
| CN113411621B (zh) | 音频数据处理方法、装置、存储介质及电子设备 | |
| CN112702533B (zh) | 视线修正方法及视线修正装置 | |
| CN108965769B (zh) | 视频显示方法及装置 | |
| CN113244616A (zh) | 基于虚拟场景的互动方法、装置、设备及可读存储介质 | |
| US20230069407A1 (en) | Remote operation apparatus and computer-readable medium | |
| CN108270971B (zh) | 一种移动终端对焦的方法、设备及计算机可读存储介质 | |
| CN114442814B (zh) | 一种云桌面的展示方法、装置、设备及存储介质 | |
| EP3465631B1 (en) | Capturing and rendering information involving a virtual environment | |
| CN108134928A (zh) | Vr显示方法和装置 | |
| JP2016220171A (ja) | 拡張現実対象認識装置 | |
| CN110837300A (zh) | 虚拟交互的方法、装置、电子设备及存储介质 | |
| JP2003111041A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| CN115396656A (zh) | 基于ar sdk的增强现实方法、系统、设备及介质 | |
| CN114900624A (zh) | 拍摄校准方法、系统、设备及存储介质 | |
| CN107426522B (zh) | 基于虚拟现实设备的视频方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |