CN111524240A - 场景切换方法、装置及增强现实设备 - Google Patents
场景切换方法、装置及增强现实设备 Download PDFInfo
- Publication number
- CN111524240A CN111524240A CN202010391919.3A CN202010391919A CN111524240A CN 111524240 A CN111524240 A CN 111524240A CN 202010391919 A CN202010391919 A CN 202010391919A CN 111524240 A CN111524240 A CN 111524240A
- Authority
- CN
- China
- Prior art keywords
- scene
- point cloud
- coordinate
- dimensional point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 41
- 238000009877 rendering Methods 0.000 claims abstract description 40
- 238000013519 translation Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000004891 communication Methods 0.000 abstract description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 235000013162 Cocos nucifera Nutrition 0.000 description 2
- 244000060011 Cocos nucifera Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本申请公开了一种场景切换方法、装置及增强现实设备，属于通信技术领域，所述方法包括：获取目标虚拟场景的场景信息；基于所述场景信息获取三维点云数据；获取现实场景的场景数据；基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。本申请能够解决AR设备的虚拟场景效果较差，使用灵活性不高的问题。
Description
技术领域
本申请属于通信技术领域，具体涉及一种场景切换方法、装置及增强现实设备。
背景技术
增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界巧妙融合的技术。AR设备可以透过摄像机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互。目前，AR设备中的虚拟场景是在现实场景环境的基础上，将虚拟图形融合在现实场景的三维环境中，例如，AR会议中的现实场景为实体会议室。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：AR设备仅能在现实场景环境中融合虚拟图形形成虚拟场景提供给用户，AR设备的虚拟场景效果较差，使用灵活性不高。
发明内容
本申请实施例的目的是提供一种场景切换方法、装置及增强现实设备，能够解决AR设备的虚拟场景效果较差，使用灵活性不高的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种场景切换方法，该方法包括：
获取目标虚拟场景的场景信息；
基于所述场景信息获取三维点云数据；
获取现实场景的场景数据；
基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
第二方面，本申请实施例提供了一种场景切换装置，所述场景切换装置包括：
第一获取模块，用于获取目标虚拟场景的场景信息；
第二获取模块，用于基于所述场景信息获取三维点云数据；
第三获取模块，用于获取现实场景的场景数据；
渲染模块，用于基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
第三方面，本申请实施例提供了一种增强现实设备，该增强现实设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
本申请实施例中，获取目标虚拟场景的场景信息；基于所述场景信息获取三维点云数据；获取现实场景的场景数据；基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。这样，通过切换增强现实设备的增强现实场景中的虚拟场景，能够提高增强现实设备的灵活性。
附图说明
图1是本申请实施例提供的一种场景切换方法的流程图；
图2是本申请实施例提供的一种场景切换方法的应用场景的示意图；
图3是本申请实施例提供的一种场景切换装置的结构示意图之一；
图4是本申请实施例提供的一种场景切换装置的结构示意图之二；
图5是本申请实施例提供的一种场景切换装置的结构示意图之三；
图6是本申请实施例提供的一种场景切换装置的结构示意图之四；
图7是本申请实施例提供的一种增强现实设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的场景切换方法进行详细地说明。
参见图1，图1是本申请实施例提供的一种场景切换方法的流程图，如图1所示，包括以下步骤：
步骤101、获取目标虚拟场景的场景信息。
其中，所述目标虚拟场景的场景信息可以包括场景模型文件，所述场景模型文件可以是通过三维扫描仪扫描3D场景形成的模型文件；或者可以是，通过三维软件建模形成的模型文件；或者还可以是，通过三维扫描仪扫描的数据与三维软件建立的模型进行合成生成的模型文件，等等，本申请实施例对场景模型文件的生成方式不进行限定。
另外，所述场景切换方法可以应用于增强现实设备。增强现实设备获取目标虚拟场景的场景信息，可以是，增强现实设备向服务器发送场景切换请求，所述场景切换请求用于指示切换到目标虚拟场景。服务器可以接收增强现实设备发送的场景切换请求，向所述增强现实设备发送所述目标虚拟场景的场景信息。
进一步的，所述目标虚拟场景可以为咖啡厅、实验室、椰林沙滩及海底世界等虚拟场景。可以在接收用户的输入的情况下，获取目标虚拟场景的场景信息。例如，所述接收用户的输入，可以包括：显示多个虚拟场景，接收用户在所述多个虚拟场景中选择目标虚拟场景的输入。或者，所述接收用户的输入，可以是，接收用户的语音输入；所述获取目标虚拟场景的场景信息，可以是，基于所述语音输入获取目标虚拟场景的场景信息，其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高。
在实际应用中，AR设备可以通过无线通信网络连接到云端服务器。AR设备可以接收用户的语音，语音识别到用户切换目标虚拟场景的请求，或者，AR设备可以接收用户在显示的多个虚拟场景中选择目标虚拟场景的输入，AR设备可以通过云端文件传输协议从云端服务器下载所述目标虚拟场景的场景信息。
步骤102、基于所述场景信息获取三维点云数据。
其中，所述三维点云数据可以包括多个像素点中每个像素点的颜色信息和位置信息，每个像素点可以通过三维坐标点的形式表示。AR设备可以加载所述场景信息至AR场景渲染引擎中，通过AR场景渲染引擎获取三维点云数据。
另外，以所述场景信息包括场景模型文件为例，AR设备可以从云端服务器下载场景模型文件，下载完成后，AR设备可以加载下载的场景模型文件至AR场景渲染引擎中，AR场景渲染引擎可以将场景模型文件解析为三维点云数据，三维点云数据中每个三维坐标点可以包括ARGB颜色通道数据，以及每个三维坐标点在三维点云数据中的相对坐标。
步骤103、获取现实场景的场景数据。
其中，所述场景数据可以包括多个坐标数据。所述多个坐标数据可以表征所述现实场景环境中的各个物理位置点在目标空间的坐标位置。在实际应用中，增强现实设备可以包括深度摄像头和陀螺仪，可以通过深度摄像头和陀螺仪获取现实场景的场景数据。
步骤104、基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
其中，所述三维点云数据可以包括多个三维点云坐标，所述场景数据可以包括多个坐标数据，所述基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，可以包括：基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景。
本申请实施例中，通过切换到所述目标虚拟场景，可以为用户提供变换虚拟场景的功能，可以根据用户的选择或者智能识别用户所描述的虚拟场景，将虚拟空间的环境变换成如咖啡厅、实验室、椰林沙滩及海底世界等虚拟场景，从而可以给用户带来身临其境的绝佳体验，可以满足用户切换场景的需求。可以将三维点云数据结合AR设备的图形感知系统获取的实时数据，计算出适合展示的AR场景内容，提供给用户。
以AR会议为例，如图2所示，可以通过AR设备与云端服务器的交互，实现AR设备对会议场景的渲染，主讲人和/或与会人佩戴AR设备，可以提高进行AR会议的用户体验。当用户在AR会议的演示场景中需要虚拟场景配合时，可以使用AR设备提供的切换虚场景的功能，可以在云端服务器的预设场景模型数据库中匹配目标虚拟场景，将目标虚拟场景的场景信息通过高速网络传输到AR设备，并应用到AR会议的虚拟场景中，可以增强会议效果和增加会议演示形式的多样性。
在实际应用中，可以采用5G通信技术在AR设备与服务器之间传输所述目标虚拟场景的场景信息。在AR设备与服务器之间需要传输大量的图像数据，通过5G通信技术进行图像数据的传输，数据传输效果较好。
本申请实施例中，可以在云端服务器上存储高质量的场景模型文件，形成强大的场景模型数据库。用户在AR会议中可以根据需要实时切换虚拟会议场景，从而可以帮助提高与会人的AR会议场景体验感，增强AR会议展示效果。在展示概念产品的使用场景模拟、方案提前预演及激发参会人的环境灵感等需求中具有较好的使用前景和使用效果。
本申请实施例中，获取目标虚拟场景的场景信息；基于所述场景信息获取三维点云数据；获取现实场景的场景数据；基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。这样，不仅可以提高AR设备的虚拟场景效果，还可以通过切换增强现实设备的增强现实场景中的虚拟场景，提高增强现实设备的使用灵活性。
可选的，所述三维点云数据包括多个三维点云坐标，所述场景数据包括多个坐标数据，所述基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，包括：
基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；
根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景。
其中，可以将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点，获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标，所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，可以包括：基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；或者，所述三维点云坐标可以包括多个像素点中每个像素点的颜色信息和位置信息，所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，可以包括：基于所述多个坐标数据获取平移参数和旋转参数，基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息。
该实施方式中，基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景，从而可以将目标虚拟场景中的坐标点切换为目标空间中的坐标点，从而能够实现切换增强现实设备的增强现实场景中的虚拟场景。
可选的，所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息之前，所述方法还包括：
将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点；
获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标；
所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，包括：
基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息。
其中，可以结合AR设备的深度摄像头和陀螺仪实时获取的三维坐标数据，使用AR设备在目标空间的三维坐标的坐标原点作为三维点云数据的新坐标原点，可以计算出三维点云数据中每个像素点在AR设备的虚拟场景中的三维坐标。例如，可以将三维点云数据、深度摄像头获取的数据以及陀螺仪获取的数据输入AR设备的数据计算单元，合成计算得到AR设备的虚拟场景数据，所述虚拟场景数据可以包括更新三维坐标后的三维点云数据。
进一步的，AR设备的图形显示单元可以将虚拟场景数据，以每秒60帧的速率，触发光机发出对应光源，并投射到AR设备中眼镜的光学显示通道中。光线经过光学显示通道的折射，可以在用户的可见视场中显示，从而可以实现切换虚拟场景。
该实施方式中，将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点；获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标，基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，从而能够实现切换增强现实设备的增强现实场景中的虚拟场景。
可选的，所述三维点云坐标包括多个像素点中每个像素点的颜色信息和位置信息；
所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，包括：
基于所述多个坐标数据获取平移参数和旋转参数；
基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息；
所述根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景，包括：
基于所述每个像素点的所述颜色信息和三维坐标信息在目标空间中渲染所述目标虚拟场景。
其中，所述位置信息可以为在三维点云数据的坐标系中的坐标信息。每个像素点在所述目标空间中的三维坐标信息可以表征所述每个像素点在所述目标空间中的位置。可以在每个像素点在所述目标空间中的位置显示每个像素点的颜色信息对应的颜色，以渲染所述目标虚拟场景。
另外，所述多个坐标数据可以包括深度摄像头和陀螺仪获取的坐标数据。可以通过深度摄像头获取深度信息，通过陀螺仪获取角速度信息。可以通过深度信息和角速度信息获取平移参数。平移参数可以包括平移矩阵M，平移矩阵M可以包括第一方向的移动距离dx，第二方向的移动距离dy以及第三方向的移动距离dz，可以通过深度信息D和角速度信息G(x，y，z)获取dx、dy及dz。例如，可以采用如下方式获取dx、dy及dz：
旋转参数可以包括旋转矩阵R，R可以为：Rx*Ry*Rz。Rx可以为第一方向的旋转矩阵，Ry可以为第二方向的旋转矩阵，Rz可以为第三方向的旋转矩阵。
进一步的，基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息，可以将三维点云数据的坐标系转换为所述目标空间中的坐标系，可以通过坐标系平移及坐标系旋转进行坐标系的切换。
可以通过平移参数进行坐标系平移：
例如，Aj(X，Y，Z)＝Ai(x，y，z)*M，Ai是平移前的坐标系的坐标，Aj是平移后的坐标系的坐标，i和j均为正整数。平移矩阵M可以为：
可以通过旋转参数进行坐标系旋转：
例如，Aj(X，Y，Z)＝Ai(x，y，z)*R，Ai是旋转前的坐标系的坐标，Aj是旋转后的坐标系的坐标。旋转矩阵R＝Rx*Ry*Rz。
Rx，Ry及Rz可以分别为：
其中，θ可以为角度差值，可以由三维点云数据的坐标系和目标空间中的的坐标系计算角度差θ，θ＝θ0–θ1，θ0为三维点云数据的坐标系下的旋转角度，θ1为目标空间中的的坐标系下的旋转角度。
另外，在不进行坐标系缩放，也就是三维点云数据的坐标与目标空间中的的坐标均为1:1的真实比例的情况下，可以通过坐标系平移和坐标系旋转进行坐标系转换。进行坐标系平移和坐标系旋转的先后顺序不进行限定，可以先进行坐标系平移再进行坐标系旋转，也可以先进行坐标系旋转再进行坐标系平移。在进行坐标系缩放的情况下，可以通过坐标系平移、坐标系旋转及坐标系缩放进行坐标系转换。本申请实施例对进行坐标系平移、坐标系旋转及坐标系缩放的先后顺序不进行限定。
可以采用缩放参数进行坐标系缩放：
例如，Aj(X，Y，Z)＝Ai(x，y，z)*T，其中，缩放参数可以包括缩放矩阵T，Ai是缩放前的坐标系的坐标，Aj是缩放后的坐标系的坐标。
T可以为：
其中，Sx、Sy及Sz可以预先设置。
该实施方式中，基于所述多个坐标数据获取平移参数和旋转参数；基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息；基于所述每个像素点的所述颜色信息和三维坐标信息在目标空间中渲染所述目标虚拟场景，对所述增强现实设备的增强现实场景的渲染效果较好，进而可以提高增强现实设备的虚拟场景效果。
可选的，所述获取目标虚拟场景的场景信息之前，所述方法还包括：
接收用户的语音输入；
所述获取目标虚拟场景的场景信息，包括：
基于所述语音输入获取目标虚拟场景的场景信息；
其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高。
其中，增强现实设备可以接收用户的语音输入，所述语音输入可以用于进行场景切换请求。以AR会议为例，所述增强现实设备可以为AR头戴式设备，用户可以佩戴AR头戴式设备参加AR会议，AR头戴式设备中可以集成麦克风传感器，AR头戴式设备可以通过麦克风传感器采集用户的语音，可以通过人工智能语音识别技术识别语音意图，进行语义分析，从而对用户的语音进行识别。
另外，增强现实设备可以从服务器侧获取目标虚拟场景的场景信息。服务器可以确定预设场景模型数据库中是否存储有所述目标虚拟场景，所述预设场景模型数据库中可以存储有多个预设虚拟场景；若所述预设场景模型数据库中存储有所述目标虚拟场景，则可以向所述增强现实设备发送所述目标虚拟场景的场景信息。所述场景信息可以包括场景模型文件，可以在服务器上建立预设场景模型数据库，并将场景模型文件存储在预设场景模型数据库中。例如，所述预设场景模型数据库可以是云端数据库，可以将生成的场景模型文件上传至云端数据库进行存储。
在实际应用中，AR设备可以通过无线通信网络访问服务器，可以将用户的场景切换需求发送至服务器。服务器可以匹配与用户的场景切换需求相似度最高的目标虚拟场景，并将目标虚拟场景的场景信息发送至AR设备。例如，服务器上可以存储有多个场景环境的描述信息，在AR设备上用户可以语音输入请求切换的虚拟场景的描述信息，AR设备可以将请求切换的虚拟场景的描述信息发送至服务器，服务器可以在多个虚拟场景的描述信息中匹配与请求切换的虚拟场景的描述信息的相似度最高的虚拟场景作为目标虚拟场景。
该实施方式中，接收用户的语音输入；基于所述语音输入获取目标虚拟场景的场景信息；其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高，这样，能够根据用户的语音输入进行场景切换，快捷地满足用户的场景切换需求，用户体验较好。
需要说明的是，本申请实施例提供的场景切换方法，执行主体可以为场景切换装置，或者该场景切换装置中的用于执行加载场景切换的方法的控制模块。本申请实施例中以场景切换装置执行加载场景切换的方法为例，说明本申请实施例提供的场景切换的方法。
参见图3，图3是本申请实施例提供的一种场景切换装置的结构示意图之一，如图3所示，场景切换装置200包括：
第一获取模块201，用于获取目标虚拟场景的场景信息；
第二获取模块202，用于基于所述场景信息获取三维点云数据；
第三获取模块203，用于获取现实场景的场景数据；
渲染模块204，用于基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
可选的，所述三维点云数据包括多个三维点云坐标，所述场景数据包括多个坐标数据，如图4所示，所述渲染模块204包括：
第一获取单元2041，用于基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；
渲染单元2042，用于根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景。
可选的，如图5所示，所述渲染模块204还包括：
处理单元2043，用于将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点；
第二获取单元2044，用于获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标；
所述第一获取单元2041具体用于：
基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息。
可选的，所述三维点云坐标包括多个像素点中每个像素点的颜色信息和位置信息；
所述第一获取单元2041具体用于：
基于所述多个坐标数据获取平移参数和旋转参数；
基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息；
所述渲染单元2042具体用于：
基于所述每个像素点的所述颜色信息和三维坐标信息在目标空间中渲染所述目标虚拟场景。
可选的，如图6所示，所述场景切换装置200还包括：
接收模块205，用于接收用户的语音输入；
所述第一获取模块201具体用于：
基于所述语音输入获取目标虚拟场景的场景信息；
其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高。
本申请上述实施例中的场景切换装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的场景切换装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的场景切换装置能够实现图1的方法实施例中场景切换装置实现的各个过程，为避免重复，这里不再赘述。
本申请实施例中，获取目标虚拟场景的场景信息；基于所述场景信息获取三维点云数据；获取现实场景的场景数据；基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。这样，不仅可以提高AR设备的虚拟场景效果，还可以通过切换增强现实设备的增强现实场景中的虚拟场景，提高增强现实设备的灵活性。
可选的，如图7所示，本申请实施例还提供一种增强现实设备，增强现实设备300包括处理器301，存储器302，存储在存储器302上并可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现如下过程：
获取目标虚拟场景的场景信息；
基于所述场景信息获取三维点云数据；
获取现实场景的场景数据；
基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器301代表的一个或多个处理器和存储器302代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。
处理器301负责管理总线架构和通常的处理，存储器302可以存储处理器在执行操作时所使用的数据。
可选的，所述三维点云数据包括多个三维点云坐标，所述场景数据包括多个坐标数据，该程序或指令被处理器301执行时还用于实现：
基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；
根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景。
可选的，该程序或指令被处理器301执行时还用于实现：
将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点；
获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标；
基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息。
可选的，所述三维点云坐标包括多个像素点中每个像素点的颜色信息和位置信息；
该程序或指令被处理器301执行时还用于实现：
基于所述多个坐标数据获取平移参数和旋转参数；
基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息；
基于所述每个像素点的所述颜色信息和三维坐标信息在目标空间中渲染所述目标虚拟场景。
可选的，该程序或指令被处理器301执行时还用于实现：
接收用户的语音输入；
基于所述语音输入获取目标虚拟场景的场景信息；
其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高。
需要注意的是，本申请实施例中的增强现实设备包括上述所述的移动电子设备和非移动电子设备。本申请实施例中方法实施例中应用于增强现实设备的场景切换方法的任意实施方式都可以被本实施例中的上述增强现实设备所实现，以及达到相同的有益效果，此处不再赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述场景切换方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的增强现实设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述场景切换方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (12)
1.一种场景切换方法，其特征在于，所述方法包括：
获取目标虚拟场景的场景信息；
基于所述场景信息获取三维点云数据；
获取现实场景的场景数据；
基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
2.根据权利要求1所述的方法，其特征在于，所述三维点云数据包括多个三维点云坐标，所述场景数据包括多个坐标数据，所述基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，包括：
基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；
根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息之前，所述方法还包括：
将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点；
获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标；
所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，包括：
基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息。
4.根据权利要求2所述的方法，其特征在于，所述三维点云坐标包括多个像素点中每个像素点的颜色信息和位置信息；
所述基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息，包括：
基于所述多个坐标数据获取平移参数和旋转参数；
基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息；
所述根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景，包括：
基于所述每个像素点的所述颜色信息和三维坐标信息在目标空间中渲染所述目标虚拟场景。
5.根据权利要求1所述的方法，其特征在于，所述获取目标虚拟场景的场景信息之前，所述方法还包括：
接收用户的语音输入；
所述获取目标虚拟场景的场景信息，包括：
基于所述语音输入获取目标虚拟场景的场景信息；
其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高。
6.一种场景切换装置，其特征在于，所述场景切换装置包括：
第一获取模块，用于获取目标虚拟场景的场景信息；
第二获取模块，用于基于所述场景信息获取三维点云数据；
第三获取模块，用于获取现实场景的场景数据；
渲染模块，用于基于所述三维点云数据和所述场景数据在目标空间中渲染所述目标虚拟场景，其中，所述目标空间中包括所述现实场景。
7.根据权利要求6所述的场景切换装置，其特征在于，所述三维点云数据包括多个三维点云坐标，所述场景数据包括多个坐标数据，所述渲染模块包括：
第一获取单元，用于基于所述多个三维点云坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息；
渲染单元，用于根据所述三维坐标信息在目标空间中渲染所述目标虚拟场景。
8.根据权利要求7所述的场景切换装置，其特征在于，所述渲染模块还包括：
处理单元，用于将所述目标空间的三维坐标的坐标原点作为所述三维点云数据的坐标原点；
第二获取单元，用于获取所述多个三维点云坐标在所述三维点云数据中的多个相对坐标；
所述第一获取单元具体用于：
基于所述多个相对坐标和所述多个坐标数据，获取每个所述三维点云坐标在所述目标空间中的三维坐标信息。
9.根据权利要求7所述的场景切换装置，其特征在于，所述三维点云坐标包括多个像素点中每个像素点的颜色信息和位置信息；
所述第一获取单元具体用于：
基于所述多个坐标数据获取平移参数和旋转参数；
基于所述位置信息、所述平移参数及所述旋转参数获取所述每个像素点在所述目标空间中的三维坐标信息；
所述渲染单元具体用于：
基于所述每个像素点的所述颜色信息和三维坐标信息在目标空间中渲染所述目标虚拟场景。
10.根据权利要求6所述的场景切换装置，其特征在于，所述场景切换装置还包括：
接收模块，用于接收用户的语音输入；
所述第一获取模块具体用于：
基于所述语音输入获取目标虚拟场景的场景信息；
其中，在多个预设虚拟场景中所述目标虚拟场景与所述语音输入对应的语音内容的匹配程度最高。
11.一种增强现实设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的场景切换方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的场景切换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010391919.3A CN111524240A (zh) | 2020-05-11 | 2020-05-11 | 场景切换方法、装置及增强现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010391919.3A CN111524240A (zh) | 2020-05-11 | 2020-05-11 | 场景切换方法、装置及增强现实设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111524240A true CN111524240A (zh) | 2020-08-11 |
Family
ID=71907275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010391919.3A Pending CN111524240A (zh) | 2020-05-11 | 2020-05-11 | 场景切换方法、装置及增强现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524240A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114185433A (zh) * | 2021-12-02 | 2022-03-15 | 浙江科顿科技有限公司 | 一种基于增强现实的智能眼镜系统及控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| CN107589846A (zh) * | 2017-09-20 | 2018-01-16 | 歌尔科技有限公司 | 场景切换方法、装置及电子设备 |
| US20180232954A1 (en) * | 2017-02-15 | 2018-08-16 | Faro Technologies, Inc. | System and method of generating virtual reality data from a three-dimensional point cloud |
| CN108510592A (zh) * | 2017-02-27 | 2018-09-07 | 亮风台（上海）信息科技有限公司 | 真实物理模型的增强现实展示方法 |
| CN110047150A (zh) * | 2019-04-24 | 2019-07-23 | 大唐环境产业集团股份有限公司 | 一种基于增强现实的复杂设备操作运行在位仿真系统 |
-
2020
- 2020-05-11 CN CN202010391919.3A patent/CN111524240A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| US20180232954A1 (en) * | 2017-02-15 | 2018-08-16 | Faro Technologies, Inc. | System and method of generating virtual reality data from a three-dimensional point cloud |
| CN108510592A (zh) * | 2017-02-27 | 2018-09-07 | 亮风台（上海）信息科技有限公司 | 真实物理模型的增强现实展示方法 |
| CN107589846A (zh) * | 2017-09-20 | 2018-01-16 | 歌尔科技有限公司 | 场景切换方法、装置及电子设备 |
| CN110047150A (zh) * | 2019-04-24 | 2019-07-23 | 大唐环境产业集团股份有限公司 | 一种基于增强现实的复杂设备操作运行在位仿真系统 |
Non-Patent Citations (1)
| Title |
|---|
| 何汉武等编著: "《增强现实交互方法与实现》", 华中科技大学出版社, pages: 40 - 43 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114185433A (zh) * | 2021-12-02 | 2022-03-15 | 浙江科顿科技有限公司 | 一种基于增强现实的智能眼镜系统及控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829981B (zh) | 三维场景呈现方法、装置、设备及存储介质 | |
| CN110163942B (zh) | 一种图像数据处理方法和装置 | |
| EP4057109A1 (en) | Data processing method and apparatus, electronic device and storage medium | |
| CN111294665B (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| CN110866977B (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| KR101768532B1 (ko) | 증강 현실을 이용한 화상 통화 시스템 및 방법 | |
| CN108133454B (zh) | 空间几何模型图像切换方法、装置、系统及交互设备 | |
| CN110568923A (zh) | 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 | |
| CN104656893A (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| CN112581571B (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| CN110390712B (zh) | 图像渲染方法及装置、三维图像构建方法及装置 | |
| WO2022237116A1 (zh) | 图像处理方法及装置 | |
| CN115063518A (zh) | 轨迹渲染方法、装置、电子设备及存储介质 | |
| CN114842120A (zh) | 一种图像渲染处理方法、装置、设备及介质 | |
| JP2016081225A (ja) | 情報提示システム | |
| CN111459432B (zh) | 虚拟内容的显示方法、装置、电子设备及存储介质 | |
| CN111524240A (zh) | 场景切换方法、装置及增强现实设备 | |
| CN110597397A (zh) | 增强现实的实现方法、移动终端及存储介质 | |
| Narducci et al. | Enabling consistent hand-based interaction in mixed reality by occlusions handling | |
| CN113223186B (zh) | 实现增强现实的处理方法、设备、产品和装置 | |
| CN115272151A (zh) | 图像处理方法、装置、设备及存储介质 | |
| EP4325344A1 (en) | Multi-terminal collaborative display update method and apparatus | |
| CN114972466A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN112258435A (zh) | 图像处理方法和相关产品 | |
| CN106125937A (zh) | 一种信息处理方法和处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |