CN112614234A - 对混合现实三维场景进行编辑的方法及混合现实设备 - Google Patents
对混合现实三维场景进行编辑的方法及混合现实设备 Download PDFInfo
- Publication number
- CN112614234A CN112614234A CN202011585152.4A CN202011585152A CN112614234A CN 112614234 A CN112614234 A CN 112614234A CN 202011585152 A CN202011585152 A CN 202011585152A CN 112614234 A CN112614234 A CN 112614234A
- Authority
- CN
- China
- Prior art keywords
- real scene
- dimensional model
- point cloud
- cloud data
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002452 interceptive effect Effects 0.000 claims abstract description 48
- 230000000694 effects Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims 2
- 238000003062 neural network model Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。本申请实施例包括：混合现实设备根据采集到的真实场景的点云数据建立该真实场景的三维模型，并在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。
Description
技术领域
本申请实施例涉及混合现实领域，具体涉及一种对混合现实三维场景进行编辑的方法及混合现实设备。
背景技术
随着大数据时代的发展，直观的二维图像已经满足不了人们的日常生活需求，在更多的场景中需要对真实的三维场景执行一些编辑操作来满足工业生产、医疗教育、设计等诸多场景的需求。在这种需求下，混合现实技术应运而生。混合现实技术(mixedreality，MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
混合现实技术可实现对真实场景的编辑。对真实场景的编辑主要指的是两个方面，一方面是指去除真实场景中存在的三维内容(即去除语义)，例如在混合现实终端呈现的虚拟场景空间中将一把椅子去除掉，看起来就像原来的位置没有了那把椅子；另一方面是对真实场景的三维物体进行移动操作，即在真实场景中移动已有的三维内容，例如将一个房间床边的一把椅子移动到房间的墙边。
目前，在真实场景中增加虚拟可视内容已经取得一定发展，也就是将虚拟的内容在3D真实空间中成像显示，但是这种方法仍然无法实现去除真实场景中的3D物体以及移动3D物体等复杂操纵。
因此，亟需一种能够在混合现实系统中对真实场景进行编辑的技术方案。
发明内容
本申请实施例提供了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。
本申请实施例第一方面提供了一种对混合现实三维场景进行编辑的方法，所述方法包括：
采集真实场景的点云数据，并对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；
根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；
接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述所述真实场景的三维模型中确定所述目标物体的三维模型；
根据所述交互指令控制所述目标物体的三维模型的显示效果。
本申请实施例第二方面提供了一种混合现实设备，所述混合现实设备包括：
点云采集单元，用于采集真实场景的点云数据；
点云分割单元，用于对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；
模型建立单元，用于根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；
确定单元，用于接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型；
显示单元，用于根据所述交互指令控制所述目标物体的三维模型的显示效果。
本申请实施例第三方面提供了一种混合现实设备，所述混合现实设备包括：
处理器、存储器、总线、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述总线分别连接所述处理器、存储器以及输入输出设备；
所述处理器用于采集真实场景的点云数据，对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据，根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型，接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型，根据所述交互指令控制所述目标物体的三维模型的显示效果。
本申请实施例第四方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，混合现实设备根据采集到的真实场景的点云数据建立该真实场景的三维模型，并在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。
附图说明
图1为本申请实施例中对混合现实三维场景进行编辑的方法一个流程示意图；
图2为本申请实施例中对混合现实三维场景进行编辑的方法另一流程示意图；
图3为本申请实施例中执行点云补全的神经网络模型一种结构示意图；
图4为本申请实施例中混合现实设备移除目标物体的三维模型一种效果示意图；
图5为本申请实施例中混合现实设备移动目标物体的三维模型一种效果示意图；
图6为本申请实施例中混合现实设备一个结构示意图；
图7为本申请实施例中混合现实设备另一结构示意图。
具体实施方式
本申请实施例提供了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。
请参阅图1，本申请实施例中对混合现实三维场景进行编辑的方法一个实施例包括：
101、采集真实场景的点云数据，并对真实场景的点云数据进行分割，得到真实场景包括的至少一个物体的点云数据；
本实施例的方法可应用于混合现实设备，该混合现实设备可以是混合现实终端。混合现实设备可以配置点云数据采集装置，并通过该点云数据采集装置来采集真实场景的点云数据，该点云数据采集装置可以是用于采集点云数据的dToF(direct time offlight)激光雷达传感器、iTof(indirect time of flight)深度传感器等点云数据采集装置。
其中，真实场景是现实中的场景，因此，真实场景包括了现实中的至少一个物体。例如，真实场景是书房的场景时，真实场景便包括了书、桌椅等物体。
在采集到真实场景的点云数据之后，对真实场景的点云数据进行分割，得到真实场景包括的至少一个物体的点云数据，也就是将不同类型的点云数据进行分割和分类，分割得到的每一组点云数据分别对应该真实场景中的一个物体。因此，点云分割可以将真实场景中的不同物体所分别对应的点云数据进行分类，从而确定每一物体对应的点云数据。
102、根据至少一个物体的点云数据建立真实场景的三维模型；
在分割得到真实场景的至少一个物体的点云数据之后，根据至少一个物体的点云数据建立真实场景的三维模型，其中，真实场景包括至少一个物体的三维模型。
103、接收到用户输入的对至少一个物体中的目标物体进行操作的交互指令后，在真实场景的三维模型中确定目标物体的三维模型；
混合现实设备的用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制，因此，在需要控制三维模型的显示效果时，用户向混合现实设备输入交互指令，该交互指令用于表示对真实场景的至少一个物体中的目标物体的三维模型进行操作。混合现实设备响应该交互指令，在真实场景的三维模型中确定目标物体的三维模型。
104、根据交互指令控制目标物体的三维模型的显示效果；
在确定出用户需要控制显示效果的目标物体的三维模型之后，混合现实设备根据用户输入的交互指令控制目标物体的三维模型的显示效果，控制显示效果可以是移除目标物体的三维模型，也可以是将目标物体的三维模型从一个位置移动至另一位置，或者改变目标物体的三维模型的颜色或形状等控制操作，从而实现用户对真实场景的三维模型的可编辑和可操纵。
本实施例中，混合现实设备根据采集到的真实场景的点云数据建立该真实场景的三维模型，并在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。
下面将在前述图1所示实施例的基础上，进一步详细地描述本申请实施例。请参阅图2，本申请实施例中对混合现实三维场景进行编辑的方法另一实施例包括：
201、采集真实场景的点云数据，并对真实场景的点云数据进行分割，得到真实场景包括的至少一个物体的点云数据；
本实施例中，混合现实设备采用点云分割算法对真实场景的点云数据进行分割，该点云分割算法可以是随机抽样一致算法(random sample consensus，RANSAC)，或者是基于邻近信息的点云分割算法，其中，基于邻近信息的点云分割算法可以是k-d树(k-dimensional树)或者八叉树(Octree)等算法。
202、识别至少一个物体的语义信息及至少一个物体在真实场景中的位置信息；
在采集到真实场景中至少一个物体的点云数据之后，识别至少一个物体的语义信息及至少一个物体在真实场景中的位置信息。其中，识别物体的语义信息的方式可以是，通过预训练模型来识别物体的语义信息。在一种可实现方式中，可以通过多视图三维(multi-view 3D，MV3D)网络模型来识别物体的语义信息，即获得多视图三维MV3D网络模型，MV3D网络模型由MV3D-Net神经网络算法对多组训练样本训练得到，且每组训练样本包括训练物体的点云数据以及用于表示训练物体的语义信息的标签信息，再将真实场景的每一物体的点云数据输入至MV3D网络模型，MV3D网络模型对输入的物体的点云数据进行分析并输出真实场景的每一物体的语义信息。
除了使用MV3D网络模型识别物体的语义信息之外，还可以使用其他语义识别模型来识别物体的语义信息，其他的语义识别模型可以是稀疏嵌入卷积目标检测网络(sparsely embedded convolutional detection，SECOND)、点体素集成网络(pointvoxel-RCNN，PV-RCNN)等语义识别模型。
在识别至少一个物体在真实场景中的位置信息时，可以通过SLAM技术感知物体在真实场景中的位置信息，SLAM技术即同步定位与建图(simultaneous localization andmapping，SLAM)，在使用SLAM技术感知位置信息时，混合现实设备在移动过程中通过重复观测到的环境特征定位自身的位置和姿态，再根据自身位置构建周围环境的增量式地图，从而达到同时定位和地图构建的目的，从而确定出物体在真实场景的地图中的位置信息。
203、根据至少一个物体的点云数据建立真实场景的三维模型；
在识别到真实场景的物体的语义信息之后，根据物体的语义信息建立物体的三维模型。在一种建立三维模型的具体实施方式中，混合现实设备在预设的数据库中获取真实场景的每一物体的语义信息分别对应的目标基础模型，该数据库预先存储多个基础模型，每一基础模型分别对应一种物体的语义信息，之后，分别将真实场景的每一物体的点云数据与目标基础模型进行结合，得到真实场景的每一物体的三维模型，因此，真实场景的至少一个物体的三维模型构成真实场景的三维模型。
本实施例将物体的点云数据与物体的语义信息对应的基础模型进行结合构建出物体的三维模型，相比于其他方式建立的三维模型，本实施例建立的三维模型的精度更高。本实施例建立物体的三维模型的具体方式是，首先，混合现实设备通过自带的激光雷达(Lidar)、立体视觉传感器或者深度传感器获得物体的稠密的点云数据，并以该稠密点云数据作为后续步骤中模型变形生成的约束条件，之后，通过计算机视觉3D识别的方法搜索出数据库中已有的高精度基础模型数据，其中搜索方式包括通过图像、点云以及物体名称去搜索已有的基础模型。在模型变形生成的步骤中，以物体的稠密点云数据作为约束条件，通过可微分变形的方式将搜索到的基础模型变形至物体的稠密点云数据所约束的图像模型，最终生成高精度的三维模型。
其中，混合现实设备获得物体的稠密点云数据的方式是，混合现实设备采集物体的2D图像，并生成物体的3D深度图像，由于3D深度图像经过坐标转换可以计算为点云数据，因此，对物体的3D深度图像进行转换，即可生成物体的稠密点云数据。
在根据物体的3D深度图像生成点云数据时，该3D深度图像可以是物体的多个不同角度所分别对应的深度图像，使得生成的点云数据精度更高。并且，在生成稠密点云数据之后，使用高斯-牛顿算法优化已经得到的稠密点云数据。
204、接收到用户输入的对至少一个物体中的目标物体进行操作的交互指令后，在真实场景的三维模型中确定目标物体的三维模型；
混合现实设备建立真实场景的三维模型，并将真实场景的三维模型展示给用户，该真实场景的三维模型包括了至少一个物体的三维模型，用户可以对其中一个或多个物体的三维模型的显示效果进行控制和操纵，即用户输入交互指令，混合现实设备基于该交互指令控制目标物体的显示效果。其中，用户输入交互指令的方式可以是，用户作出手势动作，混合现实设备将该手势动作识别为用户输入交互指令；或者是，用户发出语音，混合现实设备将该语音识别为交互指令；还可以是，混合现实设备通过用户的眼动追踪眼球视线，并将用户的眼动识别为用户发出了交互指令。本实施例对接收交互指令的方式不作限定。
205、根据交互指令控制目标物体的三维模型的显示效果；
本实施例中，交互指令具体用于表示将目标物体的三维模型从真实场景的三维模型中移除时，混合现实设备响应该交互指令，删除目标物体的三维模型对应的场景内容，当三维模型对应的场景内容被删除时，目标物体的三维模型即被删除。之后，由于目标物体的三维模型被删除导致目标物体的三维模型原先所处位置出现点云空缺，因此，在移除目标物体的三维模型之后，确定目标物体在真实场景中的位置信息，并对真实场景的三维模型中目标物体的位置信息对应的三维空间进行点云补全。通过点云补全，可以对真实场景进行修复，使用户感受到真实场景仿佛不存在目标物体，增强用户的体验感。
具体的，本实施例采用神经网络模型来执行点云补全任务。如图3所示，神经网络模型采用the encoder-decoder结构，即编码-解码的结构，在该神经网络模型的结构中，神经网络模型的输入是待补全的点云数据，神经网络模型的结构的编码部分采用T-NET和其他神经网络结构(如全连接层、卷积层等结构)提取特征后，并解码得到预测的缺失点云数据。此处使用的损失函数包括，重构损失函数和对抗损失函数，重构损失函数主要是将实际缺失的点云数据与神经网络模型预测的缺失点云数据做L2重构，对抗损失函数主要是借鉴生成对抗网络的思想，让预测的点云数据的分布更加接近于真实的点云分布，从而达到点云补全的目的。其中，使用T-NET提取全局特征，对于具有旋转和平移行为的三维模型的预测具有更强的鲁棒性。
例如，如图4所示，在接收到用户移除图4中靠椅上的书本的三维模型的交互指令之后，混合现实设备响应该交互指令，删除靠椅上的书本的三维模型对应的场景内容，该书本的三维模型即被删除。之后，由于该书本的三维模型被删除导致该书本的三维模型原先在靠椅上所处的位置出现点云空缺，因此，在移除该书本的三维模型之后，确定该书本在真实场景中的位置信息，并对真实场景的三维模型中该书本的位置信息对应的三维空间进行点云补全，从而使靠椅的点云数据完整，得到靠椅的完整三维模型。
除了可以对目标物体的三维模型进行移除之外，还可以将目标物体的三维模型从一个位置移动至另一位置。当用户输入的交互指令具体用于表示将目标物体的三维模型从当前位置移动至目标位置时，混合现实设备响应该交互指令，删除目标物体的三维模型对应的场景内容，删除三维模型对应的场景内容时，目标物体的三维模型即被删除。之后，由于目标物体的三维模型被删除导致目标物体的三维模型原先所处位置出现点云空缺，因此，在移除目标物体的三维模型之后，确定目标物体在真实场景中的位置信息，并对真实场景的三维模型中目标物体的位置信息对应的三维空间进行点云补全，再根据目标物体对应的点云数据建立目标物体的三维模型，调取目标物体的三维模型，将目标物体的三维模型放置于目标位置，从而在真实场景的三维模型中实现对目标物体的三维模型的位置变换。
例如，如图5所示，在接收到用户将图5中靠椅上的书本的三维模型移至桌台的交互指令之后，混合现实设备响应该交互指令，删除靠椅上的书本的三维模型对应的场景内容，该书本的三维模型即被删除。之后，由于该书本的三维模型被删除导致该书本的三维模型原先在靠椅上所处的位置出现点云空缺，因此，在移除该书本的三维模型之后，确定该书本在真实场景中的位置信息，并对真实场景的三维模型中该书本的位置信息对应的三维空间进行点云补全，从而使靠椅的点云数据完整，得到靠椅的完整三维模型。并且，根据靠椅上的书本对应的点云数据建立该书本的三维模型，调取该书本的三维模型，将该书本的三维模型放置于桌台的三维模型上，从而实现对书本的三维模型的位置变换。
因此，本实施例根据预先存储的基础模型以及物体的稠密点云数据建立物体的高精度三维模型，并且提供了对物体的高精度三维模型的多种编辑方式，大大提高了混合现实设备的显示效果，提升用户的使用体验。
上面对本申请实施例中的对混合现实三维场景进行编辑的方法进行了描述，下面对本申请实施例中的混合现实设备进行描述，请参阅图6，本申请实施例中混合现实设备一个实施例包括：
点云采集单元601，用于采集真实场景的点云数据；
点云分割单元602，用于对真实场景的点云数据进行分割，得到真实场景包括的至少一个物体的点云数据；
模型建立单元603，用于根据至少一个物体的点云数据建立真实场景的三维模型，真实场景包括至少一个物体的三维模型；
确定单元604，用于接收到用户输入的对至少一个物体中的目标物体进行操作的交互指令后，在真实场景的三维模型中确定目标物体的三维模型；
显示单元605，用于根据交互指令控制目标物体的三维模型的显示效果。
本实施例一种优选的实施方式中，混合现实设备还包括：
识别单元606，用于识别至少一个物体的语义信息及至少一个物体在真实场景中的位置信息；
模型建立单元603具体用于在预设的数据库中获取真实场景的每一物体的语义信息分别对应的目标基础模型，数据库预先存储多个基础模型，每一基础模型分别对应一种物体的语义信息；分别将真实场景的每一物体的点云数据与目标基础模型进行结合，得到真实场景的每一物体的三维模型，真实场景的至少一个物体的三维模型构成真实场景的三维模型。
本实施例一种优选的实施方式中，交互指令具体用于表示将目标物体的三维模型从真实场景的三维模型中移除；
显示单元605具体用于响应交互指令删除目标物体的三维模型对应的场景内容；确定目标物体在真实场景中的位置信息，对真实场景的三维模型中目标物体的位置信息对应的三维空间进行补全。
本实施例一种优选的实施方式中，交互指令具体用于表示将目标物体的三维模型从当前位置移动至目标位置；
显示单元605具体用于响应交互指令删除目标物体的三维模型对应的场景内容；确定目标物体在真实场景中的位置信息，对真实场景的三维模型中目标物体的位置信息对应的三维空间进行补全；调取目标物体的三维模型，将目标物体的三维模型放置于目标位置。
本实施例一种优选的实施方式中，识别单元606具体用于获得多视图三维MV3D网络模型，MV3D网络模型由MV3D-Net神经网络算法对多组训练样本训练得到，且每组训练样本包括训练物体的点云数据以及用于表示训练物体的语义信息的标签信息；将真实场景的每一物体的点云数据输入至MV3D网络模型，以得到MV3D网络模型输出的真实场景的每一物体的语义信息。
本实施例一种优选的实施方式中，混合现实设备还包括：
优化单元607，用于采用高斯-牛顿算法对真实场景的每一物体的点云数据进行优化，真实场景的每一物体的点云数据基于物体的多个不同角度所分别对应的深度图像而生成。
本实施例一种优选的实施方式中，点云分割单元602具体用于采用基于邻近信息的点云分割算法对点云数据进行分割。
本实施例中，混合现实设备中各单元所执行的操作与前述图1至图2所示实施例中描述的类似，此处不再赘述。
本实施例中，模型建立单元603根据采集到的真实场景的点云数据建立该真实场景的三维模型，确定单元604在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，显示单元605根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。
下面对本申请实施例中的混合现实设备进行描述，请参阅图7，本申请实施例中混合现实设备一个实施例包括：
该混合现实设备700可以包括一个或一个以上中央处理器(central processingunits，CPU)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。
其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对混合现实设备中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在混合现实设备700上执行存储器705中的一系列指令操作。
混合现实设备700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器701可以执行前述图1至图2所示实施例中混合现实设备所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，其中一个实施例包括：该计算机存储介质中存储有指令，该指令在计算机上执行时，使得该计算机执行前述图1至图2所示实施例中混合现实设备所执行的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种对混合现实三维场景进行编辑的方法，其特征在于，所述方法包括：
采集真实场景的点云数据，并对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；
根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；
接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型；
根据所述交互指令控制所述目标物体的三维模型的显示效果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
识别所述至少一个物体的语义信息及所述至少一个物体在所述真实场景中的位置信息；
所述根据至少一个物体的点云数据建立所述真实场景的三维模型，包括：
在预设的数据库中获取所述真实场景的每一物体的语义信息分别对应的目标基础模型，所述数据库预先存储多个基础模型，每一基础模型分别对应一种物体的语义信息；
分别将所述真实场景的每一物体的点云数据与目标基础模型进行结合，得到所述真实场景的每一物体的三维模型，所述真实场景的至少一个物体的三维模型构成所述真实场景的三维模型。
3.根据权利要求2所述的方法，其特征在于，所述交互指令具体用于表示将所述目标物体的三维模型从所述真实场景的三维模型中移除；
所述根据所述交互指令控制所述目标物体的三维模型的显示效果，包括：
响应所述交互指令删除所述目标物体的三维模型对应的场景内容；
确定所述目标物体在所述真实场景中的位置信息，对所述真实场景的三维模型中所述目标物体的位置信息对应的三维空间进行补全。
4.根据权利要求2所述的方法，其特征在于，所述交互指令具体用于表示将所述目标物体的三维模型从当前位置移动至目标位置；
所述根据所述交互指令控制所述目标物体的三维模型的显示效果，包括：
响应所述交互指令删除所述目标物体的三维模型对应的场景内容；
确定所述目标物体在所述真实场景中的位置信息，对所述真实场景的三维模型中所述目标物体的位置信息对应的三维空间进行补全；
根据所述目标物体对应的点云数据建立所述目标物体的三维模型；
调取所述目标物体的三维模型，将所述目标物体的三维模型放置于所述目标位置。
5.根据权利要求2所述的方法，其特征在于，所述识别所述至少一个物体的语义信息，包括：
获得多视图三维MV3D网络模型，所述MV3D网络模型由MV3D-Net神经网络算法对多组训练样本训练得到，且每组所述训练样本包括训练物体的点云数据以及用于表示所述训练物体的语义信息的标签信息；
将所述真实场景的每一物体的点云数据输入至所述MV3D网络模型，以得到所述MV3D网络模型输出的所述真实场景的每一物体的语义信息。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
采用高斯-牛顿算法对所述真实场景的每一物体的点云数据进行优化，所述真实场景的每一物体的点云数据基于物体的多个不同角度所分别对应的深度图像而生成。
7.根据权利要求1所述的方法，其特征在于，所述对所述真实场景的点云数据进行分割，包括：
采用基于邻近信息的点云分割算法对所述点云数据进行分割。
8.一种混合现实设备，其特征在于，所述混合现实设备包括：
点云采集单元，用于采集真实场景的点云数据；
点云分割单元，用于对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；
模型建立单元，用于根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；
确定单元，用于接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型；
显示单元，用于根据所述交互指令控制所述目标物体的三维模型的显示效果。
9.一种混合现实设备，其特征在于，所述混合现实设备包括：
处理器、存储器、总线、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述总线分别连接所述处理器、存储器以及输入输出设备；
所述处理器用于采集真实场景的点云数据，对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据，根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型，接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型，根据所述交互指令控制所述目标物体的三维模型的显示效果。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011585152.4A CN112614234B (zh) | 2020-12-28 | 2020-12-28 | 对混合现实三维场景进行编辑的方法及混合现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011585152.4A CN112614234B (zh) | 2020-12-28 | 2020-12-28 | 对混合现实三维场景进行编辑的方法及混合现实设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614234A true CN112614234A (zh) | 2021-04-06 |
| CN112614234B CN112614234B (zh) | 2024-07-05 |
Family
ID=75248526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011585152.4A Active CN112614234B (zh) | 2020-12-28 | 2020-12-28 | 对混合现实三维场景进行编辑的方法及混合现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614234B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192201A (zh) * | 2021-05-08 | 2021-07-30 | 上海皓桦科技股份有限公司 | 点云数据的数据拟合方法、装置及介质 |
| CN114509782A (zh) * | 2022-02-17 | 2022-05-17 | 广州大学 | 一种基于三维激光slam实现混合现实的方法 |
| WO2022227910A1 (zh) * | 2021-04-28 | 2022-11-03 | 腾讯科技（深圳）有限公司 | 虚拟场景生成方法、装置、计算机设备和存储介质 |
| CN116719054A (zh) * | 2023-08-11 | 2023-09-08 | 光轮智能(北京)科技有限公司 | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859562A (zh) * | 2019-01-31 | 2019-06-07 | 南方科技大学 | 数据生成方法、装置、服务器及存储介质 |
| US20200074743A1 (en) * | 2017-11-28 | 2020-03-05 | Tencent Technology (Shenzhen) Company Ltd | Method, apparatus, device and storage medium for implementing augmented reality scene |
| CN111444811A (zh) * | 2020-03-23 | 2020-07-24 | 复旦大学 | 一种三维点云目标检测的方法 |
| CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
-
2020
- 2020-12-28 CN CN202011585152.4A patent/CN112614234B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200074743A1 (en) * | 2017-11-28 | 2020-03-05 | Tencent Technology (Shenzhen) Company Ltd | Method, apparatus, device and storage medium for implementing augmented reality scene |
| CN109859562A (zh) * | 2019-01-31 | 2019-06-07 | 南方科技大学 | 数据生成方法、装置、服务器及存储介质 |
| CN111444811A (zh) * | 2020-03-23 | 2020-07-24 | 复旦大学 | 一种三维点云目标检测的方法 |
| CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 艾海滨等: "基于语义的倾斜影像单体建模技术研究", 《测绘科学》, vol. 44, no. 06, pages 1 - 4 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227910A1 (zh) * | 2021-04-28 | 2022-11-03 | 腾讯科技（深圳）有限公司 | 虚拟场景生成方法、装置、计算机设备和存储介质 |
| CN113192201A (zh) * | 2021-05-08 | 2021-07-30 | 上海皓桦科技股份有限公司 | 点云数据的数据拟合方法、装置及介质 |
| CN113192201B (zh) * | 2021-05-08 | 2023-08-01 | 上海皓桦科技股份有限公司 | 点云数据的数据拟合方法、装置及介质 |
| CN114509782A (zh) * | 2022-02-17 | 2022-05-17 | 广州大学 | 一种基于三维激光slam实现混合现实的方法 |
| CN116719054A (zh) * | 2023-08-11 | 2023-09-08 | 光轮智能(北京)科技有限公司 | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 |
| CN116719054B (zh) * | 2023-08-11 | 2023-11-17 | 光轮智能(北京)科技有限公司 | 虚拟激光雷达点云的生成方法、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614234B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310175B (zh) | 用于移动增强现实的系统和方法 | |
| CN112614234B (zh) | 对混合现实三维场景进行编辑的方法及混合现实设备 | |
| AU2022268310B2 (en) | Cloud enabled augmented reality | |
| Pantoja-Rosero et al. | Generating LOD3 building models from structure-from-motion and semantic segmentation | |
| Zollmann et al. | Interactive 4D overview and detail visualization in augmented reality | |
| WO2023042160A1 (en) | Browser optimized interactive electronic model based determination of attributes of a structure | |
| CN105469103B (zh) | 基于低质量rgb-d数据的场景恢复方法及装置 | |
| Chen et al. | Modeling standards and file formats for indoor mapping | |
| Nóbrega et al. | Interactive 3D content insertion in images for multimedia applications | |
| Abend et al. | Geobrowsing behaviour in Google Earth-A semantic video content analysis of on-screen navigation | |
| CN114967914A (zh) | 一种虚拟显示方法、装置、设备以及存储介质 | |
| CN115994944A (zh) | 三维关键点预测方法、训练方法及相关设备 | |
| Valentini | Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects | |
| Gong | Application and Practice of Artificial Intelligence Technology in Interior Design | |
| EP4275173B1 (en) | Computer-implemented reconstruction of interior rooms | |
| WO2023174562A1 (en) | Computer-implemented recommendation system and visualization for interior design | |
| WO2023174556A1 (en) | Computer-implemented modeling of interior rooms | |
| CN114255328A (zh) | 一种基于单视图与深度学习的古文物三维重建方法 | |
| Schöning | Interactive 3D reconstruction: New opportunities for getting CAD-ready models | |
| Comes et al. | From theory to practice: digital reconstruction and virtual reality in archaeology | |
| CN111176427B (zh) | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 | |
| Agus et al. | Interactive 3D Exploration of a Virtual Sculpture Collection: an Analysis of User Behavior in Museum Settings. | |
| McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
| KR20100138193A (ko) | 터치스크린기반 사용자 인터랙션을 지원하는 증강현실 콘텐츠 제공시스템 및 장치 | |
| CN118071955B (zh) | 一种基于Three.JS实现三维地图埋点方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |