CN115330946A - 元宇宙构建方法、装置、存储介质及电子设备 - Google Patents

元宇宙构建方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115330946A
CN115330946A CN202210968954.6A CN202210968954A CN115330946A CN 115330946 A CN115330946 A CN 115330946A CN 202210968954 A CN202210968954 A CN 202210968954A CN 115330946 A CN115330946 A CN 115330946A
Authority
CN
China
Prior art keywords
dimensional
model
target
target object
general model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210968954.6A
Other languages
English (en)
Inventor
张站朝
黄晓庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202210968954.6A priority Critical patent/CN115330946A/zh
Publication of CN115330946A publication Critical patent/CN115330946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种元宇宙构建方法、装置、存储介质及电子设备，所述方法包括：获取机器人对物理环境采集得到的目标数据，所述物理环境包括目标对象；基于所述目标数据，构建所述目标对象的三维重建模型；将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，所述目标三维通用模型和所述三维重建模型的相似度大于相似度阈值；基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中，得到所述目标对象在元宇宙中的映射对象，所述映射对象在元宇宙中的状态与所述目标对象在所述物理环境中的状态同步。

Description

元宇宙构建方法、装置、存储介质及电子设备
技术领域
本公开涉及元宇宙技术领域，具体地，涉及一种元宇宙构建方法、装置、存储介质及电子设备。
背景技术
元宇宙(Metaverse)是利用技术手段链接和创造的与现实世界映射与交互的虚拟世界。元宇宙是对现实世界的虚拟化、数字化过程，需要对内容生产、经济系统、用户体验以及实体世界内容等方面进行大量改造。
元宇宙创建过程中需要大量的三维模型，如三维环境模型、三维物体模型、人体三维模型等。这些模型的创建耗时耗力，导致元宇宙的创建过程还存在着效率较低、同步速度较慢的问题。
发明内容
本公开的目的是提供一种元宇宙构建方法、装置、存储介质及电子设备，以解决上述相关技术问题。
为了实现上述目的，根据本公开实施例的第一方面，提供一种元宇宙构建方法，包括：
获取机器人对物理环境采集得到的目标数据，所述物理环境包括目标对象；
基于所述目标数据，构建所述目标对象的三维重建模型；
将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，所述目标三维通用模型和所述三维重建模型的相似度大于相似度阈值；
基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中，得到所述目标对象在元宇宙中的映射对象，所述映射对象在元宇宙中的状态与所述目标对象在所述物理环境中的状态同步。
可选地，还包括：
获取三维通用模型；
提取所述三维通用模型的第一特征信息；
基于所述第一特征信息，建立所述三维通用模型的检索索引；
基于各个三维通用模型，以及所述三维通用模型的检索索引，建立所述三维通用模型库。
可选地，所述将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，包括：
对所述三维重建模型进行特征提取，得到所述三维重建模型的第二特征信息；
对所述第二特征信息和所述三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到所述三维重建模型和所述候选三维通用模型的相似度；
确定相似度最高的候选三维通用模型作为所述目标三维通用模型。
可选地，所述对所述第二特征信息和所述三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到所述三维重建模型和所述候选三维通用模型的相似度，包括：
对所述第二特征信息所包括的每种特征维度，确定所述特征维度下的第一维度特征，并确定所述第三特征信息中的所述特征维度下的第二维度特征；
计算所述第一维度特征和所述第二维度特征的相似度，得到所述三维重建模型和所述候选三维通用模型在所述特征维度的相似度；
对所述三维重建模型和所述候选三维通用模型在各个特征维度的相似度进行加权求和，得到所述三维重建模型和所述候选三维通用模型的相似度。
可选地，还包括：
接收所述机器人发送的与所述目标对象相关联的目标特征；
根据所述目标特征，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
可选地，还包括：
接收所述机器人采集到的与所述目标对象相关联的目标事件；
根据所述目标事件，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
可选地，还包括：
向所述机器人发送行为指令，所述行为指令由数字机器人决策生成，所述数字机器人为所述机器人在所述元宇宙中的映射；
接收所述机器人在执行所述行为指令的过程中所采集到的数据；
将接收到的数据作为所述目标数据，重复执行从所述基于所述目标数据，构建所述目标对象的三维重建模型，到基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中的步骤。
根据本公开实施例的第二方面，提供一种元宇宙构建装置，包括：
第一获取模块，用于获取机器人对物理环境采集得到的目标数据，所述物理环境包括目标对象；
模型构建模块，用于基于所述目标数据，构建所述目标对象的三维重建模型；
匹配模块，用于将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，所述目标三维通用模型和所述三维重建模型的相似度大于相似度阈值；
第一同步模块，用于基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中，得到所述目标对象在元宇宙中的映射对象，所述映射对象在元宇宙中的状态与所述目标对象在所述物理环境中的状态同步。
可选地，还包括：
第二获取模块，用于获取三维通用模型；
第一特征提取模块，用于提取所述三维通用模型的第一特征信息；
第一建立模块，用于基于所述第一特征信息，建立所述三维通用模型的检索索引；
第二建立模块，用于基于各个三维通用模型，以及所述三维通用模型的检索索引，建立所述三维通用模型库。
可选地，所述匹配模块，包括：
第一特征提取子模块，用于对所述三维重建模型进行特征提取，得到所述三维重建模型的第二特征信息；
相似度计算子模块，用于对所述第二特征信息和所述三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到所述三维重建模型和所述候选三维通用模型的相似度；
第一确定子模块，用于确定相似度最高的候选三维通用模型作为所述目标三维通用模型。
可选地，所述相似度计算子模块，包括：
第一确定子单元，用于对所述第二特征信息所包括的每种特征维度，确定所述特征维度下的第一维度特征，并确定所述第三特征信息中的所述特征维度下的第二维度特征；
第一计算子单元，用于计算所述第一维度特征和所述第二维度特征的相似度，得到所述三维重建模型和所述候选三维通用模型在所述特征维度的相似度；
第二计算子单元，用于对所述三维重建模型和所述候选三维通用模型在各个特征维度的相似度进行加权求和，得到所述三维重建模型和所述候选三维通用模型的相似度。
可选地，还包括：
第一接收模块，用于接收所述机器人发送的与所述目标对象相关联的目标特征；
第二同步模块，用于根据所述目标特征，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
可选地，还包括：
第二接收模块，用于接收所述机器人采集到的与所述目标对象相关联的目标事件；
第三同步模块，用于根据所述目标事件，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
可选地，还包括：
第一发送模块，用于向所述机器人发送行为指令，所述行为指令由数字机器人决策生成，所述数字机器人为所述机器人在所述元宇宙中的映射；
第三接收模块，用于接收所述机器人在执行所述行为指令的过程中所采集到的数据；
执行模块，用于将接收到的数据作为所述目标数据，重复执行从所述基于所述目标数据，构建所述目标对象的三维重建模型，到基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中的步骤。
根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
采用上述技术方案，能够利用机器人自身搭载的传感器来采集物理世界的数据，从而能够减少人工采集数据的过程，有助于降低人力成本。此外，上述技术方案还可以将目标对象的三维重建模型与三维通用模型库进行匹配，从而得到信息更为丰富的、可控制的目标三维通用模型。相比于人工建模的方式，上述技术方案可以起到降低人力成本的效果。同时，由于减少了人力建模的过程，因此上述技术方案也有助于提升元宇宙的构建速度和同步速度。例如，可以基于目标对象在物理环境的状态信息，将目标三维通用模型同步至元宇宙中，得到目标对象在元宇宙中的映射对象，映射对象在元宇宙中的状态与目标对象在物理环境中的状态同步。这样，可以构建出虚实同步的元宇宙世界。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例所示出的一种元宇宙构建方法的流程图。
图2是本公开一示例性实施例所示出的一种三维通用模型库的建立流程图。
图3是本公开一示例性实施例所示出的一种目标三维通用模型的获取流程图。
图4是本公开一示例性实施例所示出的一种相似度计算的流程图。
图5是本公开一示例性实施例所示出的一种三维模型匹配的示意图。
图6是本公开一示例性实施例所示出的一种元宇宙构建方法的流程图。
图7是本公开一示例性实施例所示出的一种元宇宙构建方法的流程图。
图8是本公开一示例性实施例所示出的一种元宇宙构建的流程图。
图9是本公开一示例性实施例所示出的一种元宇宙构建装置900的框图。
图10是本公开一示例性实施例所示出的一种电子设备1000的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在介绍本公开所提供的元宇宙构建方法、装置、存储介质及电子设备之前，首先对本公开的应用场景进行介绍。本公开所提供的各实施例可以用于元宇宙构建场景中。
相关技术在构建元宇宙时，可以由用户基于手持设备、背包设备和站式设备对三维环境数据进行采集，并通过大量手工方式创建三维环境模型、三维物体模型以及人体三维模型。这种元宇宙创建方式需要较大的人力成本。并且，由于人工建模耗时较长，因此这种元宇宙创建方式也导致元宇宙创建速度较为缓慢，同时也不利于正在运行的元宇宙的实时更新同步。
为此，本公开提供一种元宇宙构建方法，所述方法例如可以用于如云端服务器这样的计算设备。图1是本公开所示出的一种元宇宙构建方法的流程图，参照图1，所述方法包括：
在步骤S11中，获取机器人对物理环境采集得到的目标数据，物理环境包括目标对象。
这里，物理环境中的目标对象可以包括动物、物体等等。机器人例如可以通过自身具有的感知传感器来对物理环境进行采集数据，从而得到所述目标数据。其中，感知传感器可以包括但不限于单线/多线激光雷达、3D视觉相机/2D相机、麦克风阵列、触觉传感器、力传感器等等。基于感知传感器的差异，所述目标数据可以包括视频流、RGB图像+深度图、多视角图像、3D点云数据、语音数据、用户接触数据，交互反馈数据等。
在步骤S12中，基于目标数据，构建目标对象的三维重建模型。
这里，三维重建模型例如可以是OBJ 3D格式的模型。三维重建模型可以包括目标对象的三维形状、表面、纹理和颜色，三维重建模型支持多边形(Polygons)模型，支持曲线(Curves)、表面(Surfaces)、点组材质(Point Group Materials)，但缺少目标对象的动画、材质特性、贴图路径、动力学、粒子等信息。
以下对构建目标对象的三维重建模型的过程进行示例性说明。
在一些实施方式中，可以采用各种三维重建技术来构建目标对象的三维重建模型。这些三维重建技术包括但不限于基于多视几何的三维重建技术、基于多视图的三维重建技术、基于点云数据的三维重建技术、基于深度学习的三维重建技术。
以基于深度学习的三维重建技术为例，可以通过以深度图作为监督信号来训练CNN(Convolutional Neural Network，前馈神经网络)模型。在训练时，以图像作为输入，要求模型的输出可以尽可能拟合图像所对应的深度图，从而使得所述模型可以预测图像的深度信息。这样，通过估计图像的深度，能够在一定程度上重建三维模型。例如，可以对目标对象的RGB或RGBD图像进行三维重建，从而得到所述目标对象的三维重建模型。
在一些实施场景中，也可以基于多视几何的三维重建技术来构建目标对象的三维重建模型。例如，可以基于SfM(Structure from Motion)方法来进行三维重建，在重建时，可以获取机器人采集到的目标对象在多个角度的图片。这样，可以对每张图片进行特征点(featurepoint)检测，并提取特征点的特征描述子，如通过SIFT(Scale-invariantfeature transform，尺度不变特征变换)方法提取特征描述子。
之后，可以将多个角度的图片划分为图片对，对每对图片中的特征点进行匹配，建立特征点在所有图像中的轨迹。这里，可以去除不满足几何约束的匹配特征点。接着，可以求取摄像机的内参(焦距、像素长宽、相机主点坐标、畸变参数等)和每张图的外部参数(相机的旋转、平移参数)，并基于特征点的坐标和相机的内部参数、外部参数，通过三角化计算得到点的三维坐标，进而得到稀疏的重建结果。对于重建结果，还可以使用BundleAdjustment(光束法平差)进行结果的优化，通过调整相机参数的估计值和三维点的坐标，以减小重建结果的误差。
当然，在一些实施场景中，也可以采用基于多视图的三维重建技术或是基于点云数据的三维重建技术来建立目标对象的三维重建模型，其建立方法请参照相关技术中的说明，为了说明书的简洁，本公开对此不做赘述。
参照图1，在重建得到目标对象的三维重建模型之后，在步骤S13中，将三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，目标三维通用模型和三维重建模型的相似度大于相似度阈值。
这里，参照图2所示出的一种三维通用模型库的建立流程图，在一些实施场景中可以通过如下方式建立得到三维通用模型库：
在步骤S21中，获取三维通用模型。
三维通用模型(如FBX格式的模型)是物体的多边形表示，是通过三维制作软件制作形成的用于计算机或视频设备进行显示的模型。物理自然界存在的东西可以用三维通用模型表示，三维通用模型包括物体的三维形状、几何结构、三维表面、纹理和颜色等，还包含动画、材质特性、贴图、骨骼动画、灯光、摄像机等信息。三维通用模型还支持多边形(Polygons)游戏模型、曲线(Curves)、表面(Surfaces)、点组材质(Point GroupMaterials，也支持法线和贴图坐标。相对于三维重建模型，三维通用模型可操控，且具有更高的精细度和更多的信息，如物体的动画、材质特性、贴图路径、动力学、粒子、重量等信息。
作为一种示例，可以获取高精度的三维通用模型(如厂家提供的产品的三维通用模型)，从而得到所述三维通用模型，并进而建立三维通用模型库。在一些实施场景中，获取到的三维通用模型也可能具有不同的位置、方向和尺度。在这种情况下，也可以将获取到的三维通用模型进行坐标预处理和标准化。
三维模型的坐标预处理和标准化可以将待比较的三维通用模型变换至一个标准坐标系范围内。作为一种示例，可以通过主成分分析(Principal component analysis，PCA)方法对三维通用模型的坐标进行标准化，从而计算所述三维通用模型的标准化的坐标框架。这样，可以在所述坐标框架内提取所述三维通用模型的特征。在一些实施方式中，也可以通过体素化方法对所述三维通用模型进行标准化。例如，可以将三维通用模型的外包立方体按照坐标轴方向切分成N*N*N个单元，从而使用体素数据表示所述三维通用模型。
通过对三维通用模型进行预处理和标准化，这样，即使同一个三维通用模型具有不同尺度、不同位置、不同方向、不同旋转角度和不同精度等细节层次，所述三维通用模型的标准化表示方式仍具有唯一性。通过这样的方式，能够使得三维通用模型的检索不受其所采用的数据表示方式的影响。
在步骤S22中，提取三维通用模型的第一特征信息。
这里，第一特征信息例如可以包括多个特征维度，如目标三维通用模型的文本标签、二维特征(如二维图像特征)、三维特征(如三维形状特征、三维表面特征、三维几何特征等)、材质特征、骨骼特征、动作序列特征、动画序列特征等等。
在步骤S23中，基于第一特征信息，建立三维通用模型的检索索引。
作为一种示例，可以针对各个特征维度，分别建立目标三维通用模型的检索索引。
在步骤S24中，基于各个三维通用模型，以及三维通用模型的检索索引，建立三维通用模型库。
在建立得到三维通用模型库的情况下，参照图1，可以将三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型。
图3是本公开所示出的一种目标三维通用模型的获取流程图，参照图3，所述获取流程包括：
在步骤S131中，对三维重建模型进行特征提取，得到三维重建模型的第二特征信息。
例如在一些实施场景中，目标对象可以是动物，在这种情况下可以提取三维重建模型的二维特征、三维特征以及骨骼特征，得到所述三维重建模型的第二特征信息。
在步骤S132中，对第二特征信息和三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到三维重建模型和候选三维通用模型的相似度。
这里，参照图4所示出的一种相似度计算的流程图，所述对第二特征信息和三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到三维重建模型和候选三维通用模型的相似度(步骤S132)，包括：
在步骤S41中，对第二特征信息所包括的每种特征维度，确定所述特征维度下的第一维度特征，并确定第三特征信息中的所述特征维度下的第二维度特征。
在步骤S42中，计算第一维度特征和第二维度特征的相似度，得到三维重建模型和候选三维通用模型在所述特征维度的相似度。
图5是本公开所示出的一种三维模型匹配的示意图，在图5的示例中，三维通用模型库中的候选三维通用模型的特征信息可以包括文本标签、二维特征(如二维图像特征)、三维特征(如三维形状特征、三维表面特征、三维几何特征等)、材质特征、骨骼特征、动作序列特征以及动画序列特征。
以第二特征信息包括二维特征、三维特征以及骨骼特征三种特征维度为例，在匹配时，可以对第二特征信息中的二维特征和第三特征信息中的二维特征进行相似度计算，得到三维重建模型和候选三维通用模型在二维特征维度的相似度。其中，相似度计算例如可以通过余弦相似计算、欧式距离计算等方式实现。类似的，可以对第二特征信息中的三维特征和第三特征信息中的三维特征进行相似度计算，得到三维重建模型和候选三维通用模型在三维特征维度的相似度。通过同样的方式，也可以计算得到三维重建模型和候选三维通用模型在骨骼特征维度的相似度。
在步骤S43中，对三维重建模型和候选三维通用模型在各个特征维度的相似度进行加权求和，得到三维重建模型和候选三维通用模型的相似度。
沿用上述例子，可以将三维重建模型和候选三维通用模型在二维特征维度、三维特征维度以及骨骼特征维度的相似度进行加权计算，从而得到三维重建模型和候选三维通用模型的相似度。其中，各个特征维度的相似度的权重值可以相同也可以不同，例如在目标对象为人体时，可以调高骨骼特征维度的相似度的权重值，本公开对此不做限制。
参照图3，在步骤S133中，确定相似度最高的候选三维通用模型作为目标三维通用模型。
在一些实施场景中，也可能存在各个候选三维通用模型与所述三维重建模型的相似度均小于相似度阈值的情况。在这种情况下，可以将所述三维重建模型作为所述目标对象的映射对象，并同步至元宇宙中。通过这样的方式，能够保障元宇宙的实时同步能力。此外，还可以将所述三维重建模型添加至所述三维通用模型库中，从而丰富三维通用模型库的模型种类。在一些实施方式中，还可以对保存至三维通用模型库的所述三维重建模型进行标记，以便于相关人员对所述三维重建模型进行优化，得到所述目标对象的三维通用模型，进而以便于后续使用。
在得到目标三维通用模型之后，参照图1，在步骤S14中，基于目标对象在物理环境的状态信息，将目标三维通用模型同步至元宇宙中，得到目标对象在元宇宙中的映射对象，映射对象在元宇宙中的状态与目标对象在物理环境中的状态同步。
这里，目标对象在物理环境的状态信息可以包括目标对象的位置信息、运动速度、方向等等。目标对象在物理环境的状态信息可以由所述机器人基于所述目标数据获取，从而发送至云端服务器。在一些实施场景中，目标对象在物理环境的状态信息也可以由云端基于所述机器人发送的目标数据计算得到，本公开对此不做限制。
这样，云端服务器可以基于目标对象在物理环境的状态信息，将目标三维通用模型同步至元宇宙中。例如，在状态信息包括目标对象的第一位置、第一运动速度以及方向的情况下，云端服务器可以将所述目标三维通用模型同步至元宇宙中的第一位置，并通过为所述目标三维通用模型设置所述方向以及第一运动速度，从而在元宇宙中映射得到所述目标对象的映射对象，映射对象与目标对象具有一致的运动状态。这样，可以构建出虚实同步的元宇宙世界。
采用上述技术方案，能够利用机器人自身搭载的传感器来采集物理世界的数据，从而能够减少人工采集数据的过程，有助于降低人力成本。此外，上述技术方案还可以将目标对象的三维重建模型与三维通用模型库进行匹配，从而得到信息更为丰富的、可控制的目标三维通用模型。相比于人工建模的方式，上述技术方案可以起到降低人力成本的效果。同时，由于减少了人力建模的过程，因此上述技术方案也有助于提升元宇宙的构建速度和同步速度。在计算能力足够的情况下，可以快速匹配出目标对象的目标三维通用模型，并同步至元宇宙中进行状态同步，进而构建出虚实同步的元宇宙世界。
并且，三维通用模型库中的三维通用模型还具备三维重建模型所缺少的动画、材质特性、贴图路径、动力学、粒子等信息，因此，通过匹配目标三维通用模型，还能够自动获取到目标对象的上述信息，从而提升目标对象的数字表示的精确度，进而提升元宇宙构建的精细度。
在一些实施场景中，在将目标三维通用模型同步至元宇宙之后，还可以持续地对所述目标对象的状态，以及所述目标对象的映射对象的状态进行同步。
参照图6所示出的一种元宇宙构建方法的流程图，所述方法在图1的基础上，还包括：
在步骤S15中，接收机器人发送的与目标对象相关联的目标特征；
在步骤S16中，根据目标特征，对映射对象进行状态更新，以使得映射对象和目标对象的状态同步。
例如，在目标对象为目标用户的情况下，所述机器人可以对所述目标用户的状态进行持续追踪，并从所述机器人采集到的环境数据中提取与目标用户相关联的目标特征。这里，目标特征例如可以包括目标用户的位置、移动速度等等。这样，所述机器人可以通过特征上报的方式，向云端服务器发送所述目标特征。
云端服务器在接收到所述目标特征之后，可以根据所述目标特征对元宇宙中的所述目标用户的数字映射的状态进行同步，如控制所述目标用户的数字映射执行所述目标用户在物理环境中所执行的动作，到达相同的位置坐标等。
采用上述技术方案，机器人可以通过特征上报的方式对现实世界的目标对象进行持续追踪，从而持续地对所述目标对象的状态，以及所述目标对象的目标映射的状态进行同步，从而构建虚实同步的元宇宙世界。并且，机器人可以发送目标对象的目标特征来进行状态同步，相对于发送采集数据(如视频序列)进行同步的方式，还能够起到减少数据发送量、提升处理速度的效果，有助于实现元宇宙与现实世界的实时同步。
图7所是本公开示出的一种元宇宙构建方法的流程图，所述方法在图1的基础上，还包括：
在步骤S17中，接收机器人采集到的与目标对象相关联的目标事件；
在步骤S18中，根据目标事件，对映射对象进行状态更新，以使得映射对象和目标对象的状态同步。
例如，在目标对象为灯具的情况下，所述机器人可以对所述灯具的状态进行持续追踪，从而获得与所述灯具相关联的目标事件。这里，目标事件例如可以包括灯具打开、灯具关闭等等。这样，所述机器人可以通过事件上报的方式，向云端服务器发送所述目标事件。
云端服务器在接收到所述目标事件之后，可以根据所述目标事件，对元宇宙中的所述灯具的数字映射进行状态同步，如控制所述数字映射产生所述目标事件，即控制所述灯具在元宇宙中的开关状态。
采用上述技术方案，机器人可以通过事件上报的方式对现实世界的目标对象进行持续追踪，从而持续地对所述目标对象的状态，以及所述目标对象的目标映射的状态进行同步。并且，机器人可以发送目标对象的目标事件来进行状态同步，相对于发送采集数据(如视频序列)进行同步的方式，还能够起到减少数据发送量、提升处理速度的效果，有助于实现元宇宙与现实世界的实时同步。
在一种可能的实施方式中，所述方法还包括：
向所述机器人发送行为指令，所述行为指令由数字机器人决策生成，所述数字机器人为所述机器人在所述元宇宙中的映射；
接收所述机器人在执行所述行为指令的过程中所采集到的数据；
将接收到的数据作为所述目标数据，重复执行从所述基于所述目标数据，构建所述目标对象的三维重建模型，到基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中的步骤。
例如，数字机器人可以基于预设的决策机制，生成机器人移动指令，所述机器人移动指令用于控制所述机器人移动。这样，云端服务器可以向所述机器人下发所述移动指令。所述机器人在接收到所述移动指令的情况下，可以执行所述移动指令，从而在物理世界移动。所述机器人还可以将移动过程中所采集到的数据发送至所述云端服务器，这些数据例如可以包括所述机器人采集到的环境数据。
这样，云端服务器可以将所述数据作为新的目标数据，并通过图1所示的方式构建元宇宙。在一些实施方式中，机器人还可以将所述机器人的状态信息一并发送至云端服务器，状态信息例如可以包括机器人的移动距离、移动方向、姿态信息、位置信息等等。这样，云端服务器可以根据多个机器人状态数据，对基于各个机器人的采集数据所构建的元宇宙进行拼接和融合，从而形成能够实时在线运行、虚实同步、且自动扩建的元宇宙。
图8是本公开所示出的一种元宇宙构建的流程图，参照图8，所述元宇宙的构建流程包括：
1、机器人通过本体设备具有的机器人传感器采集环境感知数据，环境感知数据包括但不限于视频流、RGB图像+深度图、多视角图像、3D点云数据；语音数据、用户接触数据，交互反馈数据。
2、通过深度学习2D/3D视觉检测分类算法，对环境中的2D/3D目标物体/人体关键点/骨架进行检测，以便于对物体进行多目标跟踪和对人体进行多人体骨骼运动跟踪。此外，还可以基于环境感知数据对目标物体进行三维语义分割或实例分割，从而分割出三维物体或人体三维模型。
3、基于2D/3D视觉检测分类算法的目标物体检测框或三维语义分割区域，提取物体特征和物体的表面属性特征。也可以通过函数投影、特征统计等方式确定目标物体的形状特征，如矩形度、圆形性、球状性等。
4、对目标物体检测框或三维语义分割区域的目标物体或人体进行3D Mesh形状、三维表面、纹理、几何模型的三维重建，并进行3D重建图像进行预处理，如去噪、修复、空洞填补等。
5、基于三维重建模型的属性关键字标签，二维图像特征、三维形状特征、三维表面特征、三维几何特征、材质、颜色等特征维度进行检索匹配。例如，可以分别与物体三维通用模型库中已有的物体三维通用模型进行相似度匹配检索，从物体三维通用模型库中检索出与三维重建模型相似度超过相似度阈值、且相似度最高的物体三维通用模型(可以是三维重建的模型，也可以是数字孪生三维通用模型)。
6、针对三维重建的人体模型或动物模型，提取人体模型或动物模型的骨骼关键点。例如，可以基于机器人采集的环境感知数据，通过深度学习或其他方法提取人体或动物的骨架关键点信息，以便于后续的骨骼动画或动作行为的控制。
7、基于当前三维人体模型或动物模型，在人体或动物三维通用模型库中进行检索，得到相似度超过相似度阈值、且相似度最高的人体或动物三维通用模型。如果相似匹配度低于相似度阈值，则认为没有找到对应的人体或动物三维通用模型。需要说明的是，三维通用模型库中的人体或动物三维通用模型，可以包括2D和3D图像数据、2D/3D形状、表面、纹理、骨骼关键点，材质，动画序列等信息。
8、当可以在三维通用模型库中检索出相似度超过相似度阈值、且相似度最高的人体或动物三维通用模型时，则可以采用该三维通用模型库中的人体或动物的三维通用模型来替代人体三维重建模型或动物三维重建模型。并通过将人体或动物的三维通用模型同步至元宇宙中，从而实现物理世界到元宇宙的映射。
9、基于机器人的传感器系统实时获取环境感知数据，并通过数据上报、特征上报或事件上报的机制，实现物理世界到元宇宙世界的同步(请参照关于图6和图7的实施例说明)。例如，可以基于机器人的环境感知数据，以及基于视频流或点云数据流的方法，进行多目标跟踪以及多人体跟踪，从而实现物理世界到元宇宙世界的同步，即让物理世界发生的任务事件及时同步到元宇宙世界中。这样，通过不断同步更新元宇宙中的物体、人体或动物的行为与活动，从而能够形成一个可以实时运行的，与现实世界镜像同步的数字世界。
10、若干个数字机器人在元宇宙中的运行过程中，可以基于设定的决策规则，自主决策形成待执行指令。这样，可以将生成的待执行指令下发行至物理世界中的机器人。所述机器人可以响应于所述待执行指令，并在执行指令的过程中持续不断地向云端服务器上传环境感知数据，以及机器人的当前位置、姿态和状态等状态信息。这些状态信息也可以同步至对应的数字机器人。这样，在物理世界的各个空间中，机器人不断持续运行，不断对元宇宙进行自动构建。云端服务器则可以根据多个机器人的状态数据，对基于各个机器人的采集数据所构建的元宇宙进行拼接和融合，从而形成能够实时在线运行、虚实同步、且自动扩建的元宇宙。
采用上述技术方案，能够利用机器人自身搭载的传感器来采集物理世界的数据，从而能够减少人工采集数据的过程，有助于降低人力成本。此外，上述技术方案还可以将目标对象的三维重建模型与三维通用模型库进行匹配，从而得到信息更为丰富的、可控制的目标三维通用模型。相比于人工建模的方式，上述技术方案可以起到降低人力成本的效果。同时，由于减少了人力建模的过程，因此上述技术方案也有助于提升元宇宙的构建速度和同步速度。例如，可以基于目标对象在物理环境的状态信息，将目标三维通用模型同步至元宇宙中，得到目标对象在元宇宙中的映射对象，映射对象在元宇宙中的状态与目标对象在物理环境中的状态同步。这样，可以构建出虚实同步的元宇宙世界。
基于同一发明构思，本公开还提供一种元宇宙构建装置。图9是本公开所示出的一种元宇宙构建装置900的框图，参照图9，装置900包括：
第一获取模块901，用于获取机器人对物理环境采集得到的目标数据，所述物理环境包括目标对象；
模型构建模块902，用于基于所述目标数据，构建所述目标对象的三维重建模型；
匹配模块903，用于将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，所述目标三维通用模型和所述三维重建模型的相似度大于相似度阈值；
第一同步模块904，用于基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中，得到所述目标对象在元宇宙中的映射对象，所述映射对象在元宇宙中的状态与所述目标对象在所述物理环境中的状态同步。
采用上述技术方案，能够利用机器人自身搭载的传感器来采集物理世界的数据，从而能够减少人工采集数据的过程，有助于降低人力成本。此外，上述技术方案还可以将目标对象的三维重建模型与三维通用模型库进行匹配，从而得到信息更为丰富的、可控制的目标三维通用模型。相比于人工建模的方式，上述技术方案可以起到降低人力成本的效果。同时，由于减少了人力建模的过程，因此上述技术方案也有助于提升元宇宙的构建速度和同步速度。例如，可以基于目标对象在物理环境的状态信息，将目标三维通用模型同步至元宇宙中，得到目标对象在元宇宙中的映射对象，映射对象在元宇宙中的状态与目标对象在物理环境中的状态同步。这样，可以构建出虚实同步的元宇宙世界。
可选地，还包括：
第二获取模块，用于获取三维通用模型；
第一特征提取模块，用于提取所述三维通用模型的第一特征信息；
第一建立模块，用于基于所述第一特征信息，建立所述三维通用模型的检索索引；
第二建立模块，用于基于各个三维通用模型，以及所述三维通用模型的检索索引，建立所述三维通用模型库。
可选地，所述匹配模块，包括：
第一特征提取子模块，用于对所述三维重建模型进行特征提取，得到所述三维重建模型的第二特征信息；
相似度计算子模块，用于对所述第二特征信息和所述三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到所述三维重建模型和所述候选三维通用模型的相似度；
第一确定子模块，用于确定相似度最高的候选三维通用模型作为所述目标三维通用模型。
可选地，所述相似度计算子模块，包括：
第一确定子单元，用于对所述第二特征信息所包括的每种特征维度，确定所述特征维度下的第一维度特征，并确定所述第三特征信息中的所述特征维度下的第二维度特征；
第一计算子单元，用于计算所述第一维度特征和所述第二维度特征的相似度，得到所述三维重建模型和所述候选三维通用模型在所述特征维度的相似度；
第二计算子单元，用于对所述三维重建模型和所述候选三维通用模型在各个特征维度的相似度进行加权求和，得到所述三维重建模型和所述候选三维通用模型的相似度。
可选地，还包括：
第一接收模块，用于接收所述机器人发送的与所述目标对象相关联的目标特征；
第二同步模块，用于根据所述目标特征，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
可选地，还包括：
第二接收模块，用于接收所述机器人采集到的与所述目标对象相关联的目标事件；
第三同步模块，用于根据所述目标事件，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
可选地，还包括：
第一发送模块，用于向所述机器人发送行为指令，所述行为指令由数字机器人决策生成，所述数字机器人为所述机器人在所述元宇宙中的映射；
第三接收模块，用于接收所述机器人在执行所述行为指令的过程中所采集到的数据；
执行模块，用于将接收到的数据作为所述目标数据，重复执行从所述基于所述目标数据，构建所述目标对象的三维重建模型，到基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中的步骤。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开所提供的元宇宙构建方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开所提供的元宇宙构建方法的步骤。
图10是根据一示例性实施例示出的一种电子设备1000的框图。例如，电子设备1000可以被提供为一服务器。参照图10，电子设备1000包括处理器1022，其数量可以为一个或多个，以及存储器1032，用于存储可由处理器1022执行的计算机程序。存储器1032中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1022可以被配置为执行该计算机程序，以执行上述的元宇宙构建方法。
另外，电子设备1000还可以包括电源组件1026和通信组件1050，该电源组件1026可以被配置为执行电子设备1000的电源管理，该通信组件1050可以被配置为实现电子设备1000的通信，例如，有线或无线通信。此外，该电子设备1000还可以包括输入/输出(I/O)接口1058。电子设备1000可以操作基于存储在存储器1032的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的元宇宙构建方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器1032，上述程序指令可由电子设备1000的处理器1022执行以完成上述的元宇宙构建方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的元宇宙构建方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种元宇宙构建方法，其特征在于，包括：
获取机器人对物理环境采集得到的目标数据，所述物理环境包括目标对象；
基于所述目标数据，构建所述目标对象的三维重建模型；
将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，所述目标三维通用模型和所述三维重建模型的相似度大于相似度阈值；
基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中，得到所述目标对象在元宇宙中的映射对象，所述映射对象在元宇宙中的状态与所述目标对象在所述物理环境中的状态同步。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取三维通用模型；
提取所述三维通用模型的第一特征信息；
基于所述第一特征信息，建立所述三维通用模型的检索索引；
基于各个三维通用模型，以及所述三维通用模型的检索索引，建立所述三维通用模型库。
3.根据权利要求1所述的方法，其特征在于，所述将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，包括：
对所述三维重建模型进行特征提取，得到所述三维重建模型的第二特征信息；
对所述第二特征信息和所述三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到所述三维重建模型和所述候选三维通用模型的相似度；
确定相似度最高的候选三维通用模型作为所述目标三维通用模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述第二特征信息和所述三维通用模型库中的候选三维通用模型的第三特征信息进行相似度计算，得到所述三维重建模型和所述候选三维通用模型的相似度，包括：
对所述第二特征信息所包括的每种特征维度，确定所述特征维度下的第一维度特征，并确定所述第三特征信息中的所述特征维度下的第二维度特征；
计算所述第一维度特征和所述第二维度特征的相似度，得到所述三维重建模型和所述候选三维通用模型在所述特征维度的相似度；
对所述三维重建模型和所述候选三维通用模型在各个特征维度的相似度进行加权求和，得到所述三维重建模型和所述候选三维通用模型的相似度。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
接收所述机器人发送的与所述目标对象相关联的目标特征；
根据所述目标特征，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
6.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
接收所述机器人采集到的与所述目标对象相关联的目标事件；
根据所述目标事件，对所述映射对象进行状态更新，以使得所述映射对象和所述目标对象的状态同步。
7.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
向所述机器人发送行为指令，所述行为指令由数字机器人决策生成，所述数字机器人为所述机器人在所述元宇宙中的映射；
接收所述机器人在执行所述行为指令的过程中所采集到的数据；
将接收到的数据作为所述目标数据，重复执行从所述基于所述目标数据，构建所述目标对象的三维重建模型，到基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中的步骤。
8.一种元宇宙构建装置，其特征在于，包括：
第一获取模块，用于获取机器人对物理环境采集得到的目标数据，所述物理环境包括目标对象；
模型构建模块，用于基于所述目标数据，构建所述目标对象的三维重建模型；
匹配模块，用于将所述三维重建模型与建立的三维通用模型库进行匹配，得到目标三维通用模型，所述目标三维通用模型和所述三维重建模型的相似度大于相似度阈值；
第一同步模块，用于基于所述目标对象在所述物理环境的状态信息，将所述目标三维通用模型同步至元宇宙中，得到所述目标对象在元宇宙中的映射对象，所述映射对象在元宇宙中的状态与所述目标对象在所述物理环境中的状态同步。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至7中任一项所述方法的步骤。
CN202210968954.6A 2022-08-12 2022-08-12 元宇宙构建方法、装置、存储介质及电子设备 Pending CN115330946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210968954.6A CN115330946A (zh) 2022-08-12 2022-08-12 元宇宙构建方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210968954.6A CN115330946A (zh) 2022-08-12 2022-08-12 元宇宙构建方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115330946A true CN115330946A (zh) 2022-11-11

Family

ID=83923276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210968954.6A Pending CN115330946A (zh) 2022-08-12 2022-08-12 元宇宙构建方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115330946A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599559A (zh) * 2022-12-14 2023-01-13 环球数科集团有限公司（Cn） 一种基于元宇宙的多目标三维快速建模及重构系统
CN116188959A (zh) * 2023-03-14 2023-05-30 北京未来链技术有限公司 基于元宇宙的电商购物场景智能识别及存储系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599559A (zh) * 2022-12-14 2023-01-13 环球数科集团有限公司（Cn） 一种基于元宇宙的多目标三维快速建模及重构系统
CN115599559B (zh) * 2022-12-14 2023-03-03 环球数科集团有限公司 一种基于元宇宙的多目标三维快速建模及重构系统
CN116188959A (zh) * 2023-03-14 2023-05-30 北京未来链技术有限公司 基于元宇宙的电商购物场景智能识别及存储系统

Similar Documents

Publication Publication Date Title
CN107742311B (zh) 一种视觉定位的方法及装置
CN110168477B (zh) 用于长方体检测的深度学习系统
Kumar et al. Monocular fisheye camera depth estimation using sparse lidar supervision
CN109840940B (zh) 动态三维重建方法、装置、设备、介质和系统
CN102663722B (zh) 使用深度图像的活动对象分割
Alvarez et al. Providing guidance for maintenance operations using automatic markerless augmented reality system
CN115330946A (zh) 元宇宙构建方法、装置、存储介质及电子设备
US20200372715A1 (en) Real-world object recognition for computing device
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
EP3274964B1 (en) Automatic connection of images using visual features
CN112070782B (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN110276804B (zh) 数据处理方法及装置
US20200349754A1 (en) Methods, devices and computer program products for generating 3d models
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
WO2018190805A1 (en) Depth image pose search with a bootstrapped-created database
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
Altuntaş et al. Comparison of 3-dimensional SLAM systems: RTAB-Map vs. Kintinuous
CN113222961A (zh) 智能船体检测系统及方法
CN116127783B (zh) 一种虚拟世界生成系统
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN111531546A (zh) 一种机器人位姿估计方法、装置、设备及存储介质
EP3980975B1 (en) Method of inferring microdetail on skin animation
CN117916773A (zh) 用于在移动设备中同时重建姿态和参数化3d人体模型的方法和系统
CN111724438B (zh) 一种数据处理方法、装置
Zhang et al. A self-supervised monocular depth estimation approach based on uav aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination