CN115423938A - 一种基于语义识别的三维模型重建方法及系统 - Google Patents

一种基于语义识别的三维模型重建方法及系统 Download PDF

Info

Publication number
CN115423938A
CN115423938A CN202210988946.8A CN202210988946A CN115423938A CN 115423938 A CN115423938 A CN 115423938A CN 202210988946 A CN202210988946 A CN 202210988946A CN 115423938 A CN115423938 A CN 115423938A
Authority
CN
China
Prior art keywords
point cloud
semantic recognition
dimensional model
features
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210988946.8A
Other languages
English (en)
Inventor
高跃
罗军
黄晋
肖罡
杨钦文
刘小兰
魏志宇
万可谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Kejun Industrial Co ltd
Original Assignee
Jiangxi Kejun Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Kejun Industrial Co ltd filed Critical Jiangxi Kejun Industrial Co ltd
Priority to CN202210988946.8A priority Critical patent/CN115423938A/zh
Publication of CN115423938A publication Critical patent/CN115423938A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于语义识别的三维模型重建方法及系统，该方法步骤包括：S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；S02.根据图像特征以及点云特征建立关联图编码器，将图像特征与点云特征编码成融合特征，得到目标物体的语义识别特征；S03.将语义识别特征输入至预先构建的三维模型数据库中，得到语义识别特征模板；S04.将语义识别特征以及语义识别特征模板输入至预先构建的解码器网络中，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。本发明具有实现方法简单、成本低且重建效率以及精度高且灵活性强等优点。

Description

一种基于语义识别的三维模型重建方法及系统
技术领域
本发明涉及三维模型建立系统技术领域，尤其涉及一种基于语义识别的三维模型重建方法及系统。
背景技术
三维模型重建即为对三维物体建立适合计算机表示和处理的数学模型,是实现在计算机环境下对三维物体进行处理、操作和性质分析的基础。针对于三维模型重建，现有技术中通常是采用以下三种方式：
1、基于多视图的三维稠密重建
该类方法是从具有一定重叠度的多视图视角中恢复场景稠密结构，如先利用几何、光学一致性构造匹配代价，进行匹配代价累积后，再估计深度值，实现多视图的三维稠密模型重建。但是该类基于多视图的三维稠密重建方式对图像视角覆盖要求较高，在实际工况下难以采集到满足条件数据，而直接使用不满足条件的数据进行三维稠密重建会存在极大困难。
2、基于图像序列的三维稀疏重建
该类方法是利用相机运动轨迹来估算相机参数，基于图像序列实现三维稀疏模型重建。如先通过相机在不同视点摄取多幅图像，利用这些图像计算出相机的位置信息以及运动轨迹，从而在空间坐标系下生成三维点云，恢复出物体的空间结构。但是该类基于图像序列的三维稀疏重建对图像数据对图像数量要求较高，即需要依赖于大量图像才能完成重建，而在实际工况下就难以采集到足够数量的图像，使得无法完成三维重建。
3、人工三维建模
该类方法通常是通过相机对场景内的信息进行记录，然后以人工CAD方式对场景的3D模型进行绘制，然后构建光照和视角模型，在VR(虚拟现实)类模型中进行应用。上述人工三维建模方式，不仅实现复杂且效率低，实际难以大规模应用。
综上，现有技术中三维模型重建方法要么对输入数据对要求较高，要么需要依赖于人工手动操作，均难以兼顾实现的复杂程度以及效率。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、重建效率以及精度高、灵活性强的基于语义识别的三维模型重建方法及系统。
为解决上述技术问题，本发明提出的技术方案为：
一种基于语义识别的三维模型重建方法，步骤包括：
S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；
S02.根据所述图像特征以及点云特征建立关联图编码器，由所述关联图编码器将所述图像特征与所述点云特征编码成融合特征，得到目标物体的语义识别特征；
S03.将步骤S02得到的所述语义识别特征输入至预先构建的三维模型数据库中，得到与所述语义识别特征匹配的语义识别特征模板，所述三维模型数据库中存储有不同物体所对应的语义识别特征模板；
S04.将步骤S02得到的语义识别特征以及步骤S03得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。
进一步的，所述步骤S01中，对点云数据进行特征提取时，先将点云数据切分为多个块的集合，然后对切分得到的每个分块中点进行统计计算，提取得到对应各分块的点云特征。
进一步的，所述步骤S02中，根据所述图像特征以及点云特征建立关联图编码器包括：
将步骤S01得到的所有的所述图像特征以及点云特征分别划分为多个节点，每一个节点与最近邻节点构建形成边，构建得到关联图子图编码器；
分别以各所述关联图子图编码器的输出特征作为节点，每一个节点与最近邻节点构建形成边，构建得到父图编码器，由所述父图编码器输出编码形成的融合特征，即为目标物体的语义识别特征。
进一步的，所述关联图子图编码器按照下式构建得到：
Figure BDA0003803142770000021
其中，
Figure BDA0003803142770000022
表示将点云数据划分为多个分块后第pi个分块区域内的点云特征对应的节点，
Figure BDA0003803142770000023
表示第i个图像特征向量对应的节点，P表示所有的点云数据，epart表示关联图子图编码器的网络模型。
进一步的，所述父图编码器按照下式构建得到：
Figure BDA0003803142770000024
其中，egraph表示父图编码器的网络模型，
Figure BDA0003803142770000025
表示第gi-1个关联图子图编码器的输出特征对应的节点，Ci表示全部节点，Ri表示全部节点之间的关联关系。
进一步的，所述解码器网络使用所述父图编码器作为节点构建得到，输出恢复出的目标物体的三维模型。
进一步的，所述解码器网络按照下式构建得到：
Figure BDA0003803142770000031
其中，dgraph表示解码器网络的图网络模型，
Figure BDA0003803142770000032
表示第pj个父图编码器的输出特征对应的节点，pj表示点云中的点云块特征，P′表示恢复出的全部点云，
Figure BDA0003803142770000033
表示最终重建出的第pj个分块区域点云数据和第j个图像数据。
进一步的，所述步骤S04中，采用几何损失函数对网络进行训练，所述几何损失函数为：
Figure BDA0003803142770000034
其中，CD表示几何损失的计算，pi,p′j分别表示重建点云和真实点云，
Figure BDA0003803142770000035
和
Figure BDA0003803142770000036
分别表示重建点云和真实点云的点数，xi,xj分别表示点云中的两个点，
Figure BDA0003803142770000037
表示xi,xj两个点之间的欧氏距离。
一种基于语义识别的三维模型重建系统，包括：
特征提取模块，用于获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；
语义识别模块，用于根据所述图像特征以及点云特征建立关联图编码器，由所述关联图编码器将所述图像特征与所述点云特征编码成融合特征，得到目标物体的语义识别特征；
模板匹配模块，用于将语义识别模块得到的所述语义识别特征输入至预先构建的三维模型数据库中，得到与所述语义识别特征匹配的语义识别特征模板，所述三维模型数据库中存储有不同物体所对应的语义识别特征模板；
三维重建模块，用于将所述语义识别模块得到的语义识别特征以及所述模板匹配模块得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。
一种计算机系统，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
与现有技术相比，本发明的优点在于：
1、本发明通过分别获取目标物体的图像数据、点云数据进行特征提取，借助于关联图编码器将提取的图像特征以及点云特征编码成融合特征，得到目标物体的语义识别特征，同时通过模板匹配查找出匹配的语义识别特征模板，然后将语义识别特征输入至解码器网络中，并以语义识别特征模板作为辅助，可以实现目标物体三维模型快速重建，还可以大大的提高重建的适用性以及灵活性。
2、本发明通过构建关联图子图编码器将图像特征与点云特征进行特征融合，可以充分融合不同特征的特性，从而基于融合特征经过解码器网络后可以高效、精准的恢复出目标物体的图像与点云数据，有效提高三维模型重建的精度。
附图说明
图1是本实施例基于语义识别的三维模型重建方法的实现流程示意图。
图2是本实施例实现基于语义识别的三维模型重建的原理示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1、2所示，本实施例基于语义识别的三维模型重建方法的步骤包括：
S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；
S02.根据图像特征以及点云特征建立关联图编码器，由关联图编码器将图像特征与点云特征编码成融合特征，得到目标物体的语义识别特征；
S03.将步骤S02得到的语义识别特征输入至预先构建的三维模型数据库中，得到与语义识别特征匹配的语义识别特征模板，三维模型数据库中存储有不同物体所对应的语义识别特征模板；
S04.将步骤S02得到的语义识别特征以及步骤S03得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。
本实施例通过分别获取目标物体的图像数据、点云数据进行特征提取，借助于关联图编码器将提取的图像特征以及点云特征编码成融合特征，得到目标物体的语义识别特征，同时通过模板匹配查找出匹配的语义识别特征模板，然后将语义识别特征输入至解码器网络中，并以语义识别特征模板作为辅助，可以实现目标物体三维模型快速重建，且无需限制输入数据的条件，也无需依赖大量的图像数据，可以大大的提高重建的适用性以及灵活性。
本实施例步骤S01中，具体可以使用相机对目标物体进行图像数据采集、使用雷达扫描获取点云数据，可以是在任意位置(相机和目标物体之间的相对位置)、任意环境下对目标物体进行数据采集。为进一步提高重建的效果，可以通过改变光源与物体之间任意相对位置实现不同方向和距离的光照下的数据采集，设置的光源数量、组合方式以及单个光源的光照强度具体可以根据实际需求配置。
在具体应用实施例中，步骤S01对图像数据进行特征提取时，具体将全部输入图像进行叠加，记图像为I1,I2,...,In，原每张图像均包含(R,G,B)三个通道的像素值，尺寸为H×W×3，经过叠加在保持原有图像长宽尺寸不变的情况下变为3n个通道(其中n为图像数量)的数据H×W×3n，颜色通道叠加后为(R1,G1,B1,...,Rn,Gn,Bn)。使用图像特征提取网络进行图像特征提取，图像特征提取网络由3层卷积层构成，将H×W×3n的输入卷积成为尺寸大小为M×C的特征向量。
本实施例步骤S01中对点云数据进行特征提取时，具体先将点云数据切分为多个块的集合，然后对切分得到的每个分块中点进行统计计算，提取得到对应各分块的点云特征。
在具体应用实施例中，将输入点云记为P，根据物理空间中的大小进行切分成M个块的集合，具体以1m×1m×1m的立方米空间对点云进行切分，并丢弃超过M的部分，对切分后的点云记为
Figure BDA0003803142770000051
其中i表示第i个分块，pi表示分块中的点；对于每个分块中的点，进行加权平均，获得平均点pm，即为该区域内的点云特征，并将全部点云特征记为
Figure BDA0003803142770000052
本实施例步骤S02中，根据图像特征以及点云特征建立关联图编码器包括：
S201.将步骤S01得到的所有的图像特征以及点云特征分别划分为多个节点，每一个节点与最近邻节点构建形成边，构建得到关联图子图编码器；
S202.分别以各关联图子图编码器的输出特征作为节点，每一个节点与最近邻节点构建形成边，构建得到父图编码器(完整编码器)，由父图编码器输出编码形成的融合特征，即为目标物体的语义识别特征。
本实施例中，关联图子图编码器具体按照下式(1)构建得到：
Figure BDA0003803142770000053
其中，
Figure BDA0003803142770000054
表示将点云数据划分为多个分块后第pi个分块区域内的点云特征对应的节点，
Figure BDA0003803142770000055
表示第i个图像特征向量对应的节点，P表示所有的点云数据，epart表示关联图子图编码器的网络模型。
本实施例中，父图编码器具体按照下式(2)构建得到：
Figure BDA0003803142770000056
其中，egraph表示父图编码器的网络模型，
Figure BDA0003803142770000057
表示第gi-1个关联图子图编码器的输出特征对应的节点，Ci表示全部节点，Ri表示全部节点之间的关联关系。
本实施例中，解码器网络使用关联图子图编码器、父图编码器作为节点构建得到，输出恢复出的目标物体的三维模型。即由关联图编码器将目标物体的图像特征与点云特征进行融合，然后由对应的解码器网络恢复出图像与点云数据，实现三维重建。
本实施例中，解码器网络具体按照下式(3)构建得到：
Figure BDA0003803142770000061
其中，dgraph表示解码器网络的图网络模型，
Figure BDA0003803142770000062
表示第pj个父图编码器的输出特征对应的节点，pj表示点云中的点云块特征，P′表示恢复出的全部点云，
Figure BDA0003803142770000063
表示最终重建出的第pj个分块区域点云数据和第j个图像数据。
在具体应用实施例中，解码器网络可使用具有两层多层感知器(MLP)和五个反卷积层的图像解码器以及一个ReLU函数实现。
在具体应用实施例中，先由每一个区域内的点云特征
Figure BDA0003803142770000064
每一个图像特征向量
Figure BDA0003803142770000065
作为节点，其中图像特征向量
Figure BDA0003803142770000066
的尺寸大小为M×C的特征向量的一个维度即(1×C)，对每一个节点选择最近邻的另一个节点进行边的构建，基于图网络模型构建形成关联图子图编码器，得到
Figure BDA0003803142770000067
其中两个节点距离为：
Figure BDA0003803142770000068
其中i和j分别表示两个节点；在关联图子图编码器基础上构建父图编码器(完整编码器)，即以
Figure BDA0003803142770000069
作为图模型的节点，每一个节点选择最近邻的另一个结点构建，得到
Figure BDA00038031427700000610
Figure BDA00038031427700000611
在关联图子图编码器、父图编码器(完整编码器)基础上构建关联图解码器，以
Figure BDA00038031427700000612
作为图模型的节点，得到
Figure BDA00038031427700000613
最终输出重建的点云和图像
Figure BDA00038031427700000614
本实施例通过构建关联图子图编码器将图像特征与点云特征进行特征融合，相比于传统将不同特征进行简单叠加的方式，可以充分融合不同特征的特性，从而基于融合特征经过解码器网络后可以高效、精准的恢复出目标物体的图像与点云数据，有效提高三维模型重建的精度。
本实施例步骤S03中，具体将步骤S02得到的语义识别特征输入至三维模型数据库中，查找出与语义识别特征相似度最高的一个或多个语义识别特征模板，后续在解码器网络中利用该语义识别特征模板可以辅助三维模型重建，可以进一步提高三维重建的效率以及精度。
本实施例步骤S04中，具体采用几何损失函数对网络进行训练，以测量重建的3D形状与模型库中查找到的形状之间的几何相似性。上述几何损失函数具体为：
Figure BDA0003803142770000071
其中，CD表示几何损失的计算，pi,p′j分别表示重建点云和真实点云，
Figure BDA0003803142770000072
和
Figure BDA0003803142770000073
分别表示重建点云和真实点云的点数，xi,xj分别表示点云中的两个点，
Figure BDA0003803142770000074
表示xi,xj两个点之间的欧氏距离。
本实施例基于语义识别的三维模型重建系统包括：
特征提取模块，用于获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；
语义识别模块，用于根据图像特征以及点云特征建立关联图编码器，由关联图编码器将图像特征与点云特征编码成融合特征，得到目标物体的语义识别特征；
模板匹配模块，用于将语义识别模块得到的语义识别特征输入至预先构建的三维模型数据库中，得到与语义识别特征匹配的语义识别特征模板，三维模型数据库中存储有不同物体所对应的语义识别特征模板；
三维重建模块，用于将语义识别模块得到的语义识别特征以及模板匹配模块得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。
本实施例基于语义识别的三维模型重建系统与上述基于语义识别的三维模型重建方法一一对应，在此不再一一赘述。
本实施例计算机系统，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序以执行如上述方法。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种基于语义识别的三维模型重建方法，其特征在于，步骤包括：
S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；
S02.根据所述图像特征以及点云特征建立关联图编码器，由所述关联图编码器将所述图像特征与所述点云特征编码成融合特征，得到目标物体的语义识别特征；
S03.将步骤S02得到的所述语义识别特征输入至预先构建的三维模型数据库中，得到与所述语义识别特征匹配的语义识别特征模板，所述三维模型数据库中存储有不同物体所对应的语义识别特征模板；
S04.将步骤S02得到的语义识别特征以及步骤S03得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。
2.根据权利要求1所述的基于语义识别的三维模型重建方法，其特征在于，所述步骤S01中，对点云数据进行特征提取时，先将点云数据切分为多个块的集合，然后对切分得到的每个分块中点进行统计计算，提取得到对应各分块的点云特征。
3.根据权利要求1所述的基于语义识别的三维模型重建方法，其特征在于，所述步骤S02中，根据所述图像特征以及点云特征建立关联图编码器包括：
将步骤S01得到的所有的所述图像特征以及点云特征分别划分为多个节点，每一个节点与最近邻节点构建形成边，构建得到关联图子图编码器；
分别以各所述关联图子图编码器的输出特征作为节点，每一个节点与最近邻节点构建形成边，构建得到父图编码器，由所述父图编码器输出编码形成的融合特征，即为目标物体的语义识别特征。
4.根据权利要求3所述的基于语义识别的三维模型重建方法，其特征在于，所述关联图子图编码器按照下式构建得到：
Figure FDA0003803142760000011
其中，
Figure FDA0003803142760000012
表示将点云数据划分为多个分块后第pi个分块区域内的点云特征对应的节点，
Figure FDA0003803142760000013
表示第i个图像特征向量对应的节点，P表示所有的点云数据，epart表示关联图子图编码器的网络模型。
5.根据权利要求3所述的基于语义识别的三维模型重建方法，其特征在于，所述父图编码器按照下式构建得到：
Figure FDA0003803142760000021
其中，egraph表示父图编码器的网络模型，
Figure FDA0003803142760000022
表示第gi-1个关联图子图编码器的输出特征对应的节点，Ci表示全部节点，Ri表示全部节点之间的关联关系。
6.根据权利要求3或4或5中任意一项所述的基于语义识别的三维模型重建方法，其特征在于，所述解码器网络使用所述父图编码器作为节点构建得到，输出恢复出的目标物体的三维模型。
7.根据权利要求6所述的基于语义识别的三维模型重建方法，其特征在于，所述解码器网络按照下式构建得到：
Figure FDA0003803142760000023
其中，dgraph表示解码器网络的图网络模型，
Figure FDA0003803142760000024
表示第pj个父图编码器的输出特征对应的节点，pj表示点云中的点云块特征，P′表示恢复出的全部点云，
Figure FDA0003803142760000025
表示最终重建出的第pj个分块区域点云数据和第j个图像数据。
8.根据权利要求1～5中任意一项所述的基于语义识别的三维模型重建方法，其特征在于，所述步骤S04中，采用几何损失函数对网络进行训练，所述几何损失函数为：
Figure FDA0003803142760000026
其中，CD表示几何损失的计算，pi，p′j分别表示重建点云和真实点云，
Figure FDA0003803142760000027
和
Figure FDA0003803142760000028
分别表示重建点云和真实点云的点数，xi，xj分别表示点云中的两个点，
Figure FDA0003803142760000029
表示xi，xj两个点之间的欧氏距离。
9.一种基于语义识别的三维模型重建系统，其特征在于，包括：
特征提取模块，用于获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；
语义识别模块，用于根据所述图像特征以及点云特征建立关联图编码器，由所述关联图编码器将所述图像特征与所述点云特征编码成融合特征，得到目标物体的语义识别特征；
模板匹配模块，用于将语义识别模块得到的所述语义识别特征输入至预先构建的三维模型数据库中，得到与所述语义识别特征匹配的语义识别特征模板，所述三维模型数据库中存储有不同物体所对应的语义识别特征模板；
三维重建模块，用于将所述语义识别模块得到的语义识别特征以及所述模板匹配模块得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。
10.一种计算机系统，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方法。
CN202210988946.8A 2022-08-17 2022-08-17 一种基于语义识别的三维模型重建方法及系统 Pending CN115423938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210988946.8A CN115423938A (zh) 2022-08-17 2022-08-17 一种基于语义识别的三维模型重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210988946.8A CN115423938A (zh) 2022-08-17 2022-08-17 一种基于语义识别的三维模型重建方法及系统

Publications (1)

Publication Number Publication Date
CN115423938A true CN115423938A (zh) 2022-12-02

Family

ID=84199001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210988946.8A Pending CN115423938A (zh) 2022-08-17 2022-08-17 一种基于语义识别的三维模型重建方法及系统

Country Status (1)

Country Link
CN (1) CN115423938A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116978011A (zh) * 2023-08-23 2023-10-31 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN117253013A (zh) * 2023-11-07 2023-12-19 中国科学院空天信息创新研究院 基于协同感知的分布式三维重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116978011A (zh) * 2023-08-23 2023-10-31 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN116978011B (zh) * 2023-08-23 2024-03-15 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN117253013A (zh) * 2023-11-07 2023-12-19 中国科学院空天信息创新研究院 基于协同感知的分布式三维重建方法
CN117253013B (zh) * 2023-11-07 2024-02-23 中国科学院空天信息创新研究院 基于协同感知的分布式三维重建方法

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
Vu et al. High accuracy and visibility-consistent dense multiview stereo
Kumar et al. Monocular fisheye camera depth estimation using sparse lidar supervision
Doulamis et al. Transforming Intangible Folkloric Performing Arts into Tangible Choreographic Digital Objects: The Terpsichore Approach.
CN115423938A (zh) 一种基于语义识别的三维模型重建方法及系统
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN113379646B (zh) 一种利用生成对抗网络进行稠密点云补全的算法
Chen et al. 3d point cloud processing and learning for autonomous driving
CN110197505B (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN113345082B (zh) 一种特征金字塔多视图三维重建方法和系统
GB2573170A (en) 3D Skeleton reconstruction from images using matching 2D skeletons
CN114359509A (zh) 一种基于深度学习的多视图自然场景重建方法
CN115984494A (zh) 一种基于深度学习的月面导航影像三维地形重建方法
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN113256699B (zh) 图像处理方法、装置、计算机设备和存储介质
Chen et al. Research on 3D reconstruction based on multiple views
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN112906675B (zh) 一种固定场景中的无监督人体关键点检测方法及系统
Mei Point cloud registration with self-supervised feature learning and beam search
CN112132950B (zh) 一种基于众包图像的三维点云场景更新方法
CN115063542A (zh) 一种几何不变量的预测和模型构建方法与系统
Tripodi et al. Brightearth: Pipeline for on-the-fly 3D reconstruction of urban and rural scenes from one satellite image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination