CN117115366B - 基于无人系统三维感知的环境模型重建方法、系统及设备 - Google Patents
基于无人系统三维感知的环境模型重建方法、系统及设备 Download PDFInfo
- Publication number
- CN117115366B CN117115366B CN202311390432.3A CN202311390432A CN117115366B CN 117115366 B CN117115366 B CN 117115366B CN 202311390432 A CN202311390432 A CN 202311390432A CN 117115366 B CN117115366 B CN 117115366B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- filling
- representing
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008447 perception Effects 0.000 title claims abstract description 27
- 230000007613 environmental effect Effects 0.000 title claims description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000000280 densification Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 64
- 230000000295 complement effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 238000012550 audit Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 239000000945 filler Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Architecture (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于三维模型重建领域，具体涉及了一种基于无人系统三维感知的环境模型重建方法、系统及设备，旨在解决现有的模型重建方法容易出现缺乏完整的传感信息的问题。本发明包括：获取待处理三维点云数据；基于待处理三维点云数据进行视觉语义解析获得语义解析结果；基于语义解析结果选出待处理三维点云数据中的设定目标的点云；基于设定目标的点云进行离群点去除，获得关键点云；通过语义监督下的点云填充网络进行稠密化和补全，获得填充点云补全关键点云获得补全三维点云数据；通过场景重建算法构建三维环境模型。本发明通过结合感知区域的目标类别信息为接下来的点云补全提供目标表观和形态的先验知识，最终提高模型重建的精度，减少冗余计算。
Description
技术领域
本发明属于三维模型重建领域，具体涉及了一种基于无人系统三维感知的环境模型重建方法、系统及设备。
背景技术
随着模式识别与人工智能的发展，在人类生活中，对于智能机器人的功能性要求也越来越精细。环境感知和环境重建是机器人、自动驾驶等无人系统进行自主导航和决策的重要环节。在与环境进行频繁交互的过程中，视觉解析程度需要更加精细。这不只是图像的检测与识别，而是三维空间上的感知与认知。与图像相比，点云数据可以提供更详细的三维空间信息并且不受旋转、光照条件的影响，但三维点云数据解析的挑战性更大，计算量也会程指数增长。另外，从激光雷达等设备获取的三维点云数据本身具有稀疏性和非规则性，在一些小目标上扫描到的有效数据会更少，并且由于扫描角度或者物体遮挡等原因，造成得到的物体点云数据是缺失、不完整的。由于缺乏完整的传感信息，从缺失的点云数据中，想准确获取感知结果，并精确实现三维重建，这本身也成了“病态”问题。
发明内容
为了解决现有技术中的上述问题，即现有的模型重建方法基于图像的方法容易受到视角、光照条件的影响，采用点云进行重建的方法计算量过大或容易受到遮挡等因素导致的缺乏完整的传感信息的问题，本发明提供了一种基于无人系统三维感知的环境模型重建方法，所述方法包括：
步骤S1，通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；
步骤S2，基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
步骤S3，基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；
步骤S4，基于所述设定目标的点云进行离群点去除，获得关键点云；
步骤S5，基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
步骤S6，基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。
在一些优选的实施方式中，所述步骤S2，具体包括：
基于所述待处理三维点云数据，通过视觉语义解析网络计算语义解析结果：
；
其中，表示待处理三维点云数据，/>表示待处理三维点云数据中的第/>个数据点/>在X轴、Y轴和Z轴上的坐标值，/>表示待处理三维点云数据的数据点总数，/>表示视觉语义解析网络，/>表示视觉语义解析网络的权重，/>表示第c类中的第m个目标的点云，/>表示三维实数集，视觉语义解析网络的输出为待处理三维点云数据中每一个数据点的类别信息作为语义解析结果。
通过本步骤对待处理三维点云数据进行语义解析的方法，有利于后续步骤中有针对性的对感兴趣的目标进行锁定，可以初步筛除环境背景、无关目标的干扰，结合感知区域的目标类别信息可以为接下来的点云补全提供目标表观和形态的先验知识。
在一些优选的实施方式中，所述步骤S5，具体包括：
基于所述关键点云，对于第c类中的第m个目标，通过语义监督下的点云填充网络根据语义监督信息和关键点云/>，学习构成所述第c类语义目标的特征，获得填充点云/>：
；
将填充点云补全至关键点云/>中，获得补全三维点云数据。
通过本步骤对关键点云的稠密化和填充，即只对设定类别的点云数据进行稠密化处理和填充，减少了大量的计算量，并且通过语义监督的方式进行填充使得点云填充网络减少了对外部信息的依赖，只学习数据或者特征的内部相关性，从而使填充更可控，填充后的补全点云数据质量更高，进一步提高了模型重建的精度。
在一些优选的实施方式中，所述语义监督下的点云填充网络，包括填充网络/>和审核网络/>，并通过对抗训练和多重审核的方式进行网络的优化：
步骤A1，获取三维点云训练集；
步骤A2，基于所述三维点云训练集，通过所述填充网络获取训练集填充点云；
步骤A3，基于所述训练集填充点云，通过所述审核网络获取训练集填充点云的评价值；
步骤A4，基于所述训练集填充点云的评价值，计算填充损失函数；
步骤A5，通过随机梯度算法，重复步骤A2至步骤A4直至所述填充损失函数低于设定的阈值，获得训练好的点云填充网络/>。
本步骤中，通过对抗训练和多重审核的方式优化网络参数，能够提高最终生成的填充点云的逼真程度，获得更精确的补全三维点云数据。
在一些优选的实施方式中，所述填充损失函数包括：
；
其中，表示产生的填充点云的真假的损失，/>表示填充点云归属类别的准确性损失，/>表示加入填充点云后的点云数据与目标类别点云数据的结构相似性损失，/>和/>表示平衡权重；
所述产生的填充点云的真假的损失为：
；
其中，表示向审核网络/>输入三维点云训练集/>时审核网络/>的输出，表示向审核网络输入由填充网络/>生成的点云时审核网络/>的输出，/>表示期望；
所述填充点云归属类别的准确性损失为：
；
其中，表示通过填充网络/>根据三维点云训练集/>生成的点云中第/>个数据点，/>表示交叉熵损失函数，/>表示/>的预测置信度，/>表示/>的类别标签；
所述加入填充点云后的点云与目标类别点云的结构相似性损失为：
；
表示将输入的三维点云训练集/>映射到二维特征空间，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间，表示两个输入特征的结构相似性指标，/>表示均值，/>表示将输入的三维点云训练集/>映射到二维特征空间后特征的均值，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的均值，/>表示方差，表示将输入的三维点云训练集/>映射到二维特征空间后特征的方差，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的方差，/>和/>表示常数。
在一些优选的实施方式中，在所述步骤S6之前，还包括判断补全三维点云数据是否合格的步骤，包括：
步骤B1，基于所述补全三维点云数据，计算分辨率和完整度；
步骤B2，分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到步骤S2，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。
在一些优选的实施方式中，所述所述更新待处理三维点云数据回到步骤S2，具体包括：
将上一轮次的所述填充点云和上一轮次的待处理三维点云数据的并集作为当前轮次的待处理三维点云数据：
；
其中，表示上一轮次的所有类所有目标的填充点云，/>表示上一轮次的待处理三维点云数据，/>表示当前轮次的待处理三维点云数据，/>表示迭代轮次。
本步骤本质上是在获得丰富的点云后进一步进行视觉语义解析和点云填充，通过迭代的方式矫正判别分类信息和空间细节信息，最终获得设定目标的精细感知结果，更进一步提高了后续三维模型的重建精度和空间细节。
本发明的另一方面，公开了一种基于无人系统三维感知的环境模型重建系统，所述系统包括：
点云获取单元，配置为通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；
视觉语义解析单元，配置为基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
目标划分单元，配置为基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；
目标集去噪单元，配置为基于所述设定目标的点云进行离群点去除，获得关键点云；
填充点云获取单元，配置为基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
三维模型构建单元，配置为基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。
在一些优选的实施方式中，所述系统还包括迭代更新单元，包括：
基于所述补全三维点云数据，计算分辨率和完整度；
分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到视觉语义解析单元，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。
本发明的第三方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于无人系统三维感知的环境模型重建方法。
本发明的有益效果：
（1）本发明通过对三维点云数据进行视觉语义解析来获得三维场景的语义解析结果，确认点云数据的目标类别，锁定感兴趣目标。利用视觉语义解析网络对场景的三维点云数据进行前期的语义解析，可以初步筛除环境背景、无关目标等干扰，结合感知区域的目标类别信息可以为接下来的点云补全提供目标表观和形态的先验知识，最终提高模型重建的精度。
（2）本发明通过利用语义监督下的点云填充网络对感兴趣目标的稀疏点云数据进行稠密化处理和补全，从而获得三维场景中感兴趣区域的丰富点云。这里只对筛选后的固定类别的点云数据进行稠密化处理和补全，减少了大量的计算。语义监督下的填充网络减少了对外部信息的依赖，而是学习数据或者特征的内部相关性，从而能够填充更可控、质量更高的点云数据，并且填充后的完整点云数据会更有助于感兴趣区域的准确感知。
（3）获得丰富点云后进一步进行视觉语义解析和点云填充，迭代矫正判别分类信息和空间细节信息，最终获得感兴趣区域的精细感知结果，从而引导三维场景的语义化建模。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中基于无人系统三维感知的环境模型重建方法的流程示意图；
图2是本发明实施例中包含了补全三维点云数据是否合格的基于无人系统三维感知的环境模型重建方法的流程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了更清晰地对本发明基于无人系统三维感知的环境模型重建方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明利用一种语义监督下的点云数据填充网络，先获得更可控、质量更高的点云数据，然后基于填充后的完整点云数据实现感兴趣区域的精细感知，可以有效地学习点云数据的判别分类信息和空间细节信息，从而在稀疏的点云数据上完成精细准确的空间感知结果和环境模型重建。
本发明第一实施例的基于无人系统三维感知的环境模型重建方法，包括步骤S1-步骤S6，各步骤详细描述如下：
步骤S1，通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；
可根据架设在无人机、无人车、扫地机器人或能够自行移动的载有点云采集设备的装置依照设定的路径采集目标场景的三维点云，以获得整个目标场景的待处理三维点云数据。
步骤S2，基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
在本实施例中，所述步骤S2，具体包括：
基于所述待处理三维点云数据，通过视觉语义解析网络计算语义解析结果：
；
其中，表示待处理三维点云数据，/>表示待处理三维点云数据中的第/>个数据点/>在X轴、Y轴和Z轴上的坐标值，N表示待处理三维点云数据的数据点总数，/>表示视觉语义解析网络，/>表示视觉语义解析网络的权重，/>表示第c类中的第m个目标的点云，/>表示三维实数集，视觉语义解析网络的输出为待处理三维点云数据中每一个数据点的类别信息作为语义解析结果。
本实施例中可通过任意能够进行点云数据视觉解析的模型进行处理。
步骤S3，基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；
根据语义解析结果，可以知道每个点云数据的目标类别，可以根据点云数据的目标类别选出感兴趣的点云，排除背景信息的干扰，比如对建筑的三维模型进行还原时，可以剔除目标场景中的如落叶、垃圾等点云数据，或者对特定目标进行三维模型重建时就剔除所有除了特定目标种类外的点云，后续仅对目标类别的点云进行处理，以降低计算资源消耗，排除干扰。
步骤S4，基于所述设定目标的点云进行离群点去除，获得关键点云；
在本实施例中，通过双边滤波、标准差去噪或体素滤波的方法进行离群点去除。去除离群点本质上是去除噪声点云和异常点云，突出关键点云，同时减少计算量。
步骤S5，基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
在本实施例中，所述步骤S5，具体包括：
基于所述关键点云，对于第c类中的第m个目标，通过语义监督下的点云填充网络根据语义监督信息和关键点云/>，学习构成所述第c类语义目标的特征，获得填充点云/>：
；
将填充点云补全至关键点云/>中，获得补全三维点云数据
点云填充网络会根据语义监督信息学习构成该类语义目标的特征。
对关键点云的稠密化和补全，减少了模型重建过程中，对外部信息的依赖，仅学习数据或者特征的内部相关性，从而能够填充更可控、质量更高的填充点云，进一步提高填充后的补全点云数据对于设定目标的三维重建的准确性。
在本事实例中，所述语义监督下的点云填充网络，包括填充网络G和审核网络D，并通过对抗训练和多重审核的方式进行网络的优化：
步骤A1，获取三维点云训练集S；
步骤A2，基于所述三维点云训练集，通过所述填充网络G获取训练集填充点云；
步骤A3，基于所述训练集填充点云，通过所述审核网络D获取训练集填充点云的评价值；
在本步骤中，通过审核网络D来判断G产生的填充点云的质量，包括评价点云的真假、点云的类别以及加入填充后的点云与目标类别点云之间的结构相似性；
步骤A4，基于所述训练集填充点云的评价值，计算填充损失函数；
在本实施例中，所述填充损失函数，具体为：
；
其中，表示产生的填充点云的真假的损失，/>表示填充点云归属类别的准确性损失，/>表示加入填充点云后的点云数据与目标类别点云数据的结构相似性损失，/>和/>表示平衡权重；
所述产生的填充点云的真假的损失为：
；
其中，表示向审核网络/>输入三维点云训练集/>时审核网络/>的输出，表示向审核网络输入由填充网络/>生成的点云时审核网络/>的输出，E表示期望；
所述填充点云归属类别的准确性损失为：
；
其中，表示通过填充网络/>根据三维点云训练集/>生成的点云中第/>个数据点，/>表示交叉熵损失函数，/>表示/>的预测置信度，/>表示/>的类别标签；所述加入填充点云后的点云与目标类别点云的结构相似性损失/>为：
；
表示将输入的三维点云训练集/>映射到二维特征空间，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间，表示两个输入特征的结构相似性指标，/>表示均值，/>表示将输入的三维点云训练集/>映射到二维特征空间后特征的均值，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的均值，/>表示方差，表示将输入的三维点云训练集/>映射到二维特征空间后特征的方差，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的方差，/>和/>表示常数。
传统的对抗数据生成是在没有任何约束条件下，判别数据是真实数据还是生成的样本，这使得模型训练不稳定，难以得到完美的生成网络。而对于我们的填充网络，不仅增加了语义监督信息，还要限制填充点云后的点云数据与原始点云数据保持结构上的相似性，因此我们特别提出的损失函数，额外增加了两个约束项，这两个约束项分别在从填充点云的类别和结构上进行了多重优化，使我们模型可以产生更精准的点云数据。
步骤A5，通过随机梯度算法，重复步骤A2至步骤A4直至所述填充损失函数低于设定的阈值，获得训练好的点云填充网络/>。
本实施例中，通过由语义监督下的填充网络和审核网络/>进行对抗训练来完成网络模型的优化，让审核网络/>判别填充网络/>填充的点云的质量，提高填充网络/>生成的点云的质量的同时使审判网络的判别更加严谨，结果更加精准。在完成训练后的应用阶段，仅通过填充网络/>进行填充点云的生成。
在本实施例中，在所述步骤S6之前，还包括判断补全三维点云数据是否合格的步骤，如图2所示，包括：
步骤B1，基于所述补全三维点云数据，计算分辨率和完整度；
步骤B2，分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到步骤S2，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。
在本实施例中，通过两点之间间隔距离来表示分辨率；通过分类模型的置信度衡量完整度，对一个目标分类的置信度越高，则完整度越大；或者通过人工干预的方式对分辨率和完整度进行测量。
在本实施例中，所述更新待处理三维点云数据回到步骤S2，具体包括：
将上一轮次的所述填充点云和上一轮次的待处理三维点云数据的并集作为当前轮次的待处理三维点云数据：
；
其中，表示上一轮次的所有类所有目标的填充点云，/>表示上一轮次的待处理三维点云数据，/>表示当前轮次的待处理三维点云数据，/>表示迭代轮次。
通过设置判断分辨率和完整度是否达到阈值，对待处理三维点云数据进行更新，本质是在获得丰富的点云并进一步进行视觉语义解析和点云填充，迭代矫正判别分类信息和空间细节信息，最终获得感兴趣区域的精细感知结果。
步骤S6，基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明的第二实施例，提供了一种将基于无人系统三维感知的环境模型重建系统应用于无人驾驶领域的方法：
通过在无人车或无人机上设置激光雷达，实时探测无人车或无人机周围的点云数据，作为待处理三维点云数据；
基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
将设定目标设置为行人、车辆，选出行人、车辆的关键点云；
基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
通过对补全三维点云数据进行模型重建、跟踪和位置识别，能够准确预测目标的动向以进行规避，进而实现自动驾驶或自动寻路。
本发明第三实施例的基于无人系统三维感知的环境模型重建系统，所述系统包括：
点云获取单元，配置为通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；
视觉语义解析单元，配置为基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
目标划分单元，配置为基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；
目标集去噪单元，配置为基于所述设定目标的点云进行离群点去除，获得关键点云；
填充点云获取单元，配置为基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
三维模型构建单元，配置为基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于无人系统三维感知的环境模型重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于无人系统三维感知的环境模型重建方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于无人系统三维感知的环境模型重建方法，其特征在于，所述方法包括：
步骤S1，通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；
步骤S2，基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
步骤S3，基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；
步骤S4，基于所述设定目标的点云进行离群点去除，获得关键点云；
步骤S5，基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
所述语义监督下的点云填充网络，包括填充网络G和审核网络D，并通过对抗训练和多重审核的方式进行网络的优化：
步骤A1，获取三维点云训练集S；
步骤A2，基于所述三维点云训练集，通过所述填充网络G获取训练集填充点云；
步骤A3，基于所述训练集填充点云，通过所述审核网络D获取训练集填充点云的评价值；
步骤A4，基于所述训练集填充点云的评价值，计算填充损失函数；
所述填充损失函数具体为：
；
其中，表示产生的填充点云的真假的损失，/>表示填充点云归属类别的准确性损失，/>表示加入填充点云后的点云数据与目标类别点云数据的结构相似性损失，/>和/>表示平衡权重；
所述产生的填充点云的真假的损失为：
；
其中，表示向审核网络/>输入三维点云训练集/>时审核网络/>的输出，/>表示向审核网络输入由填充网络/>生成的点云时审核网络/>的输出，/>表示期望；
所述填充点云归属类别的准确性损失为：
；
其中，表示通过填充网络/>根据三维点云训练集/>生成的点云中第/>个数据点，表示交叉熵损失函数，/>表示/>的预测置信度，/>表示/>的类别标签；
所述加入填充点云后的点云与目标类别点云的结构相似性损失 为：
；
表示将输入的三维点云训练集/>映射到二维特征空间，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间，/>表示两个输入特征的结构相似性指标，/>表示均值，/>表示将输入的三维点云训练集映射到二维特征空间后特征的均值，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的均值，/>表示方差，/>表示将输入的三维点云训练集/>映射到二维特征空间后特征的方差，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的方差，和/>表示常数；
步骤A5，通过随机梯度算法，重复步骤A2至步骤A4直至所述填充损失函数低于设定的阈值，获得训练好的点云填充网络/>；
步骤S6，基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。
2.根据权利要求1所述的基于无人系统三维感知的环境模型重建方法，其特征在于，所述步骤S2，具体包括：
基于所述待处理三维点云数据，通过视觉语义解析网络计算语义解析结果：
；
其中，表示待处理三维点云数据，/>表示待处理三维点云数据中的第/>个数据点/>在X轴、Y轴和Z轴上的坐标值，/>表示待处理三维点云数据的数据点总数，/>表示视觉语义解析网络，/>表示视觉语义解析网络的权重，/>表示第c类中的第m个目标的点云，/>表示三维实数集，视觉语义解析网络的输出为待处理三维点云数据中每一个数据点的类别信息作为语义解析结果。
3.根据权利要求2所述的基于无人系统三维感知的环境模型重建方法，其特征在于，所述步骤S5，具体包括：
基于所述关键点云，对于第c类中的第m个目标，通过语义监督下的点云填充网络根据语义监督信息和关键点云/>，学习构成所述第c类语义目标的特征，获得填充点云/>：
；
将填充点云补全至关键点云/>中，获得补全三维点云数据。
4.根据权利要求1所述的基于无人系统三维感知的环境模型重建方法，其特征在于，在所述步骤S6之前，还包括判断补全三维点云数据是否合格的步骤，包括：
步骤B1，基于所述补全三维点云数据，计算分辨率和完整度；
步骤B2，分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到步骤S2，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。
5.根据权利要求4所述的基于无人系统三维感知的环境模型重建方法，其特征在于，所述更新待处理三维点云数据回到步骤S2，具体包括：
将上一轮次的所述填充点云和上一轮次的待处理三维点云数据的并集作为当前轮次的待处理三维点云数据：
；
其中，表示上一轮次的所有类所有目标的填充点云，/>表示上一轮次的待处理三维点云数据，/>表示当前轮次的待处理三维点云数据，/>表示迭代轮次。
6.一种基于无人系统三维感知的环境模型重建系统，其特征在于，所述系统包括：
点云获取单元，配置为通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；
视觉语义解析单元，配置为基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；
目标划分单元，配置为基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；
目标集去噪单元，配置为基于所述设定目标的点云进行离群点去除，获得关键点云；
填充点云获取单元，配置为基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；
所述语义监督下的点云填充网络，包括填充网络G和审核网络D，并通过对抗训练和多重审核的方式进行网络的优化：
步骤A1，获取三维点云训练集S；
步骤A2，基于所述三维点云训练集，通过所述填充网络G获取训练集填充点云；
步骤A3，基于所述训练集填充点云，通过所述审核网络D获取训练集填充点云的评价值；
步骤A4，基于所述训练集填充点云的评价值，计算填充损失函数；
所述填充损失函数具体为：
；
其中，表示产生的填充点云的真假的损失，/>表示填充点云归属类别的准确性损失，/>表示加入填充点云后的点云数据与目标类别点云数据的结构相似性损失，/>和/>表示平衡权重；
所述产生的填充点云的真假的损失为：
；
其中，表示向审核网络/>输入三维点云训练集/>时审核网络/>的输出，/>表示向审核网络输入由填充网络/>生成的点云时审核网络/>的输出，/>表示期望；
所述填充点云归属类别的准确性损失为：
；
其中，表示通过填充网络/>根据三维点云训练集/>生成的点云中第/>个数据点，表示交叉熵损失函数，/>表示/>的预测置信度，/>表示/>的类别标签；
所述加入填充点云后的点云与目标类别点云的结构相似性损失 为：
；
表示将输入的三维点云训练集/>映射到二维特征空间，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间，/>表示两个输入特征的结构相似性指标，/>表示均值，/>表示将输入的三维点云训练集映射到二维特征空间后特征的均值，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的均值，/>表示方差，/>表示将输入的三维点云训练集/>映射到二维特征空间后特征的方差，/>表示将输入的三维点云训练集/>和通过填充网络/>生成的点云共同映射到二维特征空间后特征的方差，和/>表示常数；
步骤A5，通过随机梯度算法，重复步骤A2至步骤A4直至所述填充损失函数低于设定的阈值，获得训练好的点云填充网络/>；
三维模型构建单元，配置为基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。
7.根据权利要求6所述的基于无人系统三维感知的环境模型重建系统，其特征在于，所述系统还包括迭代更新单元，包括：
基于所述补全三维点云数据，计算分辨率和完整度；
分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到视觉语义解析单元，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-5任一项所述的基于无人系统三维感知的环境模型重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311390432.3A CN117115366B (zh) | 2023-10-25 | 2023-10-25 | 基于无人系统三维感知的环境模型重建方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311390432.3A CN117115366B (zh) | 2023-10-25 | 2023-10-25 | 基于无人系统三维感知的环境模型重建方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115366A CN117115366A (zh) | 2023-11-24 |
| CN117115366B true CN117115366B (zh) | 2024-02-13 |
Family
ID=88807802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311390432.3A Active CN117115366B (zh) | 2023-10-25 | 2023-10-25 | 基于无人系统三维感知的环境模型重建方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115366B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192313A (zh) * | 2019-12-31 | 2020-05-22 | 深圳优地科技有限公司 | 机器人构建地图的方法、机器人及存储介质 |
| CN114842438A (zh) * | 2022-05-26 | 2022-08-02 | 重庆长安汽车股份有限公司 | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 |
| WO2023045252A1 (zh) * | 2021-09-26 | 2023-03-30 | 浪潮电子信息产业股份有限公司 | 模型训练、点云缺失补全方法、装置、设备及介质 |
| CN116503825A (zh) * | 2023-04-07 | 2023-07-28 | 清华大学深圳国际研究生院 | 自动驾驶场景下基于图像与点云融合的语义场景补全方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10013507B2 (en) * | 2013-07-01 | 2018-07-03 | Here Global B.V. | Learning synthetic models for roof style classification using point clouds |
-
2023
- 2023-10-25 CN CN202311390432.3A patent/CN117115366B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192313A (zh) * | 2019-12-31 | 2020-05-22 | 深圳优地科技有限公司 | 机器人构建地图的方法、机器人及存储介质 |
| WO2023045252A1 (zh) * | 2021-09-26 | 2023-03-30 | 浪潮电子信息产业股份有限公司 | 模型训练、点云缺失补全方法、装置、设备及介质 |
| CN114842438A (zh) * | 2022-05-26 | 2022-08-02 | 重庆长安汽车股份有限公司 | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 |
| CN116503825A (zh) * | 2023-04-07 | 2023-07-28 | 清华大学深圳国际研究生院 | 自动驾驶场景下基于图像与点云融合的语义场景补全方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115366A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wen et al. | Directionally constrained fully convolutional neural network for airborne LiDAR point cloud classification | |
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| JP6550403B2 (ja) | 動的シーン分析方法、関連する分析モジュール、およびコンピュータプログラム | |
| CN109740588B (zh) | 基于弱监督和深度响应重分配的x光图片违禁品定位方法 | |
| US11756308B2 (en) | Neural network device and method using a neural network for sensor fusion | |
| CN112819110B (zh) | 基于权重生成的增量式小样本目标检测方法及系统 | |
| EP3384358B1 (en) | Stochastic map-aware stereo vision sensor model | |
| CN112651995A (zh) | 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法 | |
| CN112639819A (zh) | 使用多个传感器和复杂度降低的神经网络进行对象检测 | |
| JP2024513596A (ja) | 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体 | |
| Yang et al. | Toward country scale building detection with convolutional neural network using aerial images | |
| CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
| Jasim | Using of machines learning in extraction of urban roads from DEM of LIDAR data: Case study at Baghdad expressways, Iraq | |
| Liebel et al. | A generalized multi-task learning approach to stereo DSM filtering in urban areas | |
| CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
| CN117115366B (zh) | 基于无人系统三维感知的环境模型重建方法、系统及设备 | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| Morell et al. | 3d maps representation using gng | |
| CN114863235A (zh) | 一种异质遥感图像的融合方法 | |
| Sayed et al. | Point clouds reduction model based on 3D feature extraction | |
| Kumar et al. | An efficient method for road tracking from satellite images using hybrid multi-kernel partial least square analysis and particle filter | |
| Dobbs et al. | Smart-Tree: Neural Medial Axis Approximation of Point Clouds for 3D Tree Skeletonization | |
| CN112507826A (zh) | 一种端到端生态变化监测方法、终端、计算机设备及介质 | |
| Beker et al. | Deep Learning for Subtle Volcanic Deformation Detection With InSAR Data in Central Volcanic Zone | |
| CN115953584B (zh) | 一种具有可学习稀疏性的端到端目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |