CN113409227B - 点云图修补方法、装置、电子设备和存储介质 - Google Patents
点云图修补方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113409227B CN113409227B CN202110951779.5A CN202110951779A CN113409227B CN 113409227 B CN113409227 B CN 113409227B CN 202110951779 A CN202110951779 A CN 202110951779A CN 113409227 B CN113409227 B CN 113409227B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- picture
- cloud picture
- incomplete
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 114
- 239000013598 vector Substances 0.000 claims abstract description 77
- 238000006073 displacement reaction Methods 0.000 claims abstract description 50
- 230000007547 defect Effects 0.000 claims abstract description 24
- 230000008439 repair process Effects 0.000 claims abstract description 3
- 238000004590 computer program Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- -1 for example Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种点云图修补方法、装置、电子设备和存储介质。获取对物体进行拍摄所得到的残缺点云图及系统预设的数模点云图；将数模点云图转换到残缺点云图所在的坐标系中，获得转换点云图；在残缺点云图所在的坐标系中，计算转换点云图偏离残缺点云图的位移偏差向量；根据位移偏差向量在残缺点云图所在的坐标系中移动转换点云图；判断移动后的转换点云图是否与残缺点云图重合；在移动后的转换点云图与残缺点云图重合时，在转换点云图中确定残缺点云图相对于转换点云图残缺的点云块；利用点云块填补残缺点云图，生成所述物体的修复点云图。采用本发明提供的方案能对复杂物体点云图中的残缺部分进行修补，修补准确率高，更贴近物体本身的形貌。
Description
技术领域
本发明涉及点云图处理技术领域，尤其涉及一种点云图修补方法、装置、电子设备和存储介质。
背景技术
随着科技的发展，市面上涌现出了许多基于不同原理的三维相机，例如结构光、线激光、双目视觉和时间飞行法（TOF）等。这些三维相机可以获得其视野内的三维信息，从而实现对物体的类型识别、姿态估计、尺寸测量等实用功能。
工业生产过程中，现在已有很多基于三维视觉对杂乱摆放的物体的识别定位抓取应用，但三维相机对于一些材质的物体难以获得其准确的三维信息，比如吸光、反光、透明等材质就难以用结构光三维相机生成准确的点云，导致最终获得的物体点云在这些材质的部位会存在空洞，可能会对后续操作造成困难，比如生产过程中的打磨路径实时规划就会因为点云存在空洞而可能导致规划的打磨路径受到干扰。
发明内容
为解决通过结构光三维相机获取的点云图存在空洞的技术问题，本发明实施例提供一种点云图修补方法、装置、电子设备和存储介质。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种点云图修补方法，方法包括：
获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；
将数模点云图转换到残缺点云图所在的坐标系中，获得转换点云图；
在残缺点云图所在的坐标系中，计算转换点云图偏离残缺点云图的位移偏差向量；
根据位移偏差向量在残缺点云图所在的坐标系中移动转换点云图；
判断移动后的转换点云图是否与残缺点云图重合；
在移动后的转换点云图与残缺点云图重合的情况下，在转换点云图中确定残缺点云图相对于转换点云图残缺的点云块；
利用点云块填补残缺点云图，生成物体的修复点云图。
上述方案中，将数模点云图转换到残缺点云图所在的坐标系中，获得转换点云图包括：
对残缺点云图和数模点云图进行点云配准，获得将数模点云图转换至残缺点云图所在坐标系的转换矩阵；
根据转换矩阵将数模点云图转换至残缺点云图所在的坐标系，获得转换点云图。
上述方案中，计算转换点云图偏离残缺点云图的位移偏差向量包括：
分别对转换点云图中的每个点云确定在残缺点云图的所有点云中距离转换点云图中的每个点云欧式距离最近的配对点云，将转换点云图中的每个点云与对应的残缺点云图中的配对点云进行配对；
根据配对情况，在残缺点云图的所有点云中获取与转换点云图中的多个点云进行配对的第一点云，将第一点云组合成第一点云集合；
根据第一点云集合确定第一点云集合所组成的点云轮廓的质心；
在转换点云图的所有点云中，获取距离第一点云欧式距离最近的第二点云，将第二点云组合成第二点云集合；
确定第二点云集合中的所有第二点云与质心组成的第一向量集合；
根据第一向量集合计算转换点云图偏离残缺点云图的位移偏差向量。
上述方案中，根据第一向量集合计算转换点云图偏离残缺点云图的位移偏差向量包括：
根据第一向量集合利用如下公式（1）计算转换点云图偏离残缺点云图的位移偏差向量：
其中，
表示位移偏差向量，
表示第一向量集合中的第i个第一向量；
表示第二点云集合中的第i个第二点云；
表示质心；
表示第一向量集合中所有第一向量的总个数。
上述方案中，判断移动后的转换点云图是否与残缺点云图重合包括：
在移动后的转换点云图的所有点云中，获取距离第一点云欧式距离最近的第三点云，将第三点云组合成第三点云集合；
分别确定第三点云集合中的所有第三点云与对应的第一点云的欧式点云距离；
根据所有的欧式点云距离确定第三点云集合的平均欧式点云距离；
利用平均欧式点云距离与预设点云距离，判断移动后的转换点云图是否与残缺点云图重合。
上述方案中，根据所有的欧式点云距离确定第三点云集合的平均欧式点云距离包括：
根据所有的欧式点云距离利用如下公式（2）确定第三点云集合的平均欧式点云距离：
其中，
表示平均欧式点云距离；
表示第三点云集合中第i个第三点云与对应的第一点云的欧式点云距离；
表示第三点云集合中第i个第三点云；
表示第三点云集合中第i个第三点云所对应的第一点云；
表示第三点云集合中所有第三点云的总个数。
上述方案中，利用平均欧式点云距离与预设点云距离，判断移动后的转换点云图是否与残缺点云图重合之后，方法还包括：
在判断移动后的转换点云图没有与残缺点云图重合之后，重新计算移动后的转换点云图偏离残缺点云图的位移偏差向量；根据位移偏差向量在残缺点云图所在的坐标系中继续移动转换点云图；并继续判断移动后的转换点云图是否与残缺点云图重合；以此循环，直至移动后的转换点云图与残缺点云图重合为止，或直至移动次数到达预设次数为止。
上述方案中，在转换点云图中确定残缺点云图相对于转换点云图残缺的点云块包括：
根据第三点云集合确定第三点云集合中的所有第三点云所组成的第一点云轮廓；
在移动后的转换点云图中获取点云轮廓为第一点云轮廓的点云块；
将点云轮廓为第一点云轮廓的点云块作为残缺点云图相对于转换点云图残缺的点云块。
本发明实施例还提供了一种点云图修补装置，点云图修补装置包括：
获取模块，用于获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；
转换模块，用于将数模点云图转换到残缺点云图所在的坐标系中，获得转换点云图；
计算模块，用于在残缺点云图所在的坐标系中，计算转换点云图偏离残缺点云图的位移偏差向量；
移动模块，用于根据位移偏差向量在残缺点云图所在的坐标系中移动转换点云图；
判断模块，用于判断移动后的转换点云图是否与残缺点云图重合；
确定模块，用于在移动后的转换点云图与残缺点云图重合的情况下，在转换点云图中确定残缺点云图相对于转换点云图残缺的点云块；
生成模块，用于利用点云块填补残缺点云图，生成物体的修复点云图。
本发明实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
处理器用于运行计算机程序时，执行上述任一方法的步骤。
本发明实施例还提供了一种存储介质，存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一方法的步骤。
本发明实施例提供的点云图修补方法、装置、电子设备和存储介质，获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；将数模点云图转换到残缺点云图所在的坐标系中，获得转换点云图；在残缺点云图所在的坐标系中，计算转换点云图偏离残缺点云图的位移偏差向量；根据位移偏差向量在残缺点云图所在的坐标系中移动转换点云图；判断移动后的转换点云图是否与残缺点云图重合；在移动后的转换点云图与残缺点云图重合的情况下，在转换点云图中确定残缺点云图相对于转换点云图残缺的点云块；利用点云块填补残缺点云图，生成物体的修复点云图。采用本发明提供的方案能对复杂物体点云图中的残缺部分进行修补，修补准确率高，更贴近物体本身的形貌。
附图说明
图1为本发明实施例点云图修补方法的流程示意图；
图2为本发明应用实施例点云补洞流程示意图；
图3为本发明应用实施例点云配对示意图；
图4为本发明实施例点云图修补装置的结构示意图；
图5为本发明实施例计算机设备的内部结构图。
具体实施方式
下面将结合附图及实施例对本发明作进一步详细的描述。
针对利用结构光三维相机获取的点云图存在空洞的技术问题，目前主要采用的技术方案包括：
（1）通过点云的整体拓扑关系对空洞进行修补。
这种方式主要是通过对于形状较为规则、对称的物体，通过点云图的整体结构及空洞周围的曲率等特征对空洞处所应填充的点云进行合理推理，从而进行修补。但这种方式对于形状复杂的物体容易将空洞修补为与实际物体完全不同的形貌。
（2）通过深度学习训练的神经网络对空洞进行修补。
这种方式主要是通过深度学习训练的神经网络来对点云图中的空洞进行修补，但这种方式同样无法适用于形貌复杂的物体的点云图空洞修补，只适用于规则物体的空洞修补。
基于此，本实施例提供一种基于物体数模的点云补洞方法，通过物体数模点云图与实际物体的点云图进行配准后自动寻找空洞，并在考虑物体本身公差的情况下对物体点云图进行准确的补洞。
具体地，本发明实施例提供了一种点云图修补方法，如图1所示，该方法包括：
步骤101：获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；
步骤102：将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图；
步骤103：在所述残缺点云图所在的坐标系中，计算所述转换点云图偏离所述残缺点云图的位移偏差向量；
步骤104：根据所述位移偏差向量在所述残缺点云图所在的坐标系中移动所述转换点云图；
步骤105：判断移动后的所述转换点云图是否与所述残缺点云图重合；
步骤106：在移动后的所述转换点云图与所述残缺点云图重合的情况下，在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块；
步骤107：利用所述点云块填补所述残缺点云图，生成所述物体的修复点云图。
具体地，可利用结构光三维相机对物体进行拍摄获得拍摄后的残缺点云图。由于物体可能包含一些特殊的材质（例如吸光、反光、透明等材质），因此，导致通过结构光三维相机获取的点云图并不完整，存在空洞等残缺，并不能用于实际的使用，因此，需要对通过该结构光三维相机拍摄获取的残缺点云图进行修补，以实现该物体点云图的使用。
进一步地，在生产制造物体时，一般生产厂家会根据物体的3D数模文件进行生产制造。因此，本实施例中可将该物体生产制造时所依据的3D数据文件所对应的点云图作为系统预设的数模点云图。
实际应用时，在一实施例中，所述将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图包括：
对所述残缺点云图和所述数模点云图进行点云配准，获得将所述数模点云图转换至所述残缺点云图所在坐标系的转换矩阵；
根据所述转换矩阵将所述数模点云图转换至所述残缺点云图所在的坐标系，获得转换点云图。
这里，点云配准指获取两个点云图之间的变换矩阵，通过该变换矩阵，能够将源点云变换到目标点云相同的坐标系下，该变换过程可通过以下公式（3）表示：
其中，
表示源点云，
表示变化到目标点云相同坐标系下的源点云，
表示变化矩阵。
这里，
和
是源点云与变化到目标点云相同坐标系之后的点云所组成的一对对应点云，配准的目的就是获取其中的变换矩阵。
实际应用时，在根据3D数模文件生产制造物体的过程中，由于制作工艺的原因，生产制造出来的物体会存在公差，因此导致生产制造出来的物体的残缺点云图与设计的3D数模文件的数模点云图即使转换到同一坐标系下后，物体的残缺点云图与设计的3D数模文件的数模点云图也不会完全的重合，会存在位移偏差。因此，在对残缺点云图进行点云图的修补之前，需消除两个点云图之间因为公差所导致的位移偏差，将两个点云图进行重合后，再根据重合后的转换点云图对残缺点云图进行修补。
在一实施例中，所述计算所述转换点云图偏离所述残缺点云图的位移偏差向量包括：
分别对所述转换点云图中的每个点云确定在所述残缺点云图的所有点云中距离所述转换点云图中的每个点云欧式距离最近的配对点云，将所述转换点云图中的每个点云与对应的所述残缺点云图中的配对点云进行配对；
根据所述配对情况，在所述残缺点云图的所有点云中获取与所述转换点云图中的多个点云进行配对的第一点云，将所述第一点云组合成第一点云集合；
根据所述第一点云集合确定所述第一点云集合所组成的点云轮廓的质心；
在所述转换点云图的所有点云中，获取距离所述第一点云欧式距离最近的第二点云，将所述第二点云组合成第二点云集合；
确定所述第二点云集合中的所有第二点云与所述质心组成的第一向量集合；
根据所述第一向量集合计算所述转换点云图偏离所述残缺点云图的位移偏差向量。
实际应用时，由于残缺点云图和转换点云图的点云密度不一样，因此，在将残缺点云图与转换点云图进行配对的过程时，会出现一对多的情况。由于残缺点云图是通过三维结构光相机对物体进行实物拍摄所获得，因此，残缺点云图会存在空洞等残缺，点云密度小；而转换点云图是通过系统预设的数模点云图进行坐标转换获得，点云密度大，因此，在将残缺点云图与转换点云图进行配对时，会出现残缺点云图中的一个点云对应转换点云图中的多个点云的情况。
具体地，本实施例中，确定第一点云集合的方式是：对于转换点云图中的每个点云，都在残缺点云图中寻找距离该点云欧式距离最近的配对点云，将转换点云图中的每个点云与对应的配对点云进行配对。这里，通过上述分析可知，由于残缺点云图的点云密度小，而转换点云图的点云密度大，因此，在配对时会出现残缺点云图中的一个点云配对转换点云图中多个点云的情况。此时，将残缺点云图中配对转换点云图中多个点云的点云作为第一点云，将所有的第一点云组合的集合作为第一点云集合。通过该第一点云集合中的所有第一点云可以确定该第一点云集合所对应的质心。
在确定该第一点云集合所对应的质心后，可以在转换点云图的所有点云中，获得距离该第一点云欧式距离最近的第二点云，将所有的第二点云组合的集合作为第二点云集合。通过该质心和该第二点云集合中的所有第二点云组成三维向量即第一向量集合，根据该第一向量集合确定该转换点云图偏离该残缺点云图的位移偏差向量。
具体地，根据所述第一向量集合可利用如下公式（1）计算所述转换点云图偏离所述残缺点云图的位移偏差向量：
其中，
表示位移偏差向量，
表示第一向量集合中的第i个第一向量；
表示第二点云集合中的第i个第二点云；
表示质心；
表示第一向量集合中所有第一向量的总个数。
在获得转换点云图偏离残缺点云图的位移偏差向量后，可根据该位移偏差向量在残缺点云图的坐标系下对转换点云图中的每个点云都进行位移移动，以实现转换点云图与残缺点云图的重合。
进一步地，在一实施例中，所述判断移动后的所述转换点云图是否与所述残缺点云图重合包括：
在移动后的所述转换点云图的所有点云中，获取距离所述第一点云欧式距离最近的第三点云，将所述第三点云组合成第三点云集合；
分别确定所述第三点云集合中的所有第三点云与对应的第一点云的欧式点云距离；
根据所有的所述欧式点云距离确定所述第三点云集合的平均欧式点云距离；
利用所述平均欧式点云距离与预设点云距离，判断移动后的所述转换点云图是否与所述残缺点云图重合。
实际应用时，在本实施例中，先获取每个第三点云与对应的距离该第三点云欧式距离最近的第一点云之间的欧式距离，再利用每个第三点云所对应的欧式距离确定所述第三点云集合的平均欧式点云距离。
具体地，若第一点云为
，该第一点云对应的第三点云为
，则该第一点云与对应的第三点云的欧式点云距离为
。
进一步地，根据所有的所述欧式点云距离可利用如下公式（2）确定所述第三点云集合的平均欧式点云距离：
其中，
表示平均欧式点云距离；
表示第三点云集合中第i个第三点云与对应的第一点云的欧式点云距离；
表示第三点云集合中第i个第三点云；
表示第三点云集合中第i个第三点云所对应的第一点云；
表示第三点云集合中所有第三点云的总个数。
在获取该第三点云集合的平均欧式点云距离后，可利用该第三点云集合的平均欧式点云距离与预设点云距离进行比较，判断移动后的所述转换点云图是否与所述残缺点云图重合。具体地，
判断该第三点云集合的平均欧式点云距离是否小于预设点云距离，当该第三点云集合的平均欧式点云距离小于预设点云距离时，判断移动后的所述转换点云图与所述残缺点云图重合；当该第三点云集合的平均欧式点云距离大于或等于预设点云距离时，判断移动后的所述转换点云图没有与所述残缺点云图重合。
另外，由于公差等原因，可能在对转换点云图进行一次移动后，移动后的转换点云图与残缺点云图并不能实现重合，这时，需要再对转换点云图进行移动。
基于此，在一实施例中，利用所述平均欧式点云距离与预设点云距离，判断移动后的所述转换点云图是否与所述残缺点云图重合之后，所述方法还包括：
在判断移动后的所述转换点云图没有与所述残缺点云图重合之后，重新计算移动后的所述转换点云图偏离所述残缺点云图的位移偏差向量；根据所述位移偏差向量在所述残缺点云图所在的坐标系中继续移动所述转换点云图；并继续判断移动后的所述转换点云图是否与所述残缺点云图重合；以此循环，直至移动后的所述转换点云图与所述残缺点云图重合为止，或直至所述移动次数到达预设次数为止。
这里，通过设置预设次数的方式，防止在一些情况下，由于公差的原因，导致移动后的转换点云图与残缺点云图一直不能重合而无限次的移动转换点云图的情况。
进一步地，在一实施例中，所述在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块包括：
根据所述第三点云集合确定所述第三点云集合中的所有第三点云所组成的第一点云轮廓；
在移动后的所述转换点云图中获取点云轮廓为所述第一点云轮廓的点云块；
将所述点云轮廓为所述第一点云轮廓的点云块作为所述残缺点云图相对于所述转换点云图残缺的点云块。
实际应用时，可利用体素生长法在在移动后的所述转换点云图中获取点云轮廓为所述第一点云轮廓的点云块。这里，体素生长法为常规技术手段，在此不再赘述。
将残缺点云图相对于转换点云图残缺的点云块，与残缺点云图进行融合，可获得修复后的物体点云图。
本发明实施例提供的点云图修补方法、装置、电子设备和存储介质，获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图；在所述残缺点云图所在的坐标系中，计算所述转换点云图偏离所述残缺点云图的位移偏差向量；根据所述位移偏差向量在所述残缺点云图所在的坐标系中移动所述转换点云图；判断移动后的所述转换点云图是否与所述残缺点云图重合；在移动后的所述转换点云图与所述残缺点云图重合的情况下，在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块；利用所述点云块填补所述残缺点云图，生成所述物体的修复点云图。采用本发明提供的方案能对复杂物体点云图中的残缺部分进行修补，修补准确率高，更贴近物体本身的形貌。
下面结合应用实施例对本发明再作进一步详细的描述。
本应用实施例提供一种基于物体数模的点云补洞的方法。具体地，参见图2，该点云补洞方法包括以下步骤：
步骤1：输入需补洞的物体点云；之后执行步骤2；
步骤2：与物体对应的数模点云进行配准；之后执行步骤3；
步骤3：通过配准得到的变换矩阵将数模点云与物体点云转换至重合；之后执行步骤4；
步骤4：寻找需要填补的空洞；之后执行步骤5；
步骤5：寻找物体空洞轮廓点云与数模点云的点对；之后执行步骤6；
步骤6：计算调整物体点云空洞对应的数模点云的姿态；之后执行步骤7；
步骤7：判断距离误差是否小于阈值，或是否达到迭代次数限制；
若判断距离误差小于阈值，或达到迭代次数限制，则执行步骤8；若否，则执行步骤5；
步骤8：输出补洞后的物体点云。
具体的上述过程可以为：
过程（1）：读入待进行补洞的物体点云图S（可理解为上述实施例中的残缺点云图）以及其对应的数模点云图T（可理解为上述实施例中的系统预设的数模点云图），亦读入用户设定的距离阈值D（可理解为上述实施例中的预设点云距离）以及迭代次数上限（可理解为上述实施例中的预设次数）；
这里，数模点云图T指物体生产制造时所依据的3D数模文件所对应的点云图。
过程（2）：将物体点云图S与数模点云图T进行点云配准，得到数模点云图T转换至物体点云图S所在坐标系的变换矩阵M（可理解为上述实施例中的转换矩阵）；
过程（3）：通过
获得将数模点云图T转换至物体点云图S坐标系下的对应的数模点云图T’（可理解为上述实施例中的转换点云图）；
过程（4）：对数模点云图T’中的每个点，寻找物体点云图S中与其欧式距离最近的点作为对应点对。由于通过三维相机获得物体点云图S的点云密度与数模点云图T’的点云密度存在差异，因此可能存在多个数模点云图T’中的点云或者多个物体点云图S中的点云对应一个相同点云的情况；
过程（5）：因数模点云图T’形貌完整，所以在数模点云不是特别稀疏的情况下，将数模点云图T’的部分点云在物体点云图S中缺少正确的对应点云，所以导致多个数模点云图T’中的点云对应物体点云图S的空洞轮廓上的同一个点云（例如图3所示）。根据该性质可将物体点云图S中的点云按照该点云对应的个数的数量从大到小的顺序（即对物体点云图S中的点云所对应的点云数量按降序的方式）进行排序，将物体点云图S中对应数模点云图T’中多个点云的点云作为点集P中的元素，获得物体点云图S中空洞轮廓点的点集P（可理解为上述实施例中的第一点云集合）（例如在图3所示的点云图中，点集P包括点云1和点云2）；
过程（6）：对物体点云图S中空洞轮廓点的点集P，计算其质心C（Xc，Yc，Zc）；
过程（7）：对物体点云图S中空洞轮廓点的点集P中的每个点pi，在数模点云图T’中寻找与每个点pi欧式距离最近的点qi存入点集Q（可理解为上述实施例中的第二点云集合）（例如在图3所示的点云图中，点集Q包括点云3和点云4）；
过程（8）：对点集Q中的每个点qi，计算每个点qi与质心C之间的三维向量
，然后通过上述公式（1）计算得到本次调整的调整向量
（可理解为上述实施例中的位移偏差向量）；
过程（9）：通过调整向量
对数模点云图T’中的每个点云进行位置移动；
过程（10）：清空点集Q，对点集P中的每个点pi，在通过调整向量
调整后的数模点云图T’中寻找与每个点pi欧式距离最近的点qi存入点集Q，并利用上述公式（2）计算平均距离d（可理解为上述实施例中的平均欧式点云距离）。如果平均距离d小于用户设定的距离阈值D或者迭代次数达到了用户设定的上限次数，则跳转到过程（11），否则跳转到过程（8）；
过程（11）：将点集Q作为数模点云图T’中用于填补点云空洞的点云边界，对数模点云图T’通过体素生长法获得用于填补空洞的局部点云块，并将该局部点云块与物体点云图S融合获得补洞后的物体点云S’；
过程（12）：输出补洞后的物体点云S’。
本实施例提供了一种基于物体数模的点云补洞的方法，通过数模与实际物体的点云进行配准后自动寻找空洞，并且考虑了物体本身由于制造工艺产生的公差所导致的与数模之间的微小差异，对配准后的空洞区域填补点云的姿态位置进行迭代调整优化，从而使填补空洞后物体点云图更接近物体本身的真实形貌。
为了实现本发明实施例的方法，本发明实施例还提供了一种点云图修补装置，如图4所示，点云图修补装置400包括：获取模块401、转换模块402、计算模块403、移动模块404、判断模块405、确定模块406和生成模块407；其中，
获取模块401，用于获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；
转换模块402，用于将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图；
计算模块403，用于在所述残缺点云图所在的坐标系中，计算所述转换点云图偏离所述残缺点云图的位移偏差向量；
移动模块404，用于根据所述位移偏差向量在所述残缺点云图所在的坐标系中移动所述转换点云图；
判断模块405，用于判断移动后的所述转换点云图是否与所述残缺点云图重合；
确定模块406，用于在移动后的所述转换点云图与所述残缺点云图重合的情况下，在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块；
生成模块407，用于利用所述点云块填补所述残缺点云图，生成所述物体的修复点云图。
实际应用时，获取模块401、转换模块402、计算模块403、移动模块404、判断模块405、确定模块406和生成模块407可由点云图修补装置中的处理器实现。
需要说明的是：上述实施例提供的上述装置在执行时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的上述装置与上述方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
为了实现本发明实施例的方法，本发明实施例还提供了一种计算机程序产品，计算机程序产品包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述方法的步骤。
基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供了一种电子设备（计算机设备）。具体地，在一个实施例中，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、显示屏A04、输入装置A05和存储器（图中未示出）。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现上述任意一项实施例的方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供的设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任意一项实施例的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
可以理解，本发明实施例的存储器可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，ReadOnly Memory）、可编程只读存储器（PROM，Programmable Read-Only Memory）、可擦除可编程只读存储器（EPROM，Erasable Programmable Read-Only Memory）、电可擦除可编程只读存储器（EEPROM，Electrically Erasable Programmable Read-Only Memory）、磁性随机存取存储器（FRAM，ferromagnetic random access memory）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（CD-ROM，Compact Disc Read-Only Memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（RAM，RandomAccess Memory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM，Static Random Access Memory）、同步静态随机存取存储器（SSRAM，Synchronous Static Random Access Memory）、动态随机存取存储器（DRAM，Dynamic Random Access Memory）、同步动态随机存取存储器（SDRAM，SynchronousDynamic Random Access Memory）、双倍数据速率同步动态随机存取存储器（DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory）、增强型同步动态随机存取存储器（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步连接动态随机存取存储器（SLDRAM，SyncLink Dynamic Random Access Memory）、直接内存总线随机存取存储器（DRRAM，Direct Rambus Random Access Memory）。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种点云图修补方法，其特征在于，所述方法包括：
获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；
将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图；
在所述残缺点云图所在的坐标系中，计算所述转换点云图偏离所述残缺点云图的位移偏差向量；
根据所述位移偏差向量在所述残缺点云图所在的坐标系中移动所述转换点云图；
判断移动后的所述转换点云图是否与所述残缺点云图重合；
在移动后的所述转换点云图与所述残缺点云图重合的情况下，在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块；
利用所述点云块填补所述残缺点云图，生成所述物体的修复点云图；其中，
所述方法还包括：
在判断移动后的所述转换点云图没有与所述残缺点云图重合之后，重新计算移动后的所述转换点云图偏离所述残缺点云图的位移偏差向量；根据所述位移偏差向量在所述残缺点云图所在的坐标系中继续移动所述转换点云图；并继续判断移动后的所述转换点云图是否与所述残缺点云图重合；以此循环，直至移动后的所述转换点云图与所述残缺点云图重合为止，或直至移动次数到达预设次数为止。
2.根据权利要求1所述的方法，其特征在于，所述将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图包括：
对所述残缺点云图和所述数模点云图进行点云配准，获得将所述数模点云图转换至所述残缺点云图所在坐标系的转换矩阵；
根据所述转换矩阵将所述数模点云图转换至所述残缺点云图所在的坐标系，获得转换点云图。
3.根据权利要求1所述的方法，其特征在于，所述计算所述转换点云图偏离所述残缺点云图的位移偏差向量包括：
分别对所述转换点云图中的每个点云确定在所述残缺点云图的所有点云中距离所述转换点云图中的每个点云欧式距离最近的配对点云，将所述转换点云图中的每个点云与对应的所述残缺点云图中的配对点云进行配对；
根据配对情况，在所述残缺点云图的所有点云中获取与所述转换点云图中的多个点云进行配对的第一点云，将所述第一点云组合成第一点云集合；
根据所述第一点云集合确定所述第一点云集合所组成的点云轮廓的质心；
在所述转换点云图的所有点云中，获取距离所述第一点云欧式距离最近的第二点云，将所述第二点云组合成第二点云集合；
确定所述第二点云集合中的所有第二点云与所述质心组成的第一向量集合；
根据所述第一向量集合计算所述转换点云图偏离所述残缺点云图的位移偏差向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一向量集合计算所述转换点云图偏离所述残缺点云图的位移偏差向量包括：
根据所述第一向量集合利用如下公式（1）计算所述转换点云图偏离所述残缺点云图的位移偏差向量：
其中，
表示位移偏差向量，
表示第一向量集合中的第i个第一向量；
表示第二点云集合中的第i个第二点云；
表示质心；
表示第一向量集合中所有第一向量的总个数。
5.根据权利要求3所述的方法，其特征在于，所述判断移动后的所述转换点云图是否与所述残缺点云图重合包括：
在移动后的所述转换点云图的所有点云中，获取距离所述第一点云欧式距离最近的第三点云，将所述第三点云组合成第三点云集合；
分别确定所述第三点云集合中的所有第三点云与对应的第一点云的欧式点云距离；
根据所有的所述欧式点云距离确定所述第三点云集合的平均欧式点云距离；
利用所述平均欧式点云距离与预设点云距离，判断移动后的所述转换点云图是否与所述残缺点云图重合。
6.根据权利要求5所述的方法，其特征在于，所述根据所有的所述欧式点云距离确定所述第三点云集合的平均欧式点云距离包括：
根据所有的所述欧式点云距离利用如下公式（2）确定所述第三点云集合的平均欧式点云距离：
其中，
表示平均欧式点云距离；
表示第三点云集合中第i个第三点云与对应的第一点云的欧式点云距离；
表示第三点云集合中第i个第三点云；
表示第三点云集合中第i个第三点云所对应的第一点云；
表示第三点云集合中所有第三点云的总个数。
7.根据权利要求5所述的方法，其特征在于，所述在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块包括：
根据所述第三点云集合确定所述第三点云集合中的所有第三点云所组成的第一点云轮廓；
在移动后的所述转换点云图中获取点云轮廓为所述第一点云轮廓的点云块；
将所述点云轮廓为所述第一点云轮廓的点云块作为所述残缺点云图相对于所述转换点云图残缺的点云块。
8.一种点云图修补装置，其特征在于，所述点云图修补装置包括：
获取模块，用于获取对物体进行拍摄所得到的残缺点云图以及系统预设的数模点云图；
转换模块，用于将所述数模点云图转换到所述残缺点云图所在的坐标系中，获得转换点云图；
计算模块，用于在所述残缺点云图所在的坐标系中，计算所述转换点云图偏离所述残缺点云图的位移偏差向量；
移动模块，用于根据所述位移偏差向量在所述残缺点云图所在的坐标系中移动所述转换点云图；
判断模块，用于判断移动后的所述转换点云图是否与所述残缺点云图重合；
确定模块，用于在移动后的所述转换点云图与所述残缺点云图重合的情况下，在所述转换点云图中确定所述残缺点云图相对于所述转换点云图残缺的点云块；
生成模块，用于利用所述点云块填补所述残缺点云图，生成所述物体的修复点云图；其中，
所述计算模块、移动模块和判断模块还用于在判断移动后的所述转换点云图没有与所述残缺点云图重合之后，重新计算移动后的所述转换点云图偏离所述残缺点云图的位移偏差向量；根据所述位移偏差向量在所述残缺点云图所在的坐标系中继续移动所述转换点云图；并继续判断移动后的所述转换点云图是否与所述残缺点云图重合；以此循环，直至移动后的所述转换点云图与所述残缺点云图重合为止，或直至移动次数到达预设次数为止。
9.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
10.一种存储介质，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110951779.5A CN113409227B (zh) | 2021-08-19 | 2021-08-19 | 点云图修补方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110951779.5A CN113409227B (zh) | 2021-08-19 | 2021-08-19 | 点云图修补方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409227A CN113409227A (zh) | 2021-09-17 |
| CN113409227B true CN113409227B (zh) | 2021-11-30 |
Family
ID=77688748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110951779.5A Active CN113409227B (zh) | 2021-08-19 | 2021-08-19 | 点云图修补方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409227B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9811880B2 (en) * | 2012-11-09 | 2017-11-07 | The Boeing Company | Backfilling points in a point cloud |
| US11113845B2 (en) * | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
| EP3789955A1 (en) * | 2019-09-04 | 2021-03-10 | Faro Technologies, Inc. | System and method for training a neural network to fill gaps between scan points in images and to de-noise point cloud images |
| CN113160068B (zh) * | 2021-02-23 | 2022-08-05 | 清华大学 | 基于图像的点云补全方法及系统 |
| CN112927359B (zh) * | 2021-03-22 | 2024-01-30 | 南京大学 | 一种基于深度学习和体素的三维点云补全方法 |
| CN113160327A (zh) * | 2021-04-09 | 2021-07-23 | 上海智蕙林医疗科技有限公司 | 一种点云补全的实现方法和系统 |
| CN113205466B (zh) * | 2021-05-10 | 2024-04-02 | 南京航空航天大学 | 一种基于隐空间拓扑结构约束的残缺点云补全方法 |
-
2021
- 2021-08-19 CN CN202110951779.5A patent/CN113409227B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409227A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| Sansoni et al. | Three-dimensional optical measurements and reverse engineering for automotive applications | |
| CN108921947A (zh) | 生成电子地图的方法、装置、设备、存储介质以及采集实体 | |
| KR102068419B1 (ko) | 포인트 클라우드 데이터 수집 궤적을 조정하기 위한 방법, 장치 및 컴퓨터 판독 가능한 매체 | |
| WO2018018363A1 (zh) | 一种结构光场三维成像方法及其系统 | |
| CN107784671B (zh) | 一种用于视觉即时定位与建图的方法与系统 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN110009718A (zh) | 一种三维高精度地图生成方法及装置 | |
| CN109993793A (zh) | 视觉定位方法及装置 | |
| CN104019799A (zh) | 一种利用局部参数优化计算基础矩阵的相对定向方法 | |
| CN109945802B (zh) | 一种结构光三维测量方法 | |
| CN109522832A (zh) | 一种基于点云片段匹配约束和轨迹漂移优化的回环检测方法 | |
| US20210082132A1 (en) | Laser sensor-based map generation | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 | |
| CN111143489B (zh) | 基于图像的定位方法及装置、计算机设备和可读存储介质 | |
| CN105787464B (zh) | 一种大量图片在三维场景中的视点标定方法 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN112132950B (zh) | 一种基于众包图像的三维点云场景更新方法 | |
| CN113409227B (zh) | 点云图修补方法、装置、电子设备和存储介质 | |
| CN113790711B (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
| CN115409896A (zh) | 位姿预测方法、装置、电子设备和介质 | |
| CN113001985A (zh) | 基于倾斜摄影构建3d模型、装置、电子设备及存储介质 | |
| Kang et al. | 3D urban reconstruction from wide area aerial surveillance video | |
| KR101759422B1 (ko) | 불변 가상 투영을 이용한 신경망 기반의 실내 위치 인식 장치 및 방법 | |
| CN115630185B (zh) | 一种重定位方法、水面航行器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |