CN113884025B - 增材制造结构光回环检测方法、装置、电子设备和存储介质 - Google Patents
增材制造结构光回环检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113884025B CN113884025B CN202111084693.3A CN202111084693A CN113884025B CN 113884025 B CN113884025 B CN 113884025B CN 202111084693 A CN202111084693 A CN 202111084693A CN 113884025 B CN113884025 B CN 113884025B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- key frame
- frame
- additive manufacturing
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000654 additive Substances 0.000 title claims abstract description 88
- 230000000996 additive effect Effects 0.000 title claims abstract description 88
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000003287 optical effect Effects 0.000 title claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 239000000758 substrate Substances 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 12
- 230000010363 phase shift Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种增材制造结构光回环检测方法、装置、电子设备和存储介质，属于增材制造检测领域。其中方法包括：利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；从所述点云帧序列中提取关键帧点云组成关键帧序列；对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型。本公开在实际测量、点云配准、模型生成等方面有良好的表现，满足高效、高精度的完整点云模型生成的要求，具有很好的工业价值。
Description
技术领域
本公开属于增材制造检测领域，特别涉及一种增材制造结构光回环检测方法、装置、电子设备和存储介质。
背景技术
增材制造(Additivemanufacturing，AM)即3D打印，是从三维(Three-dimensional，3D)信息中获取加工数据，通过制造材料的层层堆积叠加而形成工件的新一代工业制造技术。由于增材制造件是由材料的堆积而来，在实际生产加工时材料堆积表面的质量不能得到较高保证，同时受到硬件设备、生产方法等影响，导致增材制造成型件在表面的三维信息上可能存在一定误差。因此，增材制造件表面质量的三维检测是检验产品是否满足生产标准的重要过程对于产品质量控制有着极为重要的意义。
三维质量检测需要首先获取被测工件表面的三维信息，其主要途径和方式是对被测工件表面进行三维重建，而三维重建依赖于三维测量技术。近年来，三维测量方法的研究已经有了长足的进步，从最早的三坐标测量机的逐点测量方法，到激光测量的逐线测量方法，再到双目视觉测量与结构光测量的面测量方法，其测量效率和精度有着飞跃的提升，极大的促进了工业制造、地图测绘、城市测绘、土木工程、军事分析等众多领域的发展。
在众多三维测量技术中，结构光测量技术具有非接触、速度快、精度高、实时测量性能优越等优点。随着科技的进步，结构光三维测量技术在工业制造、质量检测领域中有着明显的优势，并广泛的应用于三维重建、目标识别以及运动追踪等领域。
尽管结构光测量系统具有诸多优势，但在应用于复杂增材制造件三维质量检测时，目前具有如下的缺点：
1、测量生成的点云包含大量冗余信息。在结构光测量系统中，投影仪投影编码图案多为矩形，而被测物体为复杂且不规则的增材制造件，因此，由相机采集的图片信息会不可避免的包含除目标物体外的环境信息。这些冗余信息会耗费大量时间与计算资源，对测量效率有明显的负面影响；
2、缺乏优质的复杂增材制造件的完整三维点云模型。由于结构光测量系统的共同视场有限，单次测量获取的三维信息是从工件的某个角度测量得来，因此需要由多次三维测量得到从不同角度测量的结果，并进行点云配准才可获取完整模型。虽然在连续配准中两两点云间配准误差足够小，但是从全局角度观察，所得的完整模型仍可能存在配准残差，不满足高精度、合理性等要求，导致三维质量检测的精度受到影响，检测结果缺乏说服性；
发明内容
本公开的目的是为克服已有技术的不足之处，提出一种增材制造结构光回环检测方法、装置、电子设备和存储介质。本公开的技术方案在实际测量、点云配准、模型生成等方面有良好的表现，满足高效、高精度的完整点云模型生成的要求，具有很好的工业价值。
本公开第一方面实施例提出一种增材制造结构光回环检测方法，包括：
利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；
从所述点云帧序列中提取关键帧点云组成关键帧序列；
对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型。
在本公开的一个具体实施例中，所述利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列，包括：
(1)将基板作为被测目标；
(2)使用结构光测量系统获取映射在所述被测目标表面的结构光编码条纹图片序列；
(3)利用所述图片序列获取所述被测目标对应的显著性图，根据所述显著性图得到一帧所述被测目标表面的点云；
(4)将进行增材制造的物体作为所述被测目标，在增材制造过程中不断重复步骤(2)-(3)直到增材制造结束，以得到所述增材制造过程中多帧所述被测目标表面的点云；
(5)将各帧所述被测目标表面的点云组成点云帧序列，其中所述点云帧序列中的第一帧点云为基板点云。
在本公开的一个具体实施例中，所述从所述点云帧序列中提取关键帧组成关键帧序列，包括：
(1)将所述基板点云作为关键帧序列的第一帧关键帧点云；
(2)通过RanSAC平面特征检测算法对所述点云帧序列中剩余各帧点云分别进行检测：若该帧点云中检测到平面，则该帧点云为关键帧点云；
(3)将各所述关键帧点云组成所述关键帧序列。
在本公开的一个具体实施例中，所述对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型，包括：
(1)利用RanSAC平面特征检测算法检测所述关键帧序列中各关键帧点云中的平面，其中所述关键帧序列中的第一帧关键帧点云为所述基板点云；
(2)将所述各关键帧点云通过步骤(1)检测所得平面的重心作为所述关键帧点云的平面零点；
(3)将所述关键帧序列的第2帧关键帧点云的所述平面零点与所述基板点云的所述平面零点重合，以得到配准后的所述第2帧关键帧点云；
(4)从所述关键帧序列的第3帧关键帧点云开始，依次将每帧关键帧点云的所述平面零点与配准后的前一帧关键帧点云的所述平面零点重合，以得到配准后的每帧关键帧点云；
(5)将所述基板点云及各配准后的关键帧点云组成所述配准后的关键帧序列，所述配准后关键帧序列为所述进行增材制造的物体的点云模型。
在本公开的一个具体实施例中，所述利用所述图片序列获取所述被测目标对应的显著性图，根据所述显著性图得到一帧所述被测目标表面的点云，包括：
(3-1)使用所述结构光测量系统中的工业相机采集所述映射在所述被测目标表面的结构光编码条纹图片序列的各灰度图像；
(3-2)对所述各灰度图像求取平均值，得到平均灰度图像；
(3-3)使用简单线性迭代聚类超像素计算法得到所述平均灰度图像对应的超像素图；
(3-4)根据所述超像素图中各个像素块信息，检测所述被测目标在超像素中的显著性，得到显著性图；
(3-5)根据所述显著性图得到一帧所述被测目标表面的点云。
在本公开的一个具体实施例中，所述根据所述超像素图中各个像素块信息，检测所述被测目标在超像素中的显著性，得到显著性图，包括：
(3-4-1)将所述超像素图记为IS，以超像素图IS中的所有超像素块作为节点构建超像素图模型，将所述超像素图模型记为G＝(Q，E)，其中Q＝{q1，q2，...，qK}为所有超像素块节点组成的集合，qk为第k个超像素块节点，k＝1，2，...，K，K为超像素图模型中节点数量，E为任意两节点的连接状态构成的矩阵，E＝[ekj]K×K，其中若节点qk与qj相邻则该两个节点的连接状态ekj＝1，否则ekj＝0；
建立对图像进行排序的函数记为f：Q→R，
(3-4-2)计算超像素图模型中任意两个节点qk与qj的CIELab表色系距离Lab值dkj：
式中，Lk表示第k个超像素块节点的亮度；ak表示第k个超像素块节点从绿色到红色的范围；bk表示第k个超像素块节点从蓝色到黄色的范围；
对dkj归一化，得到节点qk与qj归一化后的Lab值记为d′kj；
计算连接节点qk与qj的边的加权关联值wkj：
其中，θ为调节边的权重的参数；
建立加权关联矩阵W＝[wkj]K×K；
(3-4-3)利用步骤(3-4-2)的结果，构建超像素图模型的度矩阵D，表示为：
其中
(3-4-4)根据函数f：Q→R，超像素图模型中每个节点qk对应一个排序值fk，将超像素图模型中所有节点排序值向量记为F＝[f1，f2，...，fK]T；
建立超像素图模型中所有节点查询状态向量y＝[y1，y2，...，yK]T，其中，若节点qk为查询对象，则该节点对应的查询状态yk＝1，否则yk＝0；
通过求解如下最优化问题得到排序值向量F的最优解f*：
其中参数μ用于平衡式中的两项约束：与/>
最优解f*的表达式如下：
f*＝(D-αW)-1y
其中，α＝1/(1+μ)；
(3-4-5)分别以超像素图模型的顶边、底边、左边和右边的超像素节点作为查询对象计算超像素图模型中各节点的的显著性结果；
其中，对每个节点qk，分别得到该节点对应的以顶边超像素节点作为查询对象时的显著性结果St(k)，以底边超像素节点作为查询对象时Sb(k)，以左边超像素节点作为查询对象时Sl(k)，以右边超像素节点作为查询对象时Sr(k)；
(3-4-6)根据步骤(3-4-5)的结果，分别计算各节点qk对应的综合显著性值Sbg(k)：
Sbg(k)＝St(k)×Sb(k)×Sl(k)×Sr(k)
(3-4-7)计算所有节点的综合显著性值的平均值，将所述平均值作为自适应阈值，然后利用所述自适应阈值分割出超像素图模型中的前景节点；
其中，若任一节点的综合显著性值Sbg(k)大于自适应阈值，则该节点为前景节点；
(3-4-8)利用步骤(3-4-7)得到的所有前景节点构建更新后的超像素图模型，重复步骤(3-4-2)-(3-4-4)，计算更新后的f*，然后归一化为
利用得到显著性图Sfg为：
其中，Sfg(k)为前景节点构建的显著性图中第k个值。
在本公开的一个具体实施例中，所述根据所述显著性图得到一帧所述被测目标表面的点云，包括：
(3-5-1)所述结构光测量系统采用时间相移法编码，并通过双频相移编码计算所述显著性图中各像素点的相位信息对应关系，获得每个像素点的三维信息；
(3-5-2)将经双频相移编码的条纹通过所述结构光测量系统中的投影仪投射到所述被测目标表面上；
(3-5-3)通过所述结构光测量系统中的相机采集所述被测目标表面上的投影图像并按照下式计算高频相位φh(uc，vc)和单频相位φu(uc，vc)：
其中，分别表示相机像素坐标(uc，vc)中的第n个高频条纹序列和第n个单频条纹序列；N为序列总数；
(3-5-4)计算绝对相位
其中，Th，Tu分别为高频条纹和单频条纹的单周期像素长度，为四舍五入运算符；根据所述绝对相位，构建一帧所述被测目标表面的点云。
本公开第二方面实施例提出一种增材制造结构光回环检测装置，包括：
点云帧序列构建模块，用于利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；
关键帧序列构建模块，用于从所述点云帧序列中提取关键帧点云组成关键帧序列；
点云模型构建模块，用于对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型。
本公开第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种增材制造结构光回环检测方法。
本公开第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种增材制造结构光回环检测方法。
本公开的特点及有益效果为：
(1)针对结构光测量产生的冗余信息问题，利用增材制造件与其周围环境在二维图像上的色彩值的差异，提取增材制造件所在显著区域的像素坐标，对这一部分像素进行点云的生成，减少点云生成过程中产生的计算量和数据量，提高针对性、目的性以及测量效率。
(2)针对测量系统视野受限导致生成的点云不完整，及点云配准残差大的问题，公开利用增材制造中基板的平面特征对配准后点云进行平面检测，得到平面特征数据，并根据数据将点云进行闭环优化，降低了配准残差及提高了生成的点云模型精度。
本公开中的方法能在增材制造的检测过程中的实际测量、点云配准、模型生成等方面有良好的表现，满足高效、高精度的完整点云模型生成的要求，具有很好的工业价值。
附图说明
图1为本公开实施例中一种增材制造结构光回环检测方法的整体流程图。
图2为本公开一个具体实施例中基于图像显著性的点云提取方法流程图。
具体实施方式
本公开实施例提出一种增材制造结构光回环检测方法、装置、电子设备和存储介质，下面结合附图和具体实施例进一步详细说明如下。
本公开第一方面实施例提出一种增材制造结构光回环检测方法，整体流程如图1所示，包括以下步骤：
(1)将增材制造的基板作为被测目标；
(2)使用结构光测量系统获取映射在被测目标表面的结构光编码条纹图片序列。其中，本公开实施例中所述结构光测量系统采用常规系统；优选地，在本公开的一些实施例中，使用相移编码作为结构光编码条纹图案，图片序列数取20。
(3)利用步骤(2)得到的图片序列获取被测目标对应的显著性图，从所述显著性图提取显著区域，得到被测目标表面的一帧点云。
通过此步骤，可减少大量冗余信息生成，提高三维重建效率，此步骤流程如图2所示，具体如下；
(3-1)使用结构光测量系统中的工业相机采集步骤(2)中映射在被测目标表面的结构光编码条纹图片序列对应的灰度图像；
(3-2)对步骤(3-1)得到的所有灰度图像求取平均值，得到对应的一张平均灰度图像；
本公开的一个实施例中，所述平均灰度图像的计算表达式如下：
其中，Ia为平均灰度图像，Ic为步骤(3-1)采集的第c张形变条纹图像(即灰度图像)。
(3-3)对步骤(3-2)得到的平均灰度图像，使用简单线性迭代聚类超像素计算法得到对应的超像素图，该超像素图中包含多个超像素块；
(3-4)根据超像素图中各个像素块信息，分析超像素图中被测目标与周围环境的差异，检测被测目标在超像素中的显著性，得到显著性图；具体步骤如下：
(3-4-1)将超像素图记为IS，以超像素图IS中的所有超像素块作为节点构建超像素图模型，该模型记为G＝(Q，E)，其中Q＝{q1，q2，...，qK}为所有超像素块节点组成的集合，qk为第k个超像素块节点，k＝1，2，...，K，K为超像素图模型中节点数量，E为任意两节点的连接状态构成的矩阵，E＝[ekj]K×K，k，j＝1，...，K，其中若节点qk与qj相邻则该两个节点的连接状态ekj＝1，否则ekj＝0；
建立对图像进行排序的函数记为f：Q→R，
(3-4-2)计算任意两个节点qk与qj的CIELab表色系距离dkj(下称Lab值)：
式中Lk表示第k个超像素块节点的亮度，取值范围是[0，100]，表示从纯黑到纯白；ak表示第k个超像素块节点从绿色到红色的范围，取值范围是[128，127]；bk表示第k个超像素块节点从蓝色到黄色的范围，取值范围是[128，127]；
对计算完毕的dkj进行归一化，得到该两节点归一化后的Lab值记为d′kj；
然后计算连接该两个节点的边的加权关联值wkj：
其中θ是用于调节边的权重，取值范围是[0，100]；
对所有的边计算对应的加权关联值后，可以得到加权关联矩阵W＝[wkj]K×K
(3-4-3)利用步骤(3-4-2)的结果，构建超像素图模型的度矩阵D，表示为：
其中
(3-4-4)根据函数f：Q→R，超像素图模型中每个节点qk对应一个排序值fk，将超像素图模型中所有节点排序值向量记为F＝[f1，f2，...，fK]T；
建立超像素图模型中所有节点查询状态向量y＝[y1，y2，...，yK]T，其中，若节点qk为查询对象，则该节点对应的查询状态yk＝1，否则yk＝0；
通过求解如下最优化问题得到排序值向量F的最优解f*：
其中参数μ用于平衡式中的两项约束：与/>取值范围为[0，1]。
最优解f*的表达式如下：
f*＝(D-αW)-1y
其中α＝1/(1+μ)，D为步骤(3-4-3)的度矩阵，W为步骤(23-4-2)的加权关联矩阵，y为步骤(3-4-4)的查询状态向量。
(3-4-5)背景查询，分别以超像素图模型的顶边、底边、左边和右边的超像素节点作为查询对象计算超像素图模型中各节点的显著性结果。
在本公开的一些实施例中，例如以顶边上的一系列超像素节点作为查询对象求所有节点的显著性St，对该节点进行(3-4-4)描述的操作求得对应加权关联矩阵y，例如若顶边包括q1，q2两个节点，则y＝[1，1，0，0...，0]T及排序值向量f的最优解f*，可得到超像素图中以顶边超像素节点作为查询对象时所有节点qk的显著性结果为：
其中，k＝1，2，...，K，k为节点序号；为f*的归一化向量，/>为/>中第k个值，St(k)下角标所示字母t代表顶部(top)；
按照上述方法分别计算出将底边、左边和右边超像素节点分别作为查询对象时所有节点的显著性结果，分别以Sb，Sl，Sr表示，下角标所示字母t，l，r分别代表底边(bottom)、左边(left)和右边(right)。
则对每个节点qk，分别得到其对应的以顶边超像素节点作为查询对象时的显著性结果St(k)，以底边超像素节点作为查询对象时Sb(k)，以左边超像素节点作为查询对象时Sl(k)，以右边超像素节点作为查询对象时Sr(k)
(3-4-6)根据步骤(3-4-5)的计算结果，对各节点qk，k＝1，2，...，K计算对应的综合显著性值Sbg(k)：
Sbg(k)＝St(k)×Sb(k)×Sl(k)×Sr(k)
(3-4-7)利用步骤(3-4-6)得到的所有节点的综合显著性值计算平均值，将所述平均值作为自适应阈值，然后利用该阈值分割出超像素图模型中的前景节点；
其中，若任一节点的综合显著性值Sbg(k)大于自适应阈值，则该节点为前景节点。
(3-4-8)将步骤(3-4-7)筛选出来的前景节点构建更新后的超像素图模型，然后重复步骤(3-4-2)～(3-4-4)的过程，计算前景节点对应的排序值向量f的最优解为更新后的并将其归一化为/>得到显著性图Sfg为：
其中，Sfg(k)为前景节点构建的显著性图中第k个值，下标fg是foreground的缩写。
(3-5)对步骤(3-4)得到的显著性图提取显著区域，针对该区域进行三维重建，得到一帧被测目标表面的三维点云，具体步骤如下；
(3-5-1)结构光测量系统采用时间相移法编码，并通过双频相移编码计算步骤(3-4)得到的显著性图中各像素点的相位信息对应关系，获得每个像素点的三维信息，在本公开的一个具体实施例中使用二十步相移法；
(3-5-2)将经双频相移编码的条纹通过结构光测量系统中的投影仪投射到被测目标表面上；
(3-5-3)通过结构光测量系统中的相机采集被测目标表面上的投影图像并按照下式计算出高频相位φh(uc，vc)和单频相位φu(uc，vc)：
其中，分别表示相机像素坐标(uc，vc)中的第n个高频条纹序列和单频条纹序列；N为序列总数，本公开的一个具体实施例中，N＝20。
(3-5-4)计算绝对相位
其中Th，Tu分别为高频条纹和单频条纹的单周期像素长度，为四舍五入运算符。得到相机像素坐标(vc，vc)对应投影仪投影的绝对相位，即可重建被测目标表面三维信息，得到被测物体的表面三维信息序列，构建被测目标的点云；其中，本公开实施例中第一个被测目标的点云为基板点云
(4)将进行增材制造的物体作为被测目标，在增材制造过程中不断重复步骤(2)～(3)直到增材制造结束，以得到增材制造过程中当前被测目标表面三维信息序列，构建增材制造过程中进行增材制造的物体表面的各帧点云。
(5)将基板点云作为第一帧点云，将该第一帧点云和进行增材制造的物体表面的各帧点云组成点云帧序列。
(6)将基板点云作为关键帧点云，利用随机抽样一致算法原理(RanSAC)平面特征检测算法检测该关键帧点云得到一平面，以该平面为基础建立基坐标系OXYZ，以该基坐标系点云的重心为零点。
(7)从步骤(5)构建的点云帧序列中提取出所有关键帧组成关键帧序列，提取方法是：利用RanSAC平面特征检测算法检测所述点云帧序列中的各帧点云，若该帧点云中检测到平面，则令该帧为一关键帧，否则为普通平面帧予以舍弃。
将所有关键帧组成关键帧序列。
(8)对关键帧序列中从第2帧起的关键帧进行平面回环优化配准，该方法即基于平面回环优化的点云配准方法。
本公开的一个实施例中，以关键帧序列第2帧关键帧点云为例，该配准方法具体包含以下步骤：
设第2帧关键帧点云对应的源点云(即该帧最初始未经处理的点云)为(其中上标S代表“Source”，下标2为表示第二帧)，使用步骤(5)中的平面检测算法对该帧点云检测出平面，以该平面为Z平面，平面重心为零点，使该点云的平面零点与前1帧关键帧点云的平面零点重合，则第2帧关键帧点云配准完毕。当进行下一帧即第3帧关键帧点云配准时，以第2帧关键帧点云配准后的结果为基准，以此类推。
当对所有关键帧点云进行配准完毕后，所有配准后的关键点云组成配准后的关键帧序列，该配准后的帧序列即为进行增材制造的物体高精度的点云模型。
为了实现上述实施例，本公开第二方面实施例提出一种增材制造结构光回环检测装置，包括：
点云帧序列构建模块，用于利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；
关键帧序列构建模块，用于从所述点云帧序列中提取关键帧点云组成关键帧序列；
点云模型构建模块，用于对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型。
为了实现上述实施例，本公开第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种增材制造结构光回环检测方法。
为了实现上述实施例，本公开第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种增材制造结构光回环检测方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种增材制造结构光回环检测方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种增材制造结构光回环检测方法，其特征在于，包括：
利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；
从所述点云帧序列中提取关键帧点云组成关键帧序列；
对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型；
所述利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列，包括：
(1)将基板作为被测目标；
(2)使用结构光测量系统获取映射在所述被测目标表面的结构光编码条纹图片序列；
(3)利用所述图片序列获取所述被测目标对应的显著性图，根据所述显著性图得到一帧所述被测目标表面的点云；
(4)将进行增材制造的物体作为所述被测目标，在增材制造过程中不断重复步骤(2)-(3)直到增材制造结束，以得到所述增材制造过程中多帧所述被测目标表面的点云；
(5)将各帧所述被测目标表面的点云组成点云帧序列，其中所述点云帧序列中的第一帧点云为基板点云；
所述从所述点云帧序列中提取关键帧组成关键帧序列，包括：
(1)将所述基板点云作为关键帧序列的第一帧关键帧点云；
(2)通过RanSAC平面特征检测算法对所述点云帧序列中剩余各帧点云分别进行检测：若该帧点云中检测到平面，则该帧点云为关键帧点云；
(3)将各所述关键帧点云组成所述关键帧序列；
所述对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型，包括：
(1)利用RanSAC平面特征检测算法检测所述关键帧序列中各关键帧点云中的平面，其中所述关键帧序列中的第一帧关键帧点云为所述基板点云；
(2)将所述各关键帧点云通过步骤(1)检测所得平面的重心作为所述关键帧点云的平面零点；
(3)将所述关键帧序列的第2帧关键帧点云的所述平面零点与所述基板点云的所述平面零点重合，以得到配准后的所述第2帧关键帧点云；
(4)从所述关键帧序列的第3帧关键帧点云开始，依次将每帧关键帧点云的所述平面零点与配准后的前一帧关键帧点云的所述平面零点重合，以得到配准后的每帧关键帧点云；
(5)将所述基板点云及各配准后的关键帧点云组成所述配准后的关键帧序列，所述配准后关键帧序列为所述进行增材制造的物体的点云模型；
所述利用所述图片序列获取所述被测目标对应的显著性图，根据所述显著性图得到一帧所述被测目标表面的点云，包括：
(3-1)使用所述结构光测量系统中的工业相机采集所述映射在所述被测目标表面的结构光编码条纹图片序列的各灰度图像；
(3-2)对所述各灰度图像求取平均值，得到平均灰度图像；
(3-3)使用简单线性迭代聚类超像素计算法得到所述平均灰度图像对应的超像素图；
(3-4)根据所述超像素图中各个像素块信息，检测所述被测目标在超像素中的显著性，得到显著性图；
(3-5)根据所述显著性图得到一帧所述被测目标表面的点云。
2.根据权利要求1所述的方法，其特征在于，所述根据所述超像素图中各个像素块信息，检测所述被测目标在超像素中的显著性，得到显著性图，包括：
(3-4-1)将所述超像素图记为IS，以超像素图IS中的所有超像素块作为节点构建超像素图模型，将所述超像素图模型记为G＝(Q，E)，其中Q＝{q1，q2，...，qK}为所有超像素块节点组成的集合，qk为第k个超像素块节点，k＝1，2，...，K，K为超像素图模型中节点数量，E为任意两节点的连接状态构成的矩阵，E＝[ekj]K×K，其中若节点qk与qj相邻则该两个节点的连接状态ekj＝1，否则ekj＝0；
建立对图像进行排序的函数记为f：Q→R，
(3-4-2)计算超像素图模型中任意两个节点qk与qj的CIELab表色系距离Lab值dkj：
式中，Lk表示第k个超像素块节点的亮度；ak表示第k个超像素块节点从绿色到红色的范围；bk表示第k个超像素块节点从蓝色到黄色的范围；
对dkj归一化，得到节点qk与qj归一化后的Lab值记为d′kj；
计算连接节点qk与qj的边的加权关联值wkj：
其中，θ为调节边的权重的参数；
建立加权关联矩阵W＝[wkj]K×K；
(3-4-3)利用步骤(3-4-2)的结果，构建超像素图模型的度矩阵D，表示为：
其中
(3-4-4)根据函数f：Q→R，超像素图模型中每个节点qk对应一个排序值fk，将超像素图模型中所有节点排序值向量记为F＝[f1，f2，...，fK]T；
建立超像素图模型中所有节点查询状态向量y＝[y1，y2，...，yK]T，其中，若节点qk为查询对象，则该节点对应的查询状态yk＝1，否则yk＝0；
通过求解如下最优化问题得到排序值向量F的最优解f*：
其中参数μ用于平衡式中的两项约束：与/>
最优解f*的表达式如下：
f*＝(D-αW)-1y
其中，α＝1/(1+μ)；
(3-4-5)分别以超像素图模型的顶边、底边、左边和右边的超像素节点作为查询对象计算超像素图模型中各节点的的显著性结果；
其中，对每个节点qk，分别得到该节点对应的以顶边超像素节点作为查询对象时的显著性结果St(k)，以底边超像素节点作为查询对象时Sb(k)，以左边超像素节点作为查询对象时Sl(k)，以右边超像素节点作为查询对象时Sr(k)；
(3-4-6)根据步骤(3-4-5)的结果，分别计算各节点qk对应的综合显著性值Sbg(k)：
Sbg(k)＝St(k)×Sb(k)×Sl(k)×Sr(k)
(3-4-7)计算所有节点的综合显著性值的平均值，将所述平均值作为自适应阈值，然后利用所述自适应阈值分割出超像素图模型中的前景节点；
其中，若任一节点的综合显著性值Sbg(k)大于自适应阈值，则该节点为前景节点；
(3-4-8)利用步骤(3-4-7)得到的所有前景节点构建更新后的超像素图模型，重复步骤(3-4-2)-(3-4-4)，计算更新后的f*，然后归一化为
利用得到显著性图Sfg为：
其中，Sfg(k)为前景节点构建的显著性图中第k个值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述显著性图得到一帧所述被测目标表面的点云，包括：
(3-5-1)所述结构光测量系统采用时间相移法编码，并通过双频相移编码计算所述显著性图中各像素点的相位信息对应关系，获得每个像素点的三维信息；
(3-5-2)将经双频相移编码的条纹通过所述结构光测量系统中的投影仪投射到所述被测目标表面上；
(3-5-3)通过所述结构光测量系统中的相机采集所述被测目标表面上的投影图像并按照下式计算高频相位φh(uc，vc)和单频相位φu(uc，vc)：
其中，分别表示相机像素坐标(uc，vc)中的第n个高频条纹序列和第n个单频条纹序列；N为序列总数；
(3-5-4)计算绝对相位
其中，Th，Tu分别为高频条纹和单频条纹的单周期像素长度，为四舍五入运算符；根据所述绝对相位，构建一帧所述被测目标表面的点云。
4.一种增材制造结构光回环检测装置，其特征在于，包括：
点云帧序列构建模块，用于利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；
关键帧序列构建模块，用于从所述点云帧序列中提取关键帧点云组成关键帧序列；
点云模型构建模块，用于对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型；
利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列；
从所述点云帧序列中提取关键帧点云组成关键帧序列；
对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型；
所述利用结构光测量系统分别获取基板点云和增材制造过程中进行增材制造的物体表面的各帧点云以组成点云帧序列，包括：
(1)将基板作为被测目标；
(2)使用结构光测量系统获取映射在所述被测目标表面的结构光编码条纹图片序列；
(3)利用所述图片序列获取所述被测目标对应的显著性图，根据所述显著性图得到一帧所述被测目标表面的点云；
(4)将进行增材制造的物体作为所述被测目标，在增材制造过程中不断重复步骤(2)-(3)直到增材制造结束，以得到所述增材制造过程中多帧所述被测目标表面的点云；
(5)将各帧所述被测目标表面的点云组成点云帧序列，其中所述点云帧序列中的第一帧点云为基板点云；
所述从所述点云帧序列中提取关键帧组成关键帧序列，包括：
(1)将所述基板点云作为关键帧序列的第一帧关键帧点云；
(2)通过RanSAC平面特征检测算法对所述点云帧序列中剩余各帧点云分别进行检测：若该帧点云中检测到平面，则该帧点云为关键帧点云；
(3)将各所述关键帧点云组成所述关键帧序列；
所述对所述关键帧序列进行平面回环优化配准，得到配准后的所述关键帧序列构成所述进行增材制造的物体的点云模型，包括：
(1)利用RanSAC平面特征检测算法检测所述关键帧序列中各关键帧点云中的平面，其中所述关键帧序列中的第一帧关键帧点云为所述基板点云；
(2)将所述各关键帧点云通过步骤(1)检测所得平面的重心作为所述关键帧点云的平面零点；
(3)将所述关键帧序列的第2帧关键帧点云的所述平面零点与所述基板点云的所述平面零点重合，以得到配准后的所述第2帧关键帧点云；
(4)从所述关键帧序列的第3帧关键帧点云开始，依次将每帧关键帧点云的所述平面零点与配准后的前一帧关键帧点云的所述平面零点重合，以得到配准后的每帧关键帧点云；
(5)将所述基板点云及各配准后的关键帧点云组成所述配准后的关键帧序列，所述配准后关键帧序列为所述进行增材制造的物体的点云模型；
所述利用所述图片序列获取所述被测目标对应的显著性图，根据所述显著性图得到一帧所述被测目标表面的点云，包括：
(3-1)使用所述结构光测量系统中的工业相机采集所述映射在所述被测目标表面的结构光编码条纹图片序列的各灰度图像；
(3-2)对所述各灰度图像求取平均值，得到平均灰度图像；
(3-3)使用简单线性迭代聚类超像素计算法得到所述平均灰度图像对应的超像素图；
(3-4)根据所述超像素图中各个像素块信息，检测所述被测目标在超像素中的显著性，得到显著性图；
(3-5)根据所述显著性图得到一帧所述被测目标表面的点云。
5.一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-3任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111084693.3A CN113884025B (zh) | 2021-09-16 | 2021-09-16 | 增材制造结构光回环检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111084693.3A CN113884025B (zh) | 2021-09-16 | 2021-09-16 | 增材制造结构光回环检测方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113884025A CN113884025A (zh) | 2022-01-04 |
| CN113884025B true CN113884025B (zh) | 2024-05-03 |
Family
ID=79009609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111084693.3A Active CN113884025B (zh) | 2021-09-16 | 2021-09-16 | 增材制造结构光回环检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113884025B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409880B (zh) * | 2022-08-31 | 2024-03-22 | 深圳前海瑞集科技有限公司 | 工件数据配准方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296812A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
| CN106384383A (zh) * | 2016-09-08 | 2017-02-08 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 |
| CN108364344A (zh) * | 2018-02-08 | 2018-08-03 | 重庆邮电大学 | 一种基于回环测试的单目实时三维重建方法 |
| CN109059942A (zh) * | 2018-08-22 | 2018-12-21 | 中国矿业大学 | 一种井下高精度导航地图构建系统及构建方法 |
| CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
| CN111433818A (zh) * | 2018-12-04 | 2020-07-17 | 深圳市大疆创新科技有限公司 | 目标场景三维重建方法、系统及无人机 |
| CN112086010A (zh) * | 2020-09-03 | 2020-12-15 | 中国第一汽车股份有限公司 | 地图生成方法、装置、设备及存储介质 |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN112907491A (zh) * | 2021-03-18 | 2021-06-04 | 中煤科工集团上海有限公司 | 一种适用于井下巷道的激光点云回环检测方法及系统 |
| WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
-
2021
- 2021-09-16 CN CN202111084693.3A patent/CN113884025B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296812A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
| CN106384383A (zh) * | 2016-09-08 | 2017-02-08 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 |
| CN108364344A (zh) * | 2018-02-08 | 2018-08-03 | 重庆邮电大学 | 一种基于回环测试的单目实时三维重建方法 |
| CN109059942A (zh) * | 2018-08-22 | 2018-12-21 | 中国矿业大学 | 一种井下高精度导航地图构建系统及构建方法 |
| CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
| CN111433818A (zh) * | 2018-12-04 | 2020-07-17 | 深圳市大疆创新科技有限公司 | 目标场景三维重建方法、系统及无人机 |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN112086010A (zh) * | 2020-09-03 | 2020-12-15 | 中国第一汽车股份有限公司 | 地图生成方法、装置、设备及存储介质 |
| CN112907491A (zh) * | 2021-03-18 | 2021-06-04 | 中煤科工集团上海有限公司 | 一种适用于井下巷道的激光点云回环检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113884025A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Koch et al. | Evaluation of cnn-based single-image depth estimation methods | |
| CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模系统 | |
| Fan et al. | Rethinking road surface 3-d reconstruction and pothole detection: From perspective transformation to disparity map segmentation | |
| CN109614935B (zh) | 车辆定损方法及装置、存储介质及电子设备 | |
| CN113409382B (zh) | 车辆损伤区域的测量方法和装置 | |
| CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
| Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
| Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
| CN111915517B (zh) | 适用于室内光照不利环境下rgb-d相机全局定位方法 | |
| CN104634242A (zh) | 探针补点系统及方法 | |
| He et al. | A value recognition algorithm for pointer meter based on improved Mask-RCNN | |
| CN112929626B (zh) | 一种基于智能手机影像的三维信息提取方法 | |
| CN112254656A (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN113884025B (zh) | 增材制造结构光回环检测方法、装置、电子设备和存储介质 | |
| El Bouazzaoui et al. | Enhancing rgb-d slam performances considering sensor specifications for indoor localization | |
| CN111415305A (zh) | 恢复三维场景的方法、计算机可读存储介质及无人机 | |
| CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
| Li et al. | Stereo neural vernier caliper | |
| CN110706288A (zh) | 目标检测的方法、装置、设备及可读存储介质 | |
| Nagamatsu et al. | Self-calibrated dense 3D sensor using multiple cross line-lasers based on light sectioning method and visual odometry | |
| CN110021041B (zh) | 基于双目相机的无人驾驶场景增量式网格化结构重建方法 | |
| Hu et al. | Accurate fiducial mapping for pose estimation using manifold optimization | |
| Zhu et al. | Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair | |
| CN114332345B (zh) | 一种基于双目视觉的冶金库区局部三维重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |