CN112381921A - 一种边缘重建方法及系统 - Google Patents
一种边缘重建方法及系统 Download PDFInfo
- Publication number
- CN112381921A CN112381921A CN202011165547.9A CN202011165547A CN112381921A CN 112381921 A CN112381921 A CN 112381921A CN 202011165547 A CN202011165547 A CN 202011165547A CN 112381921 A CN112381921 A CN 112381921A
- Authority
- CN
- China
- Prior art keywords
- edge
- measured object
- model
- dimensional
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000011960 computer-aided design Methods 0.000 claims description 68
- 238000005457 optimization Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000017105 transposition Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 22
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种边缘重建方法及系统，包括：标定多相机系统包括至少两个工业相机，标定获得工业相机的内参数以及各个工业相机的相对位置关系；采用多相机系统扫描被测物得到二维图像，基于二维图像得到三维模型；将三维模型与对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算三维模型中边缘所在的空间面；若空间面为曲面，基于空间面根据曲面的曲率特性得到延伸面；根据对齐后的CAD模型将CAD模型边缘投影至二维图像，并在二维图像中检索边缘的对应点；将二维图像中边缘的对应点投影至三维模型的空间面或延伸面重建出边缘空间点云，并按照边缘的类型对边缘空间点云进行对应曲线拟合得到参数化边缘。操作简单、精度高。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种边缘重建方法及系统。
背景技术
基于计算机视觉的三维重建技术发展迅速，如双目立体视觉等被动测量法以及基于结构光的三维重建等主动测量法。这些方法能较好地重建出获得被测物的连续性表面，但是对被测物边缘的重建效果都不能达到较高精度。目前常用的边缘重建方法有三坐标基测量法、基于近景摄影测量的方法、基于低相干光的测量方法。
三坐标基测量法测量精度高，但是测量过程较为复杂，应用场景单一，不适用于大批量测量；基于近景摄影测量的方法，同名点匹配精度影响边缘重建精度，边缘线同名点匹配过程复杂且难以保证匹配精度导致边缘重建精度不高；基于低相干光的边缘重建方法具有较高的测量精度，但测量过程需要人工参与，测量速度慢。
现有技术边缘重建方法中存在测量操作复杂、精度不高等问题。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种边缘重建方法及系统。
本发明采用的技术方案如下所述：一种边缘重建方法，包括如下步骤：S1：标定多相机系统，所述多相机系统包括至少两个工业相机，标定获得所述工业相机的内参数以及各个所述工业相机的相对位置关系；S2：采用所述多相机系统扫描被测物得到所述被测物的二维图像，基于所述被测物的二维图像得到所述被测物的三维模型；S3：将所述被测物的三维模型与所述被测物对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算所述三维模型中边缘所在的空间面；若所述空间面为曲面，基于所述空间面根据所述曲面的曲率特性得到延伸面；S4：根据对齐后的所述CAD模型将所述CAD模型边缘投影至所述被测物的二维图像，并在所述被测物的二维图像中检索边缘的对应点；S5：将所述二维图像中所述边缘的对应点投影至所述三维模型的所述空间面或所述延伸面重建出边缘空间点云，并按照所述边缘的类型对所述边缘空间点云进行对应曲线拟合得到参数化边缘。
优选地，基于所述被测物的二维图像得到所述被测物的三维模型包括如下步骤：S21：利用多视角重建原理重建单个视角点云数据；S22：转换视角，获得不同视角重建出的点云数据；S23：对所有视角重建出的点云数据进行拼接获得完整点云数据并封装。
优选地，将所述被测物的三维模型与所述被测物对应的CAD模型配准包括如下步骤：S31：将所述被测物的所述三维模型与对应的所述CAD模型进行粗配准用于为精配准提供初始位置；S32：在粗配准的基础上将所述三维模型与对应的所述CAD模型精配准，得到所述三维模型与对应的所述CAD模型精确对应关系，获得与所述三维模型精确对齐后的CAD模型。
优选地，计算所述三维模型中边缘所在的空间面包括如下步骤：S301：确定所述CAD模型的边缘所在的面；S302：将所述CAD模型的边缘所在的面映射到对应的所述三维模型，映射后的空间面为所述三维模型的边缘所在的空间面。
优选地，以所述CAD模型边缘投影至所述被测物的二维图像的曲线为先验值，采用形状约束以及边缘碎片分组的凸点边缘提取算法在所述被测物的二维图像中检索边缘的对应点。
优选地，将所述二维图像中所述边缘的对应点投影至所述三维模型的所述空间面并进行对应曲线拟合得到参数化边缘包括如下步骤：S51：根据所述二维图像上边缘的对应点、所述三维模型中边缘所在的空间面以及所述工业相机的内参数以及各个所述工业相机的相对位置关系获得世界坐标系下边缘的点的坐标；S52：将世界坐标系下边缘的点的坐标利用旋转矩阵转换到二维坐标系下获得转换后的边缘的点的坐标；S53：对所述转换后的边缘的点的坐标进行空间圆拟合得到拟合结果；S54：利用所述旋转矩阵的转置，将所述拟合结果转换到世界坐标系下，得到世界坐标系下的拟合结果。
优选地，在所述被测物为圆孔的情况下，拟合过程中的优化目标方程为：
(x-x0)2+(y-y0)2-R2＝0
其中，(x，y)为世界坐标系中边缘点坐标，(x0，y0)为世界坐标系中平面圆圆心坐标，R为平面圆半径。
优选地，在所述被测物为槽孔的情况下，对所述世界坐标系下槽孔边缘点坐标进行槽孔拟合包括：T1：对所述槽孔的边缘点云按照线段类型进行分割，得到所述槽孔的直线段和圆弧段的点云数据；
T2：以分割后的所述点云数据为约束，所述槽孔圆弧段半径及两圆弧段圆心坐标为优化变量，对槽孔的点云数据参数化拟合；拟合过程中圆弧段的优化目标方程为：
(x-x0)2+(y-y0)2-R2＝0
其中，(x，y)为其中一个圆弧段区域的点云坐标，(x0，y0)为与所述圆弧段对应的圆心的坐标，R为圆弧段半径；
拟合过程中，直线段的优化目标方程为：
其中，O1、O2分别为两个圆弧段的圆心，P为直线段上一点。
优选地，还包括：S6：对所述边缘的周边区域进行修复。
本发明还提供一种边缘重建系统，包括：第一单元，用于标定多相机系统，所述多相机系统包括至少两个工业相机，标定获得所述工业相机的内参数以及各个所述工业相机的相对位置关系；第二单元，用于采用所述多相机系统扫描被测物得到所述被测物的二维图像，基于所述被测物的二维图像得到所述被测物的三维模型；第三单元，用于将所述被测物的三维模型与所述被测物对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算所述三维模型中边缘所在的空间面，基于所述空间面得到延伸面，所述延伸面是将所述三维模型的边缘所在的空间面进行延伸得到；第四单元，用于根据对齐后的所述CAD模型将所述CAD模型边缘投影至所述被测物的二维图像，并在所述被测物的二维图像中检索边缘的对应点；第五单元，用于将所述二维图像中所述边缘的对应点投影至所述三维模型的所述延伸面重建出边缘空间点云，并按照所述边缘的类型对所述边缘空间点云进行对应曲线拟合得到参数化边缘。
本发明的有益效果为：提供一种边缘重建方法及系统，通过CAD模型边缘这一先验值，确定三维模型中边缘所在空间面，不需要对二维图像上的边缘点做同名点匹配，只需要每个相机的投影矩阵即可重建出边缘；方法操作简单、边缘重建精度高，利用边缘二维图像灰度特征值实现了被测物边缘的高精度测量，改善了基于机器视觉的三维重建方法对物体边缘重建效果较差、精度不高的问题；
进一步地，可以输出被测物边缘的数字化测量结果，实现参数化测量。
附图说明
图1是本发明实施例中一种边缘重建方法的示意图。
图2是本发明实施例中一种多相机系统的示意图。
图3是本发明实施例中一种重建三维模型的过程示意图。
图4是本发明实施例中基于被测物的二维图像得到被测物的三维模型的方法示意图。
图5是本发明实施例中将被测物的三维模型与被测物对应的CAD模型配准的示意图。
图6是本发明实施例中计算三维模型中边缘所在的空间面的示意图。
图7(a)是本发明实施例中圆孔边缘投影到二维图像后的边缘点的示意图。
图7(b)是本发明实施例中圆孔边缘二维图像中检索边缘的对应点的示意图。
图8(a)是本发明实施例中不同视角边缘提取结果示意图。
图8(b)为对应的实际边缘重建以及拟合结果示意图。
图9是本发明实施例中第一种对应曲线拟合得到参数化边缘的方法示意图。
图10是本发明实施例中第二种对应曲线拟合得到参数化边缘的方法示意图。
图11是本发明实施例中第三种对应曲线拟合得到参数化边缘的方法示意图。
图12是本发明实施例中对世界坐标系下槽孔边缘点坐标进行槽孔拟合的方法示意图。
图13是本发明实施例中四个种子点及种子点对应的四段点云数据示意图。
图14是本发明实施例中槽孔点云参数化拟合的示意图。
图15是本发明实施例中又一种边缘重建方法的示意图。
图16是本发明实施例中一种边缘重建系统的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种边缘重建方法，包括如下步骤：
S1：标定多相机系统，所述多相机系统包括至少两个工业相机，标定获得所述工业相机的内参数以及各个所述工业相机的相对位置关系；
S2：采用所述多相机系统扫描被测物得到所述被测物的二维图像，基于所述被测物的二维图像得到所述被测物的三维模型；
S3：将所述被测物的三维模型与所述被测物对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算所述三维模型中边缘所在的空间面；若所述空间面为曲面，基于所述空间面根据所述曲面的曲率特性得到延伸面；
S4：根据对齐后的所述CAD模型将所述CAD模型边缘投影至所述被测物的二维图像，并在所述被测物的二维图像中检索边缘的对应点；
S5：将所述二维图像中所述边缘的对应点投影至所述三维模型的所述空间面或所述延伸面重建出边缘空间点云，并按照所述边缘的类型对所述边缘空间点云进行对应曲线拟合得到参数化边缘。
本发明的主要是利用CAD模型边缘这一先验值，确定三维模型中边缘所在空间面，不需要对二维图像上的边缘点做同名点匹配，只需要每个相机的投影矩阵(通过内外参计算得到)即可重建出边缘；进一步地，利用多视角重建结果进行拟合优化，得到参数化边缘。
本发明的方法操作简单、边缘重建精度高，利用边缘二维图像灰度特征值实现了被测物边缘的高精度测量，改善了基于机器视觉的三维重建方法对物体边缘重建效果较差、精度不高的问题；
进一步地，可以输出被测物边缘的数字化测量结果，实现参数化测量。
如图2所示，是本发明的一种多相机系统的示意图。多相机系统包括工业相机1和工业相机2，以及投影仪3对被测物4进行扫描成像。通过标定获得工业相机的内参数以及各个工业相机的相对位置关系；其中多相机系统标定属于现有技术，可以使用但不限于基于摄影测量的相机标定原理。在本发明另外的实施例中，工业相机的个数可以是更多个。
通过多相机系统扫描被测物4得到被测物4的三维模型，重建三维模型的方法可以但不限于基于结构光的重建方法、基于点线激光的重建方法以及被动测量法中的一种。
如图3所示，是本发明一种重建三维模型的过程示意图，对被测物的扫描过程需要从多个视角进行。
如图4所示，基于所述被测物的二维图像得到所述被测物的三维模型包括如下步骤：
S21：利用多视角重建原理重建单个视角点云数据；
S22：转换视角，获得不同视角重建出的点云数据；
S23：对所有视角重建出的点云数据进行拼接获得完整点云数据并封装。
然后，将被测物的三维模型与被测物对应的CAD模型配准，其中，被测物CAD模型为先验值。
在本发明的一种实施例中，配准的目的是为了获得CAD模型与三维模型的空间位置关系，其主要包括粗配准和精配准两个过程。
如图5所示，将所述被测物的三维模型与所述被测物对应的CAD模型配准包括如下步骤：
S31：将所述被测物的所述三维模型与对应的所述CAD模型进行粗配准用于为精配准提供初始位置；
在本发明的一种实施例中，粗配准方法可以采用主成分分析法；
S32：在粗配准的基础上将所述三维模型与对应的所述CAD模型精配准，得到所述三维模型与对应的所述CAD模型精确对应关系，获得与所述三维模型精确对齐后的CAD模型。
在本发明的一种实施例中，精配准方法可以采用ICP法。
可以理解的是，还可以采用现有技术中其他粗配准和精配准的方法。
然后，计算三维模型中边缘所在的空间面；将CAD模型边缘所在面映射到重建出的三维模型，映射后的空间面即为投影面；以空间圆孔边缘为例，从CAD模型中选择空间圆孔边缘，通过将空间圆孔边缘所在CAD平面映射到扫描得到的三维模型获得边缘所在空间面。
如图6所示，计算所述三维模型中边缘所在的空间面包括如下步骤：
S301：确定所述CAD模型的边缘所在的面；
S302：将所述CAD模型的边缘所在的面映射到对应的所述三维模型，映射后的空间面为所述三维模型的边缘所在的空间面。
可以理解的是，可以根据具体的情况，比如如果是平面，直接就可以使用平面的参数，如果是曲面，就需要对曲面进行延伸，可以使用波前法，还可以使用其他方法。
即在得到空间面的基础上还要进一步得到延伸面，因为边缘的对应点有可能在延伸面上，即落在空间面的外面。可以理解的是，延伸面作为一个平面和曲面包括了空间面，空间面是三维模型中的一个面，其本身有大小的限制。
进一步地，根据对齐后的CAD模型将CAD模型边缘投影至被测物的二维图像，并在被测物的二维图像中检索边缘的对应点。
在本发明的一种实施例中，利用所述工业相机的内参数以及各个所述工业相机的相对位置关系，也就是工业相机的内、外参数，根据对齐后的CAD模型将CAD模型边缘投影至被测物的二维图像；在图像中检索对应边缘点是以CAD模型投影至被测物的二维图像的曲线为先验值，进而采用形状约束以及边缘碎片分组的凸点边缘提取算法在所述被测物的二维图像中检索边缘的对应点。以圆孔边缘为例，首先利用工业相机内、外参数获得投影矩阵，进一步地，利用投影矩阵将空间圆边缘点投影至重建过程中拍摄的图像。投影后的边缘点如图7(a)所示，检索到的对应边缘点如图7(b)所示。
最后，将二维图像中边缘的对应点投影至三维模型的延伸面并进行对应曲线拟合得到重建的边缘。重建出边缘点空间坐标并按照边缘形状进行对应的曲线拟合，如空间圆拟合、空间槽孔拟合、二次曲线拟合等。
在本发明的一种实施例中，被测物为圆孔，重建边缘为圆孔边缘；获得的每个视角图像中空间圆孔的边缘点，投影至三维模型的延伸面获得空间圆孔的三维坐标点，进一步地，对重建得到的边缘点进行空间圆拟合得到参数化重建结果。图8(a)为不同视角边缘提取结果示意图，图8(b)为对应的实际边缘重建以及拟合结果图。
如图9所示，将所述二维图像中所述边缘的对应点投影至所述三维模型的所述空间面并进行对应曲线拟合得到参数化边缘包括如下步骤：
S51：根据所述二维图像上边缘的对应点、所述三维模型中边缘所在的空间面以及所述工业相机的内参数以及各个所述工业相机的相对位置关系获得世界坐标系下边缘的点的坐标；
S52：将世界坐标系下边缘的点的坐标利用旋转矩阵转换到二维坐标系下获得转换后的边缘的点的坐标；
S53：对所述转换后的边缘的点的坐标进行空间圆拟合得到拟合结果；
S54：利用所述旋转矩阵的转置，将所述拟合结果转换到世界坐标系下，得到世界坐标系下的拟合结果。
可以理解的是，当三维模型中边缘所在面为平面，即即将二维图像中边缘的对应点投影至三维模型的空间面上时，时采用上述方法，当边缘所在面为曲面，即将二维图像中边缘的对应点投影至三维模型的延伸面上时，只需要采用上述步骤S51和S54即可，因为曲面本身是三维的。
如图10所示，当测物为圆孔时，将所述二维图像中所述边缘的对应点投影至所述三维模型的所述延伸面并进行对应曲线拟合得到参数化边缘包括如下步骤：
S51：根据所述二维图像上边缘的对应点、所述三维模型中边缘所在的延伸面以及所述工业相机的内参数以及各个所述工业相机的相对位置关系获得世界坐标系下所述圆孔的边缘的点的坐标；
S52：将世界坐标系下所述圆孔的边缘的点的坐标利用旋转矩阵转换到二维坐标系下获得转换后的圆孔的边缘的点的坐标；
S53：对所述转换后的圆孔的边缘的点的坐标进行空间圆拟合得到拟合结果，优化目标方程为：
(x-x0)2+(y-y0)2-R2＝0
其中，(x，y)为世界坐标系中边缘点坐标，(x0，y0)为世界坐标系中平面圆圆心坐标，R为平面圆半径；
S54：利用所述旋转矩阵的转置，将所述拟合结果转换到世界坐标系下，得到世界坐标系下空间圆的拟合结果。
在本发明的一种实施例中，计算边缘点所在平面，可以采用主成分分析方法；进一步的，将边缘点投影至延伸面进行平面圆拟合，可以采用最小二乘拟合法、Gauss-Newton迭代优化法、LM迭代优化法中的一种进行拟合。
在本发明的另一种实施例中，被测物为槽孔。
如图11所示，被测物为槽孔；将所述二维图像中所述边缘的对应点投影至所述三维模型的所述延伸面并进行对应曲线拟合得到参数化边缘包括如下步骤：
S501：根据所述二维图像上边缘的对应点、所述三维模型中边缘所在的延伸面以及所述工业相机的内参数以及各个所述工业相机的相对位置关系获得世界坐标系下所述槽孔的边缘的点的坐标；
S502：将世界坐标系下所述槽孔的边缘的点的坐标利用旋转矩阵转换到二维坐标系下获得转换后的槽孔的边缘的点的坐标；
S503：对所述转换后的槽孔的边缘的点的坐标进行槽孔拟合得到拟合结果；
S504：利用所述旋转矩阵的转置，将所述拟合结果转换到世界坐标系下，得到世界坐标系下所述槽孔的拟合结果。
如图12所示，对所述世界坐标系下槽孔边缘点坐标进行槽孔拟合包括：
T1：对所述槽孔的边缘点云按照线段类型进行分割，得到所述槽孔的直线段和圆弧段的点云数据；
如图13所示，将槽孔按照线段类型(直线段、圆弧段)进行分割，具体地，首先对点云数据去中心化，分别找到槽孔点云数据中距离中心点的最近及最远点，记为两个种子点，进一步地，找到种子点关于中心点的对称点并在槽孔点云数据中检索其最近邻点作为另外两个种子点，通过四个种子点扩散实现槽孔点云的分割，得到4段点云数据。
T2：以分割后的所述点云数据为约束，所述槽孔圆弧段半径及两圆弧段圆心坐标为优化变量，对槽孔的点云数据参数化拟合。
如图14所示，利用获得的分割后的点云数据约束，实现槽孔点云参数化拟合。具体地，以槽孔两侧圆弧段圆心以及半径为控制条件，以分割后的点云为约束条件，对分割得到的4段点云分别列各自的优化目标方程并且同时优化，优化方法可以使用Gauss-Newton迭代优化法、LM迭代优化法中的一种。点O1及点O2分别为圆弧段1及圆弧段2的圆心，线段AB及线段CD为槽孔两直线段，则优化参数为圆心O1及圆心O2坐标以及圆心O1及圆心O2之间的距离。以圆弧段1为例，其优化目标方程为：
(x-x0)2+(y-y0)2-R2＝0
其中，(x，y)为圆弧段1区域点云坐标，(x0，y0)为O1坐标，R为槽孔圆弧段半径。对于圆弧段2可以用同样的方法计算。
对于直线段AB及CD，假设P为直线段上一点，则优化目标方程为：
其中，R为槽孔圆弧段半径。
如图15所示，在本发明的一种实施例中，还包括：
S6：对所述边缘的周边区域进行修复。
具体地，根据上述方法获得的边缘曲线以及三维模型，对被测物三维模型边缘附近重建效果差的部分进行修复，比如可以根据边缘重建结果对被测模型边缘附近重建效果较差的部分进行孔洞修复，提高了重建模型的质量。
如图16所示，本发明提供一种边缘重建系统，所述系统用于实施上述检测方法。包括：
第一单元，用于标定多相机系统，所述多相机系统包括至少两个工业相机，标定获得所述工业相机的内参数以及各个所述工业相机的相对位置关系；
第二单元，用于采用所述多相机系统扫描被测物得到所述被测物的二维图像，基于所述被测物的二维图像得到所述被测物的三维模型；
第三单元，用于将所述被测物的三维模型与所述被测物对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算所述三维模型中边缘所在的空间面，基于所述空间面得到延伸面，所述延伸面是将所述三维模型的边缘所在的空间面进行延伸得到；
第四单元，用于根据对齐后的所述CAD模型将所述CAD模型边缘投影至所述被测物的二维图像，并在所述被测物的二维图像中检索边缘的对应点；
第五单元，用于将所述二维图像中所述边缘的对应点投影至所述三维模型的所述延伸面重建出边缘空间点云，并按照所述边缘的类型对所述边缘空间点云进行对应曲线拟合得到参数化边缘。
为了验证本发明提出系统的有效性，以空间圆孔边缘重建为例，使用基于光栅结构光的双目重建系统与本发明提出的方法对空间圆孔边缘进行重建精度对比实验。实验采用标准检测工件，计算重建出空间圆孔半径值与CAD模型半径值作为重建方案的精度，基于光栅结构光的双目重建系统圆孔边缘重建结果如表1所示，基于本发明的方法的圆孔边缘重建结果如2所示。通过对比结果可以看出，本发明提出的重建算法比传统的基于光栅结构光的双目重建系统对圆孔边缘具有更高的重建精度。对圆孔边缘半径，重建误差在0.03mm以内。
表1基于光栅结构光的双目重建系统圆孔边缘重建结果
表2基于本发明所述方法圆孔边缘重建结果
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种边缘重建方法，其特征在于，包括如下步骤：
S1：标定多相机系统，所述多相机系统包括至少两个工业相机，标定获得所述工业相机的内参数以及各个所述工业相机的相对位置关系；
S2：采用所述多相机系统扫描被测物得到所述被测物的二维图像，基于所述被测物的二维图像得到所述被测物的三维模型；
S3：将所述被测物的三维模型与所述被测物对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算所述三维模型中边缘所在的空间面；若所述空间面为曲面，基于所述空间面根据所述曲面的曲率特性得到延伸面；
S4：根据对齐后的所述CAD模型将所述CAD模型边缘投影至所述被测物的二维图像，并在所述被测物的二维图像中检索边缘的对应点；
S5：将所述二维图像中所述边缘的对应点投影至所述三维模型的所述空间面或所述延伸面重建出边缘空间点云，并按照所述边缘的类型对所述边缘空间点云进行对应曲线拟合得到参数化边缘。
2.如权利要求1所述的边缘重建方法，其特征在于，基于所述被测物的二维图像得到所述被测物的三维模型包括如下步骤：
S21：利用多视角重建原理重建单个视角点云数据；
S22：转换视角，获得不同视角重建出的点云数据；
S23：对所有视角重建出的点云数据进行拼接获得完整点云数据并封装。
3.如权利要求2所述的边缘重建方法，其特征在于，将所述被测物的三维模型与所述被测物对应的CAD模型配准包括如下步骤：
S31：将所述被测物的所述三维模型与对应的所述CAD模型进行粗配准用于为精配准提供初始位置；
S32：在粗配准的基础上将所述三维模型与对应的所述CAD模型精配准，得到所述三维模型与对应的所述CAD模型精确对应关系，获得与所述三维模型精确对齐后的CAD模型。
4.如权利要求3所述的边缘重建方法，其特征在于，计算所述三维模型中边缘所在的空间面包括如下步骤：
S301：确定所述CAD模型的边缘所在的面；
S302：将所述CAD模型的边缘所在的面映射到对应的所述三维模型，映射后的空间面为所述三维模型的边缘所在的空间面。
5.如权利要求4所述的边缘重建方法，其特征在于，以所述CAD模型边缘投影至所述被测物的二维图像的曲线为先验值，采用形状约束以及边缘碎片分组的凸点边缘提取算法在所述被测物的二维图像中检索边缘的对应点。
6.如权利要求5所述的边缘重建方法，其特征在于，将所述二维图像中所述边缘的对应点投影至所述三维模型的所述空间面并进行对应曲线拟合得到参数化边缘包括如下步骤：
S51：根据所述二维图像上边缘的对应点、所述三维模型中边缘所在的空间面以及所述工业相机的内参数以及各个所述工业相机的相对位置关系获得世界坐标系下边缘的点的坐标；
S52：将世界坐标系下边缘的点的坐标利用旋转矩阵转换到二维坐标系下获得转换后的边缘的点的坐标；
S53：对所述转换后的边缘的点的坐标进行空间圆拟合得到拟合结果；
S54：利用所述旋转矩阵的转置，将所述拟合结果转换到世界坐标系下，得到世界坐标系下的拟合结果。
7.如权利要求6所述的边缘重建方法，其特征在于，在所述被测物为圆孔的情况下，拟合过程中的优化目标方程为：
(x-x0)2+(y-y0)2-R2＝0
其中，(x，y)为世界坐标系中边缘点坐标，(x0，y0)为世界坐标系中平面圆圆心坐标，R为平面圆半径。
8.如权利要求6所述的边缘重建方法，其特征在于，在所述被测物为槽孔的情况下，对所述世界坐标系下槽孔边缘点坐标进行槽孔拟合包括：
T1：对所述槽孔的边缘点云按照线段类型进行分割，得到所述槽孔的直线段和圆弧段的点云数据；
T2：以分割后的所述点云数据为约束，所述槽孔圆弧段半径及两圆弧段圆心坐标为优化变量，对槽孔的点云数据参数化拟合；拟合过程中圆弧段的优化目标方程为：
(x-x0)2+(y-y0)2-R2＝0
其中，(x，y)为其中一个圆弧段区域的点云坐标，(x0，y0)为与所述圆弧段对应的圆心的坐标，R为圆弧段半径；
拟合过程中，直线段的优化目标方程为：
其中，O1、O2分别为两个圆弧段的圆心，P为直线段上一点。
9.如权利要求1-8任一所述的边缘重建方法，其特征在于，还包括：
S6：对所述边缘的周边区域进行修复。
10.一种边缘重建系统，其特征在于，包括：
第一单元，用于标定多相机系统，所述多相机系统包括至少两个工业相机，标定获得所述工业相机的内参数以及各个所述工业相机的相对位置关系；
第二单元，用于采用所述多相机系统扫描被测物得到所述被测物的二维图像，基于所述被测物的二维图像得到所述被测物的三维模型；
第三单元，用于将所述被测物的三维模型与所述被测物对应的计算机辅助设计CAD模型配准得到对齐后的CAD模型，并计算所述三维模型中边缘所在的空间面，基于所述空间面得到延伸面，所述延伸面是将所述三维模型的边缘所在的空间面进行延伸得到；
第四单元，用于根据对齐后的所述CAD模型将所述CAD模型边缘投影至所述被测物的二维图像，并在所述被测物的二维图像中检索边缘的对应点；
第五单元，用于将所述二维图像中所述边缘的对应点投影至所述三维模型的所述延伸面重建出边缘空间点云，并按照所述边缘的类型对所述边缘空间点云进行对应曲线拟合得到参数化边缘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165547.9A CN112381921B (zh) | 2020-10-27 | 一种边缘重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165547.9A CN112381921B (zh) | 2020-10-27 | 一种边缘重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381921A true CN112381921A (zh) | 2021-02-19 |
| CN112381921B CN112381921B (zh) | 2024-07-12 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381847A (zh) * | 2020-10-27 | 2021-02-19 | 新拓三维技术(深圳)有限公司 | 管路端头空间位姿测量方法及系统 |
| CN113344952A (zh) * | 2021-07-28 | 2021-09-03 | 浙江华睿科技股份有限公司 | 一种切边方法、装置及电子设备 |
| CN115289974A (zh) * | 2022-10-09 | 2022-11-04 | 思看科技(杭州)股份有限公司 | 孔位测量方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110218776A1 (en) * | 2010-03-05 | 2011-09-08 | Omron Corporation | Model producing apparatus, model producing method, and computer-readable recording medium in which model producing program is stored |
| US20140358496A1 (en) * | 2013-06-04 | 2014-12-04 | Dassault Systemes | Designing a 3d modeled object with 2d views |
| CN106023307A (zh) * | 2016-07-12 | 2016-10-12 | 深圳市海达唯赢科技有限公司 | 基于现场环境的快速重建三维模型方法及系统 |
| CN106251395A (zh) * | 2016-07-27 | 2016-12-21 | 中测高科（北京）测绘工程技术有限责任公司 | 一种三维模型快速重建方法及系统 |
| US10467807B1 (en) * | 2018-11-09 | 2019-11-05 | Autodesk, Inc. | Facilitated editing of generative design geometry in computer aided design user interface |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110218776A1 (en) * | 2010-03-05 | 2011-09-08 | Omron Corporation | Model producing apparatus, model producing method, and computer-readable recording medium in which model producing program is stored |
| US20140358496A1 (en) * | 2013-06-04 | 2014-12-04 | Dassault Systemes | Designing a 3d modeled object with 2d views |
| CN106023307A (zh) * | 2016-07-12 | 2016-10-12 | 深圳市海达唯赢科技有限公司 | 基于现场环境的快速重建三维模型方法及系统 |
| CN106251395A (zh) * | 2016-07-27 | 2016-12-21 | 中测高科（北京）测绘工程技术有限责任公司 | 一种三维模型快速重建方法及系统 |
| US10467807B1 (en) * | 2018-11-09 | 2019-11-05 | Autodesk, Inc. | Facilitated editing of generative design geometry in computer aided design user interface |
Non-Patent Citations (1)
| Title |
|---|
| 石永芳: "大尺寸复杂零件反求测量三维重构技术的研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, 15 December 2006 (2006-12-15), pages 022 - 524 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381847A (zh) * | 2020-10-27 | 2021-02-19 | 新拓三维技术(深圳)有限公司 | 管路端头空间位姿测量方法及系统 |
| CN112381847B (zh) * | 2020-10-27 | 2024-02-13 | 新拓三维技术(深圳)有限公司 | 管路端头空间位姿测量方法及系统 |
| CN113344952A (zh) * | 2021-07-28 | 2021-09-03 | 浙江华睿科技股份有限公司 | 一种切边方法、装置及电子设备 |
| CN115289974A (zh) * | 2022-10-09 | 2022-11-04 | 思看科技(杭州)股份有限公司 | 孔位测量方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292364B (zh) | 一种三维模型构建过程中图像快速匹配的方法 | |
| KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
| CN111179358A (zh) | 标定方法、装置、设备及存储介质 | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| CN109961401A (zh) | 一种双目相机的图像校正方法和存储介质 | |
| US20060274302A1 (en) | Machine Vision Vehicle Wheel Alignment Image Processing Methods | |
| US20090268214A1 (en) | Photogrammetric system and techniques for 3d acquisition | |
| CN105066962B (zh) | 一种多分辨率大视场角高精度摄影测量装置 | |
| TW201717613A (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN112465912A (zh) | 一种立体相机标定方法及装置 | |
| CN114460093B (zh) | 一种航空发动机缺陷检测方法及系统 | |
| CN112184811A (zh) | 单目空间结构光系统结构校准方法及装置 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN110825079A (zh) | 一种地图构建方法及装置 | |
| CN114638795A (zh) | 一种多结构光测量单元在线测量方法及系统 | |
| CN113706587A (zh) | 基于空间网格划分的快速点云配准方法、装置和设备 | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| US8948498B1 (en) | Systems and methods to transform a colored point cloud to a 3D textured mesh | |
| CN112381921B (zh) | 一种边缘重建方法及系统 | |
| Chai et al. | Single-image calibration method for multiple virtual binocular vision system | |
| CN112381921A (zh) | 一种边缘重建方法及系统 | |
| CN114638789A (zh) | 一种用于孔位检测的方法及系统 | |
| CN115375773A (zh) | 单目激光散斑投影系统的外参数标定方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |