CN114577131B - 一种基于3d结构光相机的车身间隙检测方法及系统 - Google Patents
一种基于3d结构光相机的车身间隙检测方法及系统 Download PDFInfo
- Publication number
- CN114577131B CN114577131B CN202210148097.5A CN202210148097A CN114577131B CN 114577131 B CN114577131 B CN 114577131B CN 202210148097 A CN202210148097 A CN 202210148097A CN 114577131 B CN114577131 B CN 114577131B
- Authority
- CN
- China
- Prior art keywords
- gap
- contour
- point
- vehicle body
- light camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于3D结构光相机的车身间隙检测方法及系统，本发明包括：获取3D结构光相机扫描被测车身间隙得到的点云数据；将被测车身间隙横向的一组点云数据作为一条轮廓，提取每一条轮廓的轮廓间隙点，得到左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1；根据左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1计算被测车身间隙两侧轮廓之间的均值距离矢量根据均值距离矢量计算出被测车身间隙d；此外还包括左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1计算面差。本发明不要求3D线结构光相机的安装使激光与间隙方向垂直，适应性更好，可自动计算被测车身间隙两侧轮廓之间的均值距离矢量以及被测车身间隙d，计算准确度高。
Description
技术领域
本发明涉及汽车的车身间隙面差检测技术，具体涉及一种基于3D结构光相机的车身间隙检测方法及系统。
背景技术
在汽车零部件焊接拼装过程中，因后续装配需要或产品外观要求，需要对车身多个部位的间隙与面差进行检测和控制。
目前汽车车身的间隙面差测量工具主要为间隙尺、面差表，测量方式为测量人员手持工具测量。但是，这种人工测量方式存在节拍慢、测量结果受测量角度与测量位置影响大的缺陷，影响测量结果的准确性与客观性。目前越来越多的汽车公司开始寻求一种替代人工测量的间隙面差检测方案以提升产线自动化程度，优化人力资源配置。
视觉系统的发展为上述痛点与需求提供了良好的解决方案。目前存在基于多目视觉的测量系统与基于激光扫描仪的测量系统，基于多目视觉的测量系统利用多个不同点位的2D相机重建出待测工件，但是此方式的精度较低，测量偏差大，有时难以满足要求。而3D线结构光相机精度可达微米级，基于3D结构光相机的视觉系统具有更小的测量偏差。目前部分基于3D线结构光的视觉系统仅在待测量处扫描一条轮廓，提取间隙特征点和面差特征点，据此计算该点位的间隙和面差。因待测面差不是两个完美的平面，且待测缝隙也非完全平行，这种只取一条轮廓的测量方式会因为工件表面质量放大测量误差。同时，该方法对待测工件的定位要求高，难以兼容工件定位的偏差。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于3D结构光相机的车身间隙检测方法及系统，本发明不要求3D线结构光相机的安装使激光与间隙方向垂直，适应性更好，可自动计算被测车身间隙两侧轮廓之间的均值距离矢量以及被测车身间隙d，计算准确度高。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于3D结构光相机的车身间隙检测方法，包括：
1)获取3D结构光相机扫描被测车身间隙得到的点云数据；
2)将被测车身间隙横向的一组点云数据作为一条轮廓，提取每一条轮廓的轮廓间隙点，得到左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1；
3)根据左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1计算被测车身间隙两侧轮廓之间的均值距离矢量
4)根据均值距离矢量计算出被测车身间隙d。
可选地，步骤1)中的3D结构光相机为3D线结构光相机或3D面结构光相机；当3D结构光相机为3D线结构光相机时，所述3D结构光相机扫描被测车身间隙是指沿着被测车身间隙纵向扫描，使得3D结构光相机每一帧点云数据包含一条轮廓。
可选地，步骤2)包括：
2.1)对点云数据进行聚类，得到左侧簇点云集合和右侧簇点云集合；
2.2)将被测车身间隙横向的一组点云数据作为一条轮廓，从左侧簇点云集合和右侧簇点云集合遍历取出一条轮廓作为当前轮廓，若遍历成功，则跳转下一步；若遍历失败，则判定已经左侧簇点云集合和右侧簇点云集合全部遍历完毕，返回左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1，跳转步骤3)；
2.3)在当前轮廓中定位轮廓间隙点，若当前轮廓为左侧簇点云集合中的轮廓，则将当前轮廓的轮廓间隙点加入左侧轮廓间隙点集合N0，若当前轮廓为右侧簇点云集合中的轮廓，则将当前轮廓的轮廓间隙点加入右侧轮廓间隙点集合N1，跳转步骤2.2)。
可选地，步骤2.3)中找到当前轮廓的轮廓间隙点包括：计算当前轮廓上每一点的余弦曲率，取当前轮廓中余弦曲率最大的点作为当前轮廓的轮廓间隙点。
可选地，步骤2)中在提取每一条轮廓的轮廓间隙点之前还包括对点云数据中的每一条轮廓进行过滤离散点云的步骤；步骤2)之后、步骤3)之前还包括：分别将左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1进行直线拟合得到直线L0和L1，根据直线L0和L1将左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1中的离散轮廓间隙点删除。
可选地，步骤3)包括：遍历左侧轮廓间隙点集合N0中每一个轮廓间隙点qi，针对遍历得到的轮廓间隙点qi，在右侧轮廓间隙点集合N1中查找与该轮廓间隙点qi最近的轮廓间隙点pi作为最近轮廓间隙点对，并计算出该最近轮廓间隙点对的均值距离矢量；最终将所有最近轮廓间隙点对的均值距离矢量求均值，得到被测车身间隙两侧轮廓之间的均值距离矢量
可选地，步骤4)中根据均值距离矢量计算出被测车身间隙d的函数表达式为：
上式中，为被测车身间隙两侧轮廓之间的均值距离矢量，θ为被测车身间隙两侧轮廓之间的均值距离矢量/>投影至xz面后与x轴方向的夹角，x轴方向为垂直间隙的方向，y轴方向为平行间隙的方向，z轴方向为垂直间隙面向的方向。
可选地，步骤2)之后还包括计算被测车身间隙的面差：S1)从左侧轮廓间隙点集合N0中找到x轴最小值对应的轮廓间隙点，右侧轮廓间隙点集合N1中找到x轴最大值对应的轮廓间隙点，以所述x轴最小值对应的轮廓间隙点、x轴最大值对应的轮廓间隙点为基准点标记感兴趣区域ROI；S2)获取左、右侧轮廓间隙点集合N0、N1中隶属于感兴趣区域ROI的轮廓间隙点得到面差点云集，并基于面差点云集提取平面，分别得到左、右侧平面；针对得到的左、右侧平面，以一侧平面为基准面，对另外一侧平面求质心为测量点，计算出测量点到基准面之间的距离作为被测车身间隙的面差计算结果。
此外，本发明还提供一种基于3D结构光相机的车身间隙检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以所述基于3D结构光相机的车身间隙检测方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施所述基于3D结构光相机的车身间隙检测方法的步骤。
和现有技术相比，本发明主要具有下述优点：
1、本发明包括根据左、右侧轮廓间隙点集合N0、N1计算被测车身间隙两侧轮廓之间的均值距离矢量根据均值距离矢量/>计算出被测车身间隙d，因此3D线结构光相机的安装时无需保证激光与间隙方向垂直，无需花费大量时间在调试激光与间隙相对位置上，节省了大量安装调试时间，适应性更好。
2、本发明包括根据左、右侧轮廓间隙点集合N0、N1计算被测车身间隙两侧轮廓之间的均值距离矢量根据均值距离矢量/>计算出被测车身间隙d，可自动计算被测车身间隙两侧轮廓之间的均值距离矢量/>以及被测车身间隙d，计算准确度高，提高了间隙测量准确率。
附图说明
图1为本发明实施例一方法的基本流程示意图。
图2为本发明实施例一中过滤离散点云前后的对比示意图。
图3为本发明实施例一中轮廓间隙点提取的结果示意图。
图4为本发明实施例一中均值距离矢量的计算原理示意图。
图5为本发明实施例一中θ的示意图。
图6为本发明实施例二中进一步包含的面差检测流程示意图。
图7为本发明实施例二中提取的面差平面示意图。
具体实施方式
实施例一：
如图1所示，本实施例基于3D结构光相机的车身间隙检测方法包括：
1)获取3D结构光相机扫描被测车身间隙得到的点云数据；
2)将被测车身间隙横向的一组点云数据作为一条轮廓，提取每一条轮廓的轮廓间隙点，得到左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1；需要说明的是，此处的左侧、右侧仅仅为表示间隙两侧的相对位置的区分，也可以根据需要称呼为第一侧或第二侧，上侧或下侧等，其可能由于间隙方位不同有不同的称谓，但是不同称谓的本质上应当构成等同；
3)根据左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1计算被测车身间隙两侧轮廓之间的均值距离矢量
4)根据均值距离矢量计算出被测车身间隙d。
本实施例中，步骤1)中的3D结构光相机为3D线结构光相机，3D结构光相机扫描被测车身间隙是指沿着被测车身间隙纵向扫描，使得3D结构光相机每一帧点云数据包含一条轮廓。
轮廓中的往往会存在离散点云等形式的干扰，这些干扰会影响车身间隙检测的精确度。为了排除车身间隙检测干扰，提高车身间隙检测的精确度，本实施例进一步在步骤2)中在提取每一条轮廓的轮廓间隙点之前还包括对点云数据中的每一条轮廓进行过滤离散点云的步骤。图2中(a)为一条原始的轮廓，图中可看到存在离散点云等形式的干扰；图2中(b)为过滤离散点云后的轮廓，图中可看出已过滤掉离散点云。
本实施例中，步骤2)包括：
2.1)对点云数据进行聚类，得到左侧簇点云集合和右侧簇点云集合；
2.2)将被测车身间隙横向的一组点云数据作为一条轮廓(即：3D结构光相机每一帧点云数据)，从左侧簇点云集合和右侧簇点云集合遍历取出一条轮廓作为当前轮廓，若遍历成功，则跳转下一步；若遍历失败，则判定已经左侧簇点云集合和右侧簇点云集合全部遍历完毕，返回左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1，跳转步骤3)；
2.3)在当前轮廓中定位轮廓间隙点，若当前轮廓为左侧簇点云集合中的轮廓，则将当前轮廓的轮廓间隙点加入左侧轮廓间隙点集合N0，若当前轮廓为右侧簇点云集合中的轮廓，则将当前轮廓的轮廓间隙点加入右侧轮廓间隙点集合N1，跳转步骤2.2)。
通过循环处理所有轮廓，最终可获得左、右侧轮廓间隙点集合N0、N1。图3中(a)为一条轮廓提取的轮廓间隙点示意图；图3中(b)为所有轮廓提取出的轮廓间隙点的示意图，即左、右侧轮廓间隙点集合N0、N1的示意图。
提取轮廓的轮廓间隙点可根据其形状特征来进行图像识别。例如作为一种可选的实施方式，本实施例步骤2.3)中找到当前轮廓的轮廓间隙点包括：计算当前轮廓上每一点的余弦曲率，取当前轮廓中余弦曲率最大的点作为当前轮廓的轮廓间隙点，采用余弦曲率计算具有计算简单、准确度高的优点。
理想车身间隙边缘应是一条直线，但实际边缘如图3中的(b)所示，车身间隙边缘会存在离群点或者其他干扰点，使得车身间隙边缘并不光滑。为了解决上述问题，本实施例步骤2)之后、步骤3)之前还包括：分别将左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1进行直线拟合得到直线L0和L1，根据直线L0和L1将左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1中的离散轮廓间隙点删除，通过上述方式可去除干扰轮廓间隙点和离散轮廓间隙点的干扰(干扰边缘点)，使得车身间隙边缘光滑，可提高本实施例方法的鲁棒性。
将左、右侧轮廓间隙点集合N0、N1进行直线拟合得到直线L0、L1是指将左侧轮廓间隙点集合N0进行直线拟合得到直线L0、将右侧轮廓间隙点集合N1进行直线拟合得到直线L1，其中直线拟合可根据需要采用现有拟合算法，例如作为一种可选的实施方式，本实施例中采用RANSAC(Random Sample Consensus，随机抽样一致)算法进行直线拟合，以去除干扰边缘点，提高算法的鲁棒性；但是，本实施例方法并不依赖于包括RANSAC(Random SampleConsensus，随机抽样一致)算法在内的某一种特定的直线拟合算法。
将左、右侧轮廓间隙点集合N0、N1进行直线拟合得到直线L0、L1后，由于车身制造工艺误差，以及相机数据采集误差，直线L0、L1两者并不是理想平行直线，不能直接采用点到线距离作为间隙。为了计算被测车身间隙两侧轮廓之间的均值距离矢量本实施例中采用自动近邻点搜索方式计算直线L0、L1两者的法向向量来作为被测车身间隙两侧轮廓之间的均值距离矢量/>具体地，步骤3)包括：首先针对左侧轮廓间隙点集合N0中每一个轮廓间隙点qi，在右侧轮廓间隙点集合N1中查找与轮廓间隙点qi最近的轮廓间隙点pi作为最近轮廓间隙点对，并计算出该最近轮廓间隙点对的均值距离矢量，如图4所示，其中N0(q)表示由轮廓间隙点q构成的左侧轮廓间隙点集合N0，N1(p)表示由轮廓间隙点p构成的左侧轮廓间隙点集合N1；最终将所有最近轮廓间隙点对的均值距离矢量求均值，得到被测车身间隙两侧轮廓之间的均值距离矢量/>
计算被测车身间隙d时，须考虑直线L0、L1存在高度差，而人工测量采用间隙尺测量时是计算的最小间隙，因此，本实施例步骤4)中根据均值距离矢量计算出被测车身间隙d的函数表达式为：
上式中，为被测车身间隙两侧轮廓之间的均值距离矢量，θ为被测车身间隙两侧轮廓之间的均值距离矢量/>投影至xz面后与x轴方向的夹角(如图5所示)，x轴方向为垂直间隙的方向，y轴方向为平行间隙的方向，z轴方向为垂直间隙面向的方向。
通常采用3D线结构光相机测量车身间隙时，需要保证激光与间隙方向向量垂直，才可测量间隙，否则测量的间隙并不是真实间隙。而本实施例方法中扫描出间隙点云后，根据特征点自动匹配最近邻点，计算间隙方向向量，同时补偿该向量在X方向的偏移，计算被测车身间隙d的真实值，该方法使得相机安装时无需花费大量时间在调试激光与间隙相对位置上，节省了大量安装调试时间，同时提高了间隙测量准确率。
此外，本实施例还提供一种基于3D结构光相机的车身间隙检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于3D结构光相机的车身间隙检测方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施前述基于3D结构光相机的车身间隙检测方法的步骤。
实施例二：
本实施例为对实施例一的进一步扩展，实施例一仅具备被测车身间隙d的检测功能，本实施例泽进一步还包含被测车身间隙的面差检测功能。如图6所示，本实施例在实施例一的步骤2)之后还包括计算被测车身间隙的面差：
S1)从左侧轮廓间隙点集合N0中找到x轴最小值对应的轮廓间隙点，右侧轮廓间隙点集合N1中找到x轴最大值对应的轮廓间隙点，以所述x轴最小值对应的轮廓间隙点、x轴最大值对应的轮廓间隙点为基准点标记感兴趣区域ROI；
S2)获取左、右侧轮廓间隙点集合N0、N1中隶属于感兴趣区域ROI的轮廓间隙点得到面差点云集，并基于面差点云集提取平面，分别得到左、右侧平面；针对得到的左、右侧平面，以一侧平面为基准面，对另外一侧平面求质心为测量点，计算出测量点到基准面之间的距离作为被测车身间隙的面差计算结果。
基于面差点云集提取平面可根据需要采用现有的各类平面拟合算法，例如作为一种可选的实施方式，本实施例中采用RANSAC(Random Sample Consensus，随机抽样一致)算法来实现平面拟合，此外还可以根据需要采用其他的平面拟合算法，且本实施例方法不依赖于特定的平面拟合算法。本实施例中，基于面差点云集提取平面，分别得到左、右侧平面如图7所示。最终，针对得到的左、右侧平面，以一侧平面为基准面，对另外一侧平面求质心为测量点，计算出测量点到基准面之间的距离作为被测车身间隙的面差计算结果。
面差计算时难点在于基面与测量点选取，为了实现基面与测量点的精确选取，传统计算被测车身间隙的面差的方法需要对车辆进行精定位。而本实施例方法不需要对车辆进行精定位，可自动从左侧轮廓间隙点集合N0、右侧轮廓间隙点集合N1中找到特征点并标记感兴趣区域ROI，同时结合面差尺测量工艺，选取平面为基准面，质心为基准点，以点到面距离为面差的值。因此，达到了只要间隙在相机的视野范围内，无需精确定位车身位置，只要获取到间隙特征点就能准确计算面差值的效果。
此外，本实施例还提供一种基于3D结构光相机的车身间隙检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于3D结构光相机的车身间隙检测方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施前述基于3D结构光相机的车身间隙检测方法的步骤。
实施例三：
本实施例与实施例一基本相同，其主要区别点为：实施例一中的3D结构光相机为3D线结构光相机，而本实施例中的3D结构光相机为3D面结构光相机。3D面结构光相机与3D线结构光相机的差异在于不需要进行逐帧扫描，因此，步骤2)将被测车身间隙横向的一组点云数据作为一条轮廓时，就不能够简单地选取一帧点云数据作为一条轮廓。而需要根据点云数据的坐标来获取被测车身间隙横向的一组点云数据作为一条轮廓。例如，在3D面结构光相机的X轴与被测车身间隙横向平行时，可直接选择X轴的一列点云数据作为一条轮廓；在3D面结构光相机的Y轴与被测车身间隙横向平行时，可直接选择Y轴的一列点云数据作为一条轮廓；在3D面结构光相机的X轴与被测车身间隙横向保持一定角度时，则可以根据该角度来计算所需的选择的光点，因此同样也可以不依赖于3D面结构光相机的特定安装位置。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于3D结构光相机的车身间隙检测方法，其特征在于，包括：
1）获取3D结构光相机扫描被测车身间隙得到的点云数据；
2）将被测车身间隙横向的一组点云数据作为一条轮廓，提取每一条轮廓的轮廓间隙点，得到左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1；
3）根据左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1计算被测车身间隙两侧轮廓之间的均值距离矢量，包括：遍历左侧轮廓间隙点集合N0中每一个轮廓间隙点q i，针对遍历得到的轮廓间隙点q i，在右侧轮廓间隙点集合N1中查找与该轮廓间隙点q i最近的轮廓间隙点p i作为最近轮廓间隙点对，并计算出该最近轮廓间隙点对的均值距离矢量；最终将所有最近轮廓间隙点对的均值距离矢量求均值，得到被测车身间隙两侧轮廓之间的均值距离矢量；
4）根据均值距离矢量计算出被测车身间隙d。
2.根据权利要求1所述的基于3D结构光相机的车身间隙检测方法，其特征在于，步骤1）中的3D结构光相机为3D线结构光相机或3D面结构光相机；当3D结构光相机为3D线结构光相机时，所述3D结构光相机扫描被测车身间隙是指沿着被测车身间隙纵向扫描，使得3D结构光相机每一帧点云数据包含一条轮廓。
3.根据权利要求1所述的基于3D结构光相机的车身间隙检测方法，其特征在于，步骤2）包括：
2.1）对点云数据进行聚类，得到左侧簇点云集合和右侧簇点云集合；
2.2）将被测车身间隙横向的一组点云数据作为一条轮廓，从左侧簇点云集合和右侧簇点云集合遍历取出一条轮廓作为当前轮廓，若遍历成功，则跳转下一步；若遍历失败，则判定已经左侧簇点云集合和右侧簇点云集合全部遍历完毕，返回左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1，跳转步骤3）；
2.3）在当前轮廓中定位轮廓间隙点，若当前轮廓为左侧簇点云集合中的轮廓，则将当前轮廓的轮廓间隙点加入左侧轮廓间隙点集合N0，若当前轮廓为右侧簇点云集合中的轮廓，则将当前轮廓的轮廓间隙点加入右侧轮廓间隙点集合N1，跳转步骤2.2）。
4.根据权利要求3所述的基于3D结构光相机的车身间隙检测方法，其特征在于，步骤2.3）中找到当前轮廓的轮廓间隙点包括：计算当前轮廓上每一点的余弦曲率，取当前轮廓中余弦曲率最大的点作为当前轮廓的轮廓间隙点。
5.根据权利要求1所述的基于3D结构光相机的车身间隙检测方法，其特征在于，步骤2）中在提取每一条轮廓的轮廓间隙点之前还包括对点云数据中的每一条轮廓进行过滤离散点云的步骤；步骤2）之后、步骤3）之前还包括：分别将左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1进行直线拟合得到直线L0和L1，根据直线L0和L1将左侧轮廓间隙点集合N0和右侧轮廓间隙点集合N1中的离散轮廓间隙点删除。
6.根据权利要求5所述的基于3D结构光相机的车身间隙检测方法，其特征在于，步骤4）中根据均值距离矢量计算出被测车身间隙d的函数表达式为：
，
上式中，为被测车身间隙两侧轮廓之间的均值距离矢量，/>为被测车身间隙两侧轮廓之间的均值距离矢量/>投影至xz面后与x轴方向的夹角，x轴方向为垂直间隙的方向，y轴方向为平行间隙的方向，z轴方向为垂直间隙面向的方向。
7.根据权利要求1所述的基于3D结构光相机的车身间隙检测方法，其特征在于，步骤2）之后还包括计算被测车身间隙的面差：S1）从左侧轮廓间隙点集合N0中找到x轴最小值对应的轮廓间隙点，右侧轮廓间隙点集合N1中找到x轴最大值对应的轮廓间隙点，以所述x轴最小值对应的轮廓间隙点、x轴最大值对应的轮廓间隙点为基准点标记感兴趣区域ROI；S2）获取左、右侧轮廓间隙点集合N0、N1中隶属于感兴趣区域ROI的轮廓间隙点得到面差点云集，并基于面差点云集提取平面，分别得到左、右侧平面；针对得到的左、右侧平面，以一侧平面为基准面，对另外一侧平面求质心为测量点，计算出测量点到基准面之间的距离作为被测车身间隙的面差计算结果。
8.一种基于3D结构光相机的车身间隙检测系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～7中任意一项所述基于3D结构光相机的车身间隙检测方法的步骤。
9.一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其特征在于，该计算机程序用于被计算机设备执行以实施权利要求1～7中任意一项所述基于3D结构光相机的车身间隙检测方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210148097.5A CN114577131B (zh) | 2022-02-17 | 2022-02-17 | 一种基于3d结构光相机的车身间隙检测方法及系统 |
| CA3171030A CA3171030A1 (en) | 2022-02-17 | 2022-08-23 | Three-dimensional (3d) structured light camera based method and system for measuring gap of vehicle body |
| US17/974,561 US20230258445A1 (en) | 2022-02-17 | 2022-10-27 | Three-dimensional (3d) structured light camera based method and system for measuring gap of vehicle body |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210148097.5A CN114577131B (zh) | 2022-02-17 | 2022-02-17 | 一种基于3d结构光相机的车身间隙检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114577131A CN114577131A (zh) | 2022-06-03 |
| CN114577131B true CN114577131B (zh) | 2023-07-25 |
Family
ID=81773388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210148097.5A Active CN114577131B (zh) | 2022-02-17 | 2022-02-17 | 一种基于3d结构光相机的车身间隙检测方法及系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230258445A1 (zh) |
| CN (1) | CN114577131B (zh) |
| CA (1) | CA3171030A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115014238A (zh) * | 2022-06-28 | 2022-09-06 | 一汽丰田汽车(成都)有限公司 | 一种白车身盖物装配线装配精度在线检测系统 |
| CN115597512B (zh) * | 2022-12-14 | 2023-04-07 | 南京航空航天大学 | 一种汽车间隙测量及误差矫正方法 |
| CN116576787B (zh) * | 2023-04-14 | 2024-01-30 | 南京航空航天大学 | 一种基于机械臂协同的间隙面差测量方法及测量装置 |
| KR102648104B1 (ko) * | 2023-09-14 | 2024-03-15 | 주식회사 스누아이랩 | 차량 단차 측정 방법, 장치 및 컴퓨터 프로그램 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001270479A (ja) * | 2000-03-27 | 2001-10-02 | Fuji Heavy Ind Ltd | 車体組立装置 |
| WO2015126491A1 (en) * | 2013-12-04 | 2015-08-27 | Mark Edward Nichols | System and methods for scanning with integrated radar detection and image capture |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5343042B2 (ja) * | 2010-06-25 | 2013-11-13 | 株式会社トプコン | 点群データ処理装置および点群データ処理プログラム |
| WO2018208791A1 (en) * | 2017-05-08 | 2018-11-15 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
| CN109596059B (zh) * | 2019-01-07 | 2021-03-05 | 南京航空航天大学 | 一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法 |
| CN111862181A (zh) * | 2019-04-25 | 2020-10-30 | 中国科学院沈阳自动化研究所 | 一种缝隙宽度和阶差检测方法 |
| CN110298853B (zh) * | 2019-07-04 | 2021-05-25 | 易思维（杭州）科技有限公司 | 面差视觉检测方法 |
| CN110530278B (zh) * | 2019-10-09 | 2021-02-02 | 易思维（杭州）科技有限公司 | 利用多线结构光测量间隙面差的方法 |
| CN111028221B (zh) * | 2019-12-11 | 2020-11-24 | 南京航空航天大学 | 基于直线特征检测的飞机蒙皮对缝测量方法 |
| CN112595252A (zh) * | 2020-12-22 | 2021-04-02 | 航天智造（上海）科技有限责任公司 | 一种手持式间隙与面差视觉测量设备 |
-
2022
- 2022-02-17 CN CN202210148097.5A patent/CN114577131B/zh active Active
- 2022-08-23 CA CA3171030A patent/CA3171030A1/en active Pending
- 2022-10-27 US US17/974,561 patent/US20230258445A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001270479A (ja) * | 2000-03-27 | 2001-10-02 | Fuji Heavy Ind Ltd | 車体組立装置 |
| WO2015126491A1 (en) * | 2013-12-04 | 2015-08-27 | Mark Edward Nichols | System and methods for scanning with integrated radar detection and image capture |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114577131A (zh) | 2022-06-03 |
| US20230258445A1 (en) | 2023-08-17 |
| CA3171030A1 (en) | 2023-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114577131B (zh) | 一种基于3d结构光相机的车身间隙检测方法及系统 | |
| CN108394426B (zh) | 铁路车轮监测系统及方法 | |
| CN102589435B (zh) | 噪声环境下激光束中心高效精确检测方法 | |
| CN109855562B (zh) | 钢轨磨耗测量方法及装置 | |
| CN111207695A (zh) | 一种基于双线结构光的热轧带钢端部三维轮廓测量方法 | |
| CN110298853B (zh) | 面差视觉检测方法 | |
| WO2022105078A1 (zh) | 基于聚类算法的鞋底打粗轨迹规划方法及装置 | |
| JP2009041972A (ja) | 画像処理装置及びその方法 | |
| US20200124406A1 (en) | Method for referencing a plurality of sensors and associated measuring device | |
| US6665066B2 (en) | Machine vision system and method for analyzing illumination lines in an image to determine characteristics of an object being inspected | |
| CN108564575A (zh) | 一种基于三维点云数据的非接触式接触网参数检测方法 | |
| CN109483887B (zh) | 激光选区熔化过程中成形层轮廓精度在线检测方法 | |
| EP2924612A1 (en) | Object detection device, object detection method, and computer readable storage medium comprising object detection program | |
| CN111879264A (zh) | 一种基于线结构光的平整度测量与评估系统 | |
| CN116358449A (zh) | 一种基于双目面结构光的飞机铆钉凹凸量测量方法 | |
| CN112964195B (zh) | 基于激光三角法的供电轨几何参数综合检测方法及系统 | |
| CN114119957A (zh) | 高速铁路钢轨廓形检测方法及装置 | |
| CN116681912A (zh) | 铁路道岔的轨距检测方法及装置 | |
| CN111738907A (zh) | 一种基于双目标定及图像算法的列车受电弓检测方法 | |
| CN114742853A (zh) | 一种基于特征拟合的钣金件矩形轮廓三维测量方法及系统 | |
| CN110021027B (zh) | 一种基于双目视觉的切边点计算方法 | |
| Ping et al. | Verification of turning insert specifications through three-dimensional vision system | |
| JP7147906B1 (ja) | パンタグラフ周辺支障物検出装置および検出方法 | |
| CN113758422B (zh) | 一种发散型多线激光条纹的编号及识别方法 | |
| CN110044267A (zh) | 基于机器视觉检测技术的带钢宽度在线测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |