CN115388785A - 一种基于视觉的柔性线束的测量方法及系统 - Google Patents

一种基于视觉的柔性线束的测量方法及系统 Download PDF

Info

Publication number
CN115388785A
CN115388785A CN202211027427.1A CN202211027427A CN115388785A CN 115388785 A CN115388785 A CN 115388785A CN 202211027427 A CN202211027427 A CN 202211027427A CN 115388785 A CN115388785 A CN 115388785A
Authority
CN
China
Prior art keywords
wire harness
points
point
image
buckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211027427.1A
Other languages
English (en)
Inventor
王海宽
徐中平
费子翔
周文举
杜大军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202211027427.1A priority Critical patent/CN115388785A/zh
Publication of CN115388785A publication Critical patent/CN115388785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的柔性线束的测量方法及系统，能够实现对线束的快速准确测量。本发明所述基于视觉的柔性线束测量方法通过线束图像预处理对线束图像区域进行提取。采用图像细化算法以及基于交叉点的分支去除方法提取了线束的主曲线。然后对主曲线进行扫描，通过卡扣的粗定位获取卡扣的大致位置，卡扣的细定位精确确定卡扣位置，利用卡扣精确定位结果对卡扣进行了分割与识别。最后采用分段曲线拟合结合放大系数校正的方法计算得到每两个相邻卡扣之间实际线长度。本发明所述基于视觉的柔性线束测量系统通过相机获取线束图像，图像处理算法对线束进行测量的方式，提过了一种便捷准确的柔性线束测量方式。

Description

一种基于视觉的柔性线束的测量方法及系统
技术领域
本发明涉及视觉技术领域和测量技术领域，具体涉及一种基于视觉的柔性线束的测量方法及系统。
背景技术
随着人工智能的迅猛发展，高效智能的测量技术在生产生活中的需求越来越大。线束被广泛应用于各个领域，如汽车、电器等方面。线束的制造质量关系到线束能否正确、快速的装配，以及产品的性能与寿命。线束在一次加工后往往无法保证加工精度。检测是保证线束制造质量和无应力安装的直接保障手段。目前，通常需要人工对线束进行检查测量，将不合格的产品筛选出。然而，这种方法效率低下。近年来，随着传感器技术，图像处理技术等的快速发展，先进检测技术正在逐步应用于质量检测中。
视觉测量是一种非接触式的测量方式，是下一代测量方式的主流发展方向。利用视觉对线束进行测量首先通过相机获取线束图像，然后利用图像处理的方法对线束进行检测，包括线束卡扣的有无，线束相邻卡扣之间线长度的测量。这种方法效率和测量精度高，能够满足实际应用需求，具有较大的应用前景。
线束的结构复杂，线束上存在形状各异，朝向不定的卡扣，并且卡扣的颜色和线束导管部分的颜色相近，而卡扣的精确分割识别是对线束导管部分长度测量的前提。另外，线束卡扣的位置关系到卡扣之间导管部分的长度，进而影响到线束能否正确装配。线束导管部分为形状不定的曲线，实现对导管部分长度的精确测量是线束测量中的重点。同时由于线束颜色材质问题会出现反光现象，不利于后续处理。利用视觉对线束进行测量如何解决上述问题是实际应用中精确测量线束的关键。
发明内容
为克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于视觉的柔性线束的测量方法及系统，能够准确快速对线束进行测量。通过相机拍摄线束图像，然后经过图像处理得出相应检测项的测量值，将测量值与标准值进行比较，若在准许的误差范围内，则表明线束合格，反之则说明线束不合格。
为达到上述目的，本发明采用如下技术方案：
一种基于视觉的柔性线束的测量方法，具体步骤如下：
S1：线束图像预处理。光源置于线束下方向上照射，相机置于线束上方，将线束放置于相机视野中间，通过相机获取线束图像。对获取的线束图像进行预处理，提取线束图像的区域，具体步骤如下：
S11：对线束图像进行滤波处理，去除噪声，提高图像质量；
S12：对图像进行阈值化处理。利用阈值化后的图像寻找图像中物体的轮廓，根据轮廓的大小确定线束所在区域，所有轮廓中点的个数最多的轮廓即为线束的轮廓，如下所示：
Cl＝max{C1,C2,…,Cn}
其中Cl表示线束的轮廓，Cn表示第n个轮廓，n表示所有轮廓的个数；
S13：根据线束的轮廓获取线束的最小正矩形，通过最小正矩形每条边向外扩展数个像素提取出线束所在区域，减小后续处理范围。
S2：线束主曲线提取。获取了线束区域之后，对图像进行细化处理，由于卡扣的存在使得提取的线束骨架上存在分支，采用基于交叉点的分支去除方法将细化图像上的分支去除，得到线束的主曲线，具体步骤如下：
S21：利用细化算法对提取的线束区域图像中的线束进行细化，得到线束的骨架；
S22：对线束骨架上的多余点进行去除，即经过处理后的骨架上的点，除了端点以及交叉点外，每个点的八邻域内只存在两个像素值不为零的点，端点的八邻域内只有一个像素值不为零的点，交叉点的八邻域内存在三个或三个以上像素值不为零的点；
S23：根据八邻域内的像素值不为零的点的个数寻找到所有的交叉点，判断方法如下所示：
num(N8(xi,yi)＞0)≥3,i＝0,1,…,7
其中N8(xi,yi)表示点(x,y)八邻域中的点(xi,yi)处的像素值，num()表示个数；
S24：依次从每个寻找到的交叉点开始，其八邻域内像素值不为零的点为一条路径的起始点，根据点八邻域信息更新中心点，实现沿不同的路径进行扫描，根据以下条件判断是否停止扫描：(1)若扫描的点为端点，并且扫描过的点的个数小于阈值，则将此路径上扫描过的点的像素值全部设置为零；(2)若扫描的点为其他交叉点，则停止对此路径的扫描；(3)若一条路径上扫描过的点的个数超过阈值，则停止对此路径的扫描；(4)在将一条路径上的点设置为零后或者完成对所有路径的扫描后，开始对其他交叉点进行上述操作；
S25：使用迭代的方法对线束骨架进行分支去除，若前后两次交叉点的个数不变，则说明已经将所有分支去除，得到了线束的主曲线，将主曲线上的点从一端开始依次保存下来直至主曲线的另一端。
S3：线束卡扣的分割识别。获取了线束的主曲线后，根据线束的主曲线对卡扣的位置进行粗定位和细定位实现对卡扣的精确定位，进而根据定位结果对卡扣进行分割与识别，具体步骤如下：
S31：对线束上的卡扣进行粗定位，从主曲线的一端开始进行扫描直至主曲线的另一端。卡扣的粗定位由主曲线上的每一点到线束轮廓的距离判断。主曲线上的点在此点处的法向上逐步增加距离判断是否到达线束轮廓，如下所示：
x＝x0±n×cosθ
y＝y0±n×sinθ
其中x0，y0为主曲线上某一点的坐标，θ为此点处的法向量角度，±表示不同侧，x，y表示法向上与(x0,y0)距离为n的坐标。根据点(x,y)处的像素值和阈值图像可以判断是否到达线束轮廓边界，从而得到距离值。根据主曲线上每一点的距离值大小实现对线束卡扣的粗分割，判断方法如下所示：
d1＞th1,or
d2＞th1
其中，d1，d2为主曲线上的点到线束轮廓不同侧的距离，th1为阈值；
S32：对线束上的卡扣进行细定位，由S31得到的粗定位位置，获取远离卡扣方向离粗定位位置一定距离的主曲线上的点作为细定位起始点。在细定位起始点法向上寻找线束轮廓上的点，并将其作为细定位开始搜索点。从开始搜索点开始，沿线束轮廓，根据点八邻域信息朝卡扣方向进行搜索，精确定位点的判断方式所下所示：
Figure BDA0003816130440000031
Δa＝|a-ao|
Δa＞th2
其中ao为初始法向角度，ai为初始第i个点法向的角度，a为搜索点处法向的角度，Δa为两个法向角度的差值，th2为阈值；
S33：将同一卡扣的对应精确定位点相连，并且利用卡扣的轮廓可实现对卡扣的分割；
S34：利用特征融合的方法对卡扣进行识别，特征F如下所示：
F＝{FHOG,FHu,FLength}
其中FHOG为卡扣的方向梯度直方图特征，FHu为卡扣的Hu矩特征，FLength为卡扣与主曲线一致方向上的长度特征。通过随机森林对不同类型卡扣的特征进行训练和识别。
S4：线束卡扣间线长测量。根据卡扣精确定位结果，利用曲线拟合结合放大系数校正的方法对相邻卡扣间的曲线长度进行计算，获得卡扣间的线长，具体步骤如下：
S41：利用相邻卡扣间主曲线上的点和两个提取端点作为拟合数据。相邻卡扣间主曲线上的点去除了部分距离卡扣较近的点，提取端点由卡扣距离线部分较近的精确定位点获得，计算方式如下：
Figure BDA0003816130440000041
Figure BDA0003816130440000042
其中(xe,ye)为提取端点的坐标，(xp1,yp1)为精确定位点1的坐标，(xp2,yp2)为精确定位点2的坐标；
S42：根据主曲线上相邻点的坐标位置判断此部分的趋势，若三个相邻点的x坐标相同，则此部分曲线的趋势定义为竖直的，若三个相邻点的y坐标相同，则此部分曲线的趋势定义为水平的，曲线的趋势发生变化的点定义为分段点；
S43：根据分段点对主曲线进行分段，将分段的曲线根据曲线的趋势进行坐标转换，其中水平趋势的曲线坐标无需转换，竖直趋势的曲线x坐标和y坐标交换。利用4阶多项式曲线拟合分别对分段的曲线进行拟合，根据拟合结果计算曲线段的长度，计算方法如下：
Figure BDA0003816130440000043
其中a，b为拟合数据起始点和结束点的x坐标值，p1，p2，p3，p4为4阶拟合系数。卡扣间的线总长度ltotal计算方法如下所示：
Figure BDA0003816130440000044
其中li为第i段曲线的长度，k为总的分段数。
S44：利用放大系数校正的方法获取线的实际长度。通过相邻圆点中心间距为5mm的圆点标定板获取放大系数插值数据，首先将圆点标定板置于相机视野中间获取图像，提取离图像中心距离最近的圆点中心坐标和与其相邻的四个圆点中心坐标，参考单位长度lref的计算方法如下所示：
Figure BDA0003816130440000051
其中lc1，lc2，lc3，lc4为离图像中心距离最近的圆点中心和与其相邻的四个圆点中心的距离。其他圆点中心坐标处的放大系数Mj计算方法如下：
Figure BDA0003816130440000052
其中lj为其他圆点中心坐标处的单位长度，其计算方法和lref相同。将圆点标定板放置于相机视野中的不同位置并捕获图像，获取圆点标定板圆点中心坐标处的放大系数，重复此过程直至圆点标定板放置过的位置覆盖整个相机视野。对获取的所有放大系数数据进行插值操作，从而得到对应图像每一个点的放大系数，线的实际长度lactual可由如下方式获得：
Figure BDA0003816130440000053
Figure BDA0003816130440000054
其中Mi为曲线拟合数据中第i个点坐标处的放大系数，m为曲线拟合数据的个数。
一种基于视觉的柔性线束的测量系统，基于上述的柔性线束测量方法，包括操作台、相机、匀光板、光源、上位机。操作台用于固定相机、匀光板、光源和上位机。光源通过匀光板由下向上照射，线束置于匀光板上，使得拍摄的线束图像轮廓更加清晰。相机置于线束上方捕获线束图像，图像数据通过网线传送到上位机中，相机为软触发，每次捕获一张图像。经过图像处理后，得出线束的测量结果，根据测量结果，对线束的合格与否进行判断，最终得出线束的合格情况。
与现有技术相比，本发明具有如下优点：
本发明实现了基于视觉的柔性线束测量方法及系统。采用背光源照射，由相机捕获线束的图像，获取了边界清晰的线束图像。采用基于视觉的柔性线束测量方法，克服了传统人工测量效率低的缺点，并且操作的便捷性相较于人工测量的方式有明显提高，有较大的应用前景。在线束卡扣的检测方面，通过沿线束主曲线扫描的方式，结合卡扣粗定位和细定位实现的卡扣的精确定位，再根据定位结果对卡扣进行分割，并利用特征融合以及随机森林实现对卡扣的识别。在相邻卡扣间导管长度计算方面，导管为形状、方向不定的曲线，利用分段曲线拟合结合放大系数校正的方法实现的线长的测量，准确度和效率得到极大提高。
附图说明
图1是一种基于视觉的柔性线束测量方法流程图；
图2是本发明中线束检测系统示意图；
图3是本发明中主曲线提取示意图；
图4是本发明中线束卡扣粗定位扫描示意图；
图5是本发明中线束卡扣细定位示意图；
图6是本发明中曲线分段示意图；
图7是本发明中参考单位长度计算示意图。
具体实施方式
下面结合附图对本发明的具体实施做进一步的详细说明。
如图1所示，一种基于视觉的柔性线束测量方法，具体步骤如下：
S1：线束图像预处理。光源置于线束下方向上照射，相机置于线束上方，将线束放置于相机视野中间，通过相机获取线束图像。对获取的线束图像进行预处理，提取线束图像的区域，具体步骤如下：
S11：对线束图像进行滤波处理，去除噪声，提高图像质量；
S12：对图像进行阈值化处理。利用阈值化后的图像寻找图像中物体的轮廓，根据轮廓的大小确定线束所在区域，所有轮廓中点的个数最多的轮廓即为线束的轮廓，如下所示：
Cl＝max{C1,C2,…,Cn}
其中Cl表示线束的轮廓，Cn表示第n个轮廓，n表示所有轮廓的个数；
S13：根据线束的轮廓获取线束的最小正矩形，通过最小正矩形每条边向外扩展数个像素提取出线束所在区域，减小后续处理范围。
S2：线束主曲线提取。获取了线束区域之后，对图像进行细化处理，由于卡扣的存在使得提取的线束骨架上存在分支，采用基于交叉点的分支去除方法将细化图像上的分支去除，得到线束的主曲线，如图3所示，具体步骤如下：
S21：利用细化算法对提取的线束区域图像中的线束进行细化，得到线束的骨架；
S22：对线束骨架上的多余点进行去除，即经过处理后的骨架上的点，除了端点以及交叉点外，每个点的八邻域内只存在两个像素值不为零的点，端点的八邻域内只有一个像素值不为零的点，交叉点的八邻域内存在三个或三个以上像素值不为零的点；
S23：根据八邻域内的像素值不为零的点的个数寻找到所有的交叉点，判断方法如下所示：
num(N8(xi,yi)＞0)≥3,i＝0,1,…,7
其中N8(xi,yi)表示点(x,y)八邻域中的点(xi,yi)处的像素值，num()表示个数；
S24：依次从每个寻找到的交叉点开始，其八邻域内像素值不为零的点为一条路径的起始点，根据点八邻域信息更新中心点，实现沿不同的路径进行扫描，根据以下条件判断是否停止扫描：(1)若扫描的点为端点，并且扫描过的点的个数小于阈值，则将此路径上扫描过的点的像素值全部设置为零；(2)若扫描的点为其他交叉点，则停止对此路径的扫描；(3)若一条路径上扫描过的点的个数超过阈值，则停止对此路径的扫描；(4)在将一条路径上的点设置为零后或者完成对所有路径的扫描后，开始对其他交叉点进行上述操作；
S25：使用迭代的方法对线束骨架进行分支去除，若前后两次交叉点的个数不变，则说明已经将所有分支去除，得到了线束的主曲线，将主曲线上的点从一端开始依次保存下来直至主曲线的另一端。
S3：线束卡扣的分割识别。获取了线束的主曲线后，根据线束的主曲线对卡扣的位置进行粗定位和细定位实现对卡扣的精确定位，进而根据定位结果对卡扣进行分割与识别，具体步骤如下：
S31：对线束上的卡扣进行粗定位，如图4所示，从主曲线的一端开始进行扫描直至主曲线的另一端。卡扣的粗定位由主曲线上的每一点到线束轮廓的距离判断。主曲线上的点在此点处的法向上逐步增加距离判断是否到达线束轮廓，如下所示：
x＝x0±n×cosθ
y＝y0±n×sinθ
其中x0，y0为主曲线上某一点的坐标，θ为此点处的法向量角度，±表示不同侧，x，y表示法向上与(x0,y0)距离为n的坐标。根据点(x,y)处的像素值和阈值图像可以判断是否到达线束轮廓边界，从而得到距离值。根据主曲线上每一点的距离值大小实现对线束卡扣的粗分割，判断方法如下所示：
d1＞th1,or
d2＞th1
其中，d1，d2为主曲线上的点到线束轮廓不同侧的距离，th1为阈值；
S32：对线束上的卡扣进行细定位，由S31得到的粗定位位置，获取远离卡扣方向离粗定位位置一定距离的主曲线上的点作为细定位起始点，如图5左图所示，其中红线表示粗定位位置，蓝线表示远离卡扣一定距离位置。在细定位起始点法向上寻找线束轮廓上的点，并将其作为细定位开始搜索点，如图5右图红框内所示点。从开始搜索点开始，沿线束轮廓，根据点八邻域信息朝卡扣方向进行搜索，精确定位点的判断方式所下所示：
Figure BDA0003816130440000081
Δa＝|a-ao|
Δa＞th2
其中ao为初始法向角度，ai为初始第i个点法向的角度，a为搜索点处法向的角度，Δa为两个法向角度的差值，th2为阈值，图5右图中绿框内所示点即为精确点；
S33：将同一卡扣的对应精确定位点相连，并且利用卡扣的轮廓可实现对卡扣的分割；
S34：利用特征融合的方法对卡扣进行识别，特征F如下所示：
F＝{FHOG,FHu,FLength}
其中FHOG为卡扣的方向梯度直方图特征，FHu为卡扣的Hu矩特征，FLength为卡扣与主曲线一致方向上的长度特征。通过随机森林对不同类型卡扣的特征进行训练和识别。
S4：线束卡扣间线长测量。根据卡扣精确定位结果，利用曲线拟合结合放大系数校正的方法对相邻卡扣间的曲线长度进行计算，获得卡扣间的线长，具体步骤如下：
S41：利用相邻卡扣间主曲线上的点和两个提取端点作为拟合数据。相邻卡扣间主曲线上的点去除了部分距离卡扣较近的点，提取端点由卡扣距离线部分较近的精确定位点获得，计算方式如下：
Figure BDA0003816130440000082
Figure BDA0003816130440000083
其中(xe,ye)为提取端点的坐标，(xp1,yp1)为精确定位点1的坐标，(xp2,yp2)为精确定位点2的坐标；
S42：根据主曲线上相邻点的坐标位置判断此部分的趋势，若三个相邻点的x坐标相同，则此部分曲线的趋势定义为竖直的，若三个相邻点的y坐标相同，则此部分曲线的趋势定义为水平的，曲线的趋势发生变化的点定义为分段点，如图6所示；
S43：根据分段点对主曲线进行分段，将分段的曲线根据曲线的趋势进行坐标转换，其中水平趋势的曲线坐标无需转换，竖直趋势的曲线x坐标和y坐标交换。利用4阶多项式曲线拟合分别对分段的曲线进行拟合，根据拟合结果计算曲线段的长度，计算方法如下：
Figure BDA0003816130440000091
其中a，b为拟合数据起始点和结束点的x坐标值，p1，p2，p3，p4为4阶拟合系数。卡扣间的线总长度ltotal计算方法如下所示：
Figure BDA0003816130440000092
其中li为第i段曲线的长度，k为总的分段数。
S44：利用放大系数校正的方法获取线的实际长度。通过相邻圆点中心间距为5mm的圆点标定板获取放大系数插值数据，首先将圆点标定板置于相机视野中间获取图像，提取离图像中心距离最近的圆点中心坐标和与其相邻的四个圆点中心坐标，参考单位长度lref的计算方法如下所示：
Figure BDA0003816130440000093
其中lc1，lc2，lc3，lc4为离图像中心距离最近的圆点中心和与其相邻的四个圆点中心的距离，如图7所示。其他圆点中心坐标处的放大系数Mj计算方法如下：
Figure BDA0003816130440000094
其中lj为其他圆点中心坐标处的单位长度，其计算方法和lref相同。将圆点标定板放置于相机视野中的不同位置并捕获图像，获取圆点标定板圆点中心坐标处的放大系数，重复此过程直至圆点标定板放置过的位置覆盖整个相机视野。对获取的所有放大系数数据进行插值操作，从而得到对应图像每一个点的放大系数，线的实际长度lactual可由如下方式获得：
Figure BDA0003816130440000095
Figure BDA0003816130440000096
其中Mi为曲线拟合数据中第i个点坐标处的放大系数，m为曲线拟合数据的个数。
如图2所示，一种基于视觉的柔性线束的测量系统，基于上述的柔性线束测量方法，包括操作台、相机、匀光板、光源、上位机。操作台用于固定相机、匀光板、光源和上位机。光源通过匀光板由下向上照射，线束置于匀光板上，使得拍摄的线束图像轮廓更加清晰。相机置于线束上方捕获线束图像，图像数据通过网线传送到上位机中，相机为软触发，每次捕获一张图像。经过图像处理后，得出线束的测量结果，根据测量结果，对线束的合格与否进行判断，最终得出线束的合格情况。
以上所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉的柔性线束的测量方法，其特征在于，包含以下步骤：
S1：线束图像预处理；光源置于线束下方向上照射，相机置于线束上方，将线束放置于相机视野中间，通过相机获取线束图像；对获取的线束图像进行预处理，提取线束图像的区域；
S2：线束主曲线提取；获取了线束区域之后，对图像进行细化处理，由于卡扣的存在使得提取的线束骨架上存在分支，采用基于交叉点的分支去除方法将细化图像上的分支去除，得到线束的主曲线；
S3：线束卡扣的分割识别；获取了线束的主曲线后，根据线束的主曲线对卡扣的位置进行粗定位和细定位实现对卡扣的精确定位，进而根据定位结果对卡扣进行分割与识别；
S4：线束卡扣间线长测量；根据卡扣精确定位结果，利用曲线拟合结合放大系数校正的方法对相邻卡扣间的曲线长度进行计算，获得卡扣间的线长。
2.根据权利要求1所述的基于视觉的柔性线束的测量方法，其特征在于，所述步骤S1包括以下几个步骤：
S11：对线束图像进行滤波处理，去除噪声，提高图像质量；
S12：对图像进行阈值化处理；利用阈值化后的图像寻找图像中物体的轮廓，根据轮廓的大小确定线束所在区域，所有轮廓中点的个数最多的轮廓即为线束的轮廓，如下所示：
Cl＝max{C1,C2,…,Cn}
其中Cl表示线束的轮廓，Cn表示第n个轮廓，n表示所有轮廓的个数；
S13：根据线束的轮廓获取线束的最小正矩形，通过最小正矩形每条边向外扩展数个像素提取出线束所在区域，减小后续处理范围。
3.根据权利要求1所述的基于视觉的柔性线束的测量方法，其特征在于，所述步骤S2包括以下几个步骤：
S21：利用细化算法对提取的线束区域图像中的线束进行细化，得到线束的骨架；
S22：对线束骨架上的多余点进行去除，即经过处理后的骨架上的点，除了端点以及交叉点外，每个点的八邻域内只存在两个像素值不为零的点，端点的八邻域内只有一个像素值不为零的点，交叉点的八邻域内存在三个或三个以上像素值不为零的点；
S23：根据点八邻域内的像素值不为零的点的个数寻找到所有的交叉点，判断方法如下所示：
num(N8(xi,yi)＞0)≥3,i＝0,1,…,7
其中N8(xi,yi)表示点(x,y)八邻域中的点(xi,yi)处的像素值，num()表示个数；
S24：依次从每个寻找到的交叉点开始，其八邻域内像素值不为零的点为一条路径的起始点，根据点八邻域信息更新中心点，实现沿不同的路径进行扫描，根据以下条件判断是否停止扫描：(1)若扫描的点为端点，并且扫描过的点的个数小于阈值，则将此路径上扫描过的点的像素值全部设置为零；(2)若扫描的点为其他交叉点，则停止对此路径的扫描；(3)若一条路径上扫描过的点的个数超过阈值，则停止对此路径的扫描；(4)在将一条路径上的点设置为零后或者完成对所有路径的扫描后，开始对其他交叉点进行上述操作；
S25：使用迭代的方法对线束骨架进行分支去除，若前后两次交叉点的个数不变，则说明已经将所有分支去除，得到了线束的主曲线，将主曲线上的点从一端开始依次保存下来直至主曲线的另一端。
4.根据权利要求1所述的基于视觉的柔性线束的测量方法，其特征在于，所述步骤S3包括以下几个步骤：
S31：对线束上的卡扣进行粗定位，从主曲线的一端开始进行扫描直至主曲线的另一端；卡扣的粗定位由主曲线上的每一点到线束轮廓的距离判断；主曲线上的点在此点处的法向上逐步增加距离判断是否到达线束轮廓，如下所示：
x＝x0±n×cosθ
y＝y0±n×sinθ
其中x0，y0为主曲线上某一点的坐标，θ为此点处的法向量角度，±表示不同侧，x，y表示法向上与(x0,y0)距离为n的坐标；根据点(x,y)处的像素值和阈值图像判断是否到达线束轮廓边界，从而得到距离值；根据主曲线上每一点的距离值大小实现对线束卡扣的粗分割，判断方法如下所示：
d1＞th1,or
d2＞th1
其中，d1，d2为主曲线上的点到线束轮廓不同侧的距离，th1为阈值；
S32：对线束上的卡扣进行细定位，由步骤S31得到的粗定位位置，获取远离卡扣方向离粗定位位置一定距离的主曲线上的点作为细定位起始点；在细定位起始点法向上寻找线束轮廓上的点，并将其作为细定位开始搜索点；从开始搜索点开始，沿线束轮廓，根据点八邻域信息朝卡扣方向进行搜索，精确定位点的判断方式所下所示：
Figure FDA0003816130430000021
Δa＝|a-ao|
Δa＞th2
其中ao为初始法向角度，ai为初始第i个点法向的角度，a为搜索点处法向的角度，Δa为两个法向角度的差值，th2为阈值；
S33：将同一卡扣的对应精确定位点相连，并且利用卡扣的轮廓实现对卡扣的分割；
S34：利用特征融合的方法对卡扣进行识别，特征F如下所示：
F＝{FHOG,FHu,FLength}
其中FHOG为卡扣的方向梯度直方图特征，FHu为卡扣的Hu矩特征，FLength为卡扣与主曲线一致方向上的长度特征；通过随机森林对不同类型卡扣的特征进行训练和识别。
5.根据权利要求1所述的基于视觉的柔性线束的测量方法，其特征在于，所述步骤S4包括以下几个步骤：
S41：利用相邻卡扣间主曲线上的点和两个提取端点作为拟合数据；相邻卡扣间主曲线上的点去除了部分距离卡扣较近的点，提取端点由卡扣距离线部分较近的精确定位点获得，计算方式如下：
Figure FDA0003816130430000031
Figure FDA0003816130430000032
其中(xe,ye)为提取端点的坐标，(xp1,yp1)为精确定位点1的坐标，(xp2,yp2)为精确定位点2的坐标；
S42：根据主曲线上相邻点的坐标位置判断此部分的趋势，若三个相邻点的x坐标相同，则此部分曲线的趋势定义为竖直的，若三个相邻点的y坐标相同，则此部分曲线的趋势定义为水平的，曲线的趋势发生变化的点定义为分段点；
S43：根据分段点对主曲线进行分段，将分段的曲线根据曲线的趋势进行坐标转换，其中水平趋势的曲线坐标无需转换，竖直趋势的曲线x坐标和y坐标交换；利用4阶多项式曲线拟合分别对分段的曲线进行拟合，根据拟合结果计算曲线段的长度，计算方法如下：
Figure FDA0003816130430000033
其中a，b为拟合数据起始点和结束点的x坐标值，p1，p2，p3，p4为4阶拟合系数；卡扣间的线总长度ltotal计算方法如下所示：
Figure FDA0003816130430000041
其中li为第i段曲线的长度，k为总的分段数；
S44：利用放大系数校正的方法获取线的实际长度；通过相邻圆点中心间距为5mm的圆点标定板获取放大系数插值数据，首先将圆点标定板置于相机视野中间获取图像，提取离图像中心距离最近的圆点中心坐标和与其相邻的四个圆点中心坐标，参考单位长度lref的计算方法如下所示：
Figure FDA0003816130430000042
其中lc1，lc2，lc3，lc4为离图像中心距离最近的圆点中心和与其相邻的四个圆点中心的距离；其他圆点中心坐标处的放大系数Mj计算方法如下：
Figure FDA0003816130430000043
其中lj为其他圆点中心坐标处的单位长度，其计算方法和lref相同；将圆点标定板放置于相机视野中的不同位置并捕获图像，获取圆点标定板圆点中心坐标处的放大系数，重复此过程直至圆点标定板放置过的位置覆盖整个相机视野；对获取的所有放大系数数据进行插值操作，从而得到对应图像每一个点的放大系数，线的实际长度lactual由如下方式获得：
Figure FDA0003816130430000044
Figure FDA0003816130430000045
其中Mi为曲线拟合数据中第i个点坐标处的放大系数，m为曲线拟合数据的个数。
6.一种基于视觉的柔性线束的测量系统，其特征在于，包括操作台、相机、匀光板、光源、上位机；所述操作台用于固定相机、匀光板、光源和上位机；光源通过匀光板由下向上照射，线束置于匀光板上，使得拍摄的线束图像轮廓更加清晰；相机置于线束上方捕获线束图像，图像数据通过网线传送到上位机中，相机为软触发，每次捕获一张图像；经过图像处理后，得出线束的测量结果，根据测量结果，对线束的合格与否进行判断，最终得出线束的合格情况。
CN202211027427.1A 2022-08-25 2022-08-25 一种基于视觉的柔性线束的测量方法及系统 Pending CN115388785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027427.1A CN115388785A (zh) 2022-08-25 2022-08-25 一种基于视觉的柔性线束的测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211027427.1A CN115388785A (zh) 2022-08-25 2022-08-25 一种基于视觉的柔性线束的测量方法及系统

Publications (1)

Publication Number Publication Date
CN115388785A true CN115388785A (zh) 2022-11-25

Family

ID=84123496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211027427.1A Pending CN115388785A (zh) 2022-08-25 2022-08-25 一种基于视觉的柔性线束的测量方法及系统

Country Status (1)

Country Link
CN (1) CN115388785A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117330572A (zh) * 2023-10-09 2024-01-02 鹤壁天海环球电器有限公司 一种线束用智能化电测台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117330572A (zh) * 2023-10-09 2024-01-02 鹤壁天海环球电器有限公司 一种线束用智能化电测台
CN117330572B (zh) * 2023-10-09 2024-05-14 鹤壁天海环球电器有限公司 一种线束用智能化电测台

Similar Documents

Publication Publication Date Title
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
CN108918526B (zh) 一种柔性ic封装基板线路的缺口缺陷检测方法
CN111223133B (zh) 一种异源图像的配准方法
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
KR100823549B1 (ko) 조선소 소조립 용접부재 위치 인식 방법
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN109142383B (zh) 一种基于形态学的字符缺陷检测方法
CN110807355A (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN106446894A (zh) 一种基于轮廓识别球型目标物位置的方法
CN110473184A (zh) 一种pcb板缺陷检测方法
CN110260818B (zh) 一种基于双目视觉的电子连接器鲁棒检测方法
CN107610085A (zh) 一种基于计算机视觉的焊点缺陷检测系统
CN114494045A (zh) 一种基于机器视觉的大型直齿轮几何参数测量系统及方法
CN110108712A (zh) 多功能视觉缺陷检测系统
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN114627080B (zh) 基于计算机视觉的车辆冲压配件缺陷检测方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
CN115388785A (zh) 一种基于视觉的柔性线束的测量方法及系统
CN114638835A (zh) 一种基于深度相机的轨枕异物检测方法
TWI543117B (zh) 物件辨識與定位方法
CN104966283A (zh) 图像分层配准方法
CN114359251A (zh) 一种混凝土表面破损的自动识别方法
CN114037682A (zh) 一种光学元件表面疵病二维自动检测方法
CN113781419A (zh) 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质
CN111539951A (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination