CN114140384A - 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 - Google Patents
基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 Download PDFInfo
- Publication number
- CN114140384A CN114140384A CN202111245963.4A CN202111245963A CN114140384A CN 114140384 A CN114140384 A CN 114140384A CN 202111245963 A CN202111245963 A CN 202111245963A CN 114140384 A CN114140384 A CN 114140384A
- Authority
- CN
- China
- Prior art keywords
- wire rope
- steel wire
- image
- vibration
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 149
- 239000010959 steel Substances 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 239000011248 coating agent Substances 0.000 claims description 7
- 238000000576 coating method Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000013079 data visualisation Methods 0.000 claims description 5
- 238000007493 shaping process Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 17
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 6
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，通过对振动中的提升钢丝绳进行视频采集与图像处理来检测提升钢丝绳的实时振动情况，获取其振动幅值和振动频率。首先对图像进行预处理，获得钢丝绳目标轮廓边缘目标与背景分离的二值化图像，然后对其进行特征提取并筛选出钢丝绳目标轮廓边缘目标特征，然后对筛选出的钢丝绳目标轮廓边缘目标特征进行轮廓拟合与形心追踪，最后对跟踪过程收集到的数据进行可视化处理，输出提升钢丝绳横向振动的振幅与振动频率。本发明还解决了传统跟踪算法计算量过大与难以检测高速运动物体的问题，改善了检测效果。
Description
技术领域
本发明涉及一种基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别领域，具体是一种基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法。
背景技术
目前，随着矿井提升系统的发展，对于矿井提升钢丝绳的力学参数测量精度和效率的要求与日俱增。矿井提升钢丝绳受力后的振动情况关系着钢丝绳的工作状态评估、钢丝绳的使用寿命预测等等，因此如何高效准确测得其振动幅度及频率是矿井生产的重要问题。常见的钢丝绳振动检测方法有加速度传感器法、激光测振仪法、GPS实时位移监测系统法等。传统检测方法存在着体积大、效率低、成本高和实时性低等缺点。因此，如何高效准确测得其振动幅度及频率是矿井安全生产的亟需解决的科学问题。
图像处理技术为解决该问题提供了新的方法，即通过计算机来分析运动目标的特征信息来完成对该目标的追踪，当前常用的目标跟踪算法有Camshift、光流法和基于深度学习的多实例学习算法(MIL)等等，但这些算法大都对图像采集设备要求较高，且计算量较大，不能经济高效地完成钢丝绳横向振动的检测工作。
发明内容
本发明旨在解决上述问题，提供一种基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，克服了上述传统检测方法带来的成本高、安装麻烦、效率低下等问题，避免了不必要的资源浪费，同时可以保证对钢丝绳目标追踪效果的精确性。
为了实现上述目标，本发明采用如下技术方案：
基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，包括以下步骤：
步骤A，实时采集提升钢丝绳的振动图像，对图像进行初步预处理，获得钢丝绳目标轮廓与背景分离的二值化图像，具体步骤如下：
A1，对图像进行ROI区域裁剪，降低后续算法运算量；
A2，对裁剪得到的ROI区域进行自适应二值化处理，以从左至右、从上至下的顺序遍历ROI区域的每一个像素值并与自适应二值化算法设定的阈值相比较，将大于阈值的像素值设定为255，小于阈值的像素值则设定为0；
A3，对步骤A2获得的二值化图像进行形态学处理，使用尺寸为3×3的结构因子对该图像进行闭操作，减少提升钢丝绳目标图像内部的小块干扰；
步骤B，对步骤A获得的二值化图像进行特征提取并筛选出钢丝绳目标轮廓边缘特征,具体步骤如下：
B1，对步骤A3得到的提升钢丝绳目标图像进行边缘检测；
B2，以边缘轮廓的横纵比F1和紧凑度F2是否存在于数值范围区间Q1内为筛选判定依据，对步骤B1检测到的边缘数组进行筛选过滤，从而排除因噪声干扰而被检测出来的边缘，便于后期算法的进一步处理；
步骤C，对步骤B中提取的钢丝绳目标轮廓边缘特征进行轮廓拟合与形心追踪，具体包括以下步骤：
C1，通过最小外接矩形的方式对轮廓进行拟合，在保证不丢失待检测钢丝绳目标轮廓边缘特征的前提下用一个倾斜的矩形将其包覆，在使该矩形的面积最小的同时包覆钢丝绳目标轮廓边缘特征，以便后续提取轮廓形心并追踪；
C2，提出一种基于轮廓拟合的形心追踪检测算法，即以步骤C1中根据钢丝绳图像轮廓拟合成的矩形为基准判断钢丝绳在ROI区域中的形心，并将该形心作为实际跟踪点，对提升钢丝绳目标进行追踪；
步骤D，对步骤C中对提升钢丝绳的追踪过程进行数据记录，并且绘制波形图，对数据进行可视化处理，输出提升钢丝绳横向振动的振幅与振动频率。
步骤A2具体步骤为：
A21.计算当前图片输入图像的灰度直方图确定一个均值M，以M值为分界线将直方图分为前后两个部分MA和MB，并定义MA部分所占像素数为PA，MB部分像素数为PB，通过类间方差定义：
ICV＝PA·(MA-M)2+PB·(MB-M)2
来确定使得ICV取得最大值的最佳阈值M；
A22.以阈值M为分界线将图片分割为目标和背景两部分。
步骤B1具体步骤如下：
B11，为步骤A中得到的二值化图像的上下边缘添加宽度为两个像素的白边，使图片中存在一条闭合的轮廓能够完整覆盖钢丝绳目标的所有边缘；
B12，使用Canny边缘算子对提升钢丝绳目标区域进行边缘提取，采用Canny 算法中的一种卷积算子，表达如下：
sx、sy分别为图像的×向卷积模板矩阵和y向的卷积模板矩阵。
式中×方向与y方向的一阶偏导矩阵、图像梯度幅值与图像梯度方向角的数学表达式为：
P[i，j]＝(f[i，j+1]-f[i，j]+f[i+1，j+1]-f[i+1，j])/2
Q[i，j]＝(f[i，j]-f[i+1，j]+f[i，j+1]-f[i+1，j+1])/2
θ[i，j]＝tan-1(Q[i，j]/P[i，j])
式中P为×方向的一阶偏导矩阵，Q为y方向一阶偏导矩阵，M为图像梯度幅值，θ为图像梯度的方向角。
通过求解矩阵来进行进一步的运算，获得提升钢丝绳目标的边界图像；
步骤B2具体步骤为：
B21，计算步骤B1在当前图片中检测出的所有边缘特征的横纵比F1，计算公式为：
式中a为轮廓外接矩形的长所占像素数，b为轮廓外接矩形宽所占像素数；
B22，计算步骤B1在当前图片中检测出的所有边缘特征的紧凑度F2，计算公式为：
式中S1为当前轮廓所占总像素数，S2为ROI区域的总像素数；
B23，设定F1的置信区间Q1为[1，5]，F2的置信区间Q2为[0.05，0.7]；
B24，将置信区间之外的轮廓过滤掉，只留下后续计算所需的钢丝绳目标轮廓的边缘特征。
步骤C1具体步骤如下：
C11，定义一个矩形数组R1，该数组包含四个点的坐标，以这些坐标为顶点在图像中确定一个唯一的矩形，要求该矩形能完全包覆步骤B中得到的钢丝绳轮廓图像的同时，使矩形的面积最小；
C12，初始化一个Point类型变量P1，将步骤C11中矩形数组所确定的矩形形心坐标赋值给P1，完成对钢丝绳图像边缘的轮廓拟合操作；
步骤C2具体步骤为：
C21，将步骤C1中记录的形心P1作为追踪依据，在当前图片截取ROI区域之前的原图中坐标为P2的点绘制追踪标记，P2的横纵坐标的值与P1横纵坐标的值如下：
xP2＝xP1
yP2＝yP1+k1
式中k1为截取ROI区域时的左上角顶点纵坐标；xP1为形心P1的横坐标值， xP2为追踪点P2的横坐标值，yP1为形心P1的纵坐标值，yP2为追踪点P2的纵坐标值；
C22，初始化一个整形数组a1，将步骤C21得到的追踪点P2的横坐标逐帧添加到a1中，完成对追踪目标的信息记录，以供后续进行数据可视化处理。
步骤D具体步骤如下：
D1，计算物体在图像中的尺寸与其实际尺寸的比例尺c1，用来将钢丝绳目标所占像素数换算成实际尺寸；
D2，计算拍摄视频的帧数对应的实际时间，用来确定各帧钢丝绳图片所处的实际时间节点；
D3，输出各帧钢丝绳图片中的钢丝绳轮廓形心在图片中的横坐标，并以这些坐标参数为依据，自动绘制提升钢丝绳的振动波形图；
D4，按照步骤D1、D2中计算的比例尺来得出钢丝绳振动的幅度尺寸和一个振动周期所需的时间，进而求出钢丝绳的振动频率；
D5，将钢丝绳的振动波形图和步骤D4中得出的数据呈现到客户端，供用户使用。
步骤D1具体步骤如下：
D11，尺寸比例尺C1的计算公式如下：
式中d1为钢丝绳直径，n1为钢丝绳直径所占像素数，由工程实际可知，提升钢丝绳振动过程中d1的变化量很小，且钢丝绳直径为已知量，因此可以将其作为计算尺寸比例尺的参照；
步骤D2具体步骤为：
D21，第n2帧图像所对应的实际时间t为：
式中k2为摄像头采集到的视频帧率，单位为(帧/秒)；
步骤D3具体步骤为：
D31，定义一张作为钢丝绳振动波形图背景的图片imagel；
D32，以每帧4像素的频率在imagel上描点，点的横坐标对应其所在的帧数，点的纵坐标即为步骤C22中数组a1中相应的形心横坐标，代表提升钢丝绳的振动位移；
D33，在imagel上描第n个点的同时将第n-1个点与其相连，前提是n≥1，这样就完成了待检测钢丝绳振动图像的绘制；
步骤D4具体步骤为：
D41，通过计算步骤D3中绘制的振动波形图两个波峰之间的时间差可以得到钢丝绳振动一个周期所需的时间T，进而求得其振动频率f为：
而钢丝绳振动幅度使用步骤D11中计算得到的尺寸比例尺结合a1数组中对应的形心坐标直接得出。
有益效果：
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
第一点：本发明有较强的抗背景噪声干扰能力，这是因为本发明在自适应阈值分割的基础上对图像进行了高斯滤波和形态学操作，排除了自适应阈值分割无法排除的干扰，降低了对检测背景的要求，使检测过程更加方便。
第二点：本发明降低了检测成本。在较低的输入图像分辨率(640×480)和帧率(30fps)下，本发明能准确识别钢丝绳振动幅值与频率，降低了由昂贵的高速相机带来的检测成本。现有技术需要采用高速相机来保证拍摄的图像质量，这是由于过低的图像分辨率和帧率会造成拍摄过程中出现残影和模糊的现象，对图像分割过程造成影响；而对于现有根据钢丝绳边缘来对其进行定位的算法而言，残影现象还会导致拍摄到的钢丝绳边缘不够清晰，进而影响定位精度。本发明首先通过对图像进行形态学处理减少了图像模糊造成的影响，然后通过拟合轮廓的形心来定位钢丝绳，不会因为边缘模糊而降低定位精度。
第三点：提高了横向振动检测精度：振幅误差小于0.002％、频率检测精度达98.5％，这是因为现有轮廓拟合技术多采用正矩形对目标轮廓进行拟合，而本发明通过最小外接矩形的方式对轮廓进行拟合，在保证不丢失待检测钢丝绳目标轮廓边缘特征的前提下用一个倾斜的矩形将其包覆，在使该矩形的面积最小的同时包覆钢丝绳目标轮廓边缘特征，以便后续提取轮廓形心并追踪，能准确地描述目标轮廓的形状，尤其是在钢丝绳振动幅度较大时。
第四点：相比于现有预测类跟踪算法，本发明跟踪过程平稳、不易跟丢。现有的预测类跟踪算法通过相邻帧中待测目标的位置来对当前帧中待测物体定位。若视频帧率较低，相当于减小了采样频率，导致相邻帧中目标位移较大，检测类算法就容易跟丢目标。而本发明将低帧率的钢丝绳振动图像逐帧检测，对视频相邻帧之间的关联程度没有要求。
第五点：由于图像分辨率和帧率较低，需要计算的总像素数减少，降低了计算机的计算量，提高了检测效率与实时性。
附图说明
图1是本发明整体框架流程图。
图2是本发明图像预处理流程图。
图3是本发明图像特征检测与筛选流程图。
图4是本发明轮廓拟合与形心追踪流程图。
图5是本发明数据可视化处理流程图。
图6为自适应阈值分割结果(左)和经过滤波和形态学处理的自适应阈值分割结果(右)效果对比。
图7为轮廓过滤前后效果对比
图8为正矩形和旋转矩形对待测目标的拟合效果对比
图9为光流法(左)、多实例学习算法(MIL)(中)与本发明(右)检测钢丝绳振动的跟踪效果对比。
图10是本发明算法生成的振动波形图。
图11为光流法和本发明在三个振幅和振动频率不同的视频中的检测结果。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示，本发明提供一种基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，包括图像采集和预处理、图像特征提取与筛选、轮廓拟合与形心跟踪和数据可视化处理四个部分。
如图2所示，图像预处理部分具体实施步骤如下：
A1，对读取正常的当前帧图像进行ROI区域裁剪，降低后续算法运算量；
A2，对裁剪得到的ROI区域进行自适应二值化处理，以从左至右、从上至下的顺序遍历ROI区域的每一个像素值并与自适应二值化算法设定的阈值相比较，将大于阈值的像素值设定为255，小于阈值的像素值则设定为0；
A3，对步骤A2获得的二值化图形进行形态学处理，使用尺寸为3×3的结构因子对该图像进行闭操作，减少提升钢丝绳目标图像内部的小块干扰；
如图3所示，图像的特征提取与筛选部分具体实施步骤如下：
B1，对前期处理获得的图像进行边缘检测；
B2，以边缘轮廓的横纵比F1和紧凑度F2是否存在于数值范围区间Q1内为筛选判定依据，对B1检测到的边缘数组进行筛选过滤，从而排除因噪声干扰而被检测出来的边缘，便于后期算法的进一步处理；
如图4所示，对边缘特征进行轮廓拟合与形心追踪部分具体实施步骤如下：
C1，本发明通过最小外接矩形的方式对轮廓进行拟合，在保证不丢失待检测钢丝绳的轮廓特征的前提下用一个倾斜的矩形将其包覆，在使该矩形的面积最小的同时包覆轮廓特征，以便后续提取轮廓形心并追踪；
C2，本发明提出一种基于轮廓拟合的形心追踪检测算法，即以步骤C1中根据钢丝绳图像轮廓拟合成的矩形为基准判断钢丝绳在ROI区域中的形心，并将该形心作为实际跟踪点，对提升钢丝绳目标进行追踪；
如图5所示，对数据进行可视化处理部分具体实施过程如下：
D1，计算物体在图像中的尺寸与其实际尺寸的比例尺c1，用来将钢丝绳目标所占像素数换算成实际尺寸；
D2，计算拍摄视频的帧数对应的实际时间，用来确定各帧钢丝绳图片所处的实际时间节点；
D3，输出各帧钢丝绳图片中的钢丝绳轮廓形心在图片中的横坐标，并以这些坐标参数为依据，自动绘制提升钢丝绳的振动波形图；
D4，按照步骤D1、D2中计算的比例尺来得出钢丝绳振动的幅度尺寸和一个振动周期所需的时间，进而求出钢丝绳的振动频率；
D5，将钢丝绳的振动波形图和步骤D4中得出的数据呈现到客户端，供用户使用。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，所述步骤A2的具体步骤如下：
A21.计算当前图片输入图像的灰度直方图确定一个均值M，以M值为分界线将直方图分为前后两个部分MA和MB，并定义MA部分所占像素数为PA，MB部分像素数为PB，通过类间方差定义：
ICV＝PA·(MA-M)2+PB·(MB-M)2
来确定使得ICV取得最大值的最佳阈值M。
A22.以阈值M为分界线将图片分割为目标和背景两部分。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤B1的具体步骤如下：
B11，为步骤A中得到的二值化图像的上下边缘添加宽度为两个像素的白边，使图片中存在一条闭合的轮廓能够完整覆盖钢丝绳目标的所有边缘；
B12，使用Canny边缘算子对提升钢丝绳目标区域进行边缘提取，本发明采用Canny算法中较为简单的一种卷积算子，表达如下：
式中x方向与y方向的一阶偏导矩阵、梯度幅值和方向表达为：
P[i，j]＝(f[i，j+1]-f[i，j]+f[i+1，j+1]-f[i+1，j])/2
Q[i，j]＝(f[i，j]-f[i+1，j]+f[i，j+1]-f[i+1，j+1])/2
θ[i，j]＝tan-1(Q[i，j]/P[i，j])
通过求解矩阵来进行进一步的运算，获得提升钢丝绳目标的边界图像。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤B2的具体步骤如下：
B21，计算步骤B1在当前图片中检测出的所有边缘特征的横纵比F1，计算公式为：
式中a为轮廓外接矩形的长所占像素数，b为轮廓外接矩形宽所占像素数；
B22，计算步骤B1在当前图片中检测出的所有边缘特征的紧凑度F2，计算公式为：
式中S1为当前轮廓所占总像素数，S2为ROI区域的总像素数。
B23，设定F1的置信区间Q1为[1，5]，F2的置信区间Q2为[0.05，0.7]；
B24，将置信区间之外的轮廓过滤掉，只留下后续计算所需的钢丝绳目标轮廓的边缘特征。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤C1的具体步骤如下：
C11，定义一个矩形数组R1，该数组包含四个点的坐标，以这些坐标为顶点可以在图像中确定一个唯一的矩形，要求该矩形能完全包覆步骤B中得到的钢丝绳轮廓图像的同时，使矩形的面积最小；
C12，初始化一个Point类型变量P1，将步骤C11中矩形数组所确定的矩形形心坐标赋值给P1，完成对钢丝绳图像边缘的轮廓拟合操作；
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤C2的具体步骤如下：
C21，将步骤C1中记录的形心P1作为追踪依据，在当前图片截取ROI区域之前的原图中坐标为P2的点绘制追踪标记，P2的横纵坐标的值与P1横纵坐标的值如下：
xP2＝xP1
yP2＝yP1+k1
式中k1为截取ROI区域时的左上角顶点纵坐标；
C22，初始化一个整形数组a1，将步骤C21得到的追踪点P2的横坐标逐帧添加到a1中，完成对追踪目标的信息记录，以供后续进行数据可视化处理。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤D1的具体步骤如下：
D11，尺寸比例尺C1的计算公式如下：
式中d1为钢丝绳直径，n1为钢丝绳直径所占像素数。由工程实际可知，提升钢丝绳振动过程中d1的变化量很小，且钢丝绳直径为已知量，因此可以将其作为计算尺寸比例尺的参照。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤D2的具体步骤如下：
D21，第n2帧图像所对应的实际时间t为：
式中k2为摄像头采集到的视频帧率，单位为(帧/秒)。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤D3的具体步骤如下：
D31，定义一张作为钢丝绳振动波形图背景的图片image1；
D32，以每帧4像素的频率在image1上描点，点的横坐标对应其所在的帧数，点的纵坐标即为步骤C22中数组a1中相应的形心横坐标，代表提升钢丝绳的振动位移；
D33，在image1上描第n个点的同时将第n-1个点与其相连，前提是n≥1，这样就完成了待检测钢丝绳振动图像的绘制。
进一步的，本发明的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法，
所述步骤D4的具体步骤如下：
D41，通过计算步骤D3中绘制的振动波形图两个波峰之间的时间差可以得到钢丝绳振动一个周期所需的时间T，进而可以求得其振动频率f为：
而钢丝绳振动幅度可以使用步骤D11中计算得到的尺寸比例尺结合a1数组中对应的形心坐标直接得出。
图6为图像自适应阈值分割效果(左)与经过高斯滤波和形态学处理后的自适应阈值分割效果(右)的对比，可以看出经过高斯滤波和形态学处理后的钢丝绳图像减少了噪点干扰和内部空洞，有利于后续边缘特征的提取。
图7为轮廓筛选前后效果比较，可以看出经过筛选后，图像只保留了待测钢丝绳的轮廓，而内部的干扰色块被成功过滤。
图8为正矩形(虚线)和旋转矩形(实线)对待测目标的拟合效果对比，可以看出旋转矩形的拟合效果相比正矩形更加贴合待测目标的轮廓，可以提高后续检测过程的检测精度。
图9为光流法(左)、MIL(中)与本发明(右)检测钢丝绳振动的跟踪效果对比。视频的帧速率为30fps，分辨率为480(H)×640(V)，使用的图像采集设备水平远低于常见工业相机的水平。
由于图像采集设备的水平较低，拍摄中出现了明显的模糊和残影现象。此外，本视频拍摄未借助反光背景板和辅助光源，这就使得钢丝绳处于空间中不同位置时的反光效果也不同。由于这些原因，光流法和MIL法在跟踪过程中均出现了一定程度上的跟踪不精确甚至跟错、跟丢的现象，而本发明的跟踪效果准确稳定。
通过本发明检测预设振幅为25mm、预设频率为0.5Hz的钢丝绳振动视频，生成的振动波形图如图10所示，该波形图横坐标代表当前帧所处的帧序，纵坐标代表钢丝绳横向振动的位移像素数，检测结果如图8所示。
视频共388帧，帧速率为30fps，尺寸比例尺c1为0.1mm/像素，累计出现7 个波峰，统计相邻波峰之间帧序差，求平均值为61帧，折合时间2.03s，说明本算法计算钢丝绳振动频率的精度高达98.5％。七个波峰的位移均值为252像素，折合25.2mm，说明本算法计算钢丝绳横向振动幅值的精度高达99.2％。
图11为光流法和本发明在三个振幅和振动频率不同的视频中的检测结果。光流法是一种计算量较大、耗时较长，但受背景干扰很小的跟踪算法，适合用来验证本发明的跟踪效果。由图可知，光流法跟踪检测效果与本发明检测结果基本吻合，可以说明本发明的跟踪效果稳定可靠。但由于视频的帧速率和分辨率低下，光流法出现了少许的跟丢情况，而本发明跟踪曲线平滑流畅，未出现跟丢现象。
以上结合附图对本发明的具体实施方式作了说明，但这些说明不能被理解为限制了本发明的范围，任何在本发明权利要求基础上的改动都是本发明的保护范围。
Claims (6)
1.基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别方法，其特征在于，包括以下步骤：
步骤A，实时采集提升钢丝绳的振动图像，对图像进行初步预处理，获得钢丝绳目标轮廓与背景分离的二值化图像，具体步骤如下：
A1，对图像进行ROI区域裁剪，降低后续算法运算量；
A2，对裁剪得到的ROI区域进行自适应二值化处理，以从左至右、从上至下的顺序遍历ROI区域的每一个像素值并与自适应二值化算法设定的阈值相比较，将大于阈值的像素值设定为255，小于阈值的像素值则设定为0；
A3，对步骤A2获得的二值化图像进行形态学处理，使用尺寸为3×3的结构因子对该图像进行闭操作，减少提升钢丝绳目标图像内部的小块干扰；
步骤B，对步骤A获得的二值化图像进行特征提取并筛选出提升钢丝绳目标轮廓边缘特征,具体步骤如下：
B1，对步骤A3得到的提升钢丝绳目标图像进行边缘检测；
B2，以边缘轮廓的横纵比F1和紧凑度F2是否存在于数值范围区间Q1内为筛选判定依据，对步骤B1检测到的边缘数组进行筛选过滤，从而排除因噪声干扰而被检测出来的边缘，便于后期算法的进一步处理；
步骤C，对步骤B中提取的提升钢丝绳目标轮廓边缘特征进行轮廓拟合与形心追踪，具体包括以下步骤：
C1，通过最小外接矩形的方式对轮廓进行拟合，在保证不丢失待检测钢丝绳目标轮廓边缘特征的前提下用一个倾斜的矩形将其包覆，在使该矩形的面积最小的同时包覆钢丝绳目标轮廓边缘特征，以便后续提取轮廓形心并追踪；
C2，提出一种基于轮廓拟合的形心追踪检测算法，即以步骤C1中根据钢丝绳图像轮廓拟合成的矩形为基准判断钢丝绳在ROI区域中的形心，并将该形心作为实际跟踪点，对提升钢丝绳目标进行追踪；
步骤D，对步骤C中对提升钢丝绳的追踪过程进行数据记录，并且绘制波形图，对数据进行可视化处理，输出提升钢丝绳横向振动的振幅与振动频率。
2.根据权利要求1所述的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别方法，其特征在于，步骤A2具体步骤为：
A21.计算当前图片输入图像的灰度直方图确定一个均值M，以M值为分界线将直方图分为前部分MA和后部分MB两个部分，并定义MA部分所占像素数为PA，MB部分所占像素数为PB，通过类间方差定义：
ICV＝PA·(MA-M)2+PB·(MB-M)2
来确定使得ICV取得最大值的最佳阈值M；
A22.以阈值M为分界线将图片分割为目标和背景两部分。
3.根据权利要求1所述的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别方法，其特征在于，步骤B1具体步骤如下：
B11，为步骤A中得到的二值化图像的上下边缘添加宽度为两个像素的白边，使图片中存在一条闭合的轮廓能够完整覆盖钢丝绳目标的所有边缘；
B12，使用Canny边缘算子对提升钢丝绳目标区域进行边缘提取，采用Canny算法中的一种卷积算子，表达如下：
sx、sy分别为图像的x向卷积模板矩阵和y向的卷积模板矩阵。
式中x方向与y方向的一阶偏导矩阵、图像梯度幅值与图像梯度方向角的数学表达式为：
P[i,j]＝(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2
Q[i,j]＝(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2
θ[i,j]＝tan-1(Q[i,j]/P[i,j])
式中P为x方向的一阶偏导矩阵，Q为y方向一阶偏导矩阵，M为图像梯度幅值，θ为图像梯度的方向角。
通过求解矩阵来进行进一步的运算，获得提升钢丝绳目标的边界图像；
步骤B2具体步骤为：
B21，计算步骤B1在当前图片中检测出的所有边缘特征的横纵比F1，计算公式为：
式中a为轮廓外接矩形的长所占像素数，b为轮廓外接矩形宽所占像素数；
B22，计算步骤B1在当前图片中检测出的所有边缘特征的紧凑度F2，计算公式为：
式中S1为当前轮廓所占总像素数，S2为ROI区域的总像素数；
B23，设定F1的置信区间Q1为[1,5]，F2的置信区间Q2为[0.05,0.7]；
B24，将置信区间之外的轮廓过滤掉，只留下后续计算所需的钢丝绳目标轮廓的边缘特征。
4.根据权利要求1所述的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别方法，其特征在于，
步骤C1具体步骤如下：
C11，定义一个矩形数组R1，该数组包含四个点的坐标，以这些坐标为顶点在图像中确定一个唯一的矩形，要求该矩形能完全包覆步骤B中得到的钢丝绳轮廓图像的同时，使矩形的面积最小；
C12，初始化一个Point类型变量P1，将步骤C11中矩形数组所确定的矩形形心坐标赋值给P1，完成对钢丝绳图像边缘的轮廓拟合操作；
步骤C2具体步骤为：
C21，将步骤C1中记录的形心P1作为追踪依据，在当前图片截取ROI区域之前的原图中坐标为P2的点绘制追踪标记，P2的横纵坐标的值与P1横纵坐标的值如下：
xP2＝xP1
yP2＝yP1+k1
式中k1为截取ROI区域时的左上角顶点纵坐标；xP1为形心P1的横坐标值，xP2为追踪点P2的横坐标值，yP1为形心P1的纵坐标值，yP2为追踪点P2的纵坐标值；
C22，初始化一个整形数组a1，将步骤C21得到的追踪点P2的横坐标逐帧添加到整形数组a1中，完成对追踪目标的信息记录，以供后续进行数据可视化处理。
5.根据权利要求1所述的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别方法，其特征在于，步骤D具体步骤如下：
D1，计算物体在图像中的尺寸与其实际尺寸的比例尺c1，用来将钢丝绳目标所占像素数换算成实际尺寸；
D2，计算拍摄视频的帧数对应的实际时间，用来确定各帧钢丝绳图片所处的实际时间节点；
D3，输出各帧钢丝绳图片中的钢丝绳轮廓形心在图片中的横坐标，并以这些坐标参数为依据，自动绘制提升钢丝绳的振动波形图；
D4，按照步骤D1、D2中计算的比例尺来得出钢丝绳振动的幅度尺寸和一个振动周期所需的时间，进而求出钢丝绳的振动频率；
D5，将钢丝绳的振动波形图和步骤D4中得出的数据呈现到客户端，供用户使用。
6.根据权利要求5所述的基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别方法，其特征在于，
步骤D1具体步骤如下：
D11，尺寸比例尺C1的计算公式如下：
式中d1为钢丝绳直径，n1为钢丝绳直径所占像素数，由工程实际可知，提升钢丝绳振动过程中d1的变化量很小，且钢丝绳直径为已知量，因此可以将其作为计算尺寸比例尺的参照；
步骤D2具体步骤为：
D21，第n2帧图像所对应的实际时间t为：
式中k2为摄像头采集到的视频帧率，单位为：帧/秒；
步骤D3具体步骤为：
D31，定义一张作为钢丝绳振动波形图背景的图片image1；
D32，以每帧4像素的频率在image1上描点，点的横坐标对应其所在的帧数，点的纵坐标即为步骤C22中数组a1中相应的形心横坐标，代表提升钢丝绳的振动位移；
D33，在image1上描第n个点的同时将第n-1个点与其相连，前提是n≥1，这样就完成了待检测钢丝绳振动图像的绘制；
步骤D4具体步骤为：
D41，通过计算步骤D3中绘制的振动波形图两个波峰之间的时间差得到钢丝绳振动一个周期所需的时间T，进而求得其振动频率f为：
钢丝绳振动幅度使用步骤D11中计算得到的尺寸比例尺结合整形数组a1中对应的形心坐标直接得出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111245963.4A CN114140384A (zh) | 2021-10-26 | 2021-10-26 | 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111245963.4A CN114140384A (zh) | 2021-10-26 | 2021-10-26 | 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140384A true CN114140384A (zh) | 2022-03-04 |
Family
ID=80394535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111245963.4A Pending CN114140384A (zh) | 2021-10-26 | 2021-10-26 | 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140384A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998437A (zh) * | 2022-07-01 | 2022-09-02 | 陕西仙电同圆信息科技有限公司 | 一种空间目标形心定位方法 |
| WO2023231262A1 (zh) * | 2022-06-01 | 2023-12-07 | 中国矿业大学 | 基于视觉振频识别的提升钢丝绳张力检测方法 |
| CN117237357A (zh) * | 2023-11-15 | 2023-12-15 | 上海杰臻电气技术有限公司 | 一种基于机器视觉的钢丝绳在线监测系统和方法 |
| CN117269179A (zh) * | 2023-11-23 | 2023-12-22 | 平方和(北京)科技有限公司 | 基于机器视觉的隐形眼镜边缘缺陷的高精度检测方法和系统 |
-
2021
- 2021-10-26 CN CN202111245963.4A patent/CN114140384A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023231262A1 (zh) * | 2022-06-01 | 2023-12-07 | 中国矿业大学 | 基于视觉振频识别的提升钢丝绳张力检测方法 |
| CN114998437A (zh) * | 2022-07-01 | 2022-09-02 | 陕西仙电同圆信息科技有限公司 | 一种空间目标形心定位方法 |
| CN117237357A (zh) * | 2023-11-15 | 2023-12-15 | 上海杰臻电气技术有限公司 | 一种基于机器视觉的钢丝绳在线监测系统和方法 |
| CN117237357B (zh) * | 2023-11-15 | 2024-01-30 | 上海杰臻电气技术有限公司 | 一种基于机器视觉的钢丝绳在线监测系统和方法 |
| CN117269179A (zh) * | 2023-11-23 | 2023-12-22 | 平方和(北京)科技有限公司 | 基于机器视觉的隐形眼镜边缘缺陷的高精度检测方法和系统 |
| CN117269179B (zh) * | 2023-11-23 | 2024-02-02 | 平方和(北京)科技有限公司 | 基于机器视觉的隐形眼镜边缘缺陷的高精度检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140384A (zh) | 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 | |
| CN115170576B (zh) | 基于机器视觉的铝管表面缺陷检测方法 | |
| CN109410230B (zh) | 一种可抗噪声的改进Canny图像边缘检测方法 | |
| CN102175700B (zh) | 数字x射线图像焊缝分割和缺陷检测方法 | |
| CN115239704B (zh) | 一种木材表面缺陷的精准检测修复方法 | |
| CN114494210B (zh) | 基于图像处理的塑料膜生产缺陷检测方法及系统 | |
| CN109489724B (zh) | 一种隧道列车安全运行环境综合检测装置及检测方法 | |
| CN114279357A (zh) | 一种基于机器视觉的压铸件毛刺尺寸测量方法及系统 | |
| CN112862744B (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
| CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN116433666B (zh) | 板卡线路缺陷在线识别方法、系统、电子设备及存储介质 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| WO2021000948A1 (zh) | 配重重量的检测方法与系统、获取方法与系统及起重机 | |
| WO2023231262A1 (zh) | 基于视觉振频识别的提升钢丝绳张力检测方法 | |
| Fu et al. | Research on image-based detection and recognition technologies for cracks on rail surface | |
| CN113155839A (zh) | 一种基于机器视觉的钢板外表面缺陷在线检测方法 | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| CN113706566A (zh) | 一种基于边缘检测的加香喷雾性能检测方法 | |
| CN114581805A (zh) | 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法 | |
| CN117853484B (zh) | 一种基于视觉的桥梁损伤智能监测方法及系统 | |
| CN113610054B (zh) | 一种水下结构病害深度检测方法、系统、装置及存储介质 | |
| CN112330633B (zh) | 基于自适应带通滤波的跨接线胶带破损故障图像分割方法 | |
| CN117522778A (zh) | 一种空心砖瑕疵检测系统 | |
| CN106530292A (zh) | 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |