CN114565929A - 一种基于梯度变换的导线循迹识别方法 - Google Patents
一种基于梯度变换的导线循迹识别方法 Download PDFInfo
- Publication number
- CN114565929A CN114565929A CN202210134424.1A CN202210134424A CN114565929A CN 114565929 A CN114565929 A CN 114565929A CN 202210134424 A CN202210134424 A CN 202210134424A CN 114565929 A CN114565929 A CN 114565929A
- Authority
- CN
- China
- Prior art keywords
- lead
- image
- path
- pixel
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000009466 transformation Effects 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- SYUPLLHVMCLXEM-UHFFFAOYSA-N 4,5-dichloro-2-(3-methylphenyl)pyridazin-3-one Chemical compound CC1=CC=CC(N2C(C(Cl)=C(Cl)C=N2)=O)=C1 SYUPLLHVMCLXEM-UHFFFAOYSA-N 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 239000004020 conductor Substances 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于梯度变换的导线循迹识别方法，步骤为：S1读取视频帧图像；S2导线提取：对视频帧图像进行去噪处理，再进行边缘轮廓检测提取视频帧图像中的导线，获得导线图像；S3导线循迹：根据目标识别模型进行目标检测获得所有设备电极的位置坐标，实现电极定位，根据电极定位将导线图像中的电极去除，再进行导线循迹和方向循迹，获得导线路径；S4设备连接判断：根据步骤S3中得出的导线路径，选择组成导线路径的两个端点，判断两个端点的坐标与设备电极的位置坐标的接触情况，从而判断导线两端连接的设备。该方法能够完整地提取出待识别的导线，并根据导线的实际连接走向进行循迹，达到从图像中确定导线两端设备的连接关系。
Description
技术领域
本发明属于计算机图像处理技术领域，尤其涉及一种基于梯度变换的导线循迹识别方法，用于解决物理电路中导线走向的识别问题。
背景技术
随着人工智能技术的快速发展，越来越多的智能化产品相继问世，并已在各大行业中得到广泛应用。近年来，人工智能的核心技术开始在教育领域中展开应用，逐渐取得了长足发展，各类教育产品层出不穷，伴随的人工智能的服务身影也随处可见。如:试卷和作业的自动化批阅服务，它不仅摒弃了传统批阅方式带来的高错误率和低效性等不足，而且在一定程度上替代了传统批阅方式。当前，伴随着教育改革的脚步声渐起，与时俱进的教育改革促使人工智能朝着更有利的方向发展，人工智能已不再局限于简单的图像处理技术领域，转而走向更深层次的视频处理技术领域，如：实验的自动化批阅服务，能够处理和分析视频内容，并给出批阅结果。
视频的自动化批阅作为全新的批阅方式，汇集多种图像处理技术，在实际应用处理过程中也存在着一些技术壁垒。例如，在物理电路实验中，需要判断导线两端连接的具体设备，而实际导线的连接有多种复杂的情况，且导线的检测易受光线等环境影响，致使导线的提取和循迹都较为困难。为了能够从图像中完整地提取导线，并判断出导线两端设备的实际连接状况，使用传统和深度相结合的方法显得尤为重要。
发明内容
本发明要解决的技术问题是，针对图像中导线的识别，研究提出一种基于梯度变换的导线循迹识别方法，主要用于解决物理电路实验中设备间导线的连接判断问题。
为了解决上述技术问题，本发明采用的技术方案是：该基于梯度变换的导线循迹识别方法，具体包括以下步骤：
S1读取视频帧图像：逐帧读取视频信息并获取视频帧图像；
S2导线提取：对所述步骤S1中获取的视频帧图像进行去噪处理，再进行边缘轮廓检测提取视频帧图像中的导线，获得导线图像；
S3导线循迹：根据目标识别模型进行目标检测获得所有设备电极的位置坐标，实现电极定位，根据电极定位将步骤S2中提取的导线图像中的电极去除，再进行导线循迹和方向循迹，获得导线路径；
S4设备连接判断：根据步骤S3中得出的导线路径，选择组成导线路径的两个端点，判断两个端点的坐标与设备电极的位置坐标的接触情况，从而判断导线两端连接的设备。
采用上述技术方案，首先采用基于梯度变换的轮廓检测技术提取每帧图像中的导线轮廓；其次，根据导线的大致轮廓提取出所有导线，再对导线做细化处理；接着，从设备电极出发做导线的循迹，得到设备电极间的多条导线连接路径；最后，对不同的路径结果进行优化选择，判断出导线间实际连接的设备。该基于梯度变换的导线循迹识别方法能够完整地提取出待识别的导线，并根据导线的实际连接走向进行循迹，达到从图像中确定导线两端设备的连接关系。
作为本发明的优选技术方案，所述步骤S1中采用流媒体协议(RTSP)拉取视频流或直接读取mp4格式的视频文件，所有视频帧图像的读取均为三通道输入，记作：src，其函数表示为：f(x,y)。
作为本发明的优选技术方案，所述步骤S2的具体步骤为：
S21：采用通用的双边滤波或高斯滤波算法对视频帧图像做去噪处理，抑制图像噪声，去除图像中的噪点干扰；
S22：再对导线的边缘轮廓做增强处理，获取视频帧图像中高亮部分的目标提取；
S23：将所述步骤S22中提取到的高亮部分的视频帧图像进行边缘轮廓检测；
S24：当视频帧图像中的所有目标轮廓检测完成后，开始对检测到的图像轮廓进行筛选，得到视频帧图像中导线的完整提取，从而获得导线图像，记作：srcLineImg图像。
作为本发明的优选技术方案，所述步骤S22中对导线的边缘轮廓做增强处理的具体步骤为：
S221：先采用拉普拉斯算子对图像做二阶梯度求导，如公式(1)所示，
S222：再对求导后的梯度图像做高亮增强处理，处理分别通过RGB三通道进行颜色过滤，从而实现图像中高亮部分的目标提取。其中R通道颜色的过滤对应值为200以上；G通道颜色的过滤对应值为210以上，B通道颜色的过滤对应值为220以上。
作为本发明的优选技术方案，所述步骤S23中进行边缘轮廓检测的具体步骤为：
S231：检测是从图像的左上角点开始，依次按行和列遍历到图像中的第一个非零像素值点，记作：p(x,y)，并赋给它一个标签label，然后将与该像素点相邻的所有前景像素都压入栈中；
S232：弹出栈顶像素，赋予栈顶像素label，再将与所述栈顶像素相邻的所有前景像素都压入栈中，重复此过程，直至栈为空，便得到边缘检测的连通区域。
作为本发明的优选技术方案，所述步骤S3的具体步骤为：
S31：根据目标识别神经网络(如：Yolo系列网络、CenterNet网络等)训练实验设备样本得到目标识别模型，再通过目标识别模型获得所有设备电极的位置坐标，其中电极种类分为两类，一种为接线电极，一种为非接线电极，将所有接线电极的坐标保存在列表P中，记作：P＝[((x0,y0),(x'0,y'0)),…,((xn,yn),(x'n,y'n))]；其中，(x0,y0)表示电极柱定位框的左上角点，(x'0,y'0)表示电极柱定位框的右下角点；
S32：遍历电极坐标列表P，从srcLineImg图像中将电极坐标分别从x和y方向进行放大，保证电极定位框能与导线相接触；此处优选放大10-20个像素；
S33：将srcLineImg图像做二值化处理，根据判断条件提取srcLineImg图像的连通像素中心轴线，并循环遍历整张srcLineImg图像中的全部非零像素，得到提取的中线骨架图；
S34：遍历电极坐标列表P，从中线骨架图中将电极坐标分别从x和y方向进行放大，此处优选放大10～20个像素，保证电极定位框能与导线相接触；所有接触点像素坐标记作：B＝[(xa0,yb0),(xa1,yb1)…,(xan,ybn)]；其中，(xa0,yb0)表示某个接触点B0的坐标。如：(B0,…,B′i)表示由起始坐标点B0到结束坐标点B′i组成的像素点路径，它代表的可能是一根完整的导线或导线中的一部分。
S35：遍历接触点坐标列表B，将每个接触点作为导线循迹的起始点，使用广度优先搜索遍历算法遍历全部路径，再进行路径筛选，获得导线路径。
作为本发明的优选技术方案，所述步骤S33的具体步骤为：将srcLineImg图像做二值化处理，所有非零像素值大小设置为1，再根据每个像素与周围相邻的8个像素值作为判断条件，提取整张图像连通像素的中心轴线，整个提取过程以3*3的卷积核遍历所有非零点像素展开，卷积核对应的像素矩阵表示如下：
其中，p1为中心点的像素值，默认设置为：1表示保留像素点；当同时满足条件1或条件2时，将p1的值设置为：0，表示删除像素点；循环遍历整张图像中的全部非零像素，得到提取的中线骨架图，记作：skeletonLineImg图像；
作为本发明的优选技术方案，所述步骤S33中的判断条件包括判断条件一和判断条件二，所述判断条件一为：
(1-1)
(1-2)pipi+1(i＝2,3,…,8)，满足pipi+1的值等于“01”的数量为1；
(1-3)p2p4p6＝0；
(1-4)p4p6p8＝0；
所述判断条件二为：
(2-1)
(2-2)pipi+1(i＝2,3,…,8)，满足pipi+1的值等于“01”的数量为1；
(2-3)p2p4p8＝0；
(2-4)p2p6p8＝0。
作为本发明的优选技术方案，所述步骤S35进行路径筛选的筛选条件包括筛选条件一和筛选条件二，所述筛选条件一为组成路径的像素点个数是否满足设定的阈值G；所述筛选条件二为相邻像素点间坐标斜率的变化是否一致；具体包括以下步骤：
S351：统计列表R中每条路径含有的像素点个数，记作：S＝[s0,s1,…,sn],(n∈N*)，若对应的si＜G(i＝1,…,n)，则将对应位置上的索引值置为0，否则，置为1，保存索引列表记作：I；
S352：根据短距离不变性原则作为判断依据，对前后相邻的像素点坐标(xai,ybi)做斜率计算，坐标计算如公式(2)所示：
计算路径中全部像素点的坐标斜率，记作：
Ka＝[k0,k1,…,kb],(a∈0,1,…,n；b∈i,j,…,n)；
S353：结合所述筛选条件一中路径像素点个数阈值筛选出的结果，进行第一轮的路径优化选择并保留优化结果，记作：RA＝(R·IT)T；
其中，非零项代表保留的路径；假设优化后保留的路径为：RA＝[0,0，…，(B0，…，B'j),0,…(B0,…,B'n-1),0]，再遍历路径列表RA中的所有非零子元素，采取通用的动态规划算法，求解它们的最长公共子序列，两个非零子元素路径的求解如公式(3)所示；
LCS＝max{LCS(ra,rb)},(a,b∈j,…,n-1；a≠b) (3)
其中，rj和rn-1分别表示路径序列(B0，…，B'j)和(B0,…,B'n-1)；根据求得的最大公共子序列，确定路径ra和rb以及交叉点BLCS-1，再使用路径全部点的坐标斜率Ka＝[k0,k1,…,ka]和Kb＝[k0,k1,…,kb]；分别比较Ka和Kb中交叉点BLCS-1对应的索引位置LCS-1后的斜率变化情况，若持续多个邻近像素点坐标斜率相近，则选择对应的路径作为最终的导线路径。
作为本发明的优选技术方案，所述步骤S21中采用的高斯滤波的卷积核大小可设置为：3*3，其中设置滤波卷积核在X轴和Y轴两个方向上的标准偏差，标准偏差大小设置为：3～5，通过高斯滤波基本能够达到图像模糊化和图像平滑的目的；所述步骤S24中图像轮廓筛选的条件包括：(1)轮廓点数是否满足阈值C；(2)轮廓的面积是否满足阈值S；(3)轮廓的外接矩形是否满足阈值B；(4)轮廓的宽高比是否满足阈值T。
与现有技术相比，本发明具有的有益效果为：，首先采用基于梯度变换的轮廓检测技术提取每帧图像中的导线轮廓；其次，根据导线的大致轮廓提取出所有导线，再对导线做细化处理；接着，从设备电极出发做导线的循迹，得到设备电极间的多条导线连接路径；最后，对不同的路径结果进行优化选择，判断出导线间实际连接的设备。该基于梯度变换的导线循迹识别方法能够完整地提取出待识别的导线，并根据导线的实际连接走向进行循迹，达到从图像中确定导线两端设备的连接关系。
附图说明
下面结合附图进一步描述本发明的技术方案：
图1是本发明的基于梯度变换的导线循迹识别方法的流程图；
图2是本发明的基于梯度变换的导线循迹识别方法的步骤S2中获得的导线的完整提取的效果图；
图3是本发明的基于梯度变换的导线循迹识别方法的步骤S33中获得的中线骨架图的效果图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例：如图1所示，该基于梯度变换的导线循迹识别方法，具体包括以下步骤：
S1读取视频帧图像：逐帧读取视频信息并获取视频帧图像；所述步骤S1中采用流媒体协议(如：RTSP)拉取视频流或直接读取mp4格式的视频文件，所有视频帧图像的读取均为三通道输入，记作：src，其函数表示为：f(x,y)；
S2导线提取：对所述步骤S1中获取的视频帧图像进行去噪处理，再进行边缘轮廓检测提取视频帧图像中的导线，获得导线图像，记作：srcLineImg图像；
所述步骤S2的具体步骤为：
S21：采用通用的双边滤波或高斯滤波算法对视频帧图像做去噪处理，抑制图像噪声，去除图像中的噪点干扰；
所述步骤S21中采用的高斯滤波的卷积核大小可设置为：3*3，其中为了完整地保留导线部分的细节信息，设置滤波卷积核在X轴和Y轴两个方向上的标准偏差，标准偏差大小设置为：3～5；通过高斯滤波基本能够达到图像模糊化和图像平滑的目的；
S22：为了能够从源图像中完整地提取出所有的导线，需要对导线的边缘轮廓做增强处理，因此对导线的边缘轮廓做增强处理，获取视频帧图像中高亮部分的目标提取；
所述步骤S22中对导线的边缘轮廓做增强处理的具体步骤为：
S221：先采用拉普拉斯算子对图像做二阶梯度求导，如公式(1)所示，
S222：再对求导后的梯度图像做高亮增强处理，处理分别通过RGB三通道进行颜色过滤，从而实现图像中高亮部分的目标提取；其中R通道颜色的过滤对应值为200以上；G通道颜色的过滤对应值为210以上，B通道颜色的过滤对应值为220以上，
S23：将所述步骤S22中提取到的高亮部分的视频帧图像进行边缘轮廓检测；
所述步骤S23中进行边缘轮廓检测的具体步骤为：
S231：检测是从图像的左上角点开始，依次按行和列遍历到图像中的第一个非零像素值点，记作：p(x,y)，并赋给它一个标签label，然后将与该像素点相邻的所有前景像素都压入栈中；
S232：弹出栈顶像素，赋予栈顶像素label，再将与所述栈顶像素相邻的所有前景像素都压入栈中，重复此过程，直至栈为空，便得到边缘检测的连通区域；
S24：当视频帧图像中的所有目标轮廓检测完成后，开始对检测到的图像轮廓进行筛选，图像轮廓筛选的条件包括：(1)轮廓点数是否满足阈值C；(2)轮廓的面积是否满足阈值S；(3)轮廓的外接矩形是否满足阈值B；(4)轮廓的宽高比是否满足阈值T等，所有的阈值都是经验值，最终实现图像中导线的完整提取，如图2所示；
S3导线循迹：根据目标识别模型进行目标检测获得所有设备电极的位置坐标，实现电极定位，根据电极定位将步骤S2中提取的导线图像中的电极去除，再采用路径搜索算法进行导线循迹和方向循迹，获得导线路径；
所述步骤S3的具体步骤为：
S31：根据现有的目标识别神经网络，如：Yolo系列网络、CenterNet网络等训练实验设备样本得到目标识别模型，再通过目标识别模型获得所有设备电极的位置坐标，其中电极种类分为两类，一种为接线电极，一种为非接线电极，将所有接线电极的坐标保存在列表P中，记作：P＝[((x0,y0),(x'0,y'0)),…,((xn,yn),(x'n,y'n))]；其中，(x0,y0)表示电极柱定位框的左上角点，(x'0,y'0)表示电极柱定位框的右下角点；
S32：遍历电极坐标列表P，从srcLineImg图像中将电极坐标分别从x和y方向进行放大，建议扩大10～20个像素，保证电极定位框能与导线相接触；
S33：将srcLineImg图像做二值化处理，根据判断条件提取srcLineImg图像的连通像素中心轴线，再对图像进行细化和缩放，循环遍历整张srcLineImg图像中的全部非零像素，得到提取的中线骨架图；
所述步骤S33的具体步骤为：将srcLineImg图像做二值化处理，所有非零像素值大小设置为1，再根据每个像素与周围相邻的8个像素值作为判断条件，提取整张图像连通像素的中心轴线，整个提取过程以3*3的卷积核遍历所有非零点像素展开，卷积核对应的像素矩阵表示如下：
其中，p1为中心点的像素值，默认设置为：1，表示保留像素点；当同时满足条件1或条件2时，将p1的值设置为：0，表示删除像素点；循环遍历整张图像中的全部非零像素，得到提取的中线骨架图，记作：skeletonLineImg图像；如图3所示；
所述步骤S33中的判断条件包括判断条件一和判断条件二，所述判断条件一为：
(1-1)
(1-2)pipi+1(i＝2,3,…,8)，满足pipi+1的值等于“01”的数量为1；
(1-3)p2p4p6＝0；
(1-4)p4p6p8＝0；
所述判断条件二为：
(2-1)
(2-2)pipi+1(i＝2,3,…,8)，满足pipi+1的值等于“01”的数量为1；
(2-3)p2p4p8＝0；
(2-4)p2p6p8＝0。
S34：遍历电极坐标列表P，从中线骨架图中将电极坐标分别从x和y方向进行放大，保证电极定位框能与导线相接触；所有接触点像素坐标记作：B＝[(xa0,yb0),(xa1,yb1)…,(xan,ybn)]；其中，(xa0,yb0)表示某个接触点B0的坐标；如：(B0,…,B′i)表示由起始坐标点B0到结束坐标点B′i组成的像素点路径，它代表的可能是一根完整的导线或导线中的一部分；
S35：遍历接触点坐标列表B，将每个接触点作为导线循迹的起始点，使用广度优先搜索遍历算法遍历全部路径，再进行路径筛选，获得导线路径；
以接触点B0为例，从坐标出发得到连续像素点坐标组成的全部路径，记作：R＝[(B0,…,B′i),(B0,…,B'j),…,(B0,…,B'n)],(i,j,…,n∈N*)；其中，列表R中的每个元素表示一个路径，如：(B0,…,B′i)表示由起始坐标点B0到结束坐标点B′i组成的像素点路径，它代表的可能是一根完整的导线或导线中的一部分；为了排除与实际导线无关的路径，需要增加路径的筛选条件，进行路径筛选的筛选条件包括筛选条件一和筛选条件二，所述筛选条件一为组成路径的像素点个数是否满足设定的阈值G；所述筛选条件二为相邻像素点间坐标斜率的变化是否一致；具体包括以下步骤：
S351：统计列表R中每条路径含有的像素点个数，记作：S＝[s0,s1,…,sn],(n∈N*)，若对应的si＜G(i＝1,…,n)，则将对应位置上的索引值置为0，否则，置为1，保存索引列表记作：I；
S352：根据像素的连续性特点，为了确保导线走向的正确性，根据短距离不变性原则作为判断依据，对前后相邻的像素点坐标(xai,ybi)做斜率计算，坐标计算如公式(2)所示：
计算路径中全部像素点的坐标斜率，记作：
Ka＝[k0,k1,…,kb],(a∈0,1,…,n；b∈i,j,…,n)；
S353：结合所述筛选条件一中路径像素点个数阈值筛选出的结果，进行第一轮的路径优化选择并保留优化结果，记作：RA＝(R·IT)T；
其中，非零项代表保留的路径；假设优化后保留的路径为：RA＝[0,0，…，(B0，…，B'j),0,…(B0,…,B'n-1),0]，再遍历路径列表RA中的所有非零子元素，采取通用的动态规划算法，求解它们的最长公共子序列，两个非零子元素路径的求解如公式(3)所示；
LCS＝max{LCS(ra,rb)},(a,b∈j,…,n-1；a≠b) (3)
其中，rj和rn-1分别表示路径序列(B0，…，B'j)和(B0,…,B'n-1)；根据求得的最大公共子序列，确定路径ra和rb以及交叉点BLCS-1，再使用路径全部点的坐标斜率Ka＝[k0,k1,…,ka]和Kb＝[k0,k1,…,kb]；分别比较Ka和Kb中交叉点BLCS-1对应的索引位置LCS-1后的斜率变化情况，若持续多个邻近像素点坐标斜率相近，则选择对应的路径作为最终的导线路径。
S4设备连接判断：根据步骤S3中的路径搜索算法得出的导线路径，选择组成导线路径的两个端点，记作：(xa0,yb0)和(xan,ybn)；再分别判断两个端点坐标与相关设备电极的位置坐标框的接触情况，可以将电极框的左上角点和右下角点的坐标分别放大5～10个像素，如：((x0+5,y0+5),(x'0+5,y'0+5))，若x0+5＜＝xa0＜＝x'0+5和y0+5＜＝ya0＜＝y'0+5，满足接触点(xa0,yb0)在电极框内的条件，可直接确定导线的一端已与电极相连；同理，当确定导线的另一端接触点与其他电极相连时，最终判断出导线两端连接的实际设备。
对于本领域的普通技术人员而言，具体实施例只是对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (10)
1.一种基于梯度变换的导线循迹识别方法，其特征在于，具体包括以下步骤：
S1读取视频帧图像：逐帧读取视频信息并获取视频帧图像；
S2导线提取：对所述步骤S1中获取的视频帧图像进行去噪处理，再进行边缘轮廓检测提取视频帧图像中的导线，获得导线图像；
S3导线循迹：根据目标识别模型进行目标检测获得所有设备电极的位置坐标，实现电极定位，根据电极定位将步骤S2中提取的导线图像中的电极去除，再进行导线循迹和方向循迹，获得导线路径；
S4设备连接判断：根据步骤S3中得出的导线路径，选择组成导线路径的两个端点，判断两个端点的坐标与设备电极的位置坐标的接触情况，从而判断导线两端连接的设备。
2.根据权利要求1所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S1中采用流媒体协议拉取视频流或直接读取mp4格式的视频文件，所有视频帧图像的读取均为三通道输入，记作：src，其函数表示为：f(x,y)。
3.根据权利要求1所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S2的具体步骤为：
S21：采用通用的双边滤波或高斯滤波算法对视频帧图像做去噪处理，抑制图像噪声，去除图像中的噪点干扰；
S22：再对导线的边缘轮廓做增强处理，获取视频帧图像中高亮部分的目标提取；
S23：将所述步骤S22中提取到的高亮部分的视频帧图像进行边缘轮廓检测；
S24：当视频帧图像中的所有目标轮廓检测完成后，开始对检测到的图像轮廓进行筛选，得到视频帧图像中导线的完整提取，从而获得导线图像，记作：srcLineImg图像。
4.根据权利要求3所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S22中对导线的边缘轮廓做增强处理的具体步骤为：
S221：先采用拉普拉斯算子对图像做二阶梯度求导，如公式(1)所示，
S222：再对求导后的梯度图像做高亮增强处理，处理分别通过RGB三通道进行颜色过滤，从而实现图像中高亮部分的目标提取。
5.根据权利要求4所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S23中进行边缘轮廓检测的具体步骤为：
S231：检测是从图像的左上角点开始，依次按行和列遍历到图像中的第一个非零像素值点，记作：p(x,y)，并赋给它一个标签label，然后将与该像素点相邻的所有前景像素都压入栈中；
S232：弹出栈顶像素，赋予栈顶像素label，再将与所述栈顶像素相邻的所有前景像素都压入栈中，重复此过程，直至栈为空，便得到边缘检测的连通区域。
6.根据权利要求1所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S3的具体步骤为：
S31：根据目标识别神经网络，训练实验设备样本得到目标识别模型，再通过目标识别模型获得所有设备电极的位置坐标，其中电极种类分为两类，一种为接线电极，一种为非接线电极，将所有接线电极的坐标保存在列表P中，记作：P＝[((x0,y0),(x'0,y'0)),…,((xn,yn),(x'n,y'n))]；其中，(x0,y0)表示电极柱定位框的左上角点，(x'0,y'0)表示电极柱定位框的右下角点；
S32：遍历电极坐标列表P，从srcLineImg图像中将电极坐标分别从x和y方向进行放大，保证电极定位框能与导线相接触；
S33：将srcLineImg图像做二值化处理，根据判断条件提取srcLineImg图像的连通像素中心轴线，并循环遍历整张srcLineImg图像中的全部非零像素，得到提取的中线骨架图；
S34：遍历电极坐标列表P，从中线骨架图中将电极坐标分别从x和y方向进行放大，保证电极定位框能与导线相接触；所有接触点像素坐标记作：B＝[(xa0,yb0),(xa1,yb1)…,(xan,ybn)]；其中，(xa0,yb0)表示某个接触点B0的坐标；
S35：遍历接触点坐标列表B，将每个接触点作为导线循迹的起始点，使用广度优先搜索遍历算法遍历全部路径，再进行路径筛选，获得导线路径。
7.根据权利要求6所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S33的具体步骤为：将srcLineImg图像做二值化处理，所有非零像素值大小设置为1，再根据每个像素与周围相邻的8个像素值作为判断条件，提取整张图像连通像素的中心轴线，整个提取过程以3*3的卷积核遍历所有非零点像素展开，卷积核对应的像素矩阵表示如下：
其中，p1为中心点的像素值，默认设置为：1，表示保留像素点；当同时满足条件1或条件2时，将p1的值设置为：0，表示删除像素点；循环遍历整张图像中的全部非零像素，得到提取的中线骨架图，记作：skeletonLineImg图像。
8.根据权利要求7所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S33中的判断条件包括判断条件一和判断条件二，所述判断条件一为：
(1-1)
(1-2)pipi+1(i＝2,3,…,8)，满足pipi+1的值等于“01”的数量为1；
(1-3)p2p4p6＝0；
(1-4)p4p6p8＝0；
所述判断条件二为：
(2-1)
(2-2)pipi+1(i＝2,3,…,8)，满足pipi+1的值等于“01”的数量为1；
(2-3)p2p4p8＝0；
(2-4)p2p6p8＝0。
9.根据权利要求7所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S35进行路径筛选的筛选条件包括筛选条件一和筛选条件二，所述筛选条件一为组成路径的像素点个数是否满足设定的阈值G；所述筛选条件二为相邻像素点间坐标斜率的变化是否一致；具体包括以下步骤：
S351：统计列表R中每条路径含有的像素点个数，记作：S＝[s0,s1,…,sn],(n∈N*)，若对应的si＜G(i＝1,…,n)，则将对应位置上的索引值置为0，否则，置为1，保存索引列表记作：I；
S352：根据短距离不变性原则作为判断依据，对前后相邻的像素点坐标(xai,ybi)做斜率计算，坐标计算如公式(2)所示：
计算路径中全部像素点的坐标斜率，记作：
Ka＝[k0,k1,…,kb],(a∈0,1,…,n；b∈i,j,…,n)；
S353：结合所述筛选条件一中路径像素点个数阈值筛选出的结果，进行第一轮的路径优化选择并保留优化结果，记作：RA＝(R·IT)T；
其中，非零项代表保留的路径；假设优化后保留的路径为：RA＝[0,0，…，(B0，…，B'j),0,…(B0,…,B'n-1),0]，再遍历路径列表RA中的所有非零子元素，采取通用的动态规划算法，求解它们的最长公共子序列，两个非零子元素路径的求解如公式(3)所示；
LCS＝max{LCS(ra,rb)},(a,b∈j,…,n-1；a≠b) (3)
其中，rj和rn-1分别表示路径序列(B0，…，B'j)和(B0,…,B'n-1)；根据求得的最大公共子序列，确定路径ra和rb以及交叉点BLCS-1，再使用路径全部点的坐标斜率Ka＝[k0,k1,…,ka]和Kb＝[k0,k1,…,kb]；分别比较Ka和Kb中交叉点BLCS-1对应的索引位置LCS-1后的斜率变化情况，若持续多个邻近像素点坐标斜率相近，则选择对应的路径作为最终的导线路径。
10.根据权利要求3所述的基于梯度变换的导线循迹识别方法，其特征在于，所述步骤S21中采用的高斯滤波的卷积核大小可设置为：3*3，其中设置滤波卷积核在X轴和Y轴两个方向上的标准偏差，标准偏差大小设置为：3～5；所述步骤S24中图像轮廓筛选的条件包括：(1)轮廓点数是否满足阈值C；(2)轮廓的面积是否满足阈值S；(3)轮廓的外接矩形是否满足阈值B；(4)轮廓的宽高比是否满足阈值T。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210134424.1A CN114565929A (zh) | 2022-02-14 | 2022-02-14 | 一种基于梯度变换的导线循迹识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210134424.1A CN114565929A (zh) | 2022-02-14 | 2022-02-14 | 一种基于梯度变换的导线循迹识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565929A true CN114565929A (zh) | 2022-05-31 |
Family
ID=81713969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210134424.1A Pending CN114565929A (zh) | 2022-02-14 | 2022-02-14 | 一种基于梯度变换的导线循迹识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565929A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740550A (zh) * | 2023-08-15 | 2023-09-12 | 深圳爱莫科技有限公司 | 一种冰柜图像完整性识别方法及系统 |
| CN117934804A (zh) * | 2024-03-15 | 2024-04-26 | 深圳市森美协尔科技有限公司 | 确定晶圆是否扎针合格的方法及相关装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098163A1 (zh) * | 2019-11-18 | 2021-05-27 | 南京莱斯电子设备有限公司 | 一种基于角点的空中目标探测方法 |
-
2022
- 2022-02-14 CN CN202210134424.1A patent/CN114565929A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098163A1 (zh) * | 2019-11-18 | 2021-05-27 | 南京莱斯电子设备有限公司 | 一种基于角点的空中目标探测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 乔凯;陈健;李中国;曾磊;闫镔;: "锥束CT图像中的印刷电路板导线自动检测方法", 光学精密工程, no. 02, 15 February 2016 (2016-02-15) * |
| 刘嘉玮;李元祥;龚政;刘心刚;周拥军;: "全卷积网络电线识别方法", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740550A (zh) * | 2023-08-15 | 2023-09-12 | 深圳爱莫科技有限公司 | 一种冰柜图像完整性识别方法及系统 |
| CN116740550B (zh) * | 2023-08-15 | 2023-12-08 | 深圳爱莫科技有限公司 | 一种冰柜图像完整性识别方法及系统 |
| CN117934804A (zh) * | 2024-03-15 | 2024-04-26 | 深圳市森美协尔科技有限公司 | 确定晶圆是否扎针合格的方法及相关装置 |
| CN117934804B (zh) * | 2024-03-15 | 2024-06-04 | 深圳市森美协尔科技有限公司 | 确定晶圆是否扎针合格的方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114565929A (zh) | 一种基于梯度变换的导线循迹识别方法 | |
| CN110956081B (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
| KR20010110416A (ko) | 비디오 스트림 분류가능 심볼 고립 방법 및 시스템 | |
| WO2020133442A1 (zh) | 一种识别文本的方法及终端设备 | |
| CN110991439B (zh) | 一种基于像素级多特征联合分类的手写体字符的提取方法 | |
| CN106991303B (zh) | 一种手势验证码的识别方法及装置 | |
| CN104766076A (zh) | 一种视频图像文字的检测方法和装置 | |
| CN108235115B (zh) | 一种歌曲视频中人声区域定位的方法及终端 | |
| CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
| CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
| Jung et al. | A new approach for text segmentation using a stroke filter | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN117373058A (zh) | 一种用于小差异课堂行为的识别方法 | |
| CN110751225A (zh) | 图像分类方法、装置及存储介质 | |
| CN114170269A (zh) | 一种基于时空相关性的多目标跟踪方法、设备及存储介质 | |
| CN112215266B (zh) | 一种基于小样本学习的x光图像违禁物品检测方法 | |
| Jin et al. | Object-based video forgery detection via dual-stream networks | |
| CN111680691B (zh) | 文字检测方法、装置、电子设备和计算机可读存储介质 | |
| CN112784932A (zh) | 一种字体识别方法、装置和存储介质 | |
| CN111881914A (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN116012860B (zh) | 一种基于图像识别的教师板书设计水平诊断方法及装置 | |
| CN112580629A (zh) | 一种基于深度学习的车牌字符识别方法以及相关装置 | |
| CN112686122A (zh) | 人体及影子的检测方法、装置、电子设备、存储介质 | |
| CN117095414A (zh) | 一种基于点阵纸笔的手写识别系统及识别方法 | |
| CN110633666A (zh) | 一种基于手指颜色贴片的手势轨迹识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |