CN116863482A - 一种互感器检测方法、装置、设备及存储介质 - Google Patents
一种互感器检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116863482A CN116863482A CN202311134332.4A CN202311134332A CN116863482A CN 116863482 A CN116863482 A CN 116863482A CN 202311134332 A CN202311134332 A CN 202311134332A CN 116863482 A CN116863482 A CN 116863482A
- Authority
- CN
- China
- Prior art keywords
- transformer
- terminal
- network
- detected
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004801 process automation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001094 effect on targets Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19107—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种互感器检测方法、装置、设备及存储介质，涉及图像识别领域，包括：搭建多维度特征的文本识别网络，利用互感器铭牌图像数据集训练得到目标文本识别网络；利用目标文本识别网络识别待检测互感器以构建待检测互感器档案；获取待检测互感器原始图片，提取端子区域并确定端子中心点，根据端子中心点确定端子类型；并确定接线套筒，以及机械臂控制逻辑控制柔性控制机械臂进行检测得到端子检测结果；根据待检测互感器档案和端子检测结果生成待检测互感器的互感器检测结果。通过目标文本识别网络保障模型对文本特征的提取能力，提高模型精度，并针对互感器端子局部位置目标检测，降低环境中杂乱特征的干扰，有助于提高互感器检测精度。
Description
技术领域
本发明涉及图像识别领域，特别涉及一种互感器检测方法、装置、设备及存储介质。
背景技术
互感器是当前电力系统的重要组成部分。随着我国电力系统的不断发展，对于各类互感器的需求也不断增加。国家电网和南方电网发布了三种电压规格的互感器型式规范，并研制了专用工装夹具，能够实现互感器的自动检验检测，但是国家电网和南方电网以外的市场，没有统一的型式规范，非标准互感器包括配网用10KV、20KV、35KV电压互感器和电流互感器，接线端包括一次绕组端、二次绕组端，其中一次绕组端2线制，二次绕组端4线制，非标互感器超过30多种。检测时由用户把互感器送到计量中心，由人工录入档案并通过手推车送到检测台检测，整个过程手工拆接线。
为了更科学的管理互感器设备，需要对互感器各种型号及规格做合理的统计。当前互感器各类信息的识别和统计都是通过人工完成的，这种方式效率低下、成本高并且容易出错。并且由于互感器工作环境恶劣，铭牌信息与互感器本体对比不明显，并且，铭牌数据中存在字体大小不同、中英文及特殊符号混杂的情况。这就导致档案信息采用纸质人工填写时，人工录入档案工作量大、容易出错，用户领用时不容易查找。并且互感器规格型号、外形尺寸、接线位置、螺丝钉方向等不统一，需人工接线、拧螺丝，线缆凌乱，检测效率低。因此，如何基于互感器的文本识别和不同型号的检测提供一种准确的互感器检测方案，是当前亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种互感器检测方法、装置、设备及存储介质，通过目标文本识别网络确保互感器文本特征的提取能力，从而提高整个文本识别模型的精度，并且针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，有助于提升分割精度，更准确地检测对应的互感器。其具体方案如下：
第一方面，本申请提供了一种互感器检测方法，包括：
获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络；
利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数；
获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型；
根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果；
根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。
可选的，所述搭建基于多维度特征的初始互感器文本识别网络，包括：
利用预设多层卷积神经网络对所述互感器铭牌图像数据集中的互感器铭牌图像进行下采样操作，生成若干组不同感受野维度的特征图，并通过预设残差网络基于所述若干组不同感受野维度的特征图搭建多维度特征提取网络；
基于自注意力机制构建transformer网络，并基于所述transformer网络和所述多维度特征提取网络进行级联，以构建所述初始文本识别网络；所述transformer网络包括位置编码模块、多头注意力模块、全连接卷积神经网络模块以及注意力数值计算模块。
可选的，所述通过预设定位算法提取所述原始图片中的端子区域，包括：
通过目标YOLOv5模型检测所述原始图片中的互感器端子的位置，并利用Canny边缘检测算法标注出所述互感器端子的最小外接矩形，以提取所述原始图片中的外轮廓针区域作为所述端子区域。
可选的，所述通过目标YOLOv5模型检测所述原始图片中的互感器端子的位置之前，还包括：
从预设互感器图像数据集中随机选取若干张互感器图像；
基于马赛克数据增强对所述若干张互感器图像进行拼接得到目标互感器图像，以基于所述目标互感器图像训练初始YOLOv5模型得到所述目标YOLOv5模型。
可选的，所述确定所述端子区域中的端子中心点，包括：
利用预设Deeplabv3语义分割网络对所述互感器端子的所述端子区域中的所述最小外接矩形内的局部像素进行分割操作，以对所述互感器端子进行像素级别定位确定所述互感器端子的像素区域；
根据所述像素区域确定所述互感器端子的所述端子中心点；所述预设Deeplabv3语义分割网络包括用于特征提取以及下采样的编码器部件和用于信息还原的解码器部件。
可选的，所述利用预设Deeplabv3语义分割网络对所述互感器端子的所述最小外接矩形内的局部像素进行分割操作，包括：
利用所述编码器部件中的深度神经网络和空间金字塔池化模块提取所述局部像素的高维特征与低维特征；
利用所述解码器部件将所述高维特征和所述低维特征进行融合，并进行上采样，以根据上采样后的特征进行像素级别的分类操作得到分割结果；
相应的，所述对所述互感器端子进行像素级别定位确定所述互感器端子的像素区域，包括：
对所述分割结果进行二值化处理得到二值化图像，并根据预设过滤规则过滤所述二值化图像中的背景特征，以确定所述互感器端子所在的所述像素区域。
可选的，所述基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，包括：
确定所述预设柔性控制机械臂的机械臂关节空间，并基于高效全局优化算法在所述机械臂关节空间建立局部近似梯度场；
基于所述局部近似梯度场利用B样条曲线设置所述预设柔性控制机械臂的关节曲线，并基于所述关节曲线控制所述预设柔性控制机械臂对所述互感器端子进行检测。
第二方面，本申请提供了一种互感器检测装置，包括：
网络训练模块，用于获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络；
档案构建模块，用于利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数；
端子确定模块，用于获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型；
端子检测模块，用于根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果；
结果生成模块，用于根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。
第三方面，本申请提供了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述的互感器检测方法。
第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的互感器检测方法。
本申请获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络；利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数；获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型；根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果；根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。本申请可以实现互感器铭牌识别、自动建档、互感器检测全过程自动化，以解决人工易出错、工作量大、检测效率低的问题，通过目标文本识别网络确保互感器文本特征的提取能力，从而提高整个文本识别模型的精度，并且针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，有助于提升分割精度，更准确的估计出互感器端子的中心点位置以进行互感器检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种互感器检测方法流程图；
图2为本申请提供的一种基于深度学习的互感器铭牌文本识别模型整体结构示意图；
图3为本申请提供的一种文本识别网络像素transformer_units结构细节示意图；
图4为本申请提供的一种基于深度学习的互感器铭牌文本识别方法流程示意图；
图5为本申请提供的一种接线套筒示意图；
图6为本申请提供的一种接线套筒内部凸轮块示意图；
图7为本申请提供的一种凸轮固定销钉固定示意图；
图8为本申请提供的一种机械臂接线、拆线流程示意图；
图9为本申请提供的一种互感器端子检测方法流程图；
图10为本申请提供的一种YOLOv5目标检测网络示意图；
图11为本申请提供的一种Deeplabv3网络整体结构图；
图12为本申请提供的一种基于互感器端子中心点进行接线的流程图；
图13为本申请提供的一种互感器自动化检定流程图；
图14为本申请提供的一种互感器检测装置结构示意图；
图15为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
非标准互感器检测时由用户把互感器送到计量中心，由人工录入档案并通过手推车送到检测台检测，整个过程手工拆接线，效率低下、成本高并且容易出错。并且由于互感器工作环境恶劣，铭牌信息与互感器本体对比不明显，导致档案信息采用纸质人工填写时容易出错。本申请可以实现互感器铭牌识别、自动建档、互感器检测全过程自动化，以解决人工易出错、工作量大、检测效率低的问题，针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，更准确的进行互感器检测。
参见图1所示，本发明实施例公开了一种互感器检测方法，包括：
步骤S11、获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络。
本实施例中首先需要获取互感器铭牌图像构建互感器铭牌图像数据集，可以理解的是，可以根据公共场景数据集进行预处理，以及按照比例生成互感器铭牌图像数据集的训练和测试数据，本实施例中可以采用ICDAR2017WLT和ICDAR2019WLT的公共场景数据集，例如，可以收集目标电网公司管辖范围内的96张各种型号互感器的铭牌图像。上述公共场景数据集为已经公开的图像中包含铭牌相关信息的数据集，具体包含真实场景中各种标签、路牌以及店铺招牌等的文本区域裁剪图像，对于该数据集的预处理操作包含图片尺寸的裁剪、图像标签的格式转换及特征工程等操作，使得上述两个公共数据集符合模型的对于图片尺寸及标签格式的需求，同时区分训练集和测试集。
上述互感器铭牌图像数据集为根据文本识别网络的应用场景采集、制作、标注的数据集。需要指出的是，在进行互感器铭牌图像数据集的训练数据的生成时，可以首先根据互感器铭牌文本识别需求拍摄制作数据集，并且根据铭牌文本的语义对图像中包含的文本分区域标定，在进行标定时，具体包括使用labelme工具标注互感器图像中不同互感器参数指标的文本框。标注完成的文件保存为json（JavaScript Object Notation, JS对象简谱）格式，用于后续的模型训练及测试。同时，可以根据文本检测模型输入图像的尺寸需求对采集到的图像做裁剪得到互感器铭牌图像数据集。这样一来，可以通过对上述数据集进行预处理后训练初始文本识别网络，具体包括：数据集的特征工程、数据增强以及区分训练集和测试集三部分。特征工程是根据labelme工具生成的标签文件对文本区域的位置信息向量化，提高模型训练过程的计算效率。数据增强是将做完特征工程的数据按照一定变换规则做扩展，增加训练数据的数量，从而减少模型训练过程中的过拟合现象。常用的数据增强手段有旋转、裁剪、调整亮度、加入高斯噪声等。
确定互感器铭牌图像数据集后，需要搭建基于多维度特征的初始互感器文本识别网络，首先利用预设多层卷积神经网络对互感器铭牌图像数据集中的互感器铭牌图像进行下采样操作，生成若干组不同感受野维度的特征图，并通过预设残差网络基于若干组不同感受野维度的特征图搭建多维度特征提取网络。然后基于自注意力机制构建transformer网络，并基于transformer网络和多维度特征提取网络进行级联，以构建初始文本识别网络。上述transformer网络包括位置编码模块、多头注意力模块、全连接卷积神经网络模块以及注意力数值计算模块。
需要指出的是，本实施例可以基于ABINet网络（autonomous,bidirectional anditerative language modeling）的结构，采用ResNet18网络（Residual Network-18，残差网络）作为主干网络提取互感器铭牌图像的特征，并通过编码、解码及计算的方法结合词语的位置信息对文本进行识别。为了更好的解决互感器铭牌中不同尺寸以及不同语义文本区域的准确识别和划分，本实施例采用ResNet-18网络结构用于互感器铭牌图片特征的提取。如图2所示，上述ResNet-18网络采用四层下采样结构，其中四层下采样网络通过卷积层提取输入互感器铭牌图像不同维度的特征，再通过残差模块保留一定的上层特征信息，使最后得到的特征图具有不同维度的特征信息。通过这种方式使ResNet-18最终得到的特征图具备多个维度及感受野的特征，提高了特征图对不同尺寸文本区域的表示能力。为后续position + transformer_units网络的分类操作提供了更加丰富的特征。
搭建多维度特征提取的主干网络后，可以搭建基于多维度特征的互感器文本识别网络。本实施例的基于多维度特征的互感器文本识别网络中，结合上述ResNet-18主干网络、位置编码模块（position encoder）、多头注意力模块（multi-attention）、全连接网络（FFN，Feed-Forward Network）以及注意力数值计算模块（calculate attention）构成基于多维度特征的互感器文本区域识别网络，如图2所示，位置编码模块通过位置编码矩阵对从ResNet-18网络得到的特征图进行位置编码，位置编码模块为特征图中每一个像素编码上各自的位置信息。上述多头注意力模块、全连接卷积神经网络以及注意力数值计算模块共同组成了transformer_units网络模块。对输入的经过位置编码后的矩阵，多头注意力模块使用多组，/>，/>得到多组Query，Keys，Values，然后每组分别计算得到一个Z矩阵，最后将得到的多个Z矩阵进行拼接，本实施例中使用了8组不同的/>，/>，/>。
需要指出的是，上述全连接卷积神经网络是一个两层的神经网络，先进行一次线性变换（Linear层），然后Act非线性层（ReLU，Rectified Linear Unit，非线性激活函数），再进行一次线性变换（Linear层），全连接网络的公式如下：
；
其中，/>为第一层全连接网络的权重和偏置，/>，/>为第二层全连接网络的权重和偏置，x为该网络的输入。
最后由注意力数值计算模块来通过Q，K，V值计算attention值；位置编码后得到的Q向量维度为（N，T，E），编解码后的特征图K向量维度为（N，E，H，W），经过flatten（2,3）函数后，K向量的维度变为（N，E，（H*W）），将Q向量和K向量矩阵相乘运算后得到一个维度为（N，T，（H*W））的三维向量，这个向量表示输入序列每个单词之间的相关性得分att_scores。以上N为网络训练时的batch size，T为网络设置的max length，这里设置为30；E为当前网络通道数；H和W分别为特征图的高和宽，之后对输入序列的每个单词之间的相关性得分进行归一化：
；
其中K为key，表示被查询的词向量，dk代表K的维度，除以K的维度的平方根，可以使训练时的梯度保持稳定。随后通过softmax函数，将每个单词之间的得分向量转化成[0,1]之间的概率分布：
。
基于上述模块，图3为本实施例中互感器铭牌文本识别网络中transformer_units结构细节示意图。该部分网络分为两部分，第一部分为多头注意力Multi-attention模块；第二部分为全连接卷积神经网络FFN。二者共同为主干网络输出并经过位置编码的特征图进行transformer编码，编码结果将送入后续的注意力数值计算模块计算单词之间的attention值。
这样一来，如图4所示，搭建基于多维度特征的初始文本识别网络，包含position+ transformer_units网络与多维度特征提取网络的级联。并使用数据集对初始文本识别网络进行预训练得到目标文本识别网络，有利于提高文本识别网络对互感器铭牌特征的敏感性，能够准确的识别出文本区域中的文本，而且可以根据词语的位置信息对句子中识别有误的词语进行纠正，为后续不同语义内容的文本识别、整理及归档做了充分的铺垫。
基于上述文本识别网络，本实施例的基于深度学习的互感器铭牌文本区域识别方法采用多特征提取以及单词关联编码的方法，极大限度的保留不同维度（感受野）的特征，为不同尺寸大小的文本区域以及特殊字符的识别提供丰富的特征，从而提升了模型的识别精度。并且模型在保有单词各自位置信息的同时对单词之间的attention值进行了计算，能有效的通过单词之间的关系密切程度对识别有误的句子进行纠错。基于上述原因，本发明提出的文本识别网络在识别效率和识别精度上高于现有文本识别的方法。
步骤S12、利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数。
本实施例中，可以利用上述目标文本识别网络识别待检测互感器得到互感器类型和互感器端子参数等互感器参数信息，并根据识别出的结果构建待检测互感器档案，以便后续基于待检测互感器档案生成易于查询的互感器检测结果。
步骤S13、获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型。
本实施例中，获取待检测互感器的原始图片后可以通过预设定位算法提取原始图片中的互感器端子的端子区域，并确定端子区域中的端子中心点，以根据端子中心点确定待检测互感器中互感器端子的端子类型。
步骤S14、根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果。
本实施例中可以根据端子类型确定待检测互感器对应的接线套筒，并根据端子中心点确定互感器端子对应的机械臂控制逻辑，以基于机械臂控制逻辑控制预设柔性控制机械臂对互感器端子进行检测，得到端子检测结果。需要指出的是，本实施例中的机械臂为一套具有柔性控制的工装夹具的机械臂。将具有柔性控制的工装夹具和接线套筒，应用于“机械臂接线、接线验证”、“机械臂拆线、拆线验证”两个工序，在插拔电压和电流接线套筒时，可以有效降低夹具对套筒的冲击、摩擦，并增加套筒对接线端子的接触强度，提高了接线成功率，从而大幅提升了拆装工序的可靠性。
具体的，上述预设柔性控制机械臂具备带有弹簧的被动柔顺夹爪指端，在夹爪夹取插拔套筒进行插拔检测时，通过带有被动柔顺的指端去缓冲接触时的冲击，避免套筒出现弯折和损坏。如图5、图6所示，底部套筒组件带有三个均匀分布的凸轮，在插拔时通过旋转使得凸轮凸轮机构内切圆区域直径在15mm左右，通过旋转，使得内切圆直径小于12mm，如图7所示，通过按压套筒组件，使得凸轮固定销钉卡在滑槽一侧选型孔内固定，此时套筒内部凸轮块锁止，夹住螺丝，检测完成后先提拉套筒组件，使得固定销钉解锁，解锁后旋转套筒使凸轮内切圆变大，取出套筒组件，完成一次检测过程。
并且上述基于机械臂控制逻辑控制预设柔性控制机械臂对互感器端子进行检测的过程中，首先确定预设柔性控制机械臂的机械臂关节空间，并基于高效全局优化算法在机械臂关节空间建立局部近似梯度场；然后基于局部近似梯度场利用B样条曲线设置预设柔性控制机械臂的关节曲线，并基于关节曲线控制预设柔性控制机械臂对互感器端子进行检测。具体的，本实施例提出基于机器视觉定位技术的六自由度的轨迹平滑移动装配优化算法，为了获取装配接线端子中心像素坐标，首先通过工业相机对工件拍摄获取原始图片，通过改进的YOLOv5（You Only Look Once version 5）识别与定位算法将端子的外轮廓针区域提取出来，然后利用Canny边缘检测提取最小外接矩形框轮廓，最后求取接线端子的中心坐标作为六自由度机械臂的定位目标，可以理解的是，生成的机械臂轨迹必须保证角速度和角加速度的物理约束。这样一来，针对现有机械臂轨迹优化算法计算时间长的问题，将工作空间中的EGO（Efficient Global Optimization，高效全局优化）算法引入到机械臂关节空间，在关节空间中建立局部近似梯度场，利用B样条曲线表示关节轨迹，通过B样条曲线的凸包特性对曲线控制点进行非线性优化，从而大幅提高了轨迹优化的效率。
这样一来，如图8所示，调用机械臂运行轨迹规划和姿态调整算法，通过机械臂通讯接口控制机械臂抓取合适的接线套筒，通过规划的运行轨迹到达接线柱附近，最后调整夹具和套筒的姿态进行接线，拆线。避免工装夹具的定位不准而出现机械损坏，可以有效降低人工调教成本，省去了设备周期性重新调教工作。
步骤S15、根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。
本实施例中，根据上述待检测互感器档案中的互感器类型和互感器端子参数，以及端子检测结果生成待检测互感器的互感器检测结果，以便更加直观地查询不同互感器对应的检测结果。
通过上述技术方案，本实施例搭建基于多维度特征的初始文本识别网络，包含position + transformer_units网络与多维度特征提取网络的级联，并使用数据集对初始文本识别网络进行预训练得到目标文本识别网络，有利于提高文本识别网络对互感器铭牌特征的敏感性，能够准确的识别出文本区域中的文本。并且调用具有柔性控制的机械臂运行轨迹规划和姿态调整算法，通过机械臂通讯接口控制机械臂抓取合适的接线套筒，通过规划的运行轨迹到达接线柱附近，最后调整夹具和套筒的姿态进行接线，拆线，避免工装夹具的定位不准而出现机械损坏，可以有效降低人工调教成本，省去了设备周期性重新调教工作。
基于上一实施例可知，本申请可以基于互感器铭牌文本识别得到的互感器档案和互感器端子的检测结果构建互感器检测结果，接下来，本实施例中将对互感器端子的检测过程进行详细地阐述。参见图9所示，本发明实施例公开了一种互感器端子检测方法，包括：
步骤S21、从预设互感器图像数据集中随机选取若干张互感器图像；基于马赛克数据增强对所述若干张互感器图像进行拼接得到目标互感器图像，以基于所述目标互感器图像训练初始YOLOv5模型得到目标YOLOv5模型。
本实施例中，基于YOLOv5实现互感器端子识别与定位，本实施例中采用的YOLOv5模型整体分为四个部分，分别是输入端（Iuput），主干网络（Backbone），瓶颈网络（Neck），以及预测头部（Head）。需要指出的是，在YOLOv5模型中，输入端采用Mosaic数据增强和自适应图像缩放方法对输入数据进行调整以使每次训练过程中输入到模型的数据不同从而增加模型的泛华能力。Mosaic数据增强从数据集中随机选取四张图片，并对其进行随机的旋转、裁剪与缩放等操作，将操作后的四张图片重新融合为一张图片输入网络模型中。由于本实施例中互感器端子尺寸较小，其特征在经过多次卷积之后会不断弱化，针对这个问题，基于数据增强后的目标互感器图像训练初始YOLOv5模型得到目标YOLOv5模型，Mosaic数据增强提升了小目标物体的占比数量，增强了模型对小尺寸目标物体检测的能力。
步骤S22、获取待检测互感器的原始图片，通过所述目标YOLOv5模型检测所述原始图片中的互感器端子的位置，并利用Canny边缘检测算法标注出所述互感器端子的最小外接矩形，以提取所述原始图片中的外轮廓针区域作为端子区域。
本实施例中，为了针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，有助于提升分割精度，更准确的估计出互感器端子的中心点位置。首先使用YOLOv5目标检测网络标注出互感器端子的位置进行粗定位操作。具体的，获取待检测互感器的原始图片，通过目标YOLOv5模型检测原始图片中的互感器端子的位置，并利用Canny边缘检测算法标注出互感器端子的最小外接矩形，以提取原始图片中的外轮廓针区域作为端子区域。
如图10所示，上述YOLOv5模型整体分为四个部分，分别是输入端（Iuput），主干网络（Backbone），瓶颈网络（Neck），以及预测头部（Head）。主干（Backbone）网络包含大量卷积运算，提取出入图像的特征。此外，主干网络中Focus结构对特征图进行切片和分割后，将特征的通道维度增加为原理的4倍，通过这种方法在不经过下采样损失特征的情况提升了特征图的感受野和特征表征能力。CSP（Common Spatial Pattern，共空间模式算法）模块是主干网络中特征提取的核心环节，其特征提取策略包含两部分：一部分采用带有残差结构的网络提取特征；另一部分仅适用普通的卷积操作，两部分特征通过Concat拼接后得到最终的特征图。CSP模块可以有效缓解由于网络深度增加而导致的梯度消失问题。最后，在主干中采用的空间金字塔池化（SPP，Spatial Pyramid Pooling），采用不同的卷积核对特征图做池化操作，增强了对不同尺寸目标的检测效果。瓶颈网络（Neck），是一个具有自下而上和自上而下特征融合路径的模块。该模块对主干网络提取的不同维度的特征进行维度的调整和融合操作，将高层的语义信息通过上采样的方式传递到低层，同时，将底层包含丰富细粒度信息的特征的传递到高层，增强了特征图的表征能力，提升模型对多尺度目标的检测效果。预测头部（Head）网络，使用瓶颈网络融合后的特征做最终的位置预测和类别估计，在YOLOv5网络中，预测头部由三部分组成，分别对应不同尺寸的特征，并且自适应的预测大、中、小尺寸的目标。进一步提升了模型对于不同尺寸物体预测的鲁棒性。基于上述YOLOv5的网络结构，以及其对多尺寸目标准确的识别能力，改善了在位置随机场景下互感器端子的识别效果。
在进行互感器端子识别后，可以利用Canny边缘检测算法标注出互感器端子的最小外接矩形，以提取原始图片中的外轮廓针区域作为端子区域。
步骤S23、利用预设Deeplabv3语义分割网络对所述互感器端子的所述端子区域中的所述最小外接矩形内的局部像素进行分割操作，以对所述互感器端子进行像素级别定位确定所述互感器端子的像素区域；根据所述像素区域确定所述互感器端子的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型。
本实施例中，可以理解的是，端子的准确轮廓信息并不明确，难以进一步准确的计算互感器端子的中心点位置。因此，可以利用预设Deeplabv3语义分割网络针对互感器端子区域做像素级别的图像分割操作，尽可能精细的识别互感器端子的像素区域。然后根据分割后得到的像素区域，计算出互感器端子的几何中心点。上述预设Deeplabv3语义分割网络包括用于特征提取以及下采样的编码器部件和用于信息还原的解码器部件。
具体的，利用预设Deeplabv3语义分割网络对互感器端子的最小外接矩形内的局部像素进行分割操作时，首先利用编码器部件中的深度神经网络和空间金字塔池化模块提取局部像素的高维特征与低维特征，然后利用解码器部件将高维特征和低维特征进行融合，并进行上采样，以根据上采样后的特征进行像素级别的分类操作得到分割结果，并对分割结果进行二值化处理得到二值化图像，根据预设过滤规则过滤二值化图像中的背景特征，以确定互感器端子所在的像素区域。然后根据像素区域确定互感器端子的端子中心点，以根据端子中心点确定待检测互感器中互感器端子的端子类型。
如图11所示，本实施例使用Deeplabv3语义分割网络对互感器端子的局部区域执行分割操作。上述Deeplabv3语义分割网络整体结构分为两部分，分别是用于特征提取以及下采样的编码器部分以及用于目标细节以及维度信息还原的解码器部分。编码器的主体是带有空洞卷积的深度神经网络（Atrous Conv）以及带有空洞卷积的空间金字塔池化模块。解码器主要执行上采样操作，将编码器提取的高维特征与低维特征融合后，上采样到原图尺寸，根据上采样后的特征进行像素级别的分类操作，最终得到分割结果。对得到的分割结果做二值化处理，过滤掉不相关的背景特征，突出互感器端子所在的区域。然后根据互感器端子的像素区域，计算端子中心点的位置。使用端子中心点的位置作为机械臂的目标位置。
基于上述步骤，如图12所示，本实施例针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，有助于提升分割精度，更准确的估计出互感器端子的中心点位置，并且使用YOLOv5目标检测网络标注出互感器端子的位置进行粗定位操作后，通过分割网络使用粗定位后的区域分割出端子的精确位置，对互感器位置的鲁棒性更强。
步骤S24、根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果。
其中，关于上述步骤S24更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
如图13所示，结合上一实施例，本实施例提出一种基于机器视觉的两阶段的互感器端子中心位置检测方法。在确定互感器的铭牌识别结果后，进行互感器端子的检测，第一阶段，使用YOLOv5算法检测互感器端子的位置，标注出最小外接矩形，对互感器端子进行粗定位；第二阶段，使用Deeplabv3语义分割算法，对互感器端子最小外接矩形内的局部像素做分割操作，进一步精确的完成对互感器端子的像素级别定位。最后根据互感器的像素区域计算出互感器端子的集合中心点，引导机器人完成接线、拆线操作。针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，有助于提升分割精度，然后更准确的估计出互感器端子的中心点位置，确定互感器位置时的鲁棒性更强。
参见图14所示，本申请实施例还公开了一种互感器检测装置，包括：
网络训练模块11，用于获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络；
档案构建模块12，用于利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数；
端子确定模块13，用于获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型；
端子检测模块14，用于根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果；
结果生成模块15，用于根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。
本实施例获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用互感器铭牌图像数据集训练初始文本识别网络得到目标文本识别网络；利用目标文本识别网络识别待检测互感器得到识别结果，并根据识别结果构建待检测互感器档案；获取待检测互感器的原始图片，通过预设定位算法提取原始图片中的互感器端子的端子区域，并确定端子区域中的端子中心点，以根据端子中心点确定待检测互感器中互感器端子的端子类型；根据端子类型确定待检测互感器对应的接线套筒，并根据端子中心点确定互感器端子对应的机械臂控制逻辑，以基于机械臂控制逻辑控制预设柔性控制机械臂对互感器端子进行检测，得到端子检测结果；根据待检测互感器档案中的互感器类型和互感器端子参数，以及端子检测结果生成待检测互感器的互感器检测结果。这样一来，可以实现互感器铭牌识别、自动建档、互感器检测全过程自动化，通过目标文本识别网络确保互感器文本特征的提取能力，从而提高整个文本识别模型的精度，并且针对互感器端子的局部位置做目标检测，降低了环境中杂乱特征的干扰，有助于提升分割精度，更准确的估计出互感器端子的中心点位置以进行互感器检测。
在一些具体实施例中，所述网络训练模块11，具体包括：
网络搭建单元，用于利用预设多层卷积神经网络对所述互感器铭牌图像数据集中的互感器铭牌图像进行下采样操作，生成若干组不同感受野维度的特征图，并通过预设残差网络基于所述若干组不同感受野维度的特征图搭建多维度特征提取网络；
网络级联单元，用于基于自注意力机制构建transformer网络，并基于所述transformer网络和所述多维度特征提取网络进行级联，以构建所述初始文本识别网络；所述transformer网络包括位置编码模块、多头注意力模块、全连接卷积神经网络模块以及注意力数值计算模块。
在一些具体实施例中，所述端子确定模块13，具体包括：
端子检测单元，用于通过目标YOLOv5模型检测所述原始图片中的互感器端子的位置，并利用Canny边缘检测算法标注出所述互感器端子的最小外接矩形，以提取所述原始图片中的外轮廓针区域作为所述端子区域。
在一些具体实施例中，所述端子确定模块13，还包括：
图像选取单元，用于从预设互感器图像数据集中随机选取若干张互感器图像；
数据增强单元，用于基于马赛克数据增强对所述若干张互感器图像进行拼接得到目标互感器图像，以基于所述目标互感器图像训练初始YOLOv5模型得到所述目标YOLOv5模型。
在一些具体实施例中，所述端子确定模块13，具体包括：
端子定位子模块，用于利用预设Deeplabv3语义分割网络对所述互感器端子的所述端子区域中的所述最小外接矩形内的局部像素进行分割操作，以对所述互感器端子进行像素级别定位确定所述互感器端子的像素区域；
中心点确定单元，用于根据所述像素区域确定所述互感器端子的所述端子中心点；所述预设Deeplabv3语义分割网络包括用于特征提取以及下采样的编码器部件和用于信息还原的解码器部件。
在一些具体实施例中，所述端子定位子模块，具体包括：
特征提取单元，用于利用所述编码器部件中的深度神经网络和空间金字塔池化模块提取所述局部像素的高维特征与低维特征；
特征融合单元，用于利用所述解码器部件将所述高维特征和所述低维特征进行融合，并进行上采样，以根据上采样后的特征进行像素级别的分类操作得到分割结果；
特征过滤单元，用于对所述分割结果进行二值化处理得到二值化图像，并根据预设过滤规则过滤所述二值化图像中的背景特征，以确定所述互感器端子所在的所述像素区域。
在一些具体实施例中，所述端子检测模块14，具体包括：
空间确定单元，用于确定所述预设柔性控制机械臂的机械臂关节空间，并基于高效全局优化算法在所述机械臂关节空间建立局部近似梯度场；
互感器检测单元，用于基于所述局部近似梯度场利用B样条曲线设置所述预设柔性控制机械臂的关节曲线，并基于所述关节曲线控制所述预设柔性控制机械臂对所述互感器端子进行检测。
进一步的，本申请实施例还公开了一种电子设备，图15是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图15为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的互感器检测方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的互感器检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的互感器检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种互感器检测方法，其特征在于，包括：
获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络；
利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数；
获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型；
根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果；
根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。
2.根据权利要求1所述的互感器检测方法，其特征在于，所述搭建基于多维度特征的初始互感器文本识别网络，包括：
利用预设多层卷积神经网络对所述互感器铭牌图像数据集中的互感器铭牌图像进行下采样操作，生成若干组不同感受野维度的特征图，并通过预设残差网络基于所述若干组不同感受野维度的特征图搭建多维度特征提取网络；
基于自注意力机制构建transformer网络，并基于所述transformer网络和所述多维度特征提取网络进行级联，以构建所述初始文本识别网络；所述transformer网络包括位置编码模块、多头注意力模块、全连接卷积神经网络模块以及注意力数值计算模块。
3.根据权利要求1所述的互感器检测方法，其特征在于，所述通过预设定位算法提取所述原始图片中的端子区域，包括：
通过目标YOLOv5模型检测所述原始图片中的互感器端子的位置，并利用Canny边缘检测算法标注出所述互感器端子的最小外接矩形，以提取所述原始图片中的外轮廓针区域作为所述端子区域。
4.根据权利要求3所述的互感器检测方法，其特征在于，所述通过目标YOLOv5模型检测所述原始图片中的互感器端子的位置之前，还包括：
从预设互感器图像数据集中随机选取若干张互感器图像；
基于马赛克数据增强对所述若干张互感器图像进行拼接得到目标互感器图像，以基于所述目标互感器图像训练初始YOLOv5模型得到所述目标YOLOv5模型。
5.根据权利要求3所述的互感器检测方法，其特征在于，所述确定所述端子区域中的端子中心点，包括：
利用预设Deeplabv3语义分割网络对所述互感器端子的所述端子区域中的所述最小外接矩形内的局部像素进行分割操作，以对所述互感器端子进行像素级别定位确定所述互感器端子的像素区域；
根据所述像素区域确定所述互感器端子的所述端子中心点；所述预设Deeplabv3语义分割网络包括用于特征提取以及下采样的编码器部件和用于信息还原的解码器部件。
6.根据权利要求5所述的互感器检测方法，其特征在于，所述利用预设Deeplabv3语义分割网络对所述互感器端子的所述最小外接矩形内的局部像素进行分割操作，包括：
利用所述编码器部件中的深度神经网络和空间金字塔池化模块提取所述局部像素的高维特征与低维特征；
利用所述解码器部件将所述高维特征和所述低维特征进行融合，并进行上采样，以根据上采样后的特征进行像素级别的分类操作得到分割结果；
相应的，所述对所述互感器端子进行像素级别定位确定所述互感器端子的像素区域，包括：
对所述分割结果进行二值化处理得到二值化图像，并根据预设过滤规则过滤所述二值化图像中的背景特征，以确定所述互感器端子所在的所述像素区域。
7.根据权利要求1至6任一项所述的互感器检测方法，其特征在于，所述基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，包括：
确定所述预设柔性控制机械臂的机械臂关节空间，并基于高效全局优化算法在所述机械臂关节空间建立局部近似梯度场；
基于所述局部近似梯度场利用B样条曲线设置所述预设柔性控制机械臂的关节曲线，并基于所述关节曲线控制所述预设柔性控制机械臂对所述互感器端子进行检测。
8.一种互感器检测装置，其特征在于，包括：
网络训练模块，用于获取互感器铭牌图像构建互感器铭牌图像数据集，并搭建基于多维度特征的初始文本识别网络，利用所述互感器铭牌图像数据集训练所述初始文本识别网络得到目标文本识别网络；
档案构建模块，用于利用所述目标文本识别网络识别待检测互感器得到识别结果，并根据所述识别结果构建待检测互感器档案；所述识别结果包括互感器类型和互感器端子参数；
端子确定模块，用于获取所述待检测互感器的原始图片，通过预设定位算法提取所述原始图片中的互感器端子的端子区域，并确定所述端子区域中的端子中心点，以根据所述端子中心点确定所述待检测互感器中互感器端子的端子类型；
端子检测模块，用于根据所述端子类型确定所述待检测互感器对应的接线套筒，并根据所述端子中心点确定所述互感器端子对应的机械臂控制逻辑，以基于所述机械臂控制逻辑控制预设柔性控制机械臂对所述互感器端子进行检测，得到端子检测结果；
结果生成模块，用于根据所述待检测互感器档案中的所述互感器类型和所述互感器端子参数，以及所述端子检测结果生成所述待检测互感器的互感器检测结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的互感器检测方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的互感器检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311134332.4A CN116863482B (zh) | 2023-09-05 | 2023-09-05 | 一种互感器检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311134332.4A CN116863482B (zh) | 2023-09-05 | 2023-09-05 | 一种互感器检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863482A true CN116863482A (zh) | 2023-10-10 |
| CN116863482B CN116863482B (zh) | 2023-12-19 |
Family
ID=88219511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311134332.4A Active CN116863482B (zh) | 2023-09-05 | 2023-09-05 | 一种互感器检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863482B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107271728A (zh) * | 2017-06-09 | 2017-10-20 | 国网上海市电力公司 | 一种电压互感器自动接线装置 |
| CN108549893A (zh) * | 2018-04-04 | 2018-09-18 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110261807A (zh) * | 2019-06-06 | 2019-09-20 | 广州供电局有限公司 | 互感器检测系统、互感器检测方法及装置 |
| CN112260036A (zh) * | 2020-10-10 | 2021-01-22 | 山东电力研究院 | 一种配电变压器检测自动接线装置、机器人及方法 |
| CN112508015A (zh) * | 2020-12-15 | 2021-03-16 | 山东大学 | 一种铭牌识别方法、计算机设备、存储介质 |
| CN113378838A (zh) * | 2021-06-30 | 2021-09-10 | 北京邮电大学 | 一种基于深度学习的互感器铭牌文本区域检测方法 |
| CN113837168A (zh) * | 2021-09-22 | 2021-12-24 | 易联众智鼎(厦门)科技有限公司 | 一种图像文本检测与ocr识别方法、装置及存储介质 |
| CN114581654A (zh) * | 2022-03-09 | 2022-06-03 | 国网四川省电力公司营销服务中心 | 一种基于互感器状态监测方法及装置 |
| CN115070778A (zh) * | 2022-08-12 | 2022-09-20 | 中国电力科学研究院有限公司 | 一种用于电流互感器带电校准的机械臂控制方法及系统 |
| CN115310505A (zh) * | 2021-12-10 | 2022-11-08 | 中国电力科学研究院有限公司 | 一种用于互感器二次回路接线端子的自动识别方法及系统 |
| CN115857524A (zh) * | 2022-11-25 | 2023-03-28 | 哈尔滨工业大学 | 复杂环境下六足机器人的人机共融智能运动规划方法 |
| CN116630602A (zh) * | 2023-05-30 | 2023-08-22 | 大连民族大学 | 一种基于改进YOLOv5算法的机械臂抓取目标物体检测方法 |
-
2023
- 2023-09-05 CN CN202311134332.4A patent/CN116863482B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107271728A (zh) * | 2017-06-09 | 2017-10-20 | 国网上海市电力公司 | 一种电压互感器自动接线装置 |
| CN108549893A (zh) * | 2018-04-04 | 2018-09-18 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110261807A (zh) * | 2019-06-06 | 2019-09-20 | 广州供电局有限公司 | 互感器检测系统、互感器检测方法及装置 |
| CN112260036A (zh) * | 2020-10-10 | 2021-01-22 | 山东电力研究院 | 一种配电变压器检测自动接线装置、机器人及方法 |
| CN112508015A (zh) * | 2020-12-15 | 2021-03-16 | 山东大学 | 一种铭牌识别方法、计算机设备、存储介质 |
| CN113378838A (zh) * | 2021-06-30 | 2021-09-10 | 北京邮电大学 | 一种基于深度学习的互感器铭牌文本区域检测方法 |
| CN113837168A (zh) * | 2021-09-22 | 2021-12-24 | 易联众智鼎(厦门)科技有限公司 | 一种图像文本检测与ocr识别方法、装置及存储介质 |
| CN115310505A (zh) * | 2021-12-10 | 2022-11-08 | 中国电力科学研究院有限公司 | 一种用于互感器二次回路接线端子的自动识别方法及系统 |
| CN114581654A (zh) * | 2022-03-09 | 2022-06-03 | 国网四川省电力公司营销服务中心 | 一种基于互感器状态监测方法及装置 |
| CN115070778A (zh) * | 2022-08-12 | 2022-09-20 | 中国电力科学研究院有限公司 | 一种用于电流互感器带电校准的机械臂控制方法及系统 |
| CN115857524A (zh) * | 2022-11-25 | 2023-03-28 | 哈尔滨工业大学 | 复杂环境下六足机器人的人机共融智能运动规划方法 |
| CN116630602A (zh) * | 2023-05-30 | 2023-08-22 | 大连民族大学 | 一种基于改进YOLOv5算法的机械臂抓取目标物体检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| SHANCHENG FANG ET AL.: "Read Like Humans:Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition", 《ARXIV》, pages 1 - 5 * |
| XIN ZHOU ET AL.: "EGO-Planner:An ESDF-Free Gradient-Based Local Planner for Quadrotors", 《IEEE ROBOTICS AND AUTOMATION LETTERS》, vol. 6, no. 2, pages 478 - 485, XP011830705, DOI: 10.1109/LRA.2020.3047728 * |
| 王彪: "eVTOL飞行器视觉自主避障技术仿真研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 96 * |
| 莫明飞 等: "面向巡检机器人的指针式仪表读数识别方法", 《电力大数据》, vol. 25, no. 4, pages 56 - 61 * |
| 袁刚 等: "基于 DeepLabv3+网络的电流互感器红外图像分割方法", 《红外技术》, vol. 43, no. 11, pages 1127 - 1134 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863482B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160352B (zh) | 一种基于图像分割的工件金属表面文字识别方法及系统 | |
| CN108701234A (zh) | 车牌识别方法及云系统 | |
| CN110059694A (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN115601549A (zh) | 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 | |
| CN106682628B (zh) | 一种基于多层深度特征信息的人脸属性分类方法 | |
| CN111738036B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN116932803B (zh) | 基于多模态预训练模型的数据集生成方法、训练方法 | |
| CN112364883A (zh) | 一种基于单阶段目标检测和deeptext识别网络的美式车牌识别方法 | |
| CN115810197A (zh) | 一种多模态电力表单识别方法及装置 | |
| CN114758341A (zh) | 一种智能化合同图像识别与合同要素抽取方法及装置 | |
| CN109389095B (zh) | 一种路面标线图像识别方法和训练方法 | |
| CN112966676B (zh) | 一种基于零样本学习的文档关键信息抽取方法 | |
| CN117370498B (zh) | 一种3d开放词汇检测与密集字幕生成统一的建模方法 | |
| CN117115614B (zh) | 户外影像的对象识别方法、装置、设备及存储介质 | |
| CN116563840B (zh) | 基于弱监督跨模态对比学习的场景文本检测与识别方法 | |
| CN116863482B (zh) | 一种互感器检测方法、装置、设备及存储介质 | |
| CN116630917A (zh) | 一种车道线检测方法 | |
| CN110334818A (zh) | 一种管路自动识别的方法及系统 | |
| CN116704518A (zh) | 一种文本识别方法及装置、电子设备、存储介质 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN114550197A (zh) | 一种端子排图像检测信息匹配方法 | |
| CN115063348A (zh) | 一种零件表面缺陷检测方法、装置、设备及介质 | |
| CN113159204A (zh) | 车牌识别模型生成方法、车牌识别方法及相关组件 | |
| CN112907553A (zh) | 一种基于Yolov3的高清图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |