CN114119459A - 一种电器产品绝缘测试电源口定位方法及系统 - Google Patents

一种电器产品绝缘测试电源口定位方法及系统 Download PDF

Info

Publication number
CN114119459A
CN114119459A CN202111082500.0A CN202111082500A CN114119459A CN 114119459 A CN114119459 A CN 114119459A CN 202111082500 A CN202111082500 A CN 202111082500A CN 114119459 A CN114119459 A CN 114119459A
Authority
CN
China
Prior art keywords
power supply
supply port
close
camera
range camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111082500.0A
Other languages
English (en)
Inventor
王惯玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU CHAOJI INFORMATION TECHNOLOGY CO LTD
Original Assignee
SUZHOU CHAOJI INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU CHAOJI INFORMATION TECHNOLOGY CO LTD filed Critical SUZHOU CHAOJI INFORMATION TECHNOLOGY CO LTD
Priority to CN202111082500.0A priority Critical patent/CN114119459A/zh
Priority to PCT/CN2022/076358 priority patent/WO2023040176A1/zh
Publication of CN114119459A publication Critical patent/CN114119459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电器产品绝缘测试电源口定位方法及系统，包括以下步骤：安装远景相机和近景相机，所述远景相机获取电器整体图像；通过畸变参数对电器整体图像进行去畸变；进行透视变换提取出感兴趣电源口区域图片；使用深度学习网络模型识别定位电源口位置；根据远景相机获得的电源口位置驱动近景相机到达该位置；近景相机使用深度学习网络模型识别定位电源口位置以及电源口对应的插销位置；取最小距离对应的电源口为目标电源口；判断电源口方向；驱动电源插拔装置达到此时近景相机位置进行产品的绝缘测试。本发明解决电器产品电源口位置随机出现、电源口方向不确定问题，对电源口进行精确定位，满足测试需求。

Description

一种电器产品绝缘测试电源口定位方法及系统
技术领域
本发明涉及图像定位技术领域，具体涉及一种电器产品绝缘测试电源口定位方法及系统。
背景技术
电器产品的高压高流绝缘测试广泛存在于电器产品的生产中，绝大多数的方法是固定测试装置与被测试装置的位置后再通过自动化的手段进行。而对于被测试装置位置不固定的电器产品进行测试的方案鲜有可见。专利号为CN112834861A，名为“一种双输出耐压测试流水线”的专利则采用这种固定测试装置与被测试装置的方案。而在实际生产过程中，电器产品的电源口的位置并不是固定的，电源口可能随机的出现在电器的各个位置。除此之外，被测试装置的电源口的方向也无法确定，难以达到生产测试需求。
发明内容
本发明的目的是提供一种电器产品绝缘测试电源口定位方法及系统，解决电器产品电源口位置随机出现、电源口方向不确定问题，对电源口进行精确定位，满足测试需求。
为了解决上述技术问题，本发明提供了一种电器产品绝缘测试电源口定位方法，包括以下步骤：
S1：安装远景相机和近景相机，所述远景相机获取电器整体图像；
S2：对远景相机进行标定获取畸变参数，通过畸变参数对电器整体图像进行去畸变；
S3：对去畸变后的电器整体图像进行透视变换提取出感兴趣电源口区域图片；
S4：使用深度学习网络模型从感兴趣电源口区域图片中识别定位电源口位置；
S5：根据远景相机获得的电源口位置驱动近景相机到达该位置；
S6：近景相机获取电源口区域图片，使用深度学习网络模型从电源口区域图片中识别定位电源口位置以及电源口对应的插销位置；
S7：根据S6中识别定位到的电源口的中心点计算该中心点与电源口区域图片中心点距离，取最小距离对应的电源口为目标电源口；
S8：根据目标电源口及其对应的插销识别结果计算各插销中心点距离以判断电源口方向；
S9：根据电源口方向和目标电源口，驱动电源插拔装置达到此时近景相机位置进行产品的绝缘测试。
作为本发明的进一步改进，所述近景相机与电源插拔装置平行设置且近景相机的中心点与电源插拔装置的中心点设置在同一水平线上。
作为本发明的进一步改进，所述步骤S2具体包括以下步骤：
S21:制作黑白方格板作为标定板，并固定远景相机；
S22：将标定板放置于远景相机前各个位置并拍摄含有标定板的图像；
S23：采用张正有标定法对远景相机进行标定得到标定参数，通过标定得到的标定参数对三维空间的点进行重投影得到未畸变的点，对未畸变的点和畸变点之间的数学模型进行拟合得到畸变参数；
S24：使用得到的畸变参数对电器整体图像进行去畸变处理，得到去畸变处理后的电器整体图像。
作为本发明的进一步改进，所述步骤S3具体包括以下步骤：
S31：设定进行透视变换前的图片像素值为(U，V)，进行透视变换后的图像素值为(x′，y′)
S32：根据透视变换原理则：
Figure BDA0003264476400000031
Figure BDA0003264476400000032
Figure BDA0003264476400000033
其中，
Figure BDA0003264476400000034
为目标矩阵；
S33：选取电器产品面板所在的四个角点为透视变换输入值，进行步骤S31-S32变换，得到透视变换后的感兴趣电源口区域图片。
作为本发明的进一步改进，所述步骤S4和步骤S6中均使用轻量级的特征提取网络和特征图融合操作，对感兴趣电源口区域图片中的电源口进行识别与定位。
作为本发明的进一步改进，所述步骤S7中，当检测得到电源口的位置后，提取出每个检测到的电源口的中心点坐标并计算该中心点坐标与图片中心点坐标的欧式距离，依据欧式距离的大小，取最小的欧式距离对应的电源口为目标电源口进行高压测试。
作为本发明的进一步改进，根据S6中的电源口识别定位结果与S7中的目标电源口结果，反复利用近景相机识别定位目标电源口并根据识别定位结果驱动近景相机移动，当目标电源口的中心点与近景相机的中心点重合时，近景相机到达指定位置不再移动并记录好该位置，根据记录位置驱动电源插拔装置。
作为本发明的进一步改进，所述步骤S7中确定目标电源口后，提取插销识别结果，在步骤S8中，计算插销中点的欧式距离，取欧式距离最大的两个插销中任一插销的中点为原点，判断电源口的开口方向，并根据开口方向控制移动电源插拔装置的方向对应目标电源口。
作为本发明的进一步改进，所述远景相机和近景相机均安装有算法端，所述算法端与软件端通信通过MQTT发送JSON格式的消息来进行交互，所述交互方法具体包括以下步骤：
当远景相机收到电器就位的信号后，打开相机而抓拍电器整体图像；
远景相机的算法端使用深度学习网络模型识别电源口得到电源口的中心坐标，转换过后通过MQTT发送到软件端，软件端依据该坐标驱动近景相机；
当近景相机的移动轴到达指定坐标位置，打开近景相机，近景相机抓拍图片并使用其算法端深度学习模型识别定位电源口和插销，将识别定位后的结果换算过后通过MQTT传到软件端，软件端依照换算结果控制移动近景相机到达结果指定位置；
其中，当近景相机到达指定位置后，再次打开近景相机并使用其算法端的深度学习模型识别电源口，并将识别定位后的结果换算后通过MQTT传到软件端，软件端依照该结果控制移动近景相机，重复该过程直到近景相机的图片中心点与目标电源口中心点重合时，软件端驱动电源插拔装置到达近景相机中心位置进行电器的绝缘测试。
一种电器产品绝缘测试电源口定位系统，包括：远景相机、近景相机和软件端；
所述远景相机，用于获取电器整体图像，并通过标定获取畸变参数对电器整体图像进行去畸变，还用于对去畸变后的电器整体图像进行透视变换提取出感兴趣电源口区域图片，使用深度学习网络模型从感兴趣电源口区域图片中识别定位电源口位置传输到软件端；
所述近景相机，用于获取电源口区域图片，使用深度学习网络模型从电源口区域图片中识别定位电源口位置及电源口对应的插销位置；还用于根据识别定位到的电源口的中心点计算该中心点与图片中心点距离，取最小距离对应的电源口为目标电源口，根据目标电源口及其对应的插销识别结果计算各插销中心点距离以判断电源口方向；
所述软件端，用于根据远景相机获得的电源口位置驱动近景相机的图像中心点到达与电源口中心点重合位置；用于根据近景相机的识别定位结果驱动近景相机到达指定位置；还用于根据电源口方向和目标电源口，驱动电源插拔装置达到近景相机位置进行产品的绝缘测试。
本发明的有益效果：本发明采用近景相机和远景相机相结合进行深度学习识别定位，提高识别准确性，解决电器产品电源口位置随机出现及电源口方向不确定、相关特征提取困难的问题；本发明对远景相机进行标定及相关图像处理，避免远景相机定位的结果偏差，进一步提高定位准确性；通过本发明电源口的定位可顺利进行电器产品高压测试，效果良好，提高检测效率。
附图说明
图1是本发明方法流程示意图；
图2是本发明黑白标定板样式示意图；
图3是本发明远景相机深度学习网络结构示意图；
图4是本发明近景相机深度学习网络结构示意图；
图5是本发明算法端与软件端算法交互流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参考图1，本发明实施例提供了一种电器产品绝缘测试电源口定位方法，包括以下步骤：
S1：安装远景相机和近景相机，所述远景相机获取电器整体图像；
S2：对远景相机进行标定获取畸变参数，通过畸变参数对电器整体图像进行去畸变；
S3：对去畸变后的电器整体图像进行透视变换提取出感兴趣电源口区域图片；
S4：使用深度学习网络模型从感兴趣电源口区域图片中识别定位电源口位置；
S5：根据远景相机获得的电源口位置驱动近景相机到达该位置；
S6：近景相机获取电源口区域图片，使用深度学习网络模型从电源口区域图片中识别定位电源口位置以及电源口对应的插销位置；
S7：根据S6中识别定位到的电源口的中心点计算该中心点与电源口区域图片中心点距离，取最小距离对应的电源口为目标电源口；
S8：根据目标电源口及其对应的插销识别结果计算各插销中心点距离以判断电源口方向；
S9：根据电源口方向和目标电源口，驱动电源插拔装置达到此时近景相机位置进行产品的绝缘测试。
具体的，1、相机选型和安装：
1)远景相机选型与安装：远处的相机需要较大的视野以保证拍摄的图像能够看到电器的整体，结合相机的各个参数以及实际情况，本实施例选择海康相机且安装于测试机较远一端；
2)近景相机选型与安装：近处的相机需要一定的视野以满足抓拍到感兴趣的电源口信息且相机应与电源插拔装置平行。结合实际情况，选择某型号相机且安装于测试集较近位置，该位置的的近景相机中心点与电源插拔装置的中心点的横向与纵向距离大约分别为50mm与11mm。
2、相机标定与去畸变：图像的畸变会导致图像定位结果的偏差，为了尽可能减少图像畸变对定位结果的影响，使用标定的方法对相机进行标定进而获取图像的内参及畸变参数从而对图像进行去畸变的操作。值得注意的是，在本申请中，由于近景相机离被拍摄对象较近且相机本身的畸变量可以忽略不计，则只考虑远景相机的标定及去畸变。远景相机的标定：
2.1标定板的制作：标定板采用黑白方格板的形式，将标定板划分为9*7的黑白方格，每一格的长度为0.026m，具体形式如下图2所示；
2.2标定图片的采集：在准备好标定板后，调整远景相机相关参数，使得这些参数能够满足我们的需求。调整好这些参数过后，固定远景相机的参数，将标定板放置于相机前的不同位置，拍摄含有标定板的图像。一般来讲，拍摄的图像越多，标定的精度越高。这里在32个不同的位置处抓拍含有标定板的图片；
2.3使用张正友标定法进行相机标定：在不考虑畸变的情况下，相机的成像过程可以简化为小孔成像模型。其中涉及到四个坐标系，即世界坐标系、相机坐标系、图像坐标系与像素坐标系的坐标间的转换关系。世界坐标系和相机坐标系之间存在坐标系之间的旋转和原点之间的平移变换，相机坐标系与图像坐标系中的点之间的关系可以根据相似三角形的原理得出。张正友相机标定法中，对于拍摄到的棋盘格图像，假设棋盘格所处平面的Zw坐标为0，则棋盘格上任意一个角点的坐标可以表示为(Xw，Yw，0)，此时即可将世界坐标系与像素坐标系间的关系简化为式(3-1)。
Figure BDA0003264476400000081
世界坐标系中棋盘格上各角点之间的实际距离能够很容易得到，这时候可以获取多组像素点和对应的世界坐标系的点，进而可以求取H。之后可以根据旋转矩阵是正交矩阵的性质，即其列向量为单位向量且相互正交，来求取内参矩阵K。通过计算得到相机的内参矩阵的值有[fx fy]＝[2953.458072951.58045]，[cx cy]＝[1531.484111031.75475]且标定的反投影误差为0.17个像素，标定精度满足要求。
小孔成像模型中将透镜理想化的等效为一个小孔，但是实际中为了使得产生的图像更加明亮，透镜需要有一定的直径来实现采光。由于透镜的形状导致其径向方向的图像放大倍数不一致，使得成像发生扭曲，这种现象称为相机的径向畸变。径向畸变是因为透镜自身的形状而导致的，而且畸变影响效果呈中心对称。除此之外，人为安装相机时，不可能完全的避免因操作等人为因素导致的误差，透镜平面和成像平面的相对位置也必然不可能实现严格意义上的平行，这必将会导致在切向方向上出现畸变。虽然相机还会受到其他种类的畸变的影响，但在所有畸变种类中径向畸变和切向畸变占据了绝大部分，而且径向畸变占主要成分。
对相机进行标定后，可以使用标定得到的参数对三维空间的点进行重投影操作得到未畸变的点，再使用多项式对未畸变点和畸变点之间的数学模型进行拟合。径向畸变由公式(3-2)来描述，其是图像中像素点距图像坐标系原点的距离r的函数。切向畸变由公式(3-3)来描述。公式(3-2)、(3-3)中的(u，v)表示理想的没有发生畸变的坐标，(u′，v′)表示对应的畸变坐标。
Figure BDA0003264476400000091
Figure BDA0003264476400000092
标定过程首先将内部参数初始化为不考虑相机畸变的封闭解，通过初始的相机参数对世界坐标系中的点进行重投影操作得到理想的像素坐标，之后基于最小化重投影误差的原理进行非线性优化。通过重投影的理想图像坐标和畸变图像上的角点坐标拟合畸变模型的系数，畸变模型并非越复杂越好。复杂的畸变模型存在高阶的拟合关系，有时会适得其反，引起很大的计算误差。如果同时考虑径向和切向两种畸变，可以发现径向畸变占畸变模型的绝大部分，而切向畸变的影响可以忽略不计。当同时考虑切向畸变和径向畸变来拟合相机畸变模型时，会发现切向畸变系数的不确定性很大，所以一般只考虑径向畸变对图像产生的影响。此时得到的相机的畸变参数为：[-0.3626 0.3051-0.0004 0.0000 0.0000]。
使用张正友标定法得到相机的畸变参数后，对图像进行去畸变处理，得到去畸变处理前后的图片。
3、远处及近景相机电源口识别与定位
3.1远景相机粗定位：
3.1.1基于透视变换的感兴趣区域提取方法：透视变换是一种将图片投影到一个新的视平面的方法，该方法需要已知图片上的四个点，通过对这四个点进行计算而得到感兴趣的区域。假设进行透视变换前的图片像素值为(U，V)，进行透视变换后的图片像素值为(x′，y′)，根据透视变换的原理则有：
Figure BDA0003264476400000101
Figure BDA0003264476400000102
Figure BDA0003264476400000103
其中，
Figure BDA0003264476400000104
为目标矩阵，依据以上的叙述，依次选取电器产品面板所在的四个角点为透视变换输入值，透视变换后的感兴趣区域图片。
3.1.2基于深度学习的感兴趣区域电源口识别与定位方法：在得到使用透视变换的图片后，对图片中的电源口进行识别与定位，识别与定位的方法使用深度学习方法。考虑到边缘计算设备的计算资源有限，使用精简的小网络模型进行电源口的识别与定位。该网络的结构如图3所示，使用较为轻量级的特征提取网络并且使用特征图融合的操作。考虑到该网络完成的任务相应比较简单，则只使用少量的检测头。
考虑到数据采集困难且采集到的数据量偏少，本申请将训练集与测试集的比例设置为1∶1，以此来增加模型学习的难度。除此之外，本申请也使用了数据增强的方案，包括图片饱和度调整、曝光度调整与色度调整。以使得到的结果更接近于实际情况。
模型训练参数的设置对于获取较好的结果至关重要。本申请模型训练的相关参数有：输入模型的图片大小设置为608*608，模型参数的优化方案使用带动量的SGD且使用预热操作以及预训练模型加快模型训练速度；模型的iou损失使用ciou损失，检测框的nms使用简单nms。损失随着训练轮数的增加而逐渐降低，测试集上的map值随着训练轮数的增大而逐渐增大，最终稳定。使用该模型在训练集与测试集上的检测效果。
值得注意的是，检测得到的电源口的中心点坐标是基于图片坐标系的，在本申请中需要将图片坐标系的原点置于透视变化过后图片的左下角。除此之外，还需要将基于原始图片左下角为原点的坐标再次转换为以移动轴的原点的坐标，以便于与软件端进行信息的交互。
3.2近景相机精确定位方案
由于电器产品每次停留的位置并不固定，基于远景相机的电源口识别定位只能大致确定电源口的位置，并不能每次都能精准给出电源口的中心点坐标。除此之外，电器产品的电源口的方向也不一致，远景相机并不能清晰抓拍到电源口中的插销。因此，本申请使用近景相机进行电源口精准的识别与定位。
3.2.1相机坐标系与像素坐标系转换原理：根据相机坐标系与像素坐标系的转换原理，结合上文所叙述的近景相机安装方法，本申请利用该原理，使得图像的中心点与电源口的中心点重合时，认为相机到达了指定的位置。此时，调整相机与插拔装置的位置，使得插拔装置到达相机位置。
3.2.2基于深度学习方法的电源口识别与定位方法：当左侧相机到达远景相机检测而转换到的坐标时，对图片中的电源口以及插销进行识别与定位，识别与定位的方法使用深度学习方法。考虑到边缘计算设备的计算资源有限，使用小网络模型进行电源口及插销的识别与定位。该网络的结构如图4所示，仅使用较为轻量级的特征提取网络并且使用特征图融合的操作。
考虑到数据采集困难且采集到的数据量偏少，本申请将训练集与测试集的比例设置为1：1，以此来增加模型学习的难度。除此之外，本申请也使用了数据增强的方案，包括图片饱和度调整、曝光度调整与色度调整。以使得到的结果更接近于实际情况。
模型训练参数的设置对于获取较好的结果至关重要。本申请模型训练的相关参数有：输入模型的图片大小设置为416*416，模型参数的优化方案使用带动量的SGD且使用预热操作以及预训练模型加快模型训练速度；模型的iou损失使用ciou损失，检测框的nms使用简单nms。损失随着训练轮数的增加而逐渐降低，测试集上的map值随着训练轮数的增大而逐渐增大，最终稳定。
值得注意的是，使用该模型在训练集与测试集上的检测效果可以看出，该模型具有良好的电源口检测效果而对于，对于离图像中心点最近的电源口的插销的识别效果良好。在电器高压测试的过程中，只需要对众多电源口中的一个进行测试即可。因此，该模型足以满足生产需求。
当检测得到电源口的位置后，提取出每个检测到的电源口的中心点坐标而计算该中心点坐标与图片中心点坐标的欧式距离，依据欧式距离的大小，取最小的欧式距离对应的电源口为本申请的目标电源口进行高压测试。本申请中，近景相机采集得到的图片尺寸为640：480。除此之外，近景相机需要移动的距离是在远景相机到达位置的基础上进行移动的，计算方法为检测框的宽高分别与图片宽高的比例乘以电源框的实际的宽与高，而电源框实际的宽高值分别为23mm与30mm。
在实际的场景中，电源口的方向会有变动，有的时候朝左，有的时候朝右。此时需要根据插销的识别结果判断电源口的方向。确定了离图片中心点最近的电源口后，提取插销识别的结果，计算各插销中点的欧式距离，取欧式距离最大的两个插销中任一插销的中点为原点，向右手边为水平方向正方向，向左手边为水平方向的负方向。当除欧式距离最大的两个插销外的第三个插销的的中心点的横坐标为负值时，则表明电源口的开口向左；当除欧式距离最大的两个插销外的第三个插销的的中心点的横坐标为负值时，则表明电源口的开口向右。此时可以通过信息交互的方式使得软件端控制移动轴动作而改变插拔装置的方向。
4、算法端与软件端通信方式：上述远景相机和近景相机均安装有算法端，算法端需要与软件端实现交互，从而实现各种计算上传和控制移动，具体的，算法端与软件端通信通过MQTT发送JSON格式的消息来进行交互。远景相机在收到电器就位的信号后，打开相机而抓拍图片，同时模型识别电源口得到电源口的中心坐标，转换过后通过MQTT发送到软件端，软件端依据该坐标动作。当移动轴到达指定位置，打开近景相机，近景相机抓拍图片从而使用深度学习模型识别定位，将识别定位后的结果换算过后通过MQTT传到软件端，软件端依照换算结果移动并最终动作，具体动作如图5所示。
算法的实际效果测试：在完成上述算法的设计及与软件端的联合调试后，使用实际的电器产品进行测试。测试发现，除插拔装置碰撞导致电器产品位置改变而无法找准电器产品电源口外，算法具有良好的效果，插拔装置可以顺利进行电器产品的高压测试。
实施例二
基于同一发明构思，本实施例提供了一种电器产品绝缘测试电源口定位系统，其解决问题的原理与一种电器产品绝缘测试电源口定位方法类似，重复之处不再赘述。
一种电器产品绝缘测试电源口定位系统，包括：包括：远景相机、近景相机和软件端；
所述远景相机，用于获取电器整体图像，并通过标定获取畸变参数对电器整体图像进行去畸变，还用于对去畸变后的电器整体图像进行透视变换提取出感兴趣电源口区域图片，使用深度学习网络模型从感兴趣电源口区域图片中识别定位电源口位置传输到软件端；
所述近景相机，用于获取电源口区域图片，使用深度学习网络模型从电源口区域图片中识别定位电源口位置及电源口对应的插销位置；还用于根据识别定位到的电源口的中心点计算该中心点与图片中心点距离，取最小距离对应的电源口为目标电源口，根据目标电源口及其对应的插销识别结果计算各插销中心点距离以判断电源口方向；
所述软件端，用于根据远景相机获得的电源口位置驱动近景相机的图像中心点到达与电源口中心点重合位置；用于根据近景相机的识别定位结果驱动近景相机到达指定位置；还用于根据电源口方向和目标电源口，驱动电源插拔装置达到近景相机位置进行产品的绝缘测试。
本发明通过远近相机结合的方式进行电源口的定位及交互控制定位，解决电器产品电源口位置随机出现、电源口方向不确定及基于手工选取特征提取的识别定位技术相关特征提取困难且难以达到生产要求的现实情况的问题。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种电器产品绝缘测试电源口定位方法，其特征在于：包括以下步骤：
S1：安装远景相机和近景相机，所述远景相机获取电器整体图像；
S2：对远景相机进行标定获取畸变参数，通过畸变参数对电器整体图像进行去畸变；
S3：对去畸变后的电器整体图像进行透视变换提取出感兴趣电源口区域图片；
S4：使用深度学习网络模型从感兴趣电源口区域图片中识别定位电源口位置；
S5：根据远景相机获得的电源口位置驱动近景相机到达该位置；
S6：近景相机获取电源口区域图片，使用深度学习网络模型从电源口区域图片中识别定位电源口位置以及电源口对应的插销位置；
S7：根据S6中识别定位到的电源口的中心点计算该中心点与电源口区域图片中心点距离，取最小距离对应的电源口为目标电源口；
S8：根据目标电源口及其对应的插销识别结果计算各插销中心点距离以判断电源口方向；
S9：根据电源口方向和目标电源口，驱动电源插拔装置达到此时近景相机位置进行产品的绝缘测试。
2.如权利要求1所述的一种电器产品绝缘测试电源口定位方法，其特征在于：所述近景相机与电源插拔装置平行设置且近景相机的中心点与电源插拔装置的中心点设置在同一水平线上。
3.如权利要求1所述的一种电器产品绝缘测试电源口定位方法及系统定位方法，其特征在于：所述步骤S2具体包括以下步骤：
S21:制作黑白方格板作为标定板，并固定远景相机；
S22：将标定板放置于远景相机前各个位置并拍摄含有标定板的图像；
S23：采用张正有标定法对远景相机进行标定得到标定参数，通过标定得到的标定参数对三维空间的点进行重投影得到未畸变的点，对未畸变的点和畸变点之间的数学模型进行拟合得到畸变参数；
S24：使用得到的畸变参数对电器整体图像进行去畸变处理，得到去畸变处理后的电器整体图像。
4.如权利要求1所述的一种电器产品绝缘测试电源口定位方法，其特征在于：所述步骤S3具体包括以下步骤：
S31：设定进行透视变换前的图片像素值为(U，V)，进行透视变换后的图像素值为(x′，y′)
S32：根据透视变换原理则：
Figure FDA0003264476390000021
Figure FDA0003264476390000022
Figure FDA0003264476390000023
其中，
Figure FDA0003264476390000031
为目标矩阵；
S33：选取电器产品面板所在的四个角点为透视变换输入值，进行步骤S31-S32变换，得到透视变换后的感兴趣电源口区域图片。
5.如权利要求2所述的一种电器产品绝缘测试电源口定位方法，其特征在于：所述步骤S4和步骤S6中均使用轻量级的特征提取网络和特征图融合操作，对感兴趣电源口区域图片中的电源口进行识别与定位。
6.如权利要求1所述的一种电器产品绝缘测试电源口定位方法，其特征在于，所述步骤S7中，当检测得到电源口的位置后，提取出每个检测到的电源口的中心点坐标并计算该中心点坐标与图片中心点坐标的欧式距离，依据欧式距离的大小，取最小的欧式距离对应的电源口为目标电源口进行高压测试。
7.如权利要求6所述的一种电器产品绝缘测试电源口定位方法，其特征在于：根据S6中的电源口识别定位结果与S7中的目标电源口结果，反复利用近景相机识别定位目标电源口并根据识别定位结果驱动近景相机移动，当目标电源口的中心点与近景相机的中心点重合时，近景相机到达指定位置不再移动并记录好该位置，根据记录位置驱动电源插拔装置。
8.如权利要求6所述的一种电器产品绝缘测试电源口定位方法，其特征在于：所述步骤S7中确定目标电源口后，提取插销识别结果，在步骤S8中，计算插销中点的欧式距离，取欧式距离最大的两个插销中任一插销的中点为原点，判断电源口的开口方向，并根据开口方向控制移动电源插拔装置的方向对应目标电源口。
9.如权利要求1-8中任一项所述的一种电器产品绝缘测试电源口定位方法，其特征在于：所述远景相机和近景相机均安装有算法端，所述算法端与软件端通信通过MQTT发送JSON格式的消息来进行交互，所述交互方法具体包括以下步骤：
当远景相机收到电器就位的信号后，打开相机而抓拍电器整体图像；
远景相机的算法端使用深度学习网络模型识别电源口得到电源口的中心坐标，转换过后通过MQTT发送到软件端，软件端依据该坐标驱动近景相机；
当近景相机的移动轴到达指定坐标位置，打开近景相机，近景相机抓拍图片并使用其算法端深度学习模型识别定位电源口和插销，将识别定位后的结果换算过后通过MQTT传到软件端，软件端依照换算结果控制移动近景相机到达结果指定位置；
其中，当近景相机到达指定位置后，再次打开近景相机并使用其算法端的深度学习模型识别电源口，并将识别定位后的结果换算后通过MQTT传到软件端，软件端依照该结果控制移动近景相机，重复该过程直到近景相机的图片中心点与目标电源口中心点重合时，软件端驱动电源插拔装置到达近景相机中心位置进行电器的绝缘测试。
10.一种电器产品绝缘测试电源口定位系统，其特征在于：包括：远景相机、近景相机和软件端；
所述远景相机，用于获取电器整体图像，并通过标定获取畸变参数对电器整体图像进行去畸变，还用于对去畸变后的电器整体图像进行透视变换提取出感兴趣电源口区域图片，使用深度学习网络模型从感兴趣电源口区域图片中识别定位电源口位置传输到软件端；
所述近景相机，用于获取电源口区域图片，使用深度学习网络模型从电源口区域图片中识别定位电源口位置及电源口对应的插销位置；还用于根据识别定位到的电源口的中心点计算该中心点与图片中心点距离，取最小距离对应的电源口为目标电源口，根据目标电源口及其对应的插销识别结果计算各插销中心点距离以判断电源口方向；
所述软件端，用于根据远景相机获得的电源口位置驱动近景相机的图像中心点到达与电源口中心点重合位置；用于根据近景相机的识别定位结果驱动近景相机到达指定位置；还用于根据电源口方向和目标电源口，驱动电源插拔装置达到近景相机位置进行产品的绝缘测试。
CN202111082500.0A 2021-09-15 2021-09-15 一种电器产品绝缘测试电源口定位方法及系统 Pending CN114119459A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111082500.0A CN114119459A (zh) 2021-09-15 2021-09-15 一种电器产品绝缘测试电源口定位方法及系统
PCT/CN2022/076358 WO2023040176A1 (zh) 2021-09-15 2022-02-15 一种电器产品绝缘测试电源口定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111082500.0A CN114119459A (zh) 2021-09-15 2021-09-15 一种电器产品绝缘测试电源口定位方法及系统

Publications (1)

Publication Number Publication Date
CN114119459A true CN114119459A (zh) 2022-03-01

Family

ID=80441105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082500.0A Pending CN114119459A (zh) 2021-09-15 2021-09-15 一种电器产品绝缘测试电源口定位方法及系统

Country Status (2)

Country Link
CN (1) CN114119459A (zh)
WO (1) WO2023040176A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455921A (zh) * 2023-12-26 2024-01-26 菲特（天津）检测技术有限公司 基于小视野镜头的大景深成像检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10259580B2 (en) * 2015-05-07 2019-04-16 The Boeing Company Airplane cabin panoramic view system
TWI720758B (zh) * 2019-12-24 2021-03-01 聚眾聯合科技股份有限公司 功率定位方法及其功率定位裝置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455921A (zh) * 2023-12-26 2024-01-26 菲特（天津）检测技术有限公司 基于小视野镜头的大景深成像检测方法及系统
CN117455921B (zh) * 2023-12-26 2024-04-02 菲特（天津）检测技术有限公司 基于小视野镜头的大景深成像检测方法及系统

Also Published As

Publication number Publication date
WO2023040176A1 (zh) 2023-03-23

Similar Documents

Publication Publication Date Title
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN106887023A (zh) 用于双目摄像机标定的标定板及其标定方法和标定系统
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN103115613B (zh) 一种空间三维定位方法
CN108805801A (zh) 一种全景图像校正方法及系统
CN107680139B (zh) 一种远心双目立体视觉测量系统的通用性标定方法
CN108830906B (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN113252309A (zh) 一种用于近眼显示设备的测试方法、测试装置及存储介质
CN107705252A (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
Li et al. HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor
CN113298886B (zh) 一种投影仪的标定方法
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN115797461A (zh) 基于双目视觉的火焰空间定位系统标定与校正方法
CN111325803B (zh) 一种评估双目相机内外参与时间同步的标定的方法
CN114119459A (zh) 一种电器产品绝缘测试电源口定位方法及系统
CN114792345A (zh) 一种基于单目结构光系统的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination