CN106291278B - 一种基于多视觉系统的开关柜局部放电自动检测方法 - Google Patents
一种基于多视觉系统的开关柜局部放电自动检测方法 Download PDFInfo
- Publication number
- CN106291278B CN106291278B CN201610628712.7A CN201610628712A CN106291278B CN 106291278 B CN106291278 B CN 106291278B CN 201610628712 A CN201610628712 A CN 201610628712A CN 106291278 B CN106291278 B CN 106291278B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate
- partial discharge
- mechanical arm
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 241000208340 Araliaceae Species 0.000 claims description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 6
- 235000008434 ginseng Nutrition 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 238000013439 planning Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007430 reference method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims 1
- 230000004807 localization Effects 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/12—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing
- G01R31/1218—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing using optical methods; using charged particle, e.g. electron, beams or X-rays
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视觉系统的开关柜局部放电自动检测方法，根据开关站室内铺设的导航标识，机器人沿导航线自主运动，当检测到停靠标识后，机器人停靠在待检测开关柜前；根据双目视觉系统采集的目标的形状特征完成目标定位，然后基于特征点匹配和视差原理完成图像中相关点的三维坐标计算；控制机械臂运动，使机器人机械臂末端携带局放检测设备到达目标点位置，利用机械臂末端上设置的单目相机拍摄的图像计算目标区域的像素偏差，根据目标的坐标位置偏差进行机械臂位置校正；对开关柜进行不同方式的局部放电检测。本发明采用双目视觉系统与单目视觉系统结合的目标定位方法，实现局放检测目标的精确定位，减少单一视觉系统定位造成的误差。
Description
技术领域
本发明涉及一种基于多视觉系统的开关柜局部放电自动检测方法。
背景技术
随着科技进步和两个一流建设的不断发展，以“信息化、数字化、自动化、互动化”为特征的智能电网建设逐渐深入，变电站智能巡检机器人列入《国家电网公司第一批重点推广新技术目录》，变电站智能巡检机器人进入了推广应用阶段。2013年进行例行巡视、表计抄录并自动存储对比分析、恶劣天气巡视、红外精确测温、后台自动存档分析等功能，有效地提升了变电站巡检效率和效益，减轻了基层班组一线员工的工作负担。随着变电站巡检机器人持续深化应用，对机器人的应用又提出了一些更高的要求，主要表现在以下三方面：
第一，变电站智能巡检机器人功能受到了限制，机器人只能在室外执行巡检任务，而且功能局限于红外测温仪和可见光摄像机的检测，针对室内电气柜及开关柜设备的局放检测只能依靠人工巡检，还无法在机器人巡检中实现；
第二，现有变电站内的巡检机器人导航方式主要依靠磁导航和激光导航，这两种导航方式成本高，灵活性不足，对检测环境也有一定的要求；
第三，智能机器人携带机械臂进行作业，大多基于双目视觉的伺服系统指导机械臂工作。基于双目视觉伺服的机械臂系统由于受到设备定位精度、控制精度、机械误差的影响，导致最终机械臂末端停靠位置与实际检测位置产生误差，影响机械臂进行作业的质量。
发明内容
本发明为了解决上述问题，提出了一种基于多视觉系统的开关柜局部放电自动检测方法，本发明通过单目视觉设备及铺设导航标志的方法实现了智能机器人在开关柜站内的自主运动，通过停靠标识的识别令机器人停靠在开关柜的正前方，利用双目视觉系统完成检测目标三维信息的计算，然后通过控制系统控制机械臂携带局放检测设备到达检测位置，再通过机械臂末端的单目视觉系统完成目标位置的精确定位，最后指导机械臂完成相关局放检测工作。
为了实现上述目的，本发明采用如下技术方案：
一种基于多视觉系统的开关柜局部放电自动检测方法，包括以下步骤：
(1)根据开关站室内铺设的导航标识，机器人沿导航线自主运动，当检测到停靠标识后，机器人停靠在待检测开关柜前；
(2)根据双目视觉系统采集的目标的形状特征完成目标定位，然后基于特征点匹配和视差原理完成图像中相关点的三维坐标计算；
(3)控制机械臂运动，使机器人机械臂末端携带局放检测设备到达目标点位置，利用机械臂末端上设置的单目相机拍摄的图像计算目标区域的像素偏差，根据目标的坐标位置偏差进行机械臂位置校正；
(4)不断调整机器人机械臂末端位置，对开关柜进行不同方式的局部放电检测。
所述步骤(1)中，导航线铺设在开关柜一侧，与开关柜柜面平行，在开关柜前设置有停靠标识。
所述步骤(1)中，机器人进行导航的具体步骤包括：
(1-1)对进行导航的单目摄像机进行标定，确定其内参与外参，对图像进行校正，通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标，同构坐标转换，获得地平面到图像平面间的投影变换矩阵；
(1-2)根据投影变换矩阵将视觉导航摄像头拍摄的图像进行透视变换，得到导航图像的鸟瞰图，将鸟瞰图由RGB颜色模型转变为HSV颜色模型，将HSV颜色模型下的图像各通道分离；
(1-3)对分离得到的色调通道进行阈值分割，对得到的纯度通道进行连通区域检测，确定导航线区域，根据导航线区域中线确定机器人的偏移距离和偏向角，对机器人进行导航。
优选的，所述步骤(1-1)中，具体方法为：
基于张正友平面标定法利用黑白格标定板进行单目摄像机标定，得到该相机的内参和外参，根据标定的参数对图像进行校正，然后通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标，同时，在图像平面上提取角点，并获得与地平面上四个点对应的角点在图像空间中的坐标值，通过四个坐标点间的对应关系，获得地平面到图像平面间的投影变换矩阵。
所述步骤(1-2)中，具体方法为：并将HSV颜色模型下的图像各通道分离，分别得到图像I的色调通道、纯度通道和明度通道。
所述步骤(1-2)中，将图像色调通道进行阈值分割，得到分割后的图像，对其进行连通区域检测，并计算检测到各连通区域的面积、长轴、短轴和/或连通区域偏向角θ信息，若这些参数信息满足预设值，则判断该连通区域为导航线候选区域，在候选区域中选择连通区域面积最大的一个作为导航线区域，该连通区域的中线作为导航线中线，计算该直线与图像下边缘的交点坐标，则导航线相对于机器人的偏移距离，该连通区域的偏向角θ即为导航线偏角。
所述步骤(1-2)中，根据得到的偏移距离和导航向偏角，计算机器人左右轮的差速，得到机器人左右轮的速度。
所述步骤(1-3)中，将分离后的图像纯度通道和图像明度通道相减，得到做差后的图像I_DIV，根据导航向偏角对图像I_DIV进行偏角角度的翻转计算，继而进行阈值分割，检测连通区域，确定停靠标识区域。
所述步骤(2)中，具体步骤包括：
(2-1)对左右两摄像机进行标定，分别得到两个摄像机的内、外参数，再通过同一世界坐标中的一组定标点建立两个摄像机之间的位置关系，同时建立了两个相机图像坐标与世界坐标的映射关系；
(2-2)根据标定结果对左右两幅图像进行图像校正，然后采用基于亮度的自适应的色彩饱和度调整方法对左右两幅图像进行图像增强操作，得到增强后的左右两幅图像；
(2-3)将左右两幅图像分离成R、G、B三个通道的图像，分别做差后进行阈值分割，利用Hough算法进行直线检测，保留满足设定条件的矩形框；
(2-4)对增强后的左右两幅图像根据矩形框顶点坐标信息进行剪裁，得到数字标识框区域，进行匹配，得到同一物点在左右两幅图像中对应的像点图像坐标；
(2-5)确定基准相机，确定数字标示矩形框中心点在基准相机图像坐标系下的坐标，继而得到世界坐标系下的三维坐标；
(2-6)根据得到的矩形框顶点坐标信息，在阈值分割后的图像中剪裁出数字标示框区域的二值图，利用印刷体数字识别算法对此图像中的数字进行识别，得到当前开关柜的标号。
所述步骤(2-3)中，具体方法为：在二值图像中利用Hough算法进行直线检测，保留倾角近似为0°和90°的直线线段，保留有效线段，4条线段即为矩形的4条边，该矩形即为开关柜中需要定位的数字标识框。
其中近似为本领域技术人员理解的相近角度，一般在[-10°,10°]。
所述步骤(2-4)中，具体方法为：根据得到的矩形框顶点坐标信息，对增强后的左右两幅图像进行剪裁得到数字标识框区域，并将此区域作为感兴趣区域进行Harris角点检测，然后对两幅图像提取出的角点采用不相似测度和相似测度来匹配角点，然后采用随机采样一致方法进行精确匹配，得到同一物点在左右两幅图像中对应的像点图像坐标。
所述步骤(3)中，机械臂末端携带三种不同局放检测设备对开关柜进行不同方式的局部放电检测，分别为地电波检测、特高频检测、超声波检测。
所述步骤(3)中，具体步骤包括：
(3-1)通过机械臂坐标系与世界坐标系之间的转化，确定数字标示矩形框中心点在机械臂坐标系下的坐标；
(3-2)根据开关柜柜号及柜面各目标区域对数字标示矩形框中心点的相对位置先验信息，计算地电波检测中心位置的三维坐标，通过机械臂控制系统使得机械臂末端携带检测仪器到达该中心位置，完成地电波局放检测任务；
(3-3)使机械臂末端携带检测仪器到达特高频检测区域的中心位置，拍摄图像，对拍摄的图像进行彩色图像分割得到二值图像，通过连通区域检测算法得到二值图像的连通区域，确定目标区域，确定目标区域和拍摄区域的偏差，进行调整。
所述步骤(3)中，机械臂携带超声波局放检测仪器进行局部放电检测的路径规划方法具体为：首先令机械臂末端到达超声波检测起始点位置，打开安装在机械臂末端的单目相机，拍摄得到图像Ic，对图像Ic采用sobel算子进行边缘检测。
进一步的，当机械臂末端沿x轴方向缝隙进行检测时，检测水平方向的边缘，得到柜体缝隙在图像中的竖直方向的坐标，根据其进行机械臂末端运动方向的调整；当机械臂末端沿y轴缝隙进行检测时，检测垂直方向的边缘，得到柜体缝隙在图像中水平方向的坐标，根据其进行机械臂末端运动方向的调整。
一种应用于上述方法的视觉系统，包括安装在机器人前端的单目视觉系统，实现机器人室内的视觉导航；安装在机器人侧部的双目视觉伺服系统，实现局放检测目标位置的三维坐标计算；安装在机械臂末端的单目视觉伺服系统，视角与机械臂末端连杆方向平行，该视觉系统实现局放检测目标位置的三维坐标精确计算。
本发明的有益效果为：
(1)本发明提出了一种基于多视觉系统的开关柜局部放电自动检测方法，取代人工检测方法，减轻了电力一线员工的工作负担；
(2)在室内铺设导航标识，采用视觉导航算法实现智能机器人在开关站内的自主运动，降低了智能机器人的成本；
(3)采用双目视觉系统与单目视觉系统结合的目标定位方法，实现局放检测目标的精确定位，减少单一视觉系统定位造成的误差。
附图说明
图1为本发明的算法流程图；
图2为一组待检测的开关柜图像；
图3为开关柜超声波检测机械臂末端运动规划路径示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
如图1所示，一种多视觉系统的开关柜局部放电自动检测方法，所需视觉系统设备为：
安装在机器人前端的单目视觉系统，安装高度40cm至50cm，俯角为40°至70°，该单目视觉系统实现机器人室内的视觉导航功能；安装在机器人侧部的双目视觉伺服系统，安装高度70cm至90cm，仰角为45°至60°，该视觉系统实现局放检测目标位置的三维坐标计算；安装在机械臂末端的单目视觉伺服系统，视角与机械臂末端连杆方向平行，该视觉系统实现局放检测目标位置的三维坐标精确计算。
一种多视觉系统的开关柜局部放电自动检测方法，步骤为：
步骤(1)：根据开关站室内铺设的导航标识，机器人沿导航线自主运动，当检测到停靠标识后，机器人停靠在待检测开关柜前；
步骤(2)：机器人停靠后，打开双目相机，根据图像中检测目标的形状特征完成目标定位，然后基于特征点匹配和视差原理完成图像中相关点的三维坐标计算；
步骤(3)：通过控制系统控制机械臂运动，使机械臂末端携带局放检测设备到达目标点位置，利用机械臂末端单目相机拍摄的图像计算目标区域的像素偏差，根据目标的坐标位置偏差进行机械臂末端校正；
所述步骤(1)中，导航线为铺设在开关柜一侧的黄色直线，导航线与开关柜柜面平行，宽度为10cm，导航线与开关柜之间的垂直距离为80cm，在开关柜前导航线上设置停靠标识，停靠标识为红色正方形，边长为10cm。视觉导航算法的具体步骤为：
步骤(1-1)：基于张正友平面标定法利用19×13的黑白格标定板进行单目摄像机标定，得到该相机的内参和外参，根据标定的参数对图像进行校正。然后通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标。同时，在图像平面上提取角点，并获得与地平面上四个点对应的角点在图像空间中的坐标值，通过四个坐标点间的对应关系，获得地平面到图像平面间的投影变换矩阵H；
步骤(1-2)：根据投影变换矩阵H将视觉导航摄像头拍摄的图像进行透视变换，得到导航图像的鸟瞰图I，从而消除导航线不在视野中线时的图像畸变误差；
步骤(1-3)：将图像I由RGB颜色模型转变为HSV颜色模型，并将HSV颜色模型下的图像各通道分离，分别得到图像I的色调通道I_H，纯度通道I_S，明度通道I_V；
步骤(1-4)：将图像I_H进行阈值分割，图像中像素值小于阈值60，大于阈值30的像素点值设为255，其余像素点值为0，得到分割后的图像I_Seg。对I_Seg进行连通区域检测，并计算检测到各连通区域的面积area、长轴major_length、短轴minjor_length、连通区域偏向角θ等信息，令长轴与短轴间的比例系数为bio_1，若满足bio_1>2，area>400，则判断该联通区域为导航线候选区域。最后在候选区域中选择连通区域面积最大的一个作为导航线区域，该连通区域的中线作为导航线中线，计算该直线与图像下边缘的交点坐标为(xintersection，yintersection)，则导航线相对于机器人的偏移距离s＝width/2-yintersection，该连通区域的偏向角θ即为导航线偏角。
步骤(1-5)：根据步骤(1-4)中得到的s和θ，计算机器人左右轮的差速△v，计算公式为
Δv＝KSS+Kθθ
这里KS和Kθ为相对于偏移距离和偏向角的控制参数，两个参数通过实验获得，其中KS＝0.037，Kθ＝0.215。根据差速△v计算得到机器人左右轮的速度，左轮速度vleft和右轮速度vright分别为：
vright＝V+Δv,vleft＝V-Δv
其中，V为基础速度，设为20cm/s。
步骤(1-6)：将步骤(1-3)中分离的图像通道I_S与I_V相减，得到做差后的图像I_DIV，根据步骤(1-4)的偏向角θ对图像I_DIV进行角度θ的翻转计算，导航线在该翻转图像中理论上应该是竖直方向。对该图像进行阈值分割，阈值设置为80，得到二值图像。对该二值图像进行连通区域检测，并计算检测出连通区域的面积area、长轴major_length、短轴minjor_length、连通区域质心(xcentroid，ycentroid)等信息。令长轴与短轴的比例系数为bio_2，若满足0.8≤bio_2≤1.2且100≤area≤500，则该区域即为停靠标识区域，机器人距离停靠点的像素距离为Sstop＝height-ycentroid，其中height为图像的像素高度。当Sstop<height/2时，控制系统发送指令使得机器人低速向前方运动0.3m后停止，此时机器人底盘中心位置在竖直方向正好对应于停靠标识中心。
所述步骤(2)中，检测机器人停靠在开关柜前，打开安装在机器人上的双目相机，获得左右目图像，双目相机定位算法的具体步骤为：
步骤(2-1)：采用张正友相机标定法分别对左右两摄像机进行标定，分别得到两个摄像机的内、外参数，再通过同一世界坐标中的一组定标点建立两个摄像机之间的位置关系，同时建立了两个相机图像坐标与世界坐标的映射关系；
步骤(2-2)：双目图像采集到的左右两幅图像均为RGB图像，根据步骤(2-1)中相机标定的结果对左右两幅图像进行图像校正，然后采用基于亮度的自适应的色彩饱和度调整方法对左右两幅图像进行图像增强操作，得到增强后的左右两幅图像Ileft和Iright。
步骤(2-3)：将RGB图像分离成R、G、B三个通道的图像，分别记为IR、IG、IB，取其中IR和IB进行做差运算，对于图像Ileft和Iright操作分别得到做差后的图像I_DIV_LEFT和I_DIV_RIGHT。
步骤(2-4)：将图像I_DIV_LEFT和I_DIV_RIGHT分别进行阈值分割，得到分割后的图像I_SEG_LEFT和I_SEG_LEFT，分割算法中阈值设定为120，像素值大于120的像素点像素值设定为255，小于120的设定为0。在二值图像中利用Hough算法进行直线检测，保留倾角近似为0°和90°的直线线段，计算每个线段的长度，设定线段长度阈值20，去除噪声线段的影响。对于倾角近似为0°的线段，计算每两条线段间的距离dis_h，保留满足条件10≤dis_h≤90的线段，计算两线段之间中心点坐标(xh,yh)；对于倾角近似为90°的线段，计算每两条线段间的距离dis_v，保留满足条件20≤dis_v≤120的线段，计算两线段之间中心点坐标(xv,yv)。找到满足点(xh,yh)与(xv,yv)间欧式距离小于5的中心点，与其对应的4条线段即为矩形的4条边，该矩形即为开关柜中需要定位的数字标识框(图2中国的R4所示)，记录矩形4个顶点的图像坐标，分别为左上点A(x1,y1)、右上点B(x2,y2)、右下点C(x3,y3)、左下点D(x4,y4)。
步骤(2-5)：由步骤(2-4)得到的矩形框顶点坐标信息，对图像Ileft和Iright进行剪裁得到数字标识框区域，并将此区域作为感兴趣区域进行Harris角点检测，然后对两幅图像提取出的角点采用不相似测度SSD(Sum of Square Differences)和相似测度NCC(Normalized Cross Correlation)来匹配角点，然后采用随机采样一致方法RANSAC(RANdom Sample Consensus)进行精确匹配，得到同一物点在左右两幅图像中对应的像点图像坐标。
步骤(2-6)：以左目相机为基准相机，利用步骤(2-5)匹配的角点信息和步骤(2-4)矩形框顶点的坐标信息，得到四个顶点的三维坐标分别为左上点A3(xA3,yA3,zA3)、右上点B3(xB3,yB3,zB3)、右下点C3(xC3,yC3,zC3)、左下点D3(xD3,yD3,zD3)。，计算数字标示矩形框中心点在左目图像坐标系下Pcenter坐标，最终得到Pcenter在世界坐标系下的三维坐标(XP，YP，ZP)，计算公式为：
步骤(2-7)：由步骤(2-4)得到的矩形框顶点坐标信息，在图像I_SEG_LEFT中剪裁出数字标示框区域的二值图像IROI，利用印刷体数字识别算法对此图像中的数字进行识别，得到当前开关柜的标号。
所述步骤(3)中机械臂末端携带三种不同局放检测设备对开关柜进行不同方式的局部放电检测，分别为地电波检测、特高频检测、超声波检测，其中地电波检测需将对应检测传感器放在开关柜区域R1处，特高频检测需将对应检测传感器放在开关柜区域R2处，超声波检测需机械臂末端携带对应检测传感器沿开关柜缝隙边缘移动检测R3。
根据单目视觉系统进行目标精确定位的具体步骤为：
步骤(3-1)：通过机械臂坐标系与世界坐标系之间的转化，确定Pcenter在机械臂坐标系下的坐标。
步骤(3-2)：根据步骤(2-7)识别的开关柜柜号及柜面各目标区域相对于点Pcenter的相对位置先验信息，计算得到区域R1中心位置Pw的三维坐标，通过机械臂控制系统使得机械臂末端携带检测仪器到达位置Pw，完成地电波局放检测任务，由于地电波检测方式对传感器放置位置精度要求不高，该项检测不需要通过随臂单目相机进行位置校正；
步骤(3-3)：利用Pcenter三维坐标和柜体先验信息计算区域R2中心位置Pu的三维坐标，通过机械臂控制系统使机械臂末端携带检测仪器到达位置Pu，打开安装在机械臂末端的单目相机，拍摄得到图像Iu，对图像Iu进行彩色图像分割得到二值图像，即三通道像素值全部小于阈值25的像素点灰度设置为255，其余点设置为0。通过连通区域检测算法得到二值图像的连通区域，并计算检测出每个连通区域的面积area_w、长轴和短轴之比bio_3、质心P_w的坐标(XP_w，YP_w)，当连通区域满足area≥200，1.2≤bio_3≤1.5时，该连通区域即为特高频局放检测仪检测的目标区域。通过计算(XP_w，YP_w)与R2区域中心在图像中理论坐标位置(XP_p，YP_p)的偏差，进行机械臂末端位置的精确调整。
步骤(3-4)：机械臂携带超声波局放检测仪器进行局部放电检测的路径规划如图3所示，首先令机械臂末端到达超声波检测起始点位置，打开安装在机械臂末端的单目相机，拍摄得到图像Ic，对图像Ic采用sobel算子进行边缘检测。当机械臂末端沿x轴方向缝隙进行检测时，检测水平方向的边缘，得到柜体缝隙在图像中的竖直方向的坐标yedge，若满足220≤yedge≤260，则保持机械臂末端沿当前竖直方向进行移动，若yedge≥260，则控制机械臂末端在竖直方向进行向上微调，根据边缘位置实时反馈，直到满足220≤yedge≤260。若yedge≤240，则控制机械臂末端在竖直方向进行向下微调，根据边缘位置实时反馈，直到满足220≤yedge≤260。当机械臂末端沿y轴缝隙进行检测时，检测垂直方向的边缘，得到柜体缝隙在图像中水平方向的坐标xedge，若满足300≤xedge≤340，则保持机械臂末端沿当前水平方向进行移动，若xedge≥340，则控制机械臂末端在水平方向进行向右进行微调，根据图像中边缘位置的实时反馈，直到满足条件300≤xedge≤340。若xedge≤300，则控制机械臂末端在水平方向向左微调，根据图像中边缘位置的实时反馈，直到满足条件300≤xedge≤340。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：包括以下步骤：
(1)根据开关站室内铺设的导航标识，机器人沿导航线自主运动，当检测到停靠标识后，机器人停靠在待检测开关柜前；
(2)根据双目视觉系统采集的目标的形状特征完成目标定位，然后基于特征点匹配和视差原理完成图像中相关点的三维坐标计算；
(3)控制机械臂运动，使机器人机械臂末端携带局放检测设备到达目标点位置，利用机械臂末端上设置的单目相机拍摄的图像计算目标区域的像素偏差，根据目标的坐标位置偏差进行机械臂位置校正；
(4)不断调整机器人机械臂末端位置，对开关柜进行不同方式的局部放电检测；
所述步骤(1)中，机器人进行导航的具体步骤包括：
(1-1)对进行导航的单目摄像机进行标定，确定其内参与外参，对图像进行校正，通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标，同构坐标转换，获得地平面到图像平面间的投影变换矩阵；
(1-2)根据投影变换矩阵将视觉导航摄像头拍摄的图像进行透视变换，得到导航图像的鸟瞰图，将鸟瞰图由RGB颜色模型转变为HSV颜色模型，将HSV颜色模型下的图像各通道分离；
(1-3)对分离得到的色调通道进行阈值分割，对得到的纯度通道进行连通区域检测，确定导航线区域，根据导航线区域中线确定机器人的偏移距离和偏向角，对机器人进行导航。
2.如权利要求1所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(1-1)中，具体方法为：
基于张正友平面标定法利用黑白格标定板进行单目摄像机标定，得到该相机的内参和外参，根据标定的参数对图像进行校正，然后通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标，同时，在图像平面上提取角点，并获得与地平面上四个点对应的角点在图像空间中的坐标值，通过四个坐标点间的对应关系，获得地平面到图像平面间的投影变换矩阵。
3.如权利要求1所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(1-2)中，将图像色调通道进行阈值分割，得到分割后的图像，对其进行连通区域检测，并计算检测到各连通区域的面积、长轴、短轴和/或连通区域偏向角θ信息，若这些参数信息满足预设值，则判断该连通区域为导航线候选区域，在候选区域中选择连通区域面积最大的一个作为导航线区域，该连通区域的中线作为导航线中线，计算该导航线中线与图像下边缘的交点坐标，则导航线相对于机器人的偏移距离，该连通区域的偏向角θ即为导航线偏角。
4.如权利要求1所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(1-3)中，将分离后的图像纯度通道和图像明度通道相减，得到做差后的图像I_DIV，根据导航向偏角对图像I_DIV进行偏角角度的翻转计算，继而进行阈值分割，检测连通区域，确定停靠标识区域。
5.如权利要求1所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(2)中，具体步骤包括：
(2-1)对左右两摄像机进行标定，分别得到两个摄像机的内、外参数，再通过同一世界坐标中的一组定标点建立两个摄像机之间的位置关系，同时建立了两个相机图像坐标与世界坐标的映射关系；
(2-2)根据标定结果对左右两幅图像进行图像校正，然后采用基于亮度的自适应的色彩饱和度调整方法对左右两幅图像进行图像增强操作，得到增强后的左右两幅图像；
(2-3)将左右两幅图像分离成R、G、B三个通道的图像，对左右两幅图像相同的图像通道分别做差后进行阈值分割，利用Hough算法进行直线检测，保留满足设定条件的矩形框；
(2-4)对增强后的左右两幅图像根据矩形框顶点坐标信息进行剪裁，得到数字标识框区域，进行匹配，得到同一物点在左右两幅图像中对应的像点图像坐标；
(2-5)确定基准相机，确定数字标示矩形框中心点在基准相机图像坐标系下的坐标，继而得到世界坐标系下的三维坐标；
(2-6)根据得到的矩形框顶点坐标信息，在阈值分割后的图像中剪裁出数字标示框区域的二值图，利用印刷体数字识别算法对此图像中的数字进行识别，得到当前开关柜的标号。
6.如权利要求5所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(2-4)中，具体方法为：根据得到的矩形框顶点坐标信息，对增强后的左右两幅图像进行剪裁得到数字标识框区域，并将此区域作为感兴趣区域进行Harris角点检测，然后对两幅图像提取出的角点采用不相似测度和相似测度来匹配角点，然后采用随机采样一致方法进行精确匹配，得到同一物点在左右两幅图像中对应的像点图像坐标。
7.如权利要求1所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(3)中，具体步骤包括：
(3-1)通过机械臂坐标系与世界坐标系之间的转化，确定数字标示矩形框中心点在机械臂坐标系下的坐标；
(3-2)根据开关柜柜号及柜面各目标区域对数字标示矩形框中心点的相对位置先验信息，计算地电波检测中心位置的三维坐标，通过机械臂控制系统使得机械臂末端携带检测仪器到达该中心位置，完成地电波局放检测任务；
(3-3)使机械臂末端携带检测仪器到达特高频检测区域的中心位置，拍摄图像，对拍摄的图像进行彩色图像分割得到二值图像，通过连通区域检测算法得到二值图像的连通区域，确定目标区域，确定目标区域和拍摄区域的偏差，进行调整。
8.如权利要求1所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：所述步骤(3)中，机械臂携带超声波局放检测仪器进行局部放电检测的路径规划方法具体为：首先令机械臂末端到达超声波检测起始点位置，打开安装在机械臂末端的单目相机，拍摄得到图像Ic，对图像Ic采用sobel算子进行边缘检测。
9.如权利要求8所述的一种基于多视觉系统的开关柜局部放电自动检测方法，其特征是：当机械臂末端沿x轴方向缝隙进行检测时，检测水平方向的边缘，得到柜体缝隙在图像中的竖直方向的坐标，根据其进行机械臂末端运动方向的调整；当机械臂末端沿y轴缝隙进行检测时，检测垂直方向的边缘，得到柜体缝隙在图像中水平方向的坐标，根据其进行机械臂末端运动方向的调整。
10.一种应用于如权利要求1-9中任一项所述的方法的视觉系统，其特征是：包括安装在机器人前端的单目视觉系统，实现机器人室内的视觉导航；安装在机器人侧部的双目视觉伺服系统，实现局放检测目标位置的三维坐标计算；安装在机械臂末端的单目视觉伺服系统，视角与机械臂末端连杆方向平行，该视觉系统实现局放检测目标位置的三维坐标精确计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610628712.7A CN106291278B (zh) | 2016-08-03 | 2016-08-03 | 一种基于多视觉系统的开关柜局部放电自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610628712.7A CN106291278B (zh) | 2016-08-03 | 2016-08-03 | 一种基于多视觉系统的开关柜局部放电自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106291278A CN106291278A (zh) | 2017-01-04 |
| CN106291278B true CN106291278B (zh) | 2019-01-15 |
Family
ID=57664479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610628712.7A Active CN106291278B (zh) | 2016-08-03 | 2016-08-03 | 一种基于多视觉系统的开关柜局部放电自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106291278B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107443369A (zh) * | 2017-06-25 | 2017-12-08 | 重庆市计量质量检测研究院 | 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法 |
| CN107367672B (zh) * | 2017-07-20 | 2019-11-26 | 国网江西省电力公司电力科学研究院 | 高压开关柜全自动带电检测方法 |
| CN107765145B (zh) * | 2017-09-26 | 2019-12-10 | 国网智能科技股份有限公司 | 一种局部放电自动检测装置、系统及方法 |
| CN107680093A (zh) * | 2017-10-12 | 2018-02-09 | 广东电网有限责任公司电力科学研究院 | 一种保护压板的连接式开关的投退状态的辨识方法及装置 |
| CN108051717B (zh) * | 2018-02-24 | 2020-01-03 | 平顶山学院 | 变电站局部放电自动定位方法 |
| CN108873895A (zh) * | 2018-06-11 | 2018-11-23 | 北京航空航天大学 | 路面遗撒智能巡检车 |
| CN108759926A (zh) * | 2018-07-06 | 2018-11-06 | 国网江苏省电力有限公司昆山市供电分公司 | 移动机器人式高压开关柜群智能在线监测系统及方法 |
| CN108594093A (zh) * | 2018-07-06 | 2018-09-28 | 国网江苏省电力有限公司昆山市供电分公司 | 开关柜局部放电在线监测特高频智能传感装置及传感方法 |
| CN109581166B (zh) * | 2019-01-15 | 2020-04-03 | 清华大学 | 基于Sobel能量谱的输电线路故障定位方法 |
| CN110045242B (zh) * | 2019-04-22 | 2021-09-10 | 国网湖南省电力有限公司 | 一种开关柜内弧光监测方法、系统、介质及设备 |
| WO2020252632A1 (zh) * | 2019-06-17 | 2020-12-24 | 西门子（中国）有限公司 | 一种坐标系校准方法、装置和计算机可读介质 |
| CN110136195B (zh) * | 2019-06-27 | 2021-09-03 | 武汉轻工大学 | 输液报警方法、报警设备、存储介质及装置 |
| CN110569717A (zh) * | 2019-07-26 | 2019-12-13 | 深圳供电局有限公司 | 局部放电检测方法、装置、系统、设备及可读存储介质 |
| CN110560443A (zh) * | 2019-09-26 | 2019-12-13 | 太仓光电技术研究所 | 一种基于双目视觉的自动焊烟捕集装置及捕集方法 |
| CN113034604B (zh) * | 2019-12-25 | 2024-07-30 | 南京极智嘉机器人有限公司 | 标定系统、方法及自导引机器人 |
| CN114615425B (zh) * | 2020-12-21 | 2024-04-16 | 深圳市瑞立视多媒体科技有限公司 | 双目usb相机的控制方法 |
| CN113516649B (zh) * | 2021-07-28 | 2024-02-02 | 亿嘉和科技股份有限公司 | 基于超像素分割的柜体表面检测方法 |
| CN116148614B (zh) * | 2023-04-18 | 2023-06-30 | 江苏明月软件技术股份有限公司 | 一种基于无人移动载具的电缆局部放电检测系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559734A (zh) * | 2013-10-17 | 2014-02-05 | 中国科学院自动化研究所 | 双目成像三维视觉系统装置及控制方法 |
| CN104570938A (zh) * | 2015-01-06 | 2015-04-29 | 常州先进制造技术研究所 | 一种插装生产中的双臂机器人系统及其智能控制方法 |
| CN104782326A (zh) * | 2015-05-08 | 2015-07-22 | 山东农业大学 | 智能农业机器人移动平台 |
| CN105066884A (zh) * | 2015-09-09 | 2015-11-18 | 大族激光科技产业集团股份有限公司 | 一种机器人末端定位偏差校正方法及系统 |
| CN105073348A (zh) * | 2013-04-05 | 2015-11-18 | Abb技术有限公司 | 用于校准的机器人系统和方法 |
| CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
| CN105700532A (zh) * | 2016-04-19 | 2016-06-22 | 长沙理工大学 | 基于视觉的变电站巡检机器人导航定位控制方法 |
| CN105729468A (zh) * | 2016-01-27 | 2016-07-06 | 浙江大学 | 一种基于多深度摄像机增强的机器人工作台 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5075776B2 (ja) * | 2008-09-22 | 2012-11-21 | 株式会社東芝 | 表示装置及び移動体 |
-
2016
- 2016-08-03 CN CN201610628712.7A patent/CN106291278B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105073348A (zh) * | 2013-04-05 | 2015-11-18 | Abb技术有限公司 | 用于校准的机器人系统和方法 |
| CN103559734A (zh) * | 2013-10-17 | 2014-02-05 | 中国科学院自动化研究所 | 双目成像三维视觉系统装置及控制方法 |
| CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
| CN104570938A (zh) * | 2015-01-06 | 2015-04-29 | 常州先进制造技术研究所 | 一种插装生产中的双臂机器人系统及其智能控制方法 |
| CN104782326A (zh) * | 2015-05-08 | 2015-07-22 | 山东农业大学 | 智能农业机器人移动平台 |
| CN105066884A (zh) * | 2015-09-09 | 2015-11-18 | 大族激光科技产业集团股份有限公司 | 一种机器人末端定位偏差校正方法及系统 |
| CN105729468A (zh) * | 2016-01-27 | 2016-07-06 | 浙江大学 | 一种基于多深度摄像机增强的机器人工作台 |
| CN105700532A (zh) * | 2016-04-19 | 2016-06-22 | 长沙理工大学 | 基于视觉的变电站巡检机器人导航定位控制方法 |
Non-Patent Citations (4)
| Title |
|---|
| 变电站智能巡检机器人视觉导航方法研究;赵坤;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20150315(第3期);第C042-791页 |
| 基于双目立体视觉的目标识别与定位;王德海 等;《吉林大学学报(信息科学版)》;20160331;第34卷(第2期);第292页 |
| 基于视觉的连续体机器人形状检测研究;谢世鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);第I138-5992页 |
| 蛇形臂机器人视觉定位导航技术研究;程德;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615(第6期);第I140-268页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106291278A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106291278B (zh) | 一种基于多视觉系统的开关柜局部放电自动检测方法 | |
| US11361469B2 (en) | Method and system for calibrating multiple cameras | |
| CN104848851B (zh) | 基于多传感器数据融合构图的变电站巡检机器人及其方法 | |
| CN107121125B (zh) | 一种通讯基站天线位姿自动检测装置与方法 | |
| CN103941746B (zh) | 无人机巡检图像处理系统及方法 | |
| CN104197928B (zh) | 多摄像机协同的无人机检测、定位及跟踪方法 | |
| CN108571971A (zh) | 一种agv视觉定位系统及方法 | |
| CN111045017A (zh) | 一种激光和视觉融合的巡检机器人变电站地图构建方法 | |
| CN112396656B (zh) | 一种视觉与激光雷达融合的室外移动机器人位姿估计方法 | |
| CN106289186B (zh) | 旋翼无人机机载视觉探测与多目标定位系统及实现方法 | |
| CN103925927B (zh) | 一种基于车载视频的交通标识定位方法 | |
| CN106384353A (zh) | 一种基于rgbd的目标定位方法 | |
| CN104200086A (zh) | 宽基线可见光相机位姿估计方法 | |
| CN110108269A (zh) | 基于多传感器数据融合的agv定位方法 | |
| CN109828267A (zh) | 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法 | |
| CN109443206A (zh) | 基于彩色球形光源靶标的机械臂末端位姿测量系统及方法 | |
| Momeni-k et al. | Height estimation from a single camera view | |
| CN106408601A (zh) | 一种基于gps的双目融合定位方法及装置 | |
| CN106017458A (zh) | 移动机器人组合式导航方法及装置 | |
| CN106370160A (zh) | 一种机器人室内定位系统和方法 | |
| CN107741233A (zh) | 一种三维室外地图的构建方法 | |
| CN112050814A (zh) | 一种室内变电站无人机视觉导航系统及方法 | |
| CN104786227A (zh) | 基于高压带电作业机器人的跌落开关更换控制系统及方法 | |
| CN114252075B (zh) | 一种电缆沟巡检机器人的路径跟踪方法及系统 | |
| CN103488801B (zh) | 一种基于地理信息空间库的机场目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000 Co-patentee after: National Network Intelligent Technology Co., Ltd. Patentee after: Electric Power Research Institute of State Grid Shandong Electric Power Company Co-patentee after: State Grid Corporation of China Address before: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000 Co-patentee before: Shandong Luneng Intelligent Technology Co., Ltd. Patentee before: Electric Power Research Institute of State Grid Shandong Electric Power Company Co-patentee before: State Grid Corporation of China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201029 Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Patentee after: National Network Intelligent Technology Co.,Ltd. Address before: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000 Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co. Patentee before: National Network Intelligent Technology Co.,Ltd. Patentee before: STATE GRID CORPORATION OF CHINA |