CN107067018A - 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法 - Google Patents

一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法 Download PDF

Info

Publication number
CN107067018A
CN107067018A CN201611129642.7A CN201611129642A CN107067018A CN 107067018 A CN107067018 A CN 107067018A CN 201611129642 A CN201611129642 A CN 201611129642A CN 107067018 A CN107067018 A CN 107067018A
Authority
CN
China
Prior art keywords
image
mrow
msub
oval
bolt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611129642.7A
Other languages
English (en)
Inventor
郭毓
苏鹏飞
郭健
吴禹均
吴巍
韩昊
韩昊一
李光彦
黄颖
汤冯炜
林立斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201611129642.7A priority Critical patent/CN107067018A/zh
Publication of CN107067018A publication Critical patent/CN107067018A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法。步骤为：使用双目摄像头采集包括螺栓在内的作业场景双目图像；根据图像判断是否有雾霾存在，若存在雾霾，则采用带颜色恢复的多尺度Retinex方法对图像进行增强和恢复，然后提取图像边缘；若不存在雾霾，则进一步判断图像中是否有高光现象，若存在高光现象，则采用同态滤波方法对图像进行增强，然后提取图像边缘，若不存在高光现象否，则直接提取图像边缘；采用基于随机Hough变换的方法对图像边缘信息进行椭圆拟合；若拟合出的椭圆数目有多个，则采用基于支持向量机的目标识别方法对多个椭圆拟合结果进行分类识别。本发明方法能够在复杂背景下快速、准确地识别出螺栓。

Description

一种基于随机Hough变换和SVM的带电作业机器人螺栓识别 方法
技术领域
本发明属于电力技术领域，具体涉及一种复杂背景下基于随机Hough变换和SVM的带电作业机器人螺栓识别方法。
背景技术
目前，我国高压带电作业主要采用绝缘手套作业法，要求操作人员攀爬高压铁塔或借助绝缘斗臂车进行不停电作业，即要求人工带电作业。但人工带电作业意味着操作人员要处在高空、高压、强电磁场的危险环境中，劳动强度大，且人体姿态不易控制，即使严格遵守安全操作规范并增加绝缘防护措施，也无法完全缓解作业人员的精神压力和体力损耗，稍有不慎就容易发生人身伤亡事故，给家庭和社会带来严重的损失。
虽然国内已研发有带电作业机器人，但仍然需要操作人员在绝缘斗内随机器人升至线路附近，并没有从根本上解决操作人员的安全问题。并且，该作业机器人完全由操作人员控制，并不能自主完成带电作业，较传统的绝缘手套作业法反而降低了工作效率。
基于图像处理技术与机器视觉技术的视觉测量系统是带电作业机器人自主作业的关键。而实现带电作业机器人的自主作业可以将人从高危作业环境中解放出来，符合现代社会发展的需要。
带电作业机器人工作在室外非结构化环境下，作业环境可能存在雾霾、强光等情况，使得相机采集到的目标图像边缘信息不突出，从而给识别造成困难。
发明内容
本发明提出一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法，能够在复杂背景下快速、准确地识别出螺栓。
为了解决上述技术问题，本发明提供一种复杂背景下基于随机Hough变换和SVM的带电作业机器人螺栓识别方法，步骤如下：
步骤1，使用双目摄像头采集包括螺栓在内的作业场景双目图像；
步骤2，根据图像判断是否有雾霾存在，若存在雾霾，则采用带颜色恢复的多尺度Retinex方法对图像进行增强和恢复，然后执行步骤3；若不存在雾霾，则进一步判断图像中是否有高光现象，若存在高光现象，则采用同态滤波方法对图像进行增强，然后执行步骤3，若不存在高光现象否，则直接执行步骤3；
步骤3，采用Canny算法提取图像边缘；
步骤4，采用基于随机Hough变换的方法对图像边缘信息进行椭圆拟合；判断拟合出的椭圆数目是否等于1，若等于1，则椭圆所在区域即为螺栓，完成螺栓识别；若不等于1，则进行步骤5；
步骤5，对识别出的多个椭圆所在区域进行方向梯度直方图特征提取；采用基于支持向量机的目标识别方法对多个椭圆拟合结果进行分类识别，正确识别出螺栓。
进一步，步骤2中所述采用带颜色恢复的多尺度Retinex方法对图像进行增强和恢复的步骤为：
步骤2-1，对双目图像I(x,y)的第i个颜色通道Ii(x,y)取对数，分离出反射分量和入射分量；
ln Ii(x,y)＝ln[Ri(x,y)·Li(x,y)]＝ln Ri(x,y)+ln Li(x,y),i＝1,···,N
其中，Ii(x,y)＝Ri(x,y)·Li(x,y)，Ri(x,y)和Li(x,y)分别为图像I(x,y)的第i个颜色通道的反射分量和入射分量，N是图像I(x,y)的彩色通道个数，N＝1表示图像是灰度图像，N＝3表示图像是彩色图像，(x,y)为图像像素点空间域坐标；
步骤2-2，采用高斯环绕函数Fk(x,y)作为低通滤波器对图像I(x,y)的第i个颜色通道Ii(x,y)进行卷积处理得到在尺度k＝1,2,3下的低频图像Dik(x,y)；计算公式如下，
Dik(x,y)＝Ii(x,y)*Fk(x,y)i＝1,···,N k＝1,2,3
其中，尺度k＝1,2,3下的高斯环绕函数其中，σk是在k尺度下的尺度常数，σ1<50为一个小尺度，50≤σ2<100为一个中尺度，σ3≥100为一个大尺度；
步骤2-3，计算图像I(x,y)的第i个颜色通道Ii(x,y)在尺度k＝1,2,3下的中高频增强图像Gik(x,y)；计算公式如下，
Gik(x,y)＝lnIi(x,y)-lnDik(x,y)i＝1,···,N k＝1,2,3
步骤2-4，计算图像I(x,y)的第i个颜色通道Ii(x,y)的未带颜色恢复的增强图像Ri'(x,y)；计算公式如下，
其中，Wk是k尺度下高斯环绕函数Fk(x,y)的相关权重；
步骤2-5，计算图像I(x,y)的第i个颜色通道Ii(x,y)的恢复系数Ci(x,y)；计算公式如下，
其中，α为非线性强度控制因子；
步骤2-6，计算图像I(x,y)的第i个颜色通道Ii(x,y)带颜色恢复的增强图像的第i个颜色通道计算公式如下，
进一步，步骤2中所述采用同态滤波方法对图像进行增强的过程为：
步骤3-1，对双目图像I(x,y)用对数处理，获得其反射分量和入射分量分离，计算公式如下，
Z(x,y)＝ln I(x,y)＝ln R(x,y)+ln L(x,y)
其中，Z(x,y)是I(x,y)的对数变换结果，R(x,y)和L(x,y)分别为图像I(x,y)的反射分量和入射分量，I(x,y)＝R(x,y)·L(x,y)；
步骤3-2，对步骤3-1得到的对数变换结果Z(x,y)取傅里叶变换；计算公式如下，
z(u,v)＝r(u,v)+l(u,v)
其中，z(u,v)、r(u,v)、l(u,v)分别表示Z(x,y)、ln R(x,y)、ln L(x,y)的傅里叶变换结果；
步骤3-3，使用一个阻带宽可调的巴特沃斯型带阻滤波器作为同态滤波器h(u,v)对步骤3-2得到的傅里叶变换结果z(u,v)进行滤波处理，表达式如下：
s(u,v)＝h(u,v)z(u,v)＝h(u,v)r(u,v)+h(u,v)l(u,v)
其中，s(u,v)为经过同态滤波器h(u,v)滤波处理后得到的图像I(x,y)的频谱函数，同态滤波器式中，表示任意(u,v)点距离滤波器中心(u0,v0)的距离，w和h分别为图像I(x,y)的宽和高；D0为截止频率，Rh和Rl分别为高频增益系数和低频增益系数，常数c满足Rl＜c＜Rh；(u,v)为图像中像素点在频率域的坐标；
步骤3-4，对频谱函数s(u,v)取傅里叶逆变换；计算公式如下，
S(x,y)＝R′(x,y)+L′(x,y)
其中，S(x,y)、R′(x,y)和L′(x,y)分别是s(u,v)、h(u,v)r(u,v)和h(u,v)l(u,v)的傅里叶逆变换结果；
步骤3-5，对步骤3-4傅里叶逆变换结果取指数运算获得经过同态滤波增强后的图像G(x,y)；计算公式如下，
G(x,y)＝eS(x,y)＝eR′(x,y)eL′(x,y)＝R0(x,y)L0(x,y)
其中，R0(x,y)和L0(x,y)分别为R′(x,y)和L′(x,y)取指数运算后的结果。
进一步，步骤3中所述Canny算法所使用上限阈值和下限阈值的确定方法为：计算图像I(x,y)的梯度直方图；对图像梯度直方图累加，当累加数目达到总像素数目的一定比例Hr时，对应的图像梯度值作为上限阈值；下限阈值通过上限阈值乘以比例因子Lr得到，其中，0<Hr＜1,0<Lr＜1。
进一步，步骤4中采用基于随机Hough变换的方法对图像边缘信息进行椭圆拟合的过程为：
步骤4-1，在图像I(x,y)中随机选择三个边缘点，设为X1、X2和X3；
步骤4-2，对边缘点X1、X2和X3相邻像素的一个小窗口使用最小二乘法拟合出一条直线来得到三个边缘点的切线；
步骤4-3，确定椭圆的中心坐标(x0,y0)；具体为，记边缘点X1与X2两点切线的交点为T12，X2与X3两点切线的交点为T23，两条线段X1X2以及X2X3的中点分别为M12和M23，则椭圆的中心坐标(x0,y0)为T12M12和T23M23的交点；
步骤4-4，将边缘点X1、X2和X3的坐标以及椭圆中心坐标(x0,y0)代入到椭圆方程a(x-x0)2+2b(x-x0)(y-y0)+c(y-y0)2＝1中求解获得椭圆参数a、b和c的值，从而获得椭圆；
步骤4-5，计算步骤5-4所获得椭圆与预先保存在累加器数组中的椭圆之间的相似度，当相似度超出的阈值时，则用这该两个椭圆的平均来替换累加器数组中的椭圆，同时将累加器的计数值score加1；
步骤4-6，重复执行步骤4-1到4-5一定次数，当某个候选椭圆的计数值score超过了阈值，则认为该椭圆即为一个被检测出的椭圆，将该椭圆参数保存在另一个数组中，同时将其从图像和累加器数组中删除；
步骤4-7，当随机Hough变换的循环数目达到预先设定的最大值或者所有椭圆均被检测出后，停止Hough变换算法。
进一步，步骤5中，提取椭圆所在区域的方向梯度直方图特征的过程为：
步骤5-1，以椭圆的中心点为中心，以椭圆长轴为边长的正方形区域图像作为待分类目标图像，对其进行灰度化处理，记为图像I′(x,y)；
步骤5-2，采用Gamma校正法对图像I′(x,y)进行规范化处理；计算公式如下，
I″(x,y)＝I′(x,y)r
其中，r为Gamma值，I″(x,y)为Gamma校正后的图像；
步骤5-3，计算图像I″(x,y)中每个像素的水平和垂直方向的梯度及边缘强度，并据此计算每个像素的梯度方向值g(x,y)；计算公式如下，
gx(x,y)＝I″(x+1,y)-I″(x-1,y)
gy(x,y)＝I″(x,y+1)-I″(x,y-1)
gx(x,y)和gy(x,y)分别表示每个像素在x和y方向上的梯度值；
步骤5-4，将图像I″(x,y)划分成若干个细胞单元cells，计算每个细胞单元cell的方向梯度直方图，并对直方图进行归一化处理，构成每个细胞单元cell的特征描述子；
步骤5-5，将若干个细胞单元cell组合成一个块block，将一个块block内所有细胞单元cell的归一化方向梯度直方图特征描述子串联起来构成该块block的方向梯度直方图特征描述子；
步骤5-6，将图像I″(x,y)内所有块block的方向梯度直方图特征描述子串联起来得到该图像的方向梯度直方图特征描述子，作为椭圆区域的特征向量。
作为一个实施例，使用上述方法的带电作业机器人包括绝缘斗臂车，搭载在绝缘斗臂车上的机器人平台，安装在机器人平台上的机械臂，括数据采集系统以及数据处理和控制系统；所述数据采集系统包括设置在机器人平台上的摄像机，摄像机用于采集机械臂作业场景图像，并将所述作业场景图像发送给数据处理和控制系统；所述数据处理和控制系统根据所述作业场景图像生成3D虚拟作业场景或者规划出机械臂空间路径。
进一步，所述数据处理和控制系统包括第一工控机、第二工控机，第二工控机内置图像处理器和带电作业动作序列库；所述带电作业动作序列库中预先存储有各项带电作业对应的动作序列数据；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的机械臂与作业对象之间的相对位置关系，第二工控机所述相对位置关系以及具体带电作业所对应的动作序列规划机械臂的空间路径，并将所述机械臂的空间路径数据发送给第一工控机；第一工控机根据所述机械臂的空间路径控制机械臂动作。
进一步，所述绝缘斗臂车上设置有控制室，所述数据处理和控制系统包括第一工控机、第二工控机、显示屏和主操作手，第二工控机内置图像处理器，显示屏和主操作手位于控制室内；主操作手与机械臂为主从操作关系，通过改变主操作手的姿态控制机械臂运动；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的3D虚拟作业场景，并送显示器显示。
本发明与现有技术相比，其显著优点在于，(1)本发明在作业环境有雾霾或者强光照时，通过分别采用带颜色恢复的多尺度Retinex算法和同态滤波方法，可以使相机采集到的图像中的作业目标信息更加突出，便于识别；(2)本发明采用基于随机Hough变换和SVM目标识别方法，在实现快速识别的同时，可以排除螺孔的影响，提高对目标螺栓的识别准确度。
附图说明
图1为本发明带电作业机器人的整体结构示意图；
图2为本发明中绝缘斗臂车的系统组成框图；
图3为本发明中机器人平台的结构示意图；
图4为本发明中机械臂的结构示意图。
图5为本发明在复杂背景下基于随机Hough变换和SVM的带电作业机器人螺栓识别方法流程图。
图6为发明中使用随机Hough变换进行椭圆拟合的示意图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明复杂背景下基于随机Hough变换和SVM的带电作业机器人螺栓识别方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
结合附图，带电作业机器人包括绝缘斗臂车1、控制室2、伸缩臂3、机器人平台4。其中，绝缘斗臂车1上架设控制室2和伸缩臂3，伸缩臂3末端连接机器人平台4，机器人平台4与控制室2之间采用光纤以太网通信或者无线网络通信。
绝缘斗臂车1可供操作人员驾驶，从而将机器人平台4运输到作业现场。绝缘斗臂车1上装有支撑腿，支撑腿可以展开，从而将绝缘斗臂车1与地面稳固支撑。绝缘斗臂车1上装有发电机，从而给控制室2及伸缩臂3供电。
伸缩臂3设有沿伸缩方向的驱动装置，操作人员可以通过控制驱动装置，从而将机器人平台4升降到作业高度。该伸缩臂3由绝缘材料制成，用于实现机器人平台4与控制室2的绝缘。在本发明中，伸缩臂3可有由剪叉式升降机构或其他机构代替。
作为一种实施方式，控制室2中设置有第二工控机、显示屏、第一主操作手、第二主操作手、辅助主操作手以及通信模块等。
作为一种实施方式，机器人平台4包括绝缘子46、第一机械臂43、第二机械臂44、辅助机械臂42、第一工控机48、双目摄像头45、全景摄像头41、深度摄像头410、蓄电池49、专用工具箱47、通信模块。
机器人平台4的绝缘子46用于支撑第一机械臂43、第二机械臂44、辅助机械臂42，将这三个机械臂的外壳与机器人平台4绝缘。
蓄电池49为第一工控机48、第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410、通信模块供电。
作为一种实施方式，双目摄像头45一共有三个，分别安装在第一机械臂43、第二机械臂44和辅助机械臂42的腕关节437上，负责采集作业场景的图像数据，并将图像数据发送给第二工控机。双目摄像头45由两个光轴平行的工业相机组成，平行光轴之间的距离固定。
深度摄像头410安装在机器人平台4正对作业场景的侧面，负责采集作业场景的景深数据，将景深数据发送给第二工控机。
全景摄像头41通过支架安装在机器人平台4的上方，负责采集作业场景的全景图像数据，将图像数据发送给第二工控机，并显示在显示器上，作业人员可以通过全景图像监控作业场景。
专用工具箱47是放置抓具、扳手等作业工具的场所。机械臂末端安装有工具快换装置。机械臂根据作业任务的类型到专用工具箱47中使用工具快换装置获取作业工具。
控制室2中第一主操作手、第二主操作手以及辅助主操作手是一种用于人工远程操作机械臂的操作装置，他们与第一机械臂43、第二机械臂44和辅助机械臂42构成主从操作关系。机械臂和主操作手具有相同的结构，只是主操作手尺寸规格比机械臂小，以便于操作人员操作。机械臂和主操作手拥有六个关节，每个关节都有光电编码器采集角度数据，各主操作手的微型控制器通过串口将六个关节的角度数据发送给第二工控机。
作为本发明一个实施例，所述机械臂为六自由度机构，包括基座431，旋转轴方向与基座平面垂直的腰关节432，与腰关节432连接的肩关节433，与肩关节433连接的大臂434，与大臂434连接的肘关节435，与肘关节435连接的小臂436，与小臂436连接的腕关节437，腕关节437由三个旋转关节组成，分别为腕俯仰关节、腕摇摆关节和腕旋转关节；所述六自由度机构中各个关节均具有相应的正交旋转编码器31和伺服驱动电机，正交旋转编码器31用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；第一工控机根据所述机械臂的空间路径解算出各关节的运动角度，控制伺服驱动电机按照所述运动角度控制机械臂各关节运动。
作为一种实施方式，机器人平台4与控制室2之间的数据传输通过光纤有线传输，或者使用无线网络传输。机器人平台4上的通信模块是光纤收发器，光纤收发器用于实现光纤中的光信号与双绞线中的电信号的相互转换，从而在通信上实现机器人平台4与控制室2的电气隔离。控制室2中的通信模块是光纤收发器，光纤收发器用于实现光纤中的光信号与双绞线中的电信号的相互转换，从而在通信上实现机器人平台4与控制室2的电气隔离。
作为一种实施方式，第二工控机可以完成以下任务：
建立动作序列库。预先将各项带电作业任务分解为作用序列，组成动作序列库，存储在第二工控机中，用于机械臂路径规划。
建立作业对象模型库。预先制作各项带电作业任务所涉及的作业对象的三维模型和目标识别模型，例如，根据电力塔杆、电线、耐张绝缘子、隔离刀闸、避雷器等器件实物，制作三维模型和目标识别模型，用于带电作业机器人自动识别作业对象，构建作业场景三维虚拟场景。
建立机械臂和专用工具模型库。预先制作机械臂和专用工具的三维模型和目标识别模型，例如，扳手等，用于带电作业机器人自动构建作业场景三维虚拟场景，规划机械臂空间路径。
获取图像数据。获取全景图像、深度图像和双目图像的数据信息。
根据图像数据识别和跟踪作业目标。
获取主操作手的角度、角速度和角加速度数据，获取机械臂的角度、角速度和角加速度数据。
对相关图像数据进行处理和计算，获取机械臂位置，获取作业对象的位置，获取机械臂与作业对象之间的相对位置，并根据相对位置和作业任务规划机械臂的空间路径。
根据图像数据构建作业对象三维场景，根据机械臂角度信息和作业对象三维场景获得机械臂与作业对象的相对位置，并根据相对位置和作业任务规划机械臂的空间路径。
对相关图像数据进行处理和计算，构建3D虚拟作业场景，送显示器显示，操作人员根据3D虚拟作业场景监控作业过程。与全景图像相比，3D虚拟作业场景综合和深度图像信息和双目图像信息，对机器臂与作业对象之间、机械臂之间、作业对象与作业环境之间的相对位置的判断更精确，且不会存在视觉死角。因此，操作人员通过3D虚拟作业场景进行作业监控，操作精度更高，可以防止碰撞发生，提高了安全性。同时，3D虚拟作业场景显示在控制室2中的显示器上，远离机械臂作业现场，提高了人作业人员的人身安全。
作为一种实施方式，第一工控机可以完成以下任务：
根据第二工控机发送的主操作手各关节的角度信息，控制机械臂各关节的运动。
获取第二工控机发送的机械臂的空间路径数据，根据作业任务的动作序列，解算出机械臂各关节的角度数据运动量，并控制机械臂各关节运动。
本发明中，第一机械臂和第二机械臂相互配合，可以模仿人的两个手的作业顺序完成带电作业。考虑到灵活性，可以再增加一个强壮的辅助机械臂，此时，辅助机械臂专司器件夹持等力道大的动作，第一机械臂和第二机械臂则进行相关业务操作。
根据第二工控机和第一工控机完成的不同任务的组合，本发明带电作业机器人既可以由作业人员进行远程摇操作以完成带电作业，又可以进行自主带电作业。在进行带电作业之前，作业人员先通过观察全景图像，将机器人平台4移动至作业对象附近。
如果选择人工远程摇操作，则由第二工控机根据数目图像和深度图像构建3D虚拟作业场景并送显示器显示，作业人员通过3D虚拟作业场景监控操作过程，通过主操作手控制机械臂的动作，以完成带电作业。在此过程中，作业人员改变主操作手姿态后，主操作手中各关节的光电编码器采集各关节角度，各主操作手的微型控制器通过串口将各关节的角度数据发送给第二工控机。第二工控机将主操作手各关节的角度数据作为机械臂各关节角度的期望值发送给第一工控机，第一工控机根据角度期望值通过伺服电机控制机械臂各关节的运动，已完成带电作业。
如果选择自主作业，则由第二工控机根据数目图像和深度图像计算获取作业对象和机械臂之间的相对位置关系，然后依据作业任务所对应的动作序列进行机械臂空间路径规划，并将空间路径发送给第一工控机，第一工控机解算出机械臂各关节需要转动的角度数据作为机械臂各关节角度的期望值，通过伺服电机控制机械臂各关节的运动，已完成带电作业。
结合附图，带电作业机器人在进行各种作业任务操作过程中，首先要做的就是对螺栓的识别与操作。而实际中，螺栓的几何形状为正六边形，考虑到在双目摄像头采集螺栓图像时拍摄角度的因素，拍摄到的图像中螺栓的几何形状并非为正六边形，所以本发明采用椭圆模型来进行螺栓的识别。本发明基于随机Hough变换和SVM的带电作业机器人螺栓识别方法，包括以下步骤：
步骤1，采集包括螺栓在内的第一帧双目图像I(x,y)；
步骤2，判断是否有雾霾情况，若是，采用带颜色恢复的多尺度Retinex算法(MSRCR)对图像进行增强和恢复，获得去除雾霾影响的图像，然后执行步骤4，若否，则执行步骤3；
所述MSRCR算法的步骤为：
步骤2-1，对图像I(x,y)的第i个颜色通道Ii(x,y)取对数，分离出反射分量和入射分量；
ln Ii(x,y)＝ln[Ri(x,y)·Li(x,y)]＝ln Ri(x,y)+ln Li(x,y),i＝1,···,N
其中，Ii(x,y)＝Ri(x,y)·Li(x,y)，Ri(x,y)和Li(x,y)分别为图像I(x,y)的第i个颜色通道的反射分量和入射分量，N是图像I(x,y)的彩色通道个数，N＝1表示图像是灰度图像，N＝3表示图像是彩色图像，(x,y)为图像像素点空间域坐标。
步骤2-2，分别计算在尺度k＝1,2,3下，高斯环绕函数Fk(x,y)的值；尺度k下高斯环绕函数其中，σk是在k尺度下的尺度常数，σ1<50为一个小尺度，50≤σ2<100为一个中尺度，σ3≥100为一个大尺度，本实施例取σ1＝15，σ2＝80，σ3＝120。
步骤2-3，采用高斯环绕函数Fk(x,y)作为低通滤波器对图像I(x,y)的第i个颜色通道Ii(x,y)进行卷积处理得到在尺度k＝1,2,3下的低频图像Dik(x,y)；
Dik(x,y)＝Ii(x,y)*Fk(x,y)i＝1,···,N k＝1,2,3
步骤2-4，计算图像I(x,y)的第i个颜色通道Ii(x,y)在尺度k＝1,2,3下的中高频增强图像Gik(x,y)；
Gik(x,y)＝ln Ii(x,y)-ln Dik(x,y)i＝1,···,N k＝1,2,3
步骤2-5，计算图像I(x,y)的第i个颜色通道Ii(x,y)的未带颜色恢复的增强图像Ri'(x,y)；
其中，Wk是k尺度下高斯环绕函数Fk(x,y)的相关权重，本实施例取W1＝W2＝W3＝1/3。
步骤2-6，计算图像I(x,y)的第i个颜色通道Ii(x,y)的恢复系数Ci(x,y)；
其中，α为非线性强度控制因子。
步骤2-7，计算图像I(x,y)的第i个颜色通道Ii(x,y)经过MSRCR处理后，带颜色恢复的增强图像的第i个颜色通道
步骤3，判断图像是否是高光图像，若是，采用同态滤波方法对图像进行增强，然后执行步骤4，若否，直接执行步骤4；
所述判断是否有高光现象的过程为：首先，将获取的图像转化为灰度图像，若灰度图像中大于高光灰度阈值的像素个数所占比例超过设定的比例，则有高光现象；否则没有高光现象；
所述采用同态滤波方法对图像进行增强的具体过程为：
步骤3-1，对图像I(x,y)用对数处理，获得其反射分量和入射分量分离；
Z(x,y)＝ln I(x,y)＝ln R(x,y)+ln L(x,y)
其中，Z(x,y)是I(x,y)的对数变换结果,R(x,y)和L(x,y)分别为图像I(x,y)的反射分量和入射分量，I(x,y)＝R(x,y)·L(x,y)；
步骤3-2，对步骤3-1得到的对数变换结果Z(x,y)取傅里叶变换；
z(u,v)＝r(u,v)+l(u,v)
其中，z(u,v)、r(u,v)、l(u,v)分别表示Z(x,y)、ln R(x,y)、ln L(x,y)的傅里叶变换结果；
步骤3-3，使用一个阻带宽可调的巴特沃斯型带阻滤波器作为同态滤波器h(u,v)对步骤3-2得到的傅里叶变换结果z(u,v)进行滤波处理，表达式如下：
s(u,v)＝h(u,v)z(u,v)＝h(u,v)r(u,v)+h(u,v)l(u,v)
其中，s(u,v)为经过同态滤波器h(u,v)滤波处理后得到的图像I(x,y)的频谱函数，同态滤波器式中，表示任意(u,v)点距离滤波器中心(u0,v0)的距离，w和h分别为图像I(x,y)的宽和高；D0为截止频率，Rh和Rl分别为高频增益系数和低频增益系数，常数c满足Rl＜c＜Rh；(u,v)为图像中像素点在频率域的坐标。
步骤3-4，对步骤3-3得到的频谱函数s(u,v)取傅里叶逆变换；
S(x,y)＝R′(x,y)+L′(x,y)
其中，S(x,y)、R′(x,y)和L′(x,y)分别是s(u,v)、h(u,v)r(u,v)和h(u,v)l(u,v)的傅里叶逆变换结果；
步骤3-5，对步骤3-4傅里叶逆变换结果取指数运算即可获得经过同态滤波增强后的图像G(x,y)；
G(x,y)＝eS(x,y)＝eR′(x,y)eL′(x,y)＝R0(x,y)L0(x,y)
其中，R0(x,y)和L0(x,y)分别为R′(x,y)和L′(x,y)取指数运算后的结果；
步骤4，采用自适应阈值选取的Canny算法提取经过增强处理后的图像边缘，具体步骤为：
步骤4-1，计算图像的梯度直方图；
步骤4-2，确定上限阈值和下限阈值；方法为：对图像梯度直方图累加，当累加数目达到总像素数目的一定比例Hr时，对应的图像梯度值作为上限阈值，下限阈值通过上限阈值乘以比例因子Lr得到，其中，0<Hr＜1,0<Lr＜1；因上限阈值和下限阈值随着梯度直方图累加而变化，因此是自适应阈值；
步骤4-3，使用传统Canny算法进行边缘检测；
步骤5，采用基于随机Hough变换的方法对图像边缘信息进行椭圆拟合，具体步骤为：
步骤5-1，在图像I(x,y)中随机选择三个边缘点，设为X1、X2和X3；
步骤5-2，对边缘点X1、X2和X3相邻像素的一个小窗口使用最小二乘法拟合出一条直线来得到三个边缘点的切线；
步骤5-3，确定椭圆的中心坐标(x0,y0)；方法为：如图2所示，记边缘点X1与X2两点切线的交点为T12，X2与X3两点切线的交点为T23，两条线段X1X2以及X2X3的中点分别为M12和M23，则椭圆的中心坐标(x0,y0)为T12M12和T23M23的交点；
步骤5-4，将边缘点X1、X2和X3坐标以及椭圆中心坐标(x0,y0)代入到椭圆方程a(x-x0)2+2b(x-x0)(y-y0)+c(y-y0)2＝1中求解得到椭圆参数a、b和c的值；
步骤5-5，计算利用步骤5-4得到的椭圆与预先保存在累加器数组中的椭圆之间的相似度，一旦相似度超出了某个预定义的阈值，就用这两个椭圆的平均来替换掉累加器数组中的椭圆，同时将累加器的score加1；
步骤5-6，重复执行步骤5-1到5-5一定次数，一旦某个候选椭圆的score超过了某个阈值，这个椭圆就是一个被检测出的椭圆，将该椭圆参数保存在一个数组中，同时将其从图像和累加器数组中删除；
步骤5-7，当随机Hough变换的循环数目达到预先设定的最大值或者所有椭圆都被检测出时，Hough变换算法停止。
步骤6，判断拟合出的椭圆数目是否等于1，若是，则椭圆所在区域即为螺栓，结束，若否，执行步骤7；
步骤7，对识别出的多个椭圆区域进行方向梯度直方图(Histogram of OrientedGradient,HOG)特征提取；
所述提取椭圆区域HOG特征的具体步骤为：
步骤7-1，以椭圆的中心点为中心，以椭圆长轴为边长的正方形区域图像作为待分类目标图像，对其进行灰度化处理，记为图像I′(x,y)；
步骤7-2，采用Gamma校正法对图像I′(x,y)进行规范化处理；
I″(x,y)＝I′(x,y)r
其中，r为Gamma值，I″(x,y)为Gamma校正后的图像；
步骤7-3，计算图像I″(x,y)中每个像素的水平和垂直方向的梯度及边缘强度，并据此计算每个像素的梯度方向值g(x,y)；
gx(x,y)＝I″(x+1,y)-I″(x-1,y)
gy(x,y)＝I″(x,y+1)-I″(x,y-1)
gx(x,y)和gy(x,y)分别表示每个像素在x和y方向上的梯度值。
步骤7-4，将图像I″(x,y)划分成若干个细胞单元cells，计算每个细胞单元cell的方向梯度直方图，并对直方图进行归一化处理，构成每个细胞单元cell的特征描述子；
步骤7-5，将几个细胞单元cell组合成一个块block，将一个块block内所有细胞单元cell的归一化方向梯度直方图特征描述子串联起来构成该块block的HOG特征描述子；
步骤7-6，将图像I″(x,y)内所有块block的HOG特征描述子串联起来得到该图像的HOG特征描述子，作为椭圆区域的特征向量；
步骤8，采用基于SVM的目标识别方法对拟合结果进行分类识别，正确识别螺栓。
所述基于SVM目标识别方法为：利用大量包含识螺栓在内的正样本和不包含螺栓的负样本，训练并寻找到一个能够满足分类要求并且具有最大分类间隔的最佳分类超平面；将该最佳分类超平面作为SVM分类器；将提取到的HOG特征作为SVM分类特征，输入到SVM分类器中对拟合出的椭圆进行分类，从而正确识别出目标螺栓。

Claims (9)

1.一种复杂背景下基于随机Hough变换和SVM的带电作业机器人螺栓识别方法，其特征在于，步骤如下：
步骤1，使用双目摄像头采集包括螺栓在内的作业场景双目图像；
步骤2，根据图像判断是否有雾霾存在，若存在雾霾，则采用带颜色恢复的多尺度Retinex方法对图像进行增强和恢复，然后执行步骤3；若不存在雾霾，则进一步判断图像中是否有高光现象，若存在高光现象，则采用同态滤波方法对图像进行增强，然后执行步骤3，若不存在高光现象否，则直接执行步骤3；
步骤3，采用Canny算法提取图像边缘；
步骤4，采用基于随机Hough变换的方法对图像边缘信息进行椭圆拟合；判断拟合出的椭圆数目是否等于1，若等于1，则椭圆所在区域即为螺栓，完成螺栓识别；若不等于1，则进行步骤5；
步骤5，对识别出的多个椭圆所在区域进行方向梯度直方图特征提取；采用基于支持向量机的目标识别方法对多个椭圆拟合结果进行分类识别，正确识别出螺栓。
2.如权利要求1所述带电作业机器人螺栓识别方法，其特征在于，步骤2中所述采用带颜色恢复的多尺度Retinex方法对图像进行增强和恢复的步骤为：
步骤2-1，对双目图像I(x,y)的第i个颜色通道Ii(x,y)取对数，分离出反射分量和入射分量；
ln Ii(x,y)＝ln[Ri(x,y)·Li(x,y)]＝ln Ri(x,y)+ln Li(x,y),i＝1,…,N
其中，Ii(x,y)＝Ri(x,y)·Li(x,y)，Ri(x,y)和Li(x,y)分别为图像I(x,y)的第i个颜色通道的反射分量和入射分量，N是图像I(x,y)的彩色通道个数，N＝1表示图像是灰度图像，N＝3表示图像是彩色图像，(x,y)为图像像素点空间域坐标；
步骤2-2，采用高斯环绕函数Fk(x,y)作为低通滤波器对图像I(x,y)的第i个颜色通道Ii(x,y)进行卷积处理得到在尺度k＝1,2,3下的低频图像Dik(x,y)；计算公式如下，
Dik(x,y)＝Ii(x,y)*Fk(x,y)i＝1,…,N k＝1,2,3
其中，尺度k＝1,2,3下的高斯环绕函数其中，σk是在k尺度下的尺度常数，σ1<50为一个小尺度，50≤σ2<100为一个中尺度，σ3≥100为一个大尺度；
步骤2-3，计算图像I(x,y)的第i个颜色通道Ii(x,y)在尺度k＝1,2,3下的中高频增强图像Gik(x,y)；计算公式如下，
Gik(x,y)＝ln Ii(x,y)-ln Dik(x,y)i＝1,…,N k＝1,2,3
步骤2-4，计算图像I(x,y)的第i个颜色通道Ii(x,y)的未带颜色恢复的增强图像R′i(x,y)；计算公式如下，
<mrow> <msubsup> <mi>R</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>W</mi> <mi>k</mi> </msub> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
其中，Wk是k尺度下高斯环绕函数Fk(x,y)的相关权重；
步骤2-5，计算图像I(x,y)的第i个颜色通道Ii(x,y)的恢复系数Ci(x,y)；计算公式如下，
<mrow> <msub> <mi>C</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>l</mi> <mi>n</mi> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <msub> <mi>&amp;alpha;I</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>I</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，α为非线性强度控制因子；
步骤2-6，计算图像I(x,y)的第i个颜色通道Ii(x,y)带颜色恢复的增强图像的第i个颜色通道计算公式如下，
<mrow> <msub> <mi>R</mi> <mrow> <msub> <mi>MSRCR</mi> <mi>i</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <msubsup> <mi>R</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
3.如权利要求1所述带电作业机器人螺栓识别方法，其特征在于，步骤2中所述采用同态滤波方法对图像进行增强的过程为：
步骤3-1，对双目图像I(x,y)用对数处理，获得其反射分量和入射分量分离，计算公式如下，
Z(x,y)＝ln I(x,y)＝ln R(x,y)+ln L(x,y)
其中，Z(x,y)是I(x,y)的对数变换结果，R(x,y)和L(x,y)分别为图像I(x,y)的反射分量和入射分量，I(x,y)＝R(x,y)·L(x,y)；
步骤3-2，对步骤3-1得到的对数变换结果Z(x,y)取傅里叶变换；计算公式如下，
z(u,v)＝r(u,v)+l(u,v)
其中，z(u,v)、r(u,v)、l(u,v)分别表示Z(x,y)、ln R(x,y)、ln L(x,y)的傅里叶变换结果；
步骤3-3，使用一个阻带宽可调的巴特沃斯型带阻滤波器作为同态滤波器h(u,v)对步骤3-2得到的傅里叶变换结果z(u,v)进行滤波处理，表达式如下：
s(u,v)＝h(u,v)z(u,v)＝h(u,v)r(u,v)+h(u,v)l(u,v)
其中，s(u,v)为经过同态滤波器h(u,v)滤波处理后得到的图像I(x,y)的频谱函数，同态滤波器式中，表示任意(u,v)点距离滤波器中心(u0,v0)的距离，w和h分别为图像I(x,y)的宽和高；D0为截止频率，Rh和Rl分别为高频增益系数和低频增益系数，常数c满足Rl＜c＜Rh；(u,v)为图像中像素点在频率域的坐标；
步骤3-4，对频谱函数s(u,v)取傅里叶逆变换；计算公式如下，
S(x,y)＝R′(x,y)+L′(x,y)
其中，S(x,y)、R′(x,y)和L′(x,y)分别是s(u,v)、h(u,v)r(u,v)和h(u,v)l(u,v)的傅里叶逆变换结果；
步骤3-5，对步骤3-4傅里叶逆变换结果取指数运算获得经过同态滤波增强后的图像G(x,y)；计算公式如下，
G(x,y)＝eS(x,y)＝eR′(x,y)eL′(x,y)＝R0(x,y)L0(x,y)
其中，R0(x,y)和L0(x,y)分别为R′(x,y)和L′(x,y)取指数运算后的结果。
4.如权利要求1所述带电作业机器人螺栓识别方法，其特征在于，步骤3中所述Canny算法所使用上限阈值和下限阈值的确定方法为：
计算图像I(x,y)的梯度直方图；对图像梯度直方图累加，当累加数目达到总像素数目的一定比例Hr时，对应的图像梯度值作为上限阈值；下限阈值通过上限阈值乘以比例因子Lr得到，其中，0<Hr＜1,0<Lr＜1。
5.如权利要求1所述带电作业机器人螺栓识别方法，其特征在于，步骤4中采用基于随机Hough变换的方法对图像边缘信息进行椭圆拟合的过程为：
步骤4-1，在图像I(x,y)中随机选择三个边缘点，设为X1、X2和X3；
步骤4-2，对边缘点X1、X2和X3相邻像素的一个小窗口使用最小二乘法拟合出一条直线来得到三个边缘点的切线；
步骤4-3，确定椭圆的中心坐标(x0,y0)；具体为，记边缘点X1与X2两点切线的交点为T12，X2与X3两点切线的交点为T23，两条线段X1X2以及X2X3的中点分别为M12和M23，则椭圆的中心坐标(x0,y0)为T12M12和T23M23的交点；
步骤4-4，将边缘点X1、X2和X3的坐标以及椭圆中心坐标(x0,y0)代入到椭圆方程a(x-x0)2+2b(x-x0)(y-y0)+c(y-y0)2＝1中求解获得椭圆参数a、b和c的值，从而获得椭圆；
步骤4-5，计算步骤5-4所获得椭圆与预先保存在累加器数组中的椭圆之间的相似度，当相似度超出的阈值时，则用这该两个椭圆的平均来替换累加器数组中的椭圆，同时将累加器的计数值score加1；
步骤4-6，重复执行步骤4-1到4-5一定次数，当某个候选椭圆的计数值score超过了阈值，则认为该椭圆即为一个被检测出的椭圆，将该椭圆参数保存在另一个数组中，同时将其从图像和累加器数组中删除；
步骤4-7，当随机Hough变换的循环数目达到预先设定的最大值或者所有椭圆均被检测出后，停止Hough变换算法。
6.如权利要求1所述带电作业机器人螺栓识别方法，其特征在于，步骤5中，提取椭圆所在区域的方向梯度直方图特征的过程为：
步骤5-1，以椭圆的中心点为中心，以椭圆长轴为边长的正方形区域图像作为待分类目标图像，对其进行灰度化处理，记为图像I′(x,y)；
步骤5-2，采用Gamma校正法对图像I′(x,y)进行规范化处理；计算公式如下，
I″(x,y)＝I′(x,y)r
其中，r为Gamma值，I″(x,y)为Gamma校正后的图像；
步骤5-3，计算图像I″(x,y)中每个像素的水平和垂直方向的梯度及边缘强度，并据此计算每个像素的梯度方向值g(x,y)；计算公式如下，
gx(x,y)＝I″(x+1,y)-I″(x-1,y)
gy(x,y)＝I″(x,y+1)-I″(x,y-1)
<mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msub> <mi>g</mi> <mi>x</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>g</mi> <mi>y</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
gx(x,y)和gy(x,y)分别表示每个像素在x和y方向上的梯度值；
步骤5-4，将图像I″(x,y)划分成若干个细胞单元cells，计算每个细胞单元cell的方向梯度直方图，并对直方图进行归一化处理，构成每个细胞单元cell的特征描述子；
步骤5-5，将若干个细胞单元cell组合成一个块block，将一个块block内所有细胞单元cell的归一化方向梯度直方图特征描述子串联起来构成该块block的方向梯度直方图特征描述子；
步骤5-6，将图像I″(x,y)内所有块block的方向梯度直方图特征描述子串联起来得到该图像的方向梯度直方图特征描述子，作为椭圆区域的特征向量。
7.如权利要求1所述带电作业机器人螺栓识别方法，其特征在于，带电作业机器人包括绝缘斗臂车，搭载在绝缘斗臂车上的机器人平台，安装在机器人平台上的机械臂，括数据采集系统以及数据处理和控制系统；所述数据采集系统包括设置在机器人平台上的摄像机，摄像机用于采集机械臂作业场景图像，并将所述作业场景图像发送给数据处理和控制系统；所述数据处理和控制系统根据所述作业场景图像生成3D虚拟作业场景或者规划出机械臂空间路径。
8.如权利要求7所述带电作业机器人螺栓识别方法，其特征在于，所述数据处理和控制系统包括第一工控机、第二工控机，第二工控机内置图像处理器和带电作业动作序列库；
所述带电作业动作序列库中预先存储有各项带电作业对应的动作序列数据；
所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的机械臂与作业对象之间的相对位置关系，第二工控机所述相对位置关系以及具体带电作业所对应的动作序列规划机械臂的空间路径，并将所述机械臂的空间路径数据发送给第一工控机；
第一工控机根据所述机械臂的空间路径控制机械臂动作。
9.如权利要求7所述带电作业机器人，其特征在于，所述绝缘斗臂车上设置有控制室，所述数据处理和控制系统包括第一工控机、第二工控机、显示屏和主操作手，第二工控机内置图像处理器，显示屏和主操作手位于控制室内；主操作手与机械臂为主从操作关系，通过改变主操作手的姿态控制机械臂运动；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的3D虚拟作业场景，并送显示器显示。
CN201611129642.7A 2016-12-09 2016-12-09 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法 Pending CN107067018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611129642.7A CN107067018A (zh) 2016-12-09 2016-12-09 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611129642.7A CN107067018A (zh) 2016-12-09 2016-12-09 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法

Publications (1)

Publication Number Publication Date
CN107067018A true CN107067018A (zh) 2017-08-18

Family

ID=59618797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611129642.7A Pending CN107067018A (zh) 2016-12-09 2016-12-09 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法

Country Status (1)

Country Link
CN (1) CN107067018A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086734A (zh) * 2018-08-16 2018-12-25 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN109169460A (zh) * 2018-08-17 2019-01-11 江苏大学 一种基于自主作业船的河蟹养殖饵料精确投喂方法
CN110276729A (zh) * 2019-06-10 2019-09-24 浙江工业大学 一种低照度彩色图像的增强方法
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110717923A (zh) * 2019-09-21 2020-01-21 南京鑫和汇通电子科技有限公司 一种能够快速识别电线的刀闸状态检测方法
CN110909751A (zh) * 2019-11-26 2020-03-24 长沙理工大学 用于变电站绝缘子清扫机器人的视觉识别方法、系统及介质
WO2020107321A1 (zh) * 2018-11-29 2020-06-04 唐山曹妃甸联城科技有限公司 一种基于Retinex的微光图像增强方法及其装置
CN111696023A (zh) * 2019-03-26 2020-09-22 泰州市海陵区一马商务信息咨询有限公司 多参数并行解析方法
CN115205286A (zh) * 2022-09-13 2022-10-18 国网天津市电力公司建设分公司 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
CN118096559A (zh) * 2024-04-25 2024-05-28 吉林省中业光电技术有限公司 一种基于多信道图像融合的视景增强方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195481A1 (en) * 2011-02-01 2012-08-02 Universidade Da Coruna Method, apparatus, and system for automatic retinal image analysis
CN105740856A (zh) * 2016-01-28 2016-07-06 宁波理工监测科技股份有限公司 一种基于机器视觉的指针式仪表示数读取方法
CN105740829A (zh) * 2016-02-02 2016-07-06 暨南大学 一种基于扫描线处理的指针式仪表自动读数方法
CN105931233A (zh) * 2016-04-19 2016-09-07 长沙理工大学 用于输电线路螺栓紧固机器人的螺栓搜索识别方法
CN205566539U (zh) * 2016-05-09 2016-09-07 陈清早 一种基于h.265压缩标准的机场跑道异物检测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195481A1 (en) * 2011-02-01 2012-08-02 Universidade Da Coruna Method, apparatus, and system for automatic retinal image analysis
CN105740856A (zh) * 2016-01-28 2016-07-06 宁波理工监测科技股份有限公司 一种基于机器视觉的指针式仪表示数读取方法
CN105740829A (zh) * 2016-02-02 2016-07-06 暨南大学 一种基于扫描线处理的指针式仪表自动读数方法
CN105931233A (zh) * 2016-04-19 2016-09-07 长沙理工大学 用于输电线路螺栓紧固机器人的螺栓搜索识别方法
CN205566539U (zh) * 2016-05-09 2016-09-07 陈清早 一种基于h.265压缩标准的机场跑道异物检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
董洋: "基于图像处理的光照不均铁路扣件状态检测", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
陈泽: "基于虚拟现实的危险作业机器人遥操作控制系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086734A (zh) * 2018-08-16 2018-12-25 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN109169460A (zh) * 2018-08-17 2019-01-11 江苏大学 一种基于自主作业船的河蟹养殖饵料精确投喂方法
WO2020107321A1 (zh) * 2018-11-29 2020-06-04 唐山曹妃甸联城科技有限公司 一种基于Retinex的微光图像增强方法及其装置
CN111696023A (zh) * 2019-03-26 2020-09-22 泰州市海陵区一马商务信息咨询有限公司 多参数并行解析方法
CN110276729A (zh) * 2019-06-10 2019-09-24 浙江工业大学 一种低照度彩色图像的增强方法
CN110276729B (zh) * 2019-06-10 2021-12-17 浙江工业大学 一种低照度彩色图像的增强方法
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110378260B (zh) * 2019-07-05 2024-02-06 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110717923A (zh) * 2019-09-21 2020-01-21 南京鑫和汇通电子科技有限公司 一种能够快速识别电线的刀闸状态检测方法
CN110909751A (zh) * 2019-11-26 2020-03-24 长沙理工大学 用于变电站绝缘子清扫机器人的视觉识别方法、系统及介质
CN110909751B (zh) * 2019-11-26 2022-09-02 长沙理工大学 用于变电站绝缘子清扫机器人的视觉识别方法、系统及介质
CN115205286A (zh) * 2022-09-13 2022-10-18 国网天津市电力公司建设分公司 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
CN118096559A (zh) * 2024-04-25 2024-05-28 吉林省中业光电技术有限公司 一种基于多信道图像融合的视景增强方法及设备

Similar Documents

Publication Publication Date Title
CN107067018A (zh) 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法
CN109559310B (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106426186A (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN106493708A (zh) 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN108022235A (zh) 高压输电铁塔关键部件缺陷识别方法
CN103559703A (zh) 基于双目视觉的起重机障碍物监测及预警方法及系统
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
CN106960454A (zh) 景深避障方法、设备及无人飞行器
CN105023014A (zh) 一种无人机巡检输电线路图像内的杆塔目标提取方法
CN114067309B (zh) 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN105872413A (zh) 一种智能航拍系统
CN107818563A (zh) 一种输电线路分裂导线间距空间测量与定位方法
CN107766801A (zh) 一种基于红外热点追踪的绝缘子识别方法及装置
CN106548131A (zh) 一种基于行人检测的施工人员安全帽实时检测方法
CN106826873A (zh) 一种输电线路巡检机器人视觉伺服抓线控制方法
CN114241522A (zh) 现场作业安全穿戴识别方法、系统、设备及存储介质
CN106403924A (zh) 基于深度摄像头的机器人快速定位与姿态估计方法
CN105303162A (zh) 一种基于目标建议算法的航拍图像绝缘子识别算法
CN103544478A (zh) 一种全方位人脸检测的方法及系统
CN118297755B (zh) 一种基于物联网和大数据技术的建筑施工分析管控方法及系统
CN115958605A (zh) 单目红外热成像视觉机械手抓取物体姿态估计装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication