CN113949142A - 一种基于视觉识别的巡线机器人自主充电方法、系统 - Google Patents
一种基于视觉识别的巡线机器人自主充电方法、系统 Download PDFInfo
- Publication number
- CN113949142A CN113949142A CN202111558008.6A CN202111558008A CN113949142A CN 113949142 A CN113949142 A CN 113949142A CN 202111558008 A CN202111558008 A CN 202111558008A CN 113949142 A CN113949142 A CN 113949142A
- Authority
- CN
- China
- Prior art keywords
- image
- inspection robot
- charging device
- charging
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 abstract 1
- 230000002238 attenuated effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
- H02J7/0047—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries with monitoring or indicating devices or circuits
- H02J7/0048—Detection of remaining charge capacity or state of charge [SOC]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
- H02J7/0042—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries characterised by the mechanical construction
- H02J7/0045—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries characterised by the mechanical construction concerning the insertion or the connection of the batteries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S30/00—Systems supporting specific end-user applications in the sector of transportation
- Y04S30/10—Systems supporting the interoperability of electric or hybrid vehicles
- Y04S30/12—Remote or cooperative charging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
一种基于视觉识别的巡线机器人自主充电方法，包括步骤A：将图像识别模块和运动控制模块建立通讯连接；步骤B：获取监测相机的视频帧，对视频帧进行物体识别，包括判断物体是否为充电装置；当判断物体为充电装置时，获取巡线机器人当前剩余电量；步骤C：判断当前剩余电量是否达到充电阈值，步骤D：测算目标充电装置与巡线机器人的实际轮子距离；步骤F：图像识别模块向运动控制模块发送充电指令，运动控制模块根据充电指令执行巡线机器人对接充电装置操作。本发明采用视觉识别方法，遇到充电装置进行电量判断，智能选择是否充电，判断充电装置与巡检机器人实际距离，实现行走轮与充电装置距离的精准把控，保障巡线机器人精准对接充电装置。
Description
技术领域
本发明涉及巡线机器人技术领域，尤其涉及一种基于视觉识别的巡线机器人自主充电方法、系统。
背景技术
随着社会与经济的快速发展，居民与工业用电需求不断攀升。输电线路的安全状态会直接影响到电网的稳定运行与国家的经济发展。配置多个高清相机的巡线机器人作为一种新型、高效、智能的线上巡检设备，正在逐渐替代传统人工巡检的方式，提升线上巡检的工作效率以及巡检精度。
目前，巡线机器人落地项目较少，其充电的控制方式有两种，其一，人工使用地面基站，实时实地在机器人附近操作机器人进行充电操作；其二，人为录制机器人的充电操作步骤，制作成步骤数据库，输入给机器人执行数据库进行充电操作。
而人工跟随机器人充电存在着不少缺点：
（1）机器人巡线效率较低，需要人工去到附近进行操作，而架空输电线一般在郊区、山区，操作员不易靠近；
（2）依赖地面基站的信号，山地信号会不稳定，人工需要去找信号，人力耗费较大。
同样的数据库方式充电也存在着不少缺点：
（1）场景适应性不好，机器人电源受环境温度、使用年限等因素影响，电池容量会衰减，而固定数据库，如果电池衰减后，可能会导致机器人在半路停下，不能自主充电；
（2）人工耗费较大，由于电池衰减，针对衰减情况，需要经常修改数据库。
发明内容
本发明的目的在于针对背景技术中的缺陷，提出一种基于视觉识别的巡线机器人自主充电方法、系统，本发明采用视觉识别方法，能在遇到充电装置进行电量判断，智能进行是否充电的选择，避免因采用数据库方式或人工方式进行充电步骤而导致机器人发生停电故障的情况，同时监测相机判断充电装置与巡检机器人实际距离，实现了行走轮与充电装置距离的精准把控，为后续的巡线机器人精准对接充电装置实现充电的行动提供实际依据。
为达此目的，本发明采用以下技术方案：
一种基于视觉识别的巡线机器人自主充电方法，包括如下步骤：
步骤A：将图像识别模块和运动控制模块建立通讯连接；
步骤B：获取监测相机的视频帧，通过图像识别模块对视频帧进行物体识别，包括判断物体是否为充电装置；
当判断物体为充电装置时，基于电源电量监测模块获取巡线机器人当前剩余电量；
步骤C：判断当前剩余电量是否达到充电阈值，若是，则执行步骤D；
步骤D：获取监测相机的视频帧，通过图像识别模块再次进行物体识别，包括测算目标充电装置与巡线机器人的实际轮子距离，并执行步骤F；
步骤F：所述图像识别模块向运动控制模块发送充电指令，所述运动控制模块根据充电指令执行巡线机器人对接充电装置操作。
优选的，在所述步骤B中，物体识别步骤包括：
步骤B1：获取监测相机的实时视频帧；
步骤B2：对视频帧依次进行图像畸变校正、图像水平校正、图像切片、图像降噪和图像增强操作；
步骤B3：充电装置检测，判断视频帧中是否出现充电装置。
优选的，在所述步骤B2中，所述图像畸变校正包括如下步骤：
监测相机采集棋盘标定板的图像；
依据棋盘标定板的图像获取监测相机的内参数和外参数；
根据内参数和外参数获取畸变参数矩阵；
根据畸变参数矩阵校正视频帧图像。
优选的，所述畸变参数矩阵的公式如下所示：
其中：
u，v表示目标的图像坐标；
R、T表示外参；
优选的，在所述步骤B2中，所述图像水平校正包括如下步骤：
对经过畸变校正后的图像进行霍夫变换得到斜率频域数组；
根据斜率频域数组获取图像中所出现的线的方向；
将出现次数最多的线所在的方向作为图像的方向；
基于出现次数最多的线所对应的斜率频域数组逆向变换进行图像水平校正。
优选的，根据斜率频域数组获取图像中所出现的线的方向包括：
对畸变校正后的图像进行霍夫变换得到斜率频域数组，根据斜率频域数组获取图像中所有直线的斜率，所述斜率即为线所在的方向。
优选的，将出现次数最多的线所在的方向作为图像的方向，基于出现次数最多的线所对应的斜率频域数组逆向变换进行图像水平校正，包括：
统计出现次数最多的斜率，将该斜率作为图像的方向；
获取斜率的旋转角；
根据旋转角逆向变换对图像水平校正。
优选的，在步骤B3中，判断视频帧中是否出现充电装置，包括：
步骤B31：将经过步骤B1和B2处理后的视频帧图像输入训练好的卷积神经网络；
步骤B32:获取视频帧图形中目标的类型和置信度，判断目标为充电装置的置信度是否达到阈值，若是，则判定当前目标为充电装置；若否，则获取下一帧视频帧图像，重新执行步骤B31。
优选的，在所述步骤D中，测算目标充电装置与巡线机器人的实际轮子距离包括：
包括根据公式一和公式二获取目标金具与巡线机器人的实际轮子距离；
其中：
f表示相机焦距；
h表示目标在图像中的像素高度；
H表示目标的实际高度；
d表示比例尺；
其中：
d表示比例尺。
一种基于视觉识别的巡线机器人自主充电系统，应用有任一项所述基于视觉识别的巡线机器人自主充电方法，巡线机器人配置有监测相机、图像识别模块、电源电量监测模块、运动控制模块；
所述监测相机分别用于为图像识别模块提供实时视频帧；
电源电量监测模块用于获取巡线机器人当前剩余电量，判断当前剩余电量是否达到充电阈值；
所述图像识别模块用于对实时的视频帧进行实时目标充电装置检测并计算目标充电装置与轮子的实时距离，并生成充电指令；
所述运动控制模块用于根据充电指令执行巡线机器人对接充电装置的动作。
本申请的技术方案所产生的有益效果：
本发明采用视觉识别方法，能在遇到充电装置进行电量判断，智能进行是否充电的选择，避免因采用数据库方式或人工方式进行充电步骤而导致机器人发生停电故障的情况，同时监测相机判断充电装置与巡检机器人实际距离，实现了行走轮与充电装置距离的精准把控，为后续的巡线机器人精准对接充电装置实现充电的行动提供实际依据。
附图说明
图1是本发明的一个实施例的基于视觉识别的巡线机器人自主充电的流程图；
图2是本发明的一个实施例的图像畸变校正流程图；
图3是本发明的一个实施例的图像水平校正流程图；
图4是本发明一个实施例的高方向上，获取目标到相机的实际距离的示意图；
图5是本发明的一个实施例的基于视觉识别的巡线机器人自主充电系统的框架图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
目前，巡线机器人充电存在人工充电和数据库执行充电两种方式，但两种方式均存在不少缺点，人工跟随机器人充电的缺点：
（1）机器人巡线效率较低，需要人工去到附近进行操作，而架空输电线一般在郊区、山区，操作员不易靠近；
（2）依赖地面基站的信号，山地信号会不稳定，人工需要去找信号，人力耗费较大。
同样的数据库方式充电也存在着不少缺点：
（1）场景适应性不好，机器人电源受环境温度、使用年限等因素影响，电池容量会衰减，而固定数据库，如果电池衰减后，可能会导致机器人在半路停下，不能自主充电；
（2）人工耗费较大，由于电池衰减，针对衰减情况，需要经常修改数据库。
故为了解决上述问题，本申请提出一种基于视觉识别的巡线机器人自主充电方法，如图1所示，具体包括如下步骤：
步骤A：将图像识别模块和运动控制模块建立通讯连接；
步骤B：获取监测相机的视频帧，通过图像识别模块对视频帧进行物体识别，包括判断物体是否为充电装置；
当判断物体为充电装置时，基于电源电量监测模块获取巡线机器人当前剩余电量；
步骤C：判断当前剩余电量是否达到充电阈值，若是，则执行步骤D；
步骤D：获取监测相机的视频帧，通过图像识别模块再次进行物体识别，包括测算目标充电装置与巡线机器人的实际轮子距离，并执行步骤F；
步骤F：所述图像识别模块向运动控制模块发送充电指令，所述运动控制模块根据充电指令执行巡线机器人对接充电装置操作。
在本实施例中，将图像识别模块和运动控制模块建立通讯联系，图像识别模块用于对图像进行识别分析，根据识别分析结果向运动控制模块发送充电指令，使得运动控制模块能够根据充电指令控制巡线机器人对接充电装置执行充电操作。
进一步的，图像识别模块对图像进行识别分析的过程可以为：首先获取监测相机的视频帧，通过对监测相机获取的视频帧进行物体识别，判断是否存在物体，以及判断物体是否为充电装置，当判断存在充电装置时，触发电源电量监测模块获取巡线机器人当前剩余电量，并执行一次电量判断，判断是否需要巡线机器人是否需要充电，若需要充电，则触发图像识别模块，再次获取监测相机的视频帧，再次进行物体识别，本次识别为测算目标充电装置与巡线机器人的轮子之间的实际距离，依据实际距离生成对应的充电指令。
在本实施例中的步骤C所述判断当前剩余电量是否达到充电阈值，其中，充电阈值可被理解为机器人行走到下一个充电站的预估所需电电量。
优选的，在所述步骤B中，物体识别步骤包括：
步骤B1：获取监测相机的实时视频帧；
步骤B2：对视频帧依次进行图像畸变校正、图像水平校正、图像切片、图像降噪和图像增强操作；
步骤B3：充电装置检测，判断视频帧中是否出现充电装置。
在本实施例中，图像识别模块主要包含三部分，一、图像预处理部分，该部分包含图像畸变校正、图像水平校正、图像切片、图像降噪以及图像增强；二、目标识别检测部分，主要是充电装置检测；三、距离换算部分，通过实际比例尺换算实际距离。通过以上的技术，可以有效获取目标充电装置与巡线机器人的实际距离，从而指导巡线机器人执行对接充电装置的充电指令。
优选的，如图2所示，在所述步骤B2中，所述图像畸变校正包括如下步骤：
监测相机采集棋盘标定板的图像；
依据棋盘标定板的图像获取监测相机的内参数和外参数；
根据内参数和外参数获取畸变参数矩阵；
根据畸变参数矩阵校正视频帧图像。
优选的，所述畸变参数矩阵的公式如下所示：
其中：
u，v表示目标的图像坐标；
R、T表示外参；
在本实施例中，监测相机采集棋盘标定板的图像目的是为了获取相机的内参数和外参数，外参数是指摄像机的旋转平移都属于外参数，外参数用于描述相机在静态场景下相机的运动，比如相机焦距；内参数是指描述相机镜头的径向和切向畸变，即每个相机的镜头镜片都会有偏差，内参数用于描述上述偏差。
进一步的，在本实施例中，内外参数是通过张正友标定法，使用棋盘格，通过拍多张不同状态的棋盘格图像，联立方程组计算畸变参数矩阵得到的，其中，联立方程组计算畸变参数矩阵的过程属于现有技术，故本申请在此不做过多阐述。
进一步的，根据畸变参数矩阵校正视频帧图像可被理解为：根据畸变参数矩阵计算，无畸变*畸变参数=实际带畸变，反过来，通过上面计算，得到畸变参数后，实际带畸变*畸变参数的逆矩阵=无畸变。
优选的，如图3所示，在所述步骤B2中，所述图像水平校正包括如下步骤：
对经过畸变校正后的图像进行霍夫变换得到斜率频域数组；
根据斜率频域数组获取图像中所出现的线的方向；
将出现次数最多的线所在的方向作为图像的方向；
基于出现次数最多的线所对应的斜率频域数组逆向变换进行图像水平校正。
优选的，根据斜率频域数组获取图像中所出现的线的方向包括：
对畸变校正后的图像进行霍夫变换得到斜率频域数组，根据斜率频域数组获取图像中所有直线的斜率，所述斜率即为线所在的方向。
优选的，将出现次数最多的线所在的方向作为图像的方向，基于出现次数最多的线所对应的斜率频域数组逆向变换进行图像水平校正，包括：
统计出现次数最多的斜率，将该斜率作为图像的方向；
获取斜率的旋转角；
根据旋转角逆向变换对图像水平校正。
在本实施例中，根据旋转角逆向变换对图像水平校正可被理解为：旋转角是顺时针30度，那逆向变换就是把图像逆时针转30度。
优选的，在步骤B3中，判断视频帧中是否出现充电装置，包括：
步骤B31：将经过步骤B1和B2处理后的视频帧图像输入训练好的卷积神经网络；
步骤B32:获取视频帧图形中目标的类型和置信度，判断目标为充电装置的置信度是否达到阈值，若是，则判定当前目标为充电装置；若否，则获取下一帧视频帧图像，重新执行步骤B31。
在本申请中，神经网络的训练过程包括如下步骤：
步骤一：对输入的图像数据进行归一化处理，并转换为单通道矩阵格式；
步骤二：对步骤一处理过的数据使用激活函数Mish激活函数进行线性数据转换为非线性数据；
步骤三：把非线性数据输入卷积神经网络中进行卷积运算操作，提取图像数据的特征信息，回归并分类障碍物的预测框和障碍物的类型Prediction；
步骤四：使用损失函数CIOU_Loss来计算Prediction和测试集中的障碍物真实信息True的差距；
其中，损失函数为：
其中：IOU表示Prediction和True的矩形重合面积占True的矩形面积的比例；
步骤五：对损失函数CIOU_Loss的结果使用最优化方法中的随机梯度下降法进行反向求解，把最优解作为新一轮的输入数据进行迭代计算训练;
优选的，如图4所示，在所述步骤D中，测算目标充电装置与巡线机器人的实际轮子距离包括：
包括根据公式一和公式二获取目标金具与巡线机器人的实际轮子距离；
其中：
f表示相机焦距；
h表示目标在图像中的像素高度；
H表示目标的实际高度；
d表示比例尺；
在本实施例中，监测相机能直接观察到轮子和充电装置的像素距离，依据比例尺转换就能得到实际距离；当位置固定时，比例尺的比例是相同的，需在固定距离测量过才知道具体比例，因此通过实际测量获得对应比例尺，通过监测相机直接观察到轮子和充电装置的像素距离，即可知道目标充电装置与巡线机器人的轮子的实际距离。
进一步的，比例尺的测量过程可通过相机标定，能获取监测相机的内参数f，同时，使用游标卡尺等测量工具，实际测量充电装置的尺寸能获取充电装置的实际高H，代入上式将得到图像尺寸和实际尺寸的转换比例 d，即比例尺。
其中：
d表示比例尺。
一种基于视觉识别的巡线机器人自主充电系统，如图5所示，应用有任一项所述基于视觉识别的巡线机器人自主充电方法，巡线机器人配置有监测相机、图像识别模块、电源电量监测模块、运动控制模块；
所述监测相机分别用于为图像识别模块提供实时视频帧；
电源电量监测模块用于获取巡线机器人当前剩余电量，判断当前剩余电量是否达到充电阈值；
所述图像识别模块用于对实时的视频帧进行实时目标充电装置检测并计算目标充电装置与轮子的实时距离，并生成充电指令；
所述运动控制模块用于根据充电指令执行巡线机器人对接充电装置的动作。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。
Claims (10)
1.一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
包括如下步骤：
步骤A：将图像识别模块和运动控制模块建立通讯连接；
步骤B：获取监测相机的视频帧，通过图像识别模块对视频帧进行物体识别，包括判断物体是否为充电装置；
当判断物体为充电装置时，基于电源电量监测模块获取巡线机器人当前剩余电量；
步骤C：判断当前剩余电量是否达到充电阈值，若是，则执行步骤D；
步骤D：获取监测相机的视频帧，通过图像识别模块再次进行物体识别，包括测算目标充电装置与巡线机器人的实际轮子距离，并执行步骤F；
步骤F：所述图像识别模块向运动控制模块发送充电指令，所述运动控制模块根据充电指令执行巡线机器人对接充电装置操作。
2.根据权利要求1所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
在所述步骤B中，物体识别步骤包括：
步骤B1：获取监测相机的实时视频帧；
步骤B2：对视频帧依次进行图像畸变校正、图像水平校正、图像切片、图像降噪和图像增强操作；
步骤B3：充电装置检测，判断视频帧中是否出现充电装置。
3.根据权利要求2所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
在所述步骤B2中，所述图像畸变校正包括如下步骤：
监测相机采集棋盘标定板的图像；
依据棋盘标定板的图像获取监测相机的内参数和外参数；
根据内参数和外参数获取畸变参数矩阵；
根据畸变参数矩阵校正视频帧图像。
4.根据权利要求3所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
所述畸变参数矩阵的公式如下所示：
其中：
u，v表示目标的图像坐标；
R、T表示外参；
5.根据权利要求3所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
在所述步骤B2中，所述图像水平校正包括如下步骤：
对经过畸变校正后的图像进行霍夫变换得到斜率频域数组；
根据斜率频域数组获取图像中所出现的线的方向；
将出现次数最多的线所在的方向作为图像的方向；
基于出现次数最多的线所对应的斜率频域数组逆向变换进行图像水平校正。
6.根据权利要求5所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
根据斜率频域数组获取图像中所出现的线的方向包括：
对畸变校正后的图像进行霍夫变换得到斜率频域数组，根据斜率频域数组获取图像中所有直线的斜率，所述斜率即为线所在的方向。
7.根据权利要求6所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
将出现次数最多的线所在的方向作为图像的方向，基于出现次数最多的线所对应的斜率频域数组逆向变换进行图像水平校正，包括：
统计出现次数最多的斜率，将该斜率作为图像的方向；
获取斜率的旋转角；
根据旋转角逆向变换对图像水平校正。
8.根据权利要求2所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
在步骤B3中，判断视频帧中是否出现充电装置，包括：
步骤B31：将经过步骤B1和B2处理后的视频帧图像输入训练好的卷积神经网络；
步骤B32:获取视频帧图形中目标的类型和置信度，判断目标为充电装置的置信度是否达到阈值，若是，则判定当前目标为充电装置；若否，则获取下一帧视频帧图像，重新执行步骤B31。
9.根据权利要求1所述一种基于视觉识别的巡线机器人自主充电方法，其特征在于：
在所述步骤D中，测算目标充电装置与巡线机器人的实际轮子距离包括：
包括根据公式一和公式二获取目标金具与巡线机器人的实际轮子距离；
其中：
f表示相机焦距；
h表示目标在图像中的像素高度；
H表示目标的实际高度；
d表示比例尺；
其中：
d表示比例尺。
10.一种基于视觉识别的巡线机器人自主充电系统，其特征在于：应用有如权利要求1-9任一项所述基于视觉识别的巡线机器人自主充电方法，巡线机器人配置有监测相机、图像识别模块、电源电量监测模块、运动控制模块；
所述监测相机分别用于为图像识别模块提供实时视频帧；
电源电量监测模块用于获取巡线机器人当前剩余电量，判断当前剩余电量是否达到充电阈值；
所述图像识别模块用于对实时的视频帧进行实时目标充电装置检测并计算目标充电装置与轮子的实时距离，并生成充电指令；
所述运动控制模块用于根据充电指令执行巡线机器人对接充电装置的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558008.6A CN113949142B (zh) | 2021-12-20 | 2021-12-20 | 一种基于视觉识别的巡线机器人自主充电方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558008.6A CN113949142B (zh) | 2021-12-20 | 2021-12-20 | 一种基于视觉识别的巡线机器人自主充电方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113949142A true CN113949142A (zh) | 2022-01-18 |
| CN113949142B CN113949142B (zh) | 2022-09-02 |
Family
ID=79339281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111558008.6A Active CN113949142B (zh) | 2021-12-20 | 2021-12-20 | 一种基于视觉识别的巡线机器人自主充电方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113949142B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630991A (zh) * | 2023-07-24 | 2023-08-22 | 广东电网有限责任公司佛山供电局 | 一种输电线路状态评价方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140029850A1 (en) * | 2011-09-28 | 2014-01-30 | U.S. Army Research Laboratory ATTN:RDRL-LOC-I | System and method for image improved image enhancement |
| CN105798704A (zh) * | 2016-04-25 | 2016-07-27 | 大连理工大学 | 一种机床平面轮廓误差单目测量方法 |
| CN106384336A (zh) * | 2015-08-07 | 2017-02-08 | 中云智慧（北京）科技有限公司 | 一种x光图像处理方法、系统和设备 |
| CN108932477A (zh) * | 2018-06-01 | 2018-12-04 | 杭州申昊科技股份有限公司 | 一种巡检机器人充电房视觉定位方法 |
| CN109066861A (zh) * | 2018-08-20 | 2018-12-21 | 四川超影科技有限公司 | 基于机器视觉的智能巡检机器人自动充电控制方法 |
| CN109885086A (zh) * | 2019-03-11 | 2019-06-14 | 西安电子科技大学 | 一种基于复合多边形标志引导的无人机垂直降落方法 |
| CN109961485A (zh) * | 2019-03-05 | 2019-07-02 | 南京理工大学 | 一种基于单目视觉进行目标定位的方法 |
-
2021
- 2021-12-20 CN CN202111558008.6A patent/CN113949142B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140029850A1 (en) * | 2011-09-28 | 2014-01-30 | U.S. Army Research Laboratory ATTN:RDRL-LOC-I | System and method for image improved image enhancement |
| CN106384336A (zh) * | 2015-08-07 | 2017-02-08 | 中云智慧（北京）科技有限公司 | 一种x光图像处理方法、系统和设备 |
| CN105798704A (zh) * | 2016-04-25 | 2016-07-27 | 大连理工大学 | 一种机床平面轮廓误差单目测量方法 |
| CN108932477A (zh) * | 2018-06-01 | 2018-12-04 | 杭州申昊科技股份有限公司 | 一种巡检机器人充电房视觉定位方法 |
| CN109066861A (zh) * | 2018-08-20 | 2018-12-21 | 四川超影科技有限公司 | 基于机器视觉的智能巡检机器人自动充电控制方法 |
| CN109961485A (zh) * | 2019-03-05 | 2019-07-02 | 南京理工大学 | 一种基于单目视觉进行目标定位的方法 |
| CN109885086A (zh) * | 2019-03-11 | 2019-06-14 | 西安电子科技大学 | 一种基于复合多边形标志引导的无人机垂直降落方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李聪利等: "基于双目视觉的电力机器人三维定位方法", 《制造业自动化》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630991A (zh) * | 2023-07-24 | 2023-08-22 | 广东电网有限责任公司佛山供电局 | 一种输电线路状态评价方法和系统 |
| CN116630991B (zh) * | 2023-07-24 | 2024-01-09 | 广东电网有限责任公司佛山供电局 | 一种输电线路状态评价方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113949142B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297498B (zh) | 一种基于无线充电无人机的轨道巡检方法及系统 | |
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| WO2020199538A1 (zh) | 基于图像监控数据的桥梁关键构件病害预警系统及方法 | |
| CN110046584B (zh) | 一种基于无人机巡检的道路裂纹检测装置及检测方法 | |
| CN114241364A (zh) | 一种架空输电线路异物目标快速标定方法 | |
| CN113949142B (zh) | 一种基于视觉识别的巡线机器人自主充电方法、系统 | |
| CN110186375A (zh) | 智能化高铁白车身焊接装配特征检测装置及检测方法 | |
| CN112528979A (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN117214617B (zh) | 一种智能电网故障实时监测定位系统及方法 | |
| CN116231504A (zh) | 一种升压站远程智能巡检方法、装置及系统 | |
| CN115200554A (zh) | 一种基于图片识别技术的无人机摄影测量监管系统及方法 | |
| CN112543272B (zh) | 一种具有光线调节的变电站巡检摄像装置及方法 | |
| Shajahan et al. | Automated inspection of monopole tower using drones and computer vision | |
| CN112489018A (zh) | 一种电力线智能巡线方法及巡线 | |
| CN114179093B (zh) | 一种变电站巡检机器人系统及其避障方法 | |
| CN107194923B (zh) | 一种用于接触网电力设备缺陷巡检的紫外图像诊断方法 | |
| CN116168019A (zh) | 基于机器视觉技术的电网故障检测方法及系统 | |
| CN111652055B (zh) | 一种基于两阶段定位的开关仪表智能识别方法 | |
| CN114821025A (zh) | 一种基于深度学习的表计识别方法和系统 | |
| CN112183467A (zh) | 基于人工智能的光伏机器人沉陷卡死检测方法及系统 | |
| Lu et al. | Design and implement of control system for power substation equipment inspection robot | |
| CN113657621A (zh) | 一种隐患监测方法和系统 | |
| CN114442658A (zh) | 输配电线路无人机自动巡检系统及其运行方法 | |
| CN111028289B (zh) | 基于模板匹配的变电站内设备异物定位方法 | |
| CN113946154B (zh) | 一种巡线机器人的视觉识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for autonomous charging of line patrol robots based on visual recognition Effective date of registration: 20231107 Granted publication date: 20220902 Pledgee: Shunde Guangdong rural commercial bank Limited by Share Ltd. Daliang branch Pledgor: GUANGDONG KEYSTAR INTELLIGENCE ROBOT Co.,Ltd. Registration number: Y2023980064495 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |