CN111935412A - 一种巡检目标自动识别跟踪的方法、系统及机器人 - Google Patents
一种巡检目标自动识别跟踪的方法、系统及机器人 Download PDFInfo
- Publication number
- CN111935412A CN111935412A CN202011114313.1A CN202011114313A CN111935412A CN 111935412 A CN111935412 A CN 111935412A CN 202011114313 A CN202011114313 A CN 202011114313A CN 111935412 A CN111935412 A CN 111935412A
- Authority
- CN
- China
- Prior art keywords
- original image
- pan
- coordinate
- detection target
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000007689 inspection Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 claims abstract description 117
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013341 scale-up Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种巡检目标自动识别跟踪的方法，包括：使用云台相机拍摄包含有多个检测目标的原始图像；对原始图像中的多个检测目标进行识别与定位，对漏识别的检测目标进行人工标记，确认所有检测目标在所述原始图像中的位置；当前所述云台相机的拍摄中心与所述原始图像的中心点重合，以原始图像的中心点为原点，使用现有的计算几何中心的计算方式构建十字坐标系，将当前原点标记为第二坐标，将其他单个检测目标在原始图像中所在区域图像的中心点标记为多个第一坐标，并将多个第一坐标保存至数据库，通过第一坐标与第二坐标的转换使得所述云台相机能够对准检测目标进行拍照，而且本发明运算方法简单，适合在户外的云台相机运行。
Description
技术领域
本发明涉及巡检导航定位技术领域，特别是一种巡检目标自动识别跟踪的方法、系统及机器人。
背景技术
在输电线路的日常检测工作中，运行人员受工作经验及工作能力等方面因素限制，无法每次巡检都在现场对设备进行检测，所以现在采用了具有拍摄功能的机器人对于电站的设施进行拍摄，通过拍摄的图片来判断用电设施是否出现问题，在机器人巡检过程中需要对输电线路的设施进行巡检拍摄，如金具挂点、绝缘子串、塔头支架、塔基础环境等。而输电线路巡检机器人是一种用于巡检高压输电线路的特种机器人，可用于代替人工巡检，其巡检效率高，成像效果好，是机器人技术与输电线路巡检技术发展相结合的优秀案例。
但是传统输电线路巡检机器人多为人工远程控制拍摄，在遇到多个拍摄目标时，人工手动调节相机的旋转角度比较耗时，而且长时间工作会使得人工对焦的效率较低。而且在户外环境下，网络状态不佳，网络连接经常断开，如果一直需要远程控制机器人转动拍照，网络连接断开会导致云台控制效果较差，导致工作效率降低。而且巡检机器人主要通过云台相机提前预置位置的形式进行目标的定位巡检，这种方法需要花费较多的前期准备工作，对机器人及云台位置的定位精度要求较高，易出现目标定位偏离或者丢失的情况。
发明内容
针对上述缺陷，本发明的目的在于提出一种巡检目标自动识别跟踪的方法、系统及机器人。
为达此目的，本发明采用以下技术方案：
一种巡检目标自动识别跟踪的方法，包括：
使用云台相机拍摄包含有多个检测目标的原始图像；
对原始图像中的多个检测目标进行识别与定位，对漏识别的检测目标进行人工标记，确认所有检测目标在所述原始图像中的位置；
当前所述云台相机的拍摄中心与所述原始图像的中心点重合，以原始图像的中心点为原点，使用现有的计算几何中心的计算方式构建十字坐标系，将当前原点标记为第二坐标，将其他单个检测目标在原始图像中所在区域图像的中心点标记为多个第一坐标，并将多个第一坐标保存至数据库；
转动所述云台相机，使当前所述云台相机的拍摄中心从第二坐标转移至其中一个第一坐标，使单个检测目标位于当前所述云台相机的拍摄中心；
所述云台相机进行相应比例放大拍摄，获取该单个检测目标所在区域图像的放大图像，并将该第一坐标重新标记为第二坐标，调用数据库中其他第一坐标；
重复上述步骤，直至获取所有检测目标所在区域图像的放大图像，并将所有放大图像上传至云端。
优选的，所述转动所述云台相机，包括获取云台相机的旋转角度，所述旋转角度包括水平方向的角度与垂直方向的角度；
其中获取旋转角度前，使用所述云台相机对一个参照物在不同距离下进行拍摄，获取所述参照物在不同拍摄距离下的像素值，通过多组像素值与拍摄距离之间的比例关系获取像素值与距离的线性关系，同过所述线性关系确认所述云台相机在一个像素值与距离对应的像素距离；
获取当前原始图像的像素值，通过所述像素距离计算所述云台相机到所述检测目标之间的实际距离；
将所述云台相机与所述检测目标之间的实际距离代入公式一，计算得出所述旋转角度；
公式一：
，其中dx为云台相机与检测目标的距离，lx为第一坐标与第二坐标的距离。
优选的，所述进行相应比例放大拍摄，包括获取放大比例，其中获取原始图像的长度与宽度的尺寸；
获取检测目标在所述原始图像中的长度与宽度的尺寸；
检测目标和原始图像的宽度比与所述检测目标和原始图像的长度比进行比对，若长度比小于宽度比，则所述长度比为放大比例，若所述长度比大于宽度比，则所述宽度比为放大比例。
优选的，将多个所述检测目标在所述原始图像中的位置对应转化为多个第一坐标，包括：获取检测目标在所述原始图像中的长度与宽度；
以所述检测目标的长度与宽度的中心线的交点为第一坐标的计算点。
优选的，所述对原始图像中的检测目标进行识别与定位前，还需要对所述原始图像进行降噪与边缘信息增强处理。
优选的，所述对原始图像中的检测目标进行识别与定位中，使用卷积神经网络对所述原始图像进行识别，获取所述原始图像中检测目标的图像，并对识别后的检测目标的图像在所述原始图像中进行定位。
一种巡线机器人自动目标巡检系统，使用上述任一项所述一种巡检目标自动识别跟踪的方法包括，
拍摄模块，用于对检测目标进行拍摄；
定位模块，用于确认检测目标在原始图像中的定位与原始图像的中心定位，并分别转化为第一坐标与第二坐标；
存储模块，由于存储第一坐标与第二坐标；
计算模块，用于通过图像距离与像素距离计算所述拍摄模块需要旋转的角度及拍摄的放大倍数；
降噪模块，用于对原始图像进行噪声滤波、平滑处理。
一种巡线机器人，包括内部集成所述一种巡线机器人自动目标巡检系统。
本发明的有益效果：1.通过第一坐标与第二坐标的转换使得所述云台相机能够对准检测目标进行拍照，而且本发明运算方法简单，适合在户外的云台相机运行。
附图说明
图1是本发明的一个实施例的工作流程图；
图2是检测目标在未放大前的图像；
图3是检测目标放大后的图像；
图4是识别定位前的数据流图；
图5是本发明的一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1~5所示，
一种巡检目标自动识别跟踪的方法，包括：
使用云台相机拍摄包含有多个检测目标的原始图像；
对原始图像中的多个检测目标进行识别与定位，对漏识别的检测目标进行人工标记，确认所有检测目标在所述原始图像中的位置；
当前所述云台相机的拍摄中心与所述原始图像的中心点重合，以原始图像的中心点为原点，使用现有的计算几何中心的计算方式构建十字坐标系，将当前原点标记为第二坐标，将其他单个检测目标在原始图像中所在区域图像的中心点标记为多个第一坐标，并将多个第一坐标保存至数据库；
转动所述云台相机，使当前所述云台相机的拍摄中心从第二坐标转移至其中一个第一坐标，使单个检测目标位于当前所述云台相机的拍摄中心；
所述云台相机进行相应比例放大拍摄，获取该单个检测目标所在区域图像的放大图像，并将该第一坐标重新标记为第二坐标，调用数据库中其他第一坐标；
重复上述步骤，直至获取所有检测目标所在区域图像的放大图像，并将所有放大图像上传至云端。
所述云台相机固定在预设的地方对供电设施进行拍摄，在拍摄时要尽可能拍摄到多个检测目标。在拍摄完成后的所述原始图像由于噪声与光线的影响，使得所述原始图像变得模糊不清晰，在后面的定位与检测中难以对检测目标进行捕抓，所以在将所述原始图像中的坐标转化为第一坐标之前，需要对其进行降噪与边缘信息的增强处理，增加所述原始图像的清晰度。在处理完原始图像后，可以使用现有的卷积神经网络对所述原始图像进行处理，选出所述原始图像中的检测目标，由于卷积神经网络具有自我的深度学习能力，在前期使用所述卷积神经网络识别所述检测目标时，有可能出现漏检目标的情况，届时需要人工进行干预，对漏检的目标进行补充，在多次训练与学习之后所述卷积神经网络几乎可以识别到所有的检测目标。当遇到雷雨天气或者雾霾天气等不良天气时，所述原始图像的拍摄的清晰度会受到一定的影响，可能无法实现卷积神经网络的对所述原始图像中的检测目标进行自动识别，届时可以通过人工标记的方法对原始图像中的检测目标进行逐一标记。在获取原始图像中全部的检测目标的位置后，以原始图像的中心为坐标轴的原点，并将所述云台相机目前的拍摄中心标记为第二坐标，使用现有的几何中心算法获取检测目标在原始图像中的坐标点，将其标记为第一坐标。在获取完第一坐标后，需要人工进行检测，查看第一坐标在原始图像中是否相对应其所在的原始图像中的检测目标的位置，对于符合条件的第一坐标将其对应存储在数据库中，待后面计算时方便调用。由于几何中心算法可以通过深度学习提高第一坐标在转化时的成功率，在多次训练后可以降低人工检测筛选的次数。
由于所述原始图像中虽然含有检测目标，但是无法看清检测目标的具体情况，需
要将所述云台相机的拍摄中心转移到所述检测目标上进行放大再次拍摄，在云台相机拍摄
角度转移的过程中即是将第一坐标与第二坐标进行互换，其进行互换的过程等同于在等腰
三角形中做余弦定理计算，以水平的旋转角度为例，首先知道云台相机到检测目标的距离
dx，由于实际距离与像素距离是线性对应的，或者通过当前第二坐标的像素，即可以推算出
距离dx，而水平距离lx可以通过计算第一坐标与第二坐标之间的水平的差值获取。通过公
式一， 
，求出水平的旋转角度x，而垂直的旋转角度y
同样根据上述计算方式，在此就不做过多解释。所述云台相机通过在水平方向旋转x角度，
垂直方向旋转y角度既可以将第一坐标与第二坐标进行互换，将所述云台相机的拍摄中心
对焦对准所述检测目标，然后进行放大拍摄，将拍摄后的所述区域图像上传云端，检测人员
通过检测云端中的所述区域图像，可发现所述检测目标的现状是否有异样。通过多次转动
所述云台相机即可对所有的检测目标拍摄下来。
优选的，所述转动所述云台相机，包括获取云台相机的旋转角度，所述旋转角度包括水平方向的角度与垂直方向的角度；
其中获取旋转角度前，使用所述云台相机对一个参照物在不同距离下进行拍摄，获取所述参照物在不同拍摄距离下的像素值，通过多组像素值与拍摄距离之间的比例关系获取像素值与距离的线性关系，同过所述线性关系确认所述云台相机在一个像素值与距离对应的像素距离；
获取当前原始图像的像素值，通过所述像素距离计算所述云台相机到所述检测目标之间的实际距离；
将所述云台相机与所述检测目标之间的实际距离代入公式一计算得出所述旋转角度。
水平距离与垂直距离可以通过求坐标系在水平方向上与垂直方向上之间的差值获得，而获取云台相机的像素距离，可以通过像素距离与实际距离的对应线性关系求出云台相机到所述检测目标的实际距离。在公式一得出云台相机在第二坐标转变为第一坐标时转动的角度。由于每一台云台相机的像素距离与实际距离对应的线性关系都不一样，在使用该方法前，需要检测所述云台相机像素距离与实际距离的对应线性关系具体的数据值是多少。
确认云台相机的像素距离的方法为：使用一个已知尺寸的标定物，在云台相机距离标定物d=1,2,3,4,5m时分别对标定物进行拍照，使用图片工具计算出宽x和高y在图像中的像素距离。如标定物的实际宽，高分别为0.285m, 0.289m，，当云台相机距离标定物d=1m时，像素距离x=200pixels，y=300pixels；云台相机距离标定物d=2m时，像素距离x=100pixels，y=150pixels。由于像素距离与实际距离之间具有线性关系，之后可以算出d=3m时，x=66pix，y=100pix；d=4m时，x=50pix，y=75pix；d=5m时，x=40pix，y=60pix。一米垂直距离下，1个像素代表的实际距离为：x=0.285m÷200，y=0.289m÷300。两米垂直距离下，1个像素代表的实际距离为：x=0.285m÷100=0.285÷（200/d），y=0.289m÷150=0.289÷（300/d）。n米垂直距离下，1个像素代表的实际距离为：x=0.285÷（200/n），y=0.289÷（300/n）。由于每一台云台相机的像素距离有所差别，所述在使用前需要使用上述方法测量其像素距离。
优选的，所述进行相应比例放大拍摄，包括获取放大比例，其中获取原始图像的长度与宽度的尺寸；
获取检测目标在所述原始图像中的长度与宽度的尺寸；
检测目标和原始图像的宽度比与所述检测目标和原始图像的长度比进行比对，若长度比小于宽度比，则所述长度比为放大比例，若所述长度比大于宽度比，则所述宽度比为放大比例。
在放大图像的过程中需要将所述检测目标尽可能的放大拍摄，工作人员才能从所述区域图像中看清楚检测目标的情况，通过判断
与
的大小来获取放大比例，如果
，w为原始图像的长度，h为原始图像的宽度，x为检测目标的长度，y为检测目标的宽度，则说明检测目标在所述原始图像中的长度小于宽度，若是进行长度
比例进行放大，所述检测目标在宽度的方向上无法完全录入到所述云台相机的拍摄范围内，所以只能进行宽度比例进行放大。
优选的，将多个所述检测目标在所述原始图像中的位置对应转化为多个第一坐标，包括：获取检测目标在所述原始图像中的长度与宽度；
以所述检测目标的长度与宽度的中心线的交点为第一坐标的计算点。
由于所述检测目标在所述原始图像中占有一定的大小，若是直接是用所述检测目标作为第一坐标的计算点，会导致计算得出的第一坐标无法有效准确的在所述原始图像中找到检测目标。
优选的，所述对原始图像中的检测目标进行识别与定位前还需要对所述原始图像进行降噪与边缘信息增强处理。
使用图像降噪的方法对原始图像进行降噪处理；
使用图像增强方法对原始图像的边缘信息进行增强；
所述图像降噪的方法包括使用均值滤波器、自适应维纳滤波器、中值滤波器一种或多种组合进行图像降噪处理。
优选的，所述对原始图像中的检测目标进行识别与定位中，使用卷积神经网络对所述原始图像进行识别，获取所述原始图像中检测目标的图像，并对识别后的检测目标的图像在所述原始图像中进行定位。
卷积神经网络为具有深度学习的神经网络，在经过多次训练后，可以精准识别到所述原始图像中的所述检测目标，而在前期的训练时，由于所述检测目标的形状与大小是不固定的，需要人工干预对漏标记的检测目标进行标记，帮助所述卷积神经网络训练识别所述检测目标。
一种巡线机器人自动目标巡检系统，使用上述任一项所述一种巡检目标自动识别跟踪的方法包括，
拍摄模块，用于对检测目标进行拍摄；
定位模块，用于确认检测目标在原始图像中的定位与原始图像的中心定位，并分别转化为第一坐标与第二坐标；
存储模块，由于存储第一坐标与第二坐标；
计算模块，用于通过图像距离与像素距离计算所述拍摄模块需要旋转的角度及拍摄的放大倍数；
降噪模块，用于对原始图像进行噪声滤波、平滑处理。
一种巡线机器人，包括内部集成所述一种巡线机器人自动目标巡检系统。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种巡检目标自动识别跟踪的方法，其特征在于，包括：
使用云台相机拍摄包含有多个检测目标的原始图像；
对原始图像中的多个检测目标进行识别与定位，对漏识别的检测目标进行人工标记，确认所有检测目标在所述原始图像中的位置；
当前所述云台相机的拍摄中心与所述原始图像的中心点重合，以原始图像的中心点为原点，使用现有的计算几何中心的计算方式构建十字坐标系，将当前原点标记为第二坐标，将其他单个检测目标在原始图像中所在区域图像的中心点标记为多个第一坐标，并将多个第一坐标保存至数据库；
转动所述云台相机，使当前所述云台相机的拍摄中心从第二坐标转移至其中一个第一坐标，使单个检测目标位于当前所述云台相机的拍摄中心；
所述云台相机进行相应比例放大拍摄，获取该单个检测目标所在区域图像的放大图像，并将该第一坐标重新标记为第二坐标，调用数据库中其他第一坐标；
重复上述步骤，直至获取所有检测目标所在区域图像的放大图像，并将所有放大图像上传至云端。
2.根据权利要求1所述一种巡检目标自动识别跟踪的方法，其特征在于；
转动所述云台相机，包括获取云台相机的旋转角度，所述旋转角度包括水平方向的角度与垂直方向的角度；
其中获取旋转角度前，使用所述云台相机对一个参照物在不同距离下进行拍摄，获取所述参照物在不同拍摄距离下的像素值，通过多组像素值与拍摄距离之间的比例关系获取像素值与距离的线性关系，通过所述线性关系确认所述云台相机在一个像素值与距离对应的像素距离；
获取当前原始图像的像素值，通过所述像素距离计算所述云台相机到所述检测目标之间的实际距离；
将所述云台相机与所述检测目标之间的实际距离代入公式一计算得出所述旋转角度；
公式一：
，其中dx为云台相机与检测目标的距离，lx为第一坐标与第二坐标的距离。
3.根据权利要求1所述一种巡检目标自动识别跟踪的方法，其特征在于，
所述进行相应比例放大拍摄，包括获取放大比例，其中获取原始图像的长度与宽度的尺寸；
获取检测目标在所述原始图像中的长度与宽度的尺寸；
检测目标和原始图像的宽度比与所述检测目标和原始图像的长度比进行比对，若长度比小于宽度比，则所述长度比为放大比例，若所述长度比大于宽度比，则所述宽度比为放大比例。
4.根据权利要求1所述一种巡检目标自动识别跟踪的方法，其特征在于，将多个所述检测目标在所述原始图像中的位置对应转化为多个第一坐标，包括：获取检测目标在所述原始图像中的长度与宽度；
以所述检测目标的长度与宽度的中心线的交点为第一坐标的计算点。
5.根据权利要求1所述一种巡检目标自动识别跟踪的方法，其特征在于，所述对原始图像中的检测目标进行识别与定位前，还需要对所述原始图像进行降噪与边缘信息增强处理。
6.根据权利要求1所述一种巡检目标自动识别跟踪的方法，其特征在于，所述对原始图像中的检测目标进行识别与定位中，使用卷积神经网络对所述原始图像进行识别，获取所述原始图像中检测目标的图像，并对识别后的检测目标的图像在所述原始图像中进行定位。
7.一种巡线机器人自动目标巡检系统，使用权利要求1-6任一项所述一种巡检目标自动识别跟踪的方法，其特征在于，包括：拍摄模块，用于对检测目标进行拍摄；
定位模块，用于确认检测目标在原始图像中的定位与原始图像的中心定位，并分别转化为第一坐标与第二坐标；
存储模块，用于存储第一坐标与第二坐标；
计算模块，用于通过图像距离与像素距离计算所述拍摄模块需要旋转的角度及拍摄的放大倍数；
降噪模块，用于对原始图像进行噪声滤波、平滑处理。
8.一种巡线机器人，包括拍摄部件，其特征在于，包括集成如权利要求7所述一种巡线机器人自动目标巡检系统。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011114313.1A CN111935412B (zh) | 2020-10-19 | 2020-10-19 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
| PCT/CN2020/125897 WO2022082856A1 (zh) | 2020-10-19 | 2020-11-02 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011114313.1A CN111935412B (zh) | 2020-10-19 | 2020-10-19 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111935412A true CN111935412A (zh) | 2020-11-13 |
| CN111935412B CN111935412B (zh) | 2021-04-13 |
Family
ID=73333859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011114313.1A Active CN111935412B (zh) | 2020-10-19 | 2020-10-19 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111935412B (zh) |
| WO (1) | WO2022082856A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308858A (zh) * | 2020-12-29 | 2021-02-02 | 南京派光智慧感知信息技术有限公司 | 一种铁路轨道、轨道板状态多维智能监测方法及系统 |
| CN112643324A (zh) * | 2020-12-28 | 2021-04-13 | 深圳硅纳智慧科技有限公司 | 自动打螺丝设备及采用该设备的自动打螺丝的方法 |
| CN112702513A (zh) * | 2020-12-23 | 2021-04-23 | 广东科凯达智能机器人有限公司 | 一种双光云台协同控制方法、装置、设备及存储介质 |
| CN112714287A (zh) * | 2020-12-23 | 2021-04-27 | 广东科凯达智能机器人有限公司 | 一种云台目标转换控制方法、装置、设备及存储介质 |
| CN113255633A (zh) * | 2021-07-16 | 2021-08-13 | 深圳市赛菲姆科技有限公司 | 基于目标跟踪的摄像头调节控制方法、装置、系统和介质 |
| CN113554778A (zh) * | 2021-07-28 | 2021-10-26 | 广东电网有限责任公司 | 一种输电线路巡检机器人小目标识别方法及装置 |
| CN113910252A (zh) * | 2021-10-11 | 2022-01-11 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人杆塔动态追踪方法及系统 |
| CN114299273A (zh) * | 2021-12-02 | 2022-04-08 | 中国南方电网有限责任公司超高压输电公司 | 基于图像像素的设备控制方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827466B (zh) * | 2022-04-20 | 2023-07-04 | 武汉三江中电科技有限责任公司 | 一种仿人眼的设备图像采集装置及图像采集方法 |
| CN115565118B (zh) * | 2022-12-07 | 2023-04-07 | 南方电网数字电网研究院有限公司 | 一种输电线路交叉跨越点单挂点单串的识别方法 |
| CN116385952B (zh) * | 2023-06-01 | 2023-09-01 | 华雁智能科技(集团)股份有限公司 | 配网线路小目标缺陷检测方法、装置、设备及存储介质 |
| CN116505432B (zh) * | 2023-06-27 | 2023-08-29 | 国网浙江省电力有限公司湖州供电公司 | 基于gis的adss光缆线路巡检方法及巡检系统 |
| CN116761079B (zh) * | 2023-08-21 | 2023-11-03 | 国网山西省电力公司电力科学研究院 | 一种输电线路运动目标精细跟踪方法、系统及装置 |
| CN116797435B (zh) * | 2023-08-29 | 2023-10-31 | 北京道仪数慧科技有限公司 | 一种利用公交车辆进行道路交通标志牌巡检的处理系统 |
| CN117934481A (zh) * | 2024-03-25 | 2024-04-26 | 国网浙江省电力有限公司宁波供电公司 | 基于人工智能的输电线缆状态识别处理方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591366A (zh) * | 2012-02-17 | 2012-07-18 | 广州盈可视电子科技有限公司 | 一种云台控制的方法及装置 |
| US20190037132A1 (en) * | 2013-02-22 | 2019-01-31 | Leap Motion, Inc. | Adjusting Motion Capture Based on the Distance Between Tracked Objects |
| CN109479088A (zh) * | 2017-06-02 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法 |
| US20190222810A1 (en) * | 2016-09-28 | 2019-07-18 | Denso Corporation | Inspection device |
| CN110633629A (zh) * | 2019-08-02 | 2019-12-31 | 广东电网有限责任公司清远供电局 | 基于人工智能的电网巡检方法、装置、设备及存储介质 |
| CN111161446A (zh) * | 2020-01-10 | 2020-05-15 | 浙江大学 | 一种巡检机器人的图像采集方法 |
| CN111596693A (zh) * | 2020-06-17 | 2020-08-28 | 中国人民解放军国防科技大学 | 基于云台相机的无人机对地面目标跟踪控制方法及系统 |
| CN111611989A (zh) * | 2020-05-22 | 2020-09-01 | 四川智动木牛智能科技有限公司 | 一种基于自主机器人的多目标精准定位识别方法 |
-
2020
- 2020-10-19 CN CN202011114313.1A patent/CN111935412B/zh active Active
- 2020-11-02 WO PCT/CN2020/125897 patent/WO2022082856A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591366A (zh) * | 2012-02-17 | 2012-07-18 | 广州盈可视电子科技有限公司 | 一种云台控制的方法及装置 |
| US20190037132A1 (en) * | 2013-02-22 | 2019-01-31 | Leap Motion, Inc. | Adjusting Motion Capture Based on the Distance Between Tracked Objects |
| US20190222810A1 (en) * | 2016-09-28 | 2019-07-18 | Denso Corporation | Inspection device |
| CN109479088A (zh) * | 2017-06-02 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法 |
| CN110633629A (zh) * | 2019-08-02 | 2019-12-31 | 广东电网有限责任公司清远供电局 | 基于人工智能的电网巡检方法、装置、设备及存储介质 |
| CN111161446A (zh) * | 2020-01-10 | 2020-05-15 | 浙江大学 | 一种巡检机器人的图像采集方法 |
| CN111611989A (zh) * | 2020-05-22 | 2020-09-01 | 四川智动木牛智能科技有限公司 | 一种基于自主机器人的多目标精准定位识别方法 |
| CN111596693A (zh) * | 2020-06-17 | 2020-08-28 | 中国人民解放军国防科技大学 | 基于云台相机的无人机对地面目标跟踪控制方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702513A (zh) * | 2020-12-23 | 2021-04-23 | 广东科凯达智能机器人有限公司 | 一种双光云台协同控制方法、装置、设备及存储介质 |
| CN112714287A (zh) * | 2020-12-23 | 2021-04-27 | 广东科凯达智能机器人有限公司 | 一种云台目标转换控制方法、装置、设备及存储介质 |
| WO2022134490A1 (zh) * | 2020-12-23 | 2022-06-30 | 广东科凯达智能机器人有限公司 | 一种云台目标转换控制方法、装置、设备及存储介质 |
| CN112643324A (zh) * | 2020-12-28 | 2021-04-13 | 深圳硅纳智慧科技有限公司 | 自动打螺丝设备及采用该设备的自动打螺丝的方法 |
| CN112308858A (zh) * | 2020-12-29 | 2021-02-02 | 南京派光智慧感知信息技术有限公司 | 一种铁路轨道、轨道板状态多维智能监测方法及系统 |
| CN113255633A (zh) * | 2021-07-16 | 2021-08-13 | 深圳市赛菲姆科技有限公司 | 基于目标跟踪的摄像头调节控制方法、装置、系统和介质 |
| CN113554778A (zh) * | 2021-07-28 | 2021-10-26 | 广东电网有限责任公司 | 一种输电线路巡检机器人小目标识别方法及装置 |
| CN113910252A (zh) * | 2021-10-11 | 2022-01-11 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人杆塔动态追踪方法及系统 |
| CN113910252B (zh) * | 2021-10-11 | 2023-03-03 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人杆塔动态追踪方法及系统 |
| CN114299273A (zh) * | 2021-12-02 | 2022-04-08 | 中国南方电网有限责任公司超高压输电公司 | 基于图像像素的设备控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022082856A1 (zh) | 2022-04-28 |
| CN111935412B (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111935412B (zh) | 一种巡检目标自动识别跟踪的方法、系统及机器人 | |
| CN112767391B (zh) | 融合三维点云和二维图像的电网线路部件缺陷定位方法 | |
| CN112102395B (zh) | 一种基于机器视觉的自主巡检的方法 | |
| CN110580717A (zh) | 一种针对电力杆塔的无人机自主巡检航线生成方法 | |
| WO2022134490A1 (zh) | 一种云台目标转换控制方法、装置、设备及存储介质 | |
| CN109739239B (zh) | 一种用于巡检机器人的不间断仪表识别的规划方法 | |
| CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
| CN112949478A (zh) | 基于云台相机的目标检测方法 | |
| CN114092473B (zh) | 一种大型产品视觉巡检装置及系统 | |
| CN112254663B (zh) | 一种基于影像识别的平面变形监测测量方法及其系统 | |
| CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN112802004B (zh) | 便携式输电线路和杆塔健康智能视频检测装置 | |
| CN113240747A (zh) | 一种基于计算机视觉的户外结构振动位移自动化监测方法 | |
| CN115810041B (zh) | 一种基于多摄像头视觉的线缆尺寸检测方法及系统 | |
| CN112013830A (zh) | 一种输电线路无人机巡检影像检测缺陷的精确定位方法 | |
| CN110296687B (zh) | 一种基于定点视频监控中预置点最优布设的目标定位方法 | |
| CN112730422B (zh) | 一种核电站安全壳缺陷检测方法及系统 | |
| CN105354855B (zh) | 一种高耸结构外观检测装置及方法 | |
| CN112860946B (zh) | 一种视频图像信息转换为地理信息的方法及系统 | |
| CN115937331A (zh) | 基于重卡电池自动换电系统的深度相机外参标定方法 | |
| CN113109259B (zh) | 一种图像的智能导航方法及装置 | |
| CN205158453U (zh) | 一种高耸结构外观检测装置 | |
| CN112396651B (zh) | 一种通过二角度图像实现设备定位的方法 | |
| CN209823899U (zh) | 一种蒸汽发生器水室环境图像采集系统 | |
| CN111897331A (zh) | 一种巡检机器人云台对准方法、装置和巡检机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method, system and robot for automatic identification and tracking of patrol inspection targets Effective date of registration: 20220527 Granted publication date: 20210413 Pledgee: Agricultural Bank of China Limited Shunde Daliang sub branch Pledgor: GUANGDONG KEYSTAR INTELLIGENCE ROBOT Co.,Ltd. Registration number: Y2022980006520 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |