CN112102395B - 一种基于机器视觉的自主巡检的方法 - Google Patents
一种基于机器视觉的自主巡检的方法 Download PDFInfo
- Publication number
- CN112102395B CN112102395B CN202011235319.4A CN202011235319A CN112102395B CN 112102395 B CN112102395 B CN 112102395B CN 202011235319 A CN202011235319 A CN 202011235319A CN 112102395 B CN112102395 B CN 112102395B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- pan
- target
- shooting
- tilt camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000007689 inspection Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 5
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013341 scale-up Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 239000012212 insulator Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G06T5/70—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于机器视觉的自主巡检的方法，包括：建立识别模型，识别模型通过多组训练数据训练得出，其中每一组数据包括：检测目标的照片与用于识别检测目标类型的识别信息；根据不同检测目标的标准建设参数标准量化定位目标与拍摄目标的坐标信息，将定位目标的坐标信息标记为第一坐标，将多个拍摄目标的坐标信息标记为多个第二坐标，将第一坐标与多个第二坐标存入数据库；利用已知的标准化参数构造一个先验识别模型，检测到塔头中容易识别的关键定位目标后，剩余待检测的拍摄目标便可通过绑定的第二坐标并直接调用计算得出其位置，大幅提升了对杆塔上多种目标的检测效率。
Description
技术领域
本发明涉及巡检导航定位技术领域，特别是一种基于机器视觉的自主巡检的方法。
背景技术
在输电线路的日常检测工作中，运行人员受工作经验及工作能力等方面因素限制，无法每次巡检都在现场对设备进行检测，所以现在采用了具有拍摄功能的机器人对于电站的设施进行拍摄，通过拍摄的图片来判断用电设施是否出现问题，在机器人巡检过程中需要对输电线路的设施进行巡检拍摄，如金具挂点、绝缘子串、塔头支架、塔基础环境等。而输电线路巡检机器人是一种用于巡检高压输电线路的特种机器人，可用于代替人工巡检，其巡检效率高，成像效果好，是机器人技术与输电线路巡检技术发展相结合的优秀案例。
但是传统输电线路巡检机器人需要人工手动调节云台相机的旋转角度，在目标较多且需要逐个微调的情况下，比较耗时，工作效率较低，而且绝缘子串与金具挂点等需要检测的物件体积较小，检测难易程度不如塔头中特征明显的结构。且目标位置跨度过大时，传统检测方法需要进一步拉远云台相机镜头，去将所有的目标拍全，当拉远云台相机的镜头时，绝缘子串与金具挂点等与对应缩小，增加了识别的难度。
发明内容
针对上述缺陷，本发明的目的在于提出一种基于机器视觉的自主巡检的方法。
为达此目的，本发明采用以下技术方案：一种基于机器视觉的自主巡检的方法，包括：
建立识别模型，所述识别模型通过多组训练数据训练得出，其中每一组数据包括：检测目标的照片与用于识别检测目标类型的识别信息；
根据不同检测目标的标准建设参数标准量化定位目标与拍摄目标的坐标信息，将定位目标的坐标信息标记为第一坐标，将多个拍摄目标的坐标信息标记为多个第二坐标，将所述第一坐标与多个第二坐标存入数据库；
云台相机对检测目标进行拍摄，获取一张含有定位目标的原始图像，将原始图像输入到所述识别模型中，获取识别结果，所述识别结果为识别所述检测目标的类型，根据识别结果调用对应的第一坐标与第二坐标；
根据第一坐标与第二坐标获取云台相机的转动角度，根据转动角度转动所述云台相机，使得所述云台相机的拍摄中心移动到单个拍摄目标，所述云台相机进行相应比例放大拍摄，获取该单个拍摄目标的放大图像，
继续调用其余的第二坐标，将单个检测目标所有的拍摄目标进行拍照检测，获取所有所述拍摄目标的放大图像，并将所有放大图像上传至云端。
优选的，所述将定位目标的坐标信息标记为第一坐标，包括获取定位目标的长度、宽度与高度，通过长度、宽度与高度构建一个第一长方体，获取第一长方体的中心点，将第一长方体的中心点标记为第一坐标；
将多个拍摄目标的坐标信息标记为多个第二坐标，包括获取拍摄目标的长度、宽度与高度，通过长度、宽度与高度构建一个第二长方体，获取第二长方体的中心点，以所述第一坐标为中心点构建一个三维坐标系，获取第二长方体的中心点在三维坐标系定位，并标记为第二坐标。
优选的，获取识别结果包括：使用图像降噪算法对所述原始图像进行降噪处理，提高所述原始图像的清晰度；
使用图像增强方法增强所述原始图像的边缘信息；
通过卷积神经网络识别在所述原始图像中的所述定位目标。
优选的，所述获取云台相机的转动角度前，需要使所述云台相机的拍摄中心与定位目标的中心重合；
以原始图像的中心点为原点，使用计算几何中心的计算方式构建二维十字坐标系，
使用所述云台相机对一个参照物在不同距离下进行拍摄，获取所述参照物在不同拍摄距离下的像素值，通过多组像素值与拍摄距离之间的比例关系获取像素值与距离的线性关系，通过所述线性关系确认所述云台相机在一个像素值的像素距离；
获取当前原始图像的像素值，通过所述像素距离计算所述云台相机到所述检测目标之间的实际距离；
将所述云台相机与所述检测目标之间的实际距离代入公式一
计算得出云台相机的拍摄中心转动到第二坐标的旋转度数。
优选的，所述获取云台相机的转动角度，包括调用第一坐标与第二坐标，通过将第一坐标与第二坐标带入所述公式一获取所述云台相机的转动角度。
优选的，所述进行相应比例放大拍摄，包括获取放大比例，其中获取放大比例包括以下步骤：
获取原始图像的长度与宽度的尺寸；
获取拍摄目标在所述原始图像中的长度与宽度的尺寸；
拍摄目标和原始图像的宽度比与所述检测目标和原始图像的长度比进行比对，若长度比小于宽度比，则所述长度比为放大比例，若所述长度比大于宽度比，则所述宽度比为放大比例。
附图说明
图1是本发明的一个实施例的工作流程图；
图2是本发明的一个实施例对焦定位目标的工作流程图；
图3是本发明的一个实施获取第一坐标与第二坐标的工作流程图；
图4是获取识别结果前的工作数据流图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1～4所示，
一种基于机器视觉的自主巡检的方法，包括：
建立识别模型，所述识别模型通过多组训练数据训练得出，其中每一组数据包括：检测目标的照片与用于识别检测目标类型的识别信息；
根据不同检测目标的标准建设参数标准量化定位目标与拍摄目标的坐标信息，将定位目标的坐标信息标记为第一坐标，将多个拍摄目标的坐标信息标记为多个第二坐标，将所述第一坐标与多个第二坐标存入数据库；
云台相机对检测目标进行拍摄，获取一张含有定位目标的原始图像，将原始图像输入到所述识别模型中，获取识别结果，所述识别结果为识别所述检测目标的类型，根据识别结果调用对应的第一坐标与第二坐标；
根据第一坐标与第二坐标获取云台相机的转动角度，根据转动角度转动所述云台相机，使得所述云台相机的拍摄中心移动到单个拍摄目标，所述云台相机进行相应比例放大拍摄，获取该单个拍摄目标的放大图像，
继续调用其余的第二坐标，将单个检测目标所有的拍摄目标进行拍照检测，获取所有所述拍摄目标的放大图像，并将所有放大图像上传至云端。
在检测电力系统中常见的杆塔：干字塔、T字塔、猫头塔、酒杯塔，而每一个杆塔都具有不同的形状结构与特点，在本方法中，所述检测目标为杆塔，而识别信息一般为杆塔的塔头与其他关键点信息，每一种杆塔的塔头都不一致，使用塔头作为识别信息可以增加识别模型的准确率，在训练识别模型时需要将上万张的杆塔照片与不同杆塔的塔头照片放入识别模型内进行训练才能得到精确的识别结果。
所述定位目标在实际的拍摄中具体为塔头，而拍摄目标为杆塔上安装的绝缘子或者各种金具，由于建设的行业标准里已经固定这两者之间的相对位置，所以只需要知道其中定位目标的位置既可以推断其他拍摄目标的位置。
以所述定位目标的长宽高构建一个矩形，以矩形的中心点为第一坐标，以第一坐标为坐标信息的对应点，通过设计图纸或者具体人工测量的方式获取到所述拍摄目标以所述第一坐标为对照的相对的坐标信息，同样的以所述拍摄目标的长宽高构建一个矩形，以矩形的中心点为第二坐标。
在获取坐标信息时，优选找到对应的塔型及设计图纸，通过设计图纸的具体参数来标记第一坐标与第二坐标，具有更加精准的参数配置，在调用该识别模型时能够更加准确找到所述拍摄目标。
在实际云台相机运作中，所述云台相机会运动到指定的位置上拍摄一张包含有所述定位目标的原始图像，若是指定的地方检测不出所述定位目标，则所述云台相机会继续运动，并在移动的过程中会不断的拍摄，识别每一帧的所述原始图像，当识别到定位目标后会停下，将该原始图像放入所述识别模型内进行识别，此时所述云台相机将拍摄的中心移动到所述定位目标的中心，在转动的云台相机的转动角度时，需要将所述原始图像的中心点为原点构建一个二维坐标系，通过公式一：
计算所述云台相机需要转动的角度，其中dx为云台相机到定位目标的直线距离，lx为云台相机到定位目标的水平距离。在所述云台相机的拍摄中心转动至定位目标的中心后，此时可以将其视为所述云台相机的拍摄中心已经移到第一坐标，通过继续调用第二坐标，转动所述云台相机将拍摄中心移动到第二坐标，此过程与上述将云台相机的中心移动到定位目标的中心的过程一致，同样可以通过公式一来计算所述云台相机的旋转角度。然后进行比例放大拍摄所述放大图像上传至云端，检测人员通过放大图像即可以检测拍摄目标是否有损坏，通过继续调用其余的第二坐标即可以将单个检测目标所有的拍摄目标进行拍照检测。
本方法能避免因为网络连接断开导致不能连续操作云台的情况，进一步提高了现场工作调试的效率。同时利用已知的标准化参数构造一个先验识别模型，检测到塔头中容易识别的关键定位目标后，剩余待检测的拍摄目标便可通过绑定的第二坐标并直接调用计算得出其位置，相对于传统的逐个检测到各目标再对焦放大的方法，大幅提升了对杆塔上多种目标的检测效率。
优选的，所述将定位目标的坐标信息标记为第一坐标，包括获取定位目标的长度、宽度与高度，通过长度、宽度与高度构建一个第一长方体，获取获取第一长方体的中心点，将第一长方体的中心点标记为第一坐标；
将多个拍摄目标的坐标信息标记为多个第二坐标，包括获取拍摄目标的长度、宽度与高度，通过长度、宽度与高度构建一个第二长方体，获取第二长方体的中心点，以所述第一坐标为中心点构建一个三维坐标系，获取第二长方体的中心点在三维坐标系定位，并标记为第二坐标。
由于定位目标与拍摄目标为一个具有形体的具体结构，在调用识别模型与计算时需要精准的数值提供运算，所以选择以拍摄目标与定位目标的长度、宽度与高度，通过长度、宽度与高度构建第一长方体与第二长方体，通过第一将长方体的中心为原点(x0，y0，z0)构建一个三维坐标系，此时的原点(x0，y0，z0)为第一坐标。再通过设计图纸或者实际测量获取到拍摄目标与定位目标之间的相对位置关系，以第二长方体的中心点代表所述拍摄目标，根据三维坐标系以及定位目标与拍摄目标相对位置关系，可以确认其他多个所述拍摄目标的第二坐标(x1，y1，z1)，(x2，y2，z3)...。
优选的，获取识别结果包括：使用图像降噪算法对所述原始图像进行降噪处理，提高所述原始图像的清晰度；
使用图像增强方法增强所述原始图像的边缘信息；
通过卷积神经网络识别在所述原始图像中的所述定位目标。
图像降噪算法使用均值滤波器、自适应维纳滤波器、中值滤波器一种或多种组合进行图像降噪处理，去除成像设备或外部环境产生的噪声干扰，以获得噪点少，清晰度高的原始图像。
图像增强方法可以使用例如对比度拉伸来增强灰度的动态范围、直方图均衡对全局图像进行均衡化等，提高图像的对比度，增强目标的边缘信息，从而能够在原始图像中提取更多有效的目标图像特征。
使用卷积神经网络识别对原始图像中的定位目标进行识别，选出所述原始图像中的检测目标，由于卷积神经网络具有自我的深度学习能力，在前期使用所述卷积神经网络识别所述定位目标与拍摄目标时，有可能出现漏检目标的情况，届时需要人工进行干预，对漏检的目标进行补充，在多次训练与学习之后所述卷积神经网络几乎可以识别到所有的定位目标，识别到定位目标后，带入所述识别模型，所述识别模型中以所述定位目标作为识别信息，通过所述识别模型可以识别到该原始图像所拍摄的杆塔为那一种类型的杆塔，随后调用该杆塔的第一坐标与第二坐标进行运算。
优选的，所述获取云台相机的转动角度前，需要使所述云台相机的拍摄中心与定位目标的中心重合；
以原始图像的中心点为原点，使用计算几何中心的计算方式构建二维十字坐标系，
使用所述云台相机对一个参照物在不同距离下进行拍摄，获取所述参照物在不同拍摄距离下的像素值，通过多组像素值与拍摄距离之间的比例关系获取像素值与距离的线性关系，通过所述线性关系确认所述云台相机在一个像素值的像素距离；
获取当前原始图像的像素值，通过所述像素距离计算所述云台相机到所述检测目标之间的实际距离；
将所述云台相机与所述检测目标之间的实际距离代入公式一
计算得出云台相机的拍摄中心转动到第二坐标的旋转度数。
根据上述公式一需要知道dx和lx的数值才能求出cos(x)即旋转的角度，dx和lx的实际值会根据云台相机对焦的物体来决定，如云台相机的拍摄中心需要转向定位目标，dx为云台相机到定位目标的直线距离，lx云台相机到定位目标为水平距离，通过带入公式一即可求出所述云台相机在水平方向的旋转角度，而垂直方向的同理可以求出，其中在获取dx水平距离时水平距离与垂直距离可以通过求坐标系在水平方向上与垂直方向上之间的差值获得，而获取云台相机的像素距离，可以通过像素距离与实际距离的对应线性关系求出云台相机到所述检测目标的实际距离。在公式一得出云台相机在第二坐标转变为第一坐标时转动的角度。由于每一台云台相机的像素距离与实际距离对应的线性关系都不一样，在使用该方法前，需要检测所述云台相机像素距离与实际距离的对应线性关系具体的数据值是多少。
确认云台相机的像素距离的方法为：使用一个已知尺寸的标定物，在云台相机距离标定物d＝1，2，3，4，5m时分别对标定物进行拍照，使用图片工具计算出宽x和高y在图像中的像素距离。如标定物的实际宽，高分别为0.285m，0.289m，，当云台相机距离标定物d＝1m时，像素距离x＝200pixels，y＝300pixels；云台相机距离标定物d＝2m时，像素距离x＝100pixels，y＝150pixels。由于像素距离与实际距离之间具有线性关系，之后可以算出d＝3m时，x＝66pix，y＝100pix；d＝4m时，x＝50pix，y＝75pix；d＝5m时，x＝40pix，y＝60pix。一米垂直距离下，1个像素代表的实际距离为：x＝0.285m÷200，y＝0.289m÷300。两米垂直距离下，1个像素代表的实际距离为：x＝0.285m÷100＝0.285÷(200/d)，y＝0.289m÷150＝0.289÷(300/d)。n米垂直距离下，1个像素代表的实际距离为：x＝0.285÷(200/n)，y＝0.289÷(300/n)。由于每一台云台相机的像素距离有所差别，在使用前需要使用上述方法测量其像素距离。
优选的，所述获取云台相机的转动角度，包括调用第一坐标与第二坐标，通过将第一坐标与第二坐标带入所述公式一获取所述云台相机的转动角度。
在所述云台相机的拍摄中心从第一坐标转动至第二坐标拍摄的过程，可以同于在等腰三角形中做余弦定理计算，同样可以使用第一坐标的数据值代入公式一中进行计算，得出所述云台相机从第一坐标转动至第二坐标拍摄所需要的水平方向与垂直方向的转动角度。
优选的，所述进行相应比例放大拍摄，包括获取放大比例，其中获取放大比例包括以下步骤：
获取原始图像的长度与宽度的尺寸；
获取拍摄目标在所述原始图像中的长度与宽度的尺寸；
拍摄目标和原始图像的宽度比与所述检测目标和原始图像的长度比进行比对，若长度比小于宽度比，则所述长度比为放大比例，若所述长度比大于宽度比，则所述宽度比为放大比例。
在放大图像的过程中需要将所述拍摄目标尽可能的放大拍摄，工作人员才能从所述区域图像中看清楚检测目标的情况，通过判断
与
的大小来获取放大比例，如果
w为原始图像的长度，h为原始图像的宽度，x为拍摄目标的长度，y为拍摄目标的宽度，则说明检测目标在所述原始图像中的长度小于宽度，若是进行长度
比例进行放大，所述检测目标在宽度的方向上无法完全录入到所述云台相机的拍摄范围内，所以只能进行宽度比例进行放大。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (2)
1.一种基于机器视觉的自主巡检的方法，其特征在于：
建立识别模型，所述识别模型通过多组训练数据训练得出，其中每一组数据包括：检测目标的照片与用于识别检测目标类型的识别信息；
根据不同检测目标的标准建设参数标准，量化定位目标与拍摄目标的坐标信息，将定位目标的坐标信息标记为第一坐标，将多个拍摄目标的坐标信息标记为多个第二坐标，将所述第一坐标与多个第二坐标存入数据库；
云台相机对检测目标进行拍摄，获取一张含有定位目标的原始图像，将原始图像输入到所述识别模型中，获取识别结果，所述识别结果为识别所述检测目标的类型，根据识别结果调用对应的第一坐标与第二坐标；
根据第一坐标与第二坐标获取云台相机的转动角度，根据转动角度转动所述云台相机，使得所述云台相机的拍摄中心移动到单个拍摄目标，所述云台相机进行相应比例放大拍摄，获取该单个拍摄目标的放大图像，
继续调用其余的第二坐标，将单个检测目标所有的拍摄目标进行拍照检测，获取所有所述拍摄目标的放大图像，并将所有放大图像上传至云端；
所述进行相应比例放大拍摄，包括获取放大比例，其中获取放大比例包括以下步骤：
获取原始图像的长度与宽度的尺寸；
获取拍摄目标在所述原始图像中的长度与宽度的尺寸；
拍摄目标和原始图像的宽度比与所述检测目标和原始图像的长度比进行比对，若长度比小于宽度比，则所述长度比为放大比例，若所述长度比大于宽度比，则所述宽度比为放大比例；
获取识别结果包括：使用图像降噪算法对所述原始图像进行降噪处理，提高所述原始图像的清晰度
使用图像增强方法增强所述原始图像的边缘信息；
通过卷积神经网络识别在所述原始图像中的所述定位目标；
所述获取云台相机的转动角度前，需要使所述云台相机的拍摄中心与定位目标的中心重合；
以原始图像的中心点为原点，使用计算几何中心的计算方式构建二维十字坐标系；
使用所述云台相机对一个参照物在不同距离下进行拍摄，获取所述参照物在不同拍摄距离下的像素值，通过多组像素值与拍摄距离之间的比例关系获取像素值与距离的线性关系，通过所述线性关系确认所述云台相机在一个像素值的像素距离；
获取当前原始图像的像素值，通过所述像素距离计算所述云台相机到所述检测目标之间的实际距离；
将所述云台相机与所述检测目标之间的实际距离代入公式一
计算得出云台相机的拍摄中心转动到第二坐标的旋转度数，其中dx为云台相机到定位目标的直线距离，lx为云台相机到定位目标的水平距离；
所述获取云台相机的转动角度，包括调用第一坐标与第二坐标，通过将第一坐标与第二坐标代 入所述公式一获取所述云台相机的转动角度；在所述云台相机的拍摄中心从第一坐标转动至第二坐标拍摄的过程，等同于在等腰三角形中做余弦定理计算，同样使用第一坐标的数据值代 入公式一中进行计算，得到所述云台相机从第一坐标转动至第二坐标拍摄所需要的水平方向与垂直方向的转动角度。
2.根据权利要求1所述一种基于机器视觉的自主巡检的方法，其特征在于：
所述将定位目标的坐标信息标记为第一坐标，包括获取定位目标的长度、宽度与高度，通过长度、宽度与高度构建一个第一长方体，获取第一长方体的中心点，将第一长方体的中心点标记为第一坐标；
将多个拍摄目标的坐标信息标记为多个第二坐标，包括获取拍摄目标的长度、宽度与高度，通过长度、宽度与高度构建一个第二长方体，获取第二长方体的中心点，以所述第一坐标为中心点构建一个三维坐标系，获取第二长方体的中心点在三维坐标系定位，并标记为第二坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011235319.4A CN112102395B (zh) | 2020-11-09 | 2020-11-09 | 一种基于机器视觉的自主巡检的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011235319.4A CN112102395B (zh) | 2020-11-09 | 2020-11-09 | 一种基于机器视觉的自主巡检的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102395A CN112102395A (zh) | 2020-12-18 |
| CN112102395B true CN112102395B (zh) | 2022-05-20 |
Family
ID=73785185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011235319.4A Active CN112102395B (zh) | 2020-11-09 | 2020-11-09 | 一种基于机器视觉的自主巡检的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102395B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192127B (zh) * | 2021-05-12 | 2024-01-02 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN113191336B (zh) * | 2021-06-04 | 2022-01-14 | 绍兴建元电力集团有限公司 | 基于图像识别的电力隐患识别方法及系统 |
| CN115953605B (zh) * | 2023-03-14 | 2023-06-06 | 深圳中集智能科技有限公司 | 机器视觉多目标图像坐标匹配方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
| CN108733755A (zh) * | 2018-04-11 | 2018-11-02 | 国网山东省电力公司信息通信公司 | 一种基于输电线路三维信息的智能巡检方法及系统 |
| CN108961276A (zh) * | 2018-04-04 | 2018-12-07 | 山东鲁能智能技术有限公司 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
| CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
| CN110633629A (zh) * | 2019-08-02 | 2019-12-31 | 广东电网有限责任公司清远供电局 | 基于人工智能的电网巡检方法、装置、设备及存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5673082A (en) * | 1995-04-10 | 1997-09-30 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Light-directed ranging system implementing single camera system for telerobotics applications |
| RU2558002C1 (ru) * | 2014-02-03 | 2015-07-27 | Общество с ограниченной ответственностью "Лаборатория будущего" | Устройство диагностики воздушных линий электропередач и его компонент |
| KR101769718B1 (ko) * | 2016-09-21 | 2017-08-18 | 한국전력공사 | 송전선로 전자계 및 순시 점검 영상 취득 장치 및 방법 |
| US10210662B2 (en) * | 2016-12-09 | 2019-02-19 | Fyusion, Inc. | Live augmented reality using tracking |
| US11188768B2 (en) * | 2017-06-23 | 2021-11-30 | Nec Corporation | Object detection apparatus, object detection method, and computer readable recording medium |
| CN108377328A (zh) * | 2018-01-03 | 2018-08-07 | 广东电网有限责任公司机巡作业中心 | 一种直升机巡视作业的目标拍摄方法及装置 |
| CN109307970A (zh) * | 2018-11-22 | 2019-02-05 | 成都市鹰诺实业有限公司 | 一种相机自动对焦方法 |
| CN109739239B (zh) * | 2019-01-21 | 2021-09-21 | 天津迦自机器人科技有限公司 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
| CN110580717B (zh) * | 2019-08-15 | 2022-10-21 | 成都优艾维智能科技有限责任公司 | 一种针对电力杆塔的无人机自主巡检航线生成方法 |
| CN110602484B (zh) * | 2019-08-29 | 2021-07-27 | 海南电网有限责任公司海口供电局 | 一种输电线路设备拍摄质量在线检核方法 |
| CN110908401B (zh) * | 2019-12-06 | 2021-03-30 | 电子科技大学 | 一种针对未知杆塔结构的无人机自主巡检方法 |
| CN110879601B (zh) * | 2019-12-06 | 2021-05-18 | 电子科技大学 | 一种对于未知风机结构的无人机巡检方法 |
| CN110687904B (zh) * | 2019-12-09 | 2020-08-04 | 广东科凯达智能机器人有限公司 | 一种巡线机器人视觉导航巡检和避障方法 |
| CN111272148B (zh) * | 2020-01-20 | 2021-08-31 | 江苏方天电力技术有限公司 | 输电线路无人机自主巡检自适应成像质量优化方法 |
| CN111611989B (zh) * | 2020-05-22 | 2023-08-01 | 四川智动木牛智能科技有限公司 | 一种基于自主机器人的多目标精准定位识别方法 |
-
2020
- 2020-11-09 CN CN202011235319.4A patent/CN112102395B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
| CN108961276A (zh) * | 2018-04-04 | 2018-12-07 | 山东鲁能智能技术有限公司 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
| CN108733755A (zh) * | 2018-04-11 | 2018-11-02 | 国网山东省电力公司信息通信公司 | 一种基于输电线路三维信息的智能巡检方法及系统 |
| CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
| CN110633629A (zh) * | 2019-08-02 | 2019-12-31 | 广东电网有限责任公司清远供电局 | 基于人工智能的电网巡检方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于视觉导航的输电线杆塔方位确定方法;王祖武等;《激光与光电子学进展》;20190430;第56卷(第8期);第1-9页 * |
| 无人机电力巡检中定位绝缘子的方法;唐泽亮等;《机电工程技术》;20170830;第46卷(第08期);第172-176页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102395A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102395B (zh) | 一种基于机器视觉的自主巡检的方法 | |
| WO2022082856A1 (zh) | 一种巡检目标自动识别跟踪的方法、系统及机器人 | |
| CN109544679B (zh) | 管道内壁的三维重建方法 | |
| EP3749923A1 (en) | Computer vision system and method for tank calibration using optical reference line method | |
| CN110084842B (zh) | 一种机器人云台伺服二次对准方法及装置 | |
| CN112714287A (zh) | 一种云台目标转换控制方法、装置、设备及存储介质 | |
| CN113240747B (zh) | 一种基于计算机视觉的户外结构振动位移自动化监测方法 | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| CN111754462A (zh) | 一种三维弯管的视觉检测方法及系统 | |
| CN112284260A (zh) | 一种视觉位移监测方法、设备和系统 | |
| CN105352975A (zh) | 一种桥梁缆索外观检测方法 | |
| CN108665468B (zh) | 一种提取直线塔绝缘子串的装置及方法 | |
| CN112967319A (zh) | 一种基于特征点识别的块体运动实时检测方法 | |
| CN114119614A (zh) | 一种远程检测建筑物的裂缝的方法 | |
| CN113658279B (zh) | 相机内参和外参估算方法、装置、计算机设备及存储介质 | |
| JP2011069797A (ja) | 変位量測定装置及び変位量測定方法 | |
| CN113205541A (zh) | 一种基于视觉边缘检测的实验室空间波浪实时测量方法 | |
| CN110068284B (zh) | 利用高速摄影测量技术监测塔式起重机的方法 | |
| CN105354855B (zh) | 一种高耸结构外观检测装置及方法 | |
| CN115690150B (zh) | 一种基于视频的多目标位移跟踪监测方法及装置 | |
| CN111583174B (zh) | 基于点云数据的铁塔形变检测检测的方法和系统 | |
| CN115717865A (zh) | 环形结构全场变形测量方法 | |
| KR101174820B1 (ko) | 부유체 동적 변위 계측장치 및 이에 포함되는 영상기반 유닛 | |
| CN112396651B (zh) | 一种通过二角度图像实现设备定位的方法 | |
| CN114299153A (zh) | 一种超大电力设备的相机阵列同步标定方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method of Autonomous Inspection Based on Machine Vision Effective date of registration: 20230531 Granted publication date: 20220520 Pledgee: Agricultural Bank of China Limited Shunde Daliang sub branch Pledgor: GUANGDONG KEYSTAR INTELLIGENCE ROBOT Co.,Ltd. Registration number: Y2023980042390 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |