CN112164015B - 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 - Google Patents

单目视觉自主巡检图像采集方法、装置及电力巡检无人机 Download PDF

Info

Publication number
CN112164015B
CN112164015B CN202011375823.4A CN202011375823A CN112164015B CN 112164015 B CN112164015 B CN 112164015B CN 202011375823 A CN202011375823 A CN 202011375823A CN 112164015 B CN112164015 B CN 112164015B
Authority
CN
China
Prior art keywords
image
preset
aerial vehicle
unmanned aerial
target device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011375823.4A
Other languages
English (en)
Other versions
CN112164015A (zh
Inventor
邵瑰玮
谈家英
付晶
文志科
刘壮
周立玮
蔡焕青
胡霁
陈怡�
曾云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202011375823.4A priority Critical patent/CN112164015B/zh
Publication of CN112164015A publication Critical patent/CN112164015A/zh
Application granted granted Critical
Publication of CN112164015B publication Critical patent/CN112164015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

本发明公开了单目视觉自主巡检图像采集方法、装置及电力巡检无人机。该方法包括：根据预先获取的分区规划航线数据，及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留，其中，航线内包括M个预定航点，在第i个预定航点视野内包括有Ni个目标设备；电力巡检无人机设置有云台和单目可见光相机，单目可见光相机固定设置在云台的承托面，而云台的承托面在所述云台俯仰时跟随摆动；在各预定航点停留期间，利用单目可见光相机进行视觉导航，结合轮廓识别深度学习模型，采集与各预定航点分别对应的Ni个目标设备的高清图像，并在无人机前端进行图像质量检测。该方法提高了无人机巡检作业效率和拍摄的图像质量。

Description

单目视觉自主巡检图像采集方法、装置及电力巡检无人机
技术领域
本发明属于电力线路巡检技术领域，尤其涉及单目视觉自主巡检图像采集方法、装置及电力巡检无人机。
背景技术
“十三五”期间，国家电网公司的设备规模持续增长，110（66）千伏及以上架空线路长度已超过百万公里。目前已经推广的电力线路无人机巡检，较传统的人工巡检提升了巡检效率。
目前无人机自主巡检时，预先设置基于GPS/北斗等系统的导航定位坐标的拍摄航线；无人机起飞后通过比对实时导航定位坐标来判断是否到达航线上的预定位置航点；在到达航线上的预定位置航点后，相机采集杆塔上的设备图像。但是，基于普通GPS/北斗等系统的导航定位时，实时导航定位坐标的准确性不足，无人机定位偏差过大导致获取的设备图像的有效性差，无效图像甚至多于有效图像。在无人机回收后，针对图像质量不符合要求的，需要进行复飞巡检，费时费力。
普通导航定位模块精度难以满足电力设备定位精准拍摄需求，RTK设备需要额外的成本，并增加无人机的负载；无人机飞到杆塔附近后由班组人员手动巡检，限制了巡检效率的进一步提升；手动控制无人机调整位置姿态，其过程时间较长，会占用有限的续航时间；存在人员误操作引起的撞线风险。综上，现有巡检方式不能适应电网运维需求。
发明内容
针对现有技术的不足，本发明提供单目视觉自主巡检图像采集方法、装置及电力巡检无人机，以改善现有电力线路巡检无人机难以实现高精度自主巡检及图像质量不高的问题。
第一方面，本发明提供一种单目视觉自主巡检图像采集方法，包括：
根据预先获取的分区规划航线数据，及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留，其中，航线内包括M个预定航点，在第i个预定航点视野内包括有Ni个目标设备，Ni为大于或等于1的整数，M为大于或等于1的整数，i为大于或等于1且小于或等于M的整数；其中，电力巡检无人机设置有云台和单目可见光相机，单目可见光相机固定设置在云台的承托面，而云台的承托面在所述云台俯仰时跟随摆动；
在各预定航点停留期间，利用单目可见光相机进行视觉导航，结合轮廓识别深度学习模型，采集与各预定航点分别对应的Ni个目标设备的高清图像。
第二方面，本发明提供一种单目视觉自主巡检图像采集装置，包括：
轮廓识别深度学习模型模块，用于识别包括各预定航点对应的全部目标设备的图像及识别仅包括各预定航点对应的任一目标设备的图像；
对比度校正模块，用于确定全部的预定数量的高清图像梯度值，并确定梯度值最大的那帧图像为对焦正确图像；检测所述对焦正确图像的对比度；若对比度不足，则对所述对焦正确图像对进行灰度值直方图均衡化操作，得到当前目标设备的高清图像；
单目相机视觉导航模块，与电力巡检无人机的飞控系统及轮廓识别深度学习模型模块连接，用于利用单目可见光相机并结合轮廓识别深度学习模型，生成由电力巡检无人机的飞控系统执行的飞控指令，以使得目标设备在预定航点视野内居中保持和/或聚焦显示；
自主巡检图像采集模块，与电力巡检无人机的飞控系统及轮廓识别深度学习模型模块连接，用于根据预先获取的分区规划航线数据及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留；及在各预定航点停留期间，采集与各预定航点分别对应的全部目标设备的高清图像。
第三方面，本发明提供一种电力巡检无人机，包括：
云台；
单目可见光相机，其固定设置在云台的承托面，而云台的承托面在所述云台俯仰时跟随摆动；
导航定位模块；
飞控系统，所述云台俯仰动作受控于所述飞控系统；
执行在第一方面中说明的方法的单目视觉自主巡检图像采集装置。
本发明提供的单目视觉自主巡检图像采集方法、装置及电力巡检无人机，利用单目可见光相机进行视觉导航，结合轮廓识别深度学习模型，提高了无人机巡检作业效率和拍摄的图像质量，有利于提升后续缺陷识别的效果。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为本发明优选实施方式的单目视觉自主巡检图像采集方法的流程示意图；
图2是本发明优选实施方式的单目视觉自主巡检图像采集装置的组成示意图；
图3为本发明优选实施方式的电力巡检无人机单目相机图像采集方法的流程示意图；
图4为本发明优选实施方式的从图像中定位出目标设备并编号的示意图；
图5为根据位置偏置将图4中的目标设备1调整到居中显示在图像视域内的示意图；
图6为根据标注框的面积，将图5中的目标设备1调整到聚焦显示在图像视域内的示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语（包括科技术语）对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
以下为术语定义：
全分辨率图像：以可见光相机支持的最大分辨率来拍摄的图像；或者以显示设备支持的最大分辨率来显示的图像。
如图1所示，本发明一个实施例的单目视觉自主巡检图像采集方法，包括：
根据预先获取的分区规划航线数据，及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留，其中，航线内包括M个预定航点，在第i个预定航点视野内包括有Ni个目标设备，Ni为大于或等于1的整数，M为大于或等于1的整数，i为大于或等于1且小于或等于M的整数；其中，电力巡检无人机设置有云台和单目可见光相机，单目可见光相机固定设置在云台的承托面，而云台的承托面在云台俯仰时跟随摆动；
在各预定航点停留期间，利用单目可见光相机进行视觉导航，结合轮廓识别深度学习模型，采集与各预定航点分别对应的Ni个目标设备的高清图像。
具体实施时，该实施例的图像采集方法，还包括：
根据预先获取的分区规划航线数据，及从导航定位模块获取的实时位置数据，控制电力巡检无人机在航线内第i个预定航点悬停的步骤，步骤包括：
在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时，确定电力巡检无人机到达第i个预定航点；
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据，控制电力巡检无人机调整姿态及控制云台俯仰，以使得单目可见光相机面对预先设定的第i个预定航点视野；
在根据电力巡检无人机设置的传感器回传的数据确认单目相机面对预先设定的第i个预定航点视野后，标识第i个预定航点全景飞控参数，并控制电力巡检无人机在第i个预定航点悬停；
其中，第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
具体实施时，该实施例的图像采集方法，还包括：
利用单目相机进行视觉导航，结合轮廓识别深度学习模型，确定第i个预定航点对应的Ni个目标设备的步骤，步骤包括：
电力巡检无人机在航线内第i个预定航点悬停时，控制电力巡检无人机保持第i个预定航点全景飞控参数；
控制可见光相机以视频模式采集预设时长的视频图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析预设时长的视频图像；
在识别出预设的Ni个目标设备后，从预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像。
具体实施时，该实施例的图像采集方法，还包括：
利用单目可见光相机进行视觉导航，结合轮廓识别深度学习模型，采集第i个预定航点对应的Ni个目标设备的高清图像的步骤，步骤包括：
在基准图像中确定各目标设备对应的识别框，并对Ni个目标设备编号；
从第一个目标设备开始，依次执行单个目标设备图像采集步骤，直至采集到Ni个目标设备的高清图像为止；
单个目标设备图像采集步骤，包括：
若搭载变焦相机，确认单目可见光相机处于最小焦距状态；
控制电力巡检无人机改变位姿和/或调整云台俯仰，直到当前目标设备在第i个预定航点视野内居中显示；
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距，直到当前目标设备在第i个预定航点视野内聚焦显示；
控制单目可见光相机连续获取预定数量的图像实时图像，确定全部的预定数量的实时图像的梯度值，并确定梯度值最大的那帧图像为对焦正确图像；
检测对焦正确图像的对比度；若对比度不足，则对对焦正确图像进行灰度值直方图均衡化操作，得到当前目标设备的高清图像；若对比度足够，则确定对焦正确图像为当前目标设备的高清图像；
在当前目标设备不是第Ni个目标设备时，根据第i个预定航点全景飞控参数，控制电力巡检无人机在第i个预定航点悬停；将下一个目标设备作为当前目标设备，执行单个目标设备图像采集步骤；
在当前目标设备是第Ni个目标设备时，退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
具体实施时，该实施例的图像采集方法，控制电力巡检无人机改变位姿和/或调整云台俯仰，直到当前目标设备在第i个预定航点视野内居中显示，包括：
确定在基准图像中，当前目标设备对应的识别框的设备中心点图像坐标；
步骤S1000：根据当前的设备中心点图像坐标与图像坐标系中心点之间的偏差，控制电力巡检无人机改变位姿或调整云台俯仰，并控制单目可见光相机获取图像实时图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析图像实时图像，并确定图像实时图像中当前目标设备对应的识别框的设备中心点图像坐标；
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差大于预先设定的偏差阈值时，返回步骤S1000；
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差不大于预先设定的偏差阈值时，确定当前目标设备在第i个预定航点视野内居中显示，标识当前目标设备对应的局部居中飞控参数，局部居中飞控参数包括无人机位姿数据和云台俯仰数据。
该实施例图像采集方法提供的居中保持步骤，可以在阵风造成无人机位置姿态变化时，避免自主巡检拍摄的图像中丢失目标设备。具体实施时，该实施例的图像采集方法，控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距，直到当前目标设备在第i个预定航点视野内聚焦显示，包括：
在单目可见光相机为定焦相机时，
步骤S2000：控制电力巡检无人机靠近当前目标设备，并控制单目可见光相机获取图像实时图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析图像实时图像，并确定图像实时图像中当前目标设备对应的识别框所占据的面积；
在识别框所占据的面积在图像实时图像中的占比小于预先设定的面积阈值时，返回步骤S2000；
在识别框所占据的面积在图像实时图像中的占比大于或不小于预先设定的面积阈值时，确定当前目标设备在第i个预定航点视野内聚焦显示，标识当前单个目标设备对应的局部聚焦飞控参数，局部聚焦飞控参数包括无人机位姿数据和云台俯仰数据；
在单目可见光相机为变焦相机时，
步骤S3000：控制单目可见光相机增加焦距，并控制单目可见光相机获取图像实时图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析图像实时图像，并确定图像实时图像中当前目标设备对应的识别框所占据的面积；
在识别框所占据的面积在图像实时图像中的占比小于预先设定的面积阈值时，返回步骤S3000；
在识别框所占据的面积在图像实时图像中的占比大于或不小于预先设定的面积阈值时，确定当前单个目标设备在第i个预定航点视野内聚焦显示，标识当前单个目标设备对应的局部聚焦相机参数，局部聚焦相机参数包括焦距。
该实施例图像采集方法提供的聚焦步骤，可以在阵风造成无人机位置姿态变化时，避免自主巡检拍摄的图像中丢失目标设备。
具体实施时，该实施例的图像采集方法，针对第i个预定航点视野内包括的Ni个目标设备，预先训练有识别全部的Ni个目标设备的第一轮廓识别深度学习模型和识别单个目标设备的第二轮廓识别深度学习模型；
第一轮廓识别深度学习模型或第二轮廓识别深度学习模型为YOLO模型，其中，YOLO模型的特征提取子模型为MobileNetV2网络。
具体实施时，该实施例的图像采集方法，针对塔杆的分区规划航线数据包括相对于塔杆参考平面对称的M个预定航点；其中，在塔杆参考平面的每一侧，分布有M/2个预定航点。
该实施例的图像采集方法，无人机飞行、居中保持及调整聚焦时，相机工作在视频模式。视频模式时，连续拍摄分辨率较低的图片。例如1080分辨率（如1920*1080）时，视频模式下每秒拍摄30帧图像；
在变焦聚焦并进行了质量检测后，相机工作在拍照模式，拍摄高清图像，也即全分辨率图像。拍照模式时，拍摄频率较低。高清图像的分辨率较高，可以看到设备细节，占用内存较大，通常不连续拍摄；高清图像的分辨率通常为6000*4000或以上。
输电线路运维管理规定中明确定义的输电线路缺陷有近900种，需要在识别设备的基础上进一步判断设备是否存在缺陷。而线路上绝大多数设备处于正常状态，易对缺陷识别的准确性造成干扰。目前的主流深度学习网络缺陷识别模型在GB级，需要在供电充足的地面站运行来识别检测图像中设备缺陷和隐患，无法实现作业现场实时的缺陷识别。
在该实施例的图像采集方法获取到清晰完整的目标设备图像后，在地面站运行的缺陷识别系统，可以从设备图像中进一步识别判断出诸如销钉缺失、导线断股散股等缺陷。
具体实施时，该实施例的图像采集方法中，分区规划航线时，将分区内的电路设备集中地规划到航点的视野内，减少了无人机巡检航线内的航点数量，增加了在单个航点内的作业密度，提升了作业效率，并提升了飞行安全性；提高了利用续航时间的效率，提升了无人机巡检速度和巡检效率。
目前无人机执行巡检航线时，需要穿过杆塔对设备进行不同角度的巡检，存在坠机或者撞线的安全风险。本发明实施例的图像采集方法仅在杆塔参考平面的两侧规划航线，降低了坠机或者撞线风险。具体实施是，在分区规划航线时，将待识别的目标设备分组及分区划分。目标设备包括：输电线路杆塔全景、塔顶地线挂点、悬垂绝缘子接地端挂点、悬垂绝缘子串整体、悬垂绝缘子带电端、耐张绝缘子接地端挂点、耐张绝缘子串整体、耐张绝缘子带电端。其中，输电线路杆塔全景展示远距离杆塔全貌。
该实施例的图像采集方法，支持成本低、重量轻的普通导航定位模块，也即不具有RTK功能的导航定位模块，其实现的实现分米级/米级三维地理坐标定位即可满足该实施例的图像采集方法的位置精度要求。
该实施例的图像采集方法利用单目可见光相机进行视觉导航，结合轮廓识别深度学习模型，并关联到无人机的飞控系统。
该实施例的图像采集方法，利用单目可见光相机进行视觉导航并结合轮廓识别深度学习模型，在航点附近精细调整单目可见光相机的视野，摆脱了对昂贵的RTK高精度导航定位设备的依赖，有效降低了无人机巡检系统的设备成本。
该实施例的图像采集方法中，无人机的飞控系统根据导航定位坐标初步定位航点；通过实时分析可见光相机图像，判断当前无人机位姿及云台俯仰的控制目标参考值，并由无人机的飞控系统调整无人机的位姿及云台俯仰；通过实时分析可见光相机图像，判断可见光相机与目标设备之间距离的调整参考量，控制可见光相机变焦或由无人机的飞控系统调整无人机与目标设备之间的距离；
该实施例的图像采集方法中，在确定了拍摄点之后，标记对应的无人机位姿及云台俯仰参数，在因阵风、导航信号干扰等因素造成目标丢失时，恢复无人机到预先标记的拍摄点，使得图像采集过程中目标设备始终居中或聚焦地显示在图像中央。
该实施例的图像采集方法中，实时分析可见光相机图像获取的图片质量，避免逆光拍摄造成图像质量下降。
该实施例的图像采集方法中，无人机到达预定位置后，在根据导航定位模块初步定位的基础上，利用单目可见光相机进行视觉导航并结合轮廓识别深度学习模型，在航点附近精细调整单目可见光相机的视野，使得目标设备在图像中居中显示并确保聚焦充分及对焦正确，保证了图像清晰、曝光正常。
由于基于普通导航定位模块的定位坐标对拍摄方向偏移的控制精度有限，在拍摄过程中导航定位信号受到干扰时，为避免自主巡检拍摄的图像中丢失目标设备，可以采取前述的居中保持步骤及聚焦步骤。
在存在对焦错误时，为避免图像模糊，包括：
对无人机云台实时拍摄的视频，每10帧计算一帧Tenengrad梯度值Ti，计算其max（Ti）时的相机参数，此时为正确对焦。
进一步地，在存在机身抖动时，为避免图像模糊，包括：
将相机快门曝光时间设置为1/100秒或以上，尽量从相机设置上避免曝光时间过长造成的抖动。对无人机云台实时拍摄的视频，每10帧计算一帧Tenengrad梯度值Ti，当Ti＜0.5average（Ti）时，认为机身存在机械或阵风引起的抖动，暂缓执行拍摄任务，至Ti＞0.9average（Ti）时，恢复拍摄任务，计算其max（Ti）时的相机参数，为正确对焦。
进一步地，在存在逆光拍摄时，为避免图像对比度异常而导致设备缺陷难以辨认，包括：
对焦正确的第i帧图像，则对灰度值直方图进行均衡化操作，设原图像逐像素灰度为f（x,y），x、y为每个像素横纵坐标值。设图像中灰度直方图其最小灰度级为A=min[f(x,y)]，最大灰度级为B=max[f(x,y)]，将A和B分别线性映射到0和255得到调整后的图像g（x,y），公式为：
g(x,y)=[255/(B-A)]×[f（x,y）-A]；
从而保障图像对比度适中，设备表面纹理特征清晰可辨。
应该理解为，在巡检过程中，飞控系统记录无人机位姿及云台俯仰等飞控参数，并标记典型位置的飞控参数，以便后续调用及保持该飞控参数。
通过控制无人机位姿及云台俯仰，保证图像采集过程中目标设备在图像中居中显示，防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。
具体地，实时检测图像质量，当对焦错误时调整对焦参数，在检测到抖动时暂定任务待稳定后继续，逆光拍摄时调整对比度，当目标不在图像中心时通过微调无人机位资或云台，使目标始终居中显示。
在图像对比度合适或/且对焦最清晰时，控制相机在视频模式和拍照模式之间切换；在拍照模式时，拍摄目标设备高清图像。
具体实施时，采用图3所示的流程示意图采集杆塔设备的图像。在图4所示的目标设备1的高清图像拍摄结束后，通过预先标记的飞控参数，无人机恢复到预定航点，开始对图4所示的目标设备2拍摄高清图像。
无人机恢复到预定航点，若搭载的是变焦相机，则变焦相机恢复至最短焦距/最小焦距。在预定航点，从图像中选择下一个目标设备，也即目标设备2，依次执行居中保持步骤、聚焦显示步骤、及定焦拍摄步骤，为目标设备2拍摄高清图像。
在图4所示的目标设备2的高清图像拍摄结束后，通过预先标记的飞控参数，无人机恢复到预定航点，开始对图4所示的目标设备3拍摄高清图像。
无人机恢复到预定航点，若搭载的是变焦相机，则变焦相机恢复至最短焦距/最小焦距。
在预定航点，从图像中选择下一个目标设备，也即目标设备3，依次执行居中保持步骤、聚焦显示步骤、及定焦拍摄步骤，为目标设备3拍摄高清图像。
在获取到预定航点可拍摄的所有目标设备的高清图像后，无人机飞向巡检航线中下一个预定航点，并重复上述步骤，直至获取到巡检航线中所有预定航点位置的高清图像。
该实施例的图像采集方法及系统在一个航点完成视野内多个目标设备的拍摄，提升了巡检效率。
具体地，到达预定航点后，控制相机的采集图像，若搭载变焦相机则设置为广角端最小焦距拍摄，定焦相机实时拍摄，发送到轮廓识别深度学习模型模块进行分析，包括：
从可见光相机获取全景视频并发送至轮廓识别深度学习模型模块；
利用轮廓识别深度学习模型，从压缩全景视频的全部图像中定位出至少一个目标设备；并根据各目标设备在图像中的位置，并对视野内的目标设备进行编号。
具体地，为降低图像处理压力，从全景视频中按照预先设置的抽取比例从每一组连续的S帧图像中抽取1帧图像，得到压缩全景视频；并对压缩全景视频进行分析，其中，S为正整数。优选地，每连续10帧抽取1帧。
具体地，该轮廓识别深度学习模型，采用经过轻量化改进的YOLO模型（也即YOLO深度学习网络）从图像中检测出至少一个目标设备；将YOLO深度学习网络的特征提取网络替换为MobileNetV2网络，可以使特征提取算法的计算量减少了两个数量级，因此可以运行在机载轮廓识别深度学习模型模块上。
相机拍摄的输电线路杆塔图像具有复杂多变的背景，现有的深度学习模型难以实现电力目标设备如绝缘子、导线、金具的识别。如包括有MobileNetV2模型且经过简化的YOLO模型深度学习模型，运行效率更高、系统开销更低。
电力设备如绝缘子、导线、金具等目标设备具有相对明显的分段组合轮毂特征，轮廓识别深度学习模型模块运行的轻量化深度学习模型根据这些目标设备的轮毂特征训练得到，训练后的轻量化深度学习模型可准确识别出任一图像中的各目标设备的轮廓或任一高清图像中的单一设备的轮廓。
该轮廓识别深度学习模型概括了电力线路中需要拍摄的目标设备的形状特征/轮廓特征，发挥了YOLO深度学习网络的优势，避免了针对不同电压等级线路上不同型号设备分别开发识别算法，在降低开发成本的同时，提升了识别结果的一致性/鲁棒性。
具体实施时，在训练时，训练集由人工标注有各目标设备的标号、且设备轮廓清晰的图像或高清图像。训练完成后，将该轻量化深度学习模型通过FPGA移植到轮廓识别深度学习模型模块。
无人机到达预定航点悬停后，控制可见光相机采集预设时长的视频图像，利用轮廓识别深度学习模型对图像进行实时分析。
具体地，从多张图像中定位出至少一个目标设备；确定各目标设备在图像中的位置；并各目标设备进行编号。
具体地，利用识别模型分析得到的各目标设备的轮廓连线的最小外接包围盒/外接最小矩形为设备的识别框。
具体地，将识别出至少一个目标设备的图像记为Pic0，其拍摄时刻记为T0，记录T0时刻无人机位姿数据和云台俯仰数据，并将其作为航点全景飞控参数。
如图4所示，对图像Pic0内识别出的多个目标设备，根据各识别框的中心点坐标，从上至下及从左至右地在图像中顺序编号。如图4所示的图像中，包括有3个目标设备，分别为目标设备1、目标设备2和目标设备3，其中，目标设备1的中心点(x1，y1)、目标设备2的中心点(x2，y2)、目标设备3的中心点(x3，y3)的坐标值依次由小到大递增。
接下来按照编号大小，依次拍摄各设备的高清图像。
具体地，单目相机视觉导航模块实时计算图像中目标设备的识别框的中心点位置O1与中心点O2的位置偏差OZ；将位置偏差OZ反馈给无人机的飞控系统；飞控系统根据该位置偏差OZ调节无人机的位姿及云台俯仰，使得后续保持在该飞控参数（包括无人机的位姿及云台俯仰）时，目标设备在图像中居中显示，这时，无人机位姿及云台俯仰数据构成目标设备的局部居中飞控参数。
也即，在设备识别框的中心点位置O1与图像中心O2的位置偏差OZ足够小时，则认为目标设备在图像中居中显示。
如图5所示，该轮廓识别深度学习模型模块从图像中确定目标设备1的识别框，并确定目标设备1的识别框的中心点位置P1(xp1，yp1)与图像的中心点位置P0(x0，y0)的偏差P1-0，并将偏差P1-0反馈给无人机的飞控系统，通过调节无人机位姿及云台俯仰，使得目标设备1在图像中居中显示；这时，无人机位姿数据及云台俯仰数据构成目标设备1的局部居中飞控参数。
后续通过控制无人机的飞控系统恢复目标设备1的局部居中飞控参数，即可以保证目标设备在可见光相机的图像中居中显示。
具体实施时，如图5所示，以图像的左上角为原点，水平向右的方向为X轴的正向，竖直向下方向为Y轴的正向，建立图像坐标系。则其X轴方向最大值为图像的最大横向分辨率Xm，Y轴方向最大值为图像的最大纵向分辨率Ym），图像的中心点位置坐标为(X0，Y0)，其中X0=Xm/2，Y0=Ym/2。
对图像中识别出的目标设备，确定其最小外接矩形包围盒作为目标设备识别框，并记录该识别框的左上顶点坐标为（X1，Y1）、其右下顶点坐标为（X2，Y2）。
则目标设备的识别框的中心点P1在图像坐标系中的坐标XP1=（X2-X1）/2+X1，YP1=(Y2-Y1)/2+Y1。
计算目标设备识别框的中心点P1与图像的中心点P0的欧式距离D；从X轴和Y轴两个方向分别进行计算，得到DX值和DY值，其中DX=XP1-X0，DY=YP1-Y0。
将DX值和DY值反馈到无人机的飞控系统，由飞控系统根据DX值和DY值调整无人机位姿和/或云台俯仰。例如，目标设备在图像中偏左上，则飞控系统控制云台转动，使得相机的镜头向左上移动。
应该理解为，二维的图像坐标系与相机坐标系、飞控系统三维坐标系及云台坐标系（以飞控坐标系为基准）之间的坐标转换采用现有技术中公开的方法，这里不再赘述。
具体实施时，单目相机视觉导航模块实时从飞控系统获取无人机位姿数据和云台俯仰数据；若在目标设备图像采集过程中，检测到因瞬时风影响而导致的无人机位姿发生变化，则由飞控系统控制无人机/云台应朝反方向移动，实现位置补偿，以保持相机镜头朝向不变/相机拍摄朝向方位稳定。例如，检测到无人机的偏转角较上一时刻改变了α度，则控制云台在上一时刻俯仰的基础上，针对偏转角补偿-α度，从而始终保持相机的拍摄朝向方位稳定。
具体实施时，在相机拍摄期间，周期地计算目标设备识别框的中心点P1与图像的中心点P0的欧式距离D，也即计算DX值和DY值，并重复调整无人机位姿位置/云台俯仰的步骤，直至满足|DX|≤Xm/50且|DY|≤Ym/50。
在判断目标设备在图像中居中显示之后，记录时刻T1-0时，无人机位姿数据和云台俯仰数据；将其作为局部居中飞控参数，用于后续聚焦过程中丢失目标设备时，恢复居中保持状态的对应的无人机位姿位置和云台俯仰。
以上居中保持步骤实现了该轮廓识别深度学习模型模块与无人机的飞控系统实时通信，通过位置伺服控制无人机位姿及云台俯仰，保证图像采集过程中目标设备始终保持在图像居中显示，防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。
以上居中保持步骤是保持设备的识别框中心点位于图像的中心。
进一步地，执行聚焦步骤，通过变焦或改变相机位置，使得目标设备的识别框在图像中占据的面积尽量大。如图6所示，目标设备1在可见光相机的采集图像中聚焦显示。这时，目标设备识别框的中心点与图像中心点之间的偏移低于阈值，且目标设备占据相机视野的百分比超过阈值。
聚焦步骤中，针对变焦相机焦距的调整步骤如下。
因为变焦相机的广角/聚焦镜片组是机械结构，无人机的飞控系统控制相机从最短焦距变化到最聚焦距大约需要1至2s的时间，远大于拍照时的曝光时间1/100s。因此需要将变焦过程中轮廓识别与无人机位姿伺服及云台俯仰伺服控制结合，保证变焦过程中镜头始终锁定目标设备，防止因阵风等外界变化造成目标丢失。
具体地，若无人机搭载定焦相机，则根据目标设备识别框的中心点P1与图像的中心点P0的欧式距离控制无人机朝向拍摄目标设备飞行，使目标图像在镜头或相机的视野中逐渐变大。
同时，实时根据以曝光时间为周期获取的图像，并识别出图像中目标设备的最小外接矩形，并采用上述的居中保持步骤，确保采集过程中设备始终保持在图像中居中显示。
若采集过程中出现因大风等原因造成无人机偏离预定航点位置而导致的图像中目标设备丢失，也即，在图像中检测不到目标设备对应的识别框，则生成复位指令至无人机的飞控系统，以恢复T1-0时刻局部居中飞控参数，并再次执行居中保持步骤。
当无人机飞抵合适距离/变焦相机镜头变焦至最聚焦距/或者满足X1≤0.2Xm，Y1≤0.2Ym，X2≥0.8Xm，Y2≥0.8Ym时，则确定目标设备的识别框已经占据图像中的大部分面积，则控制相机采集图像，得到针对该目标设备的至少一帧高清图像。
应该理解为，在确定目标设备的识别框已经占据图像中的大部分面积时，记录时刻T1-1时无人机位姿数据和云台俯仰数据，并将其作为局部聚焦飞控参数。后续通过控制无人机的飞控系统恢复目标设备的局部聚焦飞控参数，即可以保证目标设备在可见光相机的图像中聚焦显示。
局部聚焦飞控参数也可以用于后续地面站图像处理时与无人机位姿及云台俯仰的多数据融合分析比对。
进一步地，执行图像质量检测，采集目标设备高清图像，包括：
对焦检测：完成上述变焦操作，对准目标设备后，相机对目标设备进行2s的自动对焦操作，包括：
从获取的连续2s时长的视频中每连续10帧图像中选取1帧图像，直到获取到N帧图像。
针对N帧图像，确定各帧图像的Tenengrad梯度值Ti；
记录相机像距即镜头到感光元件cmos的距离vi；
确定全部的图像中Tenengrad梯度值最大的那帧图像为对焦正确图像。
并设置拍摄时刻相机的像距参数为vi。
进一步地，对对焦正确图像进行对比度检测，包括：
对对焦正确的第i帧图像，计算其灰度直方图；若其灰度直方图存在超出预先设定阈值百分比的波峰和/或波谷，则对灰度值直方图进行均衡化操作，并计算其正确曝光时间及曝光补偿参数，以保障图像的对比度适中，从而保证拍摄的目标设备的表面纹理特征清晰可辨。
进一步地，对对焦正确图像进行对比度检测，包括：
对比度检测，对图像进行均衡化操作，保证图像灰度信息均衡分布，防止因逆光拍摄产生的对比度异常或背光设备图像的细节不清楚。
将以上像距参数、正确曝光时间及曝光补偿参数组合记录为针对该目标设备的局部图像采集参数。
进一步地，控制相机退出视频模式，并采用以上局部图像采集参数进入图像拍摄模式，以相机最大分辨率拍摄jpg格式图像或其他压缩格式的图像，并记录图像。
应该理解为，飞控系统记录无人机在拍摄T1A时刻的位置姿态和云台俯仰。
在获取到第一个目标设备的高清图像后，相机退出图像拍摄模式，启动视频模式；控制可见光相机恢复至最短焦距，也即广角端，恢复至最大视野；飞控系统调整无人机位置姿态及云台俯仰，使无人机恢复到全景飞控参数，拍摄图像。
前端装置调用轻量化深度学习模型，识别Pic0A中的多个目标设备并按照在图像中的位置从上到下、自左向右对目标设备进行编号；
具体地，读取每个目标设备的中心点坐标PAi（XApi，YApi）；
通过最小欧式距离完成Pic0与Pic0A中各设备中心点的对应，确认拍摄编号为2的目标设备，避免顺序混乱和重复拍摄。
重复上述的居中保持步骤和变焦步骤，完成编号2设备的高清图像采集与对比度检测。
重复以上步骤，直到完成本航点视野内所有目标设备的图像采集与对比度检测。
在一个航点完成视野内多个目标设备的拍摄，降低航线规划的难度和规划工作量；避免了飞行航线过程中的能量损耗，避免了在导航定位精度有限的条件下对多个航点寻找悬停点消耗的时间，提升巡检效率。
该无人机巡检过程将图像及拍摄时刻的位置信息发送至地面站精确识别，包括：在无人机巡检过程中向地面站发送图像，在地面站端处理，实现了缺陷的现场准实时识别。
地面站可以运行主流操作系统，适配大功率GPU硬件，从而节约了设置在无人机上的FPGA开发系统的移植成本，避免了无人机前端识别性能及功耗限制，提升了缺陷识别的准确性。
将图像缺陷识别结果与图像拍摄位置信息、线路台账信息相关联，可以直接定位到缺陷在线路上的具体位置，例如xx线路左相大号侧耐张绝缘子带电端xx缺陷，并通过程序直接生成巡检报告；若现场具备网络通信条件，可实现巡检结果的直接上报。
该实施例结合视觉导航和目标识别实现的图像采集方法，支持分区规划航点，简化了无人机航线规划过程。如在某线塔的两侧分别设置4个航点。对其左相，小号侧上下为航点1A和航点3A，大号侧上下为航点2A和航点4A。其右相类似，设置有4个航点1B、2B、3B和4B。
如图2所示，本发明一个实施例的单目视觉自主巡检图像采集装置，设置在巡检无人机上，为其前端装置之一，包括：
轮廓识别深度学习模型模块10，用于识别包括各预定航点对应的全部目标设备的图像及识别仅包括各预定航点对应的任一目标设备的图像；
对比度校正模块20，用于确定全部的预定数量的高清图像梯度值，并确定梯度值最大的那帧图像为对焦正确图像；检测对焦正确图像的对比度；若对比度不足，则对对焦正确图像对进行灰度值直方图均衡化操作，得到当前目标设备的高清图像；
单目相机视觉导航模块30，与电力巡检无人机的飞控系统及轮廓识别深度学习模型模块连接，用于利用单目可见光相机并结合轮廓识别深度学习模型，生成由电力巡检无人机的飞控系统执行的飞控指令，以使得目标设备在预定航点视野内居中保持和/或聚焦显示；
自主巡检图像采集模块40，与电力巡检无人机的飞控系统及轮廓识别深度学习模型模块连接，用于根据预先获取的分区规划航线数据及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留；及在各预定航点停留期间，采集与各预定航点分别对应的全部目标设备的高清图像。
具体实施时，所述自主巡检图像采集模块，用于在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时，确定电力巡检无人机到达第i个预定航点；
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据，控制电力巡检无人机调整姿态及控制云台俯仰，以使得单目可见光相机面对预先设定的第i个预定航点视野；
在根据电力巡检无人机设置的传感器回传的数据确认单目相机面对预先设定的第i个预定航点视野后，标识第i个预定航点全景飞控参数，并控制电力巡检无人机在第i个预定航点悬停；
其中，第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
具体实施时，所述自主巡检图像采集模块，用于：
在电力巡检无人机在航线内第i个预定航点悬停时，控制电力巡检无人机保持第i个预定航点全景飞控参数；
控制可见光相机以视频模式采集预设时长的视频图像；
所述单目相机视觉导航模块，用于：
利用第i个预定航点对应的轮廓识别深度学习模型分析所述预设时长的视频图像；
在识别出预设的Ni个目标设备后，从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像。
具体实施时，所述单目相机视觉导航模块，还用于：
在所述基准图像中确定各目标设备对应的识别框，并对Ni个目标设备编号；
所述自主巡检图像采集模块，还用于：
与单目相机视觉导航模块协作，从第一个目标设备开始，依次执行单个目标设备图像采集步骤，直至采集到Ni个目标设备的高清图像为止；
所述单个目标设备图像采集步骤，包括：
若搭载变焦相机，确认单目可见光相机处于最小焦距状态；
控制电力巡检无人机改变位姿和/或调整云台俯仰，直到当前目标设备在第i个预定航点视野内居中显示；
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距，直到当前目标设备在第i个预定航点视野内聚焦显示；
控制单目可见光相机连续获取预定数量的图像实时图像，确定全部的预定数量的实时图像的梯度值，并确定梯度值最大的那帧图像为对焦正确图像；
检测所述对焦正确图像的对比度；若对比度不足，则对所述对焦正确图像对进行灰度值直方图均衡化操作，得到当前目标设备的高清图像；若对比度足够，则确定所述对焦正确图像为当前目标设备的高清图像；
在当前目标设备不是第Ni个目标设备时，根据第i个预定航点全景飞控参数，控制电力巡检无人机在第i个预定航点悬停；将下一个目标设备作为当前目标设备，执行单个目标设备图像采集步骤；
在当前目标设备是第Ni个目标设备时，退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
具体实施时，轮廓识别深度学习模型模块通过FPGA实现轮廓识别深度学习模型。该轮廓识别深度学习模型根据预先获取的目标设备图像进行学习网络设计设计及训练后生成的，具有根据输入的图像，识别出单张图像中包括的多个目标设备或识别出单张图像中包括的唯一一个目标设备的功能。
该实施例的单目视觉自主巡检图像采集装置，可以采用 FPGA技术实现轮廓识别深度学习模型模块，其还包括标准电源、通信模块等，巡检时安装于无人机本体。其中，通信模块用于在巡检时，与无人机的飞控系统通信。
具体实施时，该实施例图像采集装置采用USB TYPE-C接口与无人机的飞控系统进行数据通信。该USB TYPE-C接口的电压范围为4.4V～5.25V，驱动电流不小于800mA，支持OTG或USB3.0及以上版本通信协议。
该实施例的图像采集装置的重量可以控制在100g以内，可搭载于尺寸小于0.3m*0.3m、起飞重量在500g以下的轻小型无人机上，减轻了无人机荷载，降低了硬件成本，并可大幅提升无人机巡检效率。
该实施例的图像采集装置的成本可控制在万元以下，可以在国网公司一线运维班组大规模采购应用；可充分利用现有的无人机平台；远期为每个班组配备1套搭载有前端分析模块的无人机；进一步地，可以推广到石油、铁路等相关行业的管路线路巡检，市场前景广阔。
该实施例的图像采集装置与无人机的飞控系统的数据通信内容包括：无人机的位置数据（包括GPS/北斗等导航系统生成的三维坐标）、无人机动作、载荷动作、图像采集时刻、无人机位姿数据包括IMU三轴参数（包括偏转角、俯仰角、翻滚角）、三轴云台的俯仰数据（包括偏转角、俯仰角、翻滚角）、毫秒级精确时钟等。
具体实施时，本发明实施例的电力巡检无人机，包括：云台；单目可见光相机，其固定设置在云台的承托面，而云台的承托面在云台俯仰时跟随摆动；导航定位模块；飞控系统，云台俯仰动作受控于飞控系统；执行前述图像采集方法的单目视觉自主巡检图像采集装置。
该实施例的单目视觉自主巡检图像采集装置运行深度学习模型，从相机图像中定位出目标设备的位置，并对视野内的设备进行编号。
具体实施时，单目相机视觉导航模块计算图像中设备区域中心点位置与中心点位置偏差，反馈给无人机飞控，调节无人机及云台，使图像采集过程中，目标设备在图像中居中显示，飞控全程记录无人机及云台各项参数。
具体实施时，单目相机视觉导航模块与无人机飞控通信，通过调整无人机位姿及云台俯仰，保证采集过程中目标设备始终保持居中显示，防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。
具体实施时，对比度校正模块执行图像质量检测，保证采集到的图像质量，控制相机退出视频模式，进入拍照模式，拍摄全分辨率图像并记录到SD卡中。
具体实施时，自主巡检图像采集模块恢复无人机拍摄位置及云台俯仰，若搭载变焦相机则恢复至最短焦距，单目相机视觉导航模块再次识别定位出目标设备位置，与上一次图像中各设备进行比对，识别出下一个编号的目标设备，依次变焦拍摄预定航点位置视野内的所有目标设备高清图像。
综上，本发明实施例的图像采集方法及装置可简化无人机航线规划过程，保障无人机自主巡检图像的质量。在无人机有限的续航时间内，通过线路两侧的少数航点逐关键位置拍摄高清图像，避免了飞行航线过程中的能量损耗，避免了在导航定位精度有限的条件下，无人机在多个航点中寻找悬停点消耗的时间，避免了穿线引起的撞线风险，提升无人机巡检效率。
在地面站识别图像中的设备缺陷，避免了无人机前端的和功耗等问题，解决了现有的巡检工作流中，需要回收无人机导出图像，手动归档照片作业的模式造成的效率低下的问题，进一步提升了巡检工作效率，实现现场准实时识别设备缺陷。同时可以避免巡检无人机对昂贵的RTK高精度导航定位设备的依赖，消费级无人机搭载前端分析模块后即可使用，大幅节约设备成本。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个//该[装置、组件等]”都被开放地解释为装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (9)

1.一种单目视觉自主巡检图像采集方法，用于采集塔杆及其设备的高清图像，包括：
根据预先获取的分区规划航线数据，及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留，其中，所述导航定位模块不具有RTK功能，航线内包括M个预定航点，在第i个预定航点视野内包括有Ni个目标设备，Ni为大于或等于1的整数，M为大于或等于1的整数，i为大于或等于1且小于或等于M的整数；其中，电力巡检无人机设置有云台和单目可见光相机，单目可见光相机固定设置在云台的承托面，而云台的承托面在所述云台俯仰时跟随摆动；
在各预定航点停留期间，采集与各预定航点分别对应的Ni个目标设备的高清图像，包括：
在航线内第i个预定航点悬停时，控制电力巡检无人机保持第i个预定航点全景飞控参数，所述第i个预定航点全景飞控参数是在控制单目可见光相机面对预先设定的第i个预定航点视野后标识的，包括无人机位姿数据和云台俯仰数据；并控制可见光相机以视频模式采集预设时长的视频图像；
利用第i个预定航点对应的预先训练的识别全部的Ni个目标设备的第一轮廓识别深度学习模型分析所述预设时长的视频图像；
在识别出预设的Ni个目标设备后，从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像；
在所述基准图像中利用预先训练的识别单个目标设备的第二轮廓识别深度学习模型确定出Ni个目标设备对应的识别框，并对Ni个目标设备编号；
从第一个目标设备开始，依次执行单个目标设备图像采集步骤，直至采集到Ni个目标设备的高清图像为止；
所述单个目标设备图像采集步骤，包括：
若搭载变焦相机，确认单目可见光相机处于最小焦距状态；
控制电力巡检无人机改变位姿和/或调整云台俯仰，直到当前目标设备在第i个预定航点视野内居中显示；
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距，直到当前目标设备在第i个预定航点视野内聚焦显示，并采集当前目标设备的高清图像；及采集到当前目标设备的高清图像后，
在当前目标设备不是第Ni个目标设备时，根据第i个预定航点全景飞控参数，控制电力巡检无人机在第i个预定航点悬停，并将下一个目标设备作为当前目标设备，执行单个目标设备图像采集步骤；
在当前目标设备是第Ni个目标设备时，退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤。
2.根据权利要求1所述的方法，还包括：
根据预先获取的分区规划航线数据，及从导航定位模块获取的实时位置数据，控制在航线内第i个预定航点悬停的步骤，所述步骤包括：
在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时，确定电力巡检无人机到达第i个预定航点；
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据，控制电力巡检无人机调整姿态及控制云台俯仰，以使得单目可见光相机面对预先设定的第i个预定航点视野；
在根据电力巡检无人机设置的传感器回传的数据确认单目可见光相机面对预先设定的第i个预定航点视野后，标识第i个预定航点全景飞控参数，并控制电力巡检无人机在第i个预定航点悬停；
其中，第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
3.根据权利要求1所述的方法，还包括：
在采集第i个预定航点对应的Ni个目标设备的高清图像时，
在当前目标设备在第i个预定航点视野内聚焦显示后，控制单目可见光相机连续获取预定数量的实时图像，确定全部的预定数量的实时图像的梯度值，并确定梯度值最大的那帧图像为对焦正确图像；
检测所述对焦正确图像的对比度；若对比度不足，则对所述对焦正确图像进行灰度值直方图均衡化操作，得到当前目标设备的高清图像；若对比度足够，则确定所述对焦正确图像为当前目标设备的高清图像。
4.根据权利要求1所述的方法，
所述控制电力巡检无人机改变位姿和/或调整云台俯仰，直到当前目标设备在第i个预定航点视野内居中显示，包括：
确定在所述基准图像中，当前目标设备对应的识别框的设备中心点图像坐标；
步骤S1000：根据当前的设备中心点图像坐标与图像坐标系中心点之间的偏差，控制电力巡检无人机改变位姿或调整云台俯仰，并控制单目可见光相机获取实时图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析所述实时图像，并确定所述实时图像中当前目标设备对应的识别框的设备中心点图像坐标；
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差大于预先设定的偏差阈值时，返回步骤S1000；
在当前的设备中心点图像坐标与图像坐标系中心点之间的偏差不大于预先设定的偏差阈值时，确定当前目标设备在第i个预定航点视野内居中显示，标识当前目标设备对应的局部居中飞控参数，所述局部居中飞控参数包括无人机位姿数据和云台俯仰数据。
5.根据权利要求1所述的方法，
所述控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距，直到当前目标设备在第i个预定航点视野内聚焦显示，包括：
在单目可见光相机为定焦相机时，
步骤S2000：控制电力巡检无人机靠近当前目标设备，并控制单目可见光相机获取实时图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析所述实时图像，并确定所述实时图像中当前目标设备对应的识别框所占据的面积；
在识别框所占据的面积在所述实时图像中的占比小于预先设定的面积阈值时，返回步骤S2000；
在识别框所占据的面积在所述实时图像中的占比大于或不小于预先设定的面积阈值时，确定当前目标设备在第i个预定航点视野内聚焦显示，标识当前单个目标设备对应的局部聚焦飞控参数，所述局部聚焦飞控参数包括无人机位姿数据和云台俯仰数据；
在单目可见光相机为变焦相机时，
步骤S3000：控制单目可见光相机增加焦距，并控制单目可见光相机获取实时图像；
利用第i个预定航点对应的轮廓识别深度学习模型分析所述实时图像，并确定所述实时图像中当前目标设备对应的识别框所占据的面积；
在识别框所占据的面积在所述实时图像中的占比小于预先设定的面积阈值时，返回步骤S3000；
在识别框所占据的面积在所述实时图像中的占比大于或不小于预先设定的面积阈值时，确定当前单个目标设备在第i个预定航点视野内聚焦显示，标识当前单个目标设备对应的局部聚焦相机参数，所述局部聚焦相机参数包括焦距。
6.根据权利要求1所述的方法，
针对塔杆的分区规划航线数据包括相对于塔杆参考平面对称的M个预定航点；其中，在塔杆参考平面的每一侧，分布有M/2个预定航点。
7.一种单目视觉自主巡检图像采集装置，用于采集塔杆及其设备的高清图像，包括：
轮廓识别深度学习模型模块，用于识别包括各预定航点对应的全部目标设备的图像及识别仅包括各预定航点对应的任一目标设备的图像，包括：利用第i个预定航点对应的预先训练的识别全部的Ni个目标设备的第一轮廓识别深度学习模型分析预设时长的视频图像并识别出预设的Ni个目标设备；
并在单目可见光相机视觉导航模块从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像后，
在所述基准图像中利用预先训练的识别单个目标设备的第二轮廓识别深度学习模型确定出Ni个目标设备对应的识别框；
对比度校正模块，用于确定全部的预定数量实时图像的梯度值，并确定梯度值最大的那帧图像为对焦正确图像；检测所述对焦正确图像的对比度；若对比度不足，则对所述对焦正确图像对进行灰度值直方图均衡化操作，得到当前目标设备高清图像；
单目可见光相机视觉导航模块，与电力巡检无人机的飞控系统及轮廓识别深度学习模型模块连接，用于利用单目可见光相机并结合轮廓识别深度学习模型，生成由电力巡检无人机的飞控系统执行的飞控指令，以使得目标设备在预定航点视野内居中保持和/或聚焦显示，包括：
在所述轮廓识别深度学习模型模块识别出预设的Ni个目标设备后，从所述预设时长的视频图像中选择包括有全部的Ni个目标设备的一帧图像作为第i个预定航点对应的基准图像；
在所述轮廓识别深度学习模型模块从所述基准图像中确定出Ni个目标设备对应的识别框后，对Ni个目标设备编号；
针对任一当前目标设备，
若搭载变焦相机，确认单目可见光相机处于最小焦距状态；
控制电力巡检无人机改变位姿和/或调整云台俯仰，直到当前目标设备在第i个预定航点视野内居中显示；
控制电力巡检无人机改变位姿和/或调整云台俯仰和/或控制单目可见光相机增大焦距，直到当前目标设备在第i个预定航点视野内聚焦显示；
自主巡检图像采集模块，与电力巡检无人机的飞控系统及轮廓识别深度学习模型模块连接，用于根据预先获取的分区规划航线数据及从导航定位模块获取的实时位置数据，控制电力巡检无人机依次在航线内各预定航点停留，及在各预定航点停留期间，采集与各预定航点分别对应的全部目标设备的高清图像，其中，在航线内第i个预定航点悬停时，
控制电力巡检无人机保持第i个预定航点全景飞控参数，所述第i个预定航点全景飞控参数是在控制单目可见光相机面对预先设定的第i个预定航点视野后标识的，包括无人机位姿数据和云台俯仰数据；
控制可见光相机以视频模式采集预设时长的视频图像；
在所述单目可见光相机视觉导航模块对Ni个目标设备编号后，
从第一个目标设备开始，依次执行单个目标设备图像采集步骤，直至采集到Ni个目标设备的高清图像为止；
所述单个目标设备图像采集步骤，包括：
由单目可见光相机视觉导航模块使得当前目标设备在第i个预定航点视野内居中显示及当前目标设备在第i个预定航点视野内聚焦显示，
由所述自主巡检图像采集模块控制单目可见光相机连续获取预定数量的图像实时图像实时图像，并由对比度校正模块确定当前目标设备的高清图像；
采集当前目标设备的高清图像；及采集到当前目标设备的高清图像后，
在当前目标设备不是第Ni个目标设备时，根据第i个预定航点全景飞控参数，控制电力巡检无人机在第i个预定航点悬停；将下一个目标设备作为当前目标设备，执行单个目标设备图像采集步骤；
在当前目标设备是第Ni个目标设备时，退出采集第i个预定航点对应的Ni个目标设备的高清图像的步骤；其中，
所述导航定位模块不具有RTK功能，航线内包括M个预定航点，在第i个预定航点视野内包括有Ni个目标设备，Ni为大于或等于1的整数，M为大于或等于1的整数，i为大于或等于1且小于或等于M的整数；其中，电力巡检无人机设置有云台和单目可见光相机，单目可见光相机固定设置在云台的承托面，而云台的承托面在所述云台俯仰时跟随摆动。
8.根据权利要求7所述的装置，
所述自主巡检图像采集模块，用于在分区规划航线数据记载的第i个预定航点的位置数据与从导航定位模块获取的实时位置数据的位置误差满足预先设定阈值时，确定电力巡检无人机到达第i个预定航点；
根据分区规划航线数据记载的第i个预定航点的无人机姿态数据及云台俯仰数据，控制电力巡检无人机调整姿态及控制云台俯仰，以使得单目可见光相机面对预先设定的第i个预定航点视野；
在根据电力巡检无人机设置的传感器回传的数据确认单目可见光相机面对预先设定的第i个预定航点视野后，标识第i个预定航点全景飞控参数，并控制电力巡检无人机在第i个预定航点悬停；
其中，第i个预定航点全景飞控参数包括无人机位姿数据和云台俯仰数据。
9.一种电力巡检无人机，包括：
云台；
单目可见光相机，其固定设置在云台的承托面，而云台的承托面在所述云台俯仰时跟随摆动；
导航定位模块；
飞控系统，所述云台俯仰动作受控于所述飞控系统；
执行如权利要求1至6任一项所述的方法的单目视觉自主巡检图像采集装置。
CN202011375823.4A 2020-11-30 2020-11-30 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 Active CN112164015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011375823.4A CN112164015B (zh) 2020-11-30 2020-11-30 单目视觉自主巡检图像采集方法、装置及电力巡检无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375823.4A CN112164015B (zh) 2020-11-30 2020-11-30 单目视觉自主巡检图像采集方法、装置及电力巡检无人机

Publications (2)

Publication Number Publication Date
CN112164015A CN112164015A (zh) 2021-01-01
CN112164015B true CN112164015B (zh) 2021-04-23

Family

ID=73865916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375823.4A Active CN112164015B (zh) 2020-11-30 2020-11-30 单目视觉自主巡检图像采集方法、装置及电力巡检无人机

Country Status (1)

Country Link
CN (1) CN112164015B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947519A (zh) * 2021-02-05 2021-06-11 北京御航智能科技有限公司 一种无人机的巡检方法、装置及边缘计算模块
CN113093783B (zh) * 2021-02-23 2023-09-12 广东工贸职业技术学院 一种无人机的拍摄控制方法及装置
CN113485417B (zh) * 2021-06-30 2022-08-02 杭州天巡者科技有限公司 Vba无人机的自主电力巡检系统、方法、装置及电子设备
CN113428374B (zh) * 2021-07-29 2023-04-18 西南交通大学 桥梁结构检测数据收集方法和无人机系统
CN113643295B (zh) * 2021-10-14 2022-04-08 武汉精立电子技术有限公司 Micro-LED屏幕检测方法及相关设备
CN113867405A (zh) * 2021-11-09 2021-12-31 广东电网有限责任公司江门供电局 一种基于5g网络回传的输电线路无人机巡检方法及系统
WO2023087272A1 (zh) * 2021-11-19 2023-05-25 深圳市大疆创新科技有限公司 构图处理方法、装置、系统和存储介质
CN114253300B (zh) * 2021-12-03 2023-04-07 国网智能科技股份有限公司 一种网格化机巢的无人机巡检系统及方法
CN114677777B (zh) * 2022-03-16 2023-07-21 中车唐山机车车辆有限公司 设备巡检方法、巡检系统及终端设备
CN114430462B (zh) * 2022-04-07 2022-07-05 北京御航智能科技有限公司 无人机自主拍照参数调整方法、装置、设备及存储介质
CN115019158B (zh) * 2022-08-03 2022-10-25 威海海洋职业学院 一种基于图像识别的海洋污染区域识别方法及系统
CN115202404B (zh) * 2022-09-15 2022-12-02 广东容祺智能科技有限公司 基于无人机的光伏发电组维护巡检方法
CN115656181A (zh) * 2022-10-27 2023-01-31 重庆红岩建设机械制造有限责任公司 一种桥梁主塔塔外表观缺陷自动巡检识别方法
CN115578662A (zh) * 2022-11-23 2023-01-06 国网智能科技股份有限公司 无人机前端图像处理方法、系统、存储介质及设备
CN116052004B (zh) * 2023-02-17 2023-07-21 深圳金三立视频科技股份有限公司 一种异常事件双向监测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105790155A (zh) * 2016-04-08 2016-07-20 四川桑莱特智能电气设备股份有限公司 一种基于差分gps的输电线路无人机自主巡检系统及方法
CN106873627A (zh) * 2017-03-31 2017-06-20 湘潭大学 一种自动巡检输电线路的多旋翼无人机及方法
CN110009682A (zh) * 2019-03-29 2019-07-12 北京理工大学 一种基于单目视觉的目标识别定位方法
CN110879601A (zh) * 2019-12-06 2020-03-13 电子科技大学 一种对于未知风机结构的无人机巡检方法
CN111292439A (zh) * 2020-01-22 2020-06-16 上海杰狮信息技术有限公司 一种城市管网无人机巡检方法及巡检系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
CN110133440B (zh) * 2019-05-27 2021-07-06 国电南瑞科技股份有限公司 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105790155A (zh) * 2016-04-08 2016-07-20 四川桑莱特智能电气设备股份有限公司 一种基于差分gps的输电线路无人机自主巡检系统及方法
CN106873627A (zh) * 2017-03-31 2017-06-20 湘潭大学 一种自动巡检输电线路的多旋翼无人机及方法
CN110009682A (zh) * 2019-03-29 2019-07-12 北京理工大学 一种基于单目视觉的目标识别定位方法
CN110879601A (zh) * 2019-12-06 2020-03-13 电子科技大学 一种对于未知风机结构的无人机巡检方法
CN111292439A (zh) * 2020-01-22 2020-06-16 上海杰狮信息技术有限公司 一种城市管网无人机巡检方法及巡检系统

Also Published As

Publication number Publication date
CN112164015A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112164015B (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN111272148B (zh) 输电线路无人机自主巡检自适应成像质量优化方法
US11897606B2 (en) System and methods for improved aerial mapping with aerial vehicles
CN106468918B (zh) 一种线路巡检的标准化数据采集方法及系统
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
WO2018103408A1 (zh) 一种无人机勘查交通事故现场的航拍图像采集方法及系统
CN106155086B (zh) 一种道路检测无人机及其自动巡航方法
CN110633629A (zh) 基于人工智能的电网巡检方法、装置、设备及存储介质
CN108803668A (zh) 一种静态目标监测的智能巡检无人机吊舱系统
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN105187723A (zh) 一种无人飞行器的摄像处理方法
CN112215860A (zh) 一种基于图像处理的无人机定位方法
CN112585554A (zh) 无人机巡检方法、装置及无人机
CN112949478A (zh) 基于云台相机的目标检测方法
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
CN111913492B (zh) 无人机安全降落方法和装置
CN113850137A (zh) 一种输电线路图像在线监测方法、系统及设备
CN115793689A (zh) 基于前端目标识别的无人机自动化架空输电线路巡检方法及系统
CN111953892A (zh) 无人飞行器、检查方法及检查程序
CN114326771A (zh) 一种基于图像识别的无人机拍摄航线生成方法及系统
CN114281100A (zh) 一种不悬停无人机巡检系统及其方法
CN117274845A (zh) 一种飞行无人机影像抓取方法、系统、设备及储存介质
CN109062220B (zh) 控制终端运动的方法和装置
CN114659499B (zh) 一种基于无人机技术的智慧城市3d地图模型摄影建立方法
CN102866776B (zh) 电网调度运行的眼控输入系统及其应用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant