CN112312025A - 一种基于双变倍云台的目标纠偏方法及系统 - Google Patents

一种基于双变倍云台的目标纠偏方法及系统 Download PDF

Info

Publication number
CN112312025A
CN112312025A CN202011196991.7A CN202011196991A CN112312025A CN 112312025 A CN112312025 A CN 112312025A CN 202011196991 A CN202011196991 A CN 202011196991A CN 112312025 A CN112312025 A CN 112312025A
Authority
CN
China
Prior art keywords
target
imaging device
center
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011196991.7A
Other languages
English (en)
Inventor
王昊
丁国斌
蔡思航
巨擘
费媛媛
蔡宏伟
雷锦成
巫伟林
文岐月
李星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202011196991.7A priority Critical patent/CN112312025A/zh
Publication of CN112312025A publication Critical patent/CN112312025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于双变倍云台的目标纠偏方法及系统,其包括如下步骤:通过搭载在无人机上的第一成像设备获取第一目标的图像,并从中识别出第一目标;根据第一目标与第二目标的关联性确定第二目标的方位,并对搭载在无人机上的第二成像设备进行变焦,以获取第二目标P2的图像,并从中识别出第二目标;对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件;调节第二成像设备的成像焦距,再通过第二成像设备再次获取已完成纠偏的第二目标的图像。本发明可利用变焦超广角相机得到大的视场角,发现尽可能多的目标,然后利用长焦相机变倍拍摄微小目标,有利于对目标缺陷进行全面、准确的检测。

Description

一种基于双变倍云台的目标纠偏方法及系统
技术领域
本发明涉及图像识别领域,具体为一种基于双变倍云台的目标纠偏方法及系统。
背景技术
随着网络和科技的发展,无人机技术已在电力巡检等领域得到广泛应用。而在目前通过无人机进行电力巡检过程中,多侧重于跟踪大部件的电力器件,对于微小类的电力器件(如销钉、销钉缺失等)的跟踪应用较少,主要原因是需该类目标的检测、定位比较困难,对此,虽然已有通过变焦云台对微小类的电力器件进行精细化观察的改进,但由于存在广角云台检测距离有限等原因,其检测效果很差(如图1a所示),对于超高压线路、变电站等场景的巡检往往不适用。
进一步的,目前在无人机电力巡检过程中还通过调整目标图像与成像中心之间的偏移量来对目标进行纠偏,使得目标中心接近成像中心,以获取尽可能多的细节,但该过程一般只进行一次,无法保证目标长时间位于成像中心。
发明内容
针对现有技术的不足,本发明提供了一种基于双变倍云台的目标纠偏方法及系统,其可利用变焦超广角相机得到大的视场角,发现尽可能多的目标,然后利用长焦相机变倍拍摄微小目标,有利于对目标缺陷进行全面、准确的检测。
为实现上述目的,本发明提供如下技术方案:
提供了一种基于双变倍的目标纠偏方法,其包括如下步骤:
通过搭载在无人机上的第一成像设备获取第一目标的图像,并从中识别出第一目标;
根据第一目标与第二目标的关联性确定第二目标的方位,并对搭载在无人机上的第二成像设备进行变焦,以获取第二目标P2的图像,并从中识别出第二目标;
对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件;
调节第二成像设备的成像焦距,再通过第二成像设备再次获取已完成纠偏的第二目标的图像。
优选的,“对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件”的过程包括:
实时计算第二目标中心与第二成像设备成像中心的偏移量,并根据所述偏移量实时调整第二成像设备成像中心与第二目标中心之间的距离,使其满足预设条件,以完成第二目标的纠偏。
优选的,若所述第二目标有多个,则“对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件”的过程包括:
对图像中的若干个第二目标进行排序;
按照排序顺序对若干个第二目标依次进行纠偏,且纠偏过程包括:实时计算第二目标中心与第二成像设备成像中心的偏移量,并根据所述偏移量实时调整第二成像设备成像中心与第二目标中心之间的距离,使其满足预设条件,以完成第二目标的纠偏。
优选的,“再通过第二成像设备再次获取已完成纠偏的第二目标的图像”之前好包括:使目标检测框与第二目标的边缘贴合。
优选的,所述第一目标为绝缘子、连接金具、连接金具、均压环、避雷器中的一种或几种。
优选的,所述第一目标和第二目标的尺寸大小不同。
优选的,所述第二目标包括销钉。
还提供一种能实现上述目标纠偏方法的目标纠偏系统,其包括:
无人机;
第一成像设备,其搭载在所述无人机上,用于获取第一目标图像,并从中识别出第一目标;
关联性计算单元,其用于根据第一目标与第二目标的关联性确定第二目标的方位;
第二成像设备,其搭载在所述无人机上,用于根据所述第二目标的方位信息进行变焦,以获取第二目标的图像,并从中识别出第二目标;
纠偏单元,其用于计算第二目标中心与第二成像设备成像中心的偏移量,并根据所述偏移量调整第二成像设备成像中心与第二目标中心之间的距离,使其满足预设条件,以完成第二目标的纠偏;
且完成第二目标的纠偏后,所述第二成像设备在完成成像焦距调节后再次获取已完成纠偏的第二目标的图像。
优选的,所述第一成像设备包括搭载在无人机上的广角变焦云台以及连接所述广角变焦云台的超广角变焦相机。
优选的,所述第二成像设备包括搭载在无人机上的长焦变焦云台以及连接所述长焦变焦云台的长焦相机。
与现有技术相比,本发明具备以下有益效果:
本发明设置有超广角变焦相机和长焦相机的双变倍云台,可利用变焦超广角相机得到大的视场角,发现尽可能多的目标,然后利用长焦相机变倍拍摄微小目标(即第二目标),由此可精准的对微小目标(即第二目标)进行精确识别,并对其进行依次纠偏、回中,进一步完成对微小目标(即第二目标)的精细化拍照,有利于对目标缺陷进行全面、准确的检测。
附图说明
图1a为现有技术中采用相机获取的电力器件的结果图;
图1b为本发明中基于双变倍的目标纠偏方法的步骤流程图;
图2为本发明中第一目标的识别结果图;
图3为本发明中第二目标的识别结果图;
图4a-4c分别为图3中多个第二目标的识别结果图;
图5本发明中纠偏过程的步骤流程图;
图6本发明中目标纠偏系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1b所示,本实施例中基于双变倍的目标纠偏方法可适用于基于无人机的电力巡检,该方法具体包括:
S1、无人机飞行至预定高度,如飞行至与输电线路高度基本一致的位置;
S2、如图2所示,通过搭载在无人机上的第一成像设备获取第一目标P1的图像,并从中识别出第一目标P1;其中,所述第一成像设备包括搭载在无人机上的广角变焦云台以及连接所述广角变焦云台的超广角变焦相机,广角变焦云台带动超广角变焦相机转动,通过调整超广角变焦相机的变焦倍数获取清楚的第一目标P1图像,所述第一目标为输电线路上的主要电力器件,如绝缘子、连接金具、连接金具、均压环等中的一种或几种,其直接在输电过程中发挥线路连接、固定、导电等作用,一般为大部件器件;
S3、如图2-3所示,根据第一目标P1与第二目标P2的关联性确定第二目标P2的方位,并对搭载在无人机上的第二成像设备进行变焦,以能够稳定的获取第二目标P2的图像(即第二目标的精细化拍摄图像),并从中识别出第二目标P2,所述第二目标P2可以有多个;其中,所述第一目标P1和第二目标P2的尺寸大小不同(该尺寸大小根据本领域技术人员的普通认知进行确定,且按照常规观念,第一目标P1的尺寸大于第二目标P2),所述第二目标P2为输电线路上的辅助电力器件,包括连接销钉等,其一般用于对上述主要电力器件进行辅助连接和固定,多为小部件器件;所述第二成像设备包括搭载在无人机上的长焦变焦云台以及连接所述长焦变焦云台的长焦相机,长焦变焦云台带动长焦相机转动至第二目标P2所在方位,通过调整长焦相机的变焦倍数以能够稳定的获取第二目标P2的图像(即第二目标的精细化拍摄图像);所述关联性包括第一目标P1、第二目标P2两者间的相对位置关系,如玻璃绝缘子两端连接有连接金具,连接金具边缘位置设有销钉及销钉缺失类目标;陶瓷、复合绝缘子底部存在均压环、连接金具,连接金具边缘位置存在销钉及销钉缺失类目标等,因此,通过获取的第一目标P2图像确定第一目标P2的位置,进一步据此推算出第二目标P2的大致方位;
S3、对识别出的第二目标P2进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件;其具体包括如下步骤:
将目标检测框以及目标检测框内的第二目标图像缩放到预定尺寸,如320*180大小,通过目标跟踪算法(如KCF跟踪算法等)实时计算第二目标P2中心与第二成像设备成像中心的偏移量,并根据所述偏移量,通过调整第二成像设备的长焦变焦云台等方式,实时调整第二成像设备成像中心与第二目标P2中心之间的距离,使其满足预设条件,以完成第二目标P2的纠偏,使其快速回中;所述回中是指通过控制云台转向等方式使得目标出现在成像视野的正中心;由此,可通过实时计算成像中心与第二目标P2中心之间距离的方式对目标进行纠偏,使得目标始终处于成像视野的中心,以实现目标的实时回中,以此完整展现目标的结构细节,以提高检测的准确度;
以及S4、如图4a所示,调节第二成像设备的成像焦距,如调节长焦相机的焦距,且使其目标检测框与第二目标P2的边缘贴合,再通过第二成像设备再次获取已完成纠偏的第二目标P2的图像(即精细化拍照图像),由此实现对第二目标P2的精细化拍照,有利于对目标缺陷进行全面、准确的检测。
实施例2:
本实施例与实施例1的不同之处仅在于,步骤S3中,若所述第二目标P2有多个,则如图5所示,步骤S3具体包括:
S31、对图像中的若干个第二目标P2进行排序;
S32、按照排序顺序对若干个第二目标P2依次进行纠偏,且纠偏过程包括:将目标检测框以及目标检测框内的第二目标P2图像缩放到预定尺寸,如320*180大小,通过目标跟踪算法(如KCF跟踪算法等)实时计算第二目标P2中心与第二成像设备成像中心的偏移量,并根据所述偏移量,通过调整第二成像设备的长焦变焦云台等方式,实时调整第二成像设备成像中心与第二目标P2中心之间的距离,使其满足预设条件,以完成该第二目标P2的纠偏;以此完成多个第二目标P2的有序、精准纠偏。
对应的,所述步骤S4包括:如图4a-4c所示,对于每一完成纠偏后的第二目标P2,均调节第二成像设备的成像焦距,如调节长焦相机的焦距,且使其目标检测框与该第二目标P2的边缘贴合,再通过第二成像设备再次获取该第二目标P2的图像(即精细化拍照图像),由此实现对所有第二目标P2的精细化拍照。
实施例3:
本实施例提供了一种能实现实施例1或2中目标纠偏方法的目标纠偏系统,如图6所示,其包括:
无人机1;
第一成像设备2,其搭载在所述无人机1上,用于获取第一目标P1图像,并从中识别出第一目标;
关联性计算单元3,其用于根据第一目标P1与第二目标P2的关联性确定第二目标P2的方位;
第二成像设备4,其搭载在所述无人机1上,用于根据所述第二目标P2的方位信息进行变焦,以获取第二目标P2的图像,并从中识别出第二目标;
纠偏单元5,其用于通过目标跟踪算法(如KCF跟踪算法等)实时计算第二目标P2中心与第二成像设备成像中心的偏移量,并根据所述偏移量,通过调整第二成像设备的长焦变焦云台等方式,实时调整第二成像设备成像中心与第二目标P2中心之间的距离,使其满足预设条件,以完成第二目标P2的纠偏;
且完成第二目标P2的纠偏后,所述第二成像设备在完成成像焦距调节后再次获取已完成纠偏的第二目标P2的图像。
综上所述,本发明适用于通过无人机进行电力巡检的过程,其中可精准的对微小目标(即第二目标)进行精确识别,并对其进行依次纠偏、回中,进一步完成对微小目标(即第二目标)的精细化拍照,有利于对目标缺陷进行全面、准确的检测。
需要说明的是,上述实施例1-3中的技术特征可进行任意组合,且组合而成的技术方案均属于本申请的保护范围。在本文中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于双变倍的目标纠偏方法,其特征在于,包括如下步骤:
通过搭载在无人机上的第一成像设备获取第一目标的图像,并从中识别出第一目标;
根据第一目标与第二目标的关联性确定第二目标的方位,并对搭载在无人机上的第二成像设备进行变焦,以获取第二目标P2的图像,并从中识别出第二目标;
对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件;
调节第二成像设备的成像焦距,再通过第二成像设备再次获取已完成纠偏的第二目标的图像。
2.如权利要求1所述的目标纠偏方法,其特征在于,“对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件”的过程包括:
实时计算第二目标中心与第二成像设备成像中心的偏移量,并根据所述偏移量实时调整第二成像设备成像中心与第二目标中心之间的距离,使其满足预设条件,以完成第二目标的纠偏。
3.如权利要求1所述的目标纠偏方法,其特征在于,若所述第二目标有多个,则“对识别出的第二目标进行纠偏,使得第二目标中心与第二成像设备成像中心之间的距离满足预设条件”的过程包括:
对图像中的若干个第二目标进行排序;
按照排序顺序对若干个第二目标依次进行纠偏,且纠偏过程包括:实时计算第二目标中心与第二成像设备成像中心的偏移量,并根据所述偏移量实时调整第二成像设备成像中心与第二目标中心之间的距离,使其满足预设条件,以完成第二目标的纠偏。
4.如权利要求1所述的目标纠偏方法,其特征在于,“再通过第二成像设备再次获取已完成纠偏的第二目标的图像”之前好包括:使目标检测框与第二目标的边缘贴合。
5.如权利要求1所述的目标纠偏方法,其特征在于,所述第一目标为绝缘子、连接金具、连接金具、均压环、避雷器中的一种或几种。
6.如权利要求1所述的目标纠偏方法,其特征在于,所述第一目标和第二目标的尺寸大小不同。
7.如权利要求1所述的目标纠偏方法,其特征在于,所述第二目标包括销钉。
8.一种能实现权利要求1-7任一项目标纠偏方法的目标纠偏系统,其特征在于,包括:
无人机;
第一成像设备,其搭载在所述无人机上,用于获取第一目标图像,并从中识别出第一目标;
关联性计算单元,其用于根据第一目标与第二目标的关联性确定第二目标的方位;
第二成像设备,其搭载在所述无人机上,用于根据所述第二目标的方位信息进行变焦,以获取第二目标的图像,并从中识别出第二目标;
纠偏单元,其用于计算第二目标中心与第二成像设备成像中心的偏移量,并根据所述偏移量调整第二成像设备成像中心与第二目标中心之间的距离,使其满足预设条件,以完成第二目标的纠偏;
且完成第二目标的纠偏后,所述第二成像设备在完成成像焦距调节后再次获取已完成纠偏的第二目标的图像。
9.如权利要求8所述的目标纠偏系统,其特征在于,所述第一成像设备包括搭载在无人机上的广角变焦云台以及连接所述广角变焦云台的超广角变焦相机。
10.如权利要求8所述的目标纠偏系统,其特征在于,所述第二成像设备包括搭载在无人机上的长焦变焦云台以及连接所述长焦变焦云台的长焦相机。
CN202011196991.7A 2020-10-30 2020-10-30 一种基于双变倍云台的目标纠偏方法及系统 Pending CN112312025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011196991.7A CN112312025A (zh) 2020-10-30 2020-10-30 一种基于双变倍云台的目标纠偏方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011196991.7A CN112312025A (zh) 2020-10-30 2020-10-30 一种基于双变倍云台的目标纠偏方法及系统

Publications (1)

Publication Number Publication Date
CN112312025A true CN112312025A (zh) 2021-02-02

Family

ID=74333417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011196991.7A Pending CN112312025A (zh) 2020-10-30 2020-10-30 一种基于双变倍云台的目标纠偏方法及系统

Country Status (1)

Country Link
CN (1) CN112312025A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034850A (zh) * 2012-12-21 2013-04-10 湖北工业大学 一种tfds挡键丢失故障自动识别方法
CN103376616A (zh) * 2012-04-26 2013-10-30 华晶科技股份有限公司 图像获取装置及自动对焦的方法与自动对焦系统
US20180070018A1 (en) * 2016-09-07 2018-03-08 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
CN108022235A (zh) * 2017-11-23 2018-05-11 中国科学院自动化研究所 高压输电铁塔关键部件缺陷识别方法
CN109598290A (zh) * 2018-11-22 2019-04-09 上海交通大学 一种基于两级检测相结合的图像小目标检测方法
CN110942455A (zh) * 2019-11-26 2020-03-31 南方电网数字电网研究院有限公司 输电线路开口销缺失检测方法、装置和计算机设备
CN111683204A (zh) * 2020-06-18 2020-09-18 南方电网数字电网研究院有限公司 无人机拍摄方法、装置、计算机设备和存储介质
CN111815623A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 输电线路开口销缺失识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376616A (zh) * 2012-04-26 2013-10-30 华晶科技股份有限公司 图像获取装置及自动对焦的方法与自动对焦系统
CN103034850A (zh) * 2012-12-21 2013-04-10 湖北工业大学 一种tfds挡键丢失故障自动识别方法
US20180070018A1 (en) * 2016-09-07 2018-03-08 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
CN108022235A (zh) * 2017-11-23 2018-05-11 中国科学院自动化研究所 高压输电铁塔关键部件缺陷识别方法
CN109598290A (zh) * 2018-11-22 2019-04-09 上海交通大学 一种基于两级检测相结合的图像小目标检测方法
CN110942455A (zh) * 2019-11-26 2020-03-31 南方电网数字电网研究院有限公司 输电线路开口销缺失检测方法、装置和计算机设备
CN111683204A (zh) * 2020-06-18 2020-09-18 南方电网数字电网研究院有限公司 无人机拍摄方法、装置、计算机设备和存储介质
CN111815623A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 输电线路开口销缺失识别方法

Similar Documents

Publication Publication Date Title
CN111272148B (zh) 输电线路无人机自主巡检自适应成像质量优化方法
CN107729808B (zh) 一种用于输电线路无人机巡检的图像智能采集系统及方法
WO2021189456A1 (zh) 无人机巡检方法、装置及无人机
CN112949478A (zh) 基于云台相机的目标检测方法
CN104883524B (zh) 一种在线课堂中运动目标自动跟踪拍摄方法及系统
CN115311346A (zh) 一种电力巡检机器人定位图像构建方法、装置、电子设备及存储介质
CN109343573A (zh) 基于光场拍摄技术的电力设备巡检图影像采集处理系统
CN111462229B (zh) 基于无人机的目标拍摄方法、拍摄装置及无人机
CN110658193B (zh) 复合绝缘子伞裙图像采集装置及方法、粉化等级检测方法
CN108259764A (zh) 摄像机、应用于摄像机的图像处理方法及装置
WO2020239088A1 (zh) 一种保险理赔处理方法及装置
CN109859104A (zh) 一种视频生成图片的方法、计算机可读介质及转换系统
CN114020039A (zh) 无人机巡检杆塔自动对焦系统及方法
CN111738148B (zh) 一种利用红外巡检拍摄的故障识别方法
CN112312025A (zh) 一种基于双变倍云台的目标纠偏方法及系统
WO2021168707A1 (zh) 对焦方法、装置及设备
CN112173149A (zh) 一种具有边缘计算能力的增稳云台、无人机及目标识别方法
CN115755946A (zh) 一种基于数字孪生的电力巡检方法、装置及系统
CN207491089U (zh) 一种无人机云台智能切换装置
CN110443123A (zh) 一种电力设备巡检机器人图影像采集处理系统及方法
WO2021189429A1 (zh) 图像拍摄方法、装置、可移动平台和存储介质
CN112363526B (zh) 一种无人机巡检精细航线自动规划系统和方法
CN117716702A (zh) 图像拍摄方法、装置与可移动平台
CN115686056A (zh) 一种针对配电网络的无人机飞行航线实时生成系统及方法
CN112702513B (zh) 一种双光云台协同控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202