CN113312991A - 一种基于无人机的前端智能识别系统 - Google Patents

一种基于无人机的前端智能识别系统 Download PDF

Info

Publication number
CN113312991A
CN113312991A CN202110526841.6A CN202110526841A CN113312991A CN 113312991 A CN113312991 A CN 113312991A CN 202110526841 A CN202110526841 A CN 202110526841A CN 113312991 A CN113312991 A CN 113312991A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
intelligent recognition
result
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110526841.6A
Other languages
English (en)
Inventor
鲁凤斌
盖英德
杨朕
崔振宇
赵帅
于波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Fuxin Wind Power Generation Co Ltd
Original Assignee
Huaneng Fuxin Wind Power Generation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Fuxin Wind Power Generation Co Ltd filed Critical Huaneng Fuxin Wind Power Generation Co Ltd
Priority to CN202110526841.6A priority Critical patent/CN113312991A/zh
Publication of CN113312991A publication Critical patent/CN113312991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于无人机的前端智能识别系统,包括采集分析层,所述采集分析层内设有无人机外挂云台摄像机和前端智能识别装置,所述无人机外挂云台摄像机用于采集目标图片,所述前端智能识别装置用于实时分析处理无人机外挂云台摄像机采集到的目标图片,识别目标缺陷;采集分析层将识别后的结果通过数据传输层传递到结果展现层;数据传输层,所述数据传输层用于将采集分析层的识别结果传输到结果展现层中;本发明通过给无人机外挂智能识别装置的方式,在飞行的过程中实时进行前端智能识别,将识别出的缺陷结果实时推送给无人机操作人员,操作人员依据推送结果对目标缺陷进行多角度、多方向的拍摄,提升巡检效率,增加巡检结果的准确性。

Description

一种基于无人机的前端智能识别系统
技术领域
本发明涉及无人机巡检技术领域,具体为一种基于无人机的前端智能识别系统。
背景技术
随着无人机技术及人工智能技术的发展,无人机的应用场景愈加广泛。利用无人机外挂可见光/红外摄像头进行输电线路、风机叶片和变电站场区的巡检已在电力行业有了较多的实际案例。无人机的高机动性、便携性等特点,大大减少了巡检时间,增加了巡检的效率。目前无人机巡检多采用人工+机器图像识别的方式进行。人工识别主要有两种形式,一是操作人员控制无人机在指定位置悬停,通过无人机控制器上显示的画面,人工进行缺陷识别;二是依据巡检规程,对指定位置进行拍照,在飞行结束后将所拍摄照片导入电脑中进行人工筛查。机器图像识别是利用人工智能算法,将无人机所拍摄的照片导入电脑后进行机器识别。
人工识别的方式对操作人员具有一定的专业技能要求,不同人员的识别结果会产生差异性;机器识别的方式无法在无人机飞行过程中对缺陷进行实时识别,如后期对识别出的缺陷进行多角度分析,还需要再次去拍照地点进行复飞复拍,增加了巡检作业时间。为此,我们提出一种基于无人机的前端智能识别系统。
发明内容
本发明的目的在于提供一种基于无人机的前端智能识别系统,以解决上述背景技术中人工识别的方式对操作人员具有一定的专业技能要求,不同人员的识别结果会产生差异性;机器识别的方式无法在无人机飞行过程中对缺陷进行实时识别,如后期对识别出的缺陷进行多角度分析,还需要再次去拍照地点进行复飞复拍,增加了巡检作业时间的问题。
为实现上述目的,本发明提供如下技术方案:一种基于无人机的前端智能识别系统,包括
采集分析层,所述采集分析层内设有无人机外挂云台摄像机和前端智能识别装置,所述无人机外挂云台摄像机用于采集目标图片,所述前端智能识别装置用于实时分析处理无人机外挂云台摄像机采集到的目标图片,识别目标缺陷;采集分析层将识别后的结果通过数据传输层传递到结果展现层;
数据传输层,所述数据传输层用于将采集分析层的识别结果传输到结果展现层中;
结果展现层,所述结果展现层用于实时展现缺陷结果。
优选的,所述数据传输层采用无人机飞控系统数据链及前端智能识别装置WIFI链路两种方式传输。
优选的,所述结果展现层内包含两种展示形式,第一种是无人机飞控操作装置页面,通过无人机飞控系统开放的RDK接口,实时进行缺陷结果提醒;第二种是部署地面工作站,地面工作站与前端智能识别装置通过WIFI链路进行实时通信,地面工作站安装有目标缺陷展示页面,将前端智能识别装置识别出缺陷结果进行实时展示,存储缺陷类别、缺陷照片并进行缺陷类别统计,两种展现方式可根据现场情况进行二选一或全选的灵活配置。
优选的,所述前端智能识别装置由GPU、CPU、WIFI模块、RDK模块和电源模块组成;
所述RDK模块用于收集到图片数据;
所述GPU中内嵌机器识别算法,用于对无人机采集到的图片进行实时智能识别;
所述CPU用于进行通信管理及数据的分发,将通过RDK模块收集到的图片数据以及GPU识别后的结果传输至WIFI模块和无人机RDK模块中。
优选的,所述前端智能识别装置安装在无人机上置云台,所述前端智能识别装置通过PSDK连接器的转接环接入到无人机飞行平台中的SkyPort接口。
优选的,所述无人机飞控操作装置内安装有SDK前端识别系统插件。
优选的,所述系统识别结果的展示方法:
(1)、在无人机飞控操作装置设置中打开SDK前端识别系统插件,激活插件后,飞控系统显示页面中会实时文字显示无人机的最近一张拍摄图片的识别结果;无人机操作人员可针对文字描述,对拍摄区域的缺陷进行针对性的拍摄及确认;
(2)、利用前端识别装置WIFI模块,通过在地面部署地面工作站的方式,接收前端识别装置识别标记好的缺陷图片并实时进行展示,且地面工作站内装有缺陷识别软件,利用地面工作站更强的运算能力,可对标定后的缺陷照片进行二次识别。
本发明提供了一种基于无人机的前端智能识别系统,具备以下有益效果:
(1)本发明可以在飞行的过程中,将无人机拍摄图片进行实时前端机器算法识别,并将识别结果实时展示,有效提高无人机巡检精度、减少巡检时间。
(2)本发明采用无人机飞控系统数据链及前端智能识别装置WIFI链路双通道数据传输方式,增强系统的可靠性,结果展现层配置灵活并可进行二次缺陷识别,可满足不同用户需求。
(3)本发明通过给无人机外挂智能识别装置的方式,在飞行的过程中实时进行前端智能识别,将识别出的缺陷结果实时推送给无人机操作人员,操作人员依据推送结果对目标缺陷进行多角度、多方向的拍摄,大大提升巡检效率,增加巡检结果的准确性。
附图说明
图1为本发明的系统结构框图;
图2为本发明的前端智能识别装置结构示意图;
图3为本发明的飞控系统设置页面。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
如图1-3所示,本发明提供一种技术方案:一种基于无人机的前端智能识别系统,包括
采集分析层,所述采集分析层内设有无人机外挂云台摄像机和前端智能识别装置,所述无人机外挂云台摄像机用于采集目标图片,所述前端智能识别装置用于实时分析处理无人机外挂云台摄像机采集到的目标图片,识别目标缺陷;采集分析层将识别后的结果通过数据传输层传递到结果展现层;
数据传输层,所述数据传输层用于将采集分析层的识别结果传输到结果展现层中;
结果展现层,所述结果展现层用于实时展现缺陷结果。
进一步的,所述数据传输层采用无人机飞控系统数据链及前端智能识别装置WIFI链路两种方式传输。
进一步的,所述结果展现层内包含两种展示形式,第一种是无人机飞控操作装置页面,通过无人机飞控系统开放的RDK接口,实时进行缺陷结果提醒;第二种是部署地面工作站,地面工作站与前端智能识别装置通过WIFI链路进行实时通信,地面工作站安装有目标缺陷展示页面,将前端智能识别装置识别出缺陷结果进行实时展示,存储缺陷类别、缺陷照片并进行缺陷类别统计。
进一步的,所述前端智能识别装置由GPU、CPU、WIFI模块、RDK模块和电源模块组成;
所述RDK模块用于收集到图片数据;
所述GPU中内嵌机器识别算法,用于对无人机采集到的图片进行实时智能识别;
所述CPU用于进行通信管理及数据的分发,将通过RDK模块收集到的图片数据以及GPU识别后的结果传输至WIFI模块和无人机RDK模块中。
进一步的,所述前端智能识别装置安装在无人机上置云台,所述前端智能识别装置通过PSDK连接器的转接环接入到无人机飞行平台中的SkyPort接口。
进一步的,所述无人机飞控操作装置内安装有SDK前端识别系统插件。
进一步的,所述系统识别结果的展示方法:
(1)、在无人机飞控操作装置设置中打开SDK前端识别系统插件,激活插件后,飞控系统显示页面中会实时文字显示无人机的最近一张拍摄图片的识别结果;无人机操作人员可针对文字描述,对拍摄区域的缺陷进行针对性的拍摄及确认;
(2)、利用前端识别装置WIFI模块,通过在地面部署地面工作站的方式,接收前端识别装置识别标记好的缺陷图片并实时进行展示,且地面工作站内装有缺陷识别软件,利用地面工作站更强的运算能力,可对标定后的缺陷照片进行二次识别。
需要说明的是,一种基于无人机的前端智能识别系统,工作步骤:
步骤一:采集分析层为无人机外挂云台摄像机、无人机和前端智能识别装置,并通过将前端智能识别装置附属安装在无人机上的方式,实时分析处理无人机外挂云台摄像机采集到的目标图片,识别目标缺陷。
步骤二:采集分析层将识别后的结果通过数据传输层传递到结果展现层,数据传输层采用无人机飞控系统数据链及前端智能识别装置WIFI链路两种方式传输。
步骤三:识别结果展示,将识别出的缺陷结果实时推送给无人机操作人员,操作人员依据推送结果对目标缺陷进行多角度、多方向的拍摄。
根据操作人员的需求和现场实际情况,识别结果可通过两种不同形式进行展示:
一是利用大疆无人机飞控系统进行实时缺陷类型进行展示。如图3所示,在无人机操作装置设置中打开本发明所设计SDK前端识别系统插件。激活插件后,飞控系统显示页面中会实时文字显示无人机的最近一张拍摄图片的识别结果。无人机操作人员可针对文字描述,对拍摄区域的缺陷进行针对性的拍摄及确认。该种展现方式为前端识别装置经RDK接口通过无人机飞控系统数据链路传输至无人机操作装置,采用只传输识别结果的方式,可有效减少对飞控系统数据链路带宽的占用并更具有实时性。
二是利用前端识别装置WIFI模块,通过在地面部署地面工作站的方式,接收前端识别装置识别标记好的缺陷图片并实时进行展示。地面工作站内装有缺陷识别软件,利用地面工作站更强的运算能力,可对标定后的缺陷照片进行二次识别,提高识别结果的准确率。
前端智能识别装置的安装方法:前端智能识别装置内的GPU和CPU采用低功耗高性能芯片,在保证识别速度和精度的同时,降低装置功耗对无人机续航时间的影响。GPU内嵌机器识别算法,对无人机采集到的图片进行实时智能识别,CPU进行通信管理及数据的分发,将通过RDK模块收集到的图片数据以及GPU识别后的结果传输至WIFI模块和无人机RDK模块,前端智能识别装置安装固定在无人机上置云台,通过PSDK连接器的转接环接入到飞行平台中的SkyPort接口。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于无人机的前端智能识别系统,其特征在于,包括
采集分析层,所述采集分析层内设有无人机外挂云台摄像机和前端智能识别装置,所述无人机外挂云台摄像机用于采集目标图片,所述前端智能识别装置用于实时分析处理无人机外挂云台摄像机采集到的目标图片,识别目标缺陷;采集分析层将识别后的结果通过数据传输层传递到结果展现层;
数据传输层,所述数据传输层用于将采集分析层的识别结果传输到结果展现层中;
结果展现层,所述结果展现层用于实时展现缺陷结果。
2.根据权利要求1所述的一种基于无人机的前端智能识别系统,其特征在于:所述数据传输层采用无人机飞控系统数据链及前端智能识别装置WIFI链路两种方式传输。
3.根据权利要求1所述的一种基于无人机的前端智能识别系统,其特征在于:所述结果展现层内包含两种展示形式,第一种是无人机飞控操作装置页面,通过无人机飞控系统开放的RDK接口,实时进行缺陷结果提醒;第二种是部署地面工作站,地面工作站与前端智能识别装置通过WIFI链路进行实时通信,地面工作站安装有目标缺陷展示页面,将前端智能识别装置识别出缺陷结果进行实时展示,存储缺陷类别、缺陷照片并进行缺陷类别统计。
4.根据权利要求1所述的一种基于无人机的前端智能识别系统,其特征在于:所述前端智能识别装置由GPU、CPU、WIFI模块、RDK模块和电源模块组成;
所述RDK模块用于收集到图片数据;
所述GPU中内嵌机器识别算法,用于对无人机采集到的图片进行实时智能识别;
所述CPU用于进行通信管理及数据的分发,将通过RDK模块收集到的图片数据以及GPU识别后的结果传输至WIFI模块和无人机RDK模块中。
5.根据权利要求1所述的一种基于无人机的前端智能识别系统,其特征在于:所述前端智能识别装置安装在无人机上置云台,所述前端智能识别装置通过PSDK连接器的转接环接入到无人机飞行平台中的SkyPort接口。
6.根据权利要求1所述的一种基于无人机的前端智能识别系统,其特征在于:所述无人机飞控操作装置内安装有SDK前端识别系统插件。
7.根据权利要求1所述的一种基于无人机的前端智能识别系统,其特征在于:所述系统识别结果的展示方法:
(1)、在无人机飞控操作装置设置中打开SDK前端识别系统插件,激活插件后,飞控系统显示页面中会实时文字显示无人机的最近一张拍摄图片的识别结果;无人机操作人员可针对文字描述,对拍摄区域的缺陷进行针对性的拍摄及确认;
(2)、利用前端识别装置WIFI模块,通过在地面部署地面工作站的方式,接收前端识别装置识别标记好的缺陷图片并实时进行展示,且地面工作站内装有缺陷识别软件,利用地面工作站更强的运算能力,可对标定后的缺陷照片进行二次识别。
CN202110526841.6A 2021-05-14 2021-05-14 一种基于无人机的前端智能识别系统 Pending CN113312991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110526841.6A CN113312991A (zh) 2021-05-14 2021-05-14 一种基于无人机的前端智能识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110526841.6A CN113312991A (zh) 2021-05-14 2021-05-14 一种基于无人机的前端智能识别系统

Publications (1)

Publication Number Publication Date
CN113312991A true CN113312991A (zh) 2021-08-27

Family

ID=77373324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110526841.6A Pending CN113312991A (zh) 2021-05-14 2021-05-14 一种基于无人机的前端智能识别系统

Country Status (1)

Country Link
CN (1) CN113312991A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445411A (zh) * 2022-04-11 2022-05-06 广东电网有限责任公司佛山供电局 一种无人机巡线缺陷识别系统及控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
CN110829271A (zh) * 2019-12-11 2020-02-21 云南电网有限责任公司红河供电局 输电线路缺陷巡检装置及缺陷分析方法
US20200125099A1 (en) * 2018-10-22 2020-04-23 Scott Michael PANTHAKY Automated drone lease operating system (adlos) automated drone oil field inspection system and method
CN111198004A (zh) * 2020-01-06 2020-05-26 华北电力大学(保定) 一种基于无人机的电力巡查信息采集系统
CN111311597A (zh) * 2020-03-27 2020-06-19 国网福建省电力有限公司龙岩供电公司 一种缺陷绝缘子的无人机巡检方法与系统
CN111723774A (zh) * 2020-07-03 2020-09-29 国网山东省电力公司日照供电公司 一种基于无人机巡检的输电设备目标识别方法
KR102196744B1 (ko) * 2019-12-31 2020-12-30 추혜성 드론을 이용하여 문화재 점검 서비스를 제공하는 방법 및 서버
CN112233270A (zh) * 2020-10-30 2021-01-15 国家电网有限公司 一种无人机自主智能绕塔巡检系统
WO2021051278A1 (zh) * 2019-09-17 2021-03-25 深圳市大疆创新科技有限公司 地表特征识别方法、设备、无人机及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200125099A1 (en) * 2018-10-22 2020-04-23 Scott Michael PANTHAKY Automated drone lease operating system (adlos) automated drone oil field inspection system and method
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
WO2021051278A1 (zh) * 2019-09-17 2021-03-25 深圳市大疆创新科技有限公司 地表特征识别方法、设备、无人机及计算机可读存储介质
CN110829271A (zh) * 2019-12-11 2020-02-21 云南电网有限责任公司红河供电局 输电线路缺陷巡检装置及缺陷分析方法
KR102196744B1 (ko) * 2019-12-31 2020-12-30 추혜성 드론을 이용하여 문화재 점검 서비스를 제공하는 방법 및 서버
CN111198004A (zh) * 2020-01-06 2020-05-26 华北电力大学(保定) 一种基于无人机的电力巡查信息采集系统
CN111311597A (zh) * 2020-03-27 2020-06-19 国网福建省电力有限公司龙岩供电公司 一种缺陷绝缘子的无人机巡检方法与系统
CN111723774A (zh) * 2020-07-03 2020-09-29 国网山东省电力公司日照供电公司 一种基于无人机巡检的输电设备目标识别方法
CN112233270A (zh) * 2020-10-30 2021-01-15 国家电网有限公司 一种无人机自主智能绕塔巡检系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
祝永坤;李盟;张杰;毛勒尔;杨雪城;: "基于泛在物联网的多机编队智能自主巡检移动式机舱研制与应用", 内蒙古电力技术, no. 01 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445411A (zh) * 2022-04-11 2022-05-06 广东电网有限责任公司佛山供电局 一种无人机巡线缺陷识别系统及控制方法

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN105739512B (zh) 无人机自动巡检系统及方法
CN109630905A (zh) 一种基于无人机遥感和深度学习的油气管道全智能巡检系统
CN111985352B (zh) 一种ai前端化的变电站巡检视频实时识别方法及系统
CN109895116B (zh) 一种电力管廊轨道机器人巡检方法和装置
CN112327906A (zh) 一种基于无人机的智能自动巡检系统
CN206922767U (zh) 一种基于无人机的智能协同无线电检测系统
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN112270267A (zh) 可自动抓拍线路故障的摄像识别系统
CN113972586B (zh) 一种高压输电线路无人机搭载激光异物清除系统及方法
CN105514872A (zh) 一种高效率无人机群电力巡检系统
CN108960134A (zh) 一种巡线无人机影像标注及智能识别方法
CN113110577A (zh) 电网巡检无人机飞行路线规划管理系统
CN107390699A (zh) 一种甘蔗种植机的路线规划系统及其路线规划方法
CN112947511A (zh) 一种无人机巡检风机叶片的方法
CN113312991A (zh) 一种基于无人机的前端智能识别系统
CN115865915A (zh) 基于边缘计算的无人机巡检图像实时识别方法及系统
WO2022247597A1 (zh) 一种基于无人机的papi飞行校验方法和系统
CN112455676A (zh) 一种光伏板健康状态智能监测分析系统及方法
CN115209379A (zh) 基于5g智能网联无人机的电网云边协同巡检系统及方法
CN114935941A (zh) 基于激光点云的无人机自主巡检系统
CN114721432A (zh) 基于大数据用无人机智能巡检设备及巡检图像缺陷分析方法
CN211668520U (zh) 一种基于无人机的输电杆塔设备的自动航拍系统
CN109977884B (zh) 目标跟随方法和装置
CN105472247B (zh) 一种基于无人驾驶飞行器上的多路图形图像处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210827