CN111726576A - 无人机巡检方法、装置、系统及存储介质 - Google Patents

无人机巡检方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN111726576A
CN111726576A CN202010462786.4A CN202010462786A CN111726576A CN 111726576 A CN111726576 A CN 111726576A CN 202010462786 A CN202010462786 A CN 202010462786A CN 111726576 A CN111726576 A CN 111726576A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
inspection
time
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010462786.4A
Other languages
English (en)
Inventor
程贺雷
杨佩湘
郭邵帅
李文斌
覃建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Telesource Technology Co ltd
Original Assignee
Shenzhen Telesource Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Telesource Technology Co ltd filed Critical Shenzhen Telesource Technology Co ltd
Priority to CN202010462786.4A priority Critical patent/CN111726576A/zh
Publication of CN111726576A publication Critical patent/CN111726576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种无人机巡检方法、装置、系统和存储介质。所述无人机巡检方法包括：收到巡检任务；根据所述巡检任务计算出巡检方案；根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和实时位置传输至云端；通过AI视频识别算法识别所述实时视频，输出问题数据；通过AI视频比对算法比对所述实时视频，输出问题数据；对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。通过本发明的技术方案，能够快速找到和定位问题，优化巡检方案，提高效率，解决问题发现不及时及容易错漏的问题。

Description

无人机巡检方法、装置、系统及存储介质
技术领域
本发明实施例涉及无人机领域，尤其涉及一种无人机巡检方法、装置、系统及存储介质。
背景技术
随着无人机技术的发展，在利用无人机在做巡检任务时，针对无人机在巡检时拍摄的视频，专家长时间从视频中检查问题，由于工作乏味，造成效率低、问题发现不及时，从而造成大的故障。无人机不同巡检任务中拍摄的视频经常需要进行视频比对，专家需要同时查看2个视频进行比对，但经常会造成视觉错乱，容易遗漏问题；发现问题后，需要标记差异处，并确定照片拍摄位置，效率低；所发现问题，均需转告指定负责人，中间存在时间差、信息遗漏、负责人变动等问题。对于重大巡检，都会设有指挥大厅，只能依靠巡检人员实时语音汇报，做出决定，存在信息遗漏、信息滞后等问题。当存在大量的无人机进行巡检任务时，需要人工统计所有无人机状态，由于统计信息量大，所以统计时间长，造成调度不及时、不准确。
发明内容
本发明主要目的是提供一种无人机巡检方法、装置、系统及存储介质，旨在解决现有无人机巡检中存在的效率低、问题发现不及时、容易错漏及无人机调度的问题。
为了实现上述目的，本发明提供一种无人机巡检方法，该方法包括：
步骤S10：收到巡检任务，所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线；
步骤S20：根据所述巡检任务计算出巡检方案，所述巡检方案包括无人机数据、巡检时间、巡检路线及预估无人机消耗电量；所述无人机数据包括执行所述巡检任务的无人机的初始位置、电量、抗风能力、负载及型号；所述巡检时间包括所述巡检任务的开始时间、巡检时长和结束时间；
步骤S30：根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和所述无人机的实时位置传输至云端；
步骤S40：通过AI视频识别算法识别所述实时视频，输出识别所述实时视频后生成的问题数据；
步骤S50：通过AI视频比对算法比对所述实时视频，输出比对所述实时视频后生成的问题数据；
步骤S60：对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；
步骤S70：将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。
进一步地，所述步骤S40包括：
步骤S410：对无人机视频中的问题图片进行标注；
步骤S420：通过卷积神经网络算法对标注的问题图片进行深度学习训练；
步骤S430：对所述卷积神经网络算法进行校验调整，并得到AI视频识别算法；所述校验调整是根据问题图片识别准确率的预设标准作为参考，当问题图片识别准确率达不到所述预设标准时重复执行对所述卷积神经网络算法进行校验调整的步骤，直至问题图片识别准确率达到预设标准为止。
步骤S440：根据所述位置信息和时间点对所述实时视频截取图片；
步骤S450：将所述截取的图片通过所述AI视频识别算法进行识别，输出所述问题数据。
进一步地，所述步骤S50包括：
步骤S510：输入最近一次相同的巡检任务视频；所述巡检任务视频包括无人机在巡检任务中的历史位置信息及历史视频数据；
步骤S520：根据所述历史位置信息对所述历史视频截取图片。
步骤S530：根据本次巡检任务中的本次位置信息对本次巡检任务中的本次视频数据截取图片；
步骤S540：将所述历史位置信息与本次位置信息相同的图片进行像素点比对，找出存在差异的差异图片。
步骤S550：对所述差异图片进行标注；
步骤S560：通过卷积神经网络算法对标注的差异图片进行深度学习训练；
步骤S570：对所述卷积神经网络算法进行校验调整，并输出AI视频比对算法；所述校验调整是根据差异图片识别准确率的预设标准进行判断作为参考，当差异图片识别准确率达不到所述预设标准时重复执行对所述卷积神经网络算法进行校验调整的步骤，直至差异图片识别准确率达到预设标准为止。
步骤S580：根据所述位置信息和时间点对所述实时视频截取图片；
步骤S590：将所述截取的图片通过所述AI视频比对算法进行比对，输出所述问题数据。
为实现上述目的，本发明还提供了一种无人机巡检装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的无人机巡检程序，所述无人机巡检程序被所述处理器执行时实现上述无人机巡检方法的步骤。
同时，本发明提供一种无人机巡检系统，所述无人机巡检系统包括：
无人机、云端和指挥中心；所述无人机与云端通过网络连接，所述指挥中心与云端通过网络连接；
所述无人机用于执行所述的巡检任务；
所述云端用于接收巡检数据并进行AI视频识别和AI视频比对，并发送所述巡检方案至所述无人机；其中，所述巡检数据包括所述无人机数据、所述巡检路线以及所述巡检视频；
所述指挥中心用于接收所述实时预警。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有无人机巡检程序，所述无人机巡检程序可被一个或者多个处理器执行，以实现上述无人机巡检方法的步骤。
本发明提出的无人机巡检方法、装置、系统及存储介质，通过使用卷积神经网络算法进行智能地AI视频识别和AI视频比对，能够快速找到和定位问题，优化巡检方案，优化无人机智能调度，解决现有技术中巡检效率低、问题发现不及时和容易错漏的问题。
附图说明
图1为本发明一实施例提供的无人机巡检方法的流程示意图。
图2为图1中的步骤S40的流程示意图；
图3为图1中的步骤S50的流程示意图；
图4为本发明一实施例提供的无人机巡检装置的内部结构示意图；
图5为本发明一实施例提供的无人机巡检系统的系统示意图；
图6为本发明一实施例提供的无人机巡检装置中无人机巡检程序的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
无人机越来越多地被用于执行巡检任务，所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线，所述巡检路线包括经过所述执行所述巡检任务的无人机起飞地点、经过的巡检地点以及巡检目的地的路线。在无人机巡检过程中，对每个执行巡检任务的无人机在巡检过程中实时拍摄的视频需要进行实时识别、实时比对，及时发现巡检过程中的问题，及时响应处理，并对大量巡检无人机能够根据巡检任务实现智能调度。
请参阅图1，是本发明一实施例提供的无人机巡检方法流程示意图，本发明提供的无人机巡检方法包括：
步骤S10：收到巡检任务，所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线；
步骤S20：根据所述巡检任务计算出巡检方案，所述巡检方案包括无人机数据、巡检时间、巡检路线及预估无人机消耗电量；所述无人机数据包括执行所述巡检任务的无人机的初始位置、电量、抗风能力、负载及型号；所述巡检时间包括所述巡检任务的开始时间、巡检时长和结束时间；
步骤S30：根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和所述无人机的实时位置传输至云端；
步骤S40：通过AI视频识别算法识别所述实时视频，输出识别所述实时视频后生成的问题数据；
步骤S50：通过AI视频比对算法比对所述实时视频，输出比对所述实时视频后生成的问题数据；
步骤S60：对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；
步骤S70：将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。
具体地，在一实施例中，步骤S10：收到巡检任务，所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线。
步骤S20：根据所述巡检任务计算出巡检方案，所述巡检方案包括无人机数据、巡检时间、巡检路线及预估无人机消耗电量；所述无人机数据包括无人机位置、无人机电量、无人机抗风能力、无人机负载及无人机型号；根据所述巡检任务，结合无人机数据进行计算确定最佳巡检方案，所述最佳巡检方案是指利用最短时间完成巡检任务的巡检方案，所述巡检方案包括了执行本次巡检方案的指定的无人机、巡检时间(巡检开始时间)、巡检路线和预估消耗电量，所述无人机的电量大于所述预估消耗电量并在完成所述巡检任务后所述无人机的剩余电量不低于5％。
步骤S30：根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和所述无人机的实时位置传输至云端；由于无人机的智能调度是基于最佳巡检方案自动匹配进行，因此在大量无人机分别执行不同的巡检任务时无人机的智能调度效率可以大大提高。同时，无人机在执行所述巡检任务时，均将实时视频和实时位置传输至云端。
请参阅图2，所述步骤S40：通过AI视频识别算法识别所述实时视频，输出识别所述实时视频后生成的问题数据。具体地，所述AI视频识别算法由以下步骤完成自动学习：
步骤S410：对无人机视频中的问题图片进行标注；具体在一实施例中，利用大于一千次的无人机巡检任务所拍摄的视频，分别对视频中的问题图片进行标注，所述问题图片的数量不低于一万张。
步骤S420：通过卷积神经网络算法对标注的问题图片进行深度学习训练；建立初步的卷积神经网络算法，本发明对具体的卷积神经网络算法不做限定。
步骤S430：对所述卷积神经网络算法进行校验调整，并得到AI视频识别算法；所述校验调整是根据问题图片识别准确率的预设标准作为参考，当问题图片识别准确率达不到所述预设标准时重复执行对所述卷积神经网络算法进行校验调整的步骤，直至问题图片识别准确率达到预设标准为止。通过大量的深度学习训练，不断完善所述卷积神经网络算法，这样得到的问题图片的识别准确率不断提升，这样可以对每次巡检任务所拍摄的视频通过完成所述深度学习训练后的卷积神经网络算法进行AI视频识别。
步骤S440：根据所述位置信息和时间点对所述实时视频截取图片；根据所述位置信息和时间点对所述实时视频连续截取图片，得到巡检任务中连续截取的图片。
步骤S450：将所述截取的图片通过所述AI视频识别算法进行识别，输出所述问题数据；所述问题包括问题的详细描述、问题图片、问题级别(严重、重要、一般)、位置信息、拍摄时间点；所述问题的详细描述里包括执行巡检任务的无人机数据、巡检任务、位置信息和时间信息。
请参阅图3，所述步骤S50包括：
步骤S510：输入最近一次相同的巡检任务视频；所述巡检任务视频包括无人机在巡检任务中的历史位置信息及历史视频数据；其中，相同的巡检任务是指相同的巡检路线，可以是由相同或不同的无人机执行的巡检任务。
步骤S520：根据所述历史位置信息对所述历史视频截取图片。
步骤S530：根据本次巡检任务中的本次位置信息对本次巡检任务中的本次视频数据截取图片；
步骤S540：将所述历史位置信息与本次位置信息相同的图片进行像素点比对，找出存在差异的差异图片。
针对步骤S510至步骤S540执行超过一千次巡检任务及找出超过一万张的差异图片，以进行卷积神经网络的深度学习训练。
步骤S550：对所述差异图片进行标注；
步骤S560：通过卷积神经网络算法对标注的差异图片进行深度学习训练；建立初步的卷积神经网络算法，本发明对具体的卷积神经网络算法不做限定。
步骤S570：对所述卷积神经网络算法进行校验调整，并输出AI视频比对算法；所述校验调整是根据差异图片识别准确率的预设标准进行判断作为参考，当差异图片识别准确率达不到所述预设标准时重复执行对所述卷积神经网络算法进行校验调整的步骤，直至差异图片识别准确率达到预设标准为止。通过大量的深度学习训练，不断完善所述卷积神经网络算法，这样得到的差异图片的比对准确率不断提升，这样可以对每次巡检任务所拍摄的视频通过完成所述深度学习训练后的卷积神经网络算法进行AI视频比对。
步骤S580：根据所述位置信息和时间点对所述实时视频截取图片；
步骤S590：将所述截取的图片通过所述AI视频比对算法进行比对，输出所述问题数据。所述问题包括问题的详细描述、差异图片、问题级别(严重、重要、一般)、位置信息、拍摄时间点；所述问题的详细描述里包括执行巡检任务的无人机数据、巡检任务、位置信息和时间信息。
进一步地，步骤S60，对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；所述分析结果中包括问题数据里的问题图片和差异图片，并根据问题级别发送实时预警，具体在一实施例中，仅对严重问题级别的问题发送实时预警，也可以针对重要以上问题级别的问题发送实时预警。
步骤S70：将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。指挥中心还可用于对所有巡检任务、所有无人机进行实时状态和数据查看的操作，针对实时预警中的问题通过指挥中心可以实时进行响应和处理，并根据实时预警对存在问题的巡检方案进行调整。
此外，本发明还提供一种无人机巡检装置。
请参阅图4，是本发明实施例提供了一种无人机巡检装置的内部结构示意图，所述人机多镜头无人机巡检装置至少包括存储器11、处理器12、通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是无人机巡检装置的内部存储单元，例如该无人机巡检装置的硬盘。存储器11在另一些实施例中也可以是无人机巡检装置的外部存储设备，例如无人机巡检装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括无人机巡检装置的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于无人机巡检装置的应用软件及各类数据，例如无人机巡检程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、图像信号处理器ISP(Image Signal Processing，ISP)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行无人机巡检程序等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该无人机巡检装置与其他电子设备之间建立通信连接。
可选地，该无人机巡检装置还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-EmittingDiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在无人机巡检装置中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有组件11-14以及无人机巡检程序的无人机巡检装置，本领域技术人员可以理解的是，图4示出的结构并不构成对无人机巡检装置的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图4所示的无人机巡检装置实施例中，存储器11中存储有无人机巡检程序；处理器12执行存储器11中存储的无人机巡检程序时实现如下步骤：
步骤S10：收到巡检任务，所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线；
步骤S20：根据所述巡检任务计算出巡检方案，所述巡检方案包括无人机数据、巡检时间、巡检路线及预估无人机消耗电量；所述无人机数据包括执行所述巡检任务的无人机的初始位置、电量、抗风能力、负载及型号；所述巡检时间包括所述巡检任务的开始时间、巡检时长和结束时间；
步骤S30：根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和所述无人机的实时位置传输至云端；
步骤S40：通过AI视频识别算法识别所述实时视频，输出识别所述实时视频后生成的问题数据；
步骤S50：通过AI视频比对算法比对所述实时视频，输出比对所述实时视频后生成的问题数据；
步骤S60：对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；
步骤S70：将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。
请参阅图5，本发明还提供一种无人机巡检系统，所述无人机巡检系统包括：
无人机1、云端2和指挥中心3；所述无人机1与云端2通过网络连接，所述指挥中心3与云端2通过网络连接；
所述无人机1用于执行所述的巡检任务；所述无人机1至少一个，所述巡检任务为所述无人机巡检方法的任一步骤中提到的巡检任务。
所述云端2用于接收巡检数据并进行AI视频识别和AI视频比对，并发送所述巡检方案至所述无人机；其中，所述巡检数据包括所述无人机数据、所述巡检路线以及所述巡检视频。所述云端2可以是云服务器、云平台或者后台服务器中的任意一种。
所述指挥中心3用于接收所述实时预警；所述指挥中心3还用于对所有巡检任务、所有无人机进行实时状态和数据查看的操作，针对实时预警中的问题通过指挥中心可以实时进行响应和处理，并根据实时预警对存在问题的巡检方案进行调整。
参照图6所示，为本发明无人机巡检装置一实施例中的无人机巡检程序的程序模块示意图，该实施例中，无人机巡检程序可以被分割为巡检任务模块10、AI视频识别模块20、AI视频比对模块30、通信模块40和预警模块50，示例性地：
巡检任务模块10，用于管理和执行巡检任务；
AI视频识别模块20，用于对所述实时视频使用AI视频识别算法进行AI视频识别；
AI视频比对模块30，用于对所述实时视频使用AI视频比对算法进行AI视频比对；
通信模块40，用于所述云端和无人机、指挥中心之间的通信；
预警模块50，用于对所述问题数据进行分析得到分析结果，并根据分析结果输出实时预警。
上述巡检任务模块10、AI视频识别模块20、AI视频比对模块30、通信模块40和预警模块50等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有无人机巡检程序，所述无人机巡检程序可被一个或多个处理器执行，以实现如下操作：
步骤S10：收到巡检任务，所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线；
步骤S20：根据所述巡检任务计算出巡检方案，所述巡检方案包括无人机数据、巡检时间、巡检路线及预估无人机消耗电量；所述无人机数据包括执行所述巡检任务的无人机的初始位置、电量、抗风能力、负载及型号；所述巡检时间包括所述巡检任务的开始时间、巡检时长和结束时间；
步骤S30：根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和所述无人机的实时位置传输至云端；
步骤S40：通过AI视频识别算法识别所述实时视频，输出识别所述实时视频后生成的问题数据；
步骤S50：通过AI视频比对算法比对所述实时视频，输出比对所述实时视频后生成的问题数据；
步骤S60：对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；
步骤S70：将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。
本发明的存储介质具体实施方式与上述无人机巡检方法和装置各实施例基本相同，在此不作累述。
本发明提出的无人机巡检方法、装置、系统及存储介质，通过使用卷积神经网络算法进行智能地AI视频识别和AI视频比对，能够快速找到和定位问题，优化巡检方案，优化无人机智能调度，解决现有技术中巡检效率低、问题发现不及时和容易错漏的问题。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是无人机、手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种无人机巡检方法，其特征在于，所述无人机巡检方法包括：
步骤S10：收到巡检任务；所述巡检任务包括开始时间、执行所述巡检任务的无人机、巡检目的地和巡检路线；
步骤S20：根据所述巡检任务计算出巡检方案；所述巡检方案包括无人机数据、巡检时间、巡检路线及预估无人机消耗电量；所述无人机数据包括执行所述巡检任务的无人机的初始位置、电量、抗风能力、负载及型号；所述巡检时间包括所述巡检任务的开始时间、巡检时长和结束时间；
步骤S30：根据所述巡检方案调度无人机执行所述巡检任务，并将所述无人机在执行所述巡检任务时拍摄的实时视频和所述无人机的实时位置传输至云端；
步骤S40：通过人工智能(Artificial Intelligence，AI)视频识别算法识别所述实时视频，输出识别所述实时视频后生成的问题数据；
步骤S50：通过AI视频比对算法比对所述实时视频，输出比对所述实时视频后生成的问题数据；
步骤S60：对所述问题数据进行分析得到分析结果，以根据分析结果输出实时预警；
步骤S70：将所述实时预警传送至指挥中心，并根据实时预警对所述巡检方案进行调整。
2.根据权利要求1所述的无人机巡检方法，其特征在于，所述步骤S40包括：
步骤S410：对无人机视频中的问题图片进行标注；
步骤S420：通过卷积神经网络算法对标注的问题图片进行深度学习训练；
步骤S430：对所述卷积神经网络算法进行校验调整，并得到AI视频识别算法；所述校验调整是根据问题图片识别准确率的预设标准作为参考，当问题图片识别准确率达不到所述预设标准时重复执行对所述卷积神经网络算法进行校验调整的步骤，直至问题图片识别准确率达到预设标准为止。
3.根据权利要求1所述的无人机巡检方法，其特征在于，所述步骤S40还包括：
步骤S440：根据所述位置信息和时间点对所述实时视频截取图片；
步骤S450：将所述截取的图片通过所述AI视频识别算法进行识别，输出所述问题数据。
4.根据权利要求1所述的无人机巡检方法，其特征在于，所述步骤S50包括：
步骤S510：输入最近一次相同的巡检任务视频；所述巡检任务视频包括无人机在巡检任务中的历史位置信息及历史视频数据；
步骤S520：根据所述历史位置信息对所述历史视频截取图片。
5.根据权利要求1所述的无人机巡检方法，其特征在于，所述步骤S50还包括：
步骤S530：根据本次巡检任务中的本次位置信息对本次巡检任务中的本次视频数据截取图片；
步骤S540：将所述历史位置信息与本次位置信息相同的图片进行像素点比对，找出存在差异的差异图片。
6.根据权利要求1所述的无人机巡检方法，其特征在于，所述步骤S50还包括：
步骤S550：对所述差异图片进行标注；
步骤S560：通过卷积神经网络算法对标注的差异图片进行深度学习训练；
步骤S570：对所述卷积神经网络算法进行校验调整，并输出AI视频比对算法；所述校验调整是根据差异图片识别准确率的预设标准进行判断作为参考，当差异图片识别准确率达不到所述预设标准时重复执行对所述卷积神经网络算法进行校验调整的步骤，直至差异图片识别准确率达到预设标准为止。
7.根据权利要求1所述的无人机巡检方法，其特征在于，所述步骤S50还包括：
步骤S580：根据所述位置信息和时间点对所述实时视频截取图片；
步骤S590：将所述截取的图片通过所述AI视频比对算法进行比对，输出所述问题数据。
8.一种无人机巡检装置，其特征在于，所述无人机巡检装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的无人机巡检程序，所述无人机巡检程序被所述处理器执行时实现如权利要求1-7中任一所述的无人机巡检方法的步骤。
9.一种无人机巡检系统，其特征在于，所述无人机巡检系统包括：
无人机、云端和指挥中心；所述无人机与云端通过网络连接，所述指挥中心与云端通过网络连接；
所述无人机用于执行所述的巡检任务；
所述云端用于接收巡检数据并进行AI视频识别和AI视频比对，并发送所述巡检方案至所述无人机；其中，所述巡检数据包括所述无人机数据、所述巡检路线以及所述巡检视频；
所述指挥中心用于接收所述实时预警。
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有无人机巡检程序，所述无人机巡检程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的无人机巡检方法的步骤。
CN202010462786.4A 2020-05-27 2020-05-27 无人机巡检方法、装置、系统及存储介质 Pending CN111726576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010462786.4A CN111726576A (zh) 2020-05-27 2020-05-27 无人机巡检方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010462786.4A CN111726576A (zh) 2020-05-27 2020-05-27 无人机巡检方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111726576A true CN111726576A (zh) 2020-09-29

Family

ID=72565101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010462786.4A Pending CN111726576A (zh) 2020-05-27 2020-05-27 无人机巡检方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111726576A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033301A (zh) * 2021-02-07 2021-06-25 北京中交创新投资发展有限公司 基于ai图像识别技术采集道路巡检设施数据的方法
CN113242409A (zh) * 2021-04-26 2021-08-10 深圳市安星数字系统有限公司 基于无人机的夜视预警方法、装置、无人机及存储介质
CN114926916A (zh) * 2022-05-10 2022-08-19 上海咪啰信息科技有限公司 一种5g无人机动态ai巡检系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739512A (zh) * 2016-02-01 2016-07-06 成都通甲优博科技有限责任公司 无人机自动巡检系统及方法
CN107145088A (zh) * 2017-05-26 2017-09-08 山东交通职业学院 一种公路巡查无人机图像传输与处理方法
WO2017219780A1 (zh) * 2016-06-21 2017-12-28 中兴通讯股份有限公司 一种无人机巡检方法、装置及无人机、计算机存储介质
CN108037770A (zh) * 2017-11-22 2018-05-15 国网山东省电力公司济宁供电公司 基于人工智能的无人机输电线路巡检系统和方法
CN108960134A (zh) * 2018-07-02 2018-12-07 广东容祺智能科技有限公司 一种巡线无人机影像标注及智能识别方法
CN109658539A (zh) * 2018-12-11 2019-04-19 中海油安全技术服务有限公司 化工园区的巡检方法、装置、服务器及计算机存储介质
CN110207832A (zh) * 2019-06-26 2019-09-06 深圳市微纳集成电路与系统应用研究院 基于无人机的高压线路巡检系统及其巡检方法
CN110390265A (zh) * 2019-06-21 2019-10-29 万翼科技有限公司 一种无人机巡检的识别检测方法及系统
CN110580529A (zh) * 2019-08-16 2019-12-17 国电南瑞科技股份有限公司 一种输电通道无人机精细化巡检数据的自动分析管理方法、系统及存储介质
US20200092465A1 (en) * 2019-08-26 2020-03-19 Lg Electronics Inc. Method for editing image based on artificial intelligent and artificial device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739512A (zh) * 2016-02-01 2016-07-06 成都通甲优博科技有限责任公司 无人机自动巡检系统及方法
WO2017219780A1 (zh) * 2016-06-21 2017-12-28 中兴通讯股份有限公司 一种无人机巡检方法、装置及无人机、计算机存储介质
CN107145088A (zh) * 2017-05-26 2017-09-08 山东交通职业学院 一种公路巡查无人机图像传输与处理方法
CN108037770A (zh) * 2017-11-22 2018-05-15 国网山东省电力公司济宁供电公司 基于人工智能的无人机输电线路巡检系统和方法
CN108960134A (zh) * 2018-07-02 2018-12-07 广东容祺智能科技有限公司 一种巡线无人机影像标注及智能识别方法
CN109658539A (zh) * 2018-12-11 2019-04-19 中海油安全技术服务有限公司 化工园区的巡检方法、装置、服务器及计算机存储介质
CN110390265A (zh) * 2019-06-21 2019-10-29 万翼科技有限公司 一种无人机巡检的识别检测方法及系统
CN110207832A (zh) * 2019-06-26 2019-09-06 深圳市微纳集成电路与系统应用研究院 基于无人机的高压线路巡检系统及其巡检方法
CN110580529A (zh) * 2019-08-16 2019-12-17 国电南瑞科技股份有限公司 一种输电通道无人机精细化巡检数据的自动分析管理方法、系统及存储介质
US20200092465A1 (en) * 2019-08-26 2020-03-19 Lg Electronics Inc. Method for editing image based on artificial intelligent and artificial device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033301A (zh) * 2021-02-07 2021-06-25 北京中交创新投资发展有限公司 基于ai图像识别技术采集道路巡检设施数据的方法
CN113033301B (zh) * 2021-02-07 2024-02-13 交信北斗科技有限公司 基于ai图像识别技术采集道路巡检设施数据的方法
CN113242409A (zh) * 2021-04-26 2021-08-10 深圳市安星数字系统有限公司 基于无人机的夜视预警方法、装置、无人机及存储介质
CN113242409B (zh) * 2021-04-26 2023-09-12 国网安徽省电力有限公司天长市供电公司 基于无人机的夜视预警方法、装置、无人机及存储介质
CN114926916A (zh) * 2022-05-10 2022-08-19 上海咪啰信息科技有限公司 一种5g无人机动态ai巡检系统

Similar Documents

Publication Publication Date Title
CN111726576A (zh) 无人机巡检方法、装置、系统及存储介质
CN110991320A (zh) 路况检测方法和装置、电子设备、存储介质
CN102902819A (zh) 一种视频智能分析方法及装置
JP7111175B2 (ja) 物体認識システム、認識装置、物体認識方法および物体認識プログラム
CN113011323B (zh) 通行状态的获取方法、相关装置、路侧设备及云控平台
US20200342324A1 (en) System and method for object recognition using neural networks
WO2022135539A1 (zh) 设备配置参数处理方法和装置、数据分析方法和装置、计算设备、计算机可读存储介质、以及计算机程序产品
CN112131414B (zh) 信号灯的图像的标注方法、装置、电子设备以及路侧设备
CN111767831A (zh) 用于处理图像的方法、装置、设备及存储介质
CN112085953A (zh) 一种交通指挥方法、装置及设备
CN111047824A (zh) 一种室内儿童看护联动控制预警方法及系统
CN115695541A (zh) 基于边缘计算的网点巡检监测方法、装置、设备及存储介质
CN110910526A (zh) 一种基于智能移动终端的巡检系统和方法
CN114332925A (zh) 电梯内宠物检测方法、系统、装置及计算机可读存储介质
CN111191995A (zh) 一种基于互联网平台实现门店智能监控及会员到店智能提醒的方法
CN112669302A (zh) 吊弦缺陷检测方法、装置、电子设备及存储介质
CN109101917A (zh) 用于行人重识别的标注方法、训练方法、装置及系统
CN110909797B (zh) 图像检测方法以及装置、设备、存储介质
CN113408409A (zh) 交通信号灯识别方法、设备、云控平台和车路协同系统
CN111314652B (zh) 视频结构化分析处理方法、装置、设备及其存储介质
CN113888465A (zh) 输电线悬挂异物检测方法、系统及介质
CN112200934B (zh) 记录车辆行驶信息的方法、装置、电子设备和存储介质
CN109740691A (zh) 图形数据辨识的训练装置及训练系统
CN111859370A (zh) 识别服务的方法、装置、电子设备和计算机可读存储介质
CN111462480A (zh) 交通图像证据验证方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination