CN114237281B - 无人机巡检的控制方法、控制装置以及巡检系统 - Google Patents
无人机巡检的控制方法、控制装置以及巡检系统 Download PDFInfo
- Publication number
- CN114237281B CN114237281B CN202111426148.8A CN202111426148A CN114237281B CN 114237281 B CN114237281 B CN 114237281B CN 202111426148 A CN202111426148 A CN 202111426148A CN 114237281 B CN114237281 B CN 114237281B
- Authority
- CN
- China
- Prior art keywords
- inspection
- unmanned aerial
- aerial vehicle
- position information
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 567
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000009471 action Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000001174 ascending effect Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims 2
- AWGTVRDHKJQFAX-UHFFFAOYSA-M chloro(phenyl)mercury Chemical compound Cl[Hg]C1=CC=CC=C1 AWGTVRDHKJQFAX-UHFFFAOYSA-M 0.000 claims 1
- 230000001276 controlling effect Effects 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000013439 planning Methods 0.000 description 15
- 239000003795 chemical substances by application Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请提供了一种无人机巡检的控制方法、控制装置以及巡检系统，该方法包括：获取巡检信息，巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，第一位置信息为初始起飞点的位置信息，第二位置信息为停歇点的位置信息，第三位置信息为目标点的位置信息；根据巡检信息，确定多个巡检区域以及各巡检区域的巡检顺序，其中，一个巡检区域包括一个停歇点以及至少一个目标点，所有的巡检区域包括所有的目标点；利用DQN模型确定无人机在各巡检区域内的巡检路径，并控制无人机按照巡检路径以及巡检顺序巡检。该方法保证了无人机在每个巡检区域都可充电，实现了无人机自动完成长时间、长距离的巡检任务。
Description
技术领域
本申请涉及无人机领域，具体而言，涉及一种无人机巡检的控制方法、控制装置、计算机可读存储介质、处理器以及巡检系统。
背景技术
电力巡检是保证电网安全稳定运行的有效方式，随着无人机自主导航系统及智能技术的迅速发展，它在输电线路灾害分析、定位排查设施故障以及电力资源调配等方面发挥了显著优势，大幅提高了输电维护和检修的效率。无人机巡检可以通过自动或者人工操控无人机，通过机载的传感设备(如相机、红外成像仪等)对架空输电线路进行巡查，具有设备简单、成本低廉、机动灵活、安全高效、视野良好、易于发现杆塔平口以上的缺陷等显著优点。然而，由于通信技术的限制，当前无人机使用4G、Wi-Fi或蓝牙等通信方式，带来空域定位精度低、带宽小、高延时和操控范围小等问题，导致传输图像不清晰、无人机误碰高压线和坠机等现象。5G具备高速度、大带宽、低功耗、低延时、广连接、高安全和精准定位等特点，使5G在应用方面具备先天优势。5G的网络速度远高于现在4G的网络速度，同时能够提供毫秒级的传输时延和厘米级的定位精度。4G网络图传能力以720P为主，而5G可以实现4K或8K超高清视频的图传能力，真正实现对输电线路细节的感知。5G网络的低延时能力，提供毫秒级的传输时延，使无人机响应速度更快，同时厘米级的定位精度，也使对无人机的操控更加精准。因此5G技术与无人机巡检相结合，将能够释放更多潜力。
航迹的合理控制是影响无人机智能巡检的重要因素。现阶段针对电力巡检的主要研究方法是通过航迹的规划对定点位置和故障进行监视，往往需要巡检人员进行实时操作，要求运维人员同时具备电力巡检和无人机操控的双重能力，在缺少运维人员的情况下较难实现无人机的广泛应用。同时，由于无人机机身大小及重量的限制，无人机的数据存储空间、电池容量十分有限，需要回程充电，大大限制了巡检效率。
因此，亟需一种方法，解决现有无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种无人机巡检的控制方法、控制装置、计算机可读存储介质、处理器以及巡检系统，以解决现有技术中无人机难以适用于长时间长距离的巡检工作的问题。
根据本发明实施例的一个方面，提供了一种无人机巡检的控制方法，包括：获取巡检信息，所述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，所述第一位置信息为初始起飞点的位置信息，所述第二位置信息为停歇点的位置信息，所述第三位置信息为目标点的位置信息，所述目标点为无人机采集图像信息的第一杆塔，所述停歇点为用于所述无人机进行充电的第二杆塔；根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，其中，一个所述巡检区域包括一个所述停歇点以及至少一个所述目标点，所有的所述巡检区域包括所有的所述目标点；利用DQN(Deep QNetwork，深度Q网络)模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检。
可选地，根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，包括：对各所述第二位置信息以及各所述第三位置信息进行划分，得到多个所述巡检区域；获取所述第一位置信息与各所述第二位置信息的第一距离；按照各所述第一距离从小到大的顺序将对应的各所述停歇点进行排序，得到所述巡检顺序。
可选地，利用DQN模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检，包括：第一确定步骤，利用所述DQN模型确定所述无人机在预定巡检区域内的所述巡检路径，多个所述巡检区域包括所述预定巡检区域；第一控制步骤，控制所述无人机按照所述巡检路径对所述预定巡检区域进行巡检后到达预定停歇点，所述预定停歇点为所述预定巡检区域内的所述停歇点；第二控制步骤，至少控制所述无人机在所述预定停歇点进行充电；第二确定步骤，确定所述无人机是否完成对所有的所述巡检区域的巡检；重复步骤，在确定所述无人机未完成对所有的所述巡检区域的巡检的情况下，依次执行所述第一确定步骤、所述第一控制步骤、所述第二控制步骤以及所述第二确定步骤至少一次，直到确定所述无人机完成对所有的所述巡检区域的巡检为止。
可选地，各所述停歇点与服务器通信连接，所述第二控制步骤包括：控制所述无人机在所述预定停歇点进行充电；控制所述无人机将采集的预定数据通过所述预定停歇点传输至所述服务器，其中，所述预定数据为所述预定巡检区域内的各所述目标点的所述图像信息。
可选地，所述巡检信息还包括多个障碍点的第四位置信息，所述巡检区域中的各所述停歇点、各所述目标点以及各所述障碍点的位置信息为所述巡检区域的区域信息，所述第一确定步骤包括：建立DQN模型；确定目标位置信息，所述目标位置信息为所述预定巡检区域对应的所述无人机的起飞点的位置信息，在所述预定巡检区域是第一巡检区域的情况下，所述起飞点为所述初始起飞点，在所述预定巡检区域不是所述第一巡检区域的情况下，所述起飞点为第二巡检区域中的所述停歇点，所述第一巡检区域为在所述巡检顺序排第一的所述巡检区域，所述第二巡检区域为按照所述巡检顺序排在所述预定巡检区域前面的所述巡检区域；确定所述无人机以最短的时间到达所述预定停歇点为第一目标值，所述无人机避开所述预定巡检区域中的各所述障碍点为第二目标值，所述无人机经过所述预定巡检区域中所有的所述目标点为第三目标值；采用所述DQN模型对所述预定巡检区域的所述区域信息、所述目标位置信息、所述第一目标值、所述第二目标值以及所述第三目标值进行处理，得到所述预定巡检区域内的所述巡检路径。
可选地，建立DQN模型，包括：初始化经验池；初始化Q网络、所述Q网络的网络参数、目标Q网络以及所述目标Q网络的网络参数，其中所述Q网络以及所述目标Q网络均为神经网络；状态集包括所述无人机的当前位置的位置信息、各所述第二位置信息、各所述第三位置信息以及各所述第四位置信息，将所述状态集中所述当前位置的位置信息设置为所述起飞点的位置信息；在所述无人机未到达所述停歇点的情况下，采用∈-greedy策略确定所述无人机的动作策略，所述动作策略包括前进第一预定距离、后退第二预定距离、上升第三预定距离、下降第四预定距离、向左移动第五预定距离、向右移动第六预定距离或者悬停；控制所述无人机执行所述动作策略，得到所述无人机执行所述动作策略后到达的新位置的位置信息；根据所述状态集与所述新位置的位置关系，确定奖励策略，在所述新位置的位置信息与所述障碍点的位置信息重合的第一情景下，执行第一惩罚；在所述新位置的位置信息与所述停歇点的位置信息重合的第二情景下，则执行第一奖励，并停止训练；在所述新位置的位置信息与所述目标点的位置信息重合的第三情景下，执行第二奖励；在其他情景下，执行第二惩罚，所述其他情景为除所述第一情景、所述第二情景以及所述第三情景外的其他情景；将包括所述当前位置的位置信息、所述新位置的位置信息、所述动作策略以及所述奖励策略的样本存入所述经验池中；利用所述经验池中的所述样本计算所述Q网络的网络参数以及所述目标Q网络的网络参数，得到所述DQN模型。
根据本发明实施例的另一方面，还提供了一种无人机巡检的控制装置，包括获取单元、第一确定单元以及第二确定单元，其中，所述获取单元用于获取巡检信息，所述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，所述第一位置信息为初始起飞点的位置信息，所述第二位置信息为停歇点的位置信息，所述第三位置信息为目标点的位置信息，所述目标点为无人机采集图像信息的第一杆塔，所述停歇点为用于所述无人机进行充电的第二杆塔；所述第一确定单元用于根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，其中，一个所述巡检区域包括一个所述停歇点以及至少一个所述目标点，所有的所述巡检区域包括所有的所述目标点；所述第二确定单元用于利用DQN模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检。
根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序用于执行任一种所述的方法。
根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一种所述的方法。
根据本发明实施例的又一方面，还提供了一种巡检系统，包括无人机以及所述无人机的控制装置，其中，所述无人机包括摄像头；所述控制装置用于执行任一种所述的方法。
采用本申请的技术方案，所述无人机巡检的控制方法中，首先，获取巡检信息，所述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，所述第一位置信息为初始起飞点的位置信息，所述第二位置信息为停歇点的位置信息，所述第三位置信息为目标点的位置信息；然后，根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，其中，一个所述巡检区域包括一个所述停歇点以及至少一个所述目标点，所有的所述巡检区域包括所有的所述目标点；最后，利用DQN模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的所述无人机巡检的控制方法，每一个所述巡检区域包括一个所述停歇点，保证了无人机在每个所述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个所述巡检区域内的巡检路径，保证了较为简单地得到所述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的实施例的无人机巡检的控制方法的流程示意图；
图2示出了根据本申请的实施例的无人机巡检的控制方法中划分多个巡检区域示意图；
图3示出了根据本申请的实施例的无人机巡检的控制方法应用场景示意图；
图4示出了根据本申请的实施例的无人机巡检的控制方法中巡检区域的二维示意图；
图5示出了根据本申请的实施例的无人机巡检的控制流程图；
图6示出了根据本申请的实施例的无人机巡检的控制装置的示意图；
图7示出了根据本申请的实施例的无人机巡检系统的数据传输架构示意图。
其中，上述附图包括以下附图标记：
100、初始起飞点；101、起飞点；102、目标点；103、障碍点；104、停歇点；105、无人机；106、输电线路；107、5G边缘物理代理；108、5G核心网；109、巡检平台；110、运维管理人员。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的，现有技术中的无人机难以适用于长时间长距离的巡检工作，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种无人机巡检的控制方法、控制装置、计算机可读存储介质、处理器以及巡检系统。
根据本申请的实施例，提供了一种无人机巡检的控制方法。
图1是根据本申请实施例的无人机巡检的控制方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息，上述目标点为无人机采集图像信息的第一杆塔，上述停歇点为用于上述无人机进行充电的第二杆塔；
步骤S102，根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；
步骤S103，利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。
上述无人机巡检的控制方法中，首先，获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息；然后，根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；最后，利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的上述无人机巡检的控制方法，每一个上述巡检区域包括一个上述停歇点，保证了无人机在每个上述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个上述巡检区域内的巡检路径，保证了较为简单地得到上述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
在实际的应用过程中，上述巡检信息可以通过通信网络管理系统的接口、离线数据文件以及人工录入等方式获取。上述第一位置信息、上述第二位置信息以及上述第三位置信息均为三维坐标信息。
根据本申请的一种具体实施例，根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，包括：对各上述第二位置信息以及各上述第三位置信息进行划分，得到如图2所示的多个上述巡检区域；获取上述第一位置初始起飞点100信息与各上述第二位置信息的第一距离；按照各上述第一距离从小到大的顺序将对应的各上述停歇点104进行排序，得到上述巡检顺序。这样进一步地保证了无人机可完成长时间长距离的巡检。
具体地，根据上述第一位置信息(xs，ys，zs)以及上述第三位置信息(xi，yi，zi)，计算上述第一距离d的具体步骤如下：
在实际的应用过程中，对各上述停歇点进行排列的方式并不限于按照上述第一距离从小到大排列，也可以按照各上述第一距离从大到小的顺序将对应的各上述停歇点进行排序，得到上述巡检顺序；或者按照其他顺序对各上述第一距离排序，本领域技术人员可灵活设置。
为了进一步地解决现有技术中无人机由于自身电量有限，难以适用于长时间长距离的巡检工作的问题，根据本申请的另一种具体实施例，利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检，包括：第一确定步骤，利用上述DQN模型确定上述无人机在预定巡检区域内的上述巡检路径，多个上述巡检区域包括上述预定巡检区域；第一控制步骤，控制上述无人机按照上述巡检路径对上述预定巡检区域进行巡检后到达预定停歇点，上述预定停歇点为上述预定巡检区域内的上述停歇点；第二控制步骤，至少控制上述无人机在上述预定停歇点进行充电；第二确定步骤，确定上述无人机是否完成对所有的上述巡检区域的巡检；重复步骤，在确定上述无人机未完成对所有的上述巡检区域的巡检的情况下，依次执行上述第一确定步骤、上述第一控制步骤、上述第二控制步骤以及上述第二确定步骤至少一次，直到确定上述无人机完成对所有的上述巡检区域的巡检为止。上述巡检区域中的上述停歇点作为无人机在该巡检区域的终点，进一步地保证了无人机在巡检完一个区域后可以进行充电续航，从而进一步地保证了后续的巡检工作正常进行，进一步地实现了无人机长时间作业，不会因为中途电量耗尽而停止作业；重复执行上述第一确定步骤、上述第一控制步骤、上述第二控制步骤以及上述第二确定步骤，直到上述无人机完成对所有的上述巡检区域的巡检，可以保证了无人机在进入下一个巡检区域前积累经验，进一步地根据动态环境规划出合适的巡检路径，从而进一步保证了无人机可完成长时间长距离的巡检。
根据本申请的又一种具体实施例，各上述停歇点与服务器通信连接，上述第二控制步骤包括：控制上述无人机在上述预定停歇点进行充电；控制上述无人机将采集的预定数据通过上述预定停歇点传输至上述服务器，其中，上述预定数据为上述预定巡检区域内的各上述目标点的上述图像信息。上述巡检数据在无人机充电同时传达至上述服务器，可保证上述巡检数据及时传达至上述服务器。
如图3所示，上述停歇点104为搭载基站以及无人机充电平台的第二杆塔，各上述第二杆塔通过输电线路106连接，且各上述第二杆塔通过基站与服务器通信连接，无人机105到达上述停歇点104后进行充电续航以及图像传输。上述基站可以为2G基站，3G基站，4G基站以及5G基站等。
具体地，传输之后无人机可将之前获取的图像信息进行删除，这样保证了不占用无人机的数据存储空间，进一步地保证了无人机可以适用于长时间长距离的巡检工作。
根据本申请的一种具体实施例，上述巡检信息还包括多个障碍点的第四位置信息，上述巡检区域中的各上述停歇点、各上述目标点以及各上述障碍点的位置信息为上述巡检区域的区域信息，上述第一确定步骤包括：建立DQN模型；确定目标位置信息，上述目标位置信息为上述预定巡检区域对应的上述无人机的起飞点的位置信息，在上述预定巡检区域是第一巡检区域的情况下，上述起飞点为上述初始起飞点，在上述预定巡检区域不是上述第一巡检区域的情况下，上述起飞点为第二巡检区域中的上述停歇点，上述第一巡检区域为在上述巡检顺序排第一的上述巡检区域，上述第二巡检区域为按照上述巡检顺序排在上述预定巡检区域前面的上述巡检区域；确定上述无人机以最短的时间到达上述预定停歇点为第一目标值，上述无人机避开上述预定巡检区域中的各上述障碍点为第二目标值，上述无人机经过上述预定巡检区域中所有的上述目标点为第三目标值；采用上述DQN模型对上述预定巡检区域的上述区域信息、上述目标位置信息、上述第一目标值、上述第二目标值以及上述第三目标值进行处理，得到上述预定巡检区域内的上述巡检路径。上述方法以最短的时间到达上述预定停歇点为第一目标值，以上述无人机避开上述预定巡检区域中的各上述障碍点为第二目标值，以上述无人机经过上述预定巡检区域中所有的上述目标点为第三目标值，保证了根据DQN模型得到的预定巡检区域的巡检路径可避开该区域内的障碍点，完成对区域内所有的目标点的图像信息的采集，并以最快的速度巡检完该区域。
图4为上述预定巡检区域的二维示意图，如图4所示，上述无人机从上述起飞点101出发，需避开上述预定巡检区域中的各上述障碍点103，且需要经过所有的上述目标点102以采集其图像信息，到达上述停歇点104进行充电以及将采集的预定数据传输至上述服务器，以巡检上述预定巡检区域的时间最小为目标，计算巡检路径。其中，上述障碍点包括无人机的禁飞点以及障碍物所在的位置点等。
根据本申请的另一种具体实施例，建立DQN模型，包括：初始化经验池；初始化Q网络、上述Q网络的网络参数、目标Q网络以及上述目标Q网络的网络参数，其中上述Q网络以及上述目标Q网络均为神经网络；状态集包括上述无人机的当前位置的位置信息、各上述第二位置信息、各上述第三位置信息以及各上述第四位置信息，将上述状态集中上述当前位置的位置信息设置为上述起飞点的位置信息；在上述无人机未到达上述停歇点的情况下，采用∈-greedy策略确定上述无人机的动作策略，上述动作策略包括前进第一预定距离、后退第二预定距离、上升第三预定距离、下降第四预定距离、向左移动第五预定距离、向右移动第六预定距离或者悬停；控制上述无人机执行上述动作策略，得到上述无人机执行上述动作策略后到达的新位置的位置信息；根据上述状态集与上述新位置的位置关系，确定奖励策略，在上述新位置的位置信息与上述障碍点的位置信息重合的第一情景下，执行第一惩罚；在上述新位置的位置信息与上述停歇点的位置信息重合的第二情景下，则执行第一奖励，并停止训练；在上述新位置的位置信息与上述目标点的位置信息重合的第三情景下，执行第二奖励；在其他情景下，执行第二惩罚，上述其他情景为除上述第一情景、上述第二情景以及上述第三情景外的其他情景；将包括上述当前位置的位置信息、上述新位置的位置信息、上述动作策略以及上述奖励策略的样本存入上述经验池中；利用上述经验池中的上述样本计算上述Q网络的网络参数以及上述目标Q网络的网络参数，得到上述DQN模型。DQN模型是一种介于监督学习和非监督学习之间的特殊任务，DQN模型的上述奖励策略通过分情况执行上述第一惩罚、上述第一奖励以及上述第二奖励可明白上述动作策略的对错程度，通过从环境获得数据后不断训练从而获得对环境的精确反应，学会如何与环境互动，进一步地保证了上述无人机巡检能适应动态环境，进一步地保证了无人机可根据实际环境下较为灵活地确定各个巡检区域的巡检路径。
根据本申请的一种具体实施例的无人机巡检的控制流程如图5所示，具体步骤如下：
1)获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息、多个第三位置信息以及多个第四位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息，上述目标点为无人机采集图像信息的第一杆塔，上述停歇点为用于上述无人机进行充电的第二杆塔，上述第四位置信息为障碍点的位置信息；
2)根据上述巡检信息，对各上述第二位置信息以及各上述第三位置信息进行划分，得到多个上述巡检区域；
3)获取上述第一位置信息与各上述第二位置信息的第一距离；按照各上述第一距离从小到大的顺序将对应的各上述停歇点进行排序，得到上述巡检顺序；
4)确定上述无人机是否完成对所有的上述巡检区域的巡检，如果是，结束巡检任务；
5)如果否，进入下一个巡检区域，建立DQN模型，采用DQN模型对该巡检区域进行分析，得到对应的巡检路径；
6)按照得到的巡检路径执行巡检任务，完成对各个目标点的图像采集；
7)到达停歇点时，完成充电以及传输采集数据到服务器的操作，同时结束该巡检区域的巡检任务；
8)重复步骤4)至7)，直到确定上述无人机完成对所有的上述巡检区域的巡检。
下面将结合DQN详细描述本申请的无人机巡检过程。
基于深度强化学习的无人机轨迹规划，针对每个巡检区域，利用深度Q网络(DQN)进行无人机3D航迹规划，目标以最短的时间避开障碍点通过目标点；到达沿途的目标点时完成图像采集操作，到达停歇点时完成数据回传、充电、训练下一巡检区域的巡检路径的DQN模型的操作，然后进入下一个巡检区域，直至完成全部巡检任务。
本发明中基于深度强化学习的无人机轨迹规划主要由下列三个子步骤构成：
1、针对当前巡检区域进行DQN模型建模，智能体、状态、动作、奖励等基本要素建模如下：
1.1、智能体(Agent)：无人机的控制器可以看作是一个智能体，在巡检开始时，无人机根据∈-greedy策略选择一个动作，之后环境发送下一个状态，并把奖励返回给智能体。智能体用环境所返回的奖励来更新其知识，对上一个动作进行评估。这个循环一直持续，直至巡检任务结束。
1.2、状态(State)：状态信息包括无人机的当前位置与巡检区域内目标点和障碍点的地理位置，即S＝{无人机当前地理坐标(x,y,z)，障碍点地理坐标，目标点坐标，停歇点坐标}。
1.3、动作(Action)：动作集合为无人机的可移动方向，即A＝{前进，后退，上升，下降，向左，向右，静止悬停}。
1.4、奖励(Reward)：根据巡检无人机执行相应动作后与环境的交互情况，设立相应的奖励策略R，一种具体的奖励策略如下：
2、针对当前巡检区域进行DQN模型训练，使巡检无人机以最短的时间避开障碍点、通过目标点并达到停歇点；
基于DQN的巡检无人机航迹规划模型的训练过程如下：
Step1首先初始化经验池D，它的容量为N；
Step2初始化Q网络及其神经网络参数ω；初始化目标Q网络及其神经网络参数ω-；
Step3循环遍历回合episode＝1，2，…，M：
Step3.1初始化状态集S，无人机的当前位置置于起点(0，0，0)；初始化终结标记变量done＝False；
Step3.2循环遍历step＝1，2，…，T：
如果done不为True，则进行以下操作：
Step3.2.1用∈-greedy策略采取动作策略A，A＝{前进1米，后退1米，向左1米，向右1米，静止悬停}；
Step3.2.2执行动作A，计算系统在状态S下采取动作A，得到新的状态S'；
Step3.2.3根据状态S'得出无人机坐标，如果其与障碍点重合，则罚100分；如果无人机从其他点到达目标点，则加10分，同时无人机进行拍照、数据储存的处理；如果无人机从其他点到达停歇点，则加100分，同时置终结标记done＝True，代表该回合结束，结束step遍历，跳到下一步；在其他情况下，无人机罚1分，表示无人机随时间的能量的消耗。
Step3.2.4将样本(S，A，R，S')存入经验池D中；
Step3.2.5利用经验回放池中的均匀随机采样的样本Minibatch计算目标Q值，yi＝R+γ·maxAQ(S'，A；ω-)，更新Q网络参数ω以减小误差函数[yi-Q(S，A；ω)]2；
Step3.2.6每相隔C steps更新基站规划目标Q网络的参数，即ω-＝ω。
Step3.3结束step循环；
Step4结束episode循环，收敛的结果为无人机巡检的最佳轨迹路线。
经过上述步骤的训练学习之后，形成基于DQN方法的无人机自动巡检航迹规划模型，巡检无人机在巡检过程中加载训练好的模型可以实现对航行线路的自动化规划。
本申请实施例还提供了一种无人机巡检的控制装置，需要说明的是，本申请实施例的无人机巡检的控制装置可以用于执行本申请实施例所提供的用于无人机巡检的控制方法。以下对本申请实施例提供的无人机巡检的控制装置进行介绍。
图6是根据本申请实施例的无人机巡检的控制装置的示意图。如图6所示，该装置包括获取单元10、第一确定单元20以及第二确定单元30，其中，上述获取单元10用于获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息，上述目标点为无人机采集图像信息的第一杆塔，上述停歇点为用于上述无人机进行充电的第二杆塔；上述第一确定单元20用于根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；上述第二确定单元30用于利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。
上述无人机巡检的控制装置中，通过上述获取单元获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息；通过上述第一确定单元根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；通过上述第二确定单元利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的上述无人机巡检的控制装置，每一个上述巡检区域包括一个上述停歇点，保证了无人机在每个上述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个上述巡检区域内的巡检路径，保证了较为简单地得到上述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
在实际的应用过程中，上述巡检信息可以通过通信网络管理系统的接口、离线数据文件以及人工录入等方式获取。上述第一位置信息、上述第二位置信息以及上述第三位置信息均为三维坐标信息。
根据本申请的一种具体实施例，上述第一确定单元包括划分模块、获取模块以及排序模块，其中，上述划分模块用于对各上述第二位置信息以及各上述第三位置信息进行划分，得到如图2所示的多个上述巡检区域；上述获取模块用于获取上述第一位置初始起飞点100信息与各上述第二位置信息的第一距离；按照各上述第一距离从小到大的顺序将对应的各上述停歇点104进行排序，得到上述巡检顺序。这样进一步地保证了无人机可完成长时间长距离的巡检。
具体地，根据上述第一位置信息(xs，ys，zs)以及上述第三位置信息(xi，yi，zi)，计算上述第一距离d的具体步骤如下：
在实际的应用过程中，对各上述停歇点进行排列的方式并不限于按照上述第一距离从小到大排列，也可以按照各上述第一距离从大到小的顺序将对应的各上述停歇点进行排序，得到上述巡检顺序；或者按照其他顺序对各上述第一距离排序，本领域技术人员可灵活设置。
为了进一步地解决现有技术中无人机由于自身电量有限，难以适用于长时间长距离的巡检工作的问题，根据本申请的另一种具体实施例，上述第二确定单元包括第一确定模块、第一控制模块、第二控制模块、第二确定模块以及重复模块，其中，上述第一确定模块用于第一确定步骤，利用上述DQN模型确定上述无人机在预定巡检区域内的上述巡检路径，多个上述巡检区域包括上述预定巡检区域；上述第一控制模块用于第一控制步骤，控制上述无人机按照上述巡检路径对上述预定巡检区域进行巡检后到达预定停歇点，上述预定停歇点为上述预定巡检区域内的上述停歇点；上述第二控制模块用于第二控制步骤，至少控制上述无人机在上述预定停歇点进行充电；上述第二确定模块用于第二确定步骤，确定上述无人机是否完成对所有的上述巡检区域的巡检；上述重复模块用于重复步骤，在确定上述无人机未完成对所有的上述巡检区域的巡检的情况下，依次执行上述第一确定步骤、上述第一控制步骤、上述第二控制步骤以及上述第二确定步骤至少一次，直到确定上述无人机完成对所有的上述巡检区域的巡检为止。上述巡检区域中的上述停歇点作为无人机在该巡检区域的终点，进一步地保证了无人机在巡检完一个区域后可以进行充电续航，从而进一步地保证了后续的巡检工作正常进行，进一步地实现了无人机长时间作业，不会因为中途电量耗尽而停止作业；重复执行上述第一确定步骤、上述第一控制步骤、上述第二控制步骤以及上述第二确定步骤，直到上述无人机完成对所有的上述巡检区域的巡检，可以保证了无人机在进入下一个巡检区域前积累经验，进一步地根据动态环境规划出合适的巡检路径，从而进一步保证了无人机可完成长时间长距离的巡检。
根据本申请的又一种具体实施例，各上述停歇点与服务器通信连接，上述第二控制模块包括第一控制子模块以及第二控制子模块，其中，上述第一控制子模块用于控制上述无人机在上述预定停歇点进行充电；上述第二控制子模块用于控制上述无人机将采集的预定数据通过上述预定停歇点传输至上述服务器，其中，上述预定数据为上述预定巡检区域内的各上述目标点的上述图像信息。上述巡检数据在无人机充电同时传达至上述服务器，可保证上述巡检数据及时传达至上述服务器。
如图3所示，上述停歇点104为搭载基站以及无人机充电平台的第二杆塔，各上述第二杆塔通过输电线路106连接，且各上述第二杆塔通过基站与服务器通信连接，无人机105到达上述停歇点104后进行充电续航以及图像传输。上述基站可以为2G基站，3G基站，4G基站以及5G基站等。
具体地，传输之后无人机可将之前获取的图像信息进行删除，这样保证了不占用无人机的数据存储空间，进一步地保证了无人机可以适用于长时间长距离的巡检工作。
根据本申请的一种具体实施例，上述巡检信息还包括多个障碍点的第四位置信息，上述巡检区域中的各上述停歇点、各上述目标点以及各上述障碍点的位置信息为上述巡检区域的区域信息，上述第一确定模块包括建立子模块、第一确定子模块、第二确定子模块以及处理子模块，其中，上述建立子模块用于建立DQN模型；上述第一确定子模块用于确定目标位置信息，上述目标位置信息为上述预定巡检区域对应的上述无人机的起飞点的位置信息，在上述预定巡检区域是第一巡检区域的情况下，上述起飞点为上述初始起飞点，在上述预定巡检区域不是上述第一巡检区域的情况下，上述起飞点为第二巡检区域中的上述停歇点，上述第一巡检区域为在上述巡检顺序排第一的上述巡检区域，上述第二巡检区域为按照上述巡检顺序排在上述预定巡检区域前面的上述巡检区域；上述第二确定子模块用于确定上述无人机以最短的时间到达上述预定停歇点为第一目标值，上述无人机避开上述预定巡检区域中的各上述障碍点为第二目标值，上述无人机经过上述预定巡检区域中所有的上述目标点为第三目标值；上述处理子模块用于采用上述DQN模型对上述预定巡检区域的上述区域信息、上述目标位置信息、上述第一目标值、上述第二目标值以及上述第三目标值进行处理，得到上述预定巡检区域内的上述巡检路径。上述装置以最短的时间到达上述预定停歇点为第一目标值，以上述无人机避开上述预定巡检区域中的各上述障碍点为第二目标值，以上述无人机经过上述预定巡检区域中所有的上述目标点为第三目标值，保证了根据DQN模型得到的预定巡检区域的巡检路径可避开该区域内的障碍点，完成对区域内所有的目标点的图像信息的采集，并以最快的速度巡检完该区域。
图4为上述预定巡检区域的二维示意图，如图4所示，上述无人机从上述起飞点101出发，需避开上述预定巡检区域中的各上述障碍点103，且需要经过所有的上述目标点102以采集其图像信息，到达上述停歇点104进行充电以及将采集的预定数据传输至上述服务器，以巡检上述预定巡检区域的时间最小为目标，计算巡检路径。其中，上述障碍点包括无人机的禁飞点以及障碍物所在的位置点等。
根据本申请的另一种具体实施例，上述建立子模块还用于初始化经验池；上述建立子模块还用于初始化Q网络、上述Q网络的网络参数、目标Q网络以及上述目标Q网络的网络参数，其中上述Q网络以及上述目标Q网络均为神经网络；状态集包括上述无人机的当前位置的位置信息、各上述第二位置信息、各上述第三位置信息以及各上述第四位置信息，上述建立子模块还用于将上述状态集中上述当前位置的位置信息设置为上述起飞点的位置信息；上述建立子模块还用于在上述无人机未到达上述停歇点的情况下，采用∈-greedy策略确定上述无人机的动作策略，上述动作策略包括前进第一预定距离、后退第二预定距离、上升第三预定距离、下降第四预定距离、向左移动第五预定距离、向右移动第六预定距离或者悬停；上述建立子模块还用于控制上述无人机执行上述动作策略，得到上述无人机执行上述动作策略后到达的新位置的位置信息；上述建立子模块还用于根据上述状态集与上述新位置的位置关系，确定奖励策略，在上述新位置的位置信息与上述障碍点的位置信息重合的第一情景下，执行第一惩罚；在上述新位置的位置信息与上述停歇点的位置信息重合的第二情景下，则执行第一奖励，并停止训练；在上述新位置的位置信息与上述目标点的位置信息重合的第三情景下，执行第二奖励；在其他情景下，执行第二惩罚，上述其他情景为除上述第一情景、上述第二情景以及上述第三情景外的其他情景；上述建立子模块还用于将包括上述当前位置的位置信息、上述新位置的位置信息、上述动作策略以及上述奖励策略的样本存入上述经验池中；上述建立子模块还用于利用上述经验池中的上述样本计算上述Q网络的网络参数以及上述目标Q网络的网络参数，得到上述DQN模型。DQN模型是一种介于监督学习和非监督学习之间的特殊任务，DQN模型的上述奖励策略通过分情况执行上述第一惩罚、上述第一奖励以及上述第二奖励可明白上述动作策略的对错程度，通过从环境获得数据后不断训练从而获得对环境的精确反应，学会如何与环境互动，进一步地保证了上述无人机巡检能适应动态环境，进一步地保证了无人机可根据实际环境下较为灵活地确定各个巡检区域的巡检路径。
下面将结合DQN详细描述本申请的无人机巡检过程。
基于深度强化学习的无人机轨迹规划，针对每个巡检区域，利用深度Q网络(DQN)进行无人机3D航迹规划，目标以最短的时间避开障碍点通过目标点；到达沿途的目标点时完成图像采集操作，到达停歇点时完成数据回传、充电、训练下一巡检区域的巡检路径的DQN模型的操作，然后进入下一个巡检区域，直至完成全部巡检任务。
本发明中基于深度强化学习的无人机轨迹规划主要由下列三个子步骤构成：
1、针对当前巡检区域进行DQN模型建模，智能体、状态、动作、奖励等基本要素建模如下：
1.1、智能体(Agent)：无人机的控制器可以看作是一个智能体，在巡检开始时，无人机根据∈-greedy策略选择一个动作，之后环境发送下一个状态，并把奖励返回给智能体。智能体用环境所返回的奖励来更新其知识，对上一个动作进行评估。这个循环一直持续，直至巡检任务结束。
1.2、状态(State)：状态信息包括无人机的当前位置与巡检区域内目标点和障碍点的地理位置，即S＝{无人机当前地理坐标(x,y,z)，障碍点地理坐标，目标点坐标，停歇点坐标}。
1.3、动作(Action)：动作集合为无人机的可移动方向，即A＝{前进，后退，上升，下降，向左，向右，静止悬停}。
1.4、奖励(Reward)：根据巡检无人机执行相应动作后与环境的交互情况，设立相应的奖励策略R，一种具体的奖励策略如下：
2、针对当前巡检区域进行DQN模型训练，使巡检无人机以最短的时间避开障碍点、通过目标点并达到停歇点；
基于DQN的巡检无人机航迹规划模型的训练过程如下：
Step1首先初始化经验池D，它的容量为N；
Step2初始化Q网络及其神经网络参数ω；初始化目标Q网络及其神经网络参数ω-；
Step3循环遍历回合episode＝1，2，…，M：
Step3.1初始化状态集S，无人机的当前位置置于起点(0，0，0)；初始化终结标记变量done＝False；
Step3.2循环遍历step＝1，2，…，T：
如果done不为True，则进行以下操作：
Step3.2.1用∈-greedy策略采取动作策略A，A＝{前进1米，后退1米，向左1米，向右1米，静止悬停}；
Step3.2.2执行动作A，计算系统在状态S下采取动作A，得到新的状态S'；
Step3.2.3根据状态S'得出无人机坐标，如果其与障碍点重合，则罚100分；如果无人机从其他点到达目标点，则加10分，同时无人机进行拍照、数据储存的处理；如果无人机从其他点到达停歇点，则加100分，同时置终结标记done＝True，代表该回合结束，结束step遍历，跳到下一步；在其他情况下，无人机罚1分，表示无人机随时间的能量的消耗。
Step3.2.4将样本(S，A，R，S')存入经验池D中；
Step3.2.5利用经验回放池中的均匀随机采样的样本Minibatch计算目标Q值，yi＝R+γ·maxAQ(S'，A；ω-)，更新Q网络参数ω以减小误差函数[yi-Q(S，A；ω)]2；
Step3.2.6每相隔C steps更新基站规划目标Q网络的参数，即ω-＝ω。
Step3.3结束step循环；
Step4结束episode循环，收敛的结果为无人机巡检的最佳轨迹路线。
经过上述步骤的训练学习之后，形成基于DQN方法的无人机自动巡检航迹规划模型，巡检无人机在巡检过程中加载训练好的模型可以实现对航行线路的自动化规划。
上述无人机巡检的控制装置包括处理器和存储器，上述获取单元、上述第一确定单元以及上述第二确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中无人机难以适用于长时间长距离的巡检工作的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述无人机巡检的控制方法。
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述无人机巡检的控制方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S101，获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息，上述目标点为无人机采集图像信息的第一杆塔，上述停歇点为用于上述无人机进行充电的第二杆塔；
步骤S102，根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；
步骤S103，利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息，上述目标点为无人机采集图像信息的第一杆塔，上述停歇点为用于上述无人机进行充电的第二杆塔；
步骤S102，根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；
步骤S103，利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。
根据本申请的另一种典型的实施例，还提供了一种巡检系统，包括无人机以及上述无人机的控制装置，其中，上述无人机包括摄像头；上述无人机的控制装置用于执行上述无人机巡检的控制方法。
上述巡检系统，包括无人机以及上述无人机的控制装置，其中，上述无人机包括摄像头，上述无人机通过设置的上述摄像头采集图像信息；上述无人机的控制装置用于执行上述无人机巡检的控制方法。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的上述巡检系统，每一个上述巡检区域包括一个上述停歇点，保证了无人机在每个上述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个上述巡检区域内的巡检路径，保证了较为简单地得到上述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
为了使得本领域技术人员能够更加清楚地了解本申请的技术方案，以下将进行详细说明。
一种具体的实施例中，如图3以及图7所示，上述巡检系统的数据传输过程为：巡检无人机105搭载高倍摄像头完成对输电线路106以及沿途的所有目标点的所有关注细节的拍摄工作，在到达停歇点104时进行充电，并与停歇点104建立通信，将拍摄的高清照片通过停歇点104传输至5G边缘物理代理107，由5G边缘物理代理107实现对拍摄的图像数据的智能识别，然后5G边缘物理代理107将图像数据以及识别结果经5G核心网108上传至巡检平台109，并自动生成巡检报告，方便运维管理人员110访问巡检平台109查看巡检结果。同时，运维管理人员110可以通过无人机自动巡检平台109实现与无人机的交互，根据需要调整无人机的飞行路线，并将各巡检区域的巡检信息通过无人机自动巡检平台109发送给无人机。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请上述无人机巡检的控制方法中，首先，获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息；然后，根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；最后，利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的上述无人机巡检的控制方法，每一个上述巡检区域包括一个上述停歇点，保证了无人机在每个上述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个上述巡检区域内的巡检路径，保证了较为简单地得到上述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
2)、本申请上述无人机巡检的控制装置，通过上述获取单元获取巡检信息，上述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，上述第一位置信息为初始起飞点的位置信息，上述第二位置信息为停歇点的位置信息，上述第三位置信息为目标点的位置信息；通过上述第一确定单元根据上述巡检信息，确定多个巡检区域以及各上述巡检区域的巡检顺序，其中，一个上述巡检区域包括一个上述停歇点以及至少一个上述目标点，所有的上述巡检区域包括所有的上述目标点；通过上述第二确定单元利用DQN模型确定上述无人机在各上述巡检区域内的巡检路径，并控制上述无人机按照上述巡检路径以及上述巡检顺序巡检。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的上述无人机巡检的控制装置，每一个上述巡检区域包括一个上述停歇点，保证了无人机在每个上述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个上述巡检区域内的巡检路径，保证了较为简单地得到上述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
3)、本申请上述巡检系统，包括无人机以及上述无人机的控制装置，其中，上述无人机包括摄像头；上述无人机的控制装置用于执行上述无人机巡检的控制方法。相比现有技术中无人机由于资源有限，难以适用于长时间长距离的巡检工作的问题，本申请的上述巡检系统，每一个上述巡检区域包括一个上述停歇点，保证了无人机在每个上述巡检区域都可进行充电，保证了无人机可以适用长时间长距离的巡检工作，实现了一个无人机自动完成长时间、长距离的巡检任务，避免了人工操作无人机造成的人力开销，保证了人力成本较小，并且，利用DQN模型确定无人机在每个上述巡检区域内的巡检路径，保证了较为简单地得到上述巡检路径，缓解了传统算法在针对大范围区域、大规模巡检目标点的情况下计算复杂、难以应用的问题，保证了无人机的巡检能适应动态环境，较为灵活。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种无人机巡检的控制方法，其特征在于，包括：
获取巡检信息，所述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，所述第一位置信息为初始起飞点的位置信息，所述第二位置信息为停歇点的位置信息，所述第三位置信息为目标点的位置信息，所述目标点为无人机采集图像信息的第一杆塔，所述停歇点为用于所述无人机进行充电的第二杆塔；
根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，其中，一个所述巡检区域包括一个所述停歇点以及至少一个所述目标点，所有的所述巡检区域包括所有的所述目标点；
利用DQN模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检，
利用DQN模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检，包括：
第一确定步骤，利用所述DQN模型确定所述无人机在预定巡检区域内的所述巡检路径，多个所述巡检区域包括所述预定巡检区域；
第一控制步骤，控制所述无人机按照所述巡检路径对所述预定巡检区域进行巡检后到达预定停歇点，所述预定停歇点为所述预定巡检区域内的所述停歇点；
第二控制步骤，至少控制所述无人机在所述预定停歇点进行充电；
第二确定步骤，确定所述无人机是否完成对所有的所述巡检区域的巡检；
重复步骤，在确定所述无人机未完成对所有的所述巡检区域的巡检的情况下，依次执行所述第一确定步骤、所述第一控制步骤、所述第二控制步骤以及所述第二确定步骤至少一次，直到确定所述无人机完成对所有的所述巡检区域的巡检为止，
所述巡检信息还包括多个障碍点的第四位置信息，所述巡检区域中的各所述停歇点、各所述目标点以及各所述障碍点的位置信息为所述巡检区域的区域信息，所述第一确定步骤包括：
建立DQN模型；
确定目标位置信息，所述目标位置信息为所述预定巡检区域对应的所述无人机的起飞点的位置信息，在所述预定巡检区域是第一巡检区域的情况下，所述起飞点为所述初始起飞点，在所述预定巡检区域不是所述第一巡检区域的情况下，所述起飞点为第二巡检区域中的所述停歇点，所述第一巡检区域为在所述巡检顺序排第一的所述巡检区域，所述第二巡检区域为按照所述巡检顺序排在所述预定巡检区域前面的所述巡检区域；
确定所述无人机以最短的时间到达所述预定停歇点为第一目标值，所述无人机避开所述预定巡检区域中的各所述障碍点为第二目标值，所述无人机经过所述预定巡检区域中所有的所述目标点为第三目标值；
采用所述DQN模型对所述预定巡检区域的所述区域信息、所述目标位置信息、所述第一目标值、所述第二目标值以及所述第三目标值进行处理，得到所述预定巡检区域内的所述巡检路径，
建立DQN模型，包括：
初始化经验池；
初始化Q网络、所述Q网络的网络参数、目标Q网络以及所述目标Q网络的网络参数，其中所述Q网络以及所述目标Q网络均为神经网络；
状态集包括所述无人机的当前位置的位置信息、各所述第二位置信息、各所述第三位置信息以及各所述第四位置信息，将所述状态集中所述当前位置的位置信息设置为所述起飞点的位置信息；
在所述无人机未到达所述停歇点的情况下，采用策略确定所述无人机的动作策略，所述动作策略包括前进第一预定距离、后退第二预定距离、上升第三预定距离、下降第四预定距离、向左移动第五预定距离、向右移动第六预定距离或者悬停；
控制所述无人机执行所述动作策略，得到所述无人机执行所述动作策略后到达的新位置的位置信息；
根据所述状态集与所述新位置的位置关系，确定奖励策略，在所述新位置的位置信息与所述障碍点的位置信息重合的第一情景下，执行第一惩罚；在所述新位置的位置信息与所述停歇点的位置信息重合的第二情景下，则执行第一奖励，并停止训练；在所述新位置的位置信息与所述目标点的位置信息重合的第三情景下，执行第二奖励；在其他情景下，执行第二惩罚，所述其他情景为除所述第一情景、所述第二情景以及所述第三情景外的其他情景；
将包括所述当前位置的位置信息、所述新位置的位置信息、所述动作策略以及所述奖励策略的样本存入所述经验池中；
利用所述经验池中的所述样本计算所述Q网络的网络参数以及所述目标Q网络的网络参数，得到所述DQN模型。
2.根据权利要求1所述的方法，其特征在于，根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，包括：
对各所述第二位置信息以及各所述第三位置信息进行划分，得到多个所述巡检区域；
获取所述第一位置信息与各所述第二位置信息的第一距离；
按照各所述第一距离从小到大的顺序将对应的各所述停歇点进行排序，得到所述巡检顺序。
3.根据权利要求1所述的方法，其特征在于，各所述停歇点与服务器通信连接，所述第二控制步骤包括：
控制所述无人机在所述预定停歇点进行充电；
控制所述无人机将采集的预定数据通过所述预定停歇点传输至所述服务器，其中，所述预定数据为所述预定巡检区域内的各所述目标点的所述图像信息。
4.一种无人机巡检的控制装置，其特征在于，包括：
获取单元，用于获取巡检信息，所述巡检信息包括第一位置信息、多个第二位置信息以及多个第三位置信息，其中，所述第一位置信息为初始起飞点的位置信息，所述第二位置信息为停歇点的位置信息，所述第三位置信息为目标点的位置信息，所述目标点为无人机采集图像信息的第一杆塔，所述停歇点为用于所述无人机进行充电的第二杆塔；
第一确定单元，用于根据所述巡检信息，确定多个巡检区域以及各所述巡检区域的巡检顺序，其中，一个所述巡检区域包括一个所述停歇点以及至少一个所述目标点，所有的所述巡检区域包括所有的所述目标点；
第二确定单元，用于利用DQN模型确定所述无人机在各所述巡检区域内的巡检路径，并控制所述无人机按照所述巡检路径以及所述巡检顺序巡检，
所述第二确定单元包括：第一确定模块、第一控制模块、第二控制模块、第二确定模块以及重复模块，其中，所述第一确定模块用于第一确定步骤，利用所述DQN模型确定所述无人机在预定巡检区域内的所述巡检路径，多个所述巡检区域包括所述预定巡检区域；所述第一控制模块用于第一控制步骤，控制所述无人机按照所述巡检路径对所述预定巡检区域进行巡检后到达预定停歇点，所述预定停歇点为所述预定巡检区域内的所述停歇点；所述第二控制模块用于第二控制步骤，至少控制所述无人机在所述预定停歇点进行充电；所述第二确定模块用于第二确定步骤，确定所述无人机是否完成对所有的所述巡检区域的巡检；所述重复模块用于重复步骤，在确定所述无人机未完成对所有的所述巡检区域的巡检的情况下，依次执行所述第一确定步骤、所述第一控制步骤、所述第二控制步骤以及所述第二确定步骤至少一次，直到确定所述无人机完成对所有的所述巡检区域的巡检为止，
所述巡检信息还包括多个障碍点的第四位置信息，所述巡检区域中的各所述停歇点、各所述目标点以及各所述障碍点的位置信息为所述巡检区域的区域信息，所述第一确定模块包括建立子模块、第一确定子模块、第二确定子模块以及处理子模块，其中，所述建立子模块用于建立DQN模型；所述第一确定子模块用于确定目标位置信息，所述目标位置信息为所述预定巡检区域对应的所述无人机的起飞点的位置信息，在所述预定巡检区域是第一巡检区域的情况下，所述起飞点为所述初始起飞点，在所述预定巡检区域不是所述第一巡检区域的情况下，所述起飞点为第二巡检区域中的所述停歇点，所述第一巡检区域为在所述巡检顺序排第一的所述巡检区域，所述第二巡检区域为按照所述巡检顺序排在所述预定巡检区域前面的所述巡检区域；所述第二确定子模块用于确定所述无人机以最短的时间到达所述预定停歇点为第一目标值，所述无人机避开所述预定巡检区域中的各所述障碍点为第二目标值，所述无人机经过所述预定巡检区域中所有的所述目标点为第三目标值；所述处理子模块用于采用所述DQN模型对所述预定巡检区域的所述区域信息、所述目标位置信息、所述第一目标值、所述第二目标值以及所述第三目标值进行处理，得到所述预定巡检区域内的所述巡检路径，
所述建立子模块还用于初始化经验池；所述建立子模块还用于初始化Q网络、所述Q网络的网络参数、目标Q网络以及所述目标Q网络的网络参数，其中所述Q网络以及所述目标Q网络均为神经网络；状态集包括所述无人机的当前位置的位置信息、各所述第二位置信息、各所述第三位置信息以及各所述第四位置信息，所述建立子模块还用于将所述状态集中所述当前位置的位置信息设置为所述起飞点的位置信息；所述建立子模块还用于在所述无人机未到达所述停歇点的情况下，采用策略确定所述无人机的动作策略，所述动作策略包括前进第一预定距离、后退第二预定距离、上升第三预定距离、下降第四预定距离、向左移动第五预定距离、向右移动第六预定距离或者悬停；所述建立子模块还用于控制所述无人机执行所述动作策略，得到所述无人机执行所述动作策略后到达的新位置的位置信息；所述建立子模块还用于根据所述状态集与所述新位置的位置关系，确定奖励策略，在所述新位置的位置信息与所述障碍点的位置信息重合的第一情景下，执行第一惩罚；在所述新位置的位置信息与所述停歇点的位置信息重合的第二情景下，则执行第一奖励，并停止训练；在所述新位置的位置信息与所述目标点的位置信息重合的第三情景下，执行第二奖励；在其他情景下，执行第二惩罚，所述其他情景为除所述第一情景、所述第二情景以及所述第三情景外的其他情景；所述建立子模块还用于将包括所述当前位置的位置信息、所述新位置的位置信息、所述动作策略以及所述奖励策略的样本存入所述经验池中；所述建立子模块还用于利用所述经验池中的所述样本计算所述Q网络的网络参数以及所述目标Q网络的网络参数，得到所述DQN模型。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至3中任意一项所述的方法。
6.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至3中任意一项所述的方法。
7.一种巡检系统，其特征在于，包括：
无人机，包括摄像头；
所述无人机的控制装置，所述控制装置用于执行权利要求1至3中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111426148.8A CN114237281B (zh) | 2021-11-26 | 2021-11-26 | 无人机巡检的控制方法、控制装置以及巡检系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111426148.8A CN114237281B (zh) | 2021-11-26 | 2021-11-26 | 无人机巡检的控制方法、控制装置以及巡检系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114237281A CN114237281A (zh) | 2022-03-25 |
| CN114237281B true CN114237281B (zh) | 2023-11-21 |
Family
ID=80751589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111426148.8A Active CN114237281B (zh) | 2021-11-26 | 2021-11-26 | 无人机巡检的控制方法、控制装置以及巡检系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114237281B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117950355B (zh) * | 2024-03-27 | 2024-06-11 | 西安爱生无人机技术有限公司 | 一种侦察型无人机监督控制系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108375379A (zh) * | 2018-02-01 | 2018-08-07 | 上海理工大学 | 基于变异的双重dqn的快速路径规划方法及移动机器人 |
| CN111752304A (zh) * | 2020-06-23 | 2020-10-09 | 深圳清华大学研究院 | 无人机数据采集方法及相关设备 |
| CN111930138A (zh) * | 2020-07-06 | 2020-11-13 | 浙江浙能技术研究院有限公司 | 一种用于光伏电站巡检的无人机路径与充电桩布点优化规划方法 |
| CN112034887A (zh) * | 2020-09-10 | 2020-12-04 | 南京大学 | 无人机躲避柱状障碍物到达目标点的最优路径训练方法 |
| CN112327920A (zh) * | 2020-11-16 | 2021-02-05 | 国网新疆电力有限公司检修公司 | 一种无人机自主避障巡检路径规划方法及装置 |
| CN112902969A (zh) * | 2021-02-03 | 2021-06-04 | 重庆大学 | 一种无人机在数据收集过程中的路径规划方法 |
| US11037320B1 (en) * | 2016-03-01 | 2021-06-15 | AI Incorporated | Method for estimating distance using point measurement and color depth |
| CN113075938A (zh) * | 2021-03-26 | 2021-07-06 | 广东电网有限责任公司珠海供电局 | 一种输电线路远距离智能巡检系统及方法 |
| CN113433967A (zh) * | 2021-06-07 | 2021-09-24 | 北京邮电大学 | 一种可充电无人机路径规划方法及系统 |
-
2021
- 2021-11-26 CN CN202111426148.8A patent/CN114237281B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11037320B1 (en) * | 2016-03-01 | 2021-06-15 | AI Incorporated | Method for estimating distance using point measurement and color depth |
| CN108375379A (zh) * | 2018-02-01 | 2018-08-07 | 上海理工大学 | 基于变异的双重dqn的快速路径规划方法及移动机器人 |
| CN111752304A (zh) * | 2020-06-23 | 2020-10-09 | 深圳清华大学研究院 | 无人机数据采集方法及相关设备 |
| CN111930138A (zh) * | 2020-07-06 | 2020-11-13 | 浙江浙能技术研究院有限公司 | 一种用于光伏电站巡检的无人机路径与充电桩布点优化规划方法 |
| CN112034887A (zh) * | 2020-09-10 | 2020-12-04 | 南京大学 | 无人机躲避柱状障碍物到达目标点的最优路径训练方法 |
| CN112327920A (zh) * | 2020-11-16 | 2021-02-05 | 国网新疆电力有限公司检修公司 | 一种无人机自主避障巡检路径规划方法及装置 |
| CN112902969A (zh) * | 2021-02-03 | 2021-06-04 | 重庆大学 | 一种无人机在数据收集过程中的路径规划方法 |
| CN113075938A (zh) * | 2021-03-26 | 2021-07-06 | 广东电网有限责任公司珠海供电局 | 一种输电线路远距离智能巡检系统及方法 |
| CN113433967A (zh) * | 2021-06-07 | 2021-09-24 | 北京邮电大学 | 一种可充电无人机路径规划方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Anti-Intelligent UAV Jamming Strategy via Deep Q-Networks;Ning Gao 等;IEEE Transactions on Communications;第68卷(第1期);569-581 * |
| Research on path planning of mobile robot based on improved Deep Q Network;Meng Guan 等;《Journal of Physics: Conference Series》;1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114237281A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021088311A1 (zh) | 基于多无人机协同作业的桥梁自动检测方法及系统 | |
| CN109002055B (zh) | 一种基于无人机的高精度自动巡检方法及系统 | |
| CN110532846B (zh) | 自动换道方法、装置及存储介质 | |
| CN106909167A (zh) | 一种多机多站联合立体任务系统及方法 | |
| CN112955845A (zh) | 杆塔巡检方法、无人机、控制装置、系统及存储介质 | |
| CN109643131A (zh) | 无人机、其控制方法以及记录介质 | |
| CN114237281B (zh) | 无人机巡检的控制方法、控制装置以及巡检系统 | |
| CN113485421A (zh) | 一种无人机飞行巡检方法、系统、设备及介质 | |
| CN115562357B (zh) | 一种面向无人机集群的智能路径规划方法 | |
| CN115079701A (zh) | 一种无人车与无人机协同的路径规划方法 | |
| CN116403174A (zh) | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 | |
| CN113568427A (zh) | 无人机自主着陆移动平台的方法及系统 | |
| CN113985912B (zh) | 车辆与无人机协同巡检的路径规划方法及系统 | |
| CN116679711A (zh) | 一种基于有模型与无模型强化学习的机器人避障方法 | |
| Rohde et al. | Avigle: A system of systems concept for an avionic digital service platform based on micro unmanned aerial vehicles | |
| CN113253757B (zh) | 一种无人机巡检方法及系统 | |
| CN113791640A (zh) | 一种图像获取方法、装置、飞行器和存储介质 | |
| Roldán et al. | A proposal of multi-UAV mission coordination and control architecture | |
| CN111816022A (zh) | 一种模拟场景的仿真方法、装置、存储介质以及电子设备 | |
| Vemula et al. | A heterogeneous autonomous collaborative system for powerline inspection using human-robotic teaming | |
| CN114995519B (zh) | 一种基于多障碍场景的无人机ai降落方法及系统 | |
| Melnychenko et al. | A self-organized automated system to control unmanned aerial vehicles for object detection | |
| CN114911271A (zh) | 一种基于云化无人机的广域分布式协同作业系统及方法 | |
| CN111126365B (zh) | 一种数据采集方法及装置 | |
| Ebeid et al. | Autonomous Drones to Ensure Safety in Transport: Concept and Implementations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |