CN114326805A - 无人机架空线路巡检协同控制方法、系统和存储介质 - Google Patents
无人机架空线路巡检协同控制方法、系统和存储介质 Download PDFInfo
- Publication number
- CN114326805A CN114326805A CN202111630746.7A CN202111630746A CN114326805A CN 114326805 A CN114326805 A CN 114326805A CN 202111630746 A CN202111630746 A CN 202111630746A CN 114326805 A CN114326805 A CN 114326805A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- trajectory
- self
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012163 sequencing technique Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 32
- 238000003062 neural network model Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 description 28
- 238000012937 correction Methods 0.000 description 20
- 230000007547 defect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000270666 Testudines Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开的一种无人机架空线路巡检协同控制方法、系统和存储介质，其中方法包括：获取所述无人机的工作状态反馈信息，进行自检作业得到自检结果，并提取所述无人机运动轨迹；基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；提取各所述无人机的电量状态以及机身损耗值，以得到各巡检状态下的所述无人机的回库时间，并进行排序以完成各所述无人机的协同控制。本发明基于无人机对架空线路的巡检基础上，对处于工作状态下的无人机进行自检作业，以得到飞行数据信息，以此进行数据迭代更新，可提高巡检飞行效率与检查效率，同时还可对无人机进行统一协同控制，使其更合理、有序。
Description
技术领域
本发明涉及无人机巡检技术领域，更具体的，涉及一种无人机架空线路巡检协同控制方法、系统和存储介质。
背景技术
如今，城市与乡村，都在因无人机的出现而发生改变，如若生活在农村地区，你会惊叹于无人机在提升偏远地区的运输能力以及提高农业生产效率上的杰出表现；如果作为城市中的一员，你也会惊喜的看到无人机在解决龟速物流以及城市规划建设管理中非同凡响的作用，在这个技术吞噬世界的时代，无人机正在像空气无孔不入地渗入到人们的日常生活中，在人潮拥挤的大城市，以及另一端的乡村。
连接城市的各个片区以及城市与乡村，不仅仅通过道路网络，还通过电力网络进行连接，庞大的架空线路过往都是通过人力进行一一排查，危险系数高而且排查不便捷，随着无人机的不断应用，使用无人机对架空线路进行巡检成为热门话题，但是与此同时带来的是对于无人机的电量消耗以及增加单机续航的研究，需要进一步的深入。
发明内容
鉴于上述问题，本发明的目的是提供一种无人机架空线路巡检协同控制方法、系统和可读存储介质，可对无人机进行自检作业，提高巡检飞行效率与检查效率，同时还可对无人机进行统一协同控制，使其更合理、有序。
本发明第一方面提供了一种无人机架空线路巡检协同控制方法，包括以下步骤：
获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹；
基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；
基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制。
本方案中，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹，具体为：
基于预设周期获取所述无人机的工作状态信息，并整理得到所述工作状态反馈信息；
基于所述反馈信息调用预设的自检算法对其进行所述自检作业；
获取所述自检作业的检查结果作为所述自检结果，并基于预设的类型识别因子从所述自检结果中提取出所述无人机运动轨迹。
本方案中，所述基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库，具体为：
在获取到所述无人机运动轨迹后，调用预设角度偏移算法对其进行计算以得到所述无人机的轨迹偏移度；
将所述无人机的轨迹偏移度以属性形式定义到所述轨迹设定参数中，进而更新所述无人机的飞行数据库。
本方案中，所述基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制，具体为：
取所述电量状态以及所述机身损耗值作为判别因子；
调用所述判别算法基于所述判别因子计算得到处于巡检状态下的各所述无人机的回库时间值；
基于各所述无人机的回库时间值进行降序排序，以按照所述降序排列协同控制所述无人机回库充电。
本方案中，还包括利用轨迹神经网络模型对所述无人机的飞行轨迹进行训练以得到对应的所述无人机更优的巡检飞行路径。
本方案中，所述轨迹神经网络模型训练方法为：
获取历史飞行数据的飞行轨迹与飞行路径设定参数；
将所述历史飞行数据的飞行轨迹与飞行路径设定参数进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述轨迹神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述轨迹神经网络模型。
本发明第二方面还提供一种无人机架空线路巡检协同控制试系统，包括存储器和处理器，所述存储器中包括无人机架空线路巡检协同控制方法程序，所述无人机架空线路巡检协同控制方法程序被所述处理器执行时实现如下步骤：
获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹；
基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；
基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制。
本方案中，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹，具体为：
基于预设周期获取所述无人机的工作状态信息，并整理得到所述工作状态反馈信息；
基于所述反馈信息调用预设的自检算法对其进行所述自检作业；
获取所述自检作业的检查结果作为所述自检结果，并基于预设的类型识别因子从所述自检结果中提取出所述无人机运动轨迹。
本方案中，所述基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库，具体为：
在获取到所述无人机运动轨迹后，调用预设角度偏移算法对其进行计算以得到所述无人机的轨迹偏移度；
将所述无人机的轨迹偏移度以属性形式定义到所述轨迹设定参数中，进而更新所述无人机的飞行数据库。
本方案中，所述基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制，具体为：
取所述电量状态以及所述机身损耗值作为判别因子；
调用所述判别算法基于所述判别因子计算得到处于巡检状态下的各所述无人机的回库时间值；
基于各所述无人机的回库时间值进行降序排序，以按照所述降序排列协同控制所述无人机回库充电。
本方案中，还包括利用轨迹神经网络模型对所述无人机的飞行路径进行训练以得到对应的所述无人机更优的巡检飞行路径。
本方案中，所述轨迹神经网络模型训练方法为：
获取历史飞行数据的飞行路径与飞行轨迹设定参数；
将所述历史飞行数据的飞行路径与飞行轨迹设定参数进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述轨迹神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述轨迹神经网络模型。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种无人机架空线路巡检协同控制方法程序，所述无人机架空线路巡检协同控制方法程序被处理器执行时，实现如上述任一项所述的一种无人机架空线路巡检协同控制方法的步骤。
本发明公开的一种无人机架空线路巡检协同控制方法、系统和可读存储介质，基于无人机对架空线路的巡检基础上，对处于工作状态下的无人机进行自检作业，以得到飞行数据信息，以此进行数据迭代更新，可提高巡检飞行效率与检查效率，同时还可对无人机进行统一协同控制，使其更合理、有序。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种无人机架空线路巡检协同控制方法的流程图；
图2为本发明实施例提供的一种无人机架空线路巡检协同控制试系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本申请一种无人机架空线路巡检协同控制方法的流程图。
如图1所示，本申请公开了一种无人机架空线路巡检协同控制方法，包括以下步骤：
S101，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹；
S102，基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；
S103，基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制。
需要说明的是，首先获取处于线上工作状态下的所述无人机的工作状态反馈信息，并进行自检作业，得到对应的所述无人机的自检结果，并从中提取所述运动轨迹，基于所述运动轨迹计算所述轨迹偏移度，可以更新所述无人机的飞行数据，以更好地进行数据迭代，以便后续飞行可以更加合理，通过提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序可完成各所述无人机的协同控制，实现合理有序地调配无人机飞行，使得资源利用更优化。
根据本发明实施例，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹，具体为：
基于预设周期获取所述无人机的工作状态信息，并整理得到所述工作状态反馈信息；
基于所述反馈信息调用预设的自检算法对其进行所述自检作业；
获取所述自检作业的检查结果作为所述自检结果，并基于预设的类型识别因子从所述自检结果中提取出所述无人机运动轨迹。
需要说明的是，由于采集处理需要时间，可以设置所述周期对所述无人机的工作状态信息进行获取，以得到所述工作状态反馈信息，其中，所述周期可以设置为“5min”或者“3min”，在得到所述反馈信息后，可以调用预设的所述自检算法对其进行自检，以分析处理得到所述自检结果，并根据不同的类型识别因子识别不同的数据。
值得一提的是，所述自检算法的公式如下：
Result＝(R1,R2,...,Rn)*λ/Rt；
其中，λ为特征值，Rn为响应参数值,Rt为预设响应阈值，通过设置不同的所述响应参数值，以获取不同的响应结果，进而得到所述自检结果，进而根据不同的所述相应参数值中的所述类型识别因子得到不同的所述数据，例如有所述运动轨迹数据、飞行摆动数据、飞行仰角数据等等。
根据本发明实施例，所述基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库，具体为：
在获取到所述无人机运动轨迹后，调用预设角度偏移算法对其进行计算以得到所述无人机的轨迹偏移度；
将所述无人机的轨迹偏移度以属性形式定义到所述轨迹设定参数中，进而更新所述无人机的飞行数据库。
需要说明的是，在获取到所述无人机运动轨迹后，可以根据实际的运动轨迹与预设的计划轨迹进行比较，调用所述角度偏移算法得到所述轨迹偏移度，进而更新所述飞行数据库，以便后续飞行可以及时调整，增加飞机续航以及优化飞行轨迹。
值得一提的是，所述角度偏移算法的公式如下：
Δ＝D/θ；
其中，D为距离公式，θ为角度计算公式，Δ为本实施例定义的所述角度偏移，即所述夹角与距离之比，其中，最佳的所述偏移度为0.025m/°。
根据本发明实施例，所述基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制，具体为：
取所述电量状态以及所述机身损耗值作为判别因子；
调用所述判别算法基于所述判别因子计算得到处于巡检状态下的各所述无人机的回库时间值；
基于各所述无人机的回库时间值进行降序排序，以按照所述降序排列协同控制所述无人机回库充电。
需要说明的是，本实施例中可以对无人机的用电值以及损耗值进行识别判定，以进行协同控制，合理调配所述无人机，其中，所述判别算法的理论为：所述电量状态低于“30％”和/或所述机身损耗值高于“5％”时，则将所述回库时间设为“立即回库”，否则为“继续飞行”，所述方法还包括对所述回库时间值进行降序排列，其中，基于如下公式进行排列，Rn＝αEn+βDn，其中，所述α、β为既定的比例参数，En为所述电量状态，Dn为所述机身损耗值。
值得一提的是，例如有“n＝3”架所述无人机需要回库，取α、β同为“2”,分别得到R1＝0.74,R2＝0.7,R3＝0.78，则排序为(R3、R1、R2)，因此，率先回库的所述无人机为R2，其次为R1，最后为R3。
根据本发明实施例，还包括利用轨迹神经网络模型对所述无人机的飞行轨迹进行训练以得到对应的所述无人机更优的巡检飞行路径。
需要说明的是，每次所述飞行数据库更新好后，可以根据更新的飞行路径与参数对所述无人机的飞行轨迹进行模拟训练。
根据本发明实施例，所述轨迹神经网络模型训练方法为：
获取历史飞行数据的飞行轨迹与飞行路径设定参数；
将所述历史飞行数据的飞行轨迹与飞行路径设定参数进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述轨迹神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述轨迹神经网络模型。
需要说明的是，轨迹神经网络模型需要大量的历史数据进行训练，数据量越大，则结果越准确，本申请中的轨迹神经网络模型可以通过历史飞行数据的飞行轨迹与飞行路径设定参数作为输入进行训练，当然，在进行神经网络模型训练时，不仅要通过历史飞行数据的飞行轨迹与飞行路径设定参数进行训练，还需要结合确定的飞行要求、环境以及实际飞行轨迹进行训练，通过大量试验数据与真实数据比对，得到的结果也会更加准确，进而使得轨迹神经网络的输出结果更加准确。优选地，所述准确率阈值一般设置为85％。
根据本发明实施例，所述方法还包括：
指派新的所述无人机替代召回的所述无人机，具体为：
识别回库所述无人机的数量级；
基于所述数量级指派对应数量的新的所述无人机起飞；
设定飞行路径，控制新的所述无人机到达目标区域作业。
需要说明的是，为了更好的协同控制所述无人机，可以在召回旧的所述无人机的同时，指派新的所述无人机到达对应的作业位置进行作业，值得一提的是，在旧的所述无人机召回机库的同时，新的所述无人机到达所述作业位置开始工作，使得新旧所述无人机作业区域无缝连接。
根据本发明实施例，所述方法还包括：
根据待召回无人机的电量状态以及机身损耗值作为判别因子；
获取所述无人机的任务剩余飞行路径和飞行轨迹偏移度；
根据所述飞行轨迹偏移度对所述任务剩余飞行路径进行飞行路径修正，得到所述无人机的修正因子；
基于所述修正因子对判别因子进行加权计算得到所述无人机的回库时间修正值。
需要说明的是，对无人机任务剩余飞行路径结合飞行轨迹偏移度进行飞行路径修正并得到无人机的修正因子，根据修正因子对无人机剩余电量和机身损耗值得到的判别因子进行加权获得无人机回库时间修正值，其中，根据修正因子和判别因子基于如下公式进行修正回库时间计算，TS＝(aC+bD)T，其中，所述a、b为既定的比例系数，C为所述修正因子,D为为所述判别因子，T为计算原时间，TS为修正时间。
根据本发明实施例，所述方法还包括：
设定指派无人机的动态飞行阈值；
所述动态飞行阈值是所述无人机实时飞行剩余安全量的裕度系数；
实时获取所述无人机的动态电量状态、机身损耗值以及剩余任务飞行量；
根据实时获取的所述无人机电量状态、机身损耗值以及剩余任务飞行量根据预设的自检算法与动态飞行阈值进行计算比对获得实时安全响应结果；
根据计算获得的实时安全响应结果与所述无人机安全飞行预设值进行比对；
若实时实时安全响应结果大于所述安全飞行预设值，则所述无人机可继续执行指派任务；
若实时实时安全响应结果小于所述安全飞行预设值，则所述无人机任务终止，对所述无人机进行召回。
需要说明的是，为实时监控无人机飞行安全状态，根据无人机性能设置动态飞行阈值，该动态飞行阈值是无人机生产出厂固有属性参数，反映该无人机实时飞行剩余安全裕度，是衡量无人机动态安全的监控参数，而根据无人机实时获取的电量状态、机身损耗值以及剩余任务飞行量与动态飞行阈值根据预设的自检算法进行计算比对获得实时安全响应结果，再根据获得的实时安全响应结果与无人机安全飞行预设值进行比对，若大于预设值则无人机安全，可继续执行任务，反之则需召回无人机；
其中，所述自检算法的计算公式如下：
result＝γR1+δR2+εR3/Pd；
其中，γ、δ、ε为特征系数，R1为电量值，R2为机身损耗值，R3为剩余任务飞行量值,Pd为动态飞行阈值，result为安全响应结果。
根据本发明实施例，还包括：
根据无人机的常见损耗缺陷故障建立无人机损耗风险数据库；
所述无人机损耗风险数据库包括各类型无人机在不同工作环境下产生机身损耗的损耗风险数据，并对各类型无人机造成损耗的损耗诱因种类进行频次统计，获取高频次诱发各类型无人机损耗缺陷的诱因种类对应的历史损耗风险数据；
根据所述历史损耗风险数据的频次建立风险响应等级；
所述无人机损耗风险数据库根据所述各类无人机的历史损耗风险数据统计各类型无人机的高频次损耗缺陷产生的诱因种类对应工作环境特征，建立所述损耗缺陷的诱因种类对应诱因环境特征值；
无人机根据巡检的环境特征在所述无人机损耗风险数据库进行相似度对比，获取与所述类型无人机相似度符合预设值要求的无人机环境特征值相对应的历史损耗风险数据；
根据获得的所述历史损耗风险数据对应风险响应等级对所述无人机进行任务指令修正。
需要说明的是，为预防无人机在恶劣工作环境下造成损害缺陷，针对不同类型无人机在不同工作环境条件下的损耗缺陷历史数据建立无人机损耗风险数据库，根据数据库中该类型无人机对应工作环境特征下的历史损耗风险数据可对无人机将要执行任务的工作环境风险进行有效预判，并根据获得的历史损耗风险数据设置的对应风险等级修正任务指令，通过环境预判降低无人机损耗。
图2示出了本发明一种无人机架空线路巡检协同控制试系统的框图。
如图2所示，本发明公开了一种无人机架空线路巡检协同控制试系统，包括存储器和处理器，所述存储器中包括无人机架空线路巡检协同控制方法程序，所述无人机架空线路巡检协同控制方法程序被所述处理器执行时实现如下步骤：
获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹；
基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；
基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制。
需要说明的是，首先获取处于线上工作状态下的所述无人机的工作状态反馈信息，并进行自检作业，得到对应的所述无人机的自检结果，并从中提取所述运动轨迹，基于所述运动轨迹计算所述轨迹偏移度，可以更新所述无人机的飞行数据，以更好地进行数据迭代，以便后续飞行可以更加合理，通过提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序可完成各所述无人机的协同控制，实现合理有序地调配无人机飞行，使得资源利用更优化。
根据本发明实施例，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹，具体为：
基于预设周期获取所述无人机的工作状态信息，并整理得到所述工作状态反馈信息；
基于所述反馈信息调用预设的自检算法对其进行所述自检作业；
获取所述自检作业的检查结果作为所述自检结果，并基于预设的类型识别因子从所述自检结果中提取出所述无人机运动轨迹。
需要说明的是，由于采集处理需要时间，可以设置所述周期对所述无人机的工作状态信息进行获取，以得到所述工作状态反馈信息，其中，所述周期可以设置为“5min”或者“3min”，在得到所述反馈信息后，可以调用预设的所述自检算法对其进行自检，以分析处理得到所述自检结果，并根据不同的类型识别因子识别不同的数据。
值得一提的是，所述自检算法的公式如下：
Result＝(R1,R2,...,Rn)*λ/Rt；
其中，λ为特征值，Rn为响应参数值,Rt为预设响应阈值，通过设置不同的所述响应参数值，以获取不同的响应结果，进而得到所述自检结果，进而根据不同的所述相应参数值中的所述类型识别因子得到不同的所述数据，例如有所述运动轨迹数据、飞行摆动数据、飞行仰角数据等等。
根据本发明实施例，所述基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库，具体为：
在获取到所述无人机运动轨迹后，调用预设角度偏移算法对其进行计算以得到所述无人机的轨迹偏移度；
将所述无人机的轨迹偏移度以属性形式定义到所述轨迹设定参数中，进而更新所述无人机的飞行数据库。
需要说明的是，在获取到所述无人机运动轨迹后，可以根据实际的运动轨迹与预设的计划轨迹进行比较，调用所述角度偏移算法得到所述轨迹偏移度，进而更新所述飞行数据库，以便后续飞行可以及时调整，增加飞机续航以及优化飞行轨迹。
值得一提的是，所述角度偏移算法的公式如下：
Δ＝D/θ；
其中，D为距离公式，θ为角度计算公式，Δ为本实施例定义的所述角度偏移，即所述夹角与距离之比，其中，最佳的所述偏移度为0.025m/°。
根据本发明实施例，所述基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制，具体为：
取所述电量状态以及所述机身损耗值作为判别因子；
调用所述判别算法基于所述判别因子计算得到处于巡检状态下的各所述无人机的回库时间值；
基于各所述无人机的回库时间值进行降序排序，以按照所述降序排列协同控制所述无人机回库充电。
需要说明的是，本实施例中可以对无人机的用电值以及损耗值进行识别判定，以进行协同控制，合理调配所述无人机，其中，所述判别算法的理论为：所述电量状态低于“30％”和/或所述机身损耗值高于“5％”时，则将所述回库时间设为“立即回库”，否则为“继续飞行”，所述方法还包括对所述回库时间值进行降序排列，其中，基于如下公式进行排列，Rn＝αEn+βDn，其中，所述α、β为既定的比例参数，En为所述电量状态，Dn为所述机身损耗值。
值得一提的是，例如有“n＝3”架所述无人机需要回库，取α、β同为“2”,分别得到R1＝0.74,R2＝0.7,R3＝0.78，则排序为(R3、R1、R2)，因此，率先回库的所述无人机为R2，其次为R1，最后为R3。
根据本发明实施例，还包括利用轨迹神经网络模型对所述无人机的飞行路径进行训练以得到对应的所述无人机更优的巡检飞行路径。
需要说明的是，每次所述飞行数据库更新好后，可以根据更新的飞行路径与参数对所述无人机的飞行轨迹进行模拟训练。
根据本发明实施例，所述轨迹神经网络模型训练方法为：
获取历史飞行数据的飞行路径与飞行轨迹设定参数；
将所述历史飞行数据的飞行路径与飞行轨迹设定参数进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述轨迹神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述轨迹神经网络模型。
需要说明的是，轨迹神经网络模型需要大量的历史数据进行训练，数据量越大，则结果越准确，本申请中的轨迹神经网络模型可以通过历史飞行数据的飞行路径与飞行轨迹设定参数作为输入进行训练，当然，在进行神经网络模型训练时，不仅要通过历史飞行数据的飞行路径与飞行轨迹设定参数进行训练，还需要结合确定的飞行要求、环境以及实际飞行轨迹进行训练，通过大量试验数据与真实数据比对，得到的结果也会更加准确，进而使得轨迹神经网络的输出结果更加准确。优选地，所述准确率阈值一般设置为85％。
根据本发明实施例，所述方法还包括：
指派新的所述无人机替代召回的所述无人机，具体为：
识别回库所述无人机的数量级；
基于所述数量级指派对应数量的新的所述无人机起飞；
设定飞行路径，控制新的所述无人机到达目标区域作业。
需要说明的是，为了更好的协同控制所述无人机，可以在召回旧的所述无人机的同时，指派新的所述无人机到达对应的作业位置进行作业，值得一提的是，在旧的所述无人机召回机库的同时，新的所述无人机到达所述作业位置开始工作，使得新旧所述无人机作业区域无缝连接。
根据本发明实施例，所述方法还包括：
根据待召回无人机的电量状态以及机身损耗值作为判别因子；
获取所述无人机的任务剩余飞行路径和飞行轨迹偏移度；
根据所述飞行轨迹偏移度对所述任务剩余飞行路径进行飞行路径修正，得到所述无人机的修正因子；
基于所述修正因子对判别因子进行加权计算得到所述无人机的回库时间修正值。
需要说明的是，对无人机任务剩余飞行路径结合飞行轨迹偏移度进行飞行路径修正并得到无人机的修正因子，根据修正因子对无人机剩余电量和机身损耗值得到的判别因子进行加权获得无人机回库时间修正值，其中，根据修正因子和判别因子基于如下公式进行修正回库时间计算，TS＝(aC+bD)T，其中，所述a、b为既定的比例系数，C为所述修正因子,D为为所述判别因子，T为计算原时间，TS为修正时间。
根据本发明实施例，所述方法还包括：
设定指派无人机的动态飞行阈值；
所述动态飞行阈值是所述无人机实时飞行剩余安全量的裕度系数；
实时获取所述无人机的动态电量状态、机身损耗值以及剩余任务飞行量；
根据实时获取的所述无人机电量状态、机身损耗值以及剩余任务飞行量根据预设的自检算法与动态飞行阈值进行计算比对获得实时安全响应结果；
根据计算获得的实时安全响应结果与所述无人机安全飞行预设值进行比对；
若实时实时安全响应结果大于所述安全飞行预设值，则所述无人机可继续执行指派任务；
若实时实时安全响应结果小于所述安全飞行预设值，则所述无人机任务终止，对所述无人机进行召回。
需要说明的是，为实时监控无人机飞行安全状态，根据无人机性能设置动态飞行阈值，该动态飞行阈值是无人机生产出厂固有属性参数，反映该无人机实时飞行剩余安全裕度，是衡量无人机动态安全的监控参数，而根据无人机实时获取的电量状态、机身损耗值以及剩余任务飞行量与动态飞行阈值根据预设的自检算法进行计算比对获得实时安全响应结果，再根据获得的实时安全响应结果与无人机安全飞行预设值进行比对，若大于预设值则无人机安全，可继续执行任务，反之则需召回无人机；
其中，所述自检算法的计算公式如下：
result＝γR1+δR2+εR3/Pd；
其中，γ、δ、ε为特征系数，R1为电量值，R2为机身损耗值，R3为剩余任务飞行量值,Pd为动态飞行阈值，result为安全响应结果。
根据本发明实施例，还包括：
根据无人机的常见损耗缺陷故障建立无人机损耗风险数据库；
所述无人机损耗风险数据库包括各类型无人机在不同工作环境下产生机身损耗的损耗风险数据，并对各类型无人机造成损耗的损耗诱因种类进行频次统计，获取高频次诱发各类型无人机损耗缺陷的诱因种类对应的历史损耗风险数据；
根据所述历史损耗风险数据的频次建立风险响应等级；
所述无人机损耗风险数据库根据所述各类无人机的历史损耗风险数据统计各类型无人机的高频次损耗缺陷产生的诱因种类对应工作环境特征，建立所述损耗缺陷的诱因种类对应诱因环境特征值；
无人机根据巡检的环境特征在所述无人机损耗风险数据库进行相似度对比，获取与所述类型无人机相似度符合预设值要求的无人机环境特征值相对应的历史损耗风险数据；
根据获得的所述历史损耗风险数据对应风险响应等级对所述无人机进行任务指令修正。
需要说明的是，为预防无人机在恶劣工作环境下造成损害缺陷，针对不同类型无人机在不同工作环境条件下的损耗缺陷历史数据建立无人机损耗风险数据库，根据数据库中该类型无人机对应工作环境特征下的历史损耗风险数据可对无人机将要执行任务的工作环境风险进行有效预判，并根据获得的历史损耗风险数据设置的对应风险等级修正任务指令，通过环境预判降低无人机损耗。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种无人机架空线路巡检协同控制方法程序，所述无人机架空线路巡检协同控制方法程序被处理器执行时，实现如上述任一项所述的一种无人机架空线路巡检协同控制方法的步骤。
本发明公开的一种无人机架空线路巡检协同控制方法、系统和可读存储介质，基于无人机对架空线路的巡检基础上，对处于工作状态下的无人机进行自检作业，以得到飞行数据信息，以此进行数据迭代更新，可提高巡检飞行效率与检查效率，同时还可对无人机进行统一协同控制，使其更合理、有序。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种无人机架空线路巡检协同控制方法，其特征在于，包括以下步骤：
获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹；
基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；
基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制。
2.根据权利要求1所述的一种无人机架空线路巡检协同控制方法，其特征在于，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹，具体为：
基于预设周期获取所述无人机的工作状态信息，并整理得到所述工作状态反馈信息；
基于所述反馈信息调用预设的自检算法对其进行所述自检作业；
获取所述自检作业的检查结果作为所述自检结果，并基于预设的类型识别因子从所述自检结果中提取出所述无人机运动轨迹。
3.根据权利要求2所述的一种无人机架空线路巡检协同控制方法，其特征在于，所述基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库，具体为：
在获取到所述无人机运动轨迹后，调用预设角度偏移算法对其进行计算以得到所述无人机的轨迹偏移度；
将所述无人机的轨迹偏移度以属性形式定义到所述轨迹设定参数中，进而更新所述无人机的飞行数据库。
4.根据权利要求1所述的一种无人机架空线路巡检协同控制方法，其特征在于，所述基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制，具体为：
取所述电量状态以及所述机身损耗值作为判别因子；
调用所述判别算法基于所述判别因子计算得到处于巡检状态下的各所述无人机的回库时间值；
基于各所述无人机的回库时间值进行降序排序，以按照所述降序排列协同控制所述无人机回库充电。
5.根据权利要求1所述的一种无人机架空线路巡检协同控制方法，其特征在于，还包括利用轨迹神经网络模型对所述无人机的飞行轨迹进行训练以得到对应的所述无人机更优的巡检飞行路径。
6.根据权利要求5所述的一种无人机架空线路巡检协同控制方法，其特征在于，所述轨迹神经网络模型训练方法为：
获取历史飞行数据的飞行轨迹与飞行路径设定参数；
将所述历史飞行数据的飞行轨迹与飞行路径设定参数进行预处理，得到训练样本集；
将所述训练样本集输入至初始化的所述轨迹神经网络模型中训练；
获取输出结果的准确率；
若所述准确率大于预设的准确率阈值，则停止训练，得到所述轨迹神经网络模型。
7.一种无人机架空线路巡检协同控制系统，其特征在于，包括存储器和处理器，所述存储器中包括无人机架空线路巡检协同控制方法程序，所述无人机架空线路巡检协同控制方法程序被所述处理器执行时实现如下步骤：
获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹；
基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库；
基于所述自检结果提取各所述无人机的电量状态以及机身损耗值，以调用预设的判别算法得到各巡检状态下的所述无人机的回库时间，并对所述回库时间进行排序以完成各所述无人机的协同控制。
8.根据权利要求7所述的一种无人机架空线路巡检协同控制系统，其特征在于，获取所述无人机的工作状态反馈信息，基于所述反馈信息进行自检作业得到自检结果，并提取所述无人机运动轨迹，具体为：
基于预设周期获取所述无人机的工作状态信息，并整理得到所述工作状态反馈信息；
基于所述反馈信息调用预设的自检算法对其进行所述自检作业；
获取所述自检作业的检查结果作为所述自检结果，并基于预设的类型识别因子从所述自检结果中提取出所述无人机运动轨迹。
9.根据权利要求8所述的一种无人机架空线路巡检协同控制系统，其特征在于，所述基于所述运动轨迹计算所述无人机的轨迹偏移度并存储到轨迹设定参数中，以更新每个所述无人机的飞行数据库，具体为：
在获取到所述无人机运动轨迹后，调用预设角度偏移算法对其进行计算以得到所述无人机的轨迹偏移度；
将所述无人机的轨迹偏移度以属性形式定义到所述轨迹设定参数中，进而更新所述无人机的飞行数据库。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种无人机架空线路巡检协同控制方法程序，所述无人机架空线路巡检协同控制方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种无人机架空线路巡检协同控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630746.7A CN114326805A (zh) | 2021-12-28 | 2021-12-28 | 无人机架空线路巡检协同控制方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630746.7A CN114326805A (zh) | 2021-12-28 | 2021-12-28 | 无人机架空线路巡检协同控制方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114326805A true CN114326805A (zh) | 2022-04-12 |
Family
ID=81015036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111630746.7A Pending CN114326805A (zh) | 2021-12-28 | 2021-12-28 | 无人机架空线路巡检协同控制方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114326805A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115542934A (zh) * | 2022-09-29 | 2022-12-30 | 亿航智能设备（广州）有限公司 | 一种无人驾驶航空器的智能续航管理方法、系统和介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160327959A1 (en) * | 2015-05-04 | 2016-11-10 | International Business Machines Corporation | Unmanned Vehicle Movement Path Assignment and Management |
| KR101842217B1 (ko) * | 2017-04-11 | 2018-03-26 | 국방기술품질원 | 비행 제어 장치, 그 방법 및 이를 포함하는 비행 제어 시스템 |
| CN110119158A (zh) * | 2019-05-13 | 2019-08-13 | 浙江大学 | 一种高亚音速无人飞行器多机协同编队控制系统及方法 |
| WO2020153371A1 (ja) * | 2019-01-22 | 2020-07-30 | 株式会社ナイルワークス | ドローンシステム、ドローン、移動体、動作決定装置、ドローンシステムの制御方法、および、ドローンシステム制御プログラム |
| CN111580561A (zh) * | 2020-05-28 | 2020-08-25 | 深圳市易链信息技术有限公司 | 基于粒子群算法优化的无人机调度方法、系统和可读存储介质 |
| CN112379696A (zh) * | 2020-11-26 | 2021-02-19 | 国网天津市电力公司 | 架空输电线路多机多任务多旋翼无人机作业方法 |
| CN112506219A (zh) * | 2020-11-27 | 2021-03-16 | 佛山市墨纳森智能科技有限公司 | 一种智能交通监管无人机航迹规划方法、系统及可读存储介质 |
| CN112666971A (zh) * | 2020-12-15 | 2021-04-16 | 广州极飞科技有限公司 | 一种无人机返航方法、装置、无人机和存储介质 |
| CN112925335A (zh) * | 2019-12-06 | 2021-06-08 | 顺丰科技有限公司 | 无人机通讯方法、装置、计算机可读存储介质和设备 |
| CN112947556A (zh) * | 2021-02-05 | 2021-06-11 | 国网浙江省电力有限公司丽水供电公司 | 一种多无人机协同巡检的编队方法及系统 |
| CN113190036A (zh) * | 2021-04-02 | 2021-07-30 | 华南理工大学 | 一种基于lstm神经网络的无人机飞行轨迹预测方法 |
| WO2021212773A1 (zh) * | 2020-04-24 | 2021-10-28 | 滨州学院 | 一种多旋翼无人机智能巡检系统 |
-
2021
- 2021-12-28 CN CN202111630746.7A patent/CN114326805A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160327959A1 (en) * | 2015-05-04 | 2016-11-10 | International Business Machines Corporation | Unmanned Vehicle Movement Path Assignment and Management |
| KR101842217B1 (ko) * | 2017-04-11 | 2018-03-26 | 국방기술품질원 | 비행 제어 장치, 그 방법 및 이를 포함하는 비행 제어 시스템 |
| WO2020153371A1 (ja) * | 2019-01-22 | 2020-07-30 | 株式会社ナイルワークス | ドローンシステム、ドローン、移動体、動作決定装置、ドローンシステムの制御方法、および、ドローンシステム制御プログラム |
| CN110119158A (zh) * | 2019-05-13 | 2019-08-13 | 浙江大学 | 一种高亚音速无人飞行器多机协同编队控制系统及方法 |
| CN112925335A (zh) * | 2019-12-06 | 2021-06-08 | 顺丰科技有限公司 | 无人机通讯方法、装置、计算机可读存储介质和设备 |
| WO2021212773A1 (zh) * | 2020-04-24 | 2021-10-28 | 滨州学院 | 一种多旋翼无人机智能巡检系统 |
| CN111580561A (zh) * | 2020-05-28 | 2020-08-25 | 深圳市易链信息技术有限公司 | 基于粒子群算法优化的无人机调度方法、系统和可读存储介质 |
| CN112379696A (zh) * | 2020-11-26 | 2021-02-19 | 国网天津市电力公司 | 架空输电线路多机多任务多旋翼无人机作业方法 |
| CN112506219A (zh) * | 2020-11-27 | 2021-03-16 | 佛山市墨纳森智能科技有限公司 | 一种智能交通监管无人机航迹规划方法、系统及可读存储介质 |
| CN112666971A (zh) * | 2020-12-15 | 2021-04-16 | 广州极飞科技有限公司 | 一种无人机返航方法、装置、无人机和存储介质 |
| CN112947556A (zh) * | 2021-02-05 | 2021-06-11 | 国网浙江省电力有限公司丽水供电公司 | 一种多无人机协同巡检的编队方法及系统 |
| CN113190036A (zh) * | 2021-04-02 | 2021-07-30 | 华南理工大学 | 一种基于lstm神经网络的无人机飞行轨迹预测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115542934A (zh) * | 2022-09-29 | 2022-12-30 | 亿航智能设备（广州）有限公司 | 一种无人驾驶航空器的智能续航管理方法、系统和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lv et al. | Generative adversarial networks for parallel transportation systems | |
| CN105739512B (zh) | 无人机自动巡检系统及方法 | |
| CN109191922A (zh) | 一种大规模四维航迹动态预测方法及装置 | |
| CN110597286B (zh) | 一种利用智慧机库实现输电线路无人机自主巡检的方法 | |
| CN106774421A (zh) | 一种无人机轨迹规划系统 | |
| CN110413003A (zh) | 输电线路的巡视方法、装置、设备和计算机可读存储介质 | |
| CN109597839B (zh) | 一种基于航电作战态势的数据挖掘方法 | |
| CN111121784B (zh) | 一种无人侦察机航路规划方法 | |
| CN109542114A (zh) | 一种无人机输电线路巡检方法及系统 | |
| CN111580561A (zh) | 基于粒子群算法优化的无人机调度方法、系统和可读存储介质 | |
| CN111652835A (zh) | 基于深度学习与聚类的输电线路绝缘子缺失的检测方法 | |
| CN111626619A (zh) | 基于云雾混合计算的无人机群任务分配方法、系统和可读存储介质 | |
| CN114326805A (zh) | 无人机架空线路巡检协同控制方法、系统和存储介质 | |
| CN113296537A (zh) | 基于电力杆塔模型匹配的电力无人机巡检方法及系统 | |
| CN116859993A (zh) | 一种配电网多无人机巡线路径规划方法及系统 | |
| CN112527010A (zh) | 基于人工势场与粒子优化的室内变电站无人机多机协同巡检方法 | |
| CN112613334A (zh) | 无人机在输电线路上高精度自主巡检图像识别方法 | |
| CN113359829B (zh) | 一种基于大数据的无人机电厂智能巡检方法 | |
| CN115574826B (zh) | 基于强化学习的国家公园无人机巡护路径优化方法 | |
| Ying et al. | An improved defect detection method for substation equipment | |
| CN114397910B (zh) | 一种风力发电机无人机自动巡检方法及相关装置 | |
| Gao et al. | A prediction approach on energy consumption for public buildings using mind evolutionary algorithm and bp neural network | |
| CN110188939A (zh) | 风电场的风功率的预测方法、系统、设备和存储介质 | |
| CN114548228A (zh) | 一种基于soc和mesh组网的无人机电网巡检方法与系统 | |
| CN112925344B (zh) | 基于数据驱动和机器学习的无人机飞行工况预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |