CN112330915A - 无人机森林防火预警方法、系统、电子设备和存储介质 - Google Patents
无人机森林防火预警方法、系统、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112330915A CN112330915A CN202011176708.4A CN202011176708A CN112330915A CN 112330915 A CN112330915 A CN 112330915A CN 202011176708 A CN202011176708 A CN 202011176708A CN 112330915 A CN112330915 A CN 112330915A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- path
- forest fire
- smoke
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000002265 prevention Effects 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 239000000779 smoke Substances 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 63
- 230000002068 genetic effect Effects 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008054 signal transmission Effects 0.000 claims description 3
- 238000004387 environmental modeling Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 6
- 239000003795 chemical substances by application Substances 0.000 description 35
- 238000012545 processing Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 206010002368 Anger Diseases 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人机森林防火预警方法、系统、电子设备和存储介质。其方法包括获取无人机的出发点和目的点的位置信息，根据出发点和目的点进行环境建模，利用递归多主体遗传算法实现无人机路径规划得到优化路径，无人机根据优化路径到达目的点，位置信息包括坐标信息；控制无人机搭载的高清摄像头在目的点区域采集视频图像数据，通过深度学习算法及背景建模技术对视频图像数据进行烟雾识别检测，得到烟雾检测结果；返回烟雾检测结果。本发明为无人机进行路径规划，无人机结合深度学习算法及背景建模技术进行巡检，实时检测烟雾动态走向，反映出森林火灾周围的情况，提高了烟雾检测的精度从而能够更快地发现森林火灾，提高了抢险救灾效率。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种无人机森林防火预警方法、系统、电子设备和存储介质。
背景技术
森林是重要的生态资源，是人类生产和生活的重要原料，森林火灾是一场极具破坏性的灾难，不仅严重破坏了生态环境，还将给人类造成巨大的经济损失，并损害生命安全，如今，森林火灾已成为对世界森林面积的最大威胁。发生森林火灾时，通常首先会产生烟雾，因此烟雾通常是森林火灾的最初标志，为了确保快速发现和预警森林火灾，烟雾探测的研究具有重要意义。
相关技术中，基于传感器的探测方法和图像处理方法是烟雾检测的两种常用方法。基于传感器的探测方法主要使用一些对温度、烟雾浓度等敏感的传感器进行检测，然后反馈给相应的系统以进行预警，图像处理方法通常会检测烟雾中一些容易区分的特征。但是，这两种方法在烟雾检测中都有一些严重的缺陷，基于传感器的方法需要为大规模场景购买大量传感器，这不经济，同时，基于传感器的方法还需要在预警之前达到一定的阈值，预警速度慢，图像处理方法受到环境因素的强烈干扰，从而导致烟雾检测精度低，同时，提取过多特征也会影响无人机的响应速度。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种无人机森林防火预警方法、系统、电子设备和存储介质，能够提高烟雾检测的精度和速度，提高了森林的抢险救灾效率。
根据本发明的第一方面实施例的无人机森林防火预警方法，其特征在于，包括：获取无人机的出发点和目的点的位置信息，根据所述出发点和所述目的点进行环境建模，利用递归多主体遗传算法实现无人机路径规划得到优化路径，所述无人机根据所述优化路径到达所述目的点，所述位置信息包括坐标信息；控制所述无人机搭载的高清摄像头在所述目的点区域采集视频图像数据，通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，得到烟雾检测结果；返回所述烟雾检测结果。
根据本发明实施例的无人机森林防火预警方法，至少具有如下有益效果：本发明提出一种基于深度学习和背景建模的无人机森林防火预警方法，基于递归多主体遗传算法的无人机路径规划，帮助无人机快速抵达目标检测区域，实时避碰，提高了安全性，通过无人机结合深度学习算法及背景建模技术进行巡检，并且实时检测烟雾动态走向，反映出森林火灾周围的情况并反馈，森林维护人员可根据情况做出有效灭火计划，提高了烟雾检测的精度从而能够更快地发现森林火灾，提高了森林的抢险救灾效率。
根据本发明的一些实施例，所述根据所述出发点和所述目的点进行环境建模，包括将空间位置信息离散化并存入2D矩阵中，其中：根据环境的坐标和半径信息建立危险区域矩阵，根据环境的坐标、宽度和高度信息建立不确定区域矩阵，根据路径坐标信息建立路径矩阵。
根据本发明的一些实施例，所述利用递归多主体遗传算法实现无人机路径规划得到优化路径，包括设计损失函数得到最小损失值路径，其中：根据路径长度损失、路径高度损失、危险区域损失得到所述损失函数；根据所述损失函数和轨道角度得到路径规划优化模型；在所述路径规划优化模型中得到所述最小损失值路径。
根据本发明的一些实施例，所述利用递归多主体遗传算法实现无人机路径规划得到优化路径，包括根据所述路径矩阵以1个路径为1个代理设置动态变化的代理格子模型，由所述代理格子模型输出若干个损失值最小的代理，其中：利用递归多主体遗传算法对多个代理通过分层递归策略更新计划路径，然后计算通过置换和组合获得损失值最小的若干个代理并输出。
根据本发明的一些实施例，所述通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，包括：通过网络爬虫技术离线收集森林烟雾图片进行标记后，利用MobileNet_SSD模型执行离线训练并生成MobileNet_SSD检测结果。
根据本发明的一些实施例，所述通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，包括：利用ViBe算法通过背景模型构建、前景检测和背景模型更新捕获所述视频图像数据中的动态像素；通过形态学处理方法修复通过动态背景建模获得的烟雾分割结果，得到ViBe算法分割结果，所述ViBe算法分割结果为移动目标的最小外部矩形。
根据本发明的一些实施例，所述通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，包括：通过联合考虑策略将所述MobileNet_SSD检测结果与所述ViBe算法分割结果进行重叠率计算，将计算结果与第一阈值进行比较后，得到所述烟雾检测结果。
根据本发明的第二方面实施例的无人机森林防火预警系统，其特征在于，包括：无人机，所述无人机设有高清摄像头进行视频图像数据获取，所述无人机设有5G通信模块进行信号传输；地面终端显示模块，所述地面终端显示模块与所述无人机通信连接；路径规划模块，所述路径规划模块用于为所述无人机进行路径规划；智能算法模块，所述智能算法模块用于对所述视频图像数据进行烟雾识别检测，得到烟雾检测结果。
根据本发明实施例的无人机森林防火预警系统，至少具有如下有益效果：本发明提出一种基于深度学习和背景建模的无人机森林防火预警系统，无人机基于递归多主体遗传算法进行路径规划，快速抵达目标检测区域，实时避碰，提高了安全性，通过无人机结合深度学习算法及背景建模技术进行巡检，并且实时检测烟雾动态走向，反映出森林火灾周围的情况并及时反馈到地面终端显示模块，森林维护人员可根据情况做出有效灭火计划，提高了烟雾检测的精度从而能够更快地发现森林火灾，提高了森林的抢险救灾效率。
根据本发明的第三方面实施例的电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如本发明第一方面实施例所述的无人机森林防火预警方法。
根据本发明的第四方面实施例的计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面实施例所述的无人机森林防火预警方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明一些实施例提供的无人机森林防火预警方法流程图；
图2为本发明另一些实施例提供的无人机森林防火预警方法流程图；
图3为本发明一些实施例提供的代理格子模型示意图；
图4为本发明另一些实施例提供的无人机森林防火预警方法流程图；
图5为本发明另一些实施例提供的无人机森林防火预警方法流程图；
图6为本发明一些实施例提供的无人机森林防火预警系统框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本发明的一些实施例提供了一种无人机森林防火预警方法，具体为：
参照图1，图1是本发明一些实施例提供的无人机森林防火预警方法流程图，该无人机森林防火预警方法可以应用于无人机森林防火预警系统，该无人机森林防火预警方法包括但不限于有步骤S110、步骤S120和步骤S130，其中：
步骤S110，获取无人机的出发点和目的点的位置信息，根据出发点和目的点进行环境建模，利用递归多主体遗传算法实现无人机路径规划得到优化路径，无人机根据优化路径到达目的点。
在本发明的一些实施例中，客户端向系统输入无人机的出发点和目的点的位置信息后，系统进行环境建模，位置信息包括出发点和目的点的三维坐标信息，环境建模是指将空间信息转换为计算机语言，并利用递归多主体遗传算法实现无人机路径规划得到优化路径，无人机通过优化路径到达目的点，优化路径是指无人机从出发点到目的点之间的优选路径，在该路径上，无人机可最快到达目的点，并排除途中的其它影响因素，使得无人机避开了其它干扰，通过递归多主体遗传算法为无人机进行路径规划，帮助无人机快速抵达目的点，实时避障，提高了无人机飞行的安全性。
步骤S120，控制无人机搭载的高清摄像头在目的点区域采集视频图像数据，通过深度学习算法及背景建模技术对视频图像数据进行烟雾识别检测，得到烟雾检测结果。
在本发明的一些实施例中，无人机搭载有高清摄像头，高清摄像头用于获取森林的视频图像，系统通过高清摄像头获取目的点区域的视频图像数据后，利用深度学习算法及背景建模技术对采集到的视频图像数据进行烟雾识别检测，判断目的点区域是否发生森林火灾，并得到烟雾检测结果。
需要说明的是，在本发明的一些实施例中，深度学习算法是指系统根据现有的森林火灾烟雾图像数据进行深度自主的学习，对现有的烟雾图像进行标记，建立起参照模型，由于森林在发生火灾的时候，所产生的烟雾形状和走向多种多样，通过深度学习算法对现有的大量烟雾图像进行学习和建立参照模型，可为烟雾识别提供检测基础。背景建模技术是对采集的视频图像数据进行建模，将所建立的模型与深度学习算法建立的参照模型进行比对，判断森林是否发生火灾，得到烟雾检测结果。
步骤S130，返回烟雾检测结果。
在本发明的一些实施例中，系统得到了烟雾检测结果，并将烟雾检测结果返回，在一些实施例中，烟雾检测结果被发送到地面终端显示系统进行显示，其中包括烟雾的走向信息。本发明实施例提出的一种基于深度学习和背景建模的无人机森林防火预警方法，基于递归多主体遗传算法的无人机路径规划，帮助无人机快速抵达目标检测区域，实时避碰，提高了安全性，通过无人机结合深度学习算法及背景建模技术进行巡检，并且实时检测烟雾动态走向，反映出森林火灾周围的情况，森林维护人员可根据情况做出有效灭火计划，提高了烟雾检测的精度从而能够更快地发现森林火灾，提高了森林的抢险救灾效率。
需要说明的是，无人机体积小，灵活性强、便于携带、视角也广，选用无人机作为载体进行巡检，从而代替传统的基于传感器森林火灾预警方式，当大量的无人机投入使用时尤其突显它的高效性，无需增加维护人员，不仅节省了人力物力和成本，还可能够达到高效、及时救援的目的。通过无人机的高速飞行，发现及时，很大程度上缩短了发现森林火灾的时间，减少了资源的浪费，提高了预警效率。
参照图2，在本发明的一些实施例中，步骤S110可以包括但不限于步骤S210、步骤S220和步骤S230，其中：.
步骤S210，将空间位置信息离散化并存入2D矩阵中进行环境建模。
在本发明的一些实施例中，三维路径规划的第一步是将空间离散化为一种表示形式，将空间位置信息离散化并存入2D矩阵中进行环境建模，使用2D矩阵近似地形，方便系统对空间信息转化为计算机语言进行处理。
在本发明的一些实施例中，根据环境中危险区域的坐标和半径信息建立危险区域矩阵，危险区域指的是无人机在飞行过程中会遇到的禁飞区域或危险地段，在环境中添加c个圆柱形危险区域，其中坐标和半径可以保存到矩阵中，并将它们保存为等式(1)中所示的矩阵：
在本发明的一些实施例中，根据环境中不确定区域的坐标、宽度和高度信息建立不确定区域矩阵，为了表示m个不确定区域，本发明实施例以(xri,yri)为起点，宽度为wi，高度为hi的矩形，并将它们保存为等式(2)中所示的矩阵：
在本发明的一些实施例中，根据路径坐标信息建立路径矩阵，在规划空间中，本发明实施例将轨迹离散为一系列直线连接的航点，然后通过优化坐标点序列将路径规划任务转化为功能优化问题，每条路径代表一个代理，其编码为路径点的坐标，并将它们保存为等式(3)中所示的矩阵：
需要说明的是，在本发明的一些实施例中，矩阵中的每个元素代表该位置的地形标高。
步骤S220，设计损失函数得到最小损失值路径。
在本发明的一些实施例中，在为无人机进行路径规划的情况下，存在很多影响路径的干扰因素，包括如环境的复杂性和无人机的物理限制等许多不同的特征，无人机的物理限制包括无人机的飞行高度限制。本发明实施例设计了由多个优化目标组成的综合损失函数来排除这些特征的干扰，以使路径规划最优化，得到最小损失值路径，最小损失值路径即为优化路径，优化路径拥有较低的损耗，损失函数包括路径的长度损失Lpath，路径的平均高度损失Laltitude和对经过危险区域的危险区域损失Ldanger，以w1，w2和w3分别代表各个损失占总体损失的权重，损失函数为等式(4)中所示：
Floss(agent,map,danger_areas)＝w1×Lpath+w2×Laltitude+w3×Ldanger (4)
在本发明的一些实施例中，无人机飞行路径的长度是大多数规划任务的关键因素，较短的路径可以为无人机节省更多的燃料和更多的时间，以(xk,yk,zk)表示代理的第k个航点，在损失函数中，路径的长度损失Lpath为等式(5)中所示：
在本发明的一些实施例中，路径的高度也是重要的特征，飞行高度受到无人机的物理限制，以mean表示平均函数，map∩agentk表示位置的高度，该高度是投影在地图上的agent的第k条路径，高度主要取决于路径轨迹的各个部分所经过的区域的高度，路径的平均高度损失Laltitude为等式(6)中所示：
在本发明的一些实施例中，空间中存在有许多禁飞区域或危险地段，以c为危险区域的总数，danger_areasi∩agentk表示地图上第i个angers_area与agentk的交点，以length为计算该交点长度的函数，Ldanger的结果是穿过危险区域的轨迹的各个子部分，危险区域损失Ldanger为等式(7)中所示：
在本发明的一些实施例中，无人机受设计要求限制，无人机的机动性能有一定的限制，这使得规划的路径要尽可能平滑才可以让无人机正常工作，本发明实施例设计了矢量θ来评估每条路径的转角，以λk表示(xk+1-xk,yk+1-yk,zk+1-zk)，其中k＝(1，2，...，n-1)，计算轨道角度θk为等式(8)中所示：
由轨道角度和损失函数得到路径规划的优化模型，为等式(9)中所示：
需要说明的是，在满足本发明实施例要求的前提下，损失函数还可以含括其它因素的损失，再通过权重增加到损失函数中，本发明不对其作具体限制。
步骤S230，利用递归多主体遗传算法实现无人机路径规划得到优化路径。
在本发明的一些实施例中，递归多主体遗传算法实现无人机路径规划包括根据路径矩阵以1个路径为1个代理设置动态变化的代理格子模型，由代理格子模型输出若干个损失值最小的代理，其中利用递归多主体遗传算法对多个代理通过分层递归策略更新计划路径，然后计算通过置换和组合获得损失值最小的若干个代理并输出，在一些实施例中，输出3个损失值最小的3个代理，在满足本发明实施例要求的前提下，还可以输出其它数量的代理，本发明不对其作具体限制。
参照图3，图3为本发明一些实施例提供的代理格子模型示意图。在本发明的一些实施例中，根据式子(3)中的路径矩阵以1个路径为1个代理设置动态变化的代理格子模型，在代理格子模型中，所有的主体都存在一个大小为Lsize×Lsize的格子环境中，Lsize为整数，并称该格子环境为主体格子，主体格子具有感知并响应其所处环境的能力，每个代理固定在一个格点上，并且只能与其邻居交换信息，即只能与相邻的格子交换信息，图3中的每个圆代表一个代理，圆中的数据表示座席的位置，当座席直接连接时，座席可以互相通信。本发明实施例将位于(i，j)的代理定义为Lij，其中i，j＝(1，2，...，Lsize)，然后将Lij的邻居集表示为等式(10)中所示：
在本发明的一些实施例中，代理格子是动态变化的，代理格子具有竞争性跟自学行为，当Lij为主体格子的代理，若Lij满足等式(11)，则Lij是一个优胜者，以minij为损失最小的Lij的邻居，若Lij是优胜者，那么Lij继续存在于格子中，若Lij不是优胜者，Lij将被新代理Newij代替，Newij是基于Lij和minij的遗传行为产生的，等式(11)如下所示：
Floss(Lij)<Floss(minij) (11)
参照图4，在本发明的一些实施例中，步骤S230可以包括但不限于步骤S231、步骤S232、步骤S233和步骤S234，其中：.
步骤S231，获得第i个agent路径中的第j个分段的起点和终点坐标轨迹。
步骤S232，判断起点或终点坐标是否在不确定区域中。
步骤S233，将起点和终点坐标重新初始化为最接近原始坐标点和地图上不确定区域之外。
步骤S234，使用递归多主体遗传算法进行递归优化并输出。
在本发明的一些实施例中，客户端向系统输入无人机的起点和终点位置信息，系统通过环境建模和生成代理格子模型后，获得第i个agent路径中的第j个分段的起点Stij和终点Edij的坐标轨迹，当起点Stij或终点Edij坐标在新的maps的不确定区域中，将起点Stij和终点Edij坐标重新初始化为最接近原始坐标点和地图上不确定区域之外，再用递归多主体遗传算法进行递归优化，其中包括获取3条路径，且路径拥有最小损失值，最后输出这3个损失值最小的代理。
参照图5，在本发明的一些实施例中，步骤S120可以包括但不限于步骤S310、步骤S320和步骤S330，其中：.
步骤S310，通过网络爬虫技术离线收集森林烟雾图片进行标记后，利用MobileNet_SSD模型执行离线训练并生成MobileNet_SSD检测结果。
在本发明的一些实施例中，通过网络爬虫技术离线收集现有的森林烟雾图片进行标记后，利用MobileNet_SSD模型执行离线训练并生成MobileNet_SSD检测结果，MobileNet_SSD检测结果为系统所建立的参照模型，该模型包括烟雾形态模型和烟雾走向模型，用以判断森林烟雾的出现和走向。
在本发明的一些实施例中，SSD目标检测框架是基于深度卷积网络正向传播的目标检测框架，其骨干网络从输入图像中提取多个特征图，然后对于每个特征图，通过预测每个先验盒的分类，将生成一系列固定大小的先验盒，最后将那些得分大于特定分类阈值的盒子放入非最大抑制算法中，以得到最终的检测结果。MobileNets功能提取网络也称为骨干网，SSD在骨干网之外增加了许多逐渐减少的卷积层，以实现多尺度的检测，其中，第(M)层特征图映射原始地图上第K个特征图的默认框大小由以下等式(12)计算：
需要说明的是，在本发明的一些实施例中，等式(12)中的Smin和Smax分别设置为0.2和0.9，表示默认框分别占据了输入特征图的最小值和最大值，在满足本发明实施例要求的前提下也可以设置为其它数值，本发明不对其作具体限制。SSD网络模型的宽高比为等式(13)所示，宽度
高度
默认框的面积S'k可以计算为等式(14)所示：
ar＝{1,2,3,1/2,1/3} (13)
其中，用
来表示默认框的中心点，用|fk|来表示第k个特征图的大小，其中j,i∈{0,1,2,...,k-1}，通过训练MobileNet_SSD模型后，位置和目标分类结果会回归，损失函数是位置损失Lloc和置信度损失Lconf的加权总和，如等式(15)所示：
步骤S320，利用ViBe算法进行背景建模并进行图像分割处理得到ViBe算法分割结果。
在本发明的一些实施例中，在对森林视频图像数据在各种光照条件和天气条件下进行观察和分析的基础上，由于森林烟雾通常是相对动态的，因此本发明实施例使用ViBe算法捕获视频中的动态像素，从而实现运动烟雾目标的分割，具体来说，该过程可以分为背景模型构建、前景检测和背景模型更新阶段，最后通过形态学处理方法修复通过动态背景建模获得的烟雾分割结果，得到ViBe算法分割结果。
需要说明的是，在本发明的一些实施例中，在背景模型构建阶段中，ViBe算法使用第一帧的森林场景图像进行模型构建，对于图像中的每个像素，随机选择N个相邻像素点作为当前像素点的样本集，图像位置(x，y)的像素值表示为V(x,y)，M(x,y)＝{V1,V2,...,VN}，其中{V1,V2,...,VN}是随机选择的相邻点的像素值；在前景检测阶段中，将第二帧图像中的所有像素点与相应像素点集的所有像素进行比较，其中di＝|V0(x,y)-Vi|，D(x,y)＝{d1,d2,...,dN}，然后计算大于给定阈值R的di的数量，如果大于预定阈值T，则像素将被分类为前景点；在背景模型更新阶段中，采用时空独立更新策略，当像素连续多次被判定为前景点时，它将更新为背景点。同时，更新模型样本集的概率为
是时间采样因子，它还具有
概率来更新每个背景点的模型样本集。
需要说明的是，在本发明的一些实施例中，图像的分割处理用过形态学处理方法实现，在一些实施例中，采用腐蚀和膨胀进行图像处理，形态学处理顺序为腐蚀-膨胀-腐蚀，形态算子的大小分别为7×7、11×11、31×31和25×25，然后，将经过形态学处理的二值图像标记为8个连接区域，以判断像素之间的连接，从而通过ViBe获得移动目标的最小外部矩形。其中，根据等式(16)进行形态腐蚀，将中心点的像素值替换为核心中所有点的最小像素值，根据等式(17)进行形态膨胀，将中心点的像素值替换为核心中所有点的最大像素值，等式(16)跟等式(17)如下所示：
dst(x,y)＝min(src(x',y')) (16)
dst(x,y)＝max(src(x',y')) (17)
步骤S330，通过联合考虑策略将MobileNet_SSD检测结果与ViBe算法分割结果进行重叠率计算，将计算结果与第一阈值进行比较后，得到烟雾检测结果。
在本发明的一些实施例中，将MobileNet_SSD检测结果与ViBe算法分割结果进行重叠率计算，包括计算ViBe算法生成的移动目标与MobileNet_SSD检测结果生成的目标检测框的矩形进行重叠率(IoU)计算，如果重叠率大于第一阈值Tg，则将保留的检测结果判断为烟雾检测结果，第一阈值为预设的一个数值，可根据实际情况具体设置，本发明不对其作具体限制。根据等式(18)进行IoU的计算，其中，area(x)是x矩形的面积，ROID是MobileNet_SSD检测结果，ROIS是ViBe算法分割结果，通过联合考虑策略可以对MobileNet_SSD检测结果中包含的运动特征结果进行过滤，以缓解深度检测网络在复杂森林场景中容易产生虚警的问题，等式(18)如下所示：
本发明的一些实施例提供了一种无人机森林防火预警系统，具体为：
参照图6，图6为本发明一些实施例提供的无人机森林防火预警系统框图。在本发明的一些实施例中，无人机森林防火预警系统包括无人机610、地面终端显示模块621、路径规划模块613和智能算法模块(图中未示出)，其中，无人机610包括可以获取森林视频图像数据的高清摄像头611和用于通信的5G通信模块612，采用5G通信模块612进行通信，信号传输速度快且延时低，地面终端显示模块621位于地面终端620内。无人机610基于递归多主体遗传算法进行路径规划，快速抵达目标检测区域，实时避碰，提高了安全性，通过无人机610结合深度学习算法及背景建模技术进行巡检，并且实时检测烟雾动态走向，反映出森林火灾周围的情况并及时通过5G通信模块612反馈到地面终端显示模块621，森林维护人员可根据情况做出有效灭火计划，提高了烟雾检测的精度从而能够更快地发现森林火灾，提高了森林的抢险救灾效率。
需要说明的是，在本发明的一些实施例中，路径规划模块613位于无人机内，地面终端还包括后台服务器622，智能算法模块位于后台服务器622中，后台服务器622位于地面终端620内并与地面终端显示模块621连接，无人机610通过5G通信模块612，将信号发送到5G基站630，再由5G基站630传输到后台服务器622的智能算法模块进行处理，最后再输送到地面终端显示模块621进行显示。在满足本发明实施例要求的前提下，路径规划模块612也可以再后台服务器622内，路径规划模块612和智能算法模块还可以在其它位置，本发明不对其作具体限制。
此外，本发明的另一些实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、与至少一个处理器通信连接的存储器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其它方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其它非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
需要说明的是，本实施例中的电子设备，通过执行无人机森林防火预警方法，能够基于递归多主体遗传算法为无人机进行路径规划，帮助无人机快速抵达目标检测区域，实时避碰，提高了安全性，通过无人机结合深度学习算法及背景建模技术进行巡检，并且实时检测烟雾动态走向，反映出森林火灾周围的情况，森林维护人员可根据情况做出有效灭火计划，提高了烟雾检测的精度从而能够更快地发现森林火灾，提高了森林的抢险救灾效率。
实现上述实施例的无人机森林防火预警方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例的无人机森林防火预警方法，例如，执行以上描述的图1中的方法步骤S110至S130、图2中的方法步骤S210至S230、图4中的方法步骤S231至S234、图5中的方法步骤S310至S330。
以上所描述的终端实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本发明的另一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述装置实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的无人机森林防火预警方法，例如，执行以上描述的图1中的方法步骤S110至S130、图2中的方法步骤S210至S230、图4中的方法步骤S231至S234、图5中的方法步骤S310至S330。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
Claims (10)
1.无人机森林防火预警方法，其特征在于，包括：
获取无人机的出发点和目的点的位置信息，根据所述出发点和所述目的点进行环境建模，利用递归多主体遗传算法实现无人机路径规划得到优化路径，所述无人机根据所述优化路径到达所述目的点，所述位置信息包括坐标信息；
控制所述无人机搭载的高清摄像头在所述目的点区域采集视频图像数据，通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，得到烟雾检测结果；
返回所述烟雾检测结果。
2.根据权利要求1所述的无人机森林防火预警方法，其特征在于，所述根据所述出发点和所述目的点进行环境建模，包括：
根据环境的坐标和半径信息建立危险区域矩阵，根据环境的坐标、宽度和高度信息建立不确定区域矩阵，根据路径坐标信息建立路径矩阵。
3.根据权利要求2所述的无人机森林防火预警方法，其特征在于，所述利用递归多主体遗传算法实现无人机路径规划得到优化路径，包括：
根据路径长度损失、路径高度损失、危险区域损失得到所述损失函数；
根据所述损失函数和轨道角度得到路径规划优化模型；
在所述路径规划优化模型中得到所述最小损失值路径。
4.根据权利要求3所述的无人机森林防火预警方法，其特征在于，所述利用递归多主体遗传算法实现无人机路径规划得到优化路径，包括：
根据所述路径矩阵以1个路径为1个代理设置动态变化的代理格子模型；
利用递归多主体遗传算法对多个代理通过分层递归策略更新计划路径，然后计算通过置换和组合获得损失值最小的若干个代理并输出。
5.根据权利要求1所述的无人机森林防火预警方法，其特征在于，所述通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，包括：
通过网络爬虫技术离线收集森林烟雾图片进行标记后，利用MobileNet_SSD模型执行离线训练并生成MobileNet_SSD检测结果。
6.根据权利要求5所述的无人机森林防火预警方法，其特征在于，所述通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，包括：
利用ViBe算法通过背景模型构建、前景检测和背景模型更新捕获所述视频图像数据中的动态像素；
通过形态学处理方法修复通过动态背景建模获得的烟雾分割结果，得到ViBe算法分割结果，所述ViBe算法分割结果为移动目标的最小外部矩形。
7.根据权利要求6所述的无人机森林防火预警方法，其特征在于，所述通过深度学习算法及背景建模技术对所述视频图像数据进行烟雾识别检测，包括：
通过联合考虑策略将所述MobileNet_SSD检测结果与所述ViBe算法分割结果进行重叠率计算，将计算结果与第一阈值进行比较后，得到所述烟雾检测结果。
8.无人机森林防火预警系统，其特征在于，包括：
无人机，所述无人机设有高清摄像头进行视频图像数据获取，所述无人机设有5G通信模块进行信号传输；
地面终端显示模块，所述地面终端显示模块与所述无人机通信连接；
路径规划模块，所述路径规划模块用于为所述无人机进行路径规划；
智能算法模块，所述智能算法模块用于对所述视频图像数据进行烟雾识别检测，得到烟雾检测结果。
9.电子设备，其特征在于，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一项所述的无人机森林防火预警方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的无人机森林防火预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011176708.4A CN112330915B (zh) | 2020-10-29 | 2020-10-29 | 无人机森林防火预警方法、系统、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011176708.4A CN112330915B (zh) | 2020-10-29 | 2020-10-29 | 无人机森林防火预警方法、系统、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330915A true CN112330915A (zh) | 2021-02-05 |
| CN112330915B CN112330915B (zh) | 2023-02-28 |
Family
ID=74296189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011176708.4A Active CN112330915B (zh) | 2020-10-29 | 2020-10-29 | 无人机森林防火预警方法、系统、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330915B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112510A (zh) * | 2021-04-29 | 2021-07-13 | 五邑大学 | 一种语义分割的森林火灾检测方法、控制器及存储介质 |
| CN113741510A (zh) * | 2021-07-30 | 2021-12-03 | 深圳创动科技有限公司 | 一种巡检路径规划方法、装置以及存储介质 |
| CN113780072A (zh) * | 2021-08-02 | 2021-12-10 | 五邑大学 | 摔倒检测方法、系统和计算机可读存储介质 |
| CN114071394A (zh) * | 2021-11-10 | 2022-02-18 | 西安精科华盾应急救援装备有限公司 | 森林火灾密集阵感知模块的播撒部署方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
| KR20180086648A (ko) * | 2017-01-23 | 2018-08-01 | 김영배 | 대피 경로 안내 시스템 및 방법 |
| CN108363992A (zh) * | 2018-03-15 | 2018-08-03 | 南京邮电大学 | 一种基于机器学习监测视频图像烟雾的火情预警方法 |
| CN108416963A (zh) * | 2018-05-04 | 2018-08-17 | 湖北民族学院 | 基于深度学习的森林火灾预警方法及系统 |
| CN108647770A (zh) * | 2018-04-19 | 2018-10-12 | 东华大学 | 一种基于粒子群算法的多无人机救灾搜索路径的优化方法 |
| CN108897312A (zh) * | 2018-05-14 | 2018-11-27 | 南开大学 | 多无人飞行器对大规模环境的持续监控路径规划方法 |
| CN109598700A (zh) * | 2018-10-16 | 2019-04-09 | 天津大学 | 采用卷积神经网络的早期火灾检测方法 |
| US10253995B1 (en) * | 2017-01-31 | 2019-04-09 | State Farm Mutual Automobile Insurance Company | Systems and methods for mitigating smoke damage to a property |
| CN110097727A (zh) * | 2019-04-30 | 2019-08-06 | 暨南大学 | 基于模糊贝叶斯网络的森林火灾预警方法及系统 |
| CN110379111A (zh) * | 2019-06-17 | 2019-10-25 | 易涛 | 一种用于森林防火的无人机巡查系统 |
| CN110825118A (zh) * | 2019-12-23 | 2020-02-21 | 河南大学 | 一种基于深度学习算法的多无人机协同农田喷淋方法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
-
2020
- 2020-10-29 CN CN202011176708.4A patent/CN112330915B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180086648A (ko) * | 2017-01-23 | 2018-08-01 | 김영배 | 대피 경로 안내 시스템 및 방법 |
| US10253995B1 (en) * | 2017-01-31 | 2019-04-09 | State Farm Mutual Automobile Insurance Company | Systems and methods for mitigating smoke damage to a property |
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
| CN108363992A (zh) * | 2018-03-15 | 2018-08-03 | 南京邮电大学 | 一种基于机器学习监测视频图像烟雾的火情预警方法 |
| CN108647770A (zh) * | 2018-04-19 | 2018-10-12 | 东华大学 | 一种基于粒子群算法的多无人机救灾搜索路径的优化方法 |
| CN108416963A (zh) * | 2018-05-04 | 2018-08-17 | 湖北民族学院 | 基于深度学习的森林火灾预警方法及系统 |
| CN108897312A (zh) * | 2018-05-14 | 2018-11-27 | 南开大学 | 多无人飞行器对大规模环境的持续监控路径规划方法 |
| CN109598700A (zh) * | 2018-10-16 | 2019-04-09 | 天津大学 | 采用卷积神经网络的早期火灾检测方法 |
| CN110097727A (zh) * | 2019-04-30 | 2019-08-06 | 暨南大学 | 基于模糊贝叶斯网络的森林火灾预警方法及系统 |
| CN110379111A (zh) * | 2019-06-17 | 2019-10-25 | 易涛 | 一种用于森林防火的无人机巡查系统 |
| CN110825118A (zh) * | 2019-12-23 | 2020-02-21 | 河南大学 | 一种基于深度学习算法的多无人机协同农田喷淋方法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112510A (zh) * | 2021-04-29 | 2021-07-13 | 五邑大学 | 一种语义分割的森林火灾检测方法、控制器及存储介质 |
| CN113112510B (zh) * | 2021-04-29 | 2023-07-25 | 五邑大学 | 一种语义分割的森林火灾检测方法、控制器及存储介质 |
| CN113741510A (zh) * | 2021-07-30 | 2021-12-03 | 深圳创动科技有限公司 | 一种巡检路径规划方法、装置以及存储介质 |
| CN113780072A (zh) * | 2021-08-02 | 2021-12-10 | 五邑大学 | 摔倒检测方法、系统和计算机可读存储介质 |
| CN113780072B (zh) * | 2021-08-02 | 2023-11-28 | 五邑大学 | 摔倒检测方法、系统和计算机可读存储介质 |
| CN114071394A (zh) * | 2021-11-10 | 2022-02-18 | 西安精科华盾应急救援装备有限公司 | 森林火灾密集阵感知模块的播撒部署方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330915B (zh) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330915B (zh) | 无人机森林防火预警方法、系统、电子设备和存储介质 | |
| US11726477B2 (en) | Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout | |
| JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
| KR102328732B1 (ko) | 다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치 | |
| CN109116867B (zh) | 一种无人机飞行避障方法、装置、电子设备及存储介质 | |
| US20230144209A1 (en) | Lane line detection method and related device | |
| US20210339772A1 (en) | Driving scenarios for autonomous vehicles | |
| US20190354782A1 (en) | Object Detection and Property Determination for Autonomous Vehicles | |
| US20180349746A1 (en) | Top-View Lidar-Based Object Detection | |
| CN111291697B (zh) | 用于识别障碍物的方法和装置 | |
| US20220373354A1 (en) | Automatic generation of vector map for vehicle navigation | |
| US20230040713A1 (en) | Simulation method for autonomous vehicle and method for controlling autonomous vehicle | |
| DE102023104789A1 (de) | Verfolgung mehrerer objekte | |
| US11645775B1 (en) | Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle | |
| CN111508253B (zh) | 提供自动行驶服务平台的方法及利用其的服务器 | |
| CN116142233A (zh) | 载具灯分类系统 | |
| US20210398014A1 (en) | Reinforcement learning based control of imitative policies for autonomous driving | |
| Worrall et al. | A context-based approach to vehicle behavior prediction | |
| CN112380933A (zh) | 无人机识别目标的方法、装置及无人机 | |
| KR102105007B1 (ko) | 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템 | |
| Katsamenis et al. | Real time road defect monitoring from UAV visual data sources | |
| US11745762B2 (en) | System and methods of adaptive trajectory prediction for autonomous driving | |
| CN114104005B (zh) | 自动驾驶设备的决策方法、装置、设备及可读存储介质 | |
| CN115602003A (zh) | 无人驾驶航空器飞行避障方法、系统和可读存储介质 | |
| US11884268B2 (en) | Motion planning in curvilinear coordinates for autonomous vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240528 Address after: 401122 No. 107, Datagu Middle Road, Xiantao Street, Yubei District, Chongqing Patentee after: Chongqing Super Star Technology Co.,Ltd. Country or region after: China Address before: No.22, Dongcheng village, Pengjiang district, Jiangmen City, Guangdong Province Patentee before: WUYI University Country or region before: China |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20240531 Address after: 211100, 1st and 2nd floors of Building 12, Phase 3, Liandong U-Valley International Enterprise Port, No. 7 Tonglian Road, Jiangning District, Nanjing City, Jiangsu Province (Jiangning High tech Park) Patentee after: Nanjing Zhuoyi Zhihang Technology Co.,Ltd. Country or region after: China Address before: 401122 No. 107, Datagu Middle Road, Xiantao Street, Yubei District, Chongqing Patentee before: Chongqing Super Star Technology Co.,Ltd. Country or region before: China |