CN110749324A - 无人机救援定位方法、装置、计算机设备及存储介质 - Google Patents
无人机救援定位方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110749324A CN110749324A CN201911033316.XA CN201911033316A CN110749324A CN 110749324 A CN110749324 A CN 110749324A CN 201911033316 A CN201911033316 A CN 201911033316A CN 110749324 A CN110749324 A CN 110749324A
- Authority
- CN
- China
- Prior art keywords
- rescue
- unmanned aerial
- aerial vehicle
- request
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
Abstract
本发明涉及无人机救援定位方法、装置、计算机设备及存储介质，该方法包括获取救援请求；根据救援请求生成飞行请求；发送飞行请求至无人机，以使得无人机飞行至指定位置；获取救援区域图像；对救援区域图像进行人体检测和定位，以得到人体位置信息；根据人体位置信息确定目标位置信息；根据目标位置信息以及指定位置的信息确定飞行数据；将飞行数据发送至无人机，以使得无人机飞行至目标位置。本发明实现准确识别需救援者且可引导无人机准确避开需救援者后，进行救援，效率高。
Description
技术领域
本发明涉及无人机，更具体地说是指无人机救援定位方法、装置、计算机设备及存储介质。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。
目前，很多无人机可以运用于特殊场景使用，比如救援等，在救援过程中，一般操控无人机使其精确自主地降落在的静止或运动目标上，目前要实现无人机精确自主地降落在的静止或运动目标上，则依赖于无人机上的传感器和算法，由于需要大量的传感器进行检测，会导致成本较高，且采用的算法并没有对人体进行识别，容易导致无人机在自主降落的过程中对需救援者产生二次伤害，为了解决这一问题，目前采用的是人工操控，效率较低。
因此，有必要设计一种新的方法，实现准确识别需救援者且可引导无人机准确避开需救援者后，进行救援，效率高。
发明内容
本发明的目的在于克服现有技术的缺陷，提供无人机救援定位方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：无人机救援定位方法，包括：
获取救援请求；
根据救援请求生成飞行请求；
发送飞行请求至无人机，以使得无人机飞行至指定位置；
获取救援区域图像；
对救援区域图像进行人体检测和定位，以得到人体位置信息；
根据人体位置信息确定目标位置信息；
根据目标位置信息以及指定位置的信息确定飞行数据；
将飞行数据发送至无人机，以使得无人机飞行至目标位置。
其进一步技术方案为：所述根据救援请求生成飞行请求，包括：
根据救援请求确定救援区域的位置和地形；
确定救援区域的人体数量；
根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
其进一步技术方案为：所述对救援区域图像进行人体检测和定位，以得到人体位置信息，包括：
将救援区域图像输入至神经网络模型内进行人体检测和定位，以得到人体位置信息；其中，所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的。
其进一步技术方案为：所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的，包括：
构建损失函数以及深度卷积神经网络；
获取若干个带有类别标签以及位置标签的俯拍图像数据，以得到样本集；
利用样本集训练深度卷积神经网络，以得到训练结果；
采用损失函数计算训练结果、类别标签以及位置标签的方差，以得到损失值；
判断所述损失值是否超过阈值；
若是，则调整深度卷积神经网络的参数，并返回所述利用样本集训练深度卷积神经网络，以得到训练结果；
若否，则将深度卷积神经网络作为神经网络模型。
其进一步技术方案为：所述根据目标位置信息以及指定位置的信息确定飞行数据，包括：
根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
获取无人机飞行至目标位置所花费的时间，以得到时间数值；
根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
本发明还提供了无人机救援定位装置，包括：
请求获取单元，用于获取救援请求；
请求生成单元，用于根据救援请求生成飞行请求；
请求发送单元，用于发送飞行请求至无人机，以使得无人机飞行至指定位置；
图像获取单元，用于获取救援区域图像；
定位单元，用于对救援区域图像进行人体检测和定位，以得到人体位置信息；
目标信息获取单元，用于根据人体位置信息确定目标位置信息；
飞行数据确定单元，用于根据目标位置信息以及指定位置的信息确定飞行数据；
飞行数据发送单元，用于将飞行数据发送至无人机，以使得无人机飞行至目标位置。
其进一步技术方案为：所述请求生成单元包括：
位置确定子单元，用于根据救援请求确定救援区域的位置和地形；
数量确定子单元，用于确定救援区域的人体数量；
请求确定子单元，用于根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
其进一步技术方案为：所述飞行数据确定单元包括：
三维距离获取子单元，用于根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
时间数值获取子单元，用于获取无人机飞行至目标位置所花费的时间，以得到时间数值；
三维速度获取子单元，用于根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取救援请求，并生成飞行请求，无人机飞行到位后，获取救援区域图像，并对图像采用神经网络模型进行人体检测和定位，根据定位信息以及无人机所在指定位置信息确定飞行数据，并以飞行数据驱动无人机飞行至目标位置，以由救援人员进行救援操作，实现准确识别需救援者且可引导无人机准确避开需救援者后，进行救援，效率高。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无人机救援定位方法的应用场景示意图；
图2为本发明实施例提供的无人机救援定位方法的流程示意图；
图3为本发明实施例提供的无人机救援定位方法的子流程示意图；
图4为本发明实施例提供的无人机救援定位方法的子流程示意图；
图5为本发明实施例提供的无人机救援定位方法的子流程示意图；
图6为本发明实施例提供的无人机救援定位装置的示意性框图；
图7为本发明实施例提供的无人机救援定位装置的请求生成单元的示意性框图；
图8为本发明实施例提供的无人机救援定位装置的飞行数据确定单元的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的无人机救援定位方法的应用场景示意图。图2为本发明实施例提供的无人机救援定位方法的示意性流程图。该无人机救援定位方法应用于服务器中。该服务器与终端、摄像机和无人机进行数据交互，其中，由服务器获取来自终端的救援请求后，生成飞行请求以驱动无人机飞行至指定位置，并由摄像机拍摄救援区域图像，以进行人体检测和定位，并根据定位信息和指定位置的信息以生成飞行数据，无人机根据该飞行数据飞行至救援区域的目标位置，进行救援。
图2是本发明实施例提供的无人机救援定位方法的流程示意图。如图2所示，该方法包括以下步骤S110至S180。
S110、获取救援请求。
在本实施例中，救援请求是指由终端发起的需要进行救援的请求。
S120、根据救援请求生成飞行请求。
在本实施例中，飞行请求包括飞行需要到达的指定位置、飞行速度和路线等信息。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S123。
S121、根据救援请求确定救援区域的位置和地形。
确定救援区域的位置和地形，有利于准备救援物质等。
S122、确定救援区域的人体数量。
确定人体数量有利于寻找最佳的位置进行无人机着陆等，提高救援效率。
S123、根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
S130、发送飞行请求至无人机，以使得无人机飞行至指定位置。
当飞行请求生成后，则由服务器发送至无人机，以使得无人机进行飞行。
无人机可能通过一个或多个中间点前往事故区，以避开潜在障碍。鉴于当今商用安卓智能手表(ASW)中全球导航卫星系统精度的局限性，无人机可以以5米的最佳水平位置精度到达，置信度为95％。手持式全球导航卫星系统精度的测试过程至少在两个主要条件下进行，一是开阔的天空，二是有大量障碍物的扰动大气，因此，需要确定救援区域的位置、地形以及救援区域的人体数量。
为了使自主救援无人机到达需救援区域，无人机的控制器检查求救者和无人机之间的绝对距离是否小于服务器在设置过程中定义的预先指定的极限。关于这些限制的细节在进行了分析性描述，此时，潜在受害者也就是人体位于机载摄像机的视场内，而无人机则在最低高度以上飞行。由于无人机在10米处飞行，处于危险中的人体肯定会在摄像机的视界内。
S140、获取救援区域图像。
在本实施例中，救援区域图像是指当无人机飞行至指定位置后拍摄所得的救援区域的图像。
S150、对救援区域图像进行人体检测和定位，以得到人体位置信息。
在本实施例中，人体位置信息是指人体在救援区域的具体位置。
具体地，将救援区域图像输入至神经网络模型内进行人体检测和定位，以得到人体位置信息；其中，所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的。
在一实施例中，请参阅图4，上述的神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的，包括步骤S151～S157。
S151、构建损失函数以及深度卷积神经网络；
S152、获取若干个带有类别标签以及位置标签的俯拍图像数据，以得到样本集；
S153、利用样本集训练深度卷积神经网络，以得到训练结果；
S154、采用损失函数计算训练结果、类别标签以及位置标签的方差，以得到损失值；
S155、判断所述损失值是否超过阈值；
S156、若是，则调整深度卷积神经网络的参数，并返回所述步骤S153；
S157、若否，则将深度卷积神经网络作为神经网络模型。
将神经网络模型集成到一个完全自主的救援无人机上，以便在发生危机事件时实时检测处于危险中的人。将基于视觉的神经网络模型应用于救援无人机在静态目标上的完全自主着陆，该神经网络模型在搭载嵌入式系统的六架直升机上实施和评估，该嵌入式系统提供在固定目标上的独立起飞、导航和着陆。用于评估的嵌入式系统是覆盆子Pi 3，神经网络的加速包是NNPACK，这种组合提供了足够的有效性和准确性，由于人体潜在的连续运动，将上述方法集成到救援无人机需要更高的分辨率和更高的帧率。对于全自主无人机导航，以及对处于危险中的人的自动检测，检测算法应该在机载运行。由于YOLO的计算基于CUDA工具包，因此需要一个功耗低的强大的GPU嵌入式系统，选择了Nvidia Jetson TX1。该算法以12fps的速度执行，为救援飞行器的快速性能形成了足够的人体位置更新率。
S160、根据人体位置信息确定目标位置信息。
在本实施例中，目标位置信息是指在人体位置信息的一定范围内的位置信息。
S170、根据目标位置信息以及指定位置的信息确定飞行数据。
在本实施例，飞行数据是指无人机飞行至目标位置的速度。
在一实施例中，请参阅图5，上述的步骤S170可包括步骤S171～S173。
S171、根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离。
在本实施例中，目标三维距离是指无人机从指定位置飞行至目标位置所需要飞行的X、Y、Z三个轴向的距离。
S172、获取无人机飞行至目标位置所花费的时间，以得到时间数值；
S173、根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
无人机在正确的方向上运动，以便精确地越过需救援者，并在需救援者的上方的预定高度开始下降。无人机精确定位的验证是此类救援过程中的一个关键因素，因为救援设备应尽可能靠近遇险人员，最大距离为0.5m，在确定飞行数据时与摄像机的分辨率和需救援者所在的正交方向的两个相对角度的图像坐标。图像坐标定义为这两点的像素数，轴原点位于左上角(0，0)，相对角度为416×416图像分辨率。无人机的中心由摄像机的像素定义，以x，y相应的轴由于摄像机放置在图像的中间，即无人机的中心的坐标为指定位置的坐标，即(Cx，Cy)。
整个方法的目的是无人机朝检测到的需救援者所在区域的方向和中心的运动。为了在3D空间中控制无人机的速度，需要速度的分量vx、vy，vz，以使得在每个x，y，z方向相应地提供给无人机提供指令，即从z轴下降到目标区域的速度。如果(tx，ty)是需救援者在图像边界框中心的坐标，(Cx，Cy)是无人机的中心坐标，指定位置与目标位置的距离N，M是已知的，由N＝tx-Cx；M＝ty-Cy。实际直线距离为
则表明合成速度矢量的方向等于斜边距离矢量的方向，由两边的比例决定的。则在X轴和Y轴的速度为 其中，v合成为定义的最大合成速度，两种速度的合成，将无人机引向目标位置。
S180、将飞行数据发送至无人机，以使得无人机飞行至目标位置。
在精确检测到需救援者后，自主救援无人机下降到定义的需救援者上方的高度，精确定位需救援者位置，指导救援人员搜救。
上述的无人机救援定位方法，通过获取救援请求，并生成飞行请求，无人机飞行到位后，获取救援区域图像，并对图像采用神经网络模型进行人体检测和定位，根据定位信息以及无人机所在指定位置信息确定飞行数据，并以飞行数据驱动无人机飞行至目标位置，以由救援人员进行救援操作，实现准确识别需救援者且可引导无人机准确避开需救援者后，进行救援，效率高。
图6是本发明实施例提供的一种无人机救援定位装置300的示意性框图。如图6所示，对应于以上无人机救援定位方法，本发明还提供一种无人机救援定位装置300。该无人机救援定位装置300包括用于执行上述无人机救援定位方法的单元，该装置可以被配置于服务器中。
具体地，请参阅图6，该无人机救援定位装置300包括：
请求获取单元301，用于获取救援请求；
请求生成单元302，用于根据救援请求生成飞行请求；
请求发送单元303，用于发送飞行请求至无人机，以使得无人机飞行至指定位置；
图像获取单元304，用于获取救援区域图像；
定位单元305，用于对救援区域图像进行人体检测和定位，以得到人体位置信息；
目标信息获取单元306，用于根据人体位置信息确定目标位置信息；
飞行数据确定单元307，用于根据目标位置信息以及指定位置的信息确定飞行数据；
飞行数据发送单元308，用于将飞行数据发送至无人机，以使得无人机飞行至目标位置。
在一实施例中，如图7所示，所述请求生成单元302包括：
位置确定子单元3021，用于根据救援请求确定救援区域的位置和地形；
数量确定子单元3022，用于确定救援区域的人体数量；
请求确定子单元3023，用于根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
在一实施例中，如图8所示，所述飞行数据确定单元307包括：
三维距离获取子单元3071，用于根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
时间数值获取子单元3072，用于获取无人机飞行至目标位置所花费的时间，以得到时间数值；
三维速度获取子单元3073，用于根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
所述定位单元305具体是将救援区域图像输入至神经网络模型内进行人体检测和定位，以得到人体位置信息。
在一实施例中，所述定位单元305还包括：
模型构建子单元，用于通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络，以得到神经网络模型。
在一实施例中，所述模型构建子单元包括：
构建模块，用于构建损失函数以及深度卷积神经网络；
样本集获取模块，用于获取若干个带有类别标签以及位置标签的俯拍图像数据，以得到样本集；
训练模块，用于利用样本集训练深度卷积神经网络，以得到训练结果；
损失值计算模块，用于采用损失函数计算训练结果、类别标签以及位置标签的方差，以得到损失值；
判断模块，用于判断所述损失值是否超过阈值；
参数调整模块，用于若是，则调整深度卷积神经网络的参数，并返回所述利用样本集训练深度卷积神经网络，以得到训练结果；
模型确定模块，用于若否，则将深度卷积神经网络作为神经网络模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述无人机救援定位装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述无人机救援定位装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500是服务器。
参阅图9，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种无人机救援定位方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种无人机救援定位方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取救援请求；
根据救援请求生成飞行请求；
发送飞行请求至无人机，以使得无人机飞行至指定位置；
获取救援区域图像；
对救援区域图像进行人体检测和定位，以得到人体位置信息；
根据人体位置信息确定目标位置信息；
根据目标位置信息以及指定位置的信息确定飞行数据；
将飞行数据发送至无人机，以使得无人机飞行至目标位置。
在一实施例中，处理器502在实现所述根据救援请求生成飞行请求步骤时，具体实现如下步骤：
根据救援请求确定救援区域的位置和地形；
确定救援区域的人体数量；
根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
在一实施例中，处理器502在实现所述对救援区域图像进行人体检测和定位，以得到人体位置信息步骤时，具体实现如下步骤：
将救援区域图像输入至神经网络模型内进行人体检测和定位，以得到人体位置信息；其中，所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的。
在一实施例中，处理器502在实现所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的步骤时，具体实现如下步骤：
构建损失函数以及深度卷积神经网络；
获取若干个带有类别标签以及位置标签的俯拍图像数据，以得到样本集；
利用样本集训练深度卷积神经网络，以得到训练结果；
采用损失函数计算训练结果、类别标签以及位置标签的方差，以得到损失值；
判断所述损失值是否超过阈值；
若是，则调整深度卷积神经网络的参数，并返回所述利用样本集训练深度卷积神经网络，以得到训练结果；
若否，则将深度卷积神经网络作为神经网络模型。
在一实施例中，处理器502在实现所述根据目标位置信息以及指定位置的信息确定飞行数据步骤时，具体实现如下步骤：
根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
获取无人机飞行至目标位置所花费的时间，以得到时间数值；
根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取救援请求；
根据救援请求生成飞行请求；
发送飞行请求至无人机，以使得无人机飞行至指定位置；
获取救援区域图像；
对救援区域图像进行人体检测和定位，以得到人体位置信息；
根据人体位置信息确定目标位置信息；
根据目标位置信息以及指定位置的信息确定飞行数据；
将飞行数据发送至无人机，以使得无人机飞行至目标位置。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据救援请求生成飞行请求步骤时，具体实现如下步骤：
根据救援请求确定救援区域的位置和地形；
确定救援区域的人体数量；
根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对救援区域图像进行人体检测和定位，以得到人体位置信息步骤时，具体实现如下步骤：
将救援区域图像输入至神经网络模型内进行人体检测和定位，以得到人体位置信息；其中，所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的步骤时，具体实现如下步骤：
构建损失函数以及深度卷积神经网络；
获取若干个带有类别标签以及位置标签的俯拍图像数据，以得到样本集；
利用样本集训练深度卷积神经网络，以得到训练结果；
采用损失函数计算训练结果、类别标签以及位置标签的方差，以得到损失值；
判断所述损失值是否超过阈值；
若是，则调整深度卷积神经网络的参数，并返回所述利用样本集训练深度卷积神经网络，以得到训练结果；
若否，则将深度卷积神经网络作为神经网络模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据目标位置信息以及指定位置的信息确定飞行数据步骤时，具体实现如下步骤：
根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
获取无人机飞行至目标位置所花费的时间，以得到时间数值；
根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.无人机救援定位方法，其特征在于，包括：
获取救援请求；
根据救援请求生成飞行请求；
发送飞行请求至无人机，以使得无人机飞行至指定位置；
获取救援区域图像；
对救援区域图像进行人体检测和定位，以得到人体位置信息；
根据人体位置信息确定目标位置信息；
根据目标位置信息以及指定位置的信息确定飞行数据；
将飞行数据发送至无人机，以使得无人机飞行至目标位置。
2.根据权利要求1所述的无人机救援定位方法，其特征在于，所述根据救援请求生成飞行请求，包括：
根据救援请求确定救援区域的位置和地形；
确定救援区域的人体数量；
根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
3.根据权利要求1所述的无人机救援定位方法，其特征在于，所述对救援区域图像进行人体检测和定位，以得到人体位置信息，包括：
将救援区域图像输入至神经网络模型内进行人体检测和定位，以得到人体位置信息；其中，所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的。
4.根据权利要求3所述的无人机救援定位方法，其特征在于，所述神经网络模型是通过若干个带有类别标签以及位置标签的俯拍图像数据作为样本集训练深度卷积神经网络所得的，包括：
构建损失函数以及深度卷积神经网络；
获取若干个带有类别标签以及位置标签的俯拍图像数据，以得到样本集；
利用样本集训练深度卷积神经网络，以得到训练结果；
采用损失函数计算训练结果、类别标签以及位置标签的方差，以得到损失值；
判断所述损失值是否超过阈值；
若是，则调整深度卷积神经网络的参数，并返回所述利用样本集训练深度卷积神经网络，以得到训练结果；
若否，则将深度卷积神经网络作为神经网络模型。
5.根据权利要求1所述的无人机救援定位方法，其特征在于，所述根据目标位置信息以及指定位置的信息确定飞行数据，包括：
根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
获取无人机飞行至目标位置所花费的时间，以得到时间数值；
根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
6.无人机救援定位装置，其特征在于，包括：
请求获取单元，用于获取救援请求；
请求生成单元，用于根据救援请求生成飞行请求；
请求发送单元，用于发送飞行请求至无人机，以使得无人机飞行至指定位置；
图像获取单元，用于获取救援区域图像；
定位单元，用于对救援区域图像进行人体检测和定位，以得到人体位置信息；
目标信息获取单元，用于根据人体位置信息确定目标位置信息；
飞行数据确定单元，用于根据目标位置信息以及指定位置的信息确定飞行数据；
飞行数据发送单元，用于将飞行数据发送至无人机，以使得无人机飞行至目标位置。
7.根据权利要求6所述的无人机救援定位装置，其特征在于，所述请求生成单元包括：
位置确定子单元，用于根据救援请求确定救援区域的位置和地形；
数量确定子单元，用于确定救援区域的人体数量；
请求确定子单元，用于根据救援区域的位置、地形以及救援区域的人体数量生成飞行请求。
8.根据权利要求6所述的无人机救援定位装置，其特征在于，所述飞行数据确定单元包括：
三维距离获取子单元，用于根据目标位置信息以及指定位置的信息获取无人机需要飞行的三维距离，以得到目标三维距离；
时间数值获取子单元，用于获取无人机飞行至目标位置所花费的时间，以得到时间数值；
三维速度获取子单元，用于根据目标三维距离以及时间数值确定飞行三维速度，以得到飞行数据。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911033316.XA CN110749324A (zh) | 2019-10-28 | 2019-10-28 | 无人机救援定位方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911033316.XA CN110749324A (zh) | 2019-10-28 | 2019-10-28 | 无人机救援定位方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110749324A true CN110749324A (zh) | 2020-02-04 |
Family
ID=69280517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911033316.XA Pending CN110749324A (zh) | 2019-10-28 | 2019-10-28 | 无人机救援定位方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110749324A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461401A (zh) * | 2020-03-06 | 2020-07-28 | 中国人民解放军海军航空大学青岛校区 | 一种基于海上环境的报位方法 |
| CN111695544A (zh) * | 2020-06-23 | 2020-09-22 | 中国平安人寿保险股份有限公司 | 基于人群检测模型的信息发送方法、装置和计算机设备 |
| CN112887669A (zh) * | 2021-01-15 | 2021-06-01 | 李习平 | 基于太阳能路灯的山地景区救援系统 |
| CN113139418A (zh) * | 2020-12-07 | 2021-07-20 | 西安天和防务技术股份有限公司 | 救援方法、装置及计算机可读存储介质 |
| CN113353211A (zh) * | 2021-06-07 | 2021-09-07 | 海口鑫晟科技有限公司 | 基于无人机的海上搜救定位方法、系统、设备及存储介质 |
| CN114200955A (zh) * | 2021-11-03 | 2022-03-18 | 苏州维伟思医疗科技有限公司 | 一种降落控制方法、装置及计算机可读存储介质 |
| CN114200955B (zh) * | 2021-11-03 | 2024-04-26 | 苏州维伟思医疗科技有限公司 | 一种降落控制方法、装置及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527481A (zh) * | 2016-12-06 | 2017-03-22 | 重庆零度智控智能科技有限公司 | 无人机飞行控制方法、装置及无人机 |
| CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
| CN108009525A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于卷积神经网络的无人机对地特定目标识别方法 |
| CN110109480A (zh) * | 2019-05-21 | 2019-08-09 | 南京邮电大学 | 一种基于多传感器融合的无人机巡查搜救系统及搜救方法 |
| CN110187720A (zh) * | 2019-06-03 | 2019-08-30 | 深圳铂石空间科技有限公司 | 无人机导引方法、装置、系统、介质及电子设备 |
| CN110196601A (zh) * | 2018-02-26 | 2019-09-03 | 北京京东尚科信息技术有限公司 | 无人机控制方法、装置、系统和计算机可读存储介质 |
-
2019
- 2019-10-28 CN CN201911033316.XA patent/CN110749324A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527481A (zh) * | 2016-12-06 | 2017-03-22 | 重庆零度智控智能科技有限公司 | 无人机飞行控制方法、装置及无人机 |
| CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
| CN108009525A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于卷积神经网络的无人机对地特定目标识别方法 |
| CN110196601A (zh) * | 2018-02-26 | 2019-09-03 | 北京京东尚科信息技术有限公司 | 无人机控制方法、装置、系统和计算机可读存储介质 |
| CN110109480A (zh) * | 2019-05-21 | 2019-08-09 | 南京邮电大学 | 一种基于多传感器融合的无人机巡查搜救系统及搜救方法 |
| CN110187720A (zh) * | 2019-06-03 | 2019-08-30 | 深圳铂石空间科技有限公司 | 无人机导引方法、装置、系统、介质及电子设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461401A (zh) * | 2020-03-06 | 2020-07-28 | 中国人民解放军海军航空大学青岛校区 | 一种基于海上环境的报位方法 |
| CN111695544A (zh) * | 2020-06-23 | 2020-09-22 | 中国平安人寿保险股份有限公司 | 基于人群检测模型的信息发送方法、装置和计算机设备 |
| CN111695544B (zh) * | 2020-06-23 | 2023-07-25 | 中国平安人寿保险股份有限公司 | 基于人群检测模型的信息发送方法、装置和计算机设备 |
| CN113139418A (zh) * | 2020-12-07 | 2021-07-20 | 西安天和防务技术股份有限公司 | 救援方法、装置及计算机可读存储介质 |
| CN112887669A (zh) * | 2021-01-15 | 2021-06-01 | 李习平 | 基于太阳能路灯的山地景区救援系统 |
| CN113353211A (zh) * | 2021-06-07 | 2021-09-07 | 海口鑫晟科技有限公司 | 基于无人机的海上搜救定位方法、系统、设备及存储介质 |
| CN114200955A (zh) * | 2021-11-03 | 2022-03-18 | 苏州维伟思医疗科技有限公司 | 一种降落控制方法、装置及计算机可读存储介质 |
| CN114200955B (zh) * | 2021-11-03 | 2024-04-26 | 苏州维伟思医疗科技有限公司 | 一种降落控制方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11218689B2 (en) | Methods and systems for selective sensor fusion | |
| CN110749324A (zh) | 无人机救援定位方法、装置、计算机设备及存储介质 | |
| US20200344464A1 (en) | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects | |
| US10565732B2 (en) | Sensor fusion using inertial and image sensors | |
| EP3158417B1 (en) | Sensor fusion using inertial and image sensors | |
| EP3158293B1 (en) | Sensor fusion using inertial and image sensors | |
| US20200074683A1 (en) | Camera calibration | |
| US9977434B2 (en) | Automatic tracking mode for controlling an unmanned aerial vehicle | |
| US10060746B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
| US8942964B2 (en) | Optical state estimation and simulation environment for unmanned aerial vehicles | |
| EP3158411B1 (en) | Sensor fusion using inertial and image sensors | |
| US20190220039A1 (en) | Methods and system for vision-based landing | |
| US10409292B2 (en) | Movement control method, autonomous mobile robot, and recording medium storing program | |
| WO2019040804A1 (en) | SYSTEMS AND METHODS FOR ENHANCING THE PERFORMANCE OF A ROBOTIC VEHICLE BY MANAGING ON-BOARD CAMERA OBSTRUCTIONS | |
| KR101711602B1 (ko) | 무인 비행 장치를 이용한 안전진단 시스템 및 이의 제어 방법 | |
| Zhao et al. | Vision-aided estimation of attitude, velocity, and inertial measurement bias for UAV stabilization | |
| US20220137647A1 (en) | System and method for operating a movable object based on human body indications | |
| Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
| JP7031997B2 (ja) | 飛行体システム、飛行体、位置測定方法、プログラム | |
| Kummer et al. | Autonomous UAV landing via eye in hand visual servoing | |
| Nakamura et al. | Particle filter for closed-loop detection and tracking from occluded airborne images | |
| Lugo | Autonomous landing of a quadrotor UAV using vision and infrared markers for pose estimation | |
| Armijos | Homography-Based State Estimation for Autonomous Exploration in Unknown Environments | |
| Dean | Real-Time Heading Estimation Using Perspective Features | |
| AZRAD et al. | A209 Localization of MAV in GPS-Denied Environment Using Embedded Stereo Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200204 |