CN110658852A - 用于无人机的智能目标搜寻方法及系统 - Google Patents
用于无人机的智能目标搜寻方法及系统 Download PDFInfo
- Publication number
- CN110658852A CN110658852A CN201910872888.0A CN201910872888A CN110658852A CN 110658852 A CN110658852 A CN 110658852A CN 201910872888 A CN201910872888 A CN 201910872888A CN 110658852 A CN110658852 A CN 110658852A
- Authority
- CN
- China
- Prior art keywords
- target
- unmanned aerial
- character
- aerial vehicle
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 73
- 230000006870 function Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011840 criminal investigation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于无人机的智能目标搜寻方法及系统，所述方法包括各个所述无人机接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机的编号和各个所述无人机的规划路径；各个所述无人机沿所对应的规划路径飞行，并在飞行过程中每隔预设拍摄间隔时间采集图像，识别所述采集图像中是否存在至少一待搜寻的人物目标图像；当无人机识别到待搜寻的人物目标图像时，从人物目标图像中选择一人物目标作为自己的跟踪目标，并将其他的人物目标的位置发送给其他的无人机，其他的无人机可以快速到达对应的人物目标的位置。本发明通过采用多个无人机协同搜寻多个人物目标，提高了目标搜寻效率和跟踪可靠性，适用于大范围推广应用。
Description
技术领域
本发明涉及数据处理技术领域，具体是指一种用于无人机的智能目标搜寻方法及系统。
背景技术
无人机是一种无人驾驶的飞行器，它可以由地面遥控设备进行远程操控或者通过机载电脑自动驾驶。与载人飞行器相比，无人机体积小、造价低、使用方便。由于无人机的非载人特性以及多维度的可操控性等特点，在军事领域、航拍、农业、运输、娱乐等很多领域中得到广泛应用。
在一些领域中，无人机在作业过程中，需要对其目标对象进行识别和跟踪。目前无人机对目标对象进行跟踪，然而现有的无人机在进行目标搜寻时往往效率比较低，并且由于目标的移动性、多变性，在跟踪过程中可能会出现跟丢的情况，目标搜寻和跟踪可靠性不高。
发明内容
本发明提供了一种用于无人机的智能目标搜寻方法及系统，其目的在于克服现有技术中的缺陷，采用多个无人机协同搜寻多个人物目标，提高目标搜寻效率和跟踪可靠性。
为了实现上述目的，本发明具有如下构成：
该用于无人机的智能目标搜寻方法，包括如下步骤：
采用多个无人机对多个人物目标进行协同搜寻，所述无人机的数量大于或等于人物目标的数量，所述方法包括如下步骤：
各个所述无人机接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机的编号和各个所述无人机的规划路径；
各个所述无人机沿所对应的规划路径飞行，并在飞行过程中每隔预设拍摄间隔时间采集图像，识别所述采集图像中是否存在至少一待搜寻的人物目标图像；
如果一所述无人机的采集图像中存在一待搜寻的人物目标图像，则该无人机将该待搜寻的人物目标图像设置为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机；
如果一所述无人机的采集图像中存在两个以上待搜寻的人物目标图像时，所述无人机选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机，且所述无人机将目标跟踪请求发送至其他无人机；
各个所述无人机接收到另一无人机发送的跟踪目标信息时，将该跟踪目标信息所对应的人物目标图像从本机存储的待搜寻的人物目标图像中删除；
各个所述无人机接收到另一无人机发送的目标跟踪请求，且当前本机不存在跟踪目标时，向发送该目标跟踪请求的无人机发送响应请求，发送该目标跟踪请求的无人机向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置；
所述无人机接收到发送该目标跟踪请求的无人机发送的采集图像中未作为跟踪目标的人物目标图像和人物目标位置之后，飞行至所述人物目标位置。
可选地，所述无人机选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，包括如下步骤：
如果采集图像中存在两个待搜寻的人物目标图像时，所述无人机对采集图像中两个人物目标进行人物姿态识别，判断两个人物目标的人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留，如果两个人物目标的人物姿态类型不同，则选择两个人物目标中人物姿态类型的等级高的人物目标作为跟踪目标；
如果采集图像中存在多个两个待搜寻的人物目标图像且人物目标图像的数量为单数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的人物目标作为跟踪目标；
如果采集图像中存在多于两个待搜寻的人物目标图像且人物目标图像的数量为双数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的两个人物目标作为跟踪目标，并对该两个人物目标进行人物姿态识别，判断两个人物目标的人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留，如果两个人物目标的人物姿态类型不同，则选择两个人物目标中人物姿态类型的等级高的人物目标作为跟踪目标。
可选地，所述发送该目标跟踪请求的无人机向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置，包括如下步骤：
发送该目标跟踪请求的无人机识别各个未作为跟踪目标的人物目标图像的人物姿态类型，如果人物姿态类型为停留，则将无人机识别到该人物目标时的位置作为该人物目标位置；
如果人物姿态类型不是停留，则识别人物目标的运动方向，根据预设的人物姿态类型与默认速度的映射关系，计算以该人物姿态类型所对应的默认速度在响应时间内的位移，在无人机识别到该人物目标时的位置向人物目标的运动方向移动计算得到的位移之后的位置，作为该人物目标位置。
可选地，所述响应时间为发送该目标跟踪请求的无人机接收到第一个响应请求的时间与第一次检测到该人物目标的图像的采集时间之间的时间差值。
可选地，发送该目标跟踪请求的无人机识别各个未作为跟踪目标的人物目标图像的人物姿态类型，包括如下步骤：
发送该目标跟踪请求的无人机将各个未作为跟踪目标的人物目标图像输入训练好的人物姿态识别模型，所述人物姿态识别模型为采用包括多个进行姿态标识的人物图像的训练集训练得到的卷积神经网络模型；
从所述人物姿态识别模型中获取输出的人物姿态类型，作为输入的人物目标图像所对应的人物姿态类型。
可选地，所述识别人物目标的运动方向，包括如下步骤：
识别人物目标图像中的脚部图像，判断所述脚部图像中脚尖的朝向方向，作为所述识别人物目标的运动方向。
可选地，所述识别所述采集图像中是否存在至少一待搜寻的人物目标图像，包括如下步骤：
从所述采集图像中识别人脸区域图像，将识别到的人脸区域图像与本机存储的待搜寻的人物目标图像进行图像比对，如果存在一识别到的人脸区域图像与待搜寻的人物目标图像的相似度高于预设相似度阈值，则确定该人脸区域图像对应于该待搜寻的人物目标图像。
可选地，所述无人机确定本机的跟踪目标之后，识别跟踪目标的人物目标图像中目标的人物姿态，确定人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留；
如果人物姿态类型为停留，则将无人机将当前采集到人物目标的位置作为下一时刻飞行位置；
如果人物姿态类型不是停留，则识别人物目标的运动方向，根据预设的人物姿态类型与默认速度的映射关系，计算以该人物姿态类型所对应的默认速度在一个图像采集周期内的位移，根据人物目标的运动方向向前移动的位移确定下一时刻飞行位置；
控制无人机向下一时刻飞行位置飞行，且在每个图像采集周期采集图像。
本发明实施例还提供一种用于无人机的智能目标搜寻系统，应用于所述的用于无人机的智能目标搜寻方法，所述系统包括多个无人机和搜寻服务器，所述系统采用多个无人机对多个人物目标进行协同搜寻，所述无人机的数量大于或等于人物目标的数量；
各个所述无人机包括：
第一通信模块，用于从所述搜寻服务器接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机的编号和各个所述无人机的规划路径，以及用于在确定本季的跟踪目标请求之后，将本机的跟踪目标信息发送至所述搜寻服务器；
飞行控制模块，用于控制所述无人机的飞行速度和飞行方向，所述无人机未确定本机的跟踪目标时，沿所对应的规划路径飞行，所述无人机确定本机的跟踪目标之后，跟踪所述跟踪目标飞行，以及所述无人机接收到发送该目标跟踪请求的无人机发送的采集图像中未作为跟踪目标的人物目标图像和人物目标位置之后，飞行至所述人物目标位置；
图像采集模块，用于在所述无人机的飞行过程中每隔预设拍摄间隔时间采集图像；
目标识别模块，用于识别所述采集图像中是否存在至少一待搜寻的人物目标图像，如果一所述无人机的采集图像中存在一待搜寻的人物目标图像，则所述目标识别模块将该待搜寻的人物目标图像设置为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机；如果一所述无人机的采集图像中存在两个以上待搜寻的人物目标图像时，所述目标识别模块选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机，且所述无人机将目标跟踪请求发送至其他无人机，并向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置；
第二通信模块，用于与各个其他所述无人机进行通信，所述第二通信模块接收到另一无人机发送的跟踪目标信息时，将该跟踪目标信息所对应的人物目标图像从本机存储的待搜寻的人物目标图像中删除；所述第二通信模块接收到另一无人机发送的目标跟踪请求，且当前本机不存在跟踪目标时，向发送该目标跟踪请求的无人机发送响应请求。
可选地，各个所述无人机还包括：
目标姿态识别模块，用于对采集图像中的人物目标进行姿态识别，确定人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留。
采用了该发明中的用于无人机的智能目标搜寻方法及系统，具有如下有益效果：
本发明通过采用多个无人机协同搜寻多个人物目标，每个无人机在确认人物目标之前沿规划路径执行搜寻任务，在确认本机的跟踪目标之后，执行跟踪任务，并且在识别到多个人物目标之前，将本机无法同时跟踪的人物目标的位置发送给其他无人机，大大提高了目标搜寻效率；进一步地，本发明的无人机在执行跟踪任务时，根据人物目标的姿态预测人物目标的下一时刻位置，提高跟踪可靠性，避免在跟踪过程中出行跟丢的过程；本发明可以应用于录制节目时对各个嘉宾的跟踪航拍、也可以用于举办大型活动时对于特定人群的跟踪、或者应用于刑侦中对目标人物的跟踪等，适用于大范围推广应用。
附图说明
图1为本发明一实施例的用于无人机的智能目标搜寻方法的流程图；
图2为本发明一实施例的用于无人机的智能目标搜寻系统的结构示意图；
图3为本发明一实施例的无人机的内部组成结构示意图。
附图标记：
无人机M100
搜寻服务器M200
第一通信模块M110
飞行控制模块M120
图像采集模块M130
目标识别模块M140
第二通信模块M150
目标姿态识别模块M160
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
为了解决现有技术中的技术问题，本发明提供了一种用于无人机的智能目标搜寻方法，采用多个无人机对多个人物目标进行协同搜寻，所述无人机的数量大于或等于人物目标的数量，最终希望实现的目标是对于每个人物目标，至少有一个无人机对其进行跟踪。
如图1所示，在本发明一实施例中，所述用于无人机的智能目标搜寻方法包括如下步骤：
各个所述无人机接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机的编号和各个所述无人机的规划路径；搜寻任务可以从搜寻服务器中获取，搜寻服务器根据无人机的数量和人物目标可能所处的位置进行搜寻任务安排，具体搜寻任务安排可以是搜寻服务器自动进行任务分配和路径规划，也可以是工作人员通过搜寻服务器进行任务分配和路径规划；
各个所述无人机在没有确定自己的跟踪目标之前，沿所对应的规划路径飞行，并在飞行过程中每隔预设拍摄间隔时间采集图像，识别所述采集图像中是否存在至少一待搜寻的人物目标图像；此处识别采集图像中是否存在至少一待搜寻的人物目标图像，指的是无人机没有确定自己的跟踪目标之前进行识别，确定自己的跟踪目标之后，只需要在每个图像采集周期采集图像并识别是否存在跟踪目标的人物目标图像即可；
在该实施例中，所述识别所述采集图像中是否存在至少一待搜寻的人物目标图像，包括如下步骤：
从所述采集图像中识别人脸区域图像，将识别到的人脸区域图像与本机存储的待搜寻的人物目标图像进行图像比对，如果存在一识别到的人脸区域图像与待搜寻的人物目标图像的相似度高于预设相似度阈值，则确定该人脸区域图像对应于该待搜寻的人物目标图像。
在其他的实施方式中，也可以采用其他的方式进行人脸识别，例如采用训练好的深度学习模型进行识别，输出人脸区域图像为各个待搜寻的人物目标图像的概率，如果概率大于预设阈值，则说明识别到对应的人物目标图像。
如果一所述无人机的采集图像中存在一待搜寻的人物目标图像，则该无人机将该待搜寻的人物目标图像设置为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机，在确定本机的跟踪目标之后，该无人机的后续任务就不再是执行搜寻任务，而是执行跟踪任务，即跟随对应的跟踪目标飞行，而不再沿着搜寻任务的规划路径飞行；
如果一所述无人机的采集图像中存在两个以上待搜寻的人物目标图像时，所述无人机选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机，且所述无人机将目标跟踪请求发送至其他无人机；
各个所述无人机接收到另一无人机发送的跟踪目标信息时，将该跟踪目标信息所对应的人物目标图像从本机存储的待搜寻的人物目标图像中删除，避免其他的无人机在采集图像之后进行无用的图像识别，并且也避免多个无人机跟踪同一个人物目标而导致有的人物目标可能会没有无人机跟踪；
各个所述无人机接收到另一无人机发送的目标跟踪请求，且当前本机不存在跟踪目标时，向发送该目标跟踪请求的无人机发送响应请求，发送该目标跟踪请求的无人机向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置；同时，无人机在向第一个响应请求所对应的无人机发送人物目标图像和人物目标位置之后，可以对后续发送响应请求的无人机发送人物目标已转移的通知，其他无人机无需再继续等待该发送目标跟踪请求的无人机的后续指示信息；
所述无人机接收到发送该目标跟踪请求的无人机发送的采集图像中未作为跟踪目标的人物目标图像和人物目标位置之后，飞行至所述人物目标位置，然后该无人机采集图像并识别是否存在人物目标图像，如果存在，则将对应的人物目标设定为本机的跟踪目标，然后不再执行搜寻任务，而是执行跟随该跟踪目标的跟踪任务。
因此，本发明的用于无人机的智能目标搜寻方法通过采用多个无人机协同搜寻多个人物目标，每个无人机在确认人物目标之前沿规划路径执行搜寻任务，在确认本机的跟踪目标之后，执行跟踪任务，并且在识别到多个人物目标之前，将本机无法同时跟踪的人物目标的位置发送给其他无人机，大大提高了目标搜寻效率；进一步地，在从多个人物目标图像中选择跟踪目标时，可以有策略地进行选择，保证其他无人机飞到对应位置后能够尽快找到人物目标，也保证本机能够更好地执行跟踪任务，避免出现目标跟丢的情况。
在该实施例中，所述无人机选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，包括如下步骤：
如果采集图像中存在两个待搜寻的人物目标图像时，所述无人机对采集图像中两个人物目标进行人物姿态识别，判断两个人物目标的人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留，如果两个人物目标的人物姿态类型不同，则选择两个人物目标中人物姿态类型的等级高的人物目标作为跟踪目标；即无人机优先选择运动速度比较快的人物目标作为自己的跟踪目标，因此本机距离各个人物目标比较近，更容易跟上该运动速度比较快的人物目标，而其他无人机飞过来还需要一段时间，因此优选运动速度比较慢甚至是停留在原位的人物目标给其他无人机，便于其他无人机飞过来之后快速找到对应的人物目标。
如果采集图像中存在多个两个待搜寻的人物目标图像且人物目标图像的数量为单数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的人物目标作为跟踪目标；此处处在中部的人物目标，指的是对于一个人物目标，其两侧的人物目标的数量相同。这样无人机可以更方便地确定两侧的其他人物目标的位置和姿态。
如果采集图像中存在多于两个待搜寻的人物目标图像且人物目标图像的数量为双数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的两个人物目标作为跟踪目标，并对该两个人物目标进行人物姿态识别，判断两个人物目标的人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留，如果两个人物目标的人物姿态类型不同，则选择两个人物目标中人物姿态类型的等级高的人物目标作为跟踪目标。
在该实施例中，所述发送该目标跟踪请求的无人机向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置，包括如下步骤：
发送该目标跟踪请求的无人机识别各个未作为跟踪目标的人物目标图像的人物姿态类型，如果人物姿态类型为停留，则将无人机识别到该人物目标时的位置作为该人物目标位置；
如果人物姿态类型不是停留，则识别人物目标的运动方向，根据预设的人物姿态类型与默认速度的映射关系，计算以该人物姿态类型所对应的默认速度在响应时间内的位移，在无人机识别到该人物目标时的位置向人物目标的运动方向移动计算得到的位移之后的位置，作为该人物目标位置。因此无人机根据人物姿态的不同选择不同的方式预测人物目标位置，更加有利于其他无人机在飞过来之后快速地找到对应的人物目标。其中，所述响应时间为发送该目标跟踪请求的无人机接收到第一个响应请求的时间与第一次检测到该人物目标的图像的采集时间之间的时间差值。因为这两个时间是可以确定的时间点，可以计算得到一个准确的时间差值。
在该实施例中，发送该目标跟踪请求的无人机识别各个未作为跟踪目标的人物目标图像的人物姿态类型，包括如下步骤：
发送该目标跟踪请求的无人机将各个未作为跟踪目标的人物目标图像输入训练好的人物姿态识别模型，所述人物姿态识别模型为采用包括多个进行姿态标识的人物图像的训练集训练得到的卷积神经网络模型；卷积神经网络模型是深度学习网络模型的一种，可以包括输入层、卷积层、池化层、全连接层和softmax分类层。
其中，卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络的输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组。卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑。卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(bias vector)，类似于一个前馈神经网络的神经元(neuron)。在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。softmax是个十分重要的函数，尤其在多分类的场景中使用广泛。其可以把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。
从所述人物姿态识别模型中获取输出的人物姿态类型，作为输入的人物目标图像所对应的人物姿态类型。
其中，训练集可以是预先采集人的多个姿态类型的多张照片，并且多张照片分别进行了姿态类型的标记。在采集人的多个姿态类型的照片时，可以采集不同性别、不同年龄、不同身高、不同身材的人的多个姿态的多张照片，提高样本多样性，提高人物姿态识别模型的识别准确率。
进一步地，在采集图像中存在两个待搜寻的人物目标图像时，所述无人机对采集图像中两个人物目标进行人物姿态识别也可以采用该人物姿态识别模型来进行人物姿态识别。此外，如果采集图像中存在多于两个待搜寻的人物目标图像且人物目标图像的数量为双数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的两个人物目标作为跟踪目标，并对该两个人物目标进行人物姿态识别，也可以采用该人物姿态识别模型进行人物姿态识别。
一般人在运动过程中，运动方向总是与自己的脚尖方向一致的。因此，在该实施例中，所述识别人物目标的运动方向，包括如下步骤：
识别人物目标图像中的脚部图像，判断所述脚部图像中脚尖的朝向方向，作为所述识别人物目标的运动方向。
在该实施例中，所述无人机确定本机的跟踪目标之后，为了更好地执行跟踪任务，更好地跟随该跟踪目标，所示无人机进一步识别跟踪目标的人物目标图像中目标的人物姿态，确定人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留。此处人物姿态的识别也可以采用该人物姿态识别模型来识别得到。
如果人物姿态类型为停留，则将无人机将当前采集到人物目标的位置作为下一时刻飞行位置，即无人机随跟踪目标在原地进行停留；
如果人物姿态类型不是停留，则识别人物目标的运动方向，根据预设的人物姿态类型与默认速度的映射关系，计算以该人物姿态类型所对应的默认速度在一个图像采集周期内的位移，根据人物目标的运动方向向前移动的位移确定下一时刻飞行位置；
控制无人机向下一时刻飞行位置飞行，且在每个图像采集周期采集图像。
如图2所示，本发明实施例还提供一种用于无人机的智能目标搜寻系统，应用于所述的用于无人机的智能目标搜寻方法，所述系统包括多个无人机M100和搜寻服务器M200，多个无人机M100均可以与搜寻服务器M200进行通信，多个无人机M100之间也可以直接通信。所述智能目标搜寻系统采用多个无人机M100对多个人物目标进行协同搜寻，所述无人机M100的数量大于或等于人物目标的数量，最终目标是能够实现每个人物目标都有至少一个无人机M100在跟踪。
如图3所示，各个所述无人机包括如下功能模块：
第一通信模块M110，用于从所述搜寻服务器M200接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机M100的编号和各个所述无人机M100的规划路径，以及用于在确定本季的跟踪目标请求之后，将本机的跟踪目标信息发送至所述搜寻服务器M200；
飞行控制模块M120，用于控制所述无人机M100的飞行速度和飞行方向，所述无人机M100未确定本机的跟踪目标时，沿所对应的规划路径飞行，所述无人机M100确定本机的跟踪目标之后，跟踪所述跟踪目标飞行，以及所述无人机M100接收到发送该目标跟踪请求的无人机M100发送的采集图像中未作为跟踪目标的人物目标图像和人物目标位置之后，飞行至所述人物目标位置；
图像采集模块M130，用于在所述无人机M100的飞行过程中每隔预设拍摄间隔时间采集图像；
目标识别模块M140，用于识别所述采集图像中是否存在至少一待搜寻的人物目标图像，如果一所述无人机M100的采集图像中存在一待搜寻的人物目标图像，则所述目标识别模块M140将该待搜寻的人物目标图像设置为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机M100；如果一所述无人机M100的采集图像中存在两个以上待搜寻的人物目标图像时，所述目标识别模块M140选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机M100，且所述无人机M100将目标跟踪请求发送至其他无人机M100，并向接收到的第一个响应请求所对应的无人机M100发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置；
第二通信模块M150，用于与各个其他所述无人机M100进行通信，所述第二通信模块M150接收到另一无人机M100发送的跟踪目标信息时，将该跟踪目标信息所对应的人物目标图像从本机存储的待搜寻的人物目标图像中删除；所述第二通信模块M150接收到另一无人机M100发送的目标跟踪请求，且当前本机不存在跟踪目标时，向发送该目标跟踪请求的无人机M100发送响应请求。
因此，本发明的用于无人机M100的智能目标搜寻系统通过采用多个无人机M100协同搜寻多个人物目标，每个无人机M100在确认人物目标之前沿搜寻服务器M200分配的规划路径执行搜寻任务，在确认本机的跟踪目标之后，执行跟踪任务，并且在识别到多个人物目标之前，将本机无法同时跟踪的人物目标的位置发送给其他无人机M100，大大提高了目标搜寻效率。
如图3所示，在该实施例中，各个所述无人机M100还包括：
目标姿态识别模块M160，用于对采集图像中的人物目标进行姿态识别，确定人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留。识别到的姿态可以用于无人机M100在多个识别到的人物目标中选择自己的跟踪目标，也可以用于在执行跟踪任务时更好地预测人物目标的下一时刻位置。
在该种用于无人机M100的智能目标搜寻系统中，各个功能模块的功能均可以采用上述用于无人机M100的智能目标搜寻方法中各个步骤的具体实施方式来实现，在此不予赘述。
与现有技术相比，采用了该发明中的用于无人机的智能目标搜寻方法及系统，具有如下有益效果：
本发明通过采用多个无人机协同搜寻多个人物目标，每个无人机在确认人物目标之前沿规划路径执行搜寻任务，在确认本机的跟踪目标之后，执行跟踪任务，并且在识别到多个人物目标之前，将本机无法同时跟踪的人物目标的位置发送给其他无人机，大大提高了目标搜寻效率；进一步地，本发明的无人机在执行跟踪任务时，根据人物目标的姿态预测人物目标的下一时刻位置，提高跟踪可靠性，避免在跟踪过程中出行跟丢的过程；本发明可以应用于录制节目时对各个嘉宾的跟踪航拍、也可以用于举办大型活动时对于特定人群的跟踪、或者应用于刑侦中对目标人物的跟踪等，适用于大范围推广应用。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (10)
1.一种用于无人机的智能目标搜寻方法，其特征在于，采用多个无人机对多个人物目标进行协同搜寻，所述无人机的数量大于或等于人物目标的数量，所述方法包括如下步骤：
各个所述无人机接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机的编号和各个所述无人机的规划路径；
各个所述无人机沿所对应的规划路径飞行，并在飞行过程中每隔预设拍摄间隔时间采集图像，识别所述采集图像中是否存在至少一待搜寻的人物目标图像；
如果一所述无人机的采集图像中存在一待搜寻的人物目标图像，则该无人机将该待搜寻的人物目标图像设置为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机；
如果一所述无人机的采集图像中存在两个以上待搜寻的人物目标图像时，所述无人机选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机，且所述无人机将目标跟踪请求发送至其他无人机；
各个所述无人机接收到另一无人机发送的跟踪目标信息时，将该跟踪目标信息所对应的人物目标图像从本机存储的待搜寻的人物目标图像中删除；
各个所述无人机接收到另一无人机发送的目标跟踪请求，且当前本机不存在跟踪目标时，向发送该目标跟踪请求的无人机发送响应请求，发送该目标跟踪请求的无人机向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置；
所述无人机接收到发送该目标跟踪请求的无人机发送的采集图像中未作为跟踪目标的人物目标图像和人物目标位置之后，飞行至所述人物目标位置。
2.根据权利要求1所述的用于无人机的智能目标搜寻方法，其特征在于，所述无人机选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，包括如下步骤：
如果采集图像中存在两个待搜寻的人物目标图像时，所述无人机对采集图像中两个人物目标进行人物姿态识别，判断两个人物目标的人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留，如果两个人物目标的人物姿态类型不同，则选择两个人物目标中人物姿态类型的等级高的人物目标作为跟踪目标；
如果采集图像中存在多个两个待搜寻的人物目标图像且人物目标图像的数量为单数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的人物目标作为跟踪目标；
如果采集图像中存在多于两个待搜寻的人物目标图像且人物目标图像的数量为双数时，则所述无人机选择位于多个两个待搜寻的人物目标的中部的两个人物目标作为跟踪目标，并对该两个人物目标进行人物姿态识别，判断两个人物目标的人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留，如果两个人物目标的人物姿态类型不同，则选择两个人物目标中人物姿态类型的等级高的人物目标作为跟踪目标。
3.根据权利要求2所述的用于无人机的智能目标搜寻方法，其特征在于，所述发送该目标跟踪请求的无人机向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置，包括如下步骤：
发送该目标跟踪请求的无人机识别各个未作为跟踪目标的人物目标图像的人物姿态类型，如果人物姿态类型为停留，则将无人机识别到该人物目标时的位置作为该人物目标位置；
如果人物姿态类型不是停留，则识别人物目标的运动方向，根据预设的人物姿态类型与默认速度的映射关系，计算以该人物姿态类型所对应的默认速度在响应时间内的位移，在无人机识别到该人物目标时的位置向人物目标的运动方向移动计算得到的位移之后的位置，作为该人物目标位置。
4.根据权利要求3所述的用于无人机的智能目标搜寻方法，其特征在于，所述响应时间为发送该目标跟踪请求的无人机接收到第一个响应请求的时间与第一次检测到该人物目标的图像的采集时间之间的时间差值。
5.根据权利要求3所述的用于无人机的智能目标搜寻方法，其特征在于，发送该目标跟踪请求的无人机识别各个未作为跟踪目标的人物目标图像的人物姿态类型，包括如下步骤：
发送该目标跟踪请求的无人机将各个未作为跟踪目标的人物目标图像输入训练好的人物姿态识别模型，所述人物姿态识别模型为采用包括多个进行姿态标识的人物图像的训练集训练得到的卷积神经网络模型；
从所述人物姿态识别模型中获取输出的人物姿态类型，作为输入的人物目标图像所对应的人物姿态类型。
6.根据权利要求5所述的用于无人机的智能目标搜寻方法，其特征在于，所述识别人物目标的运动方向，包括如下步骤：
识别人物目标图像中的脚部图像，判断所述脚部图像中脚尖的朝向方向，作为所述识别人物目标的运动方向。
7.根据权利要求1所述的用于无人机的智能目标搜寻方法，其特征在于，所述识别所述采集图像中是否存在至少一待搜寻的人物目标图像，包括如下步骤：
从所述采集图像中识别人脸区域图像，将识别到的人脸区域图像与本机存储的待搜寻的人物目标图像进行图像比对，如果存在一识别到的人脸区域图像与待搜寻的人物目标图像的相似度高于预设相似度阈值，则确定该人脸区域图像对应于该待搜寻的人物目标图像。
8.根据权利要求1所述的用于无人机的智能目标搜寻方法，其特征在于，所述无人机确定本机的跟踪目标之后，识别跟踪目标的人物目标图像中目标的人物姿态，确定人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留；
如果人物姿态类型为停留，则将无人机将当前采集到人物目标的位置作为下一时刻飞行位置；
如果人物姿态类型不是停留，则识别人物目标的运动方向，根据预设的人物姿态类型与默认速度的映射关系，计算以该人物姿态类型所对应的默认速度在一个图像采集周期内的位移，根据人物目标的运动方向向前移动的位移确定下一时刻飞行位置；
控制无人机向下一时刻飞行位置飞行，且在每个图像采集周期采集图像。
9.一种用于无人机的智能目标搜寻系统，其特征在于，应用于权利要求1至8中任一项所述的用于无人机的智能目标搜寻方法，所述系统包括多个无人机和搜寻服务器，所述系统采用多个无人机对多个人物目标进行协同搜寻，所述无人机的数量大于或等于人物目标的数量；
各个所述无人机包括：
第一通信模块，用于从所述搜寻服务器接收搜寻任务并存储，所述搜寻任务包括待搜寻的人物目标图像、各个所述无人机的编号和各个所述无人机的规划路径，以及用于在确定本季的跟踪目标请求之后，将本机的跟踪目标信息发送至所述搜寻服务器；
飞行控制模块，用于控制所述无人机的飞行速度和飞行方向，所述无人机未确定本机的跟踪目标时，沿所对应的规划路径飞行，所述无人机确定本机的跟踪目标之后，跟踪所述跟踪目标飞行，以及所述无人机接收到发送该目标跟踪请求的无人机发送的采集图像中未作为跟踪目标的人物目标图像和人物目标位置之后，飞行至所述人物目标位置；
图像采集模块，用于在所述无人机的飞行过程中每隔预设拍摄间隔时间采集图像；
目标识别模块，用于识别所述采集图像中是否存在至少一待搜寻的人物目标图像，如果一所述无人机的采集图像中存在一待搜寻的人物目标图像，则所述目标识别模块将该待搜寻的人物目标图像设置为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机；如果一所述无人机的采集图像中存在两个以上待搜寻的人物目标图像时，所述目标识别模块选择该两个以上待搜寻的人物目标图像中的一个作为本机的跟踪目标，并将本机的跟踪目标信息发送至其他各个所述无人机，且所述无人机将目标跟踪请求发送至其他无人机，并向接收到的第一个响应请求所对应的无人机发送采集图像中未作为跟踪目标的人物目标图像和人物目标位置；
第二通信模块，用于与各个其他所述无人机进行通信，所述第二通信模块接收到另一无人机发送的跟踪目标信息时，将该跟踪目标信息所对应的人物目标图像从本机存储的待搜寻的人物目标图像中删除；所述第二通信模块接收到另一无人机发送的目标跟踪请求，且当前本机不存在跟踪目标时，向发送该目标跟踪请求的无人机发送响应请求。
10.根据权利要求9所述的用于无人机的智能目标搜寻系统，其特征在于，各个所述无人机还包括：
目标姿态识别模块，用于对采集图像中的人物目标进行姿态识别，确定人物姿态类型，所述人物姿态类型包括等级从高到低的快跑、慢跑、行走和停留。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910872888.0A CN110658852A (zh) | 2019-09-16 | 2019-09-16 | 用于无人机的智能目标搜寻方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910872888.0A CN110658852A (zh) | 2019-09-16 | 2019-09-16 | 用于无人机的智能目标搜寻方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110658852A true CN110658852A (zh) | 2020-01-07 |
Family
ID=69037089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910872888.0A Withdrawn CN110658852A (zh) | 2019-09-16 | 2019-09-16 | 用于无人机的智能目标搜寻方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110658852A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506104A (zh) * | 2020-04-03 | 2020-08-07 | 北京邮电大学 | 一种规划无人机位置的方法及装置 |
| CN112699752A (zh) * | 2020-12-22 | 2021-04-23 | 安徽配隆天环保科技有限公司 | 一种无人机特征标的自动跟踪取证系统 |
| CN112987765A (zh) * | 2021-03-05 | 2021-06-18 | 北京航空航天大学 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
| CN113050698A (zh) * | 2021-03-29 | 2021-06-29 | 深圳市道通智能航空技术股份有限公司 | 一种搜寻目标物的方法、装置、无人机设备及存储介质 |
| WO2021179125A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳市大疆创新科技有限公司 | 监控系统、监控方法、移动平台和远程设备 |
| CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊系统及其工作方法 |
| CN114155281A (zh) * | 2021-12-02 | 2022-03-08 | 北京航空航天大学 | 一种无人机目标跟踪自动初始化方法 |
| CN114863688A (zh) * | 2022-07-06 | 2022-08-05 | 深圳联和智慧科技有限公司 | 一种基于无人机的渣土车智能定位方法及系统 |
| CN116012787A (zh) * | 2023-01-10 | 2023-04-25 | 山东高速建设管理集团有限公司 | 一种基于高空气球与无人机蜂群的安全监测方法及系统 |
| WO2023178495A1 (zh) * | 2022-03-21 | 2023-09-28 | 深圳市大疆创新科技有限公司 | 无人机、控制终端、服务器及其控制方法 |
-
2019
- 2019-09-16 CN CN201910872888.0A patent/CN110658852A/zh not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021179125A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳市大疆创新科技有限公司 | 监控系统、监控方法、移动平台和远程设备 |
| CN111506104B (zh) * | 2020-04-03 | 2021-10-01 | 北京邮电大学 | 一种规划无人机位置的方法及装置 |
| CN111506104A (zh) * | 2020-04-03 | 2020-08-07 | 北京邮电大学 | 一种规划无人机位置的方法及装置 |
| CN112699752A (zh) * | 2020-12-22 | 2021-04-23 | 安徽配隆天环保科技有限公司 | 一种无人机特征标的自动跟踪取证系统 |
| CN112987765B (zh) * | 2021-03-05 | 2022-03-15 | 北京航空航天大学 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
| CN112987765A (zh) * | 2021-03-05 | 2021-06-18 | 北京航空航天大学 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
| CN113050698A (zh) * | 2021-03-29 | 2021-06-29 | 深圳市道通智能航空技术股份有限公司 | 一种搜寻目标物的方法、装置、无人机设备及存储介质 |
| CN113050698B (zh) * | 2021-03-29 | 2024-03-01 | 深圳市道通智能航空技术股份有限公司 | 一种搜寻目标物的方法、装置、无人机设备及存储介质 |
| CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊系统及其工作方法 |
| CN114155281A (zh) * | 2021-12-02 | 2022-03-08 | 北京航空航天大学 | 一种无人机目标跟踪自动初始化方法 |
| WO2023178495A1 (zh) * | 2022-03-21 | 2023-09-28 | 深圳市大疆创新科技有限公司 | 无人机、控制终端、服务器及其控制方法 |
| CN114863688A (zh) * | 2022-07-06 | 2022-08-05 | 深圳联和智慧科技有限公司 | 一种基于无人机的渣土车智能定位方法及系统 |
| CN116012787A (zh) * | 2023-01-10 | 2023-04-25 | 山东高速建设管理集团有限公司 | 一种基于高空气球与无人机蜂群的安全监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110658852A (zh) | 用于无人机的智能目标搜寻方法及系统 | |
| Kellenberger et al. | Half a percent of labels is enough: Efficient animal detection in UAV imagery using deep CNNs and active learning | |
| Aker et al. | Using deep networks for drone detection | |
| Andrew et al. | Aerial animal biometrics: Individual friesian cattle recovery and visual identification via an autonomous uav with onboard deep inference | |
| US20200034620A1 (en) | Self-reliant autonomous mobile platform | |
| Huang et al. | Structure from motion technique for scene detection using autonomous drone navigation | |
| Leira et al. | Object detection, recognition, and tracking from UAVs using a thermal camera | |
| Xu et al. | A cascade adaboost and CNN algorithm for drogue detection in UAV autonomous aerial refueling | |
| Chun et al. | Robot surveillance and security | |
| Vivaldini et al. | UAV route planning for active disease classification | |
| CN110109482A (zh) | 基于ssd神经网络的目标跟踪系统 | |
| Delmerico et al. | “on-the-spot training” for terrain classification in autonomous air-ground collaborative teams | |
| CN106650965A (zh) | 一种远程视频处理方法及装置 | |
| CN112927264A (zh) | 一种无人机跟踪拍摄系统及其rgbd跟踪方法 | |
| Cigla et al. | Onboard stereo vision for drone pursuit or sense and avoid | |
| Khan et al. | Learning safe recovery trajectories with deep neural networks for unmanned aerial vehicles | |
| CN117036989A (zh) | 基于计算机视觉的微型无人机目标识别与跟踪控制方法 | |
| KR102210404B1 (ko) | 위치 정보 추출 장치 및 방법 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| Patrona et al. | An overview of hand gesture languages for autonomous UAV handling | |
| Rückin et al. | Informative path planning for active learning in aerial semantic mapping | |
| KR102349818B1 (ko) | 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론 | |
| Basit et al. | Joint localization of pursuit quadcopters and target using monocular cues | |
| Blum et al. | Active learning for UAV-based semantic mapping | |
| Sekeroglu et al. | Image processing in unmanned aerial vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200107 |