基于无人机的追踪方法、系统、无人机及终端
技术领域
本发明涉及无人机技术领域,尤其涉及一种基于无人机的追踪方法、系统、无人机及终端。
背景技术
现有很多无人机实现目标追踪是通过用户在无人机回传的实时图像中选择目标区域;然后由无人机或者终端根据用户设置的区域进行目标识别;最后再由无人机对目标实现追踪。但是在很多场合,例如,无人机由于通信传输质量较差无法及时回传实时图像,用户无法根据无人机传回的图像来选择目标以使无人机实现目标追踪。
发明内容
本发明实施例提供一种基于无人机的追踪方法、以及应用该方法的系统与终端,可适用的场合更广。
本发明第一方面提供一种基于无人机的追踪方法,其方法可包括:所述无人机根据获取的搜寻指令飞行并获取实时图像;
所述无人机根据来自终端的目标信息和当前获取的实时图像,从所述当前获取的实时图像中提取出需要追踪对象信息;
所述无人机计算所述目标信息与需要追踪对象信息的匹配度;
若所述计算出的匹配度大于预设的匹配度,所述无人机将反馈信息给发送给所述终端以供所述终端根据反馈信息产生追踪指令;
若接收到来自所述终端的追踪指令,所述无人机发送需要追踪对象的当前追踪信息给所述终端。
本发明第二方面提供一种无人机,其可包括:
第一存储器,用于存储第一计算机可读程序;以及
第一处理器,用于执行所述第一计算机可读程序以实现追踪方法,所述方法包括:
根据获取的搜寻指令飞行并获取实时图像;
根据来自终端的目标信息和当前获取的实时图像,从所述当前获取的实时图像中提取出需要追踪对象信息;
计算所述目标信息与需要追踪对象信息的匹配度;
若所述计算出的匹配度大于预设的匹配度,将反馈信息给发送给所述终端以供所述终端根据反馈信息产生追踪指令;以及
若接收到来自所述终端的追踪指令,对所述相应对象进行追踪,并发送相应的追踪信息给终端。
本发明第三方面还提供一种终端,所述终端包括:
第二存储器,用于存储第二计算机可读程序;以及
第二处理器,用于执行所述第二计算机可读程序以实现追踪方法,所述方法包括:
发送搜寻指令给无人机以控制所述无人机按照搜寻指令飞行以及获取实时图像;
若接收到来自无人机的反馈信息,根据所述反馈信息识别是否向需要所述无人机发送追踪指令;
若识别出需要向所述无人机发送所述追踪指令,向所述无人机发送追踪指令以控制所述无人机回传需要追踪对象的当前追踪信息。
本发明第四方面提供一种基于无人机的追踪系统,所述追踪系统包括无人机和终端;所述无人机包括第一存储器,用于存储第一计算机可读程序;以及
第一处理器,用于执行所述第一计算机可读程序以实现追踪方法,所述方法包括:
根据获取的搜寻指令飞行并获取实时图像;
根据来自所述终端的目标信息和当前获取的实时图像,从所述当前获取的实时图像中提取出需要追踪对象信息;
计算所述目标信息与需要追踪对象信息的匹配度;
若所述计算出的匹配度大于预设的匹配度,将反馈信息给发送给所述终端以供所述终端根据反馈信息产生追踪指令;以及
若接收到来自所述终端的追踪指令,对所述相应对象进行追踪,并发送相应的追踪信息给终端;
所述终端,包括:
第二存储器,用于存储第二计算机可读程序;以及
第二处理器,用于执行所述第二计算机可读程序以实现追踪方法,所述方法包括:
发送所述搜寻指令给所述无人机以控制所述无人机按照搜寻指令飞行以及获取实时图像;
若接收到来自无人机的反馈信息,根据所述反馈信息判断是否向需要所述无人机发送所述追踪指令;
若判断出需要向所述无人机发送所述追踪指令,向所述无人机发送追踪指令。
由上可见,本发明实施例提供一种基于无人机的追踪方法、及应用该方法的系统与终端,用户可通过终端直接发送追踪目标信息给无人机,无人机就可以根据该追踪目标信息进行识别和追踪,无需在无人机回传的实时图像中选择追踪目标,应用的场合更广。
附图说明
图1为本发明第一实施方式的追踪方法的第一实施例的流程示意图;
图2为本发明第一实施方式的追踪系统的第一实施例的示意图;
图3为本发明第一实施方式的追踪方法的第二实施例的流程示意图;
图4为本发明第一实施方式例的追踪方法的第三实施例的流程示意图;
图5为本发明第一实施方式的追踪方法的第四实施例的流程示意图;
图6为本发明第一实施方式的追踪方法的第三实施例示意图。
图7为本发明第一实施方式的追踪方法的第四实施例的流程示意图;
图8为本发明第一实施方式例的追踪方法的第五实施例的流程示意图;
图9为本发明第二实施方式的追踪方法的第一实施例的流程示意图;
图10为本发明第二实施方式的追踪系统的第一实施例的流程示意图;
图11为本发明第二实施方式的追踪方法的第二实施例的流程示意图;
图12为本发明第二实施方式的追踪方法的第三实施例的流程示意图;
图13为本发明第二实施方式的追踪方法的第四实施例的流程示意图;
图14为本发明第二实施方式的追踪方法的第五实施例的流程示意图;
图15为本发明第二实施方式的追踪方法的子流程第一实施例示意图;
图16为本发明第二实施方式的追踪方法的子流程第二实施例示意图;
图17为本发明第二实施方式的追踪方法的子流程第三实施例示意图;
图18为本发明第二实施方式的追踪方法的第六实施例的流程示意图;
图19为本发明第二实施方式的追踪方法的第七实施例的流程示意图;
图20为本发明第一实施方式的追踪系统的功能模块示意图;
图21为本发明第二实施方式的追踪系统的功能模块示意图;
图22为本发明第二实施方式的追踪系统的子功能模块第一实施例示意图;
图23为本发明第二实施方式的追踪系统的子功能模块第二实施例示意图;
图24为本发明实施例的终端的第一实施例结构示意图;
图25为本发明实施例的终端的第二实施例结构示意。
具体实施方式
本发明实施例提供一种基于无人机的追踪方法、及应用该方法的系统与终端,用户可通过终端直接发送追踪目标信息给无人机,无人机就可以根据该追踪目标信息进行识别和追踪,无需在无人机回传的实时图像中选择追踪目标,应用的场合更广。
图1和图2分别为本发明实施例的一种基于无人机的追踪方法流程示意图和该追踪方法的运行环境示意图。在本实施例中,终端10通过地面站30与无人机20通讯。用户可通过终端10操控无人机20来实现该追踪方法。如图1所示,该追踪方法包括:
步骤S101,无人机20根据获取的搜寻指令飞行并获取实时图像。在本实施例中,该搜寻指令由终端10发送给无人机20。具体地,终端10响应用户操作发送该搜寻指令给无人机20。例如,追踪目标是车辆或者人物,用户可以根据追踪目标可能的活动范围或者踪迹设置相应的搜寻策略。搜寻策略包括飞行策略,如无人机搜寻路径、姿态、方位、空速等。搜寻策略还包括图像获取策略,如拍摄方式、拍摄光线、取景策略等。用户通过终端设置相应的搜寻策略从而生成搜寻指令并发送给该无人机。无人机获取到该搜寻指令后根据搜寻指令进行飞行。
步骤S103,无人机20根据来自终端10的追踪目标信息和当前获取的实时图像,从当前获取的实时图像中提取出需要追踪对象信息。追踪目标信息可以是文字信息也可以是图像信息。具体地,用户通过终端10发送追踪目标信息的图片给该无人机。例如,追踪目标是车辆,用户通过终端10发送车辆的车牌号码给无人机20。例如,追踪目标是人物,用户通过终端10发送追踪目标的人脸图像给无人机20。其中,人脸图像可以从非无人机20发送过来的图片中提取,也可以是从无人机20发送过来的图片中提取。具体地,用户可以通过终端10在图片中将追踪目标的人脸轮廓进行选取或者是通过终端10利用矩形框将追踪对象的人脸区域进行选取,并发送给无人机20。或者图片中包含的人物图像仅是追踪目标,用户可以直接通过终端10将图片发送给无人机20。无人机20获取到追踪目标信息后,根据追踪目标信息提取需要追踪对象信息。例如,无人机20获取到的追踪目标信息是文字信息,无人机20从当前获取的实时图像中提取出文字信息。例如,无人机20获取到的追踪目标信息是人脸图像信息,无人机20从当前获取的实时图像中提取出人脸图像信息。
步骤S105,无人机20计算追踪目标信息与需要追踪对象信息的匹配度。具体地,无人机20将获取到追踪目标信息和提取到的需要追踪对象信息进行比较,得出匹配度。在本实施例,如果是文字信息,匹配度可以根据文字匹配的个数比例来设置,例如,60%的文字相同,匹配度为60%。如果是图像信息,匹配度可以根据图像信息的特征值进行比较,例如,将人脸轮廓设置为特征值,如果特征值有70%一致,匹配度为70%。
步骤S107,若计算出的匹配度大于预设的匹配度,无人机20将反馈信息给发送给终端10,以供终端10根据反馈信息产生追踪指令。具体地,在本实施例中,文字信息的预设匹配度大于图像信息的预设匹配度。可以理解地,由于文字信息识别技术相对于图像信息识别技术准确性高,因此,相应地将其匹配度提高,进一步降低误差。在本实施例中,反馈信息为图片。下文将详细描述终端如何根据反馈信息产生追踪指令,在此不再赘述。
步骤S109,若接收到来自终端10的追踪指令,无人机20发送相应的追踪信息给终端10。优选地,无人机20还对需要追踪对象进行追踪并发送实时追踪信息给终端10。追踪信息包括追踪目标的GPS定位信息、追踪路径、时间、匹配度、采用的匹配算法类型等。无人机20在接到终端10的追踪指令后才开始追踪,即,无人机20初步判断出需要追踪对象后再发送给终端10进一步确认需要追踪对象是否准确,进一步避免了误判追踪目标的现象。另外,无人机20只在匹配度较高时才发送反馈信息给终端10,可以降低发送错误的反馈信息给终端10的概率,避免给终端10增加处理不必要的数据,大大提升了效率和处理速度。
上述实施例中,终端10发送给无人机的追踪目标信息(如图片或者文字信息)或者终端10接收来自无人机20的反馈信息(如图片或者文字信息)等信息无需是无人机20回传的实时图像。亦即,终端10和无人机20利用非实时信息即可实现对追踪目标的追踪,因此,对通信传输质量要求不高。即,终端10和无人机20之间的通信传输质量不佳的情况下,终端10和无人机20也可以顺利地完成对追踪目标进行追踪。因此,上述实施例的追踪方法对通信传输质量的依赖大大降低,在一些通信传输质量不佳的场合也可以适用,应用场合更加广泛。
请参看图3,该方法还包括如下步骤。
步骤S301,无人机20检测是否接收到来自终端10的调整指令,其中,该调整指令为终端10在预设的时间内未接收到无人机20反馈信息时发送给无人机20。若接收到该调整指令,无人机执行步骤S302,反之执行步骤S103。
步骤S302,无人机根据该调整指令飞行。
由于在预设时间内未接收到反馈信息,终端10可以判断出无人机20的搜寻策略需要调整,从而发送调整指令给相应的无人机调整搜寻路径,从而可以提高追踪的效率。
请参看图4,无人机20发送该反馈信息之后,该方法还包括如下步骤。
步骤S401,无人机20追踪需要追踪对象。
步骤S402,无人机20判断在预设时间内是否收到该追踪指令。若接收到追踪指令,执行步骤S109;反之执行步骤S103。
由于无人机20初步识别出需要追踪的对象便及时跟踪,可以快速地对可疑的追踪目标进行追踪,避免错过追踪目标。另外,由于无人机20发送反馈信息后却长时间内没有收到该追踪指令,表示该反馈信息并不是追踪目标的信息,是无效的反馈信息,从而重新进行搜寻,灵活性较强。
请参看图5,展现了终端10控制无人机20具体步骤。具体地,该追踪方法还包括下面步骤。
步骤S500,终端10发送搜寻指令和追踪目标信息给无人机20。搜寻指令和追踪目标信息可以同时发送也可以按照一定的顺序发送。
步骤S502,若接收到反馈信息,终端10显示接收到的反馈信息,以供用户识别无人机20是否需要该追踪指令并供用户根据该反馈信息输入追踪请求。具体地,该反馈信息包括包含需要追踪对象的图片或者特征信息。在本实施例中以反馈信息为图片进行举例说明。若该图片中包含追踪目标的图像,用户可以识别出无人机20需要该追踪指令。终端10还显示相应的确认按键。若用户识别出图片中包含追踪目标的图像,用户点击相应的确认按键即可产生该追踪请求。在一些其他可行的实施例中,反馈信息也可以需要追踪对象的特征信息,若追踪目标为车辆,特征信息如车辆破损信息,车辆车牌被遮挡信息。若追踪目标为人,该特征信息可以人的身高,体型,年龄,人体缺陷、人脸轮廓信息等。
步骤S504,若终端10接收到用户输入的追踪请求,产生该追踪指令。
步骤S506,终端10将该追踪指令发送给无人机20。
本实施例中,用户可以根据无人机20发送的图片进行识别追踪目标,避免追踪错误的目标,提高了追踪的效率和成功率。
在一些可行的实施例中,该方法还包括步骤S508:终端10在预设时间内未接收到反馈信息,产生调整指令以控制无人机10根据调整指令飞行调整飞行路径。
上述实施例分别从无人机20和终端10各自执行该追踪方法中相应的步骤进行描述,以展示无人机20或者终端10独自执行该追踪方法的处理过程。下面将从无人机20和终端10互相配合执行该追踪方法中相应的步骤进行描述,以展示无人机20和终端10执行该追踪方法时二者的交互过程。
请参看图6,该追踪方法包括如下步骤。
步骤S500,终端10发送搜寻指令和追踪目标信息给无人机20。
步骤S101,无人机20根据获取的搜寻指令飞行并获取实时图像。
步骤S103,无人机20根据获取的追踪目标信息和当前获取的实时图像中,提取出需要追踪对象信息。
步骤S105,无人机20计算跟踪目标信息与需要追踪对象信息的匹配度。
步骤S107,若计算出的匹配度大于预设的匹配度,无人机20发送反馈信息给终端10。其中,反馈信息为图片。
步骤S502,终端10显示接收到的反馈信息以供用户识别无人机是否需要追踪指令,并供用户根据该图片输入追踪请求。
步骤S504,若接收到用户输入的追踪指令,终端10产生追踪指令。
步骤S506,终端10发送该追踪指令给无人机20。
步骤S109,无人机20响应追踪指令,发送需要追踪对象的追踪信息给终端10。
请参看图7,在一些可行的实施例中,该追踪方法还包括下面步骤。步骤S508,若在预设时间内未接收到无人机20的反馈信息,终端10发送调整指令。
步骤S301,无人机20根据调整指令飞行。
请参看图8,在一些可行的实施例中,无人机20发送反馈信息后,该追踪方法还包括下面步骤。
步骤S401,无人机20追踪需要追踪对象。
步骤S403,若在预设时间内未接收到追踪指令,无人机20重新执行步骤S103及步骤S103之后的步骤。
请参看图9和图10,图9和图10分别为本发明实施例提供另一基于无人机的追踪方法流程示意图和该追踪方法的运行环境示意图。在本实施例中,终端10’通过地面站30’与若干无人机20’通讯。用户可通过终端10’操控若干无人机20’来实现该追踪方法。如图6所示,该追踪方法包括下面步骤。
步骤S601,若干无人20’机分别根据获取到的搜寻指令飞行并获取实时图像,其中,各无人机20’获取的搜寻指令不同以控制各无人机20’按照不同搜寻路径进行飞行。该搜寻指令由终端10’发送给若干无人机20’。
具体地,终端10’相应用户操作发送该搜寻指令给若干无人机20’。例如,追踪目标是车辆或者人物,用户可以根据追踪目标可能的活动范围或者踪迹设置相应的搜寻策略。搜寻策略包括飞行策略,如无人机搜寻路径、姿态、方位、空速等。搜寻策略还包括图像获取策略,如拍摄方式、拍摄光线、取景策略等。用户通过终端设置相应的搜寻策略从而生成搜寻指令并发送给无人机20’。无人机20’获取到该搜寻指令后根据搜寻指令进行飞行。由于目标的准确位置并不确定,为了加快搜寻速度,用户可以设置多种可能的搜寻策略,从而产生多种不同的搜寻指令,以控制该若干无人机20’同时进行搜寻以达到快速定位追踪目标的效果。
步骤S603,若干无人机20’分别根据来自终端10’的追踪目标信息和当前获取的实时图像,从当前获取的实时图像中提取出需要追踪对象信息。该步骤的详细描述请参照步骤S103,在此不再赘述。
步骤S605,若干无人机20’分别计算追踪目标信息与需要追踪对象信息的匹配度。该步骤的详细描述请参照S105,在此不再赘述。
步骤S607,一个或者多个无人机20’发送反馈信息给终端10以供终端10根据反馈信息产生追踪指令,其中,发送反馈信息的无人机20’为计算出的匹配度大于预设的匹配度的无人机20’。该步骤的详细描述请参照S107。
步骤S609,若一个或者多个无人机20’接收到来自终端10’的追踪指令,接收到该追踪指令的无人机20’发送相应的追踪信息给终端10’。在一些可行的实施例中,若一个或者多个无人机20’接收到来自终端10’的追踪指令还对需要追踪对象进行追踪。其中,该追踪信息包含追踪对象的位置信息和追踪路径信息。
步骤S611,若一个或者多个无人机20’接收到来自终端10’的返回指令,一个或者多个无人机20’响应该返回指令返回。若识别出需要追踪指令的无人机后,可以理解地,其余仍在进行搜寻的无人机20’即认为无需在继续搜寻,因此,终端10’产生返回指令以控制其余仍在进行搜寻的无人机20’结束搜寻。
上述实施例中,终端10’发送给无人机20’的追踪目标信息(如图片或者文字信息)或者终端10’接收来自无人机20’的反馈信息(如图片或者文字信息)等信息无需是无人机20’回传的实时图像,亦即,终端10’和无人机20’利用非实时信息即可实现对追踪目标的追踪,因此,对通信传输质量要求不高。即终端10’和无人机20’之间的通信传输质量不佳的情况下,终端10’和无人机20’也可以顺利地完成对追踪目标进行追踪。因此,上述实施例的追踪方法对通信传输质量的依赖大大降低,在一些通信传输质量不佳的场合也可以适用,应用场合更加广泛。
请参看图11,该方法执行步骤S601之后,还包括如下步骤。
步骤S801,每一无人机20’检测是否接收到来自终端10’的调整指令,其中,该调整指令为终端10’在预设的时间内未接收到一个或者多个无人机反馈信息时产生并发送给相应的无人机20’。若接收到该调整指令,执行步骤S802,反之执行步骤S603。
步骤S802,接收到调整指令的无人机20’根据该调整指令飞行。由于在预设时间内未接收到反馈信息,终端10’可以识别无人机20’的搜寻策略需要调整,从而发送调整指令给相应的无人机20’以调整搜寻路径,从而可以提高追踪的效率。
请参看图12,一个或者多个无人机20’发送反馈信息之后,该方法还包括如下步骤。
步骤S901,发送反馈信息的无人机20’分别追踪各自的需要追踪对象。
步骤S902,发送反馈信息的无人机20’判断是否在预设时间内收到该追踪指令。若接收到该追踪指令,执行步骤S609;反之执行S603。由于无人机发送该反馈信息却长时间内没有收到该追踪指令,表示该反馈信息并不是追踪目标的信息,是无效的反馈信息,从而重新进行搜寻。可以理解地,本实施例可以快速地对可疑的追踪目标进行追踪,可以避免错过追踪目标。另外,如果在预设时间内未接收到该追踪指令,可以确定可疑对象并非追踪目标,并重新按照原来的搜寻策略进行搜寻,灵活性较强。
请参看图13,请参看图5,展现了终端10’控制无人机20’具体步骤。具体地,该追踪方法还包括下面步骤。
步骤S1000,终端10’发送若干搜寻指令和追踪目标信息给若干无人机20’。终端10’可同时向无人机20’搜寻指令和追踪目标信息,或者以按照一定的顺序向每个无人机20’发送搜寻指令和追踪目标信息。若干搜选指令各不相同。
步骤S1002,若终端10’接收到反馈信息,根据反馈信息识别出需要追踪指令的无人机20’。
步骤S1004,终端10’将追踪指令发送给需要追踪指令的无人机20’。
步骤S1006,终端10’还根据需要该追踪指令的无人机产生返回指令,以控制不需要发送该追踪指令的无人机20’返回。具体地,若识别出需要追踪指令的无人机后,可以理解地,其余仍在进行搜寻的无人机20’即认为无需在继续搜寻,因此,终端10’产生返回指令以控制其余仍在进行搜寻的无人机20’结束搜寻。
请参看图14,根据反馈信息识别出需要追踪指令的无人机20’具体包括如下步骤。
步骤S10021,终端10’在显示接收到的反馈信息,以供用户识别需要该追踪指令的无人机20’,并供用户根据该图片输入相应的追踪请求。在本实施例中,该反馈信息为包含需要追踪对象的图片。具体地,若用户从该图片中识别出追踪目标,该用户可以识别该无人机20’需要该追踪指令。在一些其他可行的实施例中,该反馈信息也可以为需要追踪对象的特征信息。例如,若追踪目标为车辆,该特征信息如车辆破损信息,车辆车牌被遮挡信息。例如,若追踪目标为人物,该特征信息可以人的身高,体型,年龄,人体缺陷信息等。具体地,该方法还包括下面步骤。
步骤S10022,若终端10’接收到用户输入的追踪请求,根据该追踪请求识别出需要该追踪指令的无人机20’,并产生相应的追踪指令。具体地,终端10’还显示与图片一一对应的确认按键。若用户识别出终端10’显示的图片中存在追踪目标图像,用户点击相应的确认按键即可产生该追踪请求。在一些其他可行的实施例中,若用户识别出终端10’显示的图片中存在追踪目标图像,终端10’还可以输入对应无人机20’的唯一标识码以产生该追踪请求。该标识码可以是无人机的编号或者是IP地址。
请参看图15,本发明实施例提供的该终端根据该反馈信息发送该追踪指令给无人机的第二实施例方法流程图。在本实施例中,该反馈信息包含匹配度和/或采用的匹配算法类型。下面以反馈信息为匹配度进行举例说明。具体地,该方法还包括下面步骤。
步骤S1101,终端10’根据接收到的匹配度和预设条件识别出需要追踪指令的无人机20’。
步骤S1103,该终端若识别出需要追踪指令的无人机,产生该追踪指令并发送给需要该追踪指令的无人机。
本实施例中,可以根据匹配度进行识别是否需要追踪指令的无人机并向需要追踪指令的无人机发送该追踪指令,降低了追踪错误的目标,提高了追踪的效率和成功率。
请参看图16,其为步骤S1101第一实施例子步骤流程图。
步骤S1202,终端10’对预设的时间内接收到的匹配度进行计数。若计数为1,执行步骤S1204;若计数大于1执行步骤S1206。
步骤S1204,终端10’若在预设时间内仅接收到一个无人机发送的匹配度,识别出该发送匹配度的无人机需要该追踪指令。
步骤S1206,终端10’若在预设时间内接收到多个无人机20’发送过来的匹配度,终端10’对所接收的匹配度进行比较得出最高的匹配度。
步骤S1208,终端10’识别出发送该最高匹配度的无人机需要该追踪指令。
请参看图17,其为步骤S1101第二实施例子步骤的方法流程图。
步骤S1302,终端10’对预设的时间内接收到的匹配度进行计数。若计数为1,执行步骤S1304;若计数大于1执行步骤1306。
步骤S1304,终端10’若在预设时间内仅接收到一个无人机20’发送的匹配度,识别出发送匹配度的无人机20’需要该追踪指令。
步骤S1306,终端10’若在预设的时间内接收到多个无人机20’发送过来的匹配度,终端10’对接收到的匹配度进行比较,得出预设数量最高的匹配度。
步骤S1308,终端10’识别出发送预设数量最高匹配度的无人机20’需要该追踪指令。
在一些可行的实施例中,若各无人机20’采用了不同的匹配算法类型,分析单元在分析最高匹配度时在将相同类型的匹配度进行比较,比对过程参照以上步骤,在此不再赘述。
上述实施例分别从无人机20’和终端10’各自执行该追踪方法中相应的步骤进行描述,以展示无人机20’或者终端10’独自执行该追踪方法的处理过程。下面将从无人机20’和终端10’互相配合执行该追踪方法中相应的步骤进行描述,以展示无人机20’和终端10’执行该追踪方法时二者的交互过程。
请参看图18,该追踪方法包括下面步骤。
步骤S1000:终端10’发送若干搜寻指令和追踪目标信息给若干无人机20’。
步骤S601:若干无人机10’根据获取的搜寻指令飞行并获取实时图像。
步骤S603,若干无人机20’分别根据来自终端10’的追踪目标信息和当前获取的实时图像,从当前获取的实时图像中提取出需要追踪对象信息。
步骤S605,若干无人机20’分别计算追踪目标信息与需要追踪对象信息的匹配度。
步骤S607,一个或者多个无人机20’发送反馈信息给终端10以供终端10根据反馈信息产生追踪指令,其中,发送反馈信息的无人机20’为计算出的匹配度大于预设的匹配度的无人机20’。
步骤S1002,终端10’根据反馈信息识别出需要追踪指令的无人机20’。
步骤S1004,终端10’将追踪指令发送给需要追踪指令的无人机20’。
步骤S1006,终端10’还根据需要该追踪指令的无人机产生返回指令,以控制不需要发送该追踪指令的无人机20’返回。具体地,若用户识别出需要追踪指令的无人机后,可以理解地,其余仍在进行搜寻的无人机20’即认为无需在继续搜寻,因此,终端10’产生返回指令以控制其余仍在进行搜寻的无人机20’结束搜寻。
步骤S609,接收到该追踪指令的无人机20’发送相应的追踪信息给终端10’。
步骤S609,接收到该追踪指令的无人机20’发送相应的追踪信息给终端10’。
步骤S1008:终端10’根据需要该追踪指令的无人机产生返回指令。
步骤S611,接收到该返回指令的无人机20’响应该返回指令返回。
请参看图19,在一些可行的实施例中,该追踪方法还包括下面步骤。
步骤S901,发送反馈信息的无人机20’分别追踪各自的需要追踪对象。
步骤S403,若在预设时间内未接收到追踪指令,发送反馈信息的无人机20’重新执行步骤S603及步骤S603之后的步骤。
请结合参看图2和图20,其分别为第一实施例的追踪系统100和终端10的示意图。追踪系统100包括终端10、无人机20、以及地面站30。终端10通过地面站30与无人机20通讯连接,以控制无人机20对追踪目标进行追踪。
终端10包括设置单元11、第一通讯单元13、以及追踪管理单元14。
设置单元11用于响应用户操作设置搜寻策略。具体地,例如,追踪目标是车辆或者人物,用户可以根据追踪目标可能的活动范围或者踪迹设置相应的搜寻策略。搜寻策略包括飞行策略,如无人机搜寻路径、姿态、方位、空速等。搜寻策略还包括图像获取策略,如拍摄方式、拍摄光线、取景策略等。用户通过设置单元11设置相应的搜寻策略,并产生搜寻指令。设置单元11还用于通过第一通讯单元13发送该搜寻指令给无人机20,以控制无人机20按照搜寻策略进行飞行及获取实时图像。
设置单元11还用于响应用户的操作设置追踪目标信息,并通过第一通讯单元13发送该追踪目标信息给无人机20。例如,追踪目标是车辆,用户通过设置单元11设置车辆的车牌号码作为追踪目标信息。例如,追踪目标是人物,用户通过设置单元11设置追踪目标的人脸图像为追踪目标信息。其中,人脸图像可以从非无人机20发送过来的图片中提取,也可以是从无人机20发送过来的图片中提取。具体地,用户可以通过设置单元11在图片中将追踪目标的人脸轮廓进行选取或者是通过设置单元11利用矩形框将追踪对象的人脸区域进行选取,并设置为跟踪目标信息。或者图片中包含的人物图像仅是追踪目标,用户可以直接通过设置单元11将图片发送给无人机20。
追踪管理14还用于通过第一通讯单元13接收来自无人机20的反馈信息,并根据该反馈信息识别是否需要产生追踪指令。追踪管理14还用于通过第一通讯单元13接收来自无人机20的跟踪信息。其中,该反馈信息包括图片信息,图片信息包括特征信息或者图片等。在本实施例中以反馈信息为图片为例进行说明。该反馈信息和追踪信息的产生与发送具体描述参看下文。追踪管理14具体包括显示单元140、界面提供单元142、指令产生单元144。
显示单元140用于将接收到的图片显示于终端10,以供用户识别无人机20是否需要该追踪指令。具体地,若图片中包含追踪目标的图像,该用户可以识别出该无人机需要该追踪指令。
界面提供单元142用于提供按键并通过显示单元140显示该按键,供用户选择以产生追踪请求。具体地,用户可以通过输入装置,例如鼠标、键盘等选择该按键。
指令产生单元144用于若接收到用户输入的追踪请求,产生该追踪指令并通过第一通讯单元13发送给无人机20。
显示单元140还用于显示接收到的跟踪信息。
请参看图20,无人机20包括第二通讯单元22、拍摄单元23、搜寻单元24、反馈单元26、追踪单元27。
拍摄单元23用于获取图像。拍摄单元23上的摄像设备,如摄像头。
搜寻单元24通过第二通讯单元22获取终端10发送的搜寻指令和追踪目标信息,并根据搜寻指令控制无人机20飞行和获取实时图像。搜寻单元24还用于追踪目标信息和当前获取的实时图像判断是否需要发送反馈信息给终端10。具体地,搜寻单元24包括飞行控制单元240、拍摄控制单元242、以及图像处理单元244。
飞行控制单元240用于根据搜寻指令控制无人机20按照搜寻指令飞行。具体地,搜寻指令包括飞行策略,如无人机搜寻路径、姿态、方位、空速等。
拍摄控制单元242用于根据搜寻指令控制拍摄单元23按照搜寻指令获取实时图像。具体地,搜寻指令还包括图像获取策略如拍摄方式、拍摄光线、取景策略等。
图像处理单元244用于根据该无人机根据来自该终端的追踪目标信息和当前获取的实时图像,从当前获取的实时图像中提取出需要追踪对象信息,例如,该无人机获取到的追踪目标信息是文字信息,该无人机从当前获取的实时图像中提取出文字信息。例如,该无人机获取到的追踪目标信息是人脸图像,该无人机从当前获取的实时图像中提取出人脸信息。
图像处理单元242还用于根据追踪目标信息和需要追踪对象信息计算出匹配度。具体地,图像处理单元242将追踪目标信息和需要追踪对象信息进行比较计算出出匹配度。在本实施例,如果是文字信息,匹配度可以根据文字匹配的个数比例来设置,例如,60%的文字相同,匹配度为60%。如果是图像信息,匹配度可以根据图像信息的特征值进行比较,例如,将人脸轮廓设置为特征值,如果特征值有70%一致,匹配度为70%。
反馈单元26用于判断计算出的匹配度是否大于预设的匹配度,若计算出的匹配度大于预设的匹配度,将反馈信息给发送给终端10以供终端10根据反馈信息产生追踪指令。具体地,在本实施例中,文字信息的预设匹配度大于图像信息的预设匹配度。可以理解地,由于文字的识别技术相对于图像的识别技术准确性高,因此,相应地将其匹配度提高,进一步降低误差。其中,在本实施例中,反馈信息优选为图片信息。
跟踪单元27,用于响应终端10发送过来的追踪指令发送当前需要追踪对象的信息。跟踪单元27还用于对需要追踪对象进行追踪,并发送实时追踪信息给终端10。追踪信息包括追踪目标的GPS定位信息、追踪路径、时间、匹配度、采用的匹配算法类型等。
在一些可行的实施例中,飞行控制单元240还用于响应终端10发送过来的调整指令调整无人机20的飞行策略。
请结合参看图7和图21,其为本发明提供的追踪系统200的第二实施例示意图。追踪系统200包括终端10’、地面站30’和若干无人机20’。终端10’通过地面站30’与若干无人机20’通讯连接。
终端10’包括设置单元11’、指令生成单元12’、第一通讯单元13’、以及追踪管理单元14’。
设置单元11’用于响应用户操作设置搜寻策略。具体地,例如,追踪目标是车辆或者人物,用户可以根据追踪目标可能的活动范围或者踪迹设置相应的搜寻策略。搜寻策略包括飞行策略,如无人机搜寻路径、姿态、方位、空速等。搜寻策略还包括图像获取策略,如拍摄方式、拍摄光线、取景策略等。用户通过终端设置相应的搜寻策略从而生成若干不同的搜寻指令并分别发送给若干无人机20’以控制若干无人机20’按照不同的搜寻策略进行飞行及获取实时图像。设置单元11’与设置11不同之处在于,设置单元11’用于对若干无人机20’一一设置不同的若干搜寻策略。
设置单元11’还用于响应用户的操作设置追踪目标信息,并通过第一通讯单元13’发送该追踪目标信息给若干无人机20’。其中,发送给若干无人机20’追踪目标信息相同。设置单元11’功能基本上与设置单元11相同,在此不再赘述。
追踪管理单元14’还用于通过第一通讯单元13’接收来自无人机20’的反馈信息,并根据该反馈信息识别是否需要产生追踪指令。追踪管理14’还用于通过第一通讯单元13接收来自无人机20’的跟踪信息。其中,该反馈信息包括图片。该反馈信息和追踪信息的产生与发送具体描述参看上文。
请参看图22,其为第一实施例追踪管理单元14’的功能模块图。追踪管理单元14’具体包括显示单元14001、界面提供单元14002、以及指令产生单元14004。其中,追踪管理14’各个功能模块与追踪管理单元14基本相同。不同之处在于:界面提供单元14002用于提供若干按键,供用户选择以产生追踪请求。该若干按键与显示的图片一一对应,从而可以产生与图片一一对应的追踪请求。在本实施例中,每一图片与无人机20’的唯一标识码相关联,以区分发送该图片的无人机20’。进一步地,界面提供单元14002根据唯一标识码产生该追踪请求,即该追踪请求包括无人机20’的唯一标识码。具体地,在一些其他可行的实施例中,用户也可以通过界面提供单元14002输入需要追踪指令的无人机20’的唯一标识码以产生该追踪请求。
指令产生单元14004用于根据用户输入的追踪请求,产生相应的追踪指令,并通过第一通讯单元13’发送给无人机20’。相应地,追踪指令包括无人机20’的唯一标识码,以供相应的无人机20’获取。指令产生单元14004还用于根据需要该追踪指令的无人机20’产生返回指令,以控制不需要发送该追踪指令的无人机20’返回。相应地,该返回指令包含无人机20’的唯一标识码。可以理解地,若用户识别出需要追踪指令的无人机后,其余仍在进行搜寻的无人机被认为无需在继续搜寻,因此,指令产生单元14004通过第一通讯单元13’发送返回指令给对应的无人机20’以控制其余仍在进行搜寻的无人机结束搜寻。
请参看图23,其为第二实施例追踪管理单元14’的功能模块图。追踪管理单元14’用于通过第一通讯单元13’接收来自无人机20’的反馈信息,并根据该反馈信息识别是否需要产生追踪指令。在本实施例中,该反馈信息包含匹配度。具体地,追踪管理单元14’包括识别单元14011、以及指令产生单元14012。
识别单元14011用于根据接收到的匹配度和预设条件识别出需要追踪指令的无人机20’。其中,识别单元14011包括计数单元14013和分析单元14015。
计数单元14013用于对预设的时间内接收到的匹配度进行计数。
分析单元14015用于若在预设时间内仅接收到一个无人机20’发送的匹配度,即计数为1,识别出该无人机需要该追踪指令。分析单元14015还用于若预设时间内接收到多个无人机20’发送过来的匹配度,即计数大于1,对所接收的匹配度进行比较得出最高的匹配度,并识别出发送最高匹配度的无人机20’需要该追踪指令。在一些其他可行的实施例中,分析单元14013用于在预设的时间内接收到多个无人机20’发送过来的匹配度,对所接收的匹配度进行比较得出预设数量最高的匹配度,并识别出发送预设数量最高匹配度的无人机20’需要该追踪指令。
指令产生单元14012用于根据用户输入的追踪请求,产生相应的追踪指令,并通过第一通讯单元13’发送给无人机20。相应地,追踪指令包括无人机20’的唯一标识码,以供相应的无人机20’获取。指令产生单元14012还用于根据需要该追踪指令的无人机20’产生返回指令,以控制不需要发送该追踪指令的无人机20’返回。相应地,该返回指令包含无人机20’的唯一标识码。可以理解地,若用户识别出需要追踪指令的无人机后,其余仍在进行搜寻的无人机被认为无需在继续搜寻,因此,指令产生单元14012通过第一通讯单元13’发送返回指令给对应的无人机20’以控制其余仍在进行搜寻的无人机结束搜寻。
本实施例中,可以根据匹配度进行识别是否需要追踪指令的无人机并向需要追踪指令的无人机发送该追踪指令,降低了追踪错误的目标,提高了追踪的效率和成功率。
本实施例中,无人机20’与无人机20的功能基本相同,区别在于无人机20’还用于响应返回指令返回。无人机20’具体功能模块可以参照无人机20,在此不再赘述。
图24为本发明终端的另一实施例的结构组成示意图。如图18所示,终端1000可包括:第一存储器1005以及第一处理器1006,其中:
第一存储器1005,用于存储第一计算机可读程序。具体实现中,本发明实施例的第一存储器105可以是系统存储器,比如,挥发性的(诸如RAM),非易失性的(诸如ROM,闪存等),或者两者的结合。具体实现中,本发明实施例的第一存储器105还可以是系统之外的外部存储器,比如,磁盘、光盘、磁带等。
第一处理器1006,用于调用第一存储器1005中存储的第一计算机可读程序,并执行如下操作:
发送搜寻指令给无人机;
发送追踪目标信息给无人机;
若接收到无人机的反馈信息,根据反馈信息识别无人机是否需要追踪指令。
优选地,第一处理器1006还执行如下操作:
显示接收到的图片,以供用户识别是否该无人机是否需要该追踪指令。具体地,若图片中包含追踪目标的图像,用户可以识别出该无人机需要该追踪指令。
若接收到用户输入的追踪请求,产生该追踪指令。具体地,该终端还显示相应的确认按键。若用户识别出该终端显示的图片中存在追踪目标,用户点击相应的确认按键即可产生该追踪请求。
将该追踪指令发送给该无人机。
在一些其他可行的实施例中,第一处理器1006执行如下操作:
发送若干搜寻指令给若干无人机;
发送追踪目标信息给若干无人机;
若接收到无人机的反馈信息,根据反馈信息识别无人机是否需要追踪指令。
在一些可行的实施例中,第一处理器1006还执行如下操作:
在预设的时间内显示接收到的图片,以供用户识别需要追踪指令的无人机,并供用户根据图片输入相应的追踪请求;
若接收到用户输入的追踪请求,根据该追踪请求产生该追踪指令;
将该追踪指令发送给需要追踪指令的无人机;
根据需要该追踪指令的无人机产生返回指令,以控制不需要发送该追踪指令的无人机返回。
在一些可行的实施例中,第一处理器1006还执行如下操作:
根据接收到的匹配度和预设条件识别出需要追踪指令的无人机。
若识别出需要向发送追踪指令的无人机,产生该追踪指令并发送给需要该追踪指令的无人机。
在一些可行的实施例中,第一处理器1006还执行如下操作:
对预设的时间内接收到的匹配度进行计数;
若终端若在预设时间内仅接收到一个无人机发送的匹配度,识别出发送匹配度的无人机需要追踪指令;
若在预设时间内接收到多个无人机发送过来的匹配度,所述终端对所述接收的匹配度进行比较得出最高的匹配度;
识别出发送所述最高匹配度的无人机需要所述追踪指令。
在一些可行的实施例中,第一处理器1006还执行如下操作:
对预设的时间内接收到的匹配度进行计数;
若在预设时间内仅接收到一个无人机发送的匹配度,识别出所述发送匹配度的无人机需要所述追踪指令;
若在预设的时间内接收到多个无人机发送过来的匹配度,对所述接收的匹配度进行比较得出预设数量最高的匹配度;
识别出发送预设数量最高匹配度的无人机需要该追踪指令。
图25为本发明无人机的另一实施例的结构组成示意图。如图19所示,无人机2000可包括:第二存储器2005以及第二处理器2006,其中:
第二存储器2005,用于存储第一计算机可读程序。具体实现中,本发明实施例的第二存储器2005以是系统存储器,比如,挥发性的(诸如RAM),非易失性的(诸如ROM,闪存等),或者两者的结合。具体实现中,本发明实施例的第二存储器2005还可以是系统之外的外部存储器,比如,磁盘、光盘、磁带等。
第二处理器2006,用于调用所述第二存储器2005中存储的第一计算机可读程序,并执行如下操作:
根据获取的来自该终端的搜寻指令飞行并获取实时图像;
根据来自该终端的追踪目标信息和当前获取的实时图像,从所述当前获取的实时图像中提取出需要追踪对象信息;
计算该追踪目标信息与需要追踪对象信息的匹配度;
若该计算出的匹配度大于预设的匹配度,将反馈信息给发送给该终端以供该终端根据反馈信息产生追踪指令;
若接收到来自该终端的追踪指令,对需要追踪的对象进行追踪,并发送相应的追踪信息给该终端。
优选地,第二处理器2006还执行如下步骤:
检测是否接收到来自该终端的调整指令;
若检测到调整指令,机根据所述调整指令飞行。
优选地,第二处理器2006还可执行如下步骤:
追踪该需要追踪对象;
判断是否收到追踪指令;
若接收到追踪指令,对需要追踪的对象进行追踪,并发送相应的追踪信息给该终端;
若未接收到追踪指令,按照接收到的搜寻指令重新飞行,以继续搜寻追踪目标。
另外,本发明实施例还提供了一种计算机存储介质,该计算机存储介质可存储有程序,该程序执行时可运行本发明实施例所述的方法的部分或全部步骤。具体实现中,本发明实施例的计算机存储介质包括:RAM、ROM、EEPROM、闪存、CD‐ROM、DVD或其他光存储器,磁带、磁盘或其他磁存储器,或者其他任何可以用于存储所需信息并可被计算机设备所访问的介质。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
以上所列举的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。