一种基于无人机的野生动物信息获取方法和装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种基于无人机的野生动物信息获取方法和装置。
背景技术
随着当前生态形势的逐步恶化,保护野生动物变得迫在眉睫。人们根据获取的野生动物的数量和活动规律,制定相应的策略,以保护野生动物,从而实现人与自然的和谐发展。
现有的一种方式是通过无人机对指定区域进行拍照,再由人工对拍摄的照片进行筛选,从而获取野生动物的数量和活动规律。
然而依靠人工进行筛选的方式耗时耗力,且对于无人机上传的遥感图像,人工筛选常常出现遗漏的现象,从而降低了野生动物信息获取的效率。
发明内容
本申请提出了一种基于无人机的野生动物信息获取方法,能够提高野生动物信息获取的效率。
第一方面,本申请实施例提出了一种基于无人机的野生动物信息获取方法,包括:
通过控制无人机获取野生动物的遥感图像数据;
利用已训练的特征提取神经网络模型对所述遥感图像数据进行特征提取,其中所述特征提取神经网络模型的各个模块内的各层之间为密集连接;
利用已训练的物体识别神经网络模型根据多个预设特征图像尺度,分别对所述特征提取神经网络模型得到的所述遥感图像数据的多个特征图像进行识别,所述多个预设特征图像尺度是指所述特征图像相对于所述遥感图像的压缩比例;
根据所述物体识别神经网络模型得到的识别结果,确定所述遥感图像数据中野生动物的物种数以及各种所述野生动物的数量。
在一个示例中,根据预存的野生动物分布区域信息,确定无人机的拍摄轨迹和拍摄高度;
根据所述拍摄轨迹和所述拍摄高度,确定所述无人机的单次拍摄范围;
根据所述野生动物分布区域信息和所述单次拍摄范围,确定两个单次拍摄得到的图像数据的重合比例,所述重合比例为两个图像重合区域的图像大小与所述图像的图像大小的比值;
根据所述重合比例,对所述无人机沿所述拍摄轨迹拍摄的各个图像数据进行图像合成,以得到所述遥感图像数据。
在一个示例中,根据所述单次拍摄范围和至少一个预设野生动物种类,确定所述特征图像尺度的数量;
根据所述特征图像尺度的数量,构建所述物体识别神经网络模型。
在一个示例中,所述物体识别神经网络模型根据所述遥感图像数据的特征数据,确定所述野生动物的种类和所述遥感图像数据中野生动物的边界框,所述边界框用于指示所述遥感图像数据中野生动物的位置信息;
所述物体识别神经网络模型根据预设包围框集合,在各所述特征图像尺度下分别确定所述野生动物的边界框与所述包围框集合的相对位置关系,其中所述包围框集合在所述遥感图像数据中的坐标为预先设定的,且所述包围框集合的尺寸与所述野生动物的体积大小有关;
所述物体识别神经网络模型根据所述相对位置关系和所述包围框集合的预设坐标,确定所述野生动物的边界框在所述遥感图像数据中的坐标。
在一个示例中,根据所述物体识别神经网络模型得到各个所述野生动物的种类,确定所述遥感图像数据中野生动物的物种数;
根据各所述野生动物的种类对应的中心坐标数量,确定各种所述野生动物的数量。
在一个示例中,所述包围框集合包括三个中心重合的矩形框。
第二方面,本申请实施例提供了一种基于无人机的野生动物信息获取装置,包括:
获取模块,用于通过控制无人机获取野生动物的遥感图像数据;
数据处理模块,用于利用已训练的特征提取神经网络模型对所述遥感图像数据进行特征提取,其中所述特征提取神经网络模型的各个模块内的各层之间为密集连接;
所述数据处理模块还用于利用已训练的物体识别神经网络模型根据多个预设特征图像尺度,分别对所述特征提取神经网络模型得到的所述遥感图像数据的多个特征图像进行识别,所述多个预设特征图像尺度是指所述特征图像相对于所述遥感图像的压缩比例;
所述计数模块,用于根据所述物体识别神经网络模型得到的识别结果,确定所述遥感图像数据中野生动物的物种数以及各种所述野生动物的数量。
在一个示例中,所述获取模块用于根据预存的野生动物分布区域信息,确定无人机的拍摄轨迹和拍摄高度;根据所述拍摄轨迹和所述拍摄高度,确定所述无人机的单次拍摄范围;根据所述野生动物分布区域信息和所述单次拍摄范围,确定两个单次拍摄得到的图像数据的重合比例,所述重合比例为两个图像重合区域的图像大小与所述图像的图像大小的比值;根据所述重合比例,对所述无人机沿所述拍摄轨迹拍摄的各个图像数据进行图像合成,以得到所述遥感图像数据。
在一个示例中,所述数据处理模块用于根据所述特征图像中的特征数据,确定所述野生动物的种类和所述遥感图像数据中野生动物的边界框,所述边界框用于指示所述遥感图像数据中野生动物的位置信息;根据预设包围框集合,在各所述特征图像尺度下分别确定所述野生动物的边界框与所述包围框集合的相对位置关系,其中所述包围框集合在所述遥感图像数据中的坐标为预先设定的,且所述包围框集合的尺寸与所述野生动物的体积大小有关;根据所述相对位置关系和所述包围框集合的预设坐标,确定所述野生动物的边界框在所述遥感图像数据中的坐标。
在一个示例中,所述计数模块用于根据所述物体识别神经网络模型得到各个所述野生动物的种类,确定所述遥感图像数据中野生动物的物种数;根据各所述野生动物的种类对应的中心坐标数量,确定各种所述野生动物的数量。
本申请提出了一种基于无人机的野生动物信息获取方法和装置,通过特征提取神经网络模型和物体识别神经网络模型识别遥感图像中的野生动物的物种数以及各种野生动物的数量。通常遥感图像中会包括多种野生动物,因此遥感图像中包括特征数量巨大,这会导致神经网络模型层数增加,从而降低图像识别效率,进而降低了野生动物信息获取的效率。为了解决上述问题,在构成特征提取神经网络模型各模块中,将各层之间的连接设置成密集连接,而模块间的连接方式不变,实现提升各个模块的图像识别效率,从而提高整个系统的图像识别效率,但不用增加神经网络模型层数。特征提取神经网络模型会得到多个特征图像,以逐渐压缩遥感图像,避免出现因特征图像尺度过大而使得特征图像丢失特征的情况,从而进一步提高了野生动物信息的获取效率。同时,利用多个特征图像尺度对遥感图像的多个特征图像进行物体识别,以减少特征丢失,从而进一步提高了野生动物信息的获取效率。综上所述,本申请实施例提供的技术方案能够提高野生动物信息的获取效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于无人机的野生动物信息获取方法的流程图;
图2为本申请实施例提供的一种包围框集合的示意图;
图3为本申请实施例提供的一种基于无人机的野生动物信息获取装置的结构示意图。
具体实施方式
为了更清楚的阐释本申请的整体构思,下面结合说明书附图以示例的方式进行详细说明。
本申请的实施例公开了一种基于无人机的野生动物信息获取方法,如图1所示,包括以下步骤:
步骤101、通过控制无人机获取野生动物的遥感图像数据。
在本申请实施例中,获取到的遥感图像根据不同获取方法可以分为两种,一种为可见光图像,另一种为红外光图像。其中,对于视野开阔的区域,利用摄像设备拍摄可见光图像。对于森林等植被茂盛,或是遮挡物较多的区域,利用红外设备获取红外图像。
在本申请实施例中,获取到的遥感图像根据不同目的也可以分为两种,一种为某一区域的局部图像,一种为某一区域的整体图像。其中,在获取某一区域中某一种野生动物信息,由于野生动物具有固定的生活习惯,则需要控制无人机在固定的地点拍摄局部图像就可以获取到野生动物信息。在获取某一区域内所有的野生动物信息时,由于不同的野生动物具有不同的生活习惯,需要无人机在不同的地点进行拍摄。因此整体图像是将无人机获取到的各个区域的图像进行合成得到的。下面详细说明整体图像的获取方法:
根据预存的野生动物分布区域信息,确定无人机的拍摄轨迹和拍摄高度。获取整体图像时,必须保证无人机经过所有野生动物分布区域,以保证分析结果的准确性。通常无人机的拍摄轨迹可以参照工作人员的巡检路线。野生动物的分布区域同时还会影响无人机的拍摄高度,例如野生动物分布在山地、深林等区域时,其拍摄高度显然大于野生动物分布在河谷和平原区域时的高度。
根据拍摄轨迹和拍摄高度,确定无人机的单次拍摄范围。拍摄整体图像时,要避免图像重复拍摄和漏拍,以防止重复统计野生动物数量或漏算野生动物数量。因此要根据拍摄轨迹和拍摄高度,合理的确定无人机的单次拍摄范围,以保证获得的多个图像包括整个拍摄区域的野生动物信息。
根据野生动物分布区域信息和单次拍摄范围,确定遥感图像数据的重合比例。在拍摄整体图像时,为了保证准确性,各单次拍摄的图像的拍摄面积之和,必然大于该区域的面积。因此,在合成单次拍摄的图像过程中,需要确定一个适当重合比例,以保证合成后整体图像的特征总数不变。由于拍摄高度通常是固定的,因此可以用重合区域对应的实际面积和整体图像对应的实际面积计算重合比例。例如,整体区域为20000平方米,每一张图片的拍摄面积为1000平方米,总共需要进行25次单次拍摄才能覆盖整个区域,如此各单次拍摄的图像的拍摄面积之和为25000平方米,则平均每张图片超出5平方米,那么重合比例为0.5%。
最后根据重合比例,对无人机沿拍摄轨迹拍摄的各个图像数据进行图像合成,以得到遥感图像数据。
步骤102、利用已训练的特征提取神经网络模型对遥感图像数据进行特征提取。
在本申请实施例中,为了提高神经网络模型计算速度,采用层数较少的Resnet34(Residual Network,残差网络)作为特征提取神经网络模型。然而遥感图像中可能含有多种野生动物,因此遥感图像中的特征数量会急剧增加,这意味着Resnet34的层数可能无法快速提取如此多的特征,甚至在计算过程中无法收敛。为了弥补Resnet34的层数不足以应付遥感图像中大量特征的特点,将Resnet34各模块中各层之间的连接变成密集连接,具体来说就是每个层都会接受其前面所有层作为其额外的输入。如此可以实现利用具有较低层数的神经网络模型来提取遥感图像中的各个特征,从而提高了特征提取神经网络模型的计算效率。此外,如果单纯使用密集连接的神经网络模型会增加神经网络模型的层数,从而造成神经网络模型计算效率降低。
遥感图像具有图像像素高、目标物体小的特点,因此物体识别神经网络模型在进行物体识别时,需要缩小原有的遥感图像。如果直接将原有的遥感图像直接缩小到很小的比例,例如直接将原有图像缩小到原来的1/32,那么很有可能丢失很多特征,甚至导致图像模糊,从而不利于物体识别神经网络模型进行物体识别。因此在本申请实施例中,特征提取神经网络模型从遥感图形中提取多个特征图像,以将原有的遥感图像逐渐缩小到预设的比例。同时采用具有多个特征图像尺度的FPN(feature pyramid networks,特征金字塔网络)对各个特征图像进行识别。例如,特征提取神经网络模型从遥感图形中提取4个特征图像,将原有的遥感图像逐渐缩小到原有图像的1/32则采用具有4个特征图像尺度的FPN网络。4个特征图像尺度分别对应的比例为原图像的1/4,1/8,1/16,1/32。假设遥感图像的大小是416x416,则对应的4个特征图像的大小为104,52,26,13。
由此可见,特征图像尺度的数量影响着物体识别神经网络模型中模块的数量以及物体识别的准确性。在本申请实施例中,根据单次拍摄范围和至少一个预设野生动物种类,确定特征图像尺度的数量。单次拍摄范围越大,说明遥感图像中的目标相对于拍摄范围越小,对应的特征图像压缩比例也越小,因此需要更多的特征图像尺度将原有图像逐步压缩至对应压缩比例。同时野生动物体积和体貌特征会影响特征图像尺度的数量。体积越大的野生动物,越容易在遥感图像中识别,因此其缩小的比例也相对较大。例如,在同样条件下,识别大象时缩小的原图像的比例显然要大于识别兔子时缩小的原图像的比例。多种野生动物之间体貌特征差距越大,越容易在遥感图像中识别,因此其缩小的比例也相对较大。例如,在识别老虎和蛇时,两者体貌差异巨大,很容易区别出来,此时只要将原图像缩小至相对较大的比例就能找到老虎和蛇的区别特征。然而,在识别狼和豺时,由于狼和豺都属于犬科,两者的体貌特征相似均为体型中等、匀称,四肢修长,头腭尖形,颜面部长,鼻端突出,耳尖且直立。此时只能将原图像缩小至相对较小的比例,以找到两者的区别特征。在确定特征图像尺度的数量后,要根据特征图像尺度的数量构建物体识别神经网络模型,以使得物体识别神经网络模型在多个特征图像尺度下对物体进行识别。
步骤103、利用已训练的物体识别神经网络模型根据多个预设特征图像尺度,分别对特征提取神经网络模型得到的遥感图像数据的多个特征图像进行识别。
在本申请实施例中,特征提取神经网络模型提取出特征之后,得到多个特征图像,物体识别神经网络模型根据提多个预设的特征图像尺度对,分别对多个特征图像进行识别。在识别过程中,物体识别神经网络模型不仅要确定提取出的特征所对应的野生动物种类,还要确定野生动物在遥感图像中的位置。因此,物体识别神经网络模型根据特征图像中的特征数据,确定野生动物的种类和遥感图像数据中野生动物的边界框,即以边界框的位置表征野生动物在图像中的位置。可以理解的是,野生动物的边界框能囊括一个野生动物的在特征图像中的各个特征数据。
确定野生动物的边界框之后,根据预设的包围框集合确定野生动物的边界框与包围框集合的相对位置关系。在本申请实施例中,包围框集合为中心重合的三个矩形框,如图2所示,三个矩形框分别对应201、202和203。其中矩形框202为正方形。在图像处理过程中,图像通常会被划分成多个矩形,因此包围框集合设计成图2中的形式,便于野生动物的边界框能够落入至少一个包围框中,且图像中的每一个矩形对应一个包围框集合。可以理解的是,在不同的特征图像尺度下,可以预先设定包围框的包围框在遥感图像中的坐标。如此,在野生动物的边界框落入任意一个包围框时,分别计算该边界框的四个顶点到该包围框四个边的距离,即得到该包围框与该边界框的相对位置,再根据预设的包围框坐标和得到的相对位置关系确定该边界框的坐标。需要说明的是,本申请实施例中的边界框为矩形。
为了保证野生动物的边界框坐标的准确性,在本申请实施例中,选择能够包裹大部分边界框的包围框来确定野生动物在图像中的边界框的坐标。因此,在确定野生动物的边界框与包围框的相对位置时,还要考虑野生动物对应的特征数据的位置。由此可知,包围框的尺寸需要根据野生动物的体积大小来确定,以保证分野生动物对应的特征数据能基本落入至少一个包围框中,从而提高边界框坐标的准确度。例如,大象所使用的包围框的尺寸要大于狼的包围框的尺寸。
需要说明的是,每一个预设特征图像尺度对应一个特征图像,则物体识别神经网络模型在特征图像对应的特征图像尺度下对特征图像进行识别,之后会将各个特征图像对应的识别结果进行整合以得到最终的识别结果。因此,对于单个野生动,其对应的边界框可能在不同特征图像上被多次确定,例如,在比例为原图像的1/4的特征图像中,识别边界框A在遥感图像中的坐标,之后在比例为原图像的1/8的特征图像中,再次识别边界框A在遥感图像中的坐标。
步骤104、根据物体识别神经网络模型得到识别结果,确定遥感图像数据中野生动物的物种数以及各种野生动物的数量。
在本申请实施例中,物体识别神经网络模型进行物体识别后得到各种野生动物的种类,根据得到各种野生动物的种类,进行加法运算后,可以得到遥感图像数据中野生动物的物种数。例如,物体识别神经网络模型进行物体识别后,确定遥感图像中存在鹿、狼、牛和虎,则很容易得到物种量为4。需要说明的是,上述方案适用于拍摄区域较小,野生动物种类较少的场景。对于拍摄区域较大,野生动物种类较多的场景,人们通常只重点关注一种或多种野生动物的生长情况。
在本申请实施例中,物体识别神经网络模型进行物体识别后得到各野生动物的边界框,分计算各个物种对应的边界框的数量就能得到每一种野生动物的数量。
如图3所示,本申请实施例提供了一种基于无人机的野生动物信息获取装置,包括:获取模块301,数据处理模块302和计数模块303;
获取模块301,用于通过控制无人机获取野生动物的遥感图像数据。
数据处理模块302,用于利用已训练的特征提取神经网络模型对遥感图像数据进行特征提取,其中特征提取神经网络模型的各个模块内的各层之间为密集连接。
数据处理模块302还用于利用已训练的物体识别神经网络模型根据多个预设特征图像尺度,分别对特征提取神经网络模型得到的遥感图像数据的多个特征图像进行识别,多个预设特征图像尺度是指特征图像相对于遥感图像的压缩比例。
计数模块303,用于根据物体识别神经网络模型得到识别的结果,确定遥感图像数据中野生动物的物种数以及各种野生动物的数量。
获取模块301用于根据预存的野生动物分布区域信息,确定无人机的拍摄轨迹和拍摄高度;根据拍摄轨迹和拍摄高度,确定无人机的单次拍摄范围;根据野生动物分布区域信息和单次拍摄范围,确定两个单次拍摄得到的图像数据的重合比例,重合比例为两个图像重合区域的图像大小与图像的图像大小的比值;根据重合比例,对无人机沿拍摄轨迹拍摄的各个图像数据进行图像合成,以得到遥感图像数据。
数据处理模块302用于根据特征图像中的特征数据,确定野生动物的种类和遥感图像数据中野生动物的边界框;根据预设包围框集合,在各特征图像尺度下分别确定野生动物的边界框与包围框集合的相对位置关系,其中包围框集合在遥感图像数据中的坐标为预先设定的,且包围框集合的尺寸与野生动物的体积大小有关;根据相对位置关系和包围框集合的预设坐标,确定野生动物的边界框在遥感图像数据中的坐标。
计数模块303用于根据物体识别神经网络模型得到各个野生动物的种类,确定遥感图像数据中野生动物的物种数;根据各野生动物的种类对应的中心坐标数量,确定各种野生动物的数量。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。