CN112529973A - 野外自供能动物抓拍图片动物识别算法 - Google Patents

Abstract

本发明公开了一种野外自供能动物抓拍图片动物识别算法，包括抓拍装置，该抓拍装置内设置红外阵列传感器和摄像机，所述红外阵列传感器用于获取128*128的红外阵列温度图片，所述摄像机用于获取X*Y的彩色图片RGB；具体识别算法步骤为：S1：将红外阵列温度图片、彩色图片RGB压缩合并，形成合并图片数据Input；S2：将步骤S1得到的合并图片数据Input送入数据卷积网络结构进行处理后，得到输出图片数据Output；S3：设定判断阈值，根据输出图片数据Output的取值，判定是否有动物。有益效果：通过建立数据卷积网络结构，将图片数据化，简单化，进行出来，有效提高了处理速度，缩小了数据处理量。

Description

野外自供能动物抓拍图片动物识别算法

技术领域

本发明涉及图片处理和识别技术领域，具体的说是一种野外自供能动物抓拍图片动物识别算法。

背景技术

准确掌握野生动物的种群分布、数量规模、生活环境、生存质量和栖息状况等信息，是野生动物生态学研究的基础，可为野生动物生态研究和有效保护野生动物提供科学依据。因此，网格化监测野生动物种群及分布信息极为重要。

除人工野外调查外，24h物联网自动监测是极为重要的技术手段。当前，野生动物红外拍摄相机在国内得到广泛应用，当野生动物出现在红外拍摄相机监测视场范围内时，通过红外热释电传感技术感知动物而触发相机拍摄，并将照片存储在数据存储卡中，由人工定期取卡获得野生动物拍摄照片或通过移动通信网络回传照片。

但是由于图片没有经筛选导致数据量巨大，在现有技术中，还处于人为筛选的阶段。由于摄像设备众多，导致数量量庞大，在进行筛选过程中，大多会进行快进筛选，而野生动物在镜头内活动时间一般也就几秒钟，在快进查看、筛选过程中经常出现遗漏、错过的情况。

目前出现了一些图片识别的方法，但是现有技术中，使用与针对单张或者少量图片的识别是有用的，现有识别速度慢、处理算法复杂，针对单张图片，就需要耗费大量的计算内容和计算数据，并且需要占用很大的内存，不适用于大量图片识别。当将野外拍摄的视频数据分帧后放入现有的识别算法中，处理速度慢，占用内部大，对识别处理器的要求高，不能满足需求。

发明内容

针对上述问题，本发明提供了一种野外自供能动物抓拍图片动物识别算法，通过建立数据卷积网络结构，将图片数据化，简单化，进行出来，有效提高了处理速度，缩小了数据处理量。

为达到上述目的，本发明采用的具体技术方案如下：

一种野外自供能动物抓拍图片动物识别算法，包括抓拍装置，该抓拍装置内设置红外阵列传感器和摄像机，所述红外阵列传感器用于获取128*128的红外阵列温度图片，所述摄像机用于获取X*Y的彩色图片RGB；具体识别算法步骤为：

S1：将红外阵列温度图片、彩色图片RGB压缩合并，形成合并图片数据Input；

S2：将步骤S1得到的合并图片数据Input送入数据卷积网络结构进行处理后，得到输出图片数据Output；

S3：设定判断阈值，根据输出图片数据Output的取值，判定是否有动物。

将红外阵列温度图片、彩色图片RGB压缩合并，针对野生动物的拍摄特征，选取了热成像图片，并且结合彩色图片，建立一个四通道的图片数据。并将数据放入数据卷积网络结构，进行卷积计算得出最优结果。从而数据识别结果。

进一步的技术方案，步骤S1的内容为：

根据红外阵列温度图片的尺寸，将彩色图片RGB尺寸映射成为3通道的128*128的调整图片数据；

根据所述红外阵列温度图片得到1通道128*128的红外温度数据；

将所述调整图片数据和所述红外温度数据压缩合并，形成4通道、128*128的合并图片数据Input。

采用上述方案，结合了野生动物的红外温度成像特征和摄像设备拍摄的彩色图片特征，有效的提高了识别率。

再进一步的技术方案，步骤S2中，将合并图片数据Input送入数据卷积网络结构进行处理的具体步骤为：

S21：设置第一卷积核组，该第一卷积核组包括16个的1*1卷积核Filter1 X，X＝1,2,3…16；每个卷积核Filter1 X通道数均为4，步长设置为1；

将所述合并图片数据Input和16个卷积核Filter1 X做组卷积运算，得到组卷积输出数据M1，具体为：

所述合并图片数据Input和第一卷积核组中的所有卷积核Filter1 X各有4个通道，将合并图片数据Input和每个卷积核Filter1 X的四个通道依次相乘并相加后得到第一次中间数据，第一次中间数据代入h-swish函数，计算得到16通道128*128的第一次卷积输出数据M1；

增加了通道数，使得原始合并图片数据Input中潜藏的特征升维到了一个更高维的空间，然后通过使用h-swish函数增加了非线性表达能力。

S22：设置第二卷积核组，该第二卷积核组包括1个的4*4卷积核Filter2，每个第二卷积核Filter2通道数均为4，步长设置为4；

将第一次卷积输出数据M1与卷积核Filter2做常规卷积运算，得到常规卷积输出数据M2；具体为：

第一次卷积输出数据M1有16个通道，现在将其分成4个组，每组4个通道；取其中4组分别与卷积核Filter2做卷积运算并合并得4通道32*32的第二次中间数据，再代入h-swish函数得到第二次卷积输出数据M2；

将第一次卷积输出数据M1分成4个组，每组依次与卷积核Filter2做卷积运算。与Filter1不同，Filter2只有一个卷积核，所以第一次卷积输出数据M1分的4个组共用卷积核Filter2的一个卷积核(即为共享卷积核权重)。这样的操作极大的减少了计算过程中消耗的时间和内存。

S23：设置第三卷积核组，该第三卷积核组包括1个的4*4卷积核Filter3，卷积核Filter3通道数均为4，步长设置为4；

将第二次卷积输出数据M2与卷积核Filter3做第三次卷积运算，得到第三次卷积输出数据M3；具体为：

第二次卷积输出数据M2是4通道32*32数据，卷积核Filter3是4通道数据，每个通道分别卷积，得到结果是4个8*8的第三次中间数据，然后4个中间数据相加得到1通道8*8数据，代入经过h-swish函数得到第三次卷积输出数据M3；

S24：设置第四卷积核组，该第四卷积核组包括1个通道数为1的8*8卷积核Filter4；

将第三次卷积输出数据M3与卷积核Filter4做卷积运算后得到第四次中间数据，第四次中间数据代入tanh函数，得到合并图片数据Input；

其中，h-swish函数为：

ReLU6[x]＝Min(Max(x，0)，6)；

x为第一次中间数据或者第二次中间数据或者第三次中间数据；

tanh函数为：

y为第四次中间数据。

再进一步的技术方案，设定判断阈值为范围是(-1,1)，所述合并图片数据Input的值越趋近1，表示越确定图片中含有动物；所述合并图片数据Input的值越趋近-1，表示越确定图片不含有动物。

该数据卷积网络结构的特点是采用组卷积和共享权重使得参数量少，在进行图片识别是可以远程与云平台连接进行数据交互，耗电量少，速度快。

本发明的有益效果：将红外阵列温度图片、彩色图片RGB压缩合并，针对野生动物的拍摄特征，选取了热成像图片，并且结合彩色图片，建立一个四通道的图片数据。并将数据放入数据卷积网络结构，进行卷积计算得出最优结果。从而数据识别结果。采用组卷积和共享权重使得参数量少，在进行图片识别是可以远程与云平台连接进行数据交互，耗电量少，速度快。

附图说明

图1是本发明的方法步骤流程图；

图2是抓拍装置系统控制框图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

一种野外自供能动物抓拍图片动物识别算法，包括抓拍装置，该抓拍装置内设置红外阵列传感器和摄像机，所述红外阵列传感器用于获取128*128的红外阵列温度图片，所述摄像机用于获取1920*1080的彩色图片RGB；

在本实施例中，该抓拍装置包括铝合金壳体，该铝合金壳体内设置有主控制器MCU1，从图2可以看出，该主控制器MCU1的远距离红外采集端连接有第一鉴别传感器2，所述主控制器MCU1的聚焦红外采集端上连接有第二鉴别传感器3，所述主控制器MCU1的光采集端上连接有光照度传感器4，所述主控制器MCU1的补光拍摄端连接有补光摄像设备5，所述主控制器MCU1的图像处理端连接有图像处理模块6，所述主控制器MCU1的存储端上连接有存储器7，所述主控制器MCU1的通信端上连接有传输通信模块12，该传输通信模块12与所述图像处理模块6连接，所述主控制器MCU1的定位端上连接有定位模块9，所述主控制器MCU1的倾倒检测端上连接有倾倒传感器10，所述主控制器MCU1的振动检测端上连接有振动传感器11，所述主控制器MCU1的内部环境检测端上连接有内环境传感器K，所述主控制器MCU1供电端上连接有自供电模块13。

在本实施例中，主控制器MCU1采用内核为ARM Cortex-M4，带FPU浮点运算单元的超低功耗微处理器，其可实现＜500nA超低待机运行功耗。通过算法、数据交互实现装置各项功能的控制。

在本实施例中，补光摄像设备5采用1200万像素的可见光传感器，支持至少1080P图像与视频的拍摄。

结合图2还可以看出，所述第一鉴别传感器2包括红外传感器22，该红外传感器为双红外热释电敏感元件反向串联形成，所述壳体上开设有第一鉴别孔，该第一鉴别孔上设置有菲涅尔透镜21，所述红外传感器22的红外采集端正对所述菲涅尔透镜21，所述红外传感器22与红外传感器驱动电路输入端连接，该红外传感器驱动电路输出端输出的红外波形信号与所述主控制器MCU1的聚焦红外采集端连接；

在本实施例中，红外传感器22波长9～12um，敏感度>4000V/W，视场角>100°。

所述第二鉴别传感器3包括红外阵列传感器32，所述铝合金壳体上开设有第二鉴别孔，该第二鉴别孔内设置有红外透镜31，所述红外阵列传感器32的红外采集端正对所述红外透镜31，所述红外阵列传感器32的温度信号与所述主控制器MCU1的聚焦红外采集端连接。

在本实施例中，第二鉴别传感器3中，红外阵列传感器32的像素点阵≥128*128。

在本实施例中，所述传输通信模块12包括移动通信单元和近距离无线传输单元，所述近距离无线传输单元为WiFi传输单元；在本实施例中，该WiFi传输单元可提供最大150Mbit/s的传输速率。

在本实施例中，移动通信单元可以是4G/5G/6G等。

结合图2还可以看出，所述自供电模块13包括太阳能电池板13b，该太阳能电池板13b连接有能量收集与转化电路13a，该能量收集与转化电路13a经三级储能器向所述主控制器MCU1供电。

太阳能电池板13b采用双A级单晶硅高效率太阳能电池板，配合低光照电荷泵技术与MPPT追踪技术，实现＞500lux光照下稳定储能。

结合图2可以看出，所述内环境传感器K包括电流电压检测模块K1、温度检测模块K2、湿度检测模块K3、气压检测模块K4，所述电流电压检测模块K1、温度检测模块K2、湿度检测模块K3、气压检测模块K4均与所述主控制器MCU1连接。

在本实施例中，结合图1可以看出，野外自供能动物抓拍图片动物识别算法具体识别算法步骤为：

S1：将红外阵列温度图片、彩色图片RGB压缩合并，形成合并图片数据Input；

在本实施例中，合并图片数据Input为一张4通道的160*120图片矩阵。

在本实施例中，步骤S1：

映射处理，将RGB和红外阵列合并成一个128*128*4矩阵

数据量(计算过程中占用的内存空间)：128*128*4＝65.5K

S2：将步骤S1得到的合并图片数据Input送入数据卷积网络结构进行处理后，得到输出图片数据Output；

步骤S2中，将合并图片数据Input送入数据卷积网络结构进行处理的具体步骤为：

S21：设置第一卷积核组，该第一卷积核组包括16个的1*1卷积核Filter1 X，X＝1,2,3…16；每个卷积核Filter1 X通道数均为4，步长设置为4；

将所述合并图片数据Input和16个卷积核Filter1 X做组卷积运算，得到组卷积输出数据M1，具体为：

所述合并图片数据Input和第一卷积核组中的所有卷积核Filter1 X各有4个通道，将合并图片数据Input和每个卷积核Filter1 X的四个通道依次相乘并相加后得到第一次中间数据，第一次中间数据代入h-swish函数，计算得到16通道128*128的第一次卷积输出数据M1；

在本实施例中，第一卷积核组的参数组用ω1表示，共含有4*1*1*16个参数，M1＝h-swish(ω1*Input)

在步骤S21中：

点卷积升维成128*128*16矩阵；

数据量：128*128*16＝262.1K

参数量：4*16≈64

计算量：128*128*4*16＝1.05M次

S22：设置第二卷积核组，该第二卷积核组包括1个的4*4卷积核Filter2，每个第二卷积核Filter2通道数均为4，步长设置为4；

将第一次卷积输出数据M1与卷积核Filter2做常规卷积运算，得到常规卷积输出数据M2；具体为：

第一次卷积输出数据M1有16个通道，现在将其分成4个组，每组4个通道；取其中4组分别与卷积核Filter2做卷积运算并合并得4通道32*32的第二次中间数据，再代入h-swish函数得到第二次卷积输出数据M2；

在步骤S22中：

参数量：4*4*4＝64各组共用一个卷积核的权重；

计算量：128*128*16＝262.1K次；

S23：设置第三卷积核组，该第三卷积核组包括1个的4*4卷积核Filter3，卷积核Filter3通道数均为4，步长设置为4；

将第二次卷积输出数据M2与卷积核Filter3做第三次卷积运算，得到第三次卷积输出数据M3；具体为：

第二次卷积输出数据M2是4通道32*32数据，卷积核Filter3是4通道数据，每个通道分别卷积，得到结果是4个8*8的第三次中间数据，然后4个中间数据相加得到1通道8*8数据，代入经过h-swish函数得到第三次卷积输出数据M3；

在步骤S23中：

数据量：8*8*1＝64；

参数量：4*4*4＝64；

计算量：32*32*4＝4K次；

S24：设置第四卷积核组，该第四卷积核组包括1个通道数为1的8*8卷积核Filter4；

将第三次卷积输出数据M3与卷积核Filter4做卷积运算后得到第四次中间数据，第四次中间数据代入tanh函数，得到合并图片数据Input；

其中，h-swish函数为：

ReLU6[x]＝Min(Max(x，0)，6)；

x为第一次中间数据或者第二次中间数据或者第三次中间数据；

tanh函数为：

y为第四次中间数据。

在步骤S23中：

数据量：1。

参数量：8*8＝64。

计算量：8*8＝64次。

故综上所述，在数据卷积网络结构进行处理过程中的相关数据统计为：

数据量：65.5K+262.1K+4K+64+1≈332K；

参数量：64+64+64+64＝256；

计算量：1.05M+262.1K+4K+64≈1.3M次浮点运算；

S3：设定判断阈值，根据输出图片数据Output的取值，判定是否有动物。

步骤S1的内容为：

根据红外阵列温度图片的尺寸，将彩色图片RGB尺寸映射成为3通道的128*128的调整图片数据；

根据所述红外阵列温度图片得到1通道128*128的红外温度数据；

将所述调整图片数据和所述红外温度数据压缩合并，形成4通道、128*128的合并图片数据Input。

在本实施例中，设定判断阈值为范围是(-1,1)，所述合并图片数据Input的值越趋近1，表示越确定图片中含有动物；所述合并图片数据Input的值越趋近-1，表示越确定图片不含有动物。

应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。

Claims (4)

1.一种野外自供能动物抓拍图片动物识别算法，其特征在于：包括抓拍装置，该抓拍装置内设置红外阵列传感器和摄像机，所述红外阵列传感器用于获取128*128的红外阵列温度图片，所述摄像机用于获取X*Y的彩色图片RGB；具体识别算法步骤为：

S1：将红外阵列温度图片、彩色图片RGB压缩合并，形成合并图片数据Input；

S2：将步骤S1得到的合并图片数据Input送入数据卷积网络结构进行处理后，得到输出图片数据Output；

S3：设定判断阈值，根据输出图片数据Output的取值，判定是否有动物。

2.根据权利要求1所述的野外自供能动物抓拍图片动物识别算法，其特征在于：步骤S1的内容为：

根据红外阵列温度图片的尺寸，将彩色图片RGB尺寸映射成为3通道的128*128的调整图片数据；

根据所述红外阵列温度图片得到1通道128*128的红外温度数据；

将所述调整图片数据和所述红外温度数据压缩合并，形成4通道、128*128的合并图片数据Input。

3.根据权利要求2所述的野外自供能动物抓拍图片动物识别算法，其特征在于：步骤S2中，将合并图片数据Input送入数据卷积网络结构进行处理的具体步骤为：

S21：设置第一卷积核组，该第一卷积核组包括16个的1*1卷积核Filter1 X，X＝1,2,3…16；每个卷积核Filter1 X通道数均为4，步长设置为1；

将所述合并图片数据Input和16个卷积核Filter1 X做组卷积运算，得到组卷积输出数据M1，具体为：

所述合并图片数据Input和第一卷积核组中的所有卷积核Filter1 X各有4个通道，将合并图片数据Input和每个卷积核Filter1 X的四个通道依次相乘并相加后得到第一次中间数据，第一次中间数据代入h-swish函数，计算得到16通道128*128的第一次卷积输出数据M1；

S22：设置第二卷积核组，该第二卷积核组包括1个的4*4卷积核Filter2，每个第二卷积核Filter2通道数均为4，步长设置为4；

将第一次卷积输出数据M1与卷积核Filter2做常规卷积运算，得到常规卷积输出数据M2；具体为：

第一次卷积输出数据M1有16个通道，现在将其分成4个组，每组4个通道；取其中4组分别与卷积核Filter2做卷积运算并合并得4通道32*32的第二次中间数据，再代入h-swish函数得到第二次卷积输出数据M2；

S23：设置第三卷积核组，该第三卷积核组包括1个的4*4卷积核Filter3，卷积核Filter3通道数均为4，步长设置为4；

将第二次卷积输出数据M2与卷积核Filter3做第三次卷积运算，得到第三次卷积输出数据M3；具体为：

第二次卷积输出数据M2是4通道32*32数据，卷积核Filter3是4通道数据，每个通道分别卷积，得到结果是4个8*8的第三次中间数据，然后4个中间数据相加得到1通道8*8数据，代入经过h-swish函数得到第三次卷积输出数据M3；

S24：设置第四卷积核组，该第四卷积核组包括1个通道数为1的8*8卷积核Filter4；

将第三次卷积输出数据M3与卷积核Filter4做卷积运算后得到第四次中间数据，第四次中间数据代入tanh函数，得到合并图片数据Input；

其中，h-swish函数为：

ReLU6[x]＝Min(Max(x，0)，6)；

x为第一次中间数据或者第二次中间数据或者第三次中间数据；

tanh函数为：

y为第四次中间数据。

4.根据权利要求3所述的野外自供能动物抓拍图片动物识别算法，其特征在于：设定判断阈值为范围是(-1,1)，所述合并图片数据Input的值越趋近1，表示越确定图片中含有动物；所述合并图片数据Input的值越趋近-1，表示越确定图片不含有动物。

Images