CN112380962A - 一种基于深度学习的动物图像识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的动物图像识别方法及系统，通过获取待识别的动物连续图像，计算图像前后帧差分值大小进而调整前后帧距离，利用灰度处理和经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图，对目标图进行识别预测，缩小目标图到指定大小进行重复识别预测，对获得的所有预测值进行筛选保留。相比于传统动物识别采用的使用拍摄原图进行动物识别训练与预测，本发明采用目标图进行训练预测，排除背景干扰，强化动物图特征，提高了识别精度与效率。旨在解决现有技术中存在的缺乏一种高精度与高效率的基于图像分析的动物园区内的动物识别方法的技术问题。

Description

一种基于深度学习的动物图像识别方法及系统

技术领域

本发明涉及动物智能识别技术领域，尤其涉及一种基于深度学习的动物图像识别方法及系统。

背景技术

动物园是搜集饲养各种动物，进行科学研究和迁地保护，供公众观赏并进行科学普及和宣传保护教育的场所。动物园有两个基本特点：一是饲养管理着野生动物，二是向公众开放。符合这两个基本特点的场所即是广义上的动物园，包括水族馆、专类动物园等类型。动物园的基本功能是对野生动物的综合保护和对公众的保护教育。

在动物园区内，往往需要对动物的活动区域与途径进行追踪来对动物的身体状态进行诊断分析，而现有的动物追踪方法是对获取的庞大的监控视频进行人工查询，在大量的视频中分析动物出现的区域范围，进而根据时间线获得动物活动途径，工作量庞大，同时根据时间线整理分析出的区域范围的工作繁琐，易出错；另外，在兽笼的门锁处以及动物园区的门禁处，必须有人值守来判断工作人员或游客的进出是否有动物跟随，人工成本高，在长时间工作情况下，判断效率与精度得不到保障。如何，实现提供一种高精度与高效率的基于图像分析的动物园区内的动物识别方法是一个亟需解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于深度学习的动物图像识别方法及系统，旨在解决现有技术中存在的缺乏一种高精度与高效率的基于图像分析的动物园区内的动物识别方法的技术问题。

为实现上述目的，本发明的第一方面，提供一种基于深度学习的动物图像识别方法，所述动物识别方法包括如下步骤：

获取待识别的动物连续图像；

通过计算图像前后帧差分值大小调整前后帧距离，区分动物图像中背景部分和前景部分；

利用灰度处理计算的前后帧差分值大小获得第一差分图，对第一差分图进行二值化处理；利用经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图；

将目标图划分为S×S的网格，预测每个网格的M个条件类别概率P(Class[i]|Object)和N个bounding box和置信度；将获得的条件类别概率与bounding box置信度相乘，得到每个 bounding box属于特定类别的confidence score，并预测获得最终预测值；

缩小目标图到指定大小，重复上述对目标图进行预测过程，对获得的所有预测值进行筛选保留。

优选的，一种基于深度学习的动物图像识别方法，所述获取待识别的动物连续图像通过调取或导入监控视频，对监控视频中动物出现的连续画面帧进行提取。

优选的，一种基于深度学习的动物图像识别方法，所述调整前后帧距离具体为：根据计算的前后帧差分值大小进行动态调整，将差分值大于预设值的前后帧间距离缩小，将差分值小于预设值的前后帧间距离扩大。

优选的，一种基于深度学习的动物图像识别方法，所述第一差分图为前后帧计算所得的差分值表达的灰度图，所述灰度图中将相同部分置0，完全不同部分置255。

优选的，一种基于深度学习的动物图像识别方法，所述第二差分图为对第一差分图进行二值化处理后的经验容差值差分图，所述经验容差值差分图将图中小于预设容差值部分置0，大于预设容差值部分置1。

优选的，一种基于深度学习的动物图像识别方法，所述目标图的构造方法为：原图与第二差分图混合，第二差分图为1的部分对应的原图RGB值不变，将第二差分图为0的部分对应的原图RGB值置(0,0,0)。

优选的，一种基于深度学习的动物图像识别方法，所述S×S的网格中，每个网格负责预测目标中心落在其中的目标，若目标中心落在多个网格边界，通过非极大值抑制算法筛选获得对应网格来进行预测。

优选的，一种基于深度学习的动物图像识别方法，所述置信度表示为：

若包含目标，则confidence＝0，如果含有目标，则

优选的，一种基于深度学习的动物图像识别方法，所述每个bounding box包括5个预测值：x,y,w,h及置信度；其中：x,y表示bounding box中心坐标，w,h为bounding box大小。

本发明的第二方面，提供一种基于深度学习的动物图像识别系统，所述的动物图像识别系统包括如下单元：

图像获取单元：获取待识别的动物连续图像；

前后帧调整单元：通过计算图像前后帧差分值大小调整前后帧距离，区分动物图像中背景部分和前景部分；

目标图获取单元：利用灰度处理计算的前后帧差分值大小获得第一差分图，对第一差分图进行二值化处理；利用经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图；

目标图训练与预测单元：将目标图划分为S×S的网格，预测每个网格的M个条件类别概率P(Class[i]|Object)和N个bounding box和置信度；将获得的条件类别概率与bounding box 置信度相乘，得到每个bounding box属于特定类别的confidence score，并预测获得最终预测值；

目标图重复预测单元：缩小目标图到指定大小，重复上述对目标图进行预测过程，对获得的所有预测值进行筛选保留。

本发明中，通过获取待识别的动物连续图像，计算图像前后帧差分值大小进而调整前后帧距离，利用灰度处理和经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图，对目标图进行识别预测，缩小目标图到指定大小进行重复识别预测，对获得的所有预测值进行筛选保留。相比于传统动物识别采用的使用拍摄原图进行动物识别训练与预测，本发明采用目标图进行训练预测，排除背景干扰，强化动物图特征，提高了识别精度与效率。旨在解决现有技术中存在的缺乏一种高精度与高效率的基于图像分析的动物园区内的动物识别方法的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提出的一种基于深度学习的动物图像识别方法的流程步骤示意图。

图2为本发明提出的一种基于深度学习的动物图像识别系统的结构原理示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当人认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出了一种实施例，参照图1，图1为本发明提出的一种基于深度学习的动物图像识别方法的步骤流程示意图。

如图1所示，在本实施例中，包括如下步骤：

获取待识别的动物连续图像；

通过计算图像前后帧差分值大小调整前后帧距离，区分动物图像中背景部分和前景部分；

利用灰度处理计算的前后帧差分值大小获得第一差分图，对第一差分图进行二值化处理；利用经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图；

将目标图划分为S×S的网格，预测每个网格的M个条件类别概率P(Class[i]|Object)和 N个bounding box和置信度；将获得的条件类别概率与bounding box置信度相乘，得到每个 bounding box属于特定类别的confidence score，并预测获得最终预测值；

缩小目标图到指定大小，重复上述对目标图进行预测过程，对获得的所有预测值进行筛选保留。

在本实施例中，对上述动物图像识别方法进行详细说明，主要包括如下三个步骤：

1、视频背景与前景如何分割；

本发明采用视频帧间预测方法，预测过程：

a、本项目采用自适应的帧间预测间隔使用差分算法计算前后帧插值，不变部分为背景，变化部分为前景；

b、这里的自适应指的是帧间距离是动态的，根据计算的前后帧差分大小，动态调整，差分大缩小前后帧间距离，差分小扩大前后帧距离；

2、使用差分图处理原图得到目标图；

a、对上述前后帧计算所得的差分值使用等大小的灰度图表达，即相同部分为0完全不同部分为255形成差分图1；

b、使用经验容差值对差分图1进行二值化处理，即小于容差值的置0，大于容差值的置 1形成差分图2；

b、混合原图与差分图2，即差分图2为0部分原图rgb值置(0，0，0)，差分图为1 部分原图rgb保持不变，形成目标图；

3、深度学习；

传统动物识别多是使用拍摄的原图直接进行训练与预测，本发明使用步骤2所得目标图来做训练与预测；

旨在排除背景干扰，强化动物图特征；

算法设计如下：

a、将步骤2得到的目标图划分为SxS的网格。如果某个目标中心落在一个网格中，则该网格负责检测该目标。有些目标中心点可能落在多个网格的边界，可通过非极大值抑制算法进行筛选其一来预测。

b、每个网格预测N个bounding box及其置信度。置信度反映了bounding box包含对象的信心程度，以及bounding box预测目标的准确程度。置信度定义为：

如果不含目标，则confidence＝0，如果含有目标，则

c、每个bounding box包括5个预测值：x,y,w,h及置信度。x,y表示bounding box中心坐标，w,h为bounding box大小，训练过程将x,y,w,h进行归一化。

d、每个网格预测M个条件类别概率P(Class[i]|Object)。不论每个网格中bounding box 有多少个，每个网格只预测一组类别概率。

e、在测试阶段，我们将条件类别概率与bounding box置信度相乘，

得到每个bounding box属于特定类别的confidence score。

f、因此最终预测值变为SxSx(5*N+M)的张量。

g、缩小步骤2得到的目标图到指定大小(根据经验一般配置4～8个不同缩放比例)，回到步骤a重新执行流程；

h、对于上述得到的所有结果，通过非极大值抑制算法筛选合适的保留，算法完成。

在本实施例中，动物园监控人员将设置于动物园区内的监控设备采集的监控视频作为动物识别方法的图像输入，通过上述深度学习及预测过程，能够得到每一段监控视频中出现的动物，通过计算机汇总视频位置与视频时间标志信号得到最终所有监控视频下动物在动物园区内的活动区域与轨迹。

在另一个实施例中，动物园安防管理人员可将设置于兽笼的门锁内外或动物园区的门禁内外的监控设备采集的监控视频作为动物识别方法的图像输入，通过上述深度学习及预测过程，能够实时判断兽笼的门锁内外或动物园区的门禁内外是否有猛兽/动物的存在，该判断结果可作为输出逻辑信号与开锁信号/门禁开启信号共同判断是否打开电子门锁或电子门禁。通过这样的方式，防止动物跟随游客的进出动物园跟随逃逸，同时也能防止动物园工作人员误入装有猛兽的兽笼。

在另一个实施例中，如图2所示，一种基于深度学习的动物图像识别系统，所述的动物图像识别系统包括如下单元：

图像获取单元：获取待识别的动物连续图像；

前后帧调整单元：通过计算图像前后帧差分值大小调整前后帧距离，区分动物图像中背景部分和前景部分；

目标图获取单元：利用灰度处理计算的前后帧差分值大小获得第一差分图，对第一差分图进行二值化处理；利用经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图；

目标图训练与预测单元：将目标图划分为S×S的网格，预测每个网格的M个条件类别概率P(Class[i]|Object)和N个bounding box和置信度；将获得的条件类别概率与bounding box 置信度相乘，得到每个bounding box属于特定类别的confidence score，并预测获得最终预测值；

目标图重复预测单元：缩小目标图到指定大小，重复上述对目标图进行预测过程，对获得的所有预测值进行筛选保留。

本发明所揭露的方法、系统和模块，可以通过其它的方式实现。例如，以上所描述的实施例仅是示意性的，例如，所述模块的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述分立部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例的方案目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、制度存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于深度学习的动物图像识别方法，其特征在于，所述动物识别方法包括如下步骤：

获取待识别的动物连续图像；

通过计算图像前后帧差分值大小调整前后帧距离，区分动物图像中背景部分和前景部分；

利用灰度处理计算的前后帧差分值大小获得第一差分图，对第一差分图进行二值化处理；利用经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图；

将目标图划分为S×S的网格，预测每个网格的M个条件类别概率P(Class[i]|Object)和N个bounding box和置信度；将获得的条件类别概率与bounding box置信度相乘，得到每个bounding box属于特定类别的confidence score，并预测获得最终预测值；

缩小目标图到指定大小，重复上述对目标图进行预测过程，对获得的所有预测值进行筛选保留。

2.如权利要求1所述的一种基于深度学习的动物图像识别方法，其特征在于，所述获取待识别的动物连续图像通过调取或导入监控视频，对监控视频中动物出现的连续画面帧进行提取。

3.如权利要求1所述的一种基于深度学习的动物图像识别方法，其特征在于，所述调整前后帧距离具体为：根据计算的前后帧差分值大小进行动态调整，将差分值大于预设值的前后帧间距离缩小，将差分值小于预设值的前后帧间距离扩大。

4.如权利要求1所述的一种基于深度学习的动物图像识别方法，其特征在于，所述第一差分图为前后帧计算所得的差分值表达的灰度图，所述灰度图中将相同部分置0，完全不同部分置255。

5.如权利要求4所述的一种基于深度学习的动物图像识别方法，其特征在于，所述第二差分图为对第一差分图进行二值化处理后的经验容差值差分图，所述经验容差值差分图将图中小于预设容差值部分置0，大于预设容差值部分置1。

6.如权利要求5所述的一种基于深度学习的动物图像识别方法，其特征在于，所述目标图的构造方法为：原图与第二差分图混合，第二差分图为1的部分对应的原图RGB值不变，将第二差分图为0的部分对应的原图RGB值置(0,0,0)。

7.如权利要求1所述的一种基于深度学习的动物图像识别方法，其特征在于，所述S×S的网格中，每个网格负责预测目标中心落在其中的目标，若目标中心落在多个网格边界，通过非极大值抑制算法筛选获得对应网格来进行预测。

8.如权利要求7所述的一种基于深度学习的动物图像识别方法，其特征在于，所述置信度表示为：

若包含目标，则confidence＝0，如果含有目标，则

9.如权利要求8所述的一种基于深度学习的动物图像识别方法，其特征在于，所述每个bounding box包括5个预测值：x,y,w,h及置信度；其中：x,y表示bounding box中心坐标，w,h为bounding box大小。

10.一种基于深度学习的动物图像识别系统，其特征在于，所述的动物图像识别系统包括如下单元：

图像获取单元：获取待识别的动物连续图像；

前后帧调整单元：通过计算图像前后帧差分值大小调整前后帧距离，区分动物图像中背景部分和前景部分；

目标图获取单元：利用灰度处理计算的前后帧差分值大小获得第一差分图，对第一差分图进行二值化处理；利用经验容差处理获得第二差分图，将原图像与第二差分图混合获得用以深度学习识别的目标图；

目标图训练与预测单元：将目标图划分为S×S的网格，预测每个网格的M个条件类别概率P(Class[i]|Object)和N个bounding box和置信度；将获得的条件类别概率与boundingbox置信度相乘，得到每个bounding box属于特定类别的confidence score，并预测获得最终预测值；

目标图重复预测单元：缩小目标图到指定大小，重复上述对目标图进行预测过程，对获得的所有预测值进行筛选保留。

Images