CN102509305A - 基于全方位视觉的动物行为检测装置 - Google Patents

Abstract

一种基于全方位视觉的动物行为检测装置，包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的活动量、姿势、动作以及行为进行分析处理判断的微处理器；全方位视觉传感器安置在监控环境的上方获取实时监控环境内的全景视频图像，提供一种远程动物监控观察的手段；结合全方位视觉、计算机视觉和数据库等技术用于动物的活动量、姿势、动作和行为等分析，提高了动物观察和检测的自动化和智能化水平；采用了动物行为PAE编码方式，采用数据的方式来描述任意一种动物行为，PAE编码为分解、标识和描述动物行为多样性提供了手段；装置可为动物行为研究者提供一种有效的动物行为研究手段。

Description

基于全方位视觉的动物行为检测装置

技术领域

本发明属于全方位视觉、计算机视觉技术和关系数据库等技术在动物行为自动检测和调查方面的应用，主要适用于动物行为自动观察、动物异常行为的发现等动物行为学的各项研究。

背景技术

动物行为指动物在一定环境条件下，为了完成摄食排遗、体温调节、生存繁殖以及满足其他生理需求而以一定姿势完成的一系列动作。

动物在完成行为时需要耗费和占用资源，如能量、时间和空间。过去研究过当个体占有能量和时间有限时动物行为的变化，但是人类目前尚不清楚当动物生存空间资源有限时，动物的行为会发生什么变化？空间资源如何影响个体的弹性行为、聚群行为和逃逸行为？生态环境是动物行为表达的前提条件，生态环境由食物、植被、土壤基底、天敌、水体等构成。动物生境中各因素是如何影响动物行为的？这些调查的工作量是极其巨大的。

动物行为的辨别、分类和编码是动物行为学研究的一项重要内容。在理解动物行为的生态学功能的基础之上，对动物行为进行辨别和分类，建立动物行为谱，系统地开展行为编码，有助于量化行为，从而解明动物行为的功能以及行为之间的转化和相互关系。

中国发明专利号为201010140888.0公开了一种自然环境中动物行为视频监测方法与装置，通过主控模块、摄像机模块、数据存储模块、可调磁刺激模块、GPS模块和GPRS模块，追踪动物的活动路径，自动根据动物的运动状态，开启/停止视频或图片记录、存储观测数据，并将数据发送到后台服务器。该发明主要的问题是：1)必须将摄像装置安放在动物身体上；2)持续供电电源；3)动物行为自动识别。

中国发明专利号为201010033891.2公开了一种动物行为红外视频分析系统，包括动物行为实验箱、红外摄像机、视频采集卡和计算机，红外摄像机安装在动物实验箱顶部，红外摄像机与视频采集卡通过视频信号线相连，视频采集卡与计算机通过数据接口相连。该发明的不足之处是：1)只能对动物箱内的动物进行实验观察；2)没有采用对红外图像和视频图像进行任何处理；3)没有对动物行为进行自动辨别和分类。

中国发明专利号为02113827.3公开了一种动物行为视频分析系统，系统采用机器视觉技术对视频摄像机视场内的动物行为进行识别，获取运动轨迹，计算和记录相关实验数值，通过对动物行为的分析来测试动物学习能力、记忆机理和心理活动。系统硬件由视频输入器、图像采集卡、微处理器和显示屏组成。系统软件由通信、参数设置、图像采集、识别、行为分析、数值计算、并行处理、数据存储查询、显示、报警等模块组成。据称系统具有非接触无损，数字化，采样周期可调，既可实时在线自动跟踪动物运动轨迹，又可显示动物运动真彩色图像的优点。该发明最大的不足之处是：1)采用普通的摄像机，其观察范围十分有限；2)要进行行为识别，必须用计算机视觉的方式来识别动物的姿势和动作；3)没有考虑环境等因素对动物行为的影响。

一般来说动物行为主要由三个要素构成：姿势、动作和环境。所谓姿势是指动物在一定的时间中，身体的主要结构部分保持一定的形状和位置。所谓动作是指在较短时间内，动物机体部分骨骼肌群运动，使得机体的部分结构运动、收缩、舒张、弯曲和位移。所谓环境是动物行为产生的环境包括生物环境，即社会环境和非生物环境，由食物、植被、土壤基底、天敌、水体等构成。

动物行为是姿势和动作的组合，具有明显的环境适应机能。动物行为常常是在一定姿势基础之上完成的一系列动作，是较姿势和动作高一级的单元。动物的形态结构决定姿势和动作。动物行为则是动物与生态环境相互作用的结果。姿势决定行为的体位、指向和目的，动作除决定行为的指向和目的外，还决定行为的强度和频次。因此要准确地检测动物的行为就必须准确地检测动物的姿势、一系列动作以及其强度和频次，并且还需要同时检测动物行为发生时的生态环境。

发明内容

为了克服已有动物行为检测手段无法对动物的姿势、动作序列、强度和频次等方面进行检测的不足，本发明提供一种既能检测动物的姿势、动作序列、强度和频次，又能分析某种生态环境下的动物行为的基于全方位视觉的动物行为检测装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉的动物行为检测装置，包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的姿势、动作序列、强度和频次以及某种生态环境下的动物行为进行分析处理判断的微处理器；所述的全方位视觉传感器安置在检测环境中间的上方，用于拍摄某个生态环境内动物活动的全景视频图像；所述的全方位视觉传感器通过无线方式与所述的微处理器进行连接，所述的微处理器包括：

视频图像读取单元，用于读取全方位视觉传感器所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；

空间位置定义单元，用于定义和命名在全景图像中环境的空间位置；

针对动物行为的三个要素并适用于计算机处理，本发明提出一种动物行为的三位编码系统：依动物的姿势、动作和环境建立P码、A码和E码，将P码、A码和E码组合，可以描述任意一种动物行为；PAE编码为分解、标识和描述动物行为多样性提供了手段，同时也为计算机视觉分析；这里设B、P、A、E分别为研究对象的行为、姿势、动作和环境的集合，某一种动物行为用公式(1)来表示，

b_i＝p_i∩a_i∩e_i    (1)

式中，p_i、a_i和e_i分别是集合P、A、E的元素或子集；从公式(1)可以知道，要准确分析和检测动物的各种行为就必须准确地检测出动物的各种姿势元素p_i、各种动作元素a_i和各种环境元素e_i；

环境元素输入单元，用于将所述的空间位置定义单元所定义的空间位置与环境元素建立映射关系；

环境元素与空间位置关系数据库，用于存放环境中各元素与空间位置的映射关系；

前景对象检测单元，用于检测在全景柱状展开图像中存在的前景动物对象，具体采用MHI算法来计算前景动物对象，然后在柱状展开图像上用矩形框框住前景动物对象，并将矩形框提交给动物对象跟踪单元；

动物对象跟踪单元，根据前景对象检测单元所提交的矩形框采用Camshift算法对动物对象进行跟踪；

动物姿势解析单元，根据动物对象跟踪单元的结果采用动物模型算法估算出动物目前的姿势，并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中；

动物动作解析单元，根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作，并将动物动作分析结果写入动物姿势、动作数据库中；

动物姿势、动作数据库，用于存放某一时间、空间内的动物的姿势元素编码、动作元素编码和环境元素编码；

动物行为分析单元，根据动物姿势、动作数据库中某一时间、某一空间动物的一系列姿势和动作的变化，根据公式(1)分析动物的行为；

动物行为数据库，用于存放动物行为编码，动物行为编码用PAE模型来表达。

作为优选的一种方案：所述微处理器还包括：

新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过一系列所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为，如有新的动物行为，则将新的动物行为保存到所述动物行为数据库。

进一步，所述的前景对象检测单元中，采用基于MHI的背景更新模型，并利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现动物的分割与定位；

所述的基于MHI的背景更新模型，MHI的更新方式如公式(2)所示；

式中，mhi为运动历史图像，ts为当前时间，sih为图像的掩模，动物运动发生的地方取非零值，dur为运动跟踪的最大持续时间；

用公式(3)将图像由RGB颜色空间转换到YCbCr颜色空间，滤除Y分量，用Cb、Cr颜色来分割得到前景图像；

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ \mathrm{Cr}=0.713(R-Y)\\ \mathrm{Cb}=0.564(B-Y)\end{array}\right.---\left(3\right)$

式中，Y为YCbCr颜色空间的Y分量，Cb为YCbCr颜色空间的Cb分量，Cr为YCbCr颜色空间的Cr分量；R为RGB颜色空间的R分量，G为RGB颜色空间的G分量，B为RGB颜色空间的B分量；

阴影去除算法如下：

Step1：用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化，分别记为ImgL和ImgS；

Step2：利用背景减除之后的Cr和Cb图像分别进行二值化，分别记为ImgCr和ImgCb，得到的前景都去除了阴影，Cr得到的是红色色差分量，Cb得到的是蓝色色差分量，将两个色差结果取或得到去阴影的结果图像，记为ImgC＝ImgCrOR ImgCb，得到色差分割结果；

Step3：由于只靠色差分量得到的目标容易丢失没有颜色信息的目标，需要融合其亮度分量；取亮度阈值较大的二值化图像与色差二值化图像作或运算，记为Img1＝ImgC OR ImgL；

Step4：上述处理得到的结果容易有噪声，将ImgS作膨胀记为ImgS’，然后将Img1与ImgS’取与运算得到最终结果图像，Img＝Img1 AND ImgS’，由此得到的目标作为最终的运动目标前景；并将运动目标前景对象的中心位置和大小自动递交给所述的动物对象跟踪单元中CamShift算法以实现时而静止时而运动的动物对象的稳定跟踪。

再进一步，所述的动物对象跟踪单元中，根据所述的前景对象检测单元所提交的矩形框采用增强的Camshift算法对动物对象进行跟踪；

所述的增强的Camshifi算法如下：

步骤1：以所述前景对象检测单元中检测出的动物对象目标为基础，设定目标跟踪的ROI；

步骤2：计算ROI内的目标颜色概率密度分布；

步骤3：迭代Mean Shift直到收敛，记录其位置

和零阶矩

步骤4：对下一帧图像，以

为搜索窗中心位置，并根据

的函数确定搜索窗大小，根据动物对象目标外接矩形确定ROI大小，转步骤2；

在Camshift算法的步骤2中，采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(4)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(4\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(3)获得目标对象在图像中的颜色概率密度分布，再按公式(5)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\′}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O/C),255]$

(5)

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的步骤4中，根据上一帧跟踪结果的零阶矩

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(6)所示；

$s=2\×\sqrt{M_{00}^{\left(s\right)}/K}---\left(6\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据动物对象目标运动的空间连续性，在所述的动物对象目标实时跟踪中，动物对象目标在下一帧的位置位于前一帧中同一动物对象目标位置附近，因此定义适当位置和适当大小的ROI，动物对象目标跟踪在ROI内完成；

CamShift算法过程如下：

1)：在颜色概率分布图中选取范围为R的搜索窗W；

2)：计算x和y的零阶矩、一阶矩、二阶矩，计算方法如公式(7)、(8)、(9)所示；

$\left\{\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)\\ M_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xyI}(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{M}_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}I(x,y)\\ M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}I(x,y)\end{array}\right.---\left(9\right)$

3)：计算搜索窗的质心位置计算方法由公式(10)所示，

(x_c，y_c)＝(M₁₀/M₀₀，M₀₁/M₀₀)    (10)

4)：重新设置搜索窗的范围R；

5)：如果不收敛且循环次数小于预设值，则返回2)，否则结束；

算法中的收敛条件为：质心位置偏移量小于预定义阈值。

另外，被跟踪目标长轴方向角用公式(11)计算，

$\mathrm{\θ}=\frac{1}{2}\arctan \left\{\frac{2[(M_{11}/M_{00})-x_c{y}_c]}{[(M_{20}/M_{00})-{x_c}^2]-[(M_{02}/M_{00})-{y_c}^2]}\right\}---\left(11\right)$

式中，

$\left\{\begin{array}{c}a=(M_{20}/M_{00})-{x_c}^2\\ b=2[(M_{11}/M_{00})-x_c{y}_c]\\ c=[(M_{02}/M_{00})-{y_c}^2]\end{array}\right.$

则得到被跟踪对象的长轴、短轴的长度用公式(12)、(13)计算，

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}---\left(12\right)$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}---\left(13\right)$

要获得整个监控环境内的视频图像，对于这样大的视觉范围可以采用多个摄像头的方式来实现，但是这样做会增加系统成本；理想的视角方式是从监控环境的上方来监控整个环境内的动物的活动状况；本发明采用无死角的水平方向不变形的全方位视觉传感器来获得从整个监控环境顶视的全景视频图像，无死角的水平方向不变形的全方位视觉传感器的设计方案请见发明专利号ZL200710066757.0，发明名称为无死角的全方位视觉传感器；

更进一步，是全方位视觉传感器与无线通信网络单元的连接方案，全方位视觉传感器中的摄像机通过视频接口与无线通信网络单元进行连接，无线通信网络单元中包括嵌入式数字信号微处理器、麦克风、有线和无线数字传输模块、用于把模拟视频标准TV信号转换成数字视频YUV信号的A/D芯片；有线和无线数字传输模块中的传输软件基于TCP/IP网络协议，无线通信使用802.11g(b)协议，并支持无线和有线传输，支持公网、专网、局域网静态IP地址接入，提供图像和声音的压缩及传输功能，压缩算法采用H.264或者MPEG4；嵌入式数字信号微处理器连接SD存储卡；

所述的空间位置定义单元中，对监控环境的空间进行网格化处理，从获取的全景图像上定义和命名环境空间的网格，作为一种简单的定义和命名方式是采用大小相近的网格将可视范围内的环境空间进行分割，命名采用两位英文字母，从全方位视觉传感器的中心从内圈向外圈逆时针开始顺序编排，第一位英文字母表示相距全方位视觉传感器中心的距离，第二位英文字母表示环境元素所处的方位。位置空间编号与环境元素对应表，如表1所示；

空间位置编号	环境元素
		BD	水流中部
BE	水池右边
		AL	竹林右侧
PI	竹林左侧
		TK	假山
IO	喂食槽
		JQ	小山坡
TO	围栏左侧
		TP	围栏右侧
…	…

表1。

所述的动物姿势、动作单元中，将动物出现的空间位置、时间和姿势信息写入到动物姿势、动作数据库中内，动物姿势、动作数据库的表格式如表2所示；

表2

表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS；对象编号是根据所述的动物对象跟踪单元中跟踪的动物来命名的，用6位数字表示，对于新出现的对象系统自动产生一个新对象编号；空间编号是根据所述的动物对象跟踪单元中所得到跟踪焦点所处的空间位置来确定的；姿势编码是根据所述的姿势分析单元中所得到的动物姿势识别结果来设定的，姿势编码中将1命名为站立姿势、2命名为坐姿势、3命名为横躺姿势，等等；动作编码中将1命名为慢走、2命名为跳跃、3命名为攀登、4命名为排便、5命名为吃食、6命名为喝水、7命名为斗殴、8命名为玩耍，等等；上述命名用户可以根据不同动物对象进行命名；为了减少数据的冗余，如果动物跟踪对象消失或者静止的情况不产生记录；如果动物跟踪对象有活动情况时每条记录的间隔时间为10秒；

动物姿势的识别是通过动物跟踪框的高宽比来确定的，比如对于某种动物站立姿势的高宽比约为1∶1.5，坐姿势的高宽比约为2∶1，横躺姿势的高宽比约为1∶1.2；

所述的动物动作解析单元，从当前动物相对静止状态开始追溯到上一次动物相对静止状态，从两次间隔的相对静止状态的过程来识别动物的动作；

所述的动物行为分析单元，是根据动物姿势、动作数据库中记录的某个动物个体的姿势元素、动作元素(频度)以及环境元素的组合来进行分析的，组合的方式由公式(1)表示，考虑到动物行为的多样性，本发明中将动物行为分为三大类，即生存行为、繁殖行为和社会行为；在生存行为中再分为六小类，即摄食行为、排遗行为、调节温度行为、休息行为、运动行为和杂项行为；在繁殖行为中再分为四小类，即发情行为、交配行为、分娩行为和育幼行为；在社会行为中再分为三小类，即对抗行为、通讯行为和分群行为；每一种行为都可以归纳为姿势元素、动作元素(频度)以及环境元素的不同组合；在本发明中将目前人类已经解明的某种动物各种行为编码以矩阵的方式B′_i存放在动物行为数据库中，在所述的动物行为分析单元中计算所得到的行为编码以矩阵的方式B表示，然后将B与B′_i进行相减得到差分矩阵，得到差分矩阵D(B，B′_i)；接着用Frobenious范数表示动物行为分析单元中计算所得到的行为编码和动物行为数据库中动物某一行为编码的距离，计算公式由(14)表示，

dis(B，B′_i)＝trace((D(B，B′_i))^TD(B，B′_i))

(14)

式中，dis(B，B′_i)为Frobenious范数，如果dis(B，B′_i)小于所规定的值F，我们就认为目前检测的动物行为和数据库中动物某一行为是一致的；

进一步，如果在动物行为数据库中存放着N个动物的行为编码，那么在所述的动物行为分析单元中要遍历N次如公式(14)的检测判断过程；当遍历了N次检测判断后，如果没有找到相一致的动物行为编码就将该结果发送给新的动物行为发现单元，同时将该信息发送给告知单元，管理者或者研究者接受到该信息后，通过人机界面确认一系列所保存的动物姿势元素、动作元素(频度)以及环境元素，如果判断是一种新的动物行为就将该行为编码写入到动物行为数据库中；如果判断是在动物行为数据库中已经存在的行为编码，就需要适当地修改动物某一行为编码或者是F值，以便今后的检测更为准确。

本发明的有益效果主要表现在：1、获取实时监控环境内的全景视频图像，可提供一种远程动物监控观察的手段；2、结合全方位视觉、计算机视觉和数据库等技术用于动物的活动量、姿势、动作和行为等分析，提高了动物观察和检测的自动化和智能化水平；3、采用了动物行为PAE编码方式，可以用数据的方式来描述任意一种动物行为，PAE编码为分解、标识和描述动物行为多样性提供了手段；4、相关分析结果可以用于帮助客观了解动物的，为动物园的管理员提供了自动化的管理工具，同时也为动物行为研究者提供了有效的动物行为研究手段。

附图说明

图1为观察和检测动物的姿态、动作、环境以及分析动物行为的示意图；

图2为一种具有网络通信的全景视觉传感器的结构图；

图3为一种全景视频图像和空间位置定制方法说明图；

图4为一种无死角的全方位视觉传感器成像原理图；

图5为一种基于全方位视觉的动物行为检测装置的软件构成框图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～5，一种基于全方位视觉的动物行为检测装置，包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的活动量、姿势、动作以及行为进行分析处理判断的微处理器；所述全方位视觉传感器，如图4所示，安置在动物经常活动的环境中间的上方，如图1所示，使得全方位视觉传感器能捕获到动物经常活动的视频图像，所拍摄的图像如图3所示；所述的全方位视觉传感器通过网络接口与所述的微处理器进行连接，所述的微处理器包括硬件和软件两个部分，硬件部分采用一般市售的PC机；软件部分如图5所示，包括：视频图像读取单元，用于通过网络接口读取全方位视觉传感器所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；空间位置定义单元，用于定义和命名在全景图像中动物活动的环境空间位置；环境元素输入单元，用于将所述的空间位置定义单元所定义的空间位置与环境元素建立映射关系；前景对象检测单元用于检测在全景柱状展开图像中存在的前景动物对象，具体采用MHI算法来计算前景动物对象，然后在柱状展开图像上用矩形框框住前景动物对象，并将矩形框提交给动物对象跟踪单元；动物对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对动物对象进行跟踪；动物姿势解析单元，根据动物对象跟踪单元的结果采用动物模型算法估算出动物目前的姿势，并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中；动物动作解析单元，根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作；动物行为分析单元，根据动物姿势、动作数据库中某一时间、某一空间内动物的一系列姿势和动作的变化，根据PAE模型来分析与判断动物的行为。

所述微处理器还包括：新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过一系列所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为，如有新的动物行为，则将新的动物行为保存到所述动物行为数据库。

安置在动物经常出没的环境中的全方位视觉传感器，通常是安装在能获取动物活动比较频繁的环境中间的上方，如图1所示，这样使用一个全方位视觉传感器就能获取观察动物活动的视频信息，因此全方位视觉传感器主要承担实时采集动物活动的视频图像数据并传输所拍摄的全景图像，为动物的行为分析提供数据支撑；

基于计算机视觉的动物行为识别方法，主要包括五个部分：一是动物的空间定位，二是动物运动的跟踪，三是动物姿势的识别，四是动物动作的识别，五是动物行为的识别。

因此对进入全景视频场景的动物目标进行持续跟踪，即使在动物目标静止时仍然保持焦点。现有的基于MHI算法能较好地跟踪动物运动目标，但是当被跟踪动物目标停止运动时，算法会失去跟踪焦点，而当其再次运动时，算法会误当作新的动物目标；现有的CamShift算法具有可以锁定静止目标的优势，但跟踪运动目标时易受附近颜色干扰，且不含对各目标的图像分割，属于半自动化的跟踪技术；鉴于动物活动环境变化缓慢的特点，本发明结合MHI算法和CamShift算法的各自优势实现了一种适合于动物动作识别算法，具体做法是：采用基于运动历史图像(Motion History Image，MHI)的算法来实现动物对象的分割与定位；将CamShift算法用于多静止目标的定位，由于目标区域已被基于MHI的跟踪算法所分割确定，故动物目标中心位置相对固定，并将动物目标中心位置和大小自动递交给CamShift算法以实现时而静止时而运动的动物对象的稳定跟踪；

针对现有的CamShift算法易受跟踪对象附近颜色干扰问题，本发明提出了一种增强的CamShift算法，具体做法是采用颜色概率密度分布方法来抑制同时在目标和背景中出现的颜色；实现思路是：Bayesian概率法则的颜色概率密度分布获取方法既考虑了目标颜色模型，也考虑了背景颜色模型，赋予在目标中出现但在背景中没出现的颜色以较高的比重，而抑制了同时在目标和背景中出现的颜色，从而有效避免了背景的干扰；

基于运动历史图像(Motion History Image，MHI)方法的自适应背景模型，用于定位出活动动物对象，同时为了有效克服阴影，利用YCbCr空间图像与亮度图像的综合得到稳定的运动目标检测结果，并结合目标的大小和颜色特征进行目标分类，从而定位出动物；基于MHI方法的缺陷在于只能跟踪运动目标，被跟踪目标停止运动时，算法会失去跟踪焦点，而当其再次运动时，算法会误当作新目标；CamShift具有可以锁定静止目标的优势，但跟踪运动目标时易受附近颜色干扰，且不含对各目标的图像分割，也难于获知目标的运动趋势等信息；

考虑到动物活动的环境属于相对静止环境，因此本发明提出了一种基于MHI的自适应背景模型来进行背景建模，为了有效克服阴影，利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现动物的分割与定位。

本发明提出了一种基于MHI的背景更新模型，MHI的更新方式如公式(2)所示；

式中，mhi为运动历史图像，ts为当前时间，sih为图像的掩模，动物运动发生的地方取非零值，dur为运动跟踪的最大持续时间；

得到MHI运动历史图像后，为了消除噪声的影响，对MHI进行中值滤波处理，然后将滤波后的结果图像进行金字塔膨胀，最后得到一个尽可能放大的运动历史图像掩模，以该掩模为基础，逐渐刷出背景；刷出背景的原理是：对于最近发生过运动的区域，这些区域有一定的可能性存在前景，因此，这些地方的背景不更新，而没有前景部分的区域进行自适应背景更新；

由于RGB空间容易受光照的影响，将图像由RGB空间转换到YCbCr空间，滤除Y(亮度)分量，用Cb、Cr颜色来分割得到前景图像；

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ \mathrm{Cr}=0.713(R-Y)\\ \mathrm{Cb}=0.564(B-Y)\end{array}\right.---\left(3\right)$

阴影区域基本上没有颜色信息，因此，采用Cr和Cb分量进行图像分割时，阴影在前景中不会检测出来，但同时前景本身颜色信息不强的地方也会检测不全，详细的阴影去除过程如下：

Step1：用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化，分别记为ImgL和ImgS；

Step2：利用背景减除之后的Cr和Cb图像分别进行二值化，分别记为ImgCr和ImgCb，得到的前景都去除了阴影，Cr得到的是红色色差分量，Cb得到的是蓝色色差分量，将两个色差结果取或得到去阴影的结果图像，记为ImgC＝ImgCrOR ImgCb，得到色差分割结果；

Step3：由于只靠色差分量得到的目标容易丢失没有颜色信息的目标(如黑色、白色、灰色等着装容易造成动物检测不全)，需要融合其亮度分量；为了保证尽可能的得到真目标，取亮度阈值较大的二值化图像与色差二值化图像作或运算，记为Img1＝ImgC OR ImgL；

Step4：上述处理得到的结果容易有噪声，为了进行噪声去除，先将ImgS作膨胀记为ImgS’，然后将Img1与ImgS’取与运算得到最终结果图像，Img＝Img1AND ImgS’，由此得到的目标作为最终的运动目标前景；

由于采用了基于MHI的背景自适应建模机制，一定程度上可以消弱阴影的影响，为了得到更好的前景结果，利用阴影区域的颜色信息较弱这一特点进行阴影抑制；

由于Camshift跟踪算法是一种搜索局部峰值的基于颜色概率密度的跟踪算法，因此无需在整幅全景图像上作全局搜索，这里引入感兴趣区域，简单表示为ROI，目标动物对象跟踪在目标可能出现的区域-ROI内完成，这样既可以减少计算量，又可以消除ROI外部的干扰；

改进的Camshifi算法如下：

步骤1：以所述前景对象检测单元中检测出的动物对象目标为基础，设定目标跟踪的ROI；

步骤2：计算ROI内的目标颜色概率密度分布；

步骤3：迭代Mean Shift直到收敛，记录其位置和零阶矩

步骤4：对下一帧图像，以

为搜索窗中心位置，并根据

的函数确定搜索窗大小，根据动物对象目标外接矩形确定ROI大小，转步骤2；

在Camshift算法的步骤2中，本发明采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(4)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(4\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(3)获得目标对象在图像中的颜色概率密度分布，再按公式(5)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\′}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O/C),255]---\left(5\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的步骤4中，本发明根据上一帧跟踪结果的零阶矩

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(6)所示；

$s=2\×\sqrt{M_{00}^{\left(s\right)}/K}---\left(6\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据动物对象目标运动的空间连续性，在动物对象目标实时跟踪中，动物对象目标在下一帧的位置位于前一帧中同一动物对象目标位置附近，因此定义适当位置和适当大小的ROI，动物对象目标跟踪在ROI内完成；该ROI必须包含完整的动物对象目标，以避免动物对象目标的不完整甚至丢失；同时避免ROI过大，以避免ROI内包含过多背景形成干扰；同时降低计算量，包括计算颜色概率密度分布的计算量和Mean Shift迭代次数；

CamShift算法是将MeanShift算法这种最优的寻找概率密度极大值的梯度上升法扩展到视频图像序列的结果，其原理是将每帧视频图像转换到HSV色彩空间得到其颜色概率分布图，并作MeanShift运算以搜索匹配被跟踪目标的颜色概率模型，且当获得新图像帧时，CamShift自动调节搜索窗的范围和位置，并将上一帧运算结果作为其输入，如此持续迭代运算实现视频目标跟踪；设图像坐标(x，y)处像素点的概率值为I(x，y)，且(x，y)∈R，CamShift算法过程如下；

1)：在颜色概率分布图中选取范围为R的搜索窗W；

2)：计算x和y的零阶矩、一阶矩、二阶矩，计算方法如公式(7)、(8)、(9)所示：

$\left\{\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)\\ M_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xyI}(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{M}_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}I(x,y)\\ M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}I(x,y)\end{array}\right.---\left(9\right)$

3)：计算搜索窗的质心位置计算方法由公式(10)所示，

(x_c，y_c)＝(M₁₀/M₀₀，M₀₁/M₀₀)    (10)

4)：重新设置搜索窗的范围R；

5)：如果不收敛且循环次数小于预设值，则返回2)，否则结束；

算法中的收敛条件为：质心位置偏移量小于预定义阈值。

另外，被跟踪目标长轴方向角用公式(11)计算，

$\mathrm{\θ}=\frac{1}{2}\arctan \left\{\frac{2[(M_{11}/M_{00})-x_c{y}_c]}{[(M_{20}/M_{00})-{x_c}^2]-[(M_{02}/M_{00})-{y_c}^2]}\right\}---\left(11\right)$

$\left\{\begin{array}{c}a=(M_{20}/M_{00})-{x_c}^2\\ b=2[(M_{11}/M_{00})-x_c{y}_c]\\ c=[(M_{02}/M_{00})-{y_c}^2]\end{array}\right.$

则得到被跟踪对象的长轴、短轴的长度用公式(12)、(13)计算，

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}---\left(11\right)$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}---\left(12\right)$

当跟踪的动物目标在场景中出现停止不动的情况，基于MHI的算法会丢失掉动物目标的跟踪焦点，此时基于CamShift算法对基于MHI的算法丢失焦点前的跟踪信息进行分析处理，若CamShift在限定范围内发现目标，则对该静止的动物目标继续跟踪；若CamShift在限定范围内无法获取目标，则视为已经运动到视频场景之外；

针对动物行为的三个要素并适用于计算机处理，本发明提出一种动物行为的三位编码系统：依动物的姿势、动作和环境建立P码、A码和E码，将P码、A码和E码组合，可以描述任意一种动物行为；PAE编码为分解、标识和描述动物行为多样性提供了手段，同时也为计算机视觉分析；这里设B、P、A、E分别为研究对象的行为、姿势、动作和环境的集合，某一种动物行为用公式(1)来表示，

b_i＝p_i∩a_i∩e_i    (1)

式中，p_i、a_i和e_i分别是集合P、A、E的元素或子集；从公式(1)可以知道，要准确分析和检测动物的各种行为就必须准确地检测出动物的各种姿势元素p_i、各种动作元素a_i和各种环境元素e_i；

所述的动物行为分析单元，是根据动物姿势、动作数据库中记录的某个动物个体的姿势元素、动作元素(频度)以及环境元素的组合来进行分析的，组合的方式由公式(1)表示，考虑到动物行为的多样性，本发明中将动物行为分为三大类，即生存行为、繁殖行为和社会行为；在生存行为中再分为六小类，即摄食行为、排遗行为、调节温度行为、休息行为、运动行为和杂项行为；在繁殖行为中再分为四小类，即发情行为、交配行为、分娩行为和育幼行为；在社会行为中再分为三小类，即对抗行为、通讯行为和分群行为；每一种行为都可以归纳为姿势元素、动作元素(频度)以及环境元素的不同组合；在本发明中将目前人类已经解明的某种动物各种行为编码以矩阵的方式B′_i存放在动物行为数据库中，在所述的动物行为分析单元中计算所得到的行为编码以矩阵的方式B表示，然后将B与B′_i进行相减得到差分矩阵，得到差分矩阵D(B，B′_i)；接着用Frobenious范数表示动物行为分析单元中计算所得到的行为编码和动物行为数据库中动物某一行为编码的距离，计算公式由(14)表示，

dis(B，B′_i)＝trace((D(B，B′_i))^TD(B，B′_i))

(14)

式中，dis(B，B′_i)为Frobenious范数，如果dis(B，B′_i)小于所规定的值F，我们就认为目前检测的动物行为和数据库中动物某一行为是一致的；

进一步，如果在动物行为数据库中存放着N个动物的行为编码，那么在所述的动物行为分析单元中要遍历N次如公式(14)的检测判断过程；当遍历了N次检测判断后，如果没有找到相一致的动物行为编码就将该结果发送给新的动物行为发现单元，同时将该信息发送给告知单元，管理者或者研究者接受到该信息后，通过人机界面确认一系列所保存的动物姿势元素、动作元素(频度)以及环境元素，如果判断是一种新的动物行为就将该行为编码写入到动物行为数据库中；如果判断是在动物行为数据库中已经存在的行为编码，就需要适当地修改动物某一行为编码或者是F值，以便今后的检测更为准确。

Claims (10)

1.一种基于全方位视觉的动物行为检测装置，其特征在于：所述基于全方位视觉的动物行为检测装置包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的活动量、姿势、动作以及行为进行分析处理判断的微处理器；所述全方位视觉传感器安置在动物经常活动的环境中间的上方，用于拍摄整个监控环境中动物活动的的视频图像；所述的全方位视觉传感器通过网络与所述的微处理器进行连接，所述的微处理器包括：

视频图像读取单元，用于通过网络接口读取全方位视觉传感器所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；

空间位置定义单元，用于定义和命名在全景图像中动物活动的环境空间位置；

环境元素输入单元，用于将所述的空间位置定义单元所定义的空间位置与环境元素建立映射关系；

环境元素与空间位置关系数据库，用于存放环境中各元素与空间位置的映射关系；

前景对象检测单元用于检测在全景柱状展开图像中存在的前景动物对象，具体采用MHI算法来计算前景动物对象，然后在柱状展开图像上用矩形框框住前景动物对象，并将矩形框提交给动物对象跟踪单元；

动物对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对动物对象进行跟踪；

动物姿势解析单元，根据动物对象跟踪单元的结果采用动物模型算法估算出动物目前的姿势，并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中；

动物动作解析单元，根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作；

动物姿势、动作数据库，用于存放某一时间、空间内的动物的姿势元素编码、动作元素编码和环境元素编码；

动物行为分析单元，用于根据动物姿势、动作数据库中某一时间、某一空间内动物的一系列姿势和动作的变化，根据PAE模型来分析与判断动物的行为；

动物行为数据库，用于存放动物行为编码，动物行为编码用PAE模型来表达。

2.如权利要求1所述的基于全方位视觉的动物行为检测装置，其特征在于：所述微处理器还包括：

新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为，如有新的动物行为，则将新的动物行为保存到所述动物行为数据库。

3.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的前景对象检测单元中，采用基于MHI的背景更新模型，利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现动物的分割与定位；

所述的基于MHI的背景更新模型，MHI的更新方式如公式(2)所示；

式中，mhi为运动历史图像，ts为当前时间，sih为图像的掩模，动物运动发生的地方取非零值，dur为运动跟踪的最大持续时间；

用公式(3)将图像由RGB空间转换到YCbCr空间，滤除Y分量，用Cb、Cr颜色来分割得到前景图像；

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ \mathrm{Cr}=0.713(R-Y)\\ \mathrm{Cb}=0.564(B-Y)\end{array}\right.---\left(3\right)$

阴影去除算法如下：

Step1：用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化，分别记为ImgL和ImgS；

Step2：利用背景减除之后的Cr和Cb图像分别进行二值化，分别记为ImgCr和ImgCb，得到的前景都去除了阴影，Cr得到的是红色色差分量，Cb得到的是蓝色色差分量，将两个色差结果取或得到去阴影的结果图像，记为ImgC＝ImgCrOR ImgCb，得到色差分割结果；

Step3：由于只靠色差分量得到的目标容易丢失没有颜色信息的目标，需要融合其亮度分量；取亮度阈值较大的二值化图像与色差二值化图像作或运算，记为Img1＝ImgC OR ImgL；

Step4：上述处理得到的结果容易有噪声，将ImgS作膨胀记为ImgS’，然后将Img1与ImgS’取与运算得到最终结果图像，Img＝Img1 AND ImgS’，由此得到的目标作为最终的运动目标前景；并将运动目标前景对象的中心位置和大小自动递交给所述的动物对象跟踪单元中CamShift算法以实现时而静止时而运动的动物对象的稳定跟踪。

4.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的动物对象跟踪单元中，根据所述的前景对象检测单元所提交的矩形框采用增强的Camshiff算法对动物对象进行跟踪；

所述的增强的Camshifi算法如下：

步骤1：以所述前景对象检测单元中检测出的动物对象目标为基础，设定目标跟踪的ROI；

步骤2：计算ROI内的目标颜色概率密度分布；

步骤3：迭代Mean Shift直到收敛，记录其位置

和零阶矩

步骤4：对下一帧图像，以

为搜索窗中心位置，并根据的函数确定搜索窗大小，根据动物对象目标外接矩形确定ROI大小，转步骤2；

在Camshiff算法的步骤2中，采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(4)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(4\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(4)获得目标对象在图像中的颜色概率密度分布，再按公式(5)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\′}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O/C),255]---\left(5\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的步骤4中，根据上一帧跟踪结果的零阶矩

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(6)所示；

$s=2\×\sqrt{M_{00}^{\left(s\right)}/K}---\left(6\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据动物对象目标运动的空间连续性，在所述的动物对象目标实时跟踪中，动物对象目标在下一帧的位置位于前一帧中同一动物对象目标位置附近，因此定义适当位置和适当大小的ROI，动物对象目标跟踪在ROI内完成；

CamShift算法过程如下：

1)：在颜色概率分布图中选取范围为R的搜索窗W；

2)：计算x和y的零阶矩、一阶矩、二阶矩，计算方法如公式(7)、(8)、(9)所示；

$\left\{\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)\\ M_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xyI}(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{M}_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}I(x,y)\\ M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}I(x,y)\end{array}\right.---\left(9\right)$

3)：计算搜索窗的质心位置计算方法由公式(10)所示，

(x_c，y_c)＝(M₁₀/M₀₀，M₀₁/M₀₀)    (10)

4)：重新设置搜索窗的范围R；

5)：如果不收敛且循环次数小于预设值，则返回2)，否则结束；

算法中的收敛条件为：质心位置偏移量小于预定义阈值；

另外，被跟踪目标长轴方向角用公式(11)计算，

$\mathrm{\θ}=\frac{1}{2}\arctan \left\{\frac{2[(M_{11}/M_{00})-x_c{y}_c]}{[(M_{20}/M_{00})-{x_c}^2]-[(M_{02}/M_{00})-{y_c}^2]}\right\}---\left(11\right)$

$\left\{\begin{array}{c}a=(M_{20}/M_{00})-{x_c}^2\\ b=2[(M_{11}/M_{00})-x_c{y}_c]\\ c=[(M_{02}/M_{00})-{y_c}^2]\end{array}\right.$

则得到被跟踪对象的长轴、短轴的长度用公式(12)、(13)计算，

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}---\left(12\right)$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}---\left(13\right).$

5.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：在所述的全方位视觉传感器中采用具有无线通信功能的无死角的水平方向不变形的全方位视觉传感器，所述的全方位视觉传感器中的摄像机通过视频接口与无线通信网络单元进行连接，无线通信网络单元中包括嵌入式数字信号微处理器、麦克风、有线和无线数字传输模块、用于把模拟视频标准TV信号转换成数字视频YUV信号的A/D芯片；有线和无线数字传输模块中的传输软件基于TCP/IP网络协议，无线通信使用802.11g(b)协议，并支持无线和有线传输，支持公网、专网、局域网静态IP地址接入，提供图像和声音的压缩及传输功能，压缩算法采用H.264或者MPEG4；嵌入式数字信号微处理器连接SD存储卡。

6.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的空间位置定义单元中，对监控环境的空间进行网格化处理，从获取的全景图像上定义和命名环境空间的网格，作为一种简单的定义和命名方式是采用大小相近的网格将可视范围内的环境空间进行分割，命名采用两位英文字母，从全方位视觉传感器的中心从内圈向外圈逆时针开始顺序编排，第一位英文字母表示相距全方位视觉传感器中心的距离，第二位英文字母表示环境元素所处的方位。

7.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的环境元素输入单元中，表1为位置空间编号与环境元素对应表，如表1所示，

  空间位置编号   环境元素   BD   水流中部

  BE   水池右边   AL   竹林右侧   PI   竹林左侧   TK   假山   IO   喂食槽   JQ   小山坡   TO   围栏左侧   TP   围栏右侧   …   …

表1。

8.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的动物姿势、动作单元中，将动物出现的空间位置、时间和姿势信息写入到动物姿势、动作数据库中内，动物姿势、动作数据库的表格式如表2所示；

表2

表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS；对象编号是根据所述的动物对象跟踪单元中跟踪的动物来命名的，用6位数字表示，对于新出现的对象系统自动产生一个新对象编号；空间编号是根据所述的动物对象跟踪单元中所得到跟踪焦点所处的空间位置来确定的；姿势编码是根据所述的动物姿势解析单元中所得到的动物姿势识别结果来设定的；动作编码是根据所述的动物动作解析单元中所得到的动物动作识别结果来设定的；为了减少数据的冗余，如果动物跟踪对象消失或者静止的情况不产生记录；如果动物跟踪对象有活动情况时每条记录的间隔时间为10秒；

动物姿势的识别是通过动物跟踪框的高宽比来确定的，比如对于某种动物站立姿势的高宽比约为1∶1.5，坐姿势的高宽比约为2∶1，横躺姿势的高宽比约为1∶1.2；

动物动作的解析是通过当前动物相对静止状态开始追溯到上一次动物相对静止状态，从两次间隔的相对静止状态的过程来识别得到的。

9.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的动物行为分析单元，是根据动物姿势、动作数据库中记录的某个动物个体的姿势元素、动作元素以及环境元素的组合来进行分析的，组合的方式由公式(1)表示，

b_i＝p_i∩a_i∩e_i    (1)

式中，p_i、a_i和e_i分别是集合P、A、E的元素或子集；动物的各种行为是由动物的各种姿势元素p_i、各种动作元素a_i和各种环境元素e_i组合而成；

将动物行为分为三大类，即生存行为、繁殖行为和社会行为；在生存行为中再分为六小类，即摄食行为、排遗行为、调节温度行为、休息行为、运动行为和杂项行为；在繁殖行为中再分为四小类，即发情行为、交配行为、分娩行为和育幼行为；在社会行为中再分为三小类，即对抗行为、通讯行为和分群行为；每一种行为都可以归纳为姿势元素、动作元素以及环境元素的不同组合；将目前已经解明的某种动物各种行为编码以矩阵的方式B′_i存放在动物行为数据库中，在所述的动物行为分析单元中计算所得到的行为编码以矩阵的方式B表示，然后将B与B′_i进行相减得到差分矩阵，得到差分矩阵D(B，B′_i)；接着用Frobenious范数表示动物行为分析单元中计算所得到的行为编码和动物行为数据库中动物某一行为编码的距离，计算公式由(14)表示，

dis(B，B′_i)＝trace((D(B，B′_i))^TD(B，B′_i))

(14)

式中，dis(B，B′_i)为Frobenious范数，如果dis(B，B′_i)小于所规定的值F，我们就认为目前检测的动物行为和数据库中动物某一行为是一致的。

10.如权利要求2所述的基于全方位视觉的动物行为检测装置，其特征在于：所述的新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过一系列所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为；具体做法是：如果在动物行为数据库中存放着N个动物的行为编码，那么在所述的动物行为分析单元中要遍历N次如公式(14)的检测判断过程；当遍历了N次检测判断后，如果没有找到相一致的动物行为编码就将该结果发送给新的动物行为发现单元，同时将该信息发送给告知单元，管理者或者研究者接受到该信息后，通过人机界面确认一系列所保存的动物姿势元素、动作元素、频度以及环境元素，如果判断是一种新的动物行为就将该行为编码写入到动物行为数据库中；如果判断是在动物行为数据库中已经存在的行为编码，就需要适当地修改动物某一行为编码或者是F值，以便今后的检测更为准确。

Images