CN111399014B - 野生动物监控的局部立体视觉红外相机系统及方法 - Google Patents

Abstract

本公开提供了一种野生动物监控的局部立体视觉红外相机系统及方法，包括：两个图像采集模块、感应触发模块、同步控制模块和图像处理模块；两个图像采集模块呈上下布设，且视场部分交叠；两个图像采集模块用于同步采集双目图像；感应触发模块用于红外感应野生动物运动信息采集红外信号；同步控制模块接收感应触发模块发出的触发信号，控制两个图像采集模块开闭；图像处理模块接收两个图像采集模块采集的双目图像，图像处理模块根据标定得到的内外参数和镜头畸变信息对双目图像进行校正，对视场交叠部分进行双目匹配，进行野生动物尺寸立体测量。本公开利于扩展视场，提高动物目标的有效探测效率，并且能够获取目标的高精度尺寸信息。

Description

野生动物监控的局部立体视觉红外相机系统及方法

技术领域

本公开涉及种红外相机领域，尤其涉及一种野生动物监控的局部立体视觉红外相机系统及方法。

背景技术

红外相机近年来常用于野生动物的监测，相比其他监测手段如GPS标签和无线电具有非损伤、数据鲁棒性好以及额外信息多等优势。其基本工作原理是通过红外传感器感知动物的运动信息，随后触发相机拍照，获得动物图像。

针对动物目标的尺寸信息的获取，目前主要有TOF相机、结构光相机和双目相机三种技术。TOF相机通过发射脉冲与返回脉冲的时间差计算目标的距离，能够对目标进行快速识别和测量，其问题在于成本偏高以及分辨率相对较低，且TOF相机技术属于主动成像，容易对动物造成干扰；结构光相机通过向目标表面投射结构光获取调制图案，进而计算目标尺寸，分辨率和尺寸精度相对较高，但是仍然属于主动成像，并且系统复杂，不适合野生动物的原位观测；双目相机通过目标在左右图中的视差计算目标的距离，从而获取尺寸信息，属于被动成像，具有非损伤的特点，但是目前的双目相机存在视场利用率较低的问题。

发明内容

(一)要解决的技术问题

本公开提供了一种野生动物监控的局部立体视觉红外相机系统及方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种野生动物监控的局部立体视觉红外相机，包括：

两个图像采集模块，呈上下布设，且两个图像采集模块的视场部分交叠；两个图像采集模块用于同步采集双目图像；

感应触发模块，用于红外感应野生动物运动信息采集红外信号；

同步控制模块，接收所述感应触发模块发出的触发信号，控制两个所述图像采集模块开闭；

图像处理模块，接收两个所述图像采集模块采集的双目图像，所述图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行双目图像校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量；

所述同步控制模块和所述图像处理模块共用一个主控制电路。

在本公开的一些实施例中，还包括：

模式切换模块，接收所述同步控制模块发出的开启信号，所述模式切换模块根据采集的环境的光照信息，进行模式切换；所述模式切换模块包括：光敏传感器、滤光装置和补光装置；所述光敏传感器，用于采集环境的光照信息，并根据采集到的光照信息控制所述滤光装置和所述补光装置的开闭。

在本公开的一些实施例中，还包括：

数据传输模块，用于接收两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据，并将图像数据上传至服务器；

图像存储模块，用于接收两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据，并将图像数据进行存储；

供电模块，与主控制电路相连。

在本公开的一些实施例中，两个所述图像采集模块的视场宽度L为：

L＝B+2Dtan(θ+α)

其中，B为两个图像采集模块的两个光心间距；α为两个图像采集模块的光轴倾斜角；θ为图像采集模块视场角的一半。

在本公开的一些实施例中，在图像处理模块中测距精度|Δz|min为：

|Δz|_min＝kΔu

其中，z为观测距离，f为镜头焦距，B为基线距离，Δu为一个随机变量，其概率密度函数为

其中，px为最小像元尺寸。

在本公开的一些实施例中，两个所述图像采集模块的视场交叠部分三维坐标为：

其中，

根据本公开的一个方面，还提供了一种用于如上所述的野生动物监控的局部立体视觉红外相机系统的方法，其中，包括步骤：

A、感应触发模块红外感应动物运动采集红外信号，并向同步控制模块发送触发信号，触发同步控制模块；

B、同步控制模块控制两个图像采集模块的开启，同步采集双目图像；

C、图像处理模块接收两个图像采集模块将采集的双目图像，图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量。

在本公开的一些实施例中，还包括步骤：

D、步骤A中感应触发模块发送触发信号，还同时触发模式切换模块，包括子步骤：

D1、光敏传感器感应环境的光照度，判断光照强度是否大于设定阈值；

D2、如果是，则触发模式切换模块切换为白天模式，关闭补光装置，开启滤光装置；如果否，则触发模式切换模块切换为夜晚模式，开启补光装置，关闭滤光装置。

在本公开的一些实施例中，还包括步骤：

E、将两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据发送至数据存储模块进行存储。

在本公开的一些实施例中，还包括步骤：

F、两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据发送通过数据传输模块上传至服务器。

(三)有益效果

从上述技术方案可以看出，本公开野生动物监控的局部立体视觉红外相机系统及方法至少具有以下有益效果其中之一或其中一部分：

(1)本公开中两个图像采集模块采用上下布设的方式，利于扩展视场，提高动物目标的有效探测效率，并且能够获取目标的高精度尺寸信息。

(2)本公开中模式切换模块的能够根据光照环境变化进行模式切换，降低光照环境变化对探测效果的影响。

(3)本公开中数据传输模块进行数据远程传输，可实现野外动物图像数据的实时数据获取和分析，便于对动物进行实时的监测和分析。

(4)本公开通过调节基线距离与光轴倾斜角扩展视场，避免了两个图像采集模块视场交叠大、利用率低的问题，利于有效提高野生动物的有效探测效率。

(5)本公开通过两个图像采集模块交叠部分的尺寸信息进行精度较高的全尺寸反演，以获取高精度尺寸信息。

附图说明

图1为本公开实施例野生动物监控的局部立体视觉红外相机系统的结构示意图。

图2为本公开实施例用于野生动物监控的局部立体视觉红外相机系统的方法的工作流程示意图。

图3为本公开实施例野生动物监控的局部立体视觉红外相机系统的工作场景示意图。

图4为本公开实施例野生动物监控的局部立体视觉红外相机系统的视场扩展方式示意图。

图5为本公开实施例野生动物监控的局部立体视觉红外相机系统的测量方式示意图。

具体实施方式

目前红外相机在野生动物监测领域的典型应用是结合标记-重捕法估算动物的种群数量，该方法由Karanth于1995年提出。该方法在实际应用中有两个主要问题：

(1)有效探测率低

有效探测率是可以识别的照片占所有照片的比例。红外相机实际应用于野生动物观测时会出现大量不包含目标或仅包含部分目标的图像，导致有效探测率偏低。有效探测率与拍摄环境、红外相机的架设方式、红外相机的视场、红外传感器的灵敏度以及系统的响应时间等诸多因素有关。

(2)缺乏尺寸信息

当由于天气等原因造成拍摄条件恶劣、图像质量不高时，仅靠图像二维特征难以辨认目标。目前的红外相机难以获得目标的尺寸信息，一般通过目标与背景标志物的对比来估算其尺寸，以对目标进行进一步识别。

针对有效探测率低的问题，2012年Justine与Graeme提出一种垂直方向的红外相机，即相机焦平面与地面平行，并证明其有效探测率要高于水平方向的红外相机(相机焦平面与地面垂直)。该方法的问题在于视场过小，且只适用于小型动物。此外也有学者通过研究相机的架设方式来提高有效探测率，如2014年Mario比较了红外相机沿途(架设于道路两侧)与越野(架设于树干等位置)两种架设方式下的有效探测率，结果表明沿途式的摆放具有更高的有效探测率。该方法的问题在于需要观测经验，缺乏适应性。

本公开提供了一种野生动物监控的局部立体视觉红外相机系统，包括：两个图像采集模块、感应触发模块、同步控制模块和图像处理模块；两个图像采集模块呈上下布设，且两个图像采集模块的视场部分交叠；两个图像采集模块用于同步采集双目图像；感应触发模块用于红外感应野生动物运动信息采集红外信号；同步控制模块接收所述感应触发模块发出的触发信号，控制两个所述图像采集模块开闭；图像处理模块接收两个所述图像采集模块采集的双目图像，所述图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量。本公开利于扩展视场，提高动物目标的有效探测效率，并且能够获取目标的高精度尺寸信息。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。

在本公开的一个示例性实施例中，提供了一种野生动物监控的局部立体视觉红外相机系统。图1为本公开实施例野生动物监控的局部立体视觉红外相机系统的结构示意图。如图1所示，本公开野生动物监控的局部立体视觉红外相机系统包括：两个图像采集模块、感应触发模块、同步控制模块、图像处理模块、模式切换模块、数据传输模块、图像存储模块和供电模块。

以下分别对本实施例野生动物监控的局部立体视觉红外相机系统的各个组成部分进行详细描述。

两个图像采集模块，呈上下布设，且两个图像采集模块的视场部分交叠；两个图像采集模块用于同步采集双目图像。在本实施例中两个图像采集模块为双目相机。

感应触发模块，用于红外感应野生动物运动信息采集红外信号。

同步控制模块，接收所述感应触发模块发出的触发信号，控制两个所述图像采集模块开闭。

图像处理模块，接收两个所述图像采集模块采集的双目图像，所述图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量。同步控制模块和图像处理模块共用一个主控制电路。本实施例中主控制电路选用FPGA。关于背景差分一般可以包括如下几个步骤：其一，通过对多帧图像求像素平均得到背景图像；其二，目标图像与背景图像相减；其三，将相减结果中大于阈值的部分判定为目标。关于图像融合一般可以包括如下几个步骤：其一，对需要进行融合的图像进行特征点提取和匹配；其二，将两幅图像透视变换至同一坐标系下；其三，将待融合图像拷贝至基准图像上；其四，在拼接的边界进行像素值加权融合以实现平滑过渡。但需要说明的是，上述关于背景差分和图像融合的步骤仅为常用方法，其他本领域技术人员能够获取的相关常用方法不再一一例举。

模式切换模块，接收所述同步控制模块发出的开启信号，所述模式切换模块根据采集的环境的光照信息，进行模式切换；所述模式切换模块包括：光敏传感器、滤光装置和补光装置；所述光敏传感器，用于采集环境的光照信息，并根据采集到的光照信息控制所述滤光装置和所述补光装置的开闭。

数据传输模块，用于接收两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据，并将图像数据上传至服务器；

图像存储模块，用于接收两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据，并将图像数据进行存储；

供电模块，与主控制电路相连。

在本公开的一个示例性实施例中，还提供了一种用于如上所述的野生动物监控的局部立体视觉红外相机系统的方法，如图2所示，包括：

步骤A、感应触发模块红外感应动物运动采集红外信号，并向同步控制模块发送触发信号，触发同步控制模块；

步骤D、步骤A中感应触发模块发送触发信号，还同时触发模式切换模块，包括：

子步骤D1、光敏传感器感应环境的光照度，判断光照强度是否大于设定阈值；

子步骤D2、如果是，则触发模式切换模块切换为白天模式，关闭补光装置，开启滤光装置；如果否，则触发模式切换模块切换为夜晚模式，开启补光装置，关闭滤光装置。

步骤B、同步控制模块控制两个图像采集模块的开启，同步采集双目图像；

步骤C、图像处理模块接收两个图像采集模块将采集的双目图像，图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量。

步骤E、将两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据发送至数据存储模块进行存储。

步骤F、两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据发送通过数据传输模块上传至服务器。

本公开中两个图像采集模块选用双目相机，具体为两个相机上下摆放，在相机高度设置合适时可以避免目标仅在单个相机的视场中出现的情况，此外在上下摆放的情况下，较大的基线距离不会造成安装不便，可固定在树干等位置，适应野生动物观测的需求。为使示意图便于理解，图3中的相机仍水平放置。

双目相机的两个光心间距即基线距离B以及相机光轴位置角α可变以扩展视场，如图4所示。

光轴平行时即位置角α＝90°时，在观测距离D处的视场宽度为：

L＝B+2Dtanθ (1)

其中θ为相机视场角的一半。

光轴位置角α＞90°时，在观测距离D处的视场宽度为：

L＝B+2Dtan(θ+α-90°) (2)

以相机视场角2θ＝60°、位置角α＝100°为例，平行放置的相机在5m处的视场宽度约5.8m，倾斜放置的相机在5m处的视场宽度约8.4m，视场宽度的提升则相当于提升了有效探测率。

本公开中的尺寸测量原理图如图5所示，双目相机获取双目图像后，对于视场重叠部分的物点P，通过双目匹配可获得P在两幅图像中的坐标P₁(u₁，v₁)，P₂(u₂，v₂)。主点坐标(u₀，V₀)可以通过标定得到。计算物点P三维坐标的公式为

其中，f为镜头焦距，B为基线距离，

通过公式(3)和(4)可以对重叠部分的目标尺寸进行测量，从而可以计算目标的关键尺寸。

本公开中，通过改变两个图像采集模块的两个光心间距即基线距离B以及相机光轴位置角α可以调整测距精度。在图像处理模块中测距精度|Δz|_min根据如下公式计算得到：

|Δz|_min＝kΔu (5)

其中，z为观测距离，f为镜头焦距，B为基线距离，Δu为一个随机变量，其概率密度函数为

其中，px为最小像元尺寸。

作为一个具体实施方式，野生动物监控的局部立体视觉红外相机系统进行户外测试，获取目标图像和进行目标尺寸获取，双相机基线为35cm，目标距离相机为5m。立体双相机通过上下放置，可有效扩大视场，提高探测范围和探测效率，在5m处目标身高尺寸测量结果为160cm，实际目标人物身高为161cm，误差为1cm，表明野生动物监控的局部立体视觉红外相机系统可获取厘米级高精度目标尺寸信息。

综上，本实施例的野生动物红外双目相机通过改变光轴位置角、调节基线距离的方式充分利用了双目相机的视场，并能获取目标的尺寸信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

依据以上描述，本领域技术人员应当对本公开野生动物监控的局部立体视觉红外相机系统及方法有了清楚的认识。

综上所述，本公开提供一种野生动物监控的局部立体视觉红外相机系统及方法，能够获取动物高精度尺寸信息，同时进行视场扩展提高动物目标的有效探测率，探测野生动物的高精度尺寸信息。可以广泛应用于野生动物的监测领域以及相关的诸多领域。

还需要说明的是，实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本公开的保护范围。贯穿附图，相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。

并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

除非有所知名为相反之意，本说明书及所附权利要求中的数值参数是近似值，能够根据通过本公开的内容所得的所需特性改变。具体而言，所有使用于说明书及权利要求中表示组成的含量、反应条件等等的数字，应理解为在所有情况中是受到「约」的用语所修饰。一般情况下，其表达的含义是指包含由特定数量在一些实施例中±10％的变化、在一些实施例中±5％的变化、在一些实施例中±1％的变化、在一些实施例中±0.5％的变化。

再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种野生动物监控的局部立体视觉红外相机系统，包括：

两个图像采集模块，呈上下布设，且两个图像采集模块的视场部分交叠；两个图像采集模块用于同步采集双目图像；

感应触发模块，用于红外感应野生动物运动信息采集红外信号；

同步控制模块，接收所述感应触发模块发出的触发信号，控制两个所述图像采集模块开闭；

图像处理模块，接收两个所述图像采集模块采集的双目图像，所述图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行双目图像校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量；

所述同步控制模块和所述图像处理模块共用一个主控制电路；其中

在获取所述双目图像后，对于视场重叠部分的物点P，通过所述双目匹配，来获得P在两幅图像中的坐标P₁(u₁，v₁)，P₂(u₂，v₂)，主点坐标表示为(u₀，v₀)；所述两个图像采集模块的视场交叠部分三维坐标为：

其中，

通过改变所述两个图像采集模块的两个光心间距即基线距离B以及光轴位置角α调整测距精度；在所述图像处理模块中所述测距精度|Δz|_min根据如下公式计算得到：

|Δz|_min＝kΔu

其中，z为观测距离，f为镜头焦距，B为基线距离，Δu为一个随机变量，其概率密度函数为

其中，px为最小像元尺寸。

2.根据权利要求1所述的野生动物监控的局部立体视觉红外相机系统，其中，还包括：

模式切换模块，接收所述同步控制模块发出的开启信号，所述模式切换模块根据采集的环境的光照信息，进行模式切换；所述模式切换模块包括：光敏传感器、滤光装置和补光装置；所述光敏传感器，用于采集环境的光照信息，并根据采集到的光照信息控制所述滤光装置和所述补光装置的开闭。

3.根据权利要求1所述的野生动物监控的局部立体视觉红外相机系统，其中，还包括：

数据传输模块，用于接收两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据，并将图像数据上传至服务器；

图像存储模块，用于接收两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据，并将图像数据进行存储；

供电模块，与主控制电路相连。

4.根据权利要求1所述的野生动物监控的局部立体视觉红外相机系统，其中，两个所述图像采集模块的视场宽度L为：

L＝B+2Dtan(θ+α)

其中，B为两个图像采集模块的两个光心间距；α为两个图像采集模块的光轴倾斜角；θ为图像采集模块视场角的一半；D为观测距离。

5.一种用于如权利要求1-4所述的野生动物监控的局部立体视觉红外相机系统的方法，其中，包括步骤：

A、感应触发模块红外感应动物运动采集红外信号，并向同步控制模块发送触发信号，触发同步控制模块；

B、同步控制模块控制两个图像采集模块的开启，同步采集双目图像；

C、图像处理模块接收两个图像采集模块将采集的双目图像，图像处理模块通过背景差分和图像融合进行无效数据的剔除，并根据标定得到的内外参数和镜头畸变信息对双目图像进行校正，对视场交叠部分进行双目匹配，从而进行野生动物尺寸立体测量，其中

所述同步控制模块和所述图像处理模块共用一个主控制电路；其中

在获取所述双目图像后，对于视场重叠部分的物点P，通过所述双目匹配，来获得P在两幅图像中的坐标P₁(u₁，v₁)，P₂(u₂，v₂)，主点坐标表示为(u₀，v₀)；所述两个图像采集模块的视场交叠部分三维坐标为：

其中，

通过改变所述两个图像采集模块的两个光心间距即基线距离B以及光轴位置角α调整测距精度，所述测距精度|Δz|_min为：

|Δz|_min＝kΔu

其中，z为观测距离，f为镜头焦距，B为基线距离，Δu为一个随机变量，其概率密度函数为

其中，px为最小像元尺寸。

6.根据权利要求5所述的方法，其中，还包括步骤：

D、步骤A中感应触发模块发送触发信号，还同时触发模式切换模块，包括子步骤：

D1、光敏传感器感应环境的光照度，判断光照强度是否大于设定阈值；

D2、如果是，则触发模式切换模块切换为白天模式，关闭补光装置，开启滤光装置；如果否，则触发模式切换模块切换为夜晚模式，开启补光装置，关闭滤光装置。

7.根据权利要求5所述的方法，其中，还包括步骤：

E、将两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据发送至数据存储模块进行存储。

8.根据权利要求5所述的方法，其中，还包括步骤：

F、两个所述图像采集模块采集的图像数据和/或图像处理模块处理后的图像数据发送通过数据传输模块上传至服务器。