CN111354011A - 多运动目标信息捕获与跟踪系统及方法 - Google Patents

Abstract

本发明公开一种多运动目标信息捕获与跟踪系统及方法，包括本地终端、服务器、智能移动终端；本地终端包括全景摄像头、红外图像传感器和光标跟踪设备；服务器根据全景视频图像和热红外图像获取多个运动目标的信息；智能移动终端登录服务器查看多个运动目标的信息和选择特定目标，当用户通过智能移动终端选择某一目标物作为特定目标时，光标跟踪设备发出特定的光标信息并跟随特定目标的位置进行光标信息投射。其效果是：可有效提取目标物的各种信息，既便于用户通过远程查看各个目标物的情况，同时基于光标跟踪设备又能现场投射光标信息，又便于用户现场肉眼观察。

Description

多运动目标信息捕获与跟踪系统及方法

技术领域

本发明涉及计算机视觉领域，具体地说，是一种多运动目标信息捕获与跟踪系统及方法。

背景技术

运动目标捕捉与跟踪是当前计算机视觉领域研究的热点，它主要通过计算机在视频序列中确定感兴趣的，具有某种显著特征的运动目标的位置、大小、运动轨迹等信息。近年来，随着计算机数据处理能力的飞速增长，以及图像分析技术的发展、运动目标的实时捕捉与跟踪技术脱颖而出，且在视频监控、机器人导航与定位、智能人机交互等领域逐渐得到应用。

现有技术中的目标捕捉与跟踪，大多是为了实现视频图像跟踪，通过云台摄像机，以调节镜头方向来实现，这样的跟踪往往只适应远程的观察。对于某些特定区域存在多个近似运动目标物时，如果用户需要现场观察目标物所处的位置，则难以适应。

发明内容

针对现有技术的不足，本发明的目的是提供一种多运动目标信息捕获与跟踪系统及方法，既能进行目标物信息的捕获，又能给出本地的指示，既满足远程的视频跟踪观察，又能满足近距离的肉眼跟踪，更加贴合实际。

为了实现上述目的，本发明所采用的技术方案如下：

首先，本发明提供一种多运动目标信息捕获与跟踪系统，其关键在于：包括本地终端、与所述本地终端通信连接的服务器、和与所述服务器通信连接的智能移动终端；

所述本地终端包括全景摄像头、红外图像传感器和光标跟踪设备；

所述全景摄像头用于获取预定区域内的全景视频图像并上传至所述服务器；

所述红外图像传感器用于获取预定区域内的热红外图像并上传至所述服务器；

所述服务器用于根据所述全景视频图像和所述热红外图像获取多个运动目标的信息；

所述智能移动终端用于登录所述服务器查看多个运动目标的信息，所述智能移动终端还用于用户选择特定目标，当用户通过所述智能移动终端选择某一目标物作为特定目标时，所述光标跟踪设备用于发出特定的光标信息并跟随所述特定目标所处的位置进行光标信息投射。

可选地，每个运动目标的信息包括目标物图像信息、目标物尺寸信息、目标物体重信息和目标物体温信息。

可选地，所述服务器根据所述本地终端获取的运动目标数量进行自动编号，并按预定周期分别更新每个运动目标的信息，同时基于每个编号的运动目标分别构建其特征数据库；当用户通过所述智能移动终端选择某一目标物作为特定目标时，所述服务器实时提取全景视频图像中各个运动目标的特征，将其与特定目标的特征数据库进行匹配，如果匹配成功，则将匹配成功的运动目标当前所处位置作为所述光标跟踪设备的投影位置。

可选地，所述光标跟踪设备发出特定的光标信息为所述特定目标的编号信息。

可选地，所述服务器利用所述全景摄像头进行视频图像采集和目标物提取，然后通过目标物图像分割得到所述目标物图像信息。

可选地，所述服务器还将目标物提取和目标物图像分割后的目标物图像信息进行尺寸分析，得到所述目标物尺寸信息，同时基于所述目标物尺寸信息进行体重估计，得到所述目标物体重信息。

可选地，所述服务器还将目标物提取和目标物图像分割后的目标物图像信息进行目标物位置分析，得到当前时刻目标物所处的位置，同时所述服务器还利用所述红外图像传感器进行红外图像采集，并基于采集的红外图像和当前时刻目标物所处的位置进行体温分析，得到所述目标物体温信息。

可选地，当某一目标物的体温信息超过预设阈值时，所述服务器自动将该目标物作为特定目标，当同时存在多个特定目标时，所述光标跟踪设备按照预定时间间隔轮流发出每个特定目标对应的光标信息并跟随其位置进行光标信息投射

其次，本发明还提供一种多运动目标信息捕获与跟踪方法，利用上文所述的多运动目标信息捕获与跟踪系统，包括目标信息捕获步骤和特定目标跟踪步骤；

所述目标信息捕获步骤中利用所述全景摄像头和所述红外图像传感器获取目标物图像信息、目标物尺寸信息、目标物体重信息和目标物体温信息；

所述目标跟踪步骤中，利用所述光标跟踪设备发出特定的光标信息并跟随特定目标所处的位置进行光标信息投射。

可选地，通过调整光标跟踪设备的旋转角度α和俯仰角度β来改变光标信息投射位置；

服务器将全景视频图像中的各个目标物与特定目标进行特征匹配，得出特定目标在当前全景视频图像中的位置信息，并基于当前位置信息确定所述旋转角度α和俯仰角度β，并传输至所述本地终端；所述本地终端根据服务器确定的旋转角度α和俯仰角度β调整所述光标跟踪设备的投射位置。

本发明的显著效果是：

本发明提出的多目标信息捕获与跟踪系统及方法，充分融合普通摄像头和全景摄像头的信息捕获能力，从而有效提取目标物的各种信息，便于用户通过远程查看各个目标物的情况，同时基于光标跟踪设备又能现场投射光标信息，便于用户现场肉眼观察，系统架构简单，控制方便，可满足不同应用需求。

附图说明

图1是本发明具体实施例中系统架构图；

图2是本发明具体实施例中目标信息捕获步骤的原理框图；

图3是本发明具体实施例中目标跟踪步骤的原理框图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

实施例1：

本实施例以智能生猪养殖场为例，将圈舍范围内部运动的多只仔猪作为运动目标，提供了一种多运动目标信息捕获与跟踪系统及方法。

如图1所示，一种多运动目标信息捕获与跟踪系统，包括本地终端、与所述本地终端通信连接的服务器、和与所述服务器通信连接的智能移动终端；

在本实施例中，本地终端设置于生猪养殖场每个圈舍的上方，包括全景摄像头、红外图像传感器和光标跟踪设备；

全景摄像头固定设置，可获取圈舍区域内的全景视频图像并上传至服务器；

红外图像传感器也采用固定设置，可获取圈舍区域内的热红外图像并上传至服务器；

光标跟踪设备通常采用旋转云台，通过对其俯仰角度和旋转角度的控制，能够实现所发出的光标信息跟随特定目标物的位置移动；

服务器用于根据所述全景视频图像和所述热红外图像获取多个运动目标的信息；

智能移动终端可采用智能手机，用于登录服务器查看多个运动目标的信息，所述智能移动终端还用于用户选择特定目标，当用户通过所述智能移动终端选择某一目标物作为特定目标时，所述光标跟踪设备用于发出特定的光标信息并跟随所述特定目标所处的位置进行光标信息投射。

具体实施时，服务器内部可以采用表格化管理，智能移动终端可以采用web化界面展示，运动目标的具体信息如表1所示：

表1：多运动目标信息捕获表

可以看出，根据每个圈舍位置和每个圈舍仔猪的数量进行目标编号，每个运动目标的信息包括目标物尺寸信息、目标物体重信息、目标物体温信息和目标物图像信息，也可以基于用户的特定需求附加其它信息。

通过图2可以看出，服务器利用所述全景摄像头进行视频图像采集和目标物提取，然后通过目标物图像分割得到所述目标物图像信息；

目标提取时，根据全景视频图像中目标图像连通域的面积和边缘特征等因素，可以有效识别出单一目标所处的位置，然后通过图像分割可以将其图像信息提取；

提取出图像后，通过图像特征提取和识别，可以将不同时刻提取的目标物图像信息进行分类，使其归属到对应的目标编号上，便于后续信息的绑定。

在提取图像特征时，除了体表图像纹理特征和图像边缘特征检测外，可以考虑在仔猪图像上提取关键特征点，比如嘴部特征点、头部特征点、颈部特征点、肘部特征点、脚部特征点、脊部特征点、尾部特征点、肚部特征点等，通过各个部位的特征点提取，基于各个特征点在图像中的距离以及摄像头安装的位置信息可以有效进行尺寸分析，从而得到目标物尺寸信息，同时基于所述目标物尺寸信息，可以得出仔猪的体积，然后基于预先训练好的生猪体重回归模型进行体重估计，从而得到目标物体重信息。

为了更加精准测量每只仔猪的体温，防止生长异常，服务器还将目标物提取和目标物图像分割后的目标物图像信息进行目标物位置分析，得到当前时刻目标物所处的位置，同时所述服务器还利用所述红外图像传感器进行红外图像采集，并基于采集的红外图像和当前时刻目标物所处的位置进行体温分析，得到所述目标物体温信息。

即本发明将普通图像和热红外图像进行融合，通过红外热成像技术可以准确获取圈舍区域内各个点的温度情况，然后再基于普通图像对各个目标物进行定位，从而准确获取各个目标物的体温信息。基于红外成像进行体温监测，可及时发现异常目标，及时隔离或医治，减少生猪养殖的发病率。

具体实施时，服务器也可以根据所述本地终端获取的运动目标数量进行自动编号，并按预定周期分别更新每个运动目标的信息，同时基于每个编号的运动目标分别构建其特征数据库；结合图3可以看出，当用户通过所述智能移动终端选择某一目标物作为特定目标时，所述服务器实时提取全景视频图像中各个运动目标的特征，将其与特定目标的特征数据库进行匹配，如果匹配成功，则将匹配成功的运动目标当前所处位置作为所述光标跟踪设备的投影位置，此时，光标跟踪设备发出特定的光标信息可以设为该特定目标的编号信息。

为了实现体温异常的自动预警，当某一目标物的体温信息超过预设阈值时，所述服务器自动将该目标物作为特定目标，当同时存在多个特定目标时，所述光标跟踪设备按照预定时间间隔轮流发出每个特定目标对应的光标信息并跟随其位置进行光标信息投射。

可以看出，上述系统中，在圈舍的限定下，多个运动目标始终保持在固定区域内活动，只要全景摄像头、红外图像传感器和光标跟踪设备的覆盖范围能够满足圈舍的大小，无论仔猪在圈舍内如何移动，服务器根据全景摄像头和红外图像传感器所上传的数据，在一定时间周期内是能够实现每一只仔猪的所有信息的提取，用户通过智能手机可以查看每一只仔猪的生长状况。由于多只仔猪的运动，即使系统中提示某只仔猪生长异常，用户到达圈舍时也难以肉眼区分，因此，通过本发明设置的光标跟踪设备，当用户通过智能手机选择需要重点观察的某一只仔猪时，系统可以将其列为特定对象，通过光标跟踪设备发出光标信息并投射到该特定对象的身上，光标信息可以随着仔猪的移动而跟踪移动，便于用户快速准确对其进行异常处理。

实施例2：

本实施例提供一种多运动目标信息捕获与跟踪方法，利用实施例1所述的多运动目标信息捕获与跟踪系统，具体包括目标信息捕获步骤和特定目标跟踪步骤；

所述目标信息捕获步骤中利用所述全景摄像头和所述红外图像传感器获取目标物图像信息、目标物尺寸信息、目标物体重信息和目标物体温信息；

所述目标跟踪步骤中，利用所述光标跟踪设备发出特定的光标信息并跟随特定目标所处的位置进行光标信息投射。

在本实施例中，将光标跟踪设备的发射头安装在俯仰旋转电机和水平旋转电机带动的转动台上，发射头可以根据服务器下发的指令发出带文字信息的有色光线，通过调整光标跟踪设备的旋转角度α和俯仰角度β来改变光标信息投射位置；

服务器可以在预定区域内预先训练好任何一个位置所对应的投射角度，从而建立相应的数据链表，在实施时，服务器将全景视频图像中的各个目标物与特定目标进行特征匹配，得出特定目标在当前全景视频图像中的位置信息，并基于当前位置信息确定所述旋转角度α和俯仰角度β，并传输至所述本地终端；所述本地终端根据服务器确定的旋转角度α和俯仰角度β调整所述光标跟踪设备的投射位置，控制方便可靠。

综上所述，本发明提出的一种多运动目标信息捕获与跟踪系统及方法，充分运用了全景摄像头和红外图像传感器的视觉感知能力，从而有效提取多个运动目标的信息特征，基于图像对比和匹配，能够实现特定目标的位置定位，然后基于光标跟踪设备的设计，能够基于特定目标的位置进行光标跟踪，设备系统架构简单，充分利用服务器的运算处理能力，既满足远程的目标信息的获取，又能实现本地特定目标的跟踪和标注，便于实现科学规范化管理，提升了多运动目标的信息收集和管理能力，特别是对于生长管理、预防接种等具有很好的帮助作用。

最后需要说明的是，上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种多运动目标信息捕获与跟踪系统，其特征在于：包括本地终端、与所述本地终端通信连接的服务器、和与所述服务器通信连接的智能移动终端；

所述本地终端包括全景摄像头、红外图像传感器和光标跟踪设备；

所述全景摄像头用于获取预定区域内的全景视频图像并上传至所述服务器；

所述红外图像传感器用于获取预定区域内的热红外图像并上传至所述服务器；

所述服务器用于根据所述全景视频图像和所述热红外图像获取多个运动目标的信息；

所述智能移动终端用于登录所述服务器查看多个运动目标的信息，所述智能移动终端还用于用户选择特定目标，当用户通过所述智能移动终端选择某一目标物作为特定目标时，所述光标跟踪设备用于发出特定的光标信息并跟随所述特定目标所处的位置进行光标信息投射。

2.根据权利要求1所述的多运动目标信息捕获与跟踪系统，其特征在于：每个运动目标的信息包括目标物图像信息、目标物尺寸信息、目标物体重信息和目标物体温信息。

3.根据权利要求2所述的多运动目标信息捕获与跟踪系统，其特征在于：所述服务器根据所述本地终端获取的运动目标数量进行自动编号，并按预定周期分别更新每个运动目标的信息，同时基于每个编号的运动目标分别构建其特征数据库；当用户通过所述智能移动终端选择某一目标物作为特定目标时，所述服务器实时提取全景视频图像中各个运动目标的特征，将其与特定目标的特征数据库进行匹配，如果匹配成功，则将匹配成功的运动目标当前所处位置作为所述光标跟踪设备的投影位置。

4.根据权利要求3所述的多运动目标信息捕获与跟踪系统，其特征在于：所述光标跟踪设备发出特定的光标信息为所述特定目标的编号信息。

5.根据权利要求3所述的多运动目标信息捕获与跟踪系统，其特征在于：所述服务器利用所述全景摄像头进行视频图像采集和目标物提取，然后通过目标物图像分割得到所述目标物图像信息。

6.根据权利要求5所述的多运动目标信息捕获与跟踪系统，其特征在于：所述服务器还将目标物提取和目标物图像分割后的目标物图像信息进行尺寸分析，得到所述目标物尺寸信息，同时基于所述目标物尺寸信息进行体重估计，得到所述目标物体重信息。

7.根据权利要求5或6所述的多运动目标信息捕获与跟踪系统，其特征在于：所述服务器还将目标物提取和目标物图像分割后的目标物图像信息进行目标物位置分析，得到当前时刻目标物所处的位置，同时所述服务器还利用所述红外图像传感器进行红外图像采集，并基于采集的红外图像和当前时刻目标物所处的位置进行体温分析，得到所述目标物体温信息。

8.根据权利要求3所述的多运动目标信息捕获与跟踪系统，其特征在于：当某一目标物的体温信息超过预设阈值时，所述服务器自动将该目标物作为特定目标，当同时存在多个特定目标时，所述光标跟踪设备按照预定时间间隔轮流发出每个特定目标对应的光标信息并跟随其位置进行光标信息投射。

9.一种多运动目标信息捕获与跟踪方法，利用权利要求1-8任一所述的多运动目标信息捕获与跟踪系统，其特征在于：包括目标信息捕获步骤和特定目标跟踪步骤；

所述目标信息捕获步骤中利用所述全景摄像头和所述红外图像传感器获取目标物图像信息、目标物尺寸信息、目标物体重信息和目标物体温信息；

所述目标跟踪步骤中，利用所述光标跟踪设备发出特定的光标信息并跟随特定目标所处的位置进行光标信息投射。

10.根据权利要求9所述的多运动目标信息捕获与跟踪方法，其特征在于：通过调整光标跟踪设备的旋转角度α和俯仰角度β来改变光标信息投射位置；

服务器将全景视频图像中的各个目标物与特定目标进行特征匹配，得出特定目标在当前全景视频图像中的位置信息，并基于当前位置信息确定所述旋转角度α和俯仰角度β，并传输至所述本地终端；所述本地终端根据服务器确定的旋转角度α和俯仰角度β调整所述光标跟踪设备的投射位置。

Images