CN105592269B - 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法 - Google Patents

Abstract

本发明提供了运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法，其中设备包括：全景图像采集器，与全景图像采集器电连接的控制器，与控制器分别电连接的多个分镜摄像系统；全景图像采集器向控制器传输采集到的全景环境图像；控制器根据全景环境图像确定待跟踪运动目标和待跟踪运动目标的位置，向分镜摄像系统发送对应的运动目标跟踪指令；分镜摄像系统对来自待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪待跟踪运动目标。本发明中的设备及方法在保持拍摄镜头指向不变的情况下通过光线反射原理进行运动目标的捕捉与跟踪，避免机械调节镜头方向调节速度慢的问题，提高了运动目标的捕捉跟踪速度。

Description

运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法

技术领域

本发明涉及光学设备领域，尤其涉及一种运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法。

背景技术

运动目标捕捉与跟踪是当前计算机视觉领域的研究热点，运动目标捕捉与跟踪是指利用计算机在视频序列中确定感兴趣的、具有某种显著特征的运动目标的位置、大小、以及运动目标完整的运动轨迹。近年来，随着计算机数据处理能力的飞速增长、以及图像分析技术的发展，运动目标的实时捕捉与跟踪技术脱颖而出。对运动目标进行实时捕捉与跟踪，在视频监控、视频压缩编码、机器人导航与定位、智能人机交互以及虚拟现实等领域有着重要的实用价值。

现有技术提供了运动目标的捕捉与跟踪设备，该设备包括控制器，与控制器电连接的云台摄像机。该设备的工作原理是：通过云台摄像机获取多个运动目标的图像并传输至控制器，控制器对接收到的图像进行运动目标检测与跟踪，确定需要跟踪的运动目标，向云台摄像机发送控制指令，云台摄像机接收控制指令后，在控制指令的控制下调节镜头的拍摄方向，对需要跟踪的运动目标进行跟踪拍摄。

现有技术中，利用云台摄像机对运动目标进行跟踪拍摄，由于运动目标的位置动态变化，因此云台摄像机需要及时调节镜头方向。然而，云台摄像机采用机械转动的方式调节镜头方向，具有调节速度慢的缺陷，导致对运动目标的捕捉跟踪速度降低。

发明内容

本发明提供了运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法，能够在保持拍摄镜头指向不变的情况下通过光线反射原理进行运动目标的捕捉与跟踪，避免机械调节镜头方向调节速度慢的问题，提高运动目标的捕捉跟踪速度。

第一方面，本发明实施例提供了一种运动目标捕捉与跟踪设备，包括：全景图像采集器，与所述全景图像采集器电连接的控制器，与所述控制器分别电连接的多个分镜摄像系统；多个所述分镜摄像系统分别设置于所述全景图像采集器的采集区域内的指定位置；所述全景图像采集器用于采集全景环境图像，将所述全景环境图像传输至所述控制器；所述控制器用于接收所述全景环境图像，根据所述全景环境图像确定待跟踪运动目标，生成所述待跟踪运动目标对应的运动目标跟踪指令；将生成的所述运动目标跟踪指令传输至对应的所述分镜摄像系统；所述分镜摄像系统用于接收所述运动目标跟踪指令，根据所述运动目标跟踪指令对来自所述待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪所述待跟踪运动目标。

结合第一方面，本发明实施例提供了第一方面第一种可能的实施方式，其中，所述控制器包括相互电连接的GPU(Graphic Processing Unit，图形处理器)和CPU(CentralProcessing Unit，中央处理器)；所述CPU与所述全景图像采集器电连接，用于接收所述全景环境图像的当前帧图像，将所述当前帧图像传输给所述GPU；所述GPU用于对所述当前帧图像进行运动目标检测，得到所述当前帧图像中各个运动目标的图像特征并发送至所述CPU；其中，所述运动目标的图像特征包括所述运动目标的图像坐标、颜色特征和纹理特征；所述CPU分别与多个所述分镜摄像系统电连接，用于接收所述各个运动目标的图像特征，将所述各个运动目标的图像特征分别融合，并与预先存储的图像特征进行匹配，根据所述特征匹配结果确定待跟踪运动目标和所述待跟踪运动目标的位置；根据所述待跟踪运动目标的位置生成运动目标跟踪指令；确定与所述待跟踪运动目标的位置对应的分镜摄像系统；将生成的所述运动目标跟踪指令传输至确定的所述分镜摄像系统。

结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面第二种可能的实施方式，其中，所述GPU用于对所述当前帧图像进行预处理，所述预处理包括解码和/或去噪；采用混合高斯进行背景建模，生成预设数量的背景模型；根据所述预设数量的背景模型对所述预处理后的当前帧图像进行运动目标检测，得到所述当前帧图像中各个运动目标的图像特征并发送至所述CPU。

结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面第三种可能的实施方式，其中，所述CPU用于根据所述待跟踪运动目标的位置进行分析，生成所述待跟踪运动目标对应的光线偏转参数、焦距调节参数以及拍摄参数，根据所述光线偏转参数、焦距调节参数以及拍摄参数生成运动目标跟踪指令；根据预先设定的位置对应关系确定与所述待跟踪运动目标对应的分镜摄像系统；将生成的所述运动目标跟踪指令传输至确定的所述分镜摄像系统。

结合第一方面，本发明实施例提供了第一方面第四种可能的实施方式，其中，所述运动目标跟踪指令携带有光线偏转参数和拍摄参数；所述分镜摄像系统包括声光调制器和高清摄像头；所述声光调制器与所述控制器电连接，接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数对来自所述待跟踪运动目标的光线进行反射，将所述光线反射至所述高清摄像头内；所述高清摄像头与所述控制器电连接，接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的拍摄参数在镜头指向不变时对所述待跟踪运动目标进行拍摄。

结合第一方面第四种可能的实施方式，本发明实施例提供了第一方面第五种可能的实施方式，其中，所述声光调制器包括纵向声光调制器和横向声光调制器，所述纵向声光调制器、所述横向声光调制器和所述高清摄像头依次排列，所述纵向声光调制器和所述横向声光调制器分别与所述控制器电连接；所述纵向声光调制器接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数将来自所述待跟踪运动目标的光线纵向反射至所述横向声光调制器；所述横向声光调制器接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数将所述纵向反射后的光线横向反射至所述高清摄像头内。

结合第一方面第五种可能的实施方式，本发明实施例提供了第一方面第六种可能的实施方式，其中，所述分镜摄像系统还包括液晶透镜，所述纵向声光调制器、所述横向声光调制器、所述液晶透镜和所述高清摄像头依次排列；所述液晶透镜与所述控制器电连接；所述运动目标跟踪指令携带有焦距调节参数；所述液晶透镜接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的焦距调节参数进行焦距调节；所述横向反射后的光线穿过所述液晶透镜进入所述高清摄像头。

结合第一方面第四种可能的实施方式，本发明实施例提供了第一方面第七种可能的实施方式，其中，所述声光调制器包括横向声光调制器和纵向声光调制器，所述分镜摄像系统还包括液晶透镜，所述横向声光调制器、所述纵向声光调制器、所述液晶透镜和所述高清摄像头依次排列；所述横向声光调制器、所述纵向声光调制器和所述液晶透镜分别与所述控制器电连接。

结合第一方面第六种可能的实施方式，本发明实施例提供了第一方面第八种可能的实施方式，其中，所述分镜摄像系统还包括液晶透镜安装架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架；所述液晶透镜安装架、所述高清摄像头安装架、所述横向声光调制器安装架和所述纵向声光调制器安装架上分别设置有调节元件；通过所述调节元件分别调节所述液晶透镜、所述高清摄像头、所述横向声光调制器和所述纵向声光调制器的安装位置。

第二方面，本发明实施例提供了一种运动目标捕捉与跟踪方法，所述方法包括：采集全景环境图像，根据所述全景环境图像确定待跟踪运动目标；生成所述待跟踪运动目标对应的运动目标跟踪指令；将生成的所述运动目标跟踪指令传输至对应的分镜摄像系统；其中，图像采集区域内的指定位置分别设置有多个所述分镜摄像系统；所述分镜摄像系统根据所述运动目标跟踪指令对来自所述待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪所述待跟踪运动目标。

本发明实施例中，分镜摄像系统对来自待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪待跟踪运动目标。由于捕捉及跟踪待跟踪运动目标时镜头指向不需要改变，因此本实施例中的设备及方法能够提高运动目标的捕捉跟踪速度，避免现有技术中机械调节镜头方向调节速度慢的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出本发明第一实施例所提供的运动目标捕捉与跟踪设备的一种结构示意图；

图2示出本发明第一实施例所提供的运动目标捕捉与跟踪设备的另一种结构示意图；

图3示出本发明第一实施例所提供的分镜摄像系统的一种结构示意图；

图4示出本发明第一实施例所提供的分镜摄像系统的另一种结构示意图；

图5示出本发明第一实施例所提供的图像处理算法的流程示意图；

图6示出本发明第二实施例所提供的运动目标捕捉与跟踪方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中利用云台摄像机对运动目标进行跟踪拍摄，云台摄像机采用机械转动的方式调节镜头方向，具有调节速度慢的缺陷，导致对运动目标的捕捉跟踪速度降低，本发明提供了运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法，下面结合实施例进行具体描述。

实施例一

图1示出了本发明第一实施例提供的运动目标捕捉与跟踪设备的一种结构示意图。如图1所示，本实施例中的运动目标捕捉与跟踪设备1包括：

全景图像采集器10，与全景图像采集器10电连接的控制器20，与控制器20分别电连接的多个分镜摄像系统30；多个分镜摄像系统30分别设置于全景图像采集器10的采集区域内的指定位置；

全景图像采集器10用于采集全景环境图像，将全景环境图像传输至控制器20；

控制器20用于接收全景环境图像，根据全景环境图像确定待跟踪运动目标，生成待跟踪运动目标对应的运动目标跟踪指令；将生成的运动目标跟踪指令传输至对应的分镜摄像系统30；

分镜摄像系统30用于接收运动目标跟踪指令，根据运动目标跟踪指令对来自待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪待跟踪运动目标。

本发明实施例中，分镜摄像系统30对来自待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪待跟踪运动目标。由于捕捉及跟踪待跟踪运动目标时镜头指向不需要改变，因此本实施例中的运动目标捕捉与跟踪设备能够提高运动目标的捕捉跟踪速度，避免现有技术中机械调节镜头方向调节速度慢的问题。

本实施例中，全景图像采集器10的采集区域被分割成若干子区域，每个子区域都标定坐标，各个子区域都对应设置一个分镜摄像系统30。当待跟踪运动目标位于某一子区域内时，通过该子区域内的分镜摄像系统30进行待跟踪运动目标的捕捉与跟踪。本实施例中，分镜摄像系统30对待跟踪运动目标进行捕捉拍摄，还将拍摄的图像传输回控制器20，以便控制器20进行后续处理。

本实施例中，控制器20用于接收全景环境图像，根据全景环境图像确定待跟踪运动目标和待跟踪运动目标的位置；根据待跟踪运动目标的位置生成运动目标跟踪指令；确定与待跟踪运动目标的位置对应的分镜摄像系统30；将生成的运动目标跟踪指令传输至确定的分镜摄像系统30。

本实施例中，全景图像采集器10安装在预设位置。全景图像采集器10优选采用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)全景高清1080P摄像机，CMOS全景高清1080P摄像机以每秒25帧的速率将分辨率为1080P(1920×1080)的视频流图像以1000Mbps的速率通过网络线缆实时传输至控制器20。现有技术中采用的视频流分辨率一般是VGA(video graphics array，视频图形阵列)(640×480)，很少能达到720P(1280×720)。与现有技术相比，本实施例中通过CMOS全景高清1080P摄像机能够获取到清晰度高的全景环境图像，从而提高后续图像分析处理的准确性，并且，视频分辨率的提高能使控制器20处理的细节更多，提高对体积较小或距离较远的运动目标的检测成功率。

图2示出了本发明第一实施例提供的运动目标捕捉与跟踪设备的另一种结构示意图。图2中，以一个分镜摄像系统30为例进行描述。如图2所示，本实施例中，控制器20包括相互电连接的GPU21和CPU22；CPU22与全景图像采集器10电连接，用于接收全景环境图像的当前帧图像，将当前帧图像传输给GPU21；GPU21用于对当前帧图像进行运动目标检测，得到当前帧图像中各个运动目标的图像特征并发送至CPU22；其中，运动目标的图像特征包括运动目标的图像坐标、颜色特征和纹理特征；CPU22分别与多个分镜摄像系统30电连接，用于接收各个运动目标的图像特征，将各个运动目标的图像特征分别融合，并与预先存储的图像特征进行匹配，根据特征匹配结果对当前帧图像中的各个运动目标进行筛选，确定待跟踪运动目标和待跟踪运动目标的位置；根据待跟踪运动目标的位置生成运动目标跟踪指令；确定与待跟踪运动目标的位置对应的分镜摄像系统30；将生成的运动目标跟踪指令传输至确定的分镜摄像系统30。

上述GPU21对当前帧图像进行运动目标检测，得到当前帧图像中各个运动目标的图像特征并发送至CPU22的具体过程是：GPU21对当前帧图像进行预处理，该预处理包括解码和/或去噪；采用混合高斯进行背景建模，生成预设数量的背景模型；根据预设数量的背景模型对预处理后的当前帧图像进行运动目标检测，得到当前帧图像中各个运动目标的图像特征并发送至CPU22。

具体地，GPU21对当前帧图像解码，或者对当前帧图像进行去噪，或者对当前帧图像进行解码和去噪处理。GPU21采用混合高斯进行背景建模，生成5-7个背景模型。GPU21根据5-7个背景模型对预处理后的当前帧图像进行运动目标检测，从当前帧图像中剔除背景图像，得到当前帧图像中各个运动目标以及当前帧图像中各个运动目标的图像特征，并将当前帧图像中各个运动目标的图像特征发送至CPU22。与现有技术相比，本实施例中GPU21采用5-7个模型建立稳定背景，更大的计算规模导致运动前景与背景分割准确度的提高，而GPU21并行计算特性保证大量计算的实时完成。

通过GPU21对当前帧图像进行运动目标检测，能够从当前帧图像中检测得到多个运动目标，以及多个运动目标各自的图像坐标、颜色特征和纹理特征，其中颜色特征能够通过颜色直方图表示，纹理特征能够通过局部旋转不变纹理、梯度直方图表示。GPU21将多个运动目标各自的图像坐标、颜色特征和纹理特征发送至CPU22。

本实施例中，GPU21将对高分辨率的数字图像的处理过程划分成小矩阵块分配到上千个计算单元和处理线程中同时进行，极大地提高了处理速度。GPU21利用内嵌的运动目标与特征检测算法将图像中的大部分无用信息过滤掉，保留有效信息，即当前帧图像中多个运动目标的图像特征，仅将数据规模很小的有效信息传输给CPU22。

CPU22接收各个运动目标各自的图像坐标、颜色特征和纹理特征，对于每个运动目标，将其各自的图像坐标、颜色特征和纹理特征进行融合，并将融合后的特征与预先存储的图像特征进行匹配，若匹配成功，则确定该融合后的特征对应的运动目标为待跟踪运动目标，并将该融合后的特征存储在内存中，作为下一帧匹配计算的模板。CPU22还确定待跟踪运动目标的位置，如图像坐标，将该图像坐标转换为空间坐标，根据待跟踪运动目标的空间坐标生成运动目标跟踪指令，并根据待跟踪运动目标的空间坐标确定与其对应的分镜摄像系统30，将生成的运动目标跟踪指令传输至确定的分镜摄像系统30。

为了弥补背景建模方法对目标运动速度较低情况的不准确性，本实施例中CPU22进行运动目标筛选时，融合运动目标的多种图像特征，包括图像坐标、颜色特征和纹理特征，进一步提高了前景与背景分离的准确度，实现对复杂环境中感兴趣的运动目标的准确检测。本实施例中，CPU22实现了运动目标位置和颜色、纹理特征融合的匹配算法，实现了对目标运动轨迹的快速准确描述。

由于分镜摄像系统需要根据运动目标的空间坐标进行运动目标的捕捉与跟踪，因此CPU22根据待跟踪运动目标的空间坐标生成运动目标跟踪指令的具体过程是：CPU22根据待跟踪运动目标的位置如空间坐标进行分析，生成待跟踪运动目标对应的光线偏转参数、焦距调节参数以及拍摄参数，根据光线偏转参数、焦距调节参数以及拍摄参数生成运动目标跟踪指令。另外，CPU22还根据预先设定的位置对应关系确定与待跟踪运动目标的空间坐标对应的分镜摄像系统30，将生成的运动目标跟踪指令传输至确定的分镜摄像系统30。

本实施例中，控制器20采用GPU21与CPU22异构并行处理方式对环境图像进行处理，通过这种异构并行处理方式能够提到GPU21与CPU22的工作效率，从而提高图像处理速度。

如图2所示，分镜摄像系统30包括声光调制器31和高清摄像头32；上述运动目标跟踪指令携带有光线偏转参数和拍摄参数；声光调制器31与控制器20电连接，接收运动目标跟踪指令，根据运动目标跟踪指令携带的光线偏转参数对来自待跟踪运动目标的光线进行反射，将该光线反射至高清摄像头32内；高清摄像头32与控制器20电连接，接收运动目标跟踪指令，根据运动目标跟踪指令携带的拍摄参数在镜头指向不变时对待跟踪运动目标进行拍摄。

图2中，声光调制器31与高清摄像头32之间的线段表示光路传播方向。本实施例中，声光调制器31根据光线偏转参数进行光线反射，该光线偏转参数包括光线偏转角度等数据。当来自待跟踪运动目标的光线被声光调制器31反射进入高清摄像头32内后，高清摄像头32根据拍摄参数、如快门时长、光圈大小等参数进行拍摄，从而达到捕捉并跟踪待跟踪运动目标的效果。

图3是本实施例中的分镜摄像系统30的结构示意图，如图3所示，为了保证声光调制器31对光线进行准确偏转，声光调制器31包括纵向声光调制器311和横向声光调制器312，纵向声光调制器311、横向声光调制器312和高清摄像头32依次排列，纵向声光调制器311和横向声光调制器312分别与控制器20电连接；纵向声光调制器311接收运动目标跟踪指令，根据运动目标跟踪指令携带的光线偏转参数将来自待跟踪运动目标的光线纵向反射至横向声光调制器312；横向声光调制器312接收运动目标跟踪指令，根据运动目标跟踪指令携带的光线偏转参数将纵向反射后的光线横向反射至高清摄像头32内。

本实施例中，来自待跟踪运动目标的光线通过纵向声光调制器311，利用声光效应所产生的布雷格衍射的特点，实现对光线传播方向的控制，将光线进行纵向偏转到指定的角度，经过横向声光调制器312，将光线进行横向偏转，汇聚至高清摄像头32内，通过高清摄像头32的拍摄作用，实现待跟踪运动目标的捕捉与跟踪。

考虑到高清摄像头32捕捉待跟踪运动目标时还需要进行焦距调节，为了避免机械调节焦距调节时间慢的问题，如图3所示，本实施例中，分镜摄像系统30还包括液晶透镜33，纵向声光调制器311、横向声光调制器312、液晶透镜33和高清摄像头32依次排列；液晶透镜33与控制器20电连接；运动目标跟踪指令携带有焦距调节参数；液晶透镜33接收运动目标跟踪指令，根据运动目标跟踪指令携带的焦距调节参数进行焦距调节；上述横向反射后的光线穿过液晶透镜33进入高清摄像头32。

图3中，纵向声光调制器311、横向声光调制器312、液晶透镜33和高清摄像头32之间的线段表示光路传播方向。通过图3中的分镜摄像系统30，来自待跟踪运动目标的光线首先经过纵向反射，然后经过横向反射，最后穿过液晶透镜33进入高清摄像头32。

本实施例中，通过液晶透镜33与控制器20电连接进行拍摄焦距调节，能够达到焦距调节速度快的效果，避免现有技术中机械调节拍摄焦距调节速度慢的问题。

本实施例中，声光调制器31还能够用高速振镜代替。在分镜摄像系统30中高清摄像头32前加液晶透镜33、声光调制器31或者高速振镜，根据光路可逆原理可以通过声光调制器31或高速振镜对光路的偏折作用，光路传回的视域成像在高清摄像头32上，经过液晶透镜33的高速调焦作用，可以清楚地得到清晰的待跟踪运动目标的图像。

当分镜摄像系统30包括多个时，将每一个分镜摄像系统30获取的图像传回给控制器20，声光调制器31和液晶透镜33等设备的反应速度都可达到纳秒量级，则分镜摄像系统30获取图像的速度能达到微秒量级，传回图像速度也可达到微秒量级，通过控制器20与分镜摄像系统30的配合，可以实现微秒级运动目标捕捉与跟踪。如果用高速振镜代替声光调制器31，反应速度达到毫秒到微秒量级，则可实现毫秒级运动目标捕捉与跟踪。

实际应用中，通过多个分镜摄像系统30能够捕捉同一待跟踪运动目标的不同视角的图像，从而构建待跟踪运动目标的全景信息，也可获得待跟踪运动目标在较大范围的具体运动路线。

如图4所示，本实施例中的分镜摄像系统30还有另一种结构形式，声光调制器31包括横向声光调制器312和纵向声光调制器311，分镜摄像系统30还包括液晶透镜33，横向声光调制器312、纵向声光调制器311、液晶透镜33和高清摄像头32依次排列；横向声光调制器312、纵向声光调制器311和液晶透镜33分别与控制器20电连接。

图4中，纵向声光调制器311、横向声光调制器312、液晶透镜33和高清摄像头32之间的线段表示光路传播方向。通过图4中的分镜摄像系统30，来自待跟踪运动目标的光线首先经过横向反射，然后经过纵向反射，最后穿过液晶透镜33进入高清摄像头32。

为了便于调节分镜摄像系统30中各个器件的位置，分镜摄像系统30还包括液晶透镜安装架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架；液晶透镜安装架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架上分别设置有调节元件；通过该调节元件分别调节液晶透镜33、高清摄像头32、横向声光调制器312和纵向声光调制器311的安装位置。

通过本实施例中的运动目标捕捉与跟踪设备，有效提高了运动目标的跟踪效率，能够消除变形、遮挡、交叉等不利情况对跟踪效果的负面影响，从而建立运动目标完整、长时间内的运动轨迹数据。

图5示出了本实施例提供的图像处理算法的流程示意图，该图像处理算法由CPU和GPU协同执行，如图5所示，该图像处理算法包括：

步骤502，对当前帧图像进行预处理，该预处理包括解码和/或去噪；

步骤504，采用混合高斯进行背景建模，生成5-7个背景模型；

步骤506，根据5-7个背景模型对预处理后的当前帧图像进行运动目标检测，得到当前帧图像中各个运动目标的图像特征；其中，运动目标的图像特征包括运动目标的图像坐标、颜色特征和纹理特征；

步骤508，将当前帧图像中各个运动目标的图像特征分别进行融合，并与预先存储的图像特征进行匹配，根据特征匹配结果对当前帧图像中的多个运动目标进行筛选，确定待跟踪运动目标以及待跟踪运动目标的图像坐标；

步骤S510，将该图像坐标转换为空间坐标，根据待跟踪运动目标的空间坐标生成运动目标跟踪指令，确定与待跟踪运动目标的空间坐标对应的分镜摄像系统，将生成的运动目标跟踪指令传输至确定的分镜摄像系统。

图5中所示的图像处理算法由CPU和GPU协同执行，保证了图像处理的准确性、快速性和鲁棒性，提高了图像处理速度，实现了运动目标位置、颜色和纹理特征的融合，实现了快速准确的描述运动目标的运动轨迹。

通过图5中的方法，采用模糊集合理论融合运动位置和速度估计与颜色、梯度特征的匹配，增大在历史数据中的搜索范围，有效提升了运动目标跟踪效率，能消除变形、遮挡、交叉等不利情况对跟踪效果的负面影响，建立运动目标完整、长时间内的运动轨迹数据。

实施例二

图6示出了本发明第二实施例提供的运动目标捕捉与跟踪方法的流程示意图，如图6所示，该方法包括：

步骤602，采集全景环境图像，根据全景环境图像确定待跟踪运动目标；

步骤604，生成待跟踪运动目标对应的运动目标跟踪指令；

步骤606，将生成的运动目标跟踪指令传输至对应的分镜摄像系统；其中，图像采集区域内的指定位置分别设置有多个分镜摄像系统；

步骤608，分镜摄像系统根据运动目标跟踪指令对来自待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪待跟踪运动目标。

本发明实施例中，分镜摄像系统对来自待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪待跟踪运动目标。由于捕捉及跟踪待跟踪运动目标时镜头指向不需要改变，因此本实施例中的运动目标捕捉与跟踪方法能够提高运动目标的捕捉跟踪速度，避免现有技术中机械调节镜头方向调节速度慢的问题。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种运动目标捕捉与跟踪设备，其特征在于，包括：

全景图像采集器，与所述全景图像采集器电连接的控制器，与所述控制器分别电连接的多个分镜摄像系统；多个所述分镜摄像系统分别设置于所述全景图像采集器的采集区域内的指定位置；

所述全景图像采集器用于采集全景环境图像，将所述全景环境图像传输至所述控制器；

所述控制器用于接收所述全景环境图像，根据所述全景环境图像确定待跟踪运动目标，生成所述待跟踪运动目标对应的运动目标跟踪指令；将生成的所述运动目标跟踪指令传输至对应的所述分镜摄像系统；

所述分镜摄像系统用于接收所述运动目标跟踪指令，根据所述运动目标跟踪指令对来自所述待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪所述待跟踪运动目标；

其中，所述运动目标跟踪指令携带有光线偏转参数和拍摄参数；所述分镜摄像系统包括声光调制器和高清摄像头；

所述声光调制器与所述控制器电连接，接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数对来自所述待跟踪运动目标的光线进行反射，将所述光线反射至所述高清摄像头内；

所述高清摄像头与所述控制器电连接，接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的拍摄参数在镜头指向不变时对所述待跟踪运动目标进行拍摄。

2.根据权利要求1所述的设备，其特征在于，所述控制器包括相互电连接的GPU和CPU；

所述CPU与所述全景图像采集器电连接，用于接收所述全景环境图像的当前帧图像，将所述当前帧图像传输给所述GPU；

所述GPU用于对所述当前帧图像进行运动目标检测，得到所述当前帧图像中各个运动目标的图像特征并发送至所述CPU；其中，所述运动目标的图像特征包括所述运动目标的图像坐标、颜色特征和纹理特征；

所述CPU分别与多个所述分镜摄像系统电连接，用于接收所述各个运动目标的图像特征，将所述各个运动目标的图像特征分别融合，并与预先存储的图像特征进行匹配，根据所述特征匹配结果确定待跟踪运动目标和所述待跟踪运动目标的位置；根据所述待跟踪运动目标的位置生成运动目标跟踪指令；确定与所述待跟踪运动目标的位置对应的分镜摄像系统；将生成的所述运动目标跟踪指令传输至确定的所述分镜摄像系统。

3.根据权利要求2所述的设备，其特征在于，所述GPU用于对所述当前帧图像进行预处理，所述预处理包括解码和/或去噪；采用混合高斯进行背景建模，生成预设数量的背景模型；根据所述预设数量的背景模型对所述预处理后的当前帧图像进行运动目标检测，得到所述当前帧图像中各个运动目标的图像特征并发送至所述CPU。

4.根据权利要求2所述的设备，其特征在于，所述CPU用于根据所述待跟踪运动目标的位置进行分析，生成所述待跟踪运动目标对应的光线偏转参数、焦距调节参数以及拍摄参数，根据所述光线偏转参数、焦距调节参数以及拍摄参数生成运动目标跟踪指令；根据预先设定的位置对应关系确定与所述待跟踪运动目标对应的分镜摄像系统；将生成的所述运动目标跟踪指令传输至确定的所述分镜摄像系统。

5.根据权利要求1所述的设备，其特征在于，所述声光调制器包括纵向声光调制器和横向声光调制器，所述纵向声光调制器、所述横向声光调制器和所述高清摄像头依次排列，所述纵向声光调制器和所述横向声光调制器分别与所述控制器电连接；

所述纵向声光调制器接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数将来自所述待跟踪运动目标的光线纵向反射至所述横向声光调制器；

所述横向声光调制器接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数将所述纵向反射后的光线横向反射至所述高清摄像头内。

6.根据权利要求5所述的设备，其特征在于，所述分镜摄像系统还包括液晶透镜，所述纵向声光调制器、所述横向声光调制器、所述液晶透镜和所述高清摄像头依次排列；所述液晶透镜与所述控制器电连接；所述运动目标跟踪指令携带有焦距调节参数；

所述液晶透镜接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的焦距调节参数进行焦距调节；所述横向反射后的光线穿过所述液晶透镜进入所述高清摄像头。

7.根据权利要求1所述的设备，其特征在于，所述声光调制器包括横向声光调制器和纵向声光调制器，所述分镜摄像系统还包括液晶透镜，所述横向声光调制器、所述纵向声光调制器、所述液晶透镜和所述高清摄像头依次排列；所述横向声光调制器、所述纵向声光调制器和所述液晶透镜分别与所述控制器电连接。

8.根据权利要求6所述的设备，其特征在于，所述分镜摄像系统还包括液晶透镜安装架、高清摄像头安装架、横向声光调制器安装架和纵向声光调制器安装架；

所述液晶透镜安装架、所述高清摄像头安装架、所述横向声光调制器安装架和所述纵向声光调制器安装架上分别设置有调节元件；

通过所述调节元件分别调节所述液晶透镜、所述高清摄像头、所述横向声光调制器和所述纵向声光调制器的安装位置。

9.一种运动目标捕捉与跟踪方法，其特征在于，所述方法包括：

采集全景环境图像，根据所述全景环境图像确定待跟踪运动目标；

生成所述待跟踪运动目标对应的运动目标跟踪指令；

将生成的所述运动目标跟踪指令传输至对应的分镜摄像系统；其中，图像采集区域内的指定位置分别设置有多个所述分镜摄像系统；

所述分镜摄像系统根据所述运动目标跟踪指令对来自所述待跟踪运动目标的光线进行反射，利用光线反射原理在镜头指向不变时捕捉并跟踪所述待跟踪运动目标；

所述运动目标跟踪指令携带有光线偏转参数和拍摄参数；所述分镜摄像系统包括声光调制器和高清摄像头；

所述声光调制器与所述控制器电连接，接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的光线偏转参数对来自所述待跟踪运动目标的光线进行反射，将所述光线反射至所述高清摄像头内；

所述高清摄像头与所述控制器电连接，接收所述运动目标跟踪指令，根据所述运动目标跟踪指令携带的拍摄参数在镜头指向不变时对所述待跟踪运动目标进行拍摄。