CN111970434A - 多摄像机多目标的运动员跟踪拍摄视频生成系统及方法 - Google Patents

Abstract

多摄像机多目标的运动员跟踪拍摄视频生成系统及方法属于追踪拍摄技术领域。本发明是一种借助于人工智能行人检测的识别系统，该系统能够通过多摄像头获取的视频数据，实现对一定运动场馆区域内运动员的多摄像头一致跟踪拍摄，降低摄影师的工作量及工作难度，为针对运动赛事的拍摄提供便利。本系统结构简单，仅有摄像设备、主机服务器、中心服务器和客户端，部署容易，成本低，客户端可以用现有PC，易于升级维护，一般情况下只要升级中心服务器和主机服务器的软件即可，升级维护成本低，智能化程度高，无需大量人工干预，拍摄效果稳定，准确度高。本发明能够极大地改善现有的针对运动员的跟踪拍摄情景，有较强的使用价值和理想的应用前景。

Description

多摄像机多目标的运动员跟踪拍摄视频生成系统及方法

技术领域

本发明属于追踪拍摄技术领域，特别是涉及到一种多摄像机多目标的运动员跟踪拍摄视频生成系统及方法。

背景技术

现在常见摄像机追踪系统大概可以分为以下两种：

一种是将摄影机架设在控制云台上，对于所拍摄到的画面进行特征要素提取进行分析，从而向云台和摄影机发送控制指令，使云台运动至指定方向，以及使摄影机自动变焦，使得目标对象始终位于拍摄画面中的合适位置。参考如下专利：CN107749952A。

另一种是利用人体运动状态检测方法，对检测结果进行面部信息等特征提取，在指定小区域内进行跟踪拍摄。这种方法仅使用单一摄像头，通常用来跟踪拍摄教师、主讲人等进行小范围简单缓慢运动的目标。参考如下专利：CN106941580B。

当前的追踪拍摄类产品大多是根据拍摄到的画面进行特征提取，进而控制各种形制的摄像头发生位移来进行跟踪拍摄。这种方法在针对运动员进行拍摄时，由于运动员具有动向随机性极强、运动范围普遍十分宽广、运动速度普遍高于普通人的移动等特征，将摄像头进行物理移动的方法在跟踪拍摄运动员时，存在反应速度不够敏捷的问题。而且物理移动的摄像机存在机械磨损及故障、维护成本高、安装及维修难度大等各种不可避免的缺陷。

此外，现有的使用定机位拍摄图像进行分析追踪的技术普遍是针对于小范围简单缓慢运动的目标进行设计，无法应用于广视角复杂运动的运动员场合，其中大部分使用的是单一摄像头，识别人物时反应速度慢，而且即使采用非常昂贵的超高精度摄像头，这在运动赛事这样的大型场地中是无法满足跟踪拍摄所需要的清晰度的。而其他少部分的使用多摄像头拍摄的跟踪识别技术在运动场景中也存在着识别精确度不够、遮挡后难以分辨追踪目标、运行速度难以满足对赛事的跟踪拍摄等问题。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种多摄像机多目标的运动员跟踪拍摄视频生成系统及方法用于解决现有的多摄像头拍摄的跟踪识别技术在运动场景中存在着识别精确度不够、遮挡后难以分辨追踪目标、运行速度难以满足对赛事的跟踪拍摄等技术问题。

多摄像机多目标的运动员跟踪拍摄视频生成系统，包括摄像机、主机服务器、中心服务器和客户端，所述摄像机的数量为多个，摄像机沿运动场馆四周均匀布置，相邻摄像机的可视区域有50％以上的重叠，摄像机通过网络连接设备与主机服务器连接；所述主机服务器安装在运动场馆区域内，主机服务器的数量为一个以上，一个主机服务器连接一个以上摄像机，主机服务器通过网络连接设备与中心服务器连接；所述中心服务器安装在中心机房，中心服务器通过网络连接设备以及互联网与客户端连接。

所述摄像机的安装角度以及摄像机的摄像头朝向角度固定，摄像机的覆盖范围不超过10平米，摄像机的架设高度为2m～5m，摄像机的摄像头垂直角为10°～15°。

所述中心服务器为云服务器。

多摄像机多目标的运动员跟踪拍摄视频生成方法，利用所述的多摄像机多目标的跟踪拍摄视频生成系统，包括以下步骤，并且以下步骤顺次进行，

步骤一、摄像机录制运动场馆中的视频，并将各摄像机获取的视频分别依次发送给主机服务器、中心服务器和客户端；

步骤二、在客户端上各摄像机的视频中选择带有目标人物的一帧作为初始选取帧，手动在初始选取帧中选择一个或多个运动员作为跟踪目标，并用行人标定边框框住跟踪目标的全身，并将标定后的图像依次发送给中心服务器和主机服务器；

步骤三、主机服务器中的外观特征神经网络模块将出行人标定边框中图像分离为动态的运动员图像和静态的背景图像，

外观特征提取模块根据运动员的外观特征提取动态的运动员图像的图像外观特征信息并相应生成新的ID，将提取的各图像外观特征信息作为输入信号，送入主机服务器中的外观特征神经网络模块；

步骤四、外观特征神经网络模块采用行人重识别算法(Person Re-identification，Re-ID)，从所有摄像机的图像中获取与步骤三中的图像外观特征匹配的跟踪目标，进行对每一帧的重新标定，并将标定信息传递给中心服务器；

步骤五、中心服务器发送跟踪指令给主机服务器，主机服务器使用深度学习跟踪算法GOTURN，对各摄像机中的跟踪目标进行实时跟踪和实时录像，并将实时录制的影像发送给中心服务器；

步骤六、中心服务器根据接收实时录制的影像和步骤二中接收到的行人标定边框框住的跟踪目标的图像，通过卡尔曼滤波方法进行防抖处理训练，获得防抖最佳参数，通过具有防抖最佳参数的卡尔曼滤波获得动作幅度大、频率低的符合现实中人类运动轨迹的影像，设定跟随检测图像的临界值，中心服务器将不小于跟随检测图像的临界值的影像按照按用户要求的大小和用户标定的跟踪目标，生成最终的追踪拍摄影像并相应发送至客户端进行显示，直到客户端发出指令更改追踪目标，或停止本次的追踪任务。

所述行人标定边框为矩形框。

所述行人重识别算法具体为：在每一个摄像机画面所标定的活动目标中逐一进行对照，辨别不同摄像机画面中的跟踪目标是否为同一名运动员，将对应外观特征一致的目标确定为同一跟踪目标，将确定为同一跟踪目标的ID合并为同一个ID。

所述外观特征包括长相、身形和服装。

所述深度学习跟踪算法GOTURN根据相连帧中的位置和特征信息进行学习跟踪，以初始选取帧中提取的外观特征值作为补充。

通过上述设计方案，本发明可以带来如下有益效果：

本发明的多摄像机多目标的运动员跟踪拍摄视频生成系统及方法，是一种借助于人工智能行人检测的识别系统，该系统能够通过多摄像头获取的视频数据，实现对一定运动场馆区域内运动员的多摄像头一致跟踪拍摄，降低摄影师的工作量及工作难度，为针对运动赛事的拍摄提供便利。

同时，本系统结构简单，仅有摄像设备、主机服务器、中心服务器和客户端，部署容易，成本低，客户端可以用现有PC，易于升级维护，一般情况下只要升级中心服务器和主机服务器的软件即可，升级维护成本低，智能化程度高，无需大量人工干预，拍摄效果稳定，准确度高。

因此，本发明能够极大地改善现有的针对运动员的跟踪拍摄情景，有较强的使用价值和理想的应用前景。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明多摄像机多目标的运动员跟踪拍摄视频生成系统及方法中系统的结构框图。

图中1-摄像机、2-主机服务器、3-中心服务器、4-客户端。

具体实施方式

本发明提供一个相对低的、功能完善的、易于升级(或者升级成本低)的、维护难度低的空间一致的多摄像机多目标的运动员跟踪拍摄视频生成系统及方法。这个系统可以从多个定机位摄像头组成的、覆盖整个运动场的拍摄系统所拍摄到的图像中，通过深度学习跟踪算法GOTURN对初始锁定的目标进行追踪，针对追踪的目标从摄像头直接拍摄到的广视角画面中逐帧截取出目标所在的特写镜头，从而构成针对指定运动员的跟踪拍摄视频。本发明在针对运动员的拍摄中精度可达85％以上。

具体方案如下：

多摄像机多目标的运动员跟踪拍摄视频生成系统，包括摄像机1、主机服务器2、中心服务器3和客户端4，所述摄像机1的数量为多个，摄像机1沿运动场馆四周均匀布置，相邻摄像机1的可视区域有50％以上的重叠，摄像机1通过网络连接设备与主机服务器2连接；所述主机服务器2安装在运动场馆区域内，主机服务器2的数量为一个以上，一个主机服务器2连接一个以上摄像机1，主机服务器2通过网络连接设备与中心服务器3连接；所述中心服务器3安装在中心机房，中心服务器3通过网络连接设备以及互联网与客户端4连接。

所述摄像机1的安装角度以及摄像机1的摄像头朝向角度固定，摄像机1的覆盖范围不超过10平米，摄像机1的架设高度为2m～5m，摄像机1的摄像头垂直角为10°～15°。

所述中心服务器3为云服务器。

多摄像机多目标的运动员跟踪拍摄视频生成方法，利用所述的多摄像机多目标的跟踪拍摄视频生成系统，包括以下步骤，并且以下步骤顺次进行，

步骤一、摄像机1录制运动场馆中的视频，并将各摄像机1获取的视频分别依次发送给主机服务器2、中心服务器3和客户端4；

步骤二、在客户端4上各摄像机1的视频中选择带有目标人物的一帧作为初始选取帧，手动在初始选取帧中选择一个或多个运动员作为跟踪目标，并用行人标定边框框住跟踪目标的全身，并将标定后的图像依次发送给中心服务器3和主机服务器2；

步骤三、主机服务器2中的外观特征神经网络模块将出行人标定边框中图像分离为动态的运动员图像和静态的背景图像，

外观特征提取模块根据运动员的外观特征提取动态的运动员图像的图像外观特征信息并相应生成新的ID，将提取的各图像外观特征信息作为输入信号，送入主机服务器2中的外观特征神经网络模块；

步骤四、外观特征神经网络模块采用行人重识别算法(Person Re-identification，Re-ID)，从所有摄像机1的图像中获取与步骤三中的图像外观特征匹配的跟踪目标，进行对每一帧的重新标定，并将标定信息传递给中心服务器3；

步骤五、中心服务器3发送跟踪指令给主机服务器2，主机服务器2使用深度学习跟踪算法GOTURN，对各摄像机1中的跟踪目标进行实时跟踪和实时录像，并将实时录制的影像发送给中心服务器3；

深度学习跟踪算法GOTURN使用同一视频中的前后连续帧作为素材，构成两两一组的图像组进行训练。首先在视频初始的第一幅图像中，目标的位置是确定的，并且图像大小约为目标的二倍，同时目标处于图像的中心位置。在收录第一张图像的位置信息后，卷积神经网络会在与第一张图像中确定的位置寻找目标。

当目标人物短暂地离开摄像头覆盖范围时，行人重识别算法(Person Re-identification，Re-ID)被用于将目标离开镜头范围前的图像与目标返回镜头范围后的图像进行关联，判断出返回镜头范围的是否为之前锁定的目标。在摄像头初始捕捉到目标时，系统记录下目标的表征特点，并将这些特征值暂存于缓存中。在再次追踪到有人物进入摄像区域时时，系统再次提取该人物的特征信息，与目标的特征信息进行对比。如果特征信息相符，系统则会继续使用深度学习跟踪算法GOTURN对目标进行跟踪。

步骤六、中心服务器3根据接收实时录制的影像和步骤二中接收到的行人标定边框框住的跟踪目标的图像，通过卡尔曼滤波方法进行防抖处理训练，获得防抖最佳参数，通过具有防抖最佳参数的卡尔曼滤波获得动作幅度大、频率低的符合现实中人类运动轨迹的影像，设定跟随检测图像的临界值，中心服务器3将不小于跟随检测图像的临界值的影像按照按用户要求的大小和用户标定的跟踪目标，生成最终的追踪拍摄影像并相应发送至客户端4进行显示，直到客户端4发出指令更改追踪目标，或停止本次的追踪任务。

所述行人标定边框为矩形框。

所述行人重识别算法具体为：在每一个摄像机1画面所标定的活动目标中逐一进行对照，辨别不同摄像机1画面中的跟踪目标是否为同一名运动员，将对应外观特征一致的目标确定为同一跟踪目标，将确定为同一跟踪目标的ID合并为同一个ID。

所述外观特征包括长相、身形和服装。

所述深度学习跟踪算法GOTURN根据相连帧中的位置和特征信息进行学习跟踪，以初始选取帧中提取的外观特征值作为补充。

实施例：

多摄像机多目标的运动员跟踪拍摄视频生成系统包括：拍摄系统，主机服务器2、中心服务器3(云服务器)、网络连接设备、客户端4软件(查看各摄像头输出结果)。拍摄系统由多个摄像机1组成，安装在场馆区域内，摄像机1放置在不同位置，摄像机1安装角度以及摄像头的朝向角度固定，可以全面观测运动场馆内所有位置。根据场馆区域大小、运动员数量、区域使用性质决定摄像机1的数量。相邻摄像机1间可视区域有50％及以上重叠，摄像机1的高度在2m～5m之间，与运动员的距离至少为三米，且在拍摄初始帧时可以拍摄到运动员全身，每个摄像头覆盖范围不超过10平米，垂直角度在10°～15°之间，相机清晰度在720p，帧率在30fps以上。保证多个摄像机1可以全面观测场馆区域所有位置。根据区域大小、运动员多少、运动训练项目等因素安装2到N个可变焦摄像机1。所有摄像机1都通过区域内的网络连接设备与主机服务器2相连。同时，场馆本体不会发生视觉上的变化(如广告大屏等)，光线条件不会过亮导致过曝，也不会太暗导致拍摄画面不清晰。运动员之外的人员不会出现在场馆内。

主机服务器2安装在场馆区域内，主机服务器2通过网络连接设备与中心服务器3连接。主机服务器2主要用于分析摄像机1的视频，进行人物识别。需要对视频中人物做的识别包括：是否有被标记的运动员、被标记的运动员是否移出了摄像机视野范围、是否有多个被标记的运动员等。主机服务器2中包括外观特征提取模块和外观特征神经网络模块，外观特征提取模块根据运动员的外观特征提取动态的运动员图像的图像外观特征信息，并相应生成新的ID。外观特征神经网络模块用于将出行人标定边框中图像分离为动态的运动员图像和静态的背景图像，并且进行目标跟踪。主机服务器2会把识别的被标记的运动员特征信息以及视频，传输到中心服务器3上，做进一步的追踪分析和防抖算法输出。

中心服务器3为云服务器，部署在中心机房，中心服务器3通过网络连接设备与部署在场馆区域的主机服务器2相连接。同时接入互联网(或局域网)，客户端4通过互联网(或局域网)与中心服务器3交互。客户端4通过安装的软件查看各摄像机1输出的结果。中心服务器3实现的功能有：接受主机服务器2发送过来的录制的视频，通过自身基于深度学习和人工智能的大数据系统中进行分析，并进行防抖算法和最终输出视频结果生成。而后中心服务器3联通客户端4，在客户端4允许使用者对目标运动员进行标记。响应客户端4的不同请求，提供切换到不同摄像机1的功能；而后通过主机服务器2发送控制信息，间接控制拍摄系统。

网络连接设备用于连接拍摄系统、主机服务器3、中心服务器3和互联网(或局域网)。

客户端4是基于Web界面的B/S风格客户端，主要用于PC端。客户端4可以通过互联网或者局域网与中心服务器3实现交互。客户端4需要实现的功能有：允许使用者标定初始追踪的目标运动员(们)、运动场馆区域的信息(有几个摄像机、区域大小、区域类型等)，获取运动员追踪信息，及其他管理功能。

多摄像机多目标的运动员跟踪拍摄视频生成方法如下：

第一部分：多摄像头的外观特征提取和跟踪

首先，运动场馆内需要按要求布置拍摄系统，通过网络连接设备连接拍摄系统、主机服务器2及中心服务器3。使用者需要在客户端4显示的初始选取帧内标明作为跟踪目标的运动员(们)。

这部分首先从视频或摄像头提供一帧，供使用者手动选择一个或多个运动员作为跟踪目标。在获取行人边框后，主机服务器2的外观特征提取模块首先将给每一个跟踪目标生成一个新的ID，将每个人物矩形框所对应的图像作为输入信号，送入主机服务器2的外观特征神经网络模块。

投入使用后主机服务器2将不断从拍摄系统跟踪各个摄像机1中出现的追踪目标(们)，进行对每一帧的重新标记，并将标记信息传递给中心服务器3，由中心服务器3发送指令进行追踪。

外观特征神经网络模块会在标定框中将动态的运动员图像于静态的背景图像分离开，并根据运动员的长相、身形、服装提取外观特征。然后采用行人重识别算法(PersonRe-identification，Re-ID)，从所有摄像机的图像中寻找到符合对应特征的所有跟踪目标，即在每一个相机画面所标定的活动目标中逐一进行对照，辨别不同相机画面中的跟踪目标是否为同一名运动员，将对应特征一致的目标确定为同一跟踪目标，据此进行ID合并。

在确定了每一个跟踪目标后，系统会使用GOTURN算法，对每个摄像头中每个圈定的目标进行实时跟踪。GOTURN算法不仅会考虑相连帧中的位置和特征信息，还会记录初始选取帧中提取的特征值作为补充。这样的特点使GOTURN算法具有更高的精准性。识别的结果会作为第二部分系统的输入信号，进行下一步的图像生成。

第二部分：输出图像防抖

中心服务器3保存着由主机服务器2初次发送来的标记跟踪目标的信息等数据，这些信息会与之后主机服务器2发送的数据进行匹配，并根据客户端4的要求发送追踪指令，直到客户端4发出指令更改追踪目标，或停止本次的追踪任务。

这部分以第一部分的识别信息和原图像组作为输入信号。第一部分系统的识别结果不可以直接作为输出视频，因为识别算法的直接输出结果在每帧之间会发生小幅度、高频率的大小及位置的变化，导致画面快速抖动。为了消除这种抖动，本发明结合了卡尔曼滤波原理，经过大量测试找出最对抖动加以控制的最佳参数，将检测框左上方和右下方两个点的坐标的位置变化加以限制，即仅保留幅度较大、频率较低的、符合现实中会存在的人类运动轨迹。

而后按用户要求大小，系统将生成最终的追踪拍摄效果。输出框通常显著大于识别对象框，所以在运动员进行小范围移动时，输出图像的坐标不应该移动。使用大量测试数据，本发明采用了一个较为合理的临界值来判定输出图像何时应该跟随检测图像，在确保跟踪目标处在图像的同时减少不必要的移动。

网络连接设备分为两种，一种是放置在监控区域内的小型设备(交换机)，用于连接监控系统和主机服务器2，另一种是放着在机房的大型网络设备(大型交互机)，用于中心服务器3和主机服务器2、互联网或局域网连接。

多摄像机多目标的运动员跟踪拍摄视频生成系统及方法的技术要点主要包括以下几点：

1、自动跟踪拍摄：利用现有的多摄像机监控系统(监控+主机)，对画面中指定的目标进行跟踪拍摄。通过摄像头目标追踪分割出目标任务视频中所在位置。利用这些位置生成目标人物的视频数据集。

2、智能视频分析：利用短期追踪结果估计摄像机参数，实现多摄像头协同矫正，以获取空间一致性。并对各个角度下的人物进行表征特征提取，同时结合空间信息进行多摄像头协同追踪拍摄。

3、对输出画面进行防抖和范围调整等优化处理，提升输出视频的感官体验。

Claims (8)

1.多摄像机多目标的运动员跟踪拍摄视频生成系统，其特征是：包括摄像机(1)、主机服务器(2)、中心服务器(3)和客户端(4)，所述摄像机(1)的数量为多个，摄像机(1)沿运动场馆四周均匀布置，相邻摄像机(1)的可视区域有50％以上的重叠，摄像机(1)通过网络连接设备与主机服务器(2)连接；所述主机服务器(2)安装在运动场馆区域内，主机服务器(2)的数量为一个以上，一个主机服务器(2)连接一个以上摄像机(1)，主机服务器(2)通过网络连接设备与中心服务器(3)连接；所述中心服务器(3)安装在中心机房，中心服务器(3)通过网络连接设备以及互联网与客户端(4)连接。

2.根据权利要求1所述的多摄像机多目标的运动员跟踪拍摄视频生成系统，其特征是：所述摄像机(1)的安装角度以及摄像机(1)的摄像头朝向角度固定，摄像机(1)的覆盖范围不超过10平米，摄像机(1)的架设高度为2m～5m，摄像机(1)的摄像头垂直角为10°～15°。

3.根据权利要求1所述的多摄像机多目标的运动员跟踪拍摄视频生成系统，其特征是：所述中心服务器(3)为云服务器。

4.多摄像机多目标的运动员跟踪拍摄视频生成方法，利用如权利要求1所述的多摄像机多目标的跟踪拍摄视频生成系统，其特征是：包括以下步骤，并且以下步骤顺次进行，

步骤一、摄像机(1)录制运动场馆中的视频，并将各摄像机(1)获取的视频分别依次发送给主机服务器(2)、中心服务器(3)和客户端(4)；

步骤二、在客户端(4)上各摄像机(1)的视频中选择带有目标人物的一帧作为初始选取帧，手动在初始选取帧中选择一个或多个运动员作为跟踪目标，并用行人标定边框框住跟踪目标的全身，并将标定后的图像依次发送给中心服务器(3)和主机服务器(2)；

步骤三、主机服务器(2)中的外观特征神经网络模块将出行人标定边框中图像分离为动态的运动员图像和静态的背景图像，

外观特征提取模块根据运动员的外观特征提取动态的运动员图像的图像外观特征信息并相应生成新的ID，将提取的各图像外观特征信息作为输入信号，送入主机服务器(2)中的外观特征神经网络模块；

步骤四、外观特征神经网络模块采用行人重识别算法(Person Re-identification，Re-ID)，从所有摄像机(1)的图像中获取与步骤三中的图像外观特征匹配的跟踪目标，进行对每一帧的重新标定，并将标定信息传递给中心服务器(3)；

步骤五、中心服务器(3)发送跟踪指令给主机服务器(2)，主机服务器(2)使用深度学习跟踪算法GOTURN，对各摄像机(1)中的跟踪目标进行实时跟踪和实时录像，并将实时录制的影像发送给中心服务器(3)；

步骤六、中心服务器(3)根据接收实时录制的影像和步骤二中接收到的行人标定边框框住的跟踪目标的图像，通过卡尔曼滤波方法进行防抖处理训练，获得防抖最佳参数，通过具有防抖最佳参数的卡尔曼滤波获得动作幅度大、频率低的符合现实中人类运动轨迹的影像，设定跟随检测图像的临界值，中心服务器(3)将不小于跟随检测图像的临界值的影像按照按用户要求的大小和用户标定的跟踪目标，生成最终的追踪拍摄影像并相应发送至客户端(4)进行显示，直到客户端(4)发出指令更改追踪目标，或停止本次的追踪任务。

5.根据权利要求4所述的多摄像机多目标的运动员跟踪拍摄视频生成方法，其特征是：所述行人标定边框为矩形框。

6.根据权利要求4所述的多摄像机多目标的运动员跟踪拍摄视频生成方法，其特征是：所述行人重识别算法具体为：在每一个摄像机(1)画面所标定的活动目标中逐一进行对照，辨别不同摄像机(1)画面中的跟踪目标是否为同一名运动员，将对应外观特征一致的目标确定为同一跟踪目标，将确定为同一跟踪目标的ID合并为同一个ID。

7.根据权利要求4或6所述的多摄像机多目标的运动员跟踪拍摄视频生成方法，其特征是：所述外观特征包括长相、身形和服装。

8.根据权利要求4所述的多摄像机多目标的运动员跟踪拍摄视频生成方法，其特征是：所述深度学习跟踪算法GOTURN根据相连帧中的位置和特征信息进行学习跟踪，以初始选取帧中提取的外观特征值作为补充。

Images