CN114827478A

CN114827478A - 一种自动跟踪拍摄体育比赛的智能系统及其控制方法

Info

Publication number: CN114827478A
Application number: CN202210701936.1A
Authority: CN
Inventors: 谈科峰; 严新宇
Original assignee: Shenmou Yuanzhi Suzhou Information Technology Co ltd; Deep Eye Technology Beijing Co ltd
Current assignee: Shenmou Yuanzhi Suzhou Information Technology Co ltd; Deep Eye Technology Beijing Co ltd
Priority date: 2022-01-05
Filing date: 2022-06-21
Publication date: 2022-07-29
Anticipated expiration: 2042-06-21
Also published as: WO2023130696A1; CN114827478B

Abstract

本发明提出了一种自动跟踪拍摄体育比赛的智能系统及其控制方法，所述智能系统包括云台和智能手机，智能手机包括第一通信模块，云台包括第二通信模块。智能手机通过第一通信模块和云台的第二通信模块进行通信连接。本发明还提出了一种控制方法，对每个球员的人体标记出多个关节节点并进行动作识别，判断出每个球员的动作类型并进行分类，过滤掉不需要的动作类型而保留需要的动作类型的球员作为候选关键球员。在单位时间内计算出候选关键球员的位移。对候选关键球员在单位时间内的位移大小进行排序。选择一名或多名单位时间内位移大小排序靠前的候选关键球员标记为关键球员并锁定。最后自动跟踪被锁定的关键球员。

Description

一种自动跟踪拍摄体育比赛的智能系统及其控制方法

技术领域

本发明涉及智能拍摄技术领域，具体涉及一种自动跟踪拍摄体育比赛的智能系统及其控制方法。

背景技术

团队体育赛事跟踪拍摄

在团队体育赛事的跟踪拍摄上，目前市场上典型的自动化解决方案是利用一个或多个广角镜头架在高处，对整个体育场进行全景拍摄。对拍摄的全景视频进行基于深度学习的分析和处理之后，将相关的场景裁切出来，如球员对球争抢的画面等。这种系统设计通常需要专用的摄像头，并将其架设在高处，安装在场边。这一系统的缺点为：1.整个系统价格通常比较昂贵，仅使用于专业俱乐部、体育场馆等；2.设备需要提前在固定位置安装，或者比较笨重不便于携带。

现有技术提供了一种足球检测跟踪的摄像技术，例如中国专利文献1：CN106488127B，其公开了一种基于足球检测跟踪的摄像机切换控制方法及装置。该中国专利是基于足球检测跟踪的摄像机切换控制方法及装置。利用全景摄像机在足球被运动员遮挡时能够继续拍摄；还能够基于当前视频内容里处于运动状态的目标数量，从全景摄像机中截取镜头，并将镜头缩放到输出的标准画面进行拍摄；并且能够在触发位置预先设置摄像机，当足球位置与触发位置重合时，切换与该触发位置相应的摄像机进行拍摄。该专利可以根据足球的位置切换不同的摄像机镜头，完成无人值守情况下足球场上的比赛视频拍摄，能够更好的满足球迷们在观看比赛时的需要。但该现有技术首先需要全景摄像机进行拍摄，获得运动员和球员在球场上的视频信息并经过多个控制模块的检测处理后，由切换模块切换到相应的摄像机进行拍摄。因此该现有技术仍然需要专用的摄像设备，且设备的系统构成复杂，系统成本依然较高。

中国专利文献2：CN105245845A和中国专利文献3：CN105208349A；均公开了一种比赛现场根据场上人数控制摄像头自动跟拍的方法；上述两件专利公开文献记载的摄像头自动跟拍方法能够根据场上人数控制摄像头自动跟拍，对场上人数进行识别并对摄像头进行自动控制。但上述专利需要设置远红外微光高速高清照相机、中心管理机房的主服务器、跟踪单元和高清可变焦360度转动摄像机的共同协作才能完成。该技术依然无法拜托系统架构的简化，系统布置成本依然无法降低。

基于手机平台智能跟踪拍摄

现存基于手机平台的智能跟踪拍摄应用还比较简单，目前尚未发现其他专利文献记载过利用手机平台对团队体育赛事跟踪拍摄的应用。针对体育赛事场景具体说来，现有手机平台的智能跟踪技术还存在如下不足：

（1）只能针对简单场景中的单一目标进行跟踪，画面背景不可太复杂，比如一张人脸，一个在移动中的物体等。在参与人数众多的大球类团队体育赛事中，这一假设显然是不成立的。

（2）在跟踪主体的选择上要么需要预先定义好某种固定特征，如跟踪画面中出现的人脸；要么需要用户人工干预，如用户用手指在屏幕上框选出待跟踪目标等，而这也是在动态的体育赛事中无法实现的。比如有多个人脸出现在画面里，该跟踪谁的脸，如果预先框选出的目标丢失了，该如何去更新跟踪目标。经过实测，目前具备手机智能跟踪功能的技术在实际多人团体赛事场景中，仅能保持对目标跟踪几秒钟。

（3）在传统跟踪算法设计当中，针对人的跟踪主要考虑静态特征，比如人脸特征，体态特征、衣服颜色特征等，作为主要的特征来区分画面中的不同目标。在体育比赛中，由于球员相距镜头较远，难以利用脸部和身体体态特征加以识别，而球员球衣颜色统一，也难于对个别球员进行区分。

发明内容

针对现有技术存在的问题，本发明提出了一种自动跟踪拍摄体育比赛的智能系统及其控制方法。本发明提出的智能系统仅利用一个云台和智能用户终端即可实现，无需如专利文献1那样部署全景摄像机，也无需切换到具体的拍摄摄像机。同时也无需如专利文献2和3那样需要远红外微光高速高清照相机和高清可变焦360度转动摄像机。

本发明仅需要专门设计的云台配合用户的智能手持终端即可实现自动跟踪拍摄体育比赛。

同时，在拍摄识别算法上，在大球类体育赛事的视频跟踪拍摄存在很多的挑战，比如需要跟踪的对象要从“人”转变为“球“。从计算机视觉的角度来说，实时跟踪运动中的“球”这类快速移动的小目标，基于智能终端的摄像头现有的分辨率和AI芯片处理的速度都是非常困难的。这就需要我们根据实际场景设计出符合要求的跟踪算法来解决这些问题。而本发明的算法是基于对捕捉视频的理解，特别是根据对视频中人的移动和动作的分析理解来做出跟踪判断的。

首先，本发明的云台为一个在水平方向和垂直方向上均可转台的设备。所述云台内设置有蓝牙模块、WIFI或其他可连接智能终端的通信模块，用户可根据具体的需要自行选择手持智能终端与云台的连接方式。例如云台通过蓝牙模块与智能终端的蓝牙进行匹配连接。或者由云台的WIFI模块与智能终端的WIFI模块组网进行连接。此外智能终端的WIFI模块还能与其他设备的WIFI模块连接，或者通过蜂窝网络（3G/4G/5G等）将自动跟踪拍摄体育比赛的画面实时传输到该其他设备进行直播或存储。云台和智能终端成功建立连接后，云台由智能终端上运行的应用程序APP进行自动控制。

本系统的核心除了可水平和垂直转动的云台外，还包括智能终端上为了实现智能终端实时控制云台而研发的应用程序APP。智能终端的应用程序APP把跟踪决策通过蓝牙或WiFi等通讯链路传给云台，云台在受控状态下带动智能终端跟随目标在水平及垂直方向转动，从而实现对体育比赛的智能跟踪拍摄。智能终端的定义一般应包含高清广角镜头、AI处理模块、CPU/GPU处理器、通讯模块及其他相关的模块。由于普通智能终端上不论超广角镜头（一般视角为120度左右）或普通广角（一般视角为60度左右）均视角有限，难于实现对体育比赛的全场跟踪。所以如采用智能终端或类似独立摄像头对体育比赛进行跟踪，需要对镜头拍摄方向进行控制，从而实现对体育活动的自动跟踪拍摄。体育活动影像通过高清广角镜头被捕捉，传送到AI处理模块分析处理，得出镜头跟踪的方向及转速等关键决策。

具体而言，本发明提出的跟踪决策策略是基于一个非常简单的对球类比赛的观察。即，团队球类运动中，多数球员的运动方向是以球所在位置为中心移动的。特别是离球越近的球员奔跑、拼抢越积极。所以本发明的跟踪决策策略首先通过分析整体球员的移动方向和移动轨迹来对球场上的移动趋势做出判断。之后，再分析个别球员的速度和动作，根据该分析来找到一名或几名关键球员，并对他们进行锁定跟踪。本发明的目标是使智能终端镜头拍摄的中心对准关键球员，所以本发明依据关键球员在智能终端屏幕上的坐标来确定他们的中心点坐标，通过控制云台不断逼近这个中心点从而实现对关键球员的跟踪。此外，上述跟踪过程需要周期性不断重复，比如每2-3秒重复一次判断和寻找关键球员，并在接下来的周期里，对其进行锁定跟踪。

从目标搜寻和锁定的过程来说，比如，在球类项目当中，相对于慢速移动的球员，我们对处于高速奔跑状态中的球员更感兴趣。再进一步，在多位处于奔跑当中的球员里，我们又对当前控球的球员更感兴趣。而这些针对球员动作的识别与区分涉及到对球员动作和姿态的理解与识别。

从针对云台的控制具体来说，我们主要考虑两个因素。第一，运动员整体移动速度较慢的时候，云台也不需要转动太快。这主要是从人的视觉舒适度上来考虑的。第二，球员在通过场地中线的时候通常通过速度较快，但在场地的两个端线的时候人员比较集中，相对在屏幕上的位移速度也会慢下来。云台的转动速度也可以慢下来。为了实现这一控制目标，我们对两个参数控制来实现目标。首先，我们控制待跟踪关键球员的数量，比如只跟踪一名球员的时候，云台肯定最灵敏，但也是画面最容易不稳定，最容易产生微抖动的时候。其次，我们可以控制云台的转速，在通过中场的时候云台转速快，在球场两侧的时候云台转速慢。

具体来说，本发明提出的一种自动跟踪拍摄体育比赛的智能系统包括云台和智能手机。智能手机包括第一通信模块，云台包括第二通信模块。智能手机的第一通信模块和云台的第二通信模块为蓝牙模块、WIFI模块或其他科连接智能手机的通信模块。

云台与智能手机的通信连接方式采用蓝牙模块、WIFI或其他能够实现通信连接的方式进行。用户可根据具体的需要自行选择智能手机与云台的连接方式。云台和智能手机成功建立连接后，云台由智能手机上运行的应用程序APP进行自动控制。

在本发明中，智能手机与云台的通信是双向的，而智能手机对云台的控制是单向的，即只能由智能手机向云台单向发出控制命令来控制云台的动作。

本发明自动跟踪拍摄的云台包括手机夹，其用于与智能手机本体物理连接。云台还包括能够在垂直方向上转动的垂直转动电机、能够在水平方向上转动的水平转动电机；垂直转动电机和水平转动电机的相互配合能够实现智能手机本体进行全方位全角度进行转动。云台还包括云台手柄及底座，在云台手柄及底座上方还设置云台的按键控制区。

本发明还提出了一种自动跟踪拍摄体育比赛的智能系统的控制方法，包括如下步骤：

S101，对每个球员的人体标记出多个关节节点；所标记的关节节点的数量可以根据具体所要自动跟踪拍摄的比赛项目来设置。

S102，智能手机拍摄镜头内的球员，识别出镜头内球员的人数后，对每个球员的关节节点进行动作识别。

S103，对每个球员的动作识别后进行判断，判断出每个球员的动作类型。进一步地，首先进行静态判断以判断出简单的动作；然后进行复杂动作判断，把关节节点的时间序列作为输入：{关节节点@t1，关节节点@t2, 关节节点@t3……关节节点N@t_N}（其中，N为自然数，t_N为单位时间），把预先定制化训练好的神经网络作为模型，由定制化神经网络对输入的关节节点序列进行判断。

S104，系统根据S103所判断出的动作类型进行分类，并对需要的动作类型进行保留，而不需要的动作类型进行过滤，动作类型被保留的球员作为候选关键球员。

S105，在单位时间内计算出所保留动作类型的候选关键球员的位移。

S106，根据计算结果对候选关键球员在单位时间内的位移大小进行排序。

S107，选择一名或多名单位时间内位移大小排序靠前的候选关键球员标记为关键球员并锁定。

S108，智能手机发出控制命令，通过蓝牙或WIFI控制云台自动跟踪被锁定的关键球员。

进一步地，对于被锁定的关键球员，不断的计算目标中心点和智能手机镜头或屏幕中心点的误差，得到error_value值；所述error_value值预设一个区间，只要计算得出的error_value值位于该区间内，镜头就不转动；一旦error_value值偏离预设区间，智能手机发出命令控制云台转动，使得error_value重新落入预设区间内。

本发明通过不断选择和锁定赛场上的关键球员，来实现对比赛热点场景的跟踪、拍摄和直播。

附图说明

图1为本发明所述的一种自动跟踪拍摄体育比赛的智能系统及其控制方法的控制流程图。

图2为本发明自动跟踪拍摄的智能系统结构中智能手机与云台连接结构正面示意图。

图3为本发明自动跟踪拍摄的智能系统结构中智能手机与云台连接结构背面示意图。

图4和图5为关节节点序列示意图。

图6为足球运动中一个动作的关节节点随时间变化的示意图。

图7为本发明提出的自动跟踪拍摄体育比赛的智能系统的框图。

具体实施方式

本发明提出的一种自动跟踪拍摄体育比赛的智能系统，包括云台和智能终端。其中智能终端例如是具有摄像头的智能手机、智能平板电脑或智能相机。

基于通用性考虑，本发明优选的智能终端为具有摄像头的智能手机。

下面以智能手机为例来进一步对本发明进行说明。

一种自动跟踪拍摄体育比赛的智能系统的结构框图如图7所示，包括云台12和智能手机11。智能手机11包括第一通信模块111，云台12包括第二通信模块121。智能手机11的第一通信模块111和云台12的第二通信模块121为蓝牙模块、WIFI模块或其他科连接智能手机11的通信模块。

云台12与智能手机11的通信连接方式采用蓝牙模块、WIFI或其他能够实现通信连接的方式进行。用户可根据具体的需要自行选择智能手机11与云台12的连接方式。例如云台12通过蓝牙模块与智能手机11的蓝牙进行匹配连接。或者由云台12的WIFI模块与智能手机11的WIFI模块组建成小局域网进行连接，此外WIFI模块还能与其他设备的WIFI模块连接，从而将自动跟踪拍摄体育比赛的画面实时传输到该其他设备进行直播或存储。云台12和智能手机11成功建立连接后，云台12由智能手机11上运行的应用程序APP进行自动控制。

在本发明中，智能手机11与云台12的通信是双向的，而智能手机11对云台12的控制是单向的，即只能由智能手机11向云台12单向发出控制命令来控制云台12的动作。

云台与智能终端的物理连接方式在本专利中不做特别限定，只要能够实现将智能终端牢固安装在云台上的所有固定方式均可应用。例如通过云台上的夹持装置夹住智能终端。

图2和图3示出了本发明自动跟踪拍摄的智能系统结构中智能手机与云台的连接结构，包括：云台和智能手机。其中云台包括手机夹1，其用于与智能手机本体6物理连接，即将智能手机本体6固定在云台上。云台还包括能够在垂直方向上转动的垂直转动电机2、能够在水平方向上转动的水平转动电机3；垂直转动电机2和水平转动电机3的相互配合能够实现智能手机本体6进行全方位全角度进行转动。云台还包括云台手柄及底座4，在云台手柄及底座4上方还设置云台的按键控制区5，在自动跟踪拍摄体育比赛时，用户手拿着云台手柄及底座4，并通过按键控制区5对云台进行控制操作。

图1为本发明提出的一种自动跟踪拍摄体育比赛的智能系统的具体控制流程。

对于团体性的球类运动而言，多数球员的运动方向是以随球所在位置为中心移动的。特别是离球越近的球员奔跑、拼抢越积极。所以本发明的跟踪决策策略首先通过分析整体球员的移动方向和移动轨迹来对球场上的移动趋势做出判断。之后，再分析个别球员的速度和动作，根据该分析来找到一名或几名关键球员，并对他们进行锁定。因此本发明的跟踪决策策略首先识别出球员的动作类型，该动作类型包括：奔跑、跳跃、站立等。

如图1所示：

S101，为了识别球员的动作类型，需要对每个球员的人体标记出多个关节节点；所标记的关节节点的数量可以根据具体所要自动跟踪拍摄的比赛项目来设置。例如采用14个、17个或者19个关节节点。关节节点数量设置得越多，对球员的肢体和肌肉的追踪就越细腻，因而对球员动作的判断和跟踪就越精确。然而关节节点的标记也并不是越多越好，因为对关节节点的标记越多，系统对关节节点变化的分析运算量就越大，这对系统的数据处理能力将提出更高的要求。在本发明中，充当系统数据计算的设备是智能手机本体6，对于具体需要标记多少数量关节节点才能合理匹配用户使用本系统时的智能手机本体6，这对于大多数用户来说过于专业，因而本发明提出的自动跟踪拍摄系统可由用户在其智能手机本体6上安装的APP中选择相应的智能手机本体6的品牌和型号，从而在具体应用时能够由系统自动匹配合理的关节节点数量。

S103，对每个球员的动作识别后进行判断，判断出每个球员的动作类型。对于动作类型的判断，取决于需要判断的动作类型的动作复杂程度，比如区分一些简单的动作，如站立静止或奔跑，这采用静止的关节节点图就可以做出判断。图4和图5示意性地给出了静态关节节点的标记示例。图4和图5均采用14个关节节点进行标记，包括球员的头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝。而对于一些更复杂的动作，比如足球中的射门或者篮球中的投篮，就需要根据关节节点序列随时间的变化才可以做出判断。比如把关节节点时间序列作为输入，{关节节点@t1，关节节点@t2, 关节节点@t3……关节节点N@t_N}（其中，N为自然数，t_N为单位时间），把预先定制化训练好的神经网络作为模型，由定制化神经网络对输入的关节节点序列进行判断，从而决定哪个动作是奔跑，哪个动作是射门等。图6为球员在足球射门时的关节节点随时间变化的序列示意图。图6中由左至右分别为时刻t1-t5时刻关节节点的序列图，根据预先定制好的模型，系统即可判断出该动作为足球射门动作。其他动作的判断也与此类似。

S104，系统根据S103所判断出的动作类型进行分类，并对需要的动作类型进行保留，而不需要的动作类型进行过滤，动作类型被保留的球员作为候选关键球员。例如，在体育比赛中，更关注的是处于奔跑状态的球员，因此，对于动作类型被识别为站立状态的球员，系统将对其进行过滤，而保留奔跑状态的球员作为候选关键球员。

S105，在单位时间内计算出所保留动作类型的候选关键球员的位移。在单位时间内，计算候选关键球员的位移，该单位时间例如0.5秒、1秒、1.5秒，2秒。在实际处理当中，由于云台在不停的转动，这会让我们比较难于对球员的位移做出判断。比如云台往右转动时，有球员做出了轻微的往左的运动，这时我们将无法判断他的准确位移。为了解决这个问题，我们人为的把云台分成静止周期和运动周期。即云台在静止周期的时候系统对球员的运动和位移做出判断，锁定关键球员；之后在运动周期的时候，云台接受控制命令，实现转动和追踪。如此往复，实现连续追踪。

进一步的，对于被锁定的关键球员，采用PID算法（proportion integrationdifferentiation）使镜头的中心点对准下一刻需要瞄准的目标。具体做法就是不断的计算目标中心点（即锁定球员）和镜头（屏幕）中心点的误差，即error_value值。对error_value值进行调整优化使其达到最佳的效果，也就是error_value值预设一个区间，只要计算得出的error_value值位于该区间内，镜头就不转动；一旦error_value值偏离预设区间，智能手机的控制程序APP立刻发出命令控制云台转动，使得error_value重新落入预设区间内。如此不断的反复，就可以自动追踪控制智能手机拍摄比赛的画面。

此外，本发明还需要进一步控制拍摄时的微抖动问题。具体来说，第一，运动员整体移动速度较慢的时候，云台也不需要转动太快，即云台会自动跟随球员的运动速度来调整转动速度。第二，球员在通过场地中线的时候通常通过速度较快，但在场地的两个端线的时候人员比较集中，相对在屏幕上的位移速度也会慢下来。云台的转动速度也可以慢下来。为了实现这一控制目标，我们对两个参数控制来实现目标。首先，我们控制待跟踪关键球员的数量，比如只跟踪一名球员的时候，云台肯定最灵敏，但是画面也最容易不稳定，产生微抖动。其次，我们可以控制云台的转速，在通过中场的时候云台转速快，在球场两侧的时候云台转速慢。

以上阐述了本发明的技术方案, 一切不脱离本发明的技术方案之实质的替代，都应在本发明的权利要求的范围内。

Claims

1.一种自动跟踪拍摄体育比赛的智能系统，包括：云台和智能终端；智能终端包括第一通信模块，云台包括第二通信模块；智能终端和云台通过第一通信模块和第二通信模块进行通信连接；云台由智能手机上运行的应用程序APP进行自动控制。

2.如权利要求1所述的一种自动跟踪拍摄体育比赛的智能系统，其特征在于：智能终端的第一通信模块和云台的第二通信模块为蓝牙模块、WIFI模块；所述云台包括能够在垂直方向上转动的垂直转动电机、能够在水平方向上转动的水平转动电机；垂直转动电机和水平转动电机的相互配合能够实现智能手机本体进行全方位全角度进行转动；云台还包括云台手柄及底座，在云台手柄及底座上方还设置云台的按键控制区，在自动跟踪拍摄体育比赛时，用户手拿着云台手柄及底座，并通过按键控制区对云台进行控制操作。

3.如权利要求1所述的一种自动跟踪拍摄体育比赛的智能系统，其特征在于：智能终端与云台的通信是双向的，智能终端仅单向控制云台。

4.一种如权利要求1所述的自动跟踪拍摄体育比赛的智能系统的控制方法，包括以下步骤：

智能手机拍摄对进行的体育比赛进行拍摄，然后：

S101，对每个球员的人体标记出多个关节节点；所标记的关节节点的数量根据具体所要自动跟踪拍摄的比赛项目来设置；

S102，智能手机拍摄镜头内的球员，识别出镜头内球员的人数后，对每个球员的关节节点进行动作识别；

S103，对每个球员的动作识别后进行判断，判断出每个球员的动作类型；

S104，根据S103所判断出的动作类型进行分类，并对需要的动作类型进行保留，而不需要的动作类型进行过滤，动作类型被保留的球员作为候选关键球员；

S105，在单位时间内计算出所保留动作类型的候选关键球员的位移；

S106，根据计算结果对候选关键球员在单位时间内的位移大小进行排序；

S107，选择一名或多名单位时间内位移大小排序靠前的候选关键球员标记为关键球员并锁定；

5.一种如权利要求4所述的控制方法，其中，所述步骤S103还进一步包括：

首先根据静态关节节点判断简单的动作进行；然后进行复杂动作判断，把关节节点按照时间顺序的序列作为输入：{关节节点@t1，关节节点@t2, 关节节点@t3……关节节点N@t_N}，其中，N为自然数，t_N为单位时间；把预先定制化训练好的神经网络作为模型，由定制化神经网络对输入的关节节点时间序列进行判断。

6.一种如权利要求4所述的控制方法，其中，所述步骤S108后，还进一步包括：对于被锁定的关键球员，不断的计算被锁定的关键球员和智能手机镜头或屏幕中心点的误差，得到error_value值；所述error_value值预设一个区间，只要计算得出的error_value值位于该区间内，镜头就不转动；一旦error_value值偏离预设区间，智能手机发出命令控制云台转动，使得error_value重新落入预设区间内。

7.一种如权利要求4所述的控制方法，进一步地，将云台分成静止周期和运动周期，即云台在静止周期的时候系统对球员的运动和位移做出判断，锁定关键球员；之后在运动周期的时候，云台接受控制命令，实现转动和追踪；由于球员通常移动速度很快，这两个周期都很短，在1/10秒的数量级上。

8.一种如权利要求4所述的控制方法，进一步地，当球员整体移动速度较慢的时，云台会自动跟随球员的运动速度来调整转动速度。

9.一种如权利要求4所述的控制方法，进一步地，球员在通过场地中线的时云台转速比在球场两侧的时云台转速快。

10.一种如权利要求7所述的控制方法，进一步地，所述静止周期小于0.5秒和运动周期均小于3秒。