CN107333031A - 一种适用于校园足球比赛的多路视频自动编辑方法 - Google Patents

Abstract

本发明涉及一种适用于校园足球比赛的多路视频自动编辑方法，包括：视频获取：通过多路摄像机拍摄及球场范围标定，获取准确的多路视频图像；视频自动编辑：对所述的多路视频图像依次通过视频背景建模以及球、人运动目标检测，将多路视频自动编辑为一路输出视频。与现有技术相比，本发明具有节约成本，操作简单、便捷等优点。

Description

一种适用于校园足球比赛的多路视频自动编辑方法

技术领域

本发明涉及一种足球比赛视频编辑方法，尤其是涉及一种适用于校园足球比赛的多路视频自动编辑方法。

背景技术

在校园足球活动中，足球比赛的视频编辑是支持校园体育活动和教学的重要技术之一。对于专业类的足球比赛，其视频内容通常依靠多组、成套的专业成像设备进行采集，随后利用大量人工编辑来完成，这种视频采集与编辑方式大多只针对一场重要的比赛。与之相反，校园足球的视频数据量大、大多采集自低成本非专业摄像设备，很难采用大量的人工编辑方式。

随着图像处理技术的发展，视频的自动分析技术越来越多的应用于足球比赛视频的编辑。比如增强现实技术、球员轨迹自动分析技术等。但这些技术对数据采集设备、球场环境等都有较严格的要求，只适用于高规格的专业比赛场馆，对于校园足球的适用性较低。比如很多技术都需要在球场顶部架设高分辨率相机，这对于普通校园场地而言是很难实现的。

如何在低成本的硬件设备，很少的人工干预条件下实现足球视频的编辑对于校园足球活动来讲具有非常重要的意义。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用于校园足球比赛的多路视频自动编辑方法。

本发明的目的可以通过以下技术方案来实现：

一种适用于校园足球比赛的多路视频自动编辑方法，包括：

视频获取：通过多路摄像机拍摄及球场范围标定，获取准确的多路视频图像；

视频自动编辑：对所述的多路视频图像依次通过视频背景建模以及球、人运动目标检测，将多路视频自动编辑为一路输出视频。

所述的视频获取的具体步骤为，

1)调整摄像机帧率，打开摄像机并设置为视频拍摄模式；

2)用四台摄像机拍摄同一个毫秒级的秒表；

3)保持摄像机为摄像状态，将四台摄像机分别架设到在球场的四个角点；

4)保持每台摄像机的摄影角度不变，进行视频拍摄；

5)根据最初拍摄的秒表帧图像将四路摄像机进行时间同步，找出每一时刻对应的四路图像；

6)对四路图像画面中的球场草坪范围进行标记，分出球场草坪区与非草坪区域；

7)对图像中草坪区域进行背景估计后，输出多路视频图像。

所述的视频自动编辑的具体步骤为，

1)对球场草坪区图像进行背景建模和分析，得到四路图像中的运动目标联通体；

2)检测所有运动目标联通体，标定出足球；

3)自动判断捕捉到足球的摄像机，若只有一路图像中含有足球，则将该路图像设为视频剪辑中的当前帧；若多路图像中含有足球，则比较足球在各图像中的面积，将含有足球图像面积最大的图像设为当前帧；若多路图像中含有足球，且图像面积间的差别在10％以内，则根据图像中所有运动目标联通体的总面积进行判断，将运动目标联通体总面积最大的图像设为视频输出的当前帧；

4)输出四路当中的最优图像作为当前视频帧，得到编辑后的视频。

所述的背景建模和分析包括对最初记录的100帧视频图像依次进行背景初始化及背景更新。

所述的背景初始化的具体步骤为，

1)逐帧获取每帧图像，并记录每帧的像素，若当前记录的图像为100帧，进行下一步；若小于100帧，则继续读取直至等于100帧，进行下一步；

2)对最初记录的100帧视频图像的像素按照C均值聚类的方式将其分为三类，每一类视为一类背景，统计每一类别背景的所有像素颜色的均值和标准差作为背景的中心值和变化范围，并记录属于每类背景的像素个数；

3)设置一个类别中心值的差别阈值，若某两类背景中心值的欧式距离小于该阈值，则将两类背景合并。

所述的背景更新具体方式为，

1)根据最新获取的像素及其颜色值，分别计算该颜色值与各类别背景中心点之间的欧氏距离，将最小值所在的背景视为与新像素最接近的背景；

2)若与新像素最接近的背景的当前像素数量小于10，且新像素颜色值与最接近背景的均值的欧式距离小于20，则直接判断为新像素属于背景，将新像素添加到此类别背景中，并令像素的数量加1；若更新后的像素数量大于或等于10，统计该背景的中心值和标准差，删除背景总像素中记录时间最早的像素点，保证三类背景的总像素数量为n；

3)若与新像素最接近的背景的当前像素数量大于或等于10，且新像素颜色值与最接近背景的均值的欧式距离小于背景标准差的3倍，则将新像素添加到此类别背景中，并更新此类别背景的中心点和标准差，删除背景总像素中记录时间最早的像素点，保证背景的总像素数量为n，其中n为100；

4)若与新像素最接近的背景不属于上面的两种情况，则认为发现了新类别的背景；若当前时刻的背景数量等于3，则将像素数量最小的那一类背景删除，并删除属于该背景的所有像素；删除后，通过新像素建立新的类别背景，新背景中心值为新像素的颜色值，新背景的像素数量为1，标准差暂不估计。

所述的运动目标联通体的获取过程为，将每一帧出现的新像素作为运动目标候选像素；对于每一帧中的运动目标候选像素，将所有八邻域连通的像素组合起来，以此构成多个运动目标联通体。

所述的检测所有运动目标连通体的操作为，根据所述的运动目标联通体的面积和与圆的近似程度来判断足球的当前位置，并根据所述的运动目标联通体的面积计算当前视频中运动目标的大小。

所述的摄像机的帧率调整范围为30-60。

所述的摄像机的架设高度范围为2～4m。

与现有技术相比，本发明具有以下优点：

1、节约成本：采用4路低成本摄像机完成视频自动编辑，无需在球场正上方架设能够覆盖全场的高分辨率专业摄像机。

2、操作简单、便捷：利用摄像机球场范围标定、视频背景建模和球、人运动目标检测方式自动将4路视频编辑为一路输出结果视频，自动化程度高，不需要人工干预。

附图说明

图1为本发明中的视频自动编辑方法的流程图；

图2为本发明视频编辑部分中的背景建模与目标检测算法流程图；

图3为本发明的摄像机位置布设示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明适用于校园足球比赛的多路视频自动编辑方法。该方法分为两部分：1)视频获取；2)视频自动编辑。

在视频获取步骤中，首先准备四台低成本摄像机(如手机、普通摄像头等)，将视频拍摄帧率调整为30-60帧。先将摄像机器打开并进入视频拍摄模式，并且用四台摄像机拍摄同一个毫秒级的秒表。然后不关闭摄像功能，将摄像机架设到球场的四个角点。拍摄秒表的视频帧在后续的分析中将用于视频的时间同步。在拍摄过程中，每台摄像机的拍摄角度都是固定不动的。摄像机的架设高度可选择2至4米。

在视频的自动编辑中，将自动判断那一路摄像机能够捕捉到足球，并将四路图像中的一路设为输出结果视频的当前帧。

首先根据每台摄像机的拍摄角度，将画面中的足球场草坪范围标记出来，即对画面设置一个四边形，四边形内部区域为球场草坪，四边形外部区域为非草坪区域。

在视频获取过程中，首先对图像中草坪区域进行背景估计。

对于最开始记录的N(N＝100)帧视频图像，按照如下方式对背景进行初始化:

a)对于N帧图像的像素，按照C均值聚类的方式将其分为3类，每一类的所有像素统计其颜色的均值μ和标准差σ作为中心值和变化范围，并记录属于每类背景的像素个数Si。

b)再设置一个类别中心值的差别阈值T，如果两类的中心值的欧式距离小于T就把两个类别合并。因此在每个时刻，每个像素的背景类别最多为3类，最低为1类。

对于最新获取的像素p，其颜色值为Color，计算中心点与其颜色最接近的背景类别i。并按照如下三种方式对背景进行更新。

a)如果与新像素最接近的背景i的当前像素数量Si小于10，并且新像素颜色与最接近背景的均值的欧式距离小于20，则直接将新像素判断为属于背景i。并将新像素添加到背景i当中，并领Si加1。如果更新后的Si大于或等于10，统计该背景的中心值和标准差。此后删除背景总像素中记录时间最早的那个像素点，保证三类背景的总像素数量为N。

b)如果与新像素最接近的背景i的当前像素数量Si大于或等于10，则计算新像素颜色Color与背景类别i的中心μ_i的欧式距离d(p-i)＝|Color-μ_i|，如果d(p-i)小于背景i的3倍的标准差σ_i，则把新像素添加到该类别中，并更新该类别的中心点μ_i和标准差σ_i。此后删除背景总像素中记录时间最早的那个像素点，保证背景的总像素数量为N。

c)如果与新像素最接近的背景i不属于上面的两种情况，则认为发现了新的背景。此时，如果当前背景数量等于3，则将像素数量Si最小那个背景删除，并删除属于该背景的所有像素。删除后，用新像素建立新的背景类别，背景类别中心值为新像素的颜色Color，新背景的像素数量为1，标准差暂不估计。

在背景更新过程中，记录每一帧中出现的新像素，作为运动目标的候选像素。对于每一帧中的运动目标候选像素，将所有8邻域连通的像素组合起来，构成多个联通体。根据联通体的面积和与圆的近似程度判断足球的当前位置。再根据联通体的面积计算当前视频中运动目标的大小。

对思路摄像机根据最开始拍摄的秒表图像帧进行时间同步，找到每一时刻对应的四路图像。

对四路图像都进行背景建模和分析，得到四路中的运动目标联通体。并按照如下方式设置视频编辑结果的当前帧：

找到联通体中圆度最高的联通体，将其标定为足球。

如果只有一路图像中有足球，那么就将该路图像设为视频剪辑中的当前帧。

如果有多路图像中有足球，那么比较足球在图像中的面积，将足球图像面积最大的图像设为当前帧。

如果多路图像中有足球，并且其图像面积的差别在10％以内，则根据图像中所有运动目标的总面积来判断。将运动目标总面积更大的图像设为视频输出当前帧。

图1所示为本发明的多路视频自动编辑方法的总体流程图，主要步骤有：

步骤1：对4路摄像机拍摄的视频图像完成视频时间同步。首先准备四台低成本摄像机(如手机、普通摄像头等)，将视频拍摄帧率调整为30‐60。打开摄像机并设置为视频拍摄模式，利用这四台摄像机拍摄同一个毫秒级的秒表。保持摄像机为拍摄状态，将摄像机架设到球场的四个角点，如图3所示。拍摄秒表的视频帧在后续的分析中将用于视频的时间同步。在拍摄过程中，每台摄像机的拍摄角度都是固定不动的。摄像机的架设高度可选择2至4米。

步骤2：根据每台摄像机的拍摄角度，将画面中的足球场草坪范围标记出来，即对画面设置一个四边形，四边形内部区域为球场草坪，四边形外部区域为非草坪区域。

步骤3：对每一路视频进行背景建模和分析。

步骤4：利用建模的背景进行运动目标检测，即对每一帧中出现的新像素，即非背景像素，作为运动目标的候选像素。对8邻域连通的运动目标候选像素进行组合，构成多个联通体。根据联通体的面积和与圆的近似程度判断足球的当前位置，再根据联通体的面积计算当前视频中运动目标的大小。

步骤5：利用检测到的运动目标(包括球和球员)联通区，找到联通区中圆度最高的联通体，将其标定为足球。若只有一路图像中有足球，那么就将该路图像设为视频剪辑中的当前帧。若有多路图像中有足球，那么比较足球在图像中的面积，将足球图像面积最大的图像设为当前帧。若多路图像中有足球，并且其图像面积的差别在10％以内，则根据图像中所有运动目标的总面积来判断。将运动目标总面积更大的图像设为视频输出当前帧。

在上述流程的步骤3中，4路视频的背景建模流程详细如图3所示：

步骤1：逐帧获取每帧图像，记录每帧的像素。若当前记录的图像数量小于100帧，则继续读取，直至等于100帧，进行步骤2.1。

步骤2.1：利用记录的100个像素进行C均值聚类，将其分为3类。

步骤2.2：记录每一类背景的颜色均值μ和标准差σ作为中心值和变化范围，并记录属于每类背景的像素个数Si。再设置一个类别中心值的差别阈值T＝10，若两类的中心值的欧式距离小于T，则将两个类别合并。因此在每个时刻，每个像素的背景类别最多为3类，最低为1类。

步骤3：对于最新获取的像素p，其颜色值为Color，计算中心点与其颜色最接近的背景类别i(最佳背景)。若最佳背景的像素数量小于10，且最佳背景均值与最新像素的颜色的欧式距离d(p-i)＝|Color-μi|小于20，跳转到步骤4。若最佳背景的像素数量大于10，且最佳背景均值与最新像素的颜色的欧式距离d(p-i)小于最佳背景标准差的3倍，跳转到步骤4。其他情况则跳转到步骤5.1。

步骤4：将新像素添加到背景i当中，并将最佳背景i的当前像素数量Si加1。若更新后的Si大于或等于10，重新计算该背景的中心值和标准差。计算后删除背景总像素中记录时间最早的那个像素点，保证所有类别背景的总像素数量为100。背景建模流程结束。

步骤5.1：若当前的背景数量为3，则删除像素数量最少的背景，并删除属于该背景的所有像素。

步骤5.2：用新像素建立新的背景类别，背景类别中心值为新像素的颜色Color，新背景的像素数量为1，标准差暂不估计。

步骤5.3：将新出现的像素记录为运动目标的候选像素。

步骤5.4：对于每一帧中的运动目标候选像素，将所有8邻域连通的像素组合起来，构成多个联通体。根据联通体的面积和与圆的近似程度判断足球的当前位置。再根据联通体的面积计算当前视频中运动目标的大小。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，包括：

视频获取：通过多路摄像机拍摄及球场范围标定，获取准确的多路视频图像；

视频自动编辑：对所述的多路视频图像依次通过视频背景建模以及球、人运动目标检测，将多路视频自动编辑为一路输出视频。

2.根据权利要求1所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的视频获取的具体步骤为，

1)调整摄像机帧率，打开摄像机并设置为视频拍摄模式；

2)用四台摄像机拍摄同一个毫秒级的秒表；

3)保持摄像机为摄像状态，将四台摄像机分别架设到在球场的四个角点；

4)保持每台摄像机的摄影角度不变，进行视频拍摄；

5)根据最初拍摄的秒表帧图像将四路摄像机进行时间同步，找出每一时刻对应的四路图像；

6)对四路图像画面中的球场草坪范围进行标记，分出球场草坪区与非草坪区域；

7)对图像中草坪区域进行背景估计后，输出多路视频图像。

3.根据权利要求1所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的视频自动编辑的具体步骤为，

1)对球场草坪区图像进行背景建模和分析，得到四路图像中的运动目标联通体；

2)检测所有运动目标联通体，标定出足球；

3)自动判断捕捉到足球的摄像机，若只有一路图像中含有足球，则将该路图像设为视频剪辑中的当前帧；若多路图像中含有足球，则比较足球在各图像中的面积，将含有足球图像面积最大的图像设为当前帧；若多路图像中含有足球，且图像面积间的差别在10％以内，则根据图像中所有运动目标联通体的总面积进行判断，将运动目标联通体总面积最大的图像设为视频输出的当前帧；

4)输出四路当中的最优图像作为当前视频帧，得到编辑后的视频。

4.根据权利要求3所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的背景建模和分析包括对最初记录的100帧视频图像依次进行背景初始化及背景更新。

5.根据权利要求4所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的背景初始化的具体步骤为，

1)逐帧获取每帧图像，并记录每帧的像素，若当前记录的图像为100帧，进行下一步；若小于100帧，则继续读取直至等于100帧，进行下一步；

2)对最初记录的100帧视频图像的像素按照C均值聚类的方式将其分为三类，每一类视为一类背景，统计每一类别背景的所有像素颜色的均值和标准差作为背景的中心值和变化范围，并记录属于每类背景的像素个数；

3)设置一个类别中心值的差别阈值，若某两类背景中心值的欧式距离小于该阈值，则将两类背景合并。

6.根据权利要求4或5所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的背景更新具体方式为，

1)根据最新获取的像素及其颜色值，分别计算该颜色值与各类别背景中心点之间的欧氏距离，将最小值所在的背景视为与新像素最接近的背景；

2)若与新像素最接近的背景的当前像素数量小于10，且新像素颜色值与最接近背景的均值的欧式距离小于20，则直接判断为新像素属于背景，将新像素添加到此类别背景中，并令像素的数量加1；若更新后的像素数量大于或等于10，统计该背景的中心值和标准差，删除背景总像素中记录时间最早的像素点，保证三类背景的总像素数量为n；

3)若与新像素最接近的背景的当前像素数量大于或等于10，且新像素颜色值与最接近背景的均值的欧式距离小于背景标准差的3倍，则将新像素添加到此类别背景中，并更新此类别背景的中心点和标准差，删除背景总像素中记录时间最早的像素点，保证背景的总像素数量为n；

4)若与新像素最接近的背景不属于上面的两种情况，则认为发现了新类别的背景；若当前时刻的背景数量等于3，则将像素数量最小的那一类背景删除，并删除属于该背景的所有像素；删除后，通过新像素建立新的类别背景，新背景中心值为新像素的颜色值，新背景的像素数量为1，标准差暂不估计。

7.根据权利要求6所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的运动目标联通体的获取过程为，将每一帧出现的新像素作为运动目标候选像素；对于每一帧中的运动目标候选像素，将所有八邻域连通的像素组合起来，以此构成多个运动目标联通体。

8.根据权利要求3所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的检测所有运动目标连通体的操作为，根据所述的运动目标联通体的面积和与圆的近似程度来判断足球的当前位置，并根据所述的运动目标联通体的面积计算当前视频中运动目标的大小。

9.根据权利要求2所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的摄像机的帧率调整范围为30-60。

10.根据权利要求2所述的一种适用于校园足球比赛的多路视频自动编辑方法，其特征在于，所述的摄像机的架设高度范围为2～4m。