CN112258522A

CN112258522A - 基于二次区域生长的武术竞赛区域分割方法

Info

Publication number: CN112258522A
Application number: CN202011119781.8A
Authority: CN
Inventors: 孙瑞阳; 宋宇虹; 孙玉滨; 段炼; 赵蓝飞
Original assignee: Harbin Institute of Physical Education
Current assignee: Harbin Institute of Physical Education
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2021-01-22
Anticipated expiration: 2040-10-19
Also published as: CN112258522B

Abstract

基于二次区域生长的武术竞赛区域分割方法，它属于竞赛场地图像分割技术领域。本发明解决了现有的竞赛场地分割算法应用于武术竞赛场地分割易出现错分割、漏分割的问题。本发明根据亮度梯度幅值、色相、饱和度3个像素的数字特征，监督式地训练线性分类器用于确定种子点区域；以最大面积的种子区域作为区域生长起始区域，以区域的颜色标准差作为区域生长停止条件，进行区域生长从而过度分割武术竞赛区域；将过度分割区域划分为种子区域集合和非种子区域集合，以最大面积种子区域作为区域生长起始种子区域进行二次区域生长，当两个集合的相似度达到最小时的区域生长结果即为最终分割出的武术竞赛区域。本发明可以应用于竞赛场地图像分割。

Description

基于二次区域生长的武术竞赛区域分割方法

技术领域

本发明属于竞赛场地图像分割技术领域，具体涉及一种基于二次区域生长的武术竞赛区域分割方法。

背景技术

由于竞赛场地分割是体育比赛过程中运动数据分析与挖掘技术(运动数据统计、远动员目标检测与跟踪、关键动作识别)的基础。因此如何设计和开发一种有效的体育竞赛区域分割算法已经成为国内、外研究的热门问题。已有的竞赛场地分割算法分为两类：第一类是专门针对某种特定竞赛项目的竞赛场地分割算法，例如Quilon等提出非监督式足球场地分割算法(Quilon D,Mohedano R,Cuevas C,et al.Unsupervised high-qualitysoccer field segmentation[C].International Symposium on Consumer Electronics,2015:1-2.)，Kuo等提出基于自适应高斯混合模型的棒球场地分割算法(Kuo C,Hung M,Hsieh C,et al.Baseball Playfield Segmentation Using Adaptive Gaussian MixtureModels[C].International Conference on Innovative Computing,Information andControl,2008:360.)；另一类是通用的竞赛场地分割算法，例如Homayounfar等提出的基于深度结构模型的体育场地定位算法(Homayounfar N,Fidler S,Urtasun R.Sports FieldLocalization via Deep Structured Models[J].2017IEEE Conference on ComputerVision and Pattern Recognition,2017:4012-4020.)。但是至今为止，仍没有一个专门针对武术比赛的竞赛场地分割算法。如果将针对其他比赛项目的竞赛场地分割算法或是通用的竞赛场地分割算法直接应用于武术竞赛场地分割，则场地分割结果易出现错分割、漏分割等情况。

发明内容

本发明的目的是为解决将现有的竞赛场地分割算法应用于武术竞赛场地分割易出现错分割、漏分割的问题，而提出了一种基于二次区域生长的武术竞赛区域分割方法。

本发明为解决上述技术问题采取的技术方案是：基于二次区域生长的武术竞赛区域分割方法，该方法包括以下步骤：

步骤一、分别提取出武术竞赛图像中已知的每个种子点和非种子点的特征向量，将每个特征向量作为一个训练样本，利用由全部训练样本组成的训练样本集对基于感知函数准则的线性分类器进行训练，获得训练好的线性分类器的权重向量；

步骤二、采集待检测的武术竞赛图像，分别提取出待检测武术竞赛图像中每个像素的特征向量，将提取的全部像素的特征向量输入训练好的线性分类器；

加载训练好的线性分类器的权重向量后，利用训练好的线性分类器对待检测武术竞赛图像中的全部像素进行分类，判别各像素是否为种子点；

步骤三、根据邻域相邻关系，对步骤二判别出的种子点进行合并形成各个种子区域，将包含像素最多的种子区域作为初次区域生长的起始区域和二次区域生长的起始区域；

步骤四、利用步骤三确定出的初次区域生长起始区域进行初次区域生长，获得初次区域分割结果；

步骤五、基于步骤三获得的二次区域生长的起始区域和步骤四获得的初次区域分割结果进行二次区域生长，得到武术竞赛区域分割结果。

本发明的有益效果是：本发明提出了一种基于二次区域生长的武术竞赛区域分割方法，本发明首先根据亮度梯度幅值、色相、饱和度3个像素的数字特征，监督式地训练一个线性分类器用于确定种子点区域；以最大面积的种子区域作为区域生长起始种子区域，以区域的颜色标准差作为区域生长的停止条件，进行区域生长从而过度分割武术竞赛区域；将过度分割区域划分为两类像素集合即种子区域集合以及非种子区域集合，以最大面积的种子区域作为区域生长起始种子区域，进行二次区域生长，当两个集合的相似度达到最小时，此时区域生长的结果即为最终分割出的武术竞赛区域。采用本发明方法分割出的武术竞赛区域与实际的竞赛区域重合度较高，克服了采用现有方法易出现错分割、漏分割的问题。

附图说明

图1为本发明方法的整体原理框图；

图2为线性分类器训练过程的示意图；

图中，W_k代表修正前的权重向量，W_k+1代表修正后的权重向量，

代表权重向量的最优估计；

图3为判别像素是否为种子点的原理框图；

图4(a)为场景1的原始竞赛场地图像；

图4(b)为场景1的起始种子区域图像；

图4(c)为场景1通过初次区域生长分割出的竞赛场地过度分割区域图像；

图4(d)为场景1通过二次区域生长分割出的竞赛区域图像；

图5(a)为场景2的原始竞赛场地图像；

图5(b)为场景2通过二次区域生长分割出的竞赛区域图像；

图6(a)为场景3的原始竞赛场地图像；

图6(b)为场景3通过二次区域生长分割出的竞赛区域图像。

具体实施方式

具体实施方式一：结合图1说明本实施方式。本实施方式所述的基于二次区域生长的武术竞赛区域分割方法，该方法具体通过以下步骤实现：

根据邻域相邻关系对种子点进行合并是指：将具有3×3邻域相邻关系的种子点合并到一个种子区域，若某个种子点既属于种子区域A，也属于种子区域B，则将种子区域A和种子区域B进行合并；

本实施方式通过已训练的分类器对武术竞赛图像进行种子点检测。初次区域生长法以包含种子点最多的区域作为起始种子区域进行区域生长，形成过度分割区域。二次区域生长通过不断计算起始种子区域与过度分割区域内的非种子区域的相似度，从而确定武术竞赛区域。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中，分别提取出武术竞赛图像中已知的每个种子点和非种子点的特征向量，将每个特征向量作为一个训练样本，其具体为：

对于训练样本集中的第k个训练样本X_k，将第k个训练样本对应的特征向量表示为x_k：x_k＝[x_k1,x_k2,x_k3,1]^T，x_k1为亮度梯度幅值，x_k2为色相，x_k3为饱和度，T代表转置。

本实施方式中，分别提取出每个种子点和非种子点的特征向量，比如，若第k个训练样本X_k对应的是某个种子点，则x_k1为该种子点的亮度梯度幅值，x_k2为该种子点的色相，x_k3为该种子点的饱和度。

具体实施方式三：结合图2说明本实施方式。本实施方式与具体实施方式二不同的是：所述步骤一中，利用由全部训练样本组成的训练样本集对基于感知函数准则的线性分类器进行训练，获得训练好的线性分类器的权重向量；其具体过程为：

步骤一一、将训练样本集中的训练样本分批次输入基于感知函数准则的线性分类器；

步骤一二、分别将当前批次中每个训练样本所对应的特征向量与线性分类器的权重向量进行加权求和；

线性分类器的权重向量W为：W＝[w₁,w₂,w₃,w₄]^T，其中，w₁为x_k1对应的权重，w₂为x_k2对应的权重，w₃为x_k3对应的权重，w₄为特征向量中特征值1所对应的权重；将加权求和结果表示为W^Tx_k；

步骤一三、若当前批次中的每个训练样本所对应的加权求和结果均满足分类准则，则当前权重向量W保持不变，否则，对当前权重向量W进行修正，使当前批次中的每个训练样本所对应的加权求和结果均满足分类准则；

步骤一四、利用修正后的权重向量，对下一批次中的训练样本进行步骤一二和步骤一三的操作，直至训练样本集中的全部训练样本训练完成，得到权重向量的最优估计

为x_k1对应的最优估计权重，

为x_k2对应的最优估计权重，

为x_k3对应的最优估计权重，

为特征向量中特征值1对应的最优估计权重；

将

作为训练好的线性分类器的权重向量。

具体实施方式四：本实施方式与具体实施方式三不同的是：所述分类准则的表达式为：

其中，ω₁代表种子点类，ω₂代表非种子点类，X_k∈ω₁代表X_k属于种子点，X_k∈ω₂代表X_k属于非种子点。

具体实施方式五：本实施方式与具体实施方式四不同的是：所述对当前权重向量W进行修正，其具体过程为：

W′＝W+Δ

其中，W′为修正后的权重向量，Δ代表代价函数。

具体实施方式六：本实施方式与具体实施方式五不同的是：所述代价函数Δ的值由感知器算法确定。

具体实施方式七：结合图3说明本实施方式。本实施方式与具体实施方式五不同的是：所述步骤二中，利用训练好的线性分类器对待检测武术竞赛图像中的全部像素进行分类，其具体过程为：

对于待检测武术竞赛图像中的任一像素，将该像素从RGB格式转换为HSV格式，得到该像素的亮度梯度幅值、色相和饱和度，利用该像素的亮度梯度幅值、色相和饱和度形成该像素的特征向量；

将该像素的特征向量与权重向量的最优估计

进行加权求和，若加权求和结果大于0，则该像素为种子点，若加权求和结果小于等于0，则该像素为非种子点；

同理，对待检测武术竞赛图像中的其他像素分别进行处理，判别每个像素是否为种子点。

具体实施方式八：本实施方式与具体实施方式七不同的是：所述步骤四的具体过程为：

步骤四一、计算初次区域生长的起始区域

的颜色标准差σ⁽¹⁾，并清空集合T；

其中，

分别表示起始区域

的红、绿、蓝三通道灰度标准差；

步骤四二、起始区域

的全体边界像素组成集合Y，集合Y满足：

且对于集合Y中的任意像素y_i满足：以y_i为中心的3×3邻域内存在至少一个邻域像素y′_i，使得

将起始区域

的全体边界像素存入到集合T中；

步骤四三、选取集合T中的第1个像素T₁，并将T₁加入到起始区域

中，计算加入T₁后区域

的颜色标准差σ，若σ＞3×σ⁽¹⁾，则将加入的像素T₁从

中移除，得到的区域记为区域

否则σ≤3×σ⁽¹⁾，则不需要对加入的像素T₁进行处理，将加入T₁后的区域

记为区域

步骤四四、选取集合T中的下一像素；

步骤四五、将区域

作为起始区域对选取出的像素重复步骤四三至步骤四四的过程，直至集合T中的所有元素均遍历完毕；

重复步骤四三至步骤四四时，每次所利用的均是对选取的上一像素进行处理时，步骤四三所获得的区域，比如，选取第2个像素时，利用的是对第1个像素进行处理时所获得的区域

步骤四六、将集合T中所有元素均遍历完毕后，将最终形成的区域

作为下一次迭代的起始区域

对

重复执行步骤四一至步骤四五，得到下一次迭代的起始区域

N为集合T中元素的个数；

以此类推，直到第n次迭代过程之后，第n次迭代获得的区域

和第n-1次迭代获得的区域

完全相等，

即为通过初次区域生长得到的初次区域分割结果。

具体实施方式九：本实施方式与具体实施方式八不同的是：所述步骤五的具体过程为：

步骤五一、将二次区域生长的起始区域中包含的全部像素组成的集合表示为

像素集Q表示通过初次区域生长获得的初次区域分割结果中包含的全部像素，R⁽¹⁾表示属于Q但不属于

的所有像素组成的集合，即

步骤五二、计算像素集

与像素集R⁽¹⁾的相似度

并提取像素集P，像素集P满足：

且对于P中的任意元素p_i满足：以p_i为中心的3×3邻域内存在至少一个邻域像素p′_i，使得

步骤五三、选取像素集P的第1个像素P₁，将P₁从集合R⁽¹⁾中移除得到集合

即

将P₁加入集合

中得到集合

即

步骤五四、计算

与

的相似度

若

则将

作为新的R⁽¹⁾、将

作为新的

来执行步骤五五，否则，继续利用R⁽¹⁾和

来执行步骤五五；

步骤五五、选取集合P中的下一像素来重复步骤五三～步骤五四，直到集合P中的所有像素均遍历完毕，将最终形成的像素集

和像素集R⁽¹⁾作为下一次迭代的起始像素集

和R⁽²⁾；

在集合P中的所有像素未遍历完毕之前，对某个像素进行处理时，步骤五三利用的是对该像素的上一像素进行处理时，步骤五四所获得的R⁽¹⁾和

当处理集合P中的最后一个像素时，利用步骤五四所获得的R⁽¹⁾和

作为下一次迭代的起始像素集

和R⁽²⁾；

步骤五六、同理，对像素集

和集合R⁽²⁾重复执行步骤五一～步骤五五，得到下一次迭代的起始像素集

和R⁽³⁾；

以此类推，直到第n次迭代过程时，对于像素集P中的任意元素均满足

大于

此时，第n次迭代所获得像素集

即为通过二次区域生长得到的武术竞赛区域分割结果。

具体实施方式十：本实施方式与具体实施方式九不同的是：所述步骤五二中，计算像素集

与像素集R⁽¹⁾的相似度

其具体方法为：

其中，

表示像素集

内红、绿、蓝三通道灰度均值，

表示像素集R⁽¹⁾内红、绿、蓝三通道灰度均值。

实施例

本发明方法的具体方案包括以下步骤：

1、基于线性分类器的种子区域检测方法

由于武术竞赛场地由专门的地毯构成，这种地毯具有特殊的材质和颜色，因此本发明选取4个特征值用于描述武术竞赛区域内种子点的材质和色彩。这些特征值包括：亮度梯度幅值x₁，对应的分类器权重为w₁；色相x₂，对应的分类器权重为w₂；饱和度x₃，对应的分类器权重为w₃，偏置x₄(偏置的值始终为1)，对应的分类器权重为w₄。其中第一个特征构成区域的细节、纹理，第二个特征和第三个特征代表区域的色彩。

假设线性分类器的权重集合为W＝[w₁,w₂,w₃,w₄]^T，令x_k＝[x_k1,x_k2,x_k3,1]^T表示样本的特征集合。由于种子点检测属于二分类问题，因此分类器存在两个类：种子点类ω₁和非种子点类ω₂。令线性分类器的分类准则如式(1)所示：

令X表示已知类别的像素构成的训练样本集，X_k表示训练样本集中的第k个样本。对样本集X进行监督式学习，从而确定线性分类器的权重W的训练过程如图2所示：

图2中Δ代表代价函数，Δ的值由成熟的感知器算法(Freund Y,Schapire RE.Large margin classification using the perceptron algorithm[C].Conference onLearning Theory,1998,37(3):209-217.)确定。根据图2可知训练线性分类器的训练过程可以归纳为以下三个步骤：

1)将样本X_k的4个特征与对应的权重系数进行加权求和；

2)监督类别检测过程根据当前的加权求和W^Tx与已标注的样本类别是否符合如式(1)所示分类准则。如果符合分类标准，则固定当前权重向量W保持不变。如果不符合分类标准，则对权重向量进行修正；

3)更新权重向量，再对下一组样本重复步骤1～2，直到全体样本训练完毕得到对于权重集合的最优估计

一旦完成线性分类器训练过程就可以对武术竞赛图像的全部像素进行分类，像素分类原理框图如图3所示。

首先对像素进行RGB格式转HSV格式变换，得到该像素的亮度梯度幅值、色相、饱和度；其次将亮度梯度幅值、色相、饱和度和偏置分别与最优权重进行相乘；再次将四个乘积进行求和；最后根据求和结果判断该像素是否为种子点。

2.初次区域生长

通常一部分种子点存在相邻关系，因此本发明将这些相邻的种子点合并为同一种子区域，将区域面积最大的种子区域作为区域生长法的起始区域，将区域颜色标准差作为区域合并边界像素的判断准则，对起始种子区域进行初次区域生长。初次区域生长法的步骤如下所示：

1)合并具有空间相邻性的种子点形成多个互不相邻的种子区域，选择包含像素最多的种子区域作为初次区域生长对应的起始区域S⁽¹⁾；

2)计算起始区域S⁽¹⁾的颜色标准差σ⁽¹⁾，清空集合T；

3)将区域S⁽¹⁾的全体边界像素存入到集合T；

4)选取集合T中的第1个像素T₁并将T₁加入到区域S⁽¹⁾中并计算此时S⁽¹⁾的颜色标准差σ，如果σ＞3×σ⁽¹⁾则将T₁从S⁽¹⁾中移除；

5)选取集合T中的下一像素，重复步骤5直到集合T中的所有元素均遍历完毕，将最终形成的区域S⁽¹⁾作为第2次区域生长的起始区域S⁽²⁾；

6)同理，对区域S⁽²⁾重复执行步骤2～5得到第3次区域生长的起始区域S⁽³⁾。

以此类推，直到第n次过程之后，集合S⁽ⁿ⁾和集合S^(n-1)完全相等，此时集合S⁽ⁿ⁾即为通过初次区域生长得到的区域分割结果。步骤2和步骤4中对应的颜色标准差计算方法如式(2)所示：

σ(S^(k))＝σ_r+σ_g+σ_b (2)

其中σ_r、σ_g、σ_b分别表示区域的红、绿、蓝三通道灰度标准差。

3.二次区域生长

假设像素集S表示区域面积最大的起始种子区域，像素集Q表示通过初次区域生长获得的过分割区域，像素集R表示属于Q但不属于S的所有元素组成的集合即R＝Q-S。令像素集P由区域S的所有边界像素构成。令C表示区域相似度计算函数，C(S,R)表示区域S与R的相似度，其计算方法如式(3)所示：

其中

分别表示区域内红、绿、蓝三通道灰度均值。二次区域生长法步骤如下所示：

1)令二次区域生长的起始种子区域为S⁽¹⁾，R⁽¹⁾表示属于Q但不属于S⁽¹⁾的所有元素组成的集合即R⁽¹⁾＝Q-S⁽¹⁾；

2)计算C(S⁽¹⁾,R⁽¹⁾)，提取区域像素集S⁽¹⁾的边界像素集P；

3)选取集合P的第1个像素P₁，将P₁从集合R⁽¹⁾中移除即

将P₁加入集合S⁽¹⁾中即

4)计算

如果

则

5)选取集合P中的下一像素重复步骤3～4直到集合P中的所有元素均遍历完毕，将最终形成的集合S⁽¹⁾和集合R⁽¹⁾作为第2次区域增长的起始条件S⁽²⁾，R⁽²⁾；

6)同理，对集合S⁽²⁾和集合R⁽²⁾重复执行步骤2～5得到第3次区域生长的起始条件S⁽³⁾，R⁽³⁾。

以此类推，直到第n次过程之后，对于边界像素集合P中的任意元素

恒大于C(S⁽ⁿ⁾,R⁽ⁿ⁾)，此时集合S⁽ⁿ⁾即为通过二次区域生长得到的武术竞赛区域分割结果。

实验结果与分析

本发明采用的中央处理器型号为I7-10700F，显卡型号为GTX1660Sp，内存容量16G的台式计算机作为硬件仿真平台，采用Matlab 2016a作为软件仿真平台，对本发明提出的算法进行仿真实验。仿真算法采用无损失的bmp格式数字图像作为仿真算法的输入输出。对于场景1的实验中间结果如图4(a)至4(d)所示。图4(a)是原始竞赛场地图像，图4(b)是起始种子区域，图4(c)是通过初次区域生长分割出的竞赛场地过度分割区域，图4(d)是通过二次区域生长分割出的竞赛区域。

由图4(b)可知起始种子区域全部位于竞赛场地区域内部。由图4(c)可知初次区域生长形成的过度分割区域完全包括整个武术竞赛区域。由图4(d)可知二次区域生长可以有效地分割出竞赛区域的边界轮廓。

通过本发明设计的武术竞赛区域分割方法对场景2、场景3的竞赛区域分割结果如图5(a)～图5(b)、图6(a)～图6(b)所示。

其中，图5(a)、图6(a)分别表示竞赛场地图像，图5(b)、图6(b)分别表示竞赛区域分割结果。根据图5(b)、图6(b)可知，由人眼观察到的武术竞赛区域的实际边界与本发明设计的竞赛场地分割算法分割出的区域边界几乎完全重合，因此本发明提出的竞赛区域分割算法可以有效地区分武术竞赛区域与非竞赛区域，而且分割出的武术竞赛区域与实际的竞赛区域重合度较高。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。