CN111401280A

CN111401280A - 一种基于灰度共生矩阵调整学习率的图像识别方法

Info

Publication number: CN111401280A
Application number: CN202010205068.9A
Authority: CN
Inventors: 夏飞; 张传林; 龚春阳
Original assignee: Shanghai Electric Power University
Current assignee: Shanghai University of Electric Power; Shanghai Electric Power University; University of Shanghai for Science and Technology
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2020-07-10

Abstract

本发明公开了一种基于灰度共生矩阵调整学习率的图像识别方法包括通过摄像头采集远动员图像，将采集到的图像汇总；对原图像进行高斯滤波，获取得到入射图像；将入射图像与原图像相减得到反射图像；根据四方向八邻域灰度共生矩阵判断对混合高斯模型进行学习率更新；运动员提取；本发明能够有效实现在光照较差情况下，对运动员进行快速检测与提前，从而通过运动员的提取实现运动员位置的自动识别，才能够进一步对运动员姿态进行有效分析。

Description

一种基于灰度共生矩阵调整学习率的图像识别方法

技术领域

本发明涉及视频分析技术领域，尤其涉及一种基于灰度共生矩阵调整学习率的图像识别方法。

背景技术

近年来基于视频分析的运动图像理解一直以来都是计算机领域备受关注的热点，基于计算机视觉的运动视频分析，特别是对于足球、篮球、网球等球类比赛的自动分析，一直都是备受关注的研究热点，其应用也十分广泛；目前在对运动项目的图像处理方法研究中，主要集中在对球的分析上，只有少数研究讨论了体育视频中通过图像处理的方法增强目标物的提取，如利用颜色空间和统计理论相结合的方法，对视频中过暗和过亮的图像进行处理；虽然利用颜色空间的方法具有一定的效果，但是由于要对三通道图像进行处理，所以处理速度较慢。

随着图像分析技术的发展，近年来对于运动中的人物检测取得了较好的效果，但较少讨论光照对于运动比赛图像分析时的影响；而光线是图像分析中比较重要的一个因素，特别是在晚间比赛时，光线照度往往不能满足图像分析的要求；而在体育比赛中，无法像工业检测等其他场景那样通过增补光源的形式来提高后续图像处理的质量；晚间室内比赛由于灯光原因，造成运动员所处区域光线较暗，无法提取高质量运动员运动轨迹图像。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有图像识别方法存在比赛时光线照度不能满足图像分析的问题，提出了本发明。

因此，本发明目的是提供一种基于灰度共生矩阵调整学习率的图像识别方法，其可实现光照较差情况下运动员检测和实现运动员位置的自动识别。

为解决上述技术问题，本发明提供如下技术方案：一种基于灰度共生矩阵调整学习率的图像识别方法，包括，

通过摄像头采集运动员图像，将采集到的图像汇总；

对原图像进行高斯滤波，获取得到入射图像；

将入射图像与原图像相减得到反射图像；

根据四方向八邻域灰度共生矩阵判断对混合高斯模型进行学习率更新；

运动员提取。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：入射图像采用高斯低通滤波器获取；

其中，所述高斯低通滤波器的公式如下：

式中，D₀表示通带的半径，x表示像素点的纵坐标，y表示像素点的横坐标；

其中，D(x,y)由下式计算得到：

式中，P、Q分别表示图像的宽度和长度；

其中，入射图像L(x，y)的公式如下：

L(x,y)＝S(x,y)*H(x,y) (3)

式中，S(x，y)表示原图像，H(x,y)表示滤波器。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：反射图像R(x，y)的公式如下：

R(x，y)＝S(x，y)-L(x，y) (4)

式中，L(x，y)表示入射图像，S(x，y)表示原图像。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：根据四方向八邻域灰度共生矩阵判断对混合高斯模型进行学习率更新包括步骤：

分别求当前图像和背景图像在四个方向上的八邻域共生矩阵；

计算当前图像的四个方向八邻域共生矩阵和背景图像的四个方向八邻域共生矩阵的差值；

对差值的绝对值进行判断；

学习率的更新。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：更新学习率的公式如式如下：

式中，Δφ表示差值的绝对值，e表示自然常数。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：对差值的绝对值进行判断包括步骤：

若差值的绝对值大于阈值时，根据更新公式重新计算学习率；

若差值的绝对值小于阈值时，保留学习率。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：通过摄像头采集运动员图像，将采集到的图像汇总包括步骤：

将摄像头架设在运动场地，获取运动比赛视频；

比赛视频导入计算机内，并对视频图像进行处理；

获取每帧运动员图像，将图像汇总保存。

作为本发明所述基于灰度共生矩阵调整学习率的图像识别方法的一种优选方案，其中：图像S(x，y)包括入射光图像L(x，y)和反射光图像R(x，y)。

本发明的有益效果：本发明能够有效实现在光照较差情况下，对运动员进行快速检测，从而通过运动员的提取实现运动员位置的自动识别，才能够进一步对运动员姿态进行有效分析。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明基于灰度共生矩阵调整学习率的图像识别方法的整体结构示意图。

图2为本发明基于灰度共生矩阵调整学习率的图像识别方法的提取算法流程图。

图3为本发明基于灰度共生矩阵调整学习率的图像识别方法的拍摄图像结构示意图。

图4为本发明基于灰度共生矩阵调整学习率的图像识别方法的选取图像结构示意图。

图5为本发明基于灰度共生矩阵调整学习率的图像识别方法的四方向八邻域共生矩阵示意图。

图6为本发明基于灰度共生矩阵调整学习率的图像识别方法的混合高斯模型中的学习率更新过程图。

图7为本发明基于灰度共生矩阵调整学习率的图像识别方法的运动员图片的入射图像。

图8为本发明基于灰度共生矩阵调整学习率的图像识别方法的运动员图片的反射图像。

图9为本发明基于灰度共生矩阵调整学习率的图像识别方法的背景图像结构示意图。

图10为本发明基于灰度共生矩阵调整学习率的图像识别方法的运动员提取示意图。

图11为本发明基于灰度共生矩阵调整学习率的图像识别方法的现有方案运动员提取示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

实施例1

参照图1和图2，提供了一种基于灰度共生矩阵调整学习率的图像识别方法的整体结构示意图，如图1，一种基于灰度共生矩阵调整学习率的图像识别方法包括S1：通过摄像头采集远动员图像，将采集到的图像汇总；

S2：对原图像进行高斯滤波，获取得到入射图像；

S3：将入射图像与原图像相减得到反射图像；

S4：根据四方向八邻域灰度共生矩阵判断对混合高斯模型进行学习率更新；

S5：运动员提取。

本发明能够有效实现在光照较差情况下，对运动员进行快速检测与提前，从而通过运动员的提取实现运动员位置的自动识别，才能够进一步对运动员姿态进行有效分析，如运动员发球，正反手击球及其他战术分析和重要事件判断等上层分析等等。

具体的，本发明主体结构包括步骤，S1：通过摄像头采集远动员图像，将采集到的图像汇总；其中，通过摄像头采集远动员图像，将采集到的图像汇总包括步骤：

S11：将摄像头架设在运动场地，获取运动比赛视频；

S12：比赛视频导入计算机内，并对视频图像进行处理；

S13：获取每帧运动员图像，将图像汇总保存。

其中，根据色感一致性理论，运动员的图像S(x，y)即包含了入射光图像L(x，y)和反射光图像R(x，y)，x，y表示图像中的像素点坐标；如果减少(或减除)入射光L影响，可以降低环境中光线对于物体样子的影响。

S2：对原图像进行高斯滤波，获取得到入射图像；

需说明的是，入射图像采用高斯低通滤波器获取，其中，高斯低通滤波器的公式如下：

其中，D(u,v)由下式计算得到：

式中，P、Q分别表示图像的宽度和长度；

其中，入射图像L(x，y)的公式如下：

L(x,y)＝S(x,y)*H(x,y) (3)

式中，S(x，y)表示原图像，H(x,y)表示滤波器。

S3：将入射图像与原图像相减得到反射图像；需说明，通过高斯低通滤波可以得到属于低频分量的图像入射图像，而运动员的原始图像包括了图像的入射部分和反射部分，当运动员图像中的入射部分与反射部分之和减去图像的入射部分，就得到图像的反射部分，降低了网球比赛中由于赛场光线不足对运动员提取带来的影响，其中，反射图像R(x，y)的公式如下：

R(x，y)＝S(x，y)-L(x，y) (4)

式中，L(x，y)表示入射图像，S(x，y)表示原图像

S4：根据四方向八邻域灰度共生矩阵判断对混合高斯模型进行学习率更新；需说明的是，混合高斯模型的基本原理如下：通过对视频序列中图像的每个像素点构建K个高斯分布来描述视频中的场景，通过判断新像素点与已存在的高斯分布是否匹配来进行参数的更新，如学习率等。

进一步的，根据八邻域判断对混合高斯模型进行学习率更新包括步骤：

S41：分别求当前图像和背景图像在四个方向上的八邻域共生矩阵，需说明的是，当前图像指的是反射图像，背景图像是另外一幅图像，指定为背景图像，背景图像可以选择不包含运动员的图像，此处，背景图像指的是背景图像的反射图像；其中，图像在四个方向上八邻域的共生矩阵计算示意图如5所示，计算过程如式(5)所示：

设f(x，y)为一幅二维数字图象，其大小为M×N，灰度级别为Ng,则满足一定空间关系的灰度共生矩阵为：

P(i,j,d,θ)＝#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)＝i,f(x2,y2)＝j}(5)

式中，#(x)表示集合x中的元素个数。

本发明中取八邻域，故d＝1；四方向，故θ＝0、45、90和135。

根据式(5)可以计算得到，当前图像在四个方向上的八邻域共生矩阵，分别是：

PI(i,j,1,0°)、PI(i,j,1,45°)、PI(i,j,1,90°)、PI(i,j,1,135°)；

和背景图像在四个方向上的八邻域共生矩阵，分别是：

PB(i,j,1,0°)、PB(i,j,1,45°)、PB(i,j,1,90°)、PB(i,j,1,135°)。

S42：计算当前图像的四个方向八邻域共生矩阵和背景图像的四个方向八邻域共生矩阵的差值；需说明的是，分别计算PI(i,j,1,0°)和PB(i,j,1,0°)差值的绝对值Δφ0，

PI(i,j,1,45°)和PB(i,j,1,45°)差值的绝对值Δφ45，

PI(i,j,1,90°)和PB(i,j,1,90°)差值的绝对值Δφ90，

PI(i,j,1,135°)和PB(i,j,1,135°)差值的绝对值Δφ135。

S43：对差值的绝对值进行判断；如图6所示，需说明的是，对差值的绝对值进行判断包括步骤：

若差值的绝对值小于阈值时，保留学习率。

具体的，通过求取当前图像和背景图像的八邻域共生矩阵差值，对该差值的绝对值Δφ0、Δφ45、Δφ90、Δφ135。行判断。如果有所有方向上的共生矩阵差值小于设定的阈值，混合高斯模型不更新，否则重新计算学习率α，更新混合高斯模型的参数

S44：学习率的更新。

需说明，更新学习率的公式如式如下：

式中，Δφ表示差值的绝对值，e表示自然常数，其值约为2.71828。

如果需要更新学习率时，其中为当前图像的四个方向八邻域共生矩阵和背景图像的四个方向八邻域共生矩阵的差值绝对值中的最大值。

S5：运动员提取。

通过对网球运动员图像的反射图像，采用改进的混合高斯模型处理后，得到的图像可以更利于快速的检测，识别出运动员在图像中所在的位置，从而进行后续的运动员运动特征分析。

实施例2

本实施例以网球运动员为例进行验证本方法的有益效果，具体如下：通过在网球场远端架设有位置固定的摄像机，摄像机获取运动员在网球比赛中的视频；将拍摄的网球视频导入计算机后，通过对视频图像处理，可以得到一帧帧的网球运动员图像；其中的一帧图像如图4所示(为了分析方便，这里是截取后的图像，原图如图3所示)；在此，分别对采样本方法和现有未改进的混合高斯建模方法进行对比实验，具体如下：

一、本方法处理过程是测试图像S(x，y)中包含了入射光图像L(x，y)和反射光图像R(x，y)，其中，反射光图像R(x，y)采用高斯低通滤波的方法获取。

需说明的是，高斯低通滤波器的公式如下所示：

式中，D₀表示通带的半径，x表示像素点的纵坐标，y表示像素点的横坐标；D(u，v)可以由下式计算得到：

其中，P、Q分别表示图像的宽度和长度，本实施例中P＝132，Q＝546。

进一步，通过以下公式可以实现网球运动员入射图像的提取：

L(x,y)＝S(x,y)*H(x,y) (3)

L(x，y)即为网球运动员图像的入射图像，H(x,y)表示滤波器，如图7所示。

进一步的，通过高斯低通滤波可以得到属于低频分量的图像入射部分，而网球运动员的原始图像包括了图像的入射部分和反射部分，这样，当网球运动员图像中的入射部分与反射部分之和减去图像的入射部分，就得到图像的反射部分，降低了网球比赛中由于赛场光线不足对运动员提取带来的影响。

R(x，y)＝S(x，y)-L(x，y) (4)

R(x，y)即为网球运动员图像的反射图像，如图8所示，采用公式(4)处理后的图像仅保留了图像的高频部分，减少了光线对于运动员的影响。

进一步的，混合高斯模型的基本原理如下：通过对视频序列中图像的每个像素点构建K个高斯分布来描述视频中的场景，通过判断新像素点与已存在的高斯分布是否匹配来进行参数的更新，如学习率等。

其中，混合高斯建模具体步骤如下：

(1)根据式(5)可以计算得到，当前图像(如图8所示)在四个方向上的八邻域共生矩阵，分别是(以前4行4列为例进行示意)：

PI(i,j,1,0°)矩阵的前4行4列如表1所示；

表1

131072	131072	131072	131072
				131072	131072	131072	131072
131072	131072	131072	131072
				131072	131072	131072	131072

PI(i,j,1,45°)矩阵的前4行4列如表2所示；

130560	130560	130560	130560
				130560	130560	130560	130560
130560	130560	130560	130560
				130560	130560	130560	130560

PI(i,j,1,90°)矩阵的前4行4列如表3所示；

表3

PI(i,j,1,135°)矩阵的前4行4列如表4所示

表4

进一步的，计算背景图像(如图9所示)在四个方向上的八邻域共生矩阵，分别是(以前4行4列为例进行示意)：

PB(i,j,1,0°)矩阵的前4行4列如表5所示；

表5

PB(i,j,1,45°)矩阵的前4行4列如表6所示；

表6

PB(i,j,1,90°)矩阵的前4行4列如表7所示；

表7

131072	131072	131072	131072
				131072	131074	131073	131072
131072	131074	131074	131072
				131072	131072	131072	131072

PB(i,j,1,135°)矩阵的前4行4列如表8所示；

表8

(2)计算当前图像的四个方向八邻域共生矩阵和背景图像的四个方向八邻域共生矩阵的差值绝对值，分别计算得到：

PI(i,j,1,0°)和PB(i,j,1,0°)差值的绝对值Δφ0＝0

PI(i,j,1,45°)和PB(i,j,1,45°)差值的绝对值Δφ45＝0

PI(i,j,1,90°)和PB(i,j,1,90°)差值的绝对值Δφ90＝7

PI(i,j,1,135°)和PB(i,j,1,135°)差值的绝对值Δφ135＝0；

(3)通过求取当前图像和背景图像的八邻域共生矩阵差值，对该差值的绝对值Δφ0、Δφ45、Δφ90、Δφ135进行判断；若所有方向上的共生矩阵差值小于设定的阈值，则混合高斯模型不更新，否则重新计算学习率α，更新混合高斯模型的参数；本实施例中设定该阈值为5；由于Δφ90＝7，大于该阈值，即混合高斯模型的学习率需要更新。

(4)学习率的更新

更新学习率的公式如式(6)所示，其中Δφ为当前图像的四个方向八邻域共生矩阵和背景图像的四个方向八邻域共生矩阵的差值绝对值中的最大值；在本实施例中，当前图像的四个方向八邻域共生矩阵和背景图像的四个方向八邻域共生矩阵的差值绝对值中的最大值是Δφ90，其值等于7，故将Δφ＝7代入(6)式；

进一步，采用改进的混合高斯建模可以得到如图10所示的网球运动员提取图像；从图10可以看到，该运动员的轮廓基本被提取出来；如此可以进一步对运动员进行相关分析。

二、现有未改进的混合高斯建模处理过程是与本方法采样同样一张图像，如图6所示，具体的，在一般的混合高斯建模中，可以采用八邻域灰度值计算的方法来判断是否更新学习率，步骤如下：

(1)获取当前图像I(x,y)，为了便于比较这里采用图8所示的网球运动员图像的反射图像；

(2)获取背景图像B(x,y)，为了便于比较这里采用图9所示的背景图像；

(3)根据公式(7)分别计算当前图像和背景图像的八邻域差值：

Δφ＝|(I(x,y)+I(x-1,y)+I(x-1,y-1)+I(x-1,y+1)+I(x+1,y)+I(x+1,y+1)+I(x+1,y+1)+I(x,y-1)+I(x,y+1))/9-(B(x,y)+B(x-1,y)+B(x-1,y-1)+B(x-1,y+1)+B(x+1,y)+B(x+1,y-1)+B(x+1,y+1)+B(x,y-1)+B(x,y+1))/9|(9)

如果Δφ的值大于设定的阈值时，则进行学习率的更新，否则不进行学习率的更新；这里更新率公式仍为公式(6)。

在本现有方案中中，阈值的选取为图像大小的0.1％；图像的大小为132*546，故图像总像素为72072，0.1％的像素数量为72，故设定阈值为72；根据公式(9)计算得到的八邻域差值为Δφ＝49，小于设定的阈值72，故不进行学习率的更新。

选择图8作为当前含有运动员的图像，图9作为背景图像；现有方案得到的网球运动员提取效果如图11所示。

由于没有更新学习率，而且本发明应用场景光线较暗，因此从图11可以看到，采用未改进混合高斯建模方法进行运动员提取时，并不能得到很好的处理效果，不能实现运动员的有效提取。

重要的是，应注意，在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案，但参阅此公开内容的人员应容易理解，在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下，许多改型是可能的(例如，各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如，温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如，示出为整体成形的元件可以由多个部分或元件构成，元件的位置可被倒置或以其它方式改变，并且分立元件的性质或数目或位置可被更改或改变。因此，所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中，任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构，且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下，可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此，本发明不限制于特定的实施方案，而是扩展至仍落在所附的权利要求书的范围内的多种改型。

此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。

应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：包括，

通过摄像头采集远动员图像，将采集到的图像汇总；

对原图像进行高斯滤波，获取得到入射图像；

将入射图像与原图像相减得到反射图像；

运动员提取。

2.如权利要求1所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：所述入射图像采用高斯低通滤波器获取；

其中，所述高斯低通滤波器的公式如下：

其中，D(x,y)由下式计算得到：

式中，P、Q分别表示图像的宽度和长度；

其中，入射图像L(x，y)的公式如下：

L(x,y)＝S(x,y)*H(x,y) (3)

式中，S(x，y)表示原图像，H(x,y)表示滤波器。

3.如权利要求1或2所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：所述反射图像R(x，y)的公式如下：

R(x，y)＝S(x，y)-L(x，y) (4)

式中，L(x，y)表示入射图像，S(x，y)表示原图像。

4.如权利要求3所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：根据四方向八邻域灰度共生矩阵判断对混合高斯模型进行学习率更新包括步骤：

对差值的绝对值进行判断；

学习率的更新。

5.如权利要求4所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：更新学习率的公式如式如下：

式中，Δφ表示差值的绝对值，e表示自然常数。

6.如权利要求4或5所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：对差值的绝对值进行判断包括步骤：

若差值的绝对值小于阈值时，保留学习率。

7.如权利要求6所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：通过摄像头采集远动员图像，将采集到的图像汇总包括步骤：

将摄像头架设在运动场地，获取运动比赛视频；

比赛视频导入计算机内，并对视频图像进行处理；

获取每帧运动员图像，将图像汇总保存。

8.如权利要求7所述的基于灰度共生矩阵调整学习率的图像识别方法，其特征在于：所述图像S(x，y)包括入射光图像L(x，y)和反射光图像R(x，y)。