CN113781523A - 一种足球检测跟踪方法及装置、电子设备、存储介质 - Google Patents
一种足球检测跟踪方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113781523A CN113781523A CN202111068773.XA CN202111068773A CN113781523A CN 113781523 A CN113781523 A CN 113781523A CN 202111068773 A CN202111068773 A CN 202111068773A CN 113781523 A CN113781523 A CN 113781523A
- Authority
- CN
- China
- Prior art keywords
- ball
- tracking
- algorithm
- result
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000011156 evaluation Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域,公开了一种足球检测跟踪方法及装置、电子设备、存储介质,包括:获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。本发明可以实现对俯视场景足球的稳定实时跟踪。
Description
技术领域
本申请涉及计算机视觉领域,尤其涉及一种足球检测跟踪方法及装置、电子设备、存储介质。
背景技术
目标检测跟踪是近年来计算机视觉领域中备受关注的前沿方向,它从包含运动目标的图像序列中检测、识别并跟踪目标,是例如自动驾驶、机器人控制、工业产品检测等相关工作的核心技术之一。但是由于图像序列中,感兴趣的目标可能存在遮挡、形变、尺度变化以及环境光照变化的问题,高精度高鲁棒的机器视觉目标检测跟踪还是一项艰巨的任务。
随着现代信息处理技术的发展,目标检测和跟踪有着突飞猛进的进展。在目标检测领域,基于模板匹配、颜色特征识别、特征点匹配的技术已经较为成熟。另一方面,基于神经网络的检测方法也在不断发展中,例如2014年Girshick等人提出的R-CNN、2016年Liu等人提出的SSD以及同年Joseph Redmon团队提出的YOLO系列网络。
在单目标目标跟踪领域上,也有着成熟的算法,并且大致可以分为两类,分别是基于神经网络的跟踪算法如Li等人提出的SiamRPN,Wang等人提出的SiamMask等和基于相关滤波的算法如KCF,DSST等算法。视频直播中,需要利用球的位置定向的调节摄像机的拍摄角度跟踪球,球的稳定跟踪是一个技术问题。但是足球在场地中的运动情况较为复杂,有着大量的遮挡现象。而且选择俯视的视角时,不仅存在遮挡、触球情况,球在图像中所呈现的像素点很少,小目标特征微弱,加大了检测和跟踪的难度。检测上,传统图像处理的方法对物体遮挡、形变、阴影、大小变化的情况鲁棒性差,对于特征微弱的目标匹配检测准确度低,而基于神经网络的方法一定程度上可以抑制物体形变、阴影、大小变化带来的影响,但是需要较大的算力和大量的数据进行训练,在推理速度上不及基于图像处理的方法,而且对于特征微弱的小目标检测准确率低,效果差。在跟踪上,神经网络算法对物体的遮挡、阴影干扰的鲁棒性较好,但是运算速度较慢,同时因为其根据第一帧模板进行跟踪,之后不再更新目标模板,容易发生漂移,而且足球运动速度快,容易出现目标丢失的情况。相关滤波算法运算速度快,但是对物体运动发生的遮挡,阴影干扰鲁棒性弱,容易发生漂移。
发明内容
本申请实施例的目的是提供足球检测跟踪方法及装置、电子设备、存储介质,提高了足球检测跟踪的鲁棒性和准确率,以解决传统的跟踪检测算法精度低,鲁棒性差容易发生漂移、容易发生丢失的技术问题。
根据本申请实施例的第一方面,提供一种足球检测跟踪方法,包括:
获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。
根据本申请实施例的第二方面,提供一种足球检测跟踪装置,包括:
获取模块,用于获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
检测模块,用于对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
判断模块,用于根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
跟踪模块,用于根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。
根据本申请实施例的第三方面,提供一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
由上述实施例可知,本申请通过使用全局检测算法获取球的初始位置,并通过点球点算法排除点球点带来的错误检测结果,从而获得正确的球的初始位置。之后采用基于多算法融合的跟踪算法对球进行跟踪实现了对球稳定高效鲁棒的跟踪。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种足球检测跟踪方法的流程图。
图2是根据一示例性实施例示出的待检测视频帧坐标示意图。
图3是根据一示例性实施例示出的点球点判断算法效果指示图。
图4是根据一示例性实施例示出的待检测RGB视频帧图。
图5是根据一示例性实施例示出的第一二值图。
图6是根据一示例性实施例示出的第二二值图。
图7是根据一示例性实施例示出的总二值图。
图8是根据一示例性实施例示出的球参考图。
图9是根据一示例性实施例示出的全局检测球位置指示图。
图10是根据一示例性实施例示出的局部待检测图。
图11是根据一示例性实施例示出的局部检测算法计算的第一、二和总二值图。
图12是根据一示例性实施例示出的局部检测球位置指示图。
图13是根据一示例性实施例示出的一种足球检测跟踪装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于多算法融合的俯视场景下的足球检测跟踪方法的流程图,参考图1,该方法可以包括以下步骤:
步骤S101,获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
步骤102,对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
步骤103,根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
步骤104,根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。
由上述实施例可知,本申请通过使用全局检测算法获取球的初始位置,并通过点球点判断算法排除点球点带来的错误检测结果,从而获得正确的球的初始位置。之后采用基于多算法融合的跟踪算法对球进行跟踪实现了对球稳定高效鲁棒的跟踪。
在步骤S101的具体实施中,获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
本实施例中,视频序列为连续前后多帧的俯视视角下的球场视频图像的集合。每张视频帧图像上的坐标建立如图2所示,由左上角,沿上边向右建立x轴正坐标,沿左边向下建立y轴正坐标。
在步骤102的具体实施中,对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
本实例中,使用全局检测算法对当前帧进行全局检测,获取球的初始位置,球的初始位置被表示为当前帧上一个矩形框,由其左上角坐标x,y和矩形框的高宽h,w,组成的序列[x,y,w,h]表示,如图2。本实施例中,当前帧是指由俯视场景下的连续视频集合中一张需要被处理的RGB颜色空间的三通道视频帧,如下图4所示。
采用全局检测算法进行检测,获得球的初始位置可以包括以下步骤:
步骤1021,采用图像预处理算法对所述视频图像进行处理,得到连通区域;
具体地,将所述当前帧由RGB颜色空间转化到HSV颜色空间,并采用高斯模糊对图像做平滑处理,设定阈值范围求出第一二值图像,如图5;
将当前帧由RGB颜色空间转化到灰度空间,并令所求灰度图为O。利用Sober算子求出所述灰度图的梯度信息,由x方向和y方向Sobel梯度算子计算出x,y方向梯度,算子表示如下
梯度信息结果被表示为
Gradx=Gx*O
Grady=Gy*O
*表示卷积运算,得到Gx,Gy卷积结果Gradx,Grady,所述梯度信息结果进行加权求和,所得到的梯度结果图为
Grad=αGradx+(1-α)Grady
本实施例中,α=0.5,通过Sobel算子计算得到的梯度信息图,再通过设定的阈值,计算得到二值图。通过形态学运算膨胀和腐蚀抑制噪声,本实施例中,先对二值图进行一次膨胀操作,再对结果做一次腐蚀操作,所得到的第二二值图,如下图6。
将所求第一二值图与第二二值图做与运算,获得总二值图如图7;对总二值图上求连通区域位置,得到连通区域。
步骤1022,使用连通域评价函数对每个连通区域进行评价,获得每个连通区域的评分;
具体地,将每个连通区域与圆的周长进行相似度评价,得到第一评分;将每个连通区域与圆的面积宽高比进行相似度评价,得到第二评分;将每个连通区域与球的参考图像的进行结构相似度评价,得到第三评分;将每个连通区域对应的所述第一评分、第二评分以及第三评分求和得到该连通区域的评分。
其中连通域第一评分根据定义表示为如下公式,当连通域越与圆相似,其值越接近于1。其中S为连通域面积,C为连通域周长。
第二评分根据定义被表示为如下公式,当连通域与圆越相近,其值越接近于1,其中H为连通域外接矩形的高,W为连通域外接矩形的宽。
第三评分为连通区域外接矩形所截取的当前帧图像与球的参考图像的结构相似度(SSIM)。当值越接近与1,表示与参考图像越相似。根据结构相似度的定义,第三评分计算公式如下,公式中,x表示由连通区域外接矩形所截取的当前帧图像数据,y表示球的参考图像,μx,μy分别表示图像x,y的图像平均值,表示图像x的方差,表示图像y的方差,σxy表示图像x,y的协方差,c1,c2为维持稳定的常数。
最后连通区域的总评分为Score,根据定义描述为
综上若联通区域越接近球,则三个部分分别越接近1。
本实施例中,所使用的球参考图像如下图8所示,球参考图像为从俯视场景拍摄下的球场图像中截取一帧的球图像。
步骤1023,将超过预定阈值的评分中的最高评分所对应的连通区域作为球的初始位置(及初始的全局检测位置)。
具体地,通过连通区域评价函数计算各个连通区域的评分,评分大于设定阈值并且评分最高的连通区域为球的全局检测位置,在未进入球跟踪前也即球的初始位置,由帧上一个矩形框,也即左上角坐标x、y和矩形框的高宽h、w组成的序列[x,y,w,h]表示。当没有评分超过设定阈值时,不返回结果,表示场上没有球的存在。本实施例中,所检测的结果显示在图9所示,该图中A表示球所在位置。
本申请用图像预处理算法对图像进行处理得到二值图,并通过二值图获得了图像中的连通域。根据设计的连通域评分函数,评价每一个连通域的分数,获得球的检测位置,实现了球的准确检测。具体地,图像预处理中,使用了Sobel算子获取了图像中的梯度信息,抑制了背景带来影响,使用HSV颜色空间转换并取特定阈值计算二值图抑制了图像总影子带来的干扰,并且使用形态学处理膨胀和腐蚀减少了独立噪点带来的影响。通过设计的连通域评分函数,综合考虑连通域的面积、周长、长宽比、图像结构相似度准确的从连通域中获得正确的球位置,多指标的使用提高了检测的正确性。
在步骤103的具体实施中,根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
该步骤可包括:采用霍夫圆检测当前帧中禁区位置的圆,并计算得到禁区圆的圆心;若检测位置在所述禁区圆圆心一定半径范围内,则所述检测位置是点球点;若检测位置在所述禁区圆圆心一定半径范围外,则所述检测位置不是点球点。
具体地,采用霍夫圆检测场景禁区位置的圆,并计算得到禁区圆的圆心(xc,yc);计算当前球位置中心点与禁区圆心之间的欧式距离,公式表示为:
设定阈值范围r0,当所计算距离r满足r≥r0时,球半径外,认为球不是点球点,反之,球在一定半径范围内,当前检测位置是点球点。所检测出的点球点位置与其所示范围如下图3中的实例图像中圆圈所示。
本实施例中,所获得的球初始位置不为点球点时,作为多算法融合的跟踪算法上一帧开始进行跟踪,当所获得的球初始位置是点球点时,获取下一帧视频帧图像并用全局检测算法进行全局检测。
在步骤104的具体实施中,根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。具体地,可以包括以下子步骤:
步骤S1041,根据所述球的上一帧位置结果,通过SiamFC++跟踪器计算球的第一位置结果;
具体地,使用已经完成了预训练的SiamFC++孪生神经网络构建跟踪器,使用以AlexNet为网络主干训练的预训练参数构建跟踪器,由球的初始位置所得到图像为模板初始化跟踪器,并由SiamFC++输出预测的球的第一位置结果,也即由左上角坐标x、y和矩形框的高宽h、w组成的序列[x,y,w,h]表示的矩形框。
步骤S1042,根据所述球的上一帧位置结果,通过卡尔曼滤波器计算目标的第二位置结果;
具体地,卡尔曼滤波器为线性卡尔曼滤波器,根据前一帧结果预测当前帧球的位置结果,输出球的第二位置结果,由帧上一个矩形框,也即左上角坐标x、y和矩形框的高宽h、w组成的序列[x,y,w,h]表示。
步骤S 1043,根据所述的第一位置结果与球的参考图像进行结构相似度计算;
具体地,球的参考图像与全局检测算法采用的球参考图像相同,并采用的SSIM结构相似度算法计算由第一位置结果所指示的矩形框对应的图像数据与球的参考图像的相似度。公式中,x表示由第一位置结果所指示的矩形框对应的图像数据,y表示球的参考图像,μx,μy分别表示图像x,y的图像平均值,表示图像x的方差,表示图像y的方差,σxy表示图像x,y的协方差,c1,c2为维持稳定的常数。
步骤S1044,若结构相似度高于设定阈值,则所述第一位置结果为最终跟踪位置结果,并更新卡尔曼滤波器;
具体地,所求的图像之间相似度的结果在0到1之间,设定一定的阈值SSIM0,当有SSIM0≥SSIM(x,y),时,认为第一位置结果所指示的矩形框是错误的,反之第一位置所指示的矩形框是正确的球位置。本实施例中,所设定的结构相似度阈值SSIM0=0.5,当计算的结构相似度大于0.5时认为所述第一位置结果为最终跟踪结果,并更新卡尔曼滤波。
步骤S1045,若结构相似度低于设定阈值,则根据第一位置结果,通过局部检测算法计算第三位置结果;
具体地,所设定的结构相似度阈值SSIM0=0.5,当计算的结构相似度小于0.5时,采用局部检测算法计算第三位置结果。
步骤S1046,若局部检测算法计算得到第三位置结果,则根据噪点检测算法中的扩展系数k对第三位置结果进行噪点检测;
本实例中,对第三位置结果进行噪点检测可通过噪点检测算法判定位置结果是否为噪点,包括:根据上一帧球位置结果,与当前帧球的位置结果之间计算欧式距离;若两者之间距离大于设定阈值,当前帧球位置结果是噪点;若两者之间距离小于设定阈值,当前帧球位置结果不是噪点。
具体地,扩展系数k是在噪点检测算法中的一个参数,是为了当出现多帧球检测或者跟踪丢失时可以调整噪点检测的判定阈值。噪点检测首获取前一帧球位置坐标(xn-1,yn-1),假设当前帧球位置结果为(xn,yn),则两帧之间运动的球欧氏距离为其中n∈{0,1,2...}。设定一个基础阈值d0,当d≥kd0时,判定当前球位置结果为噪点,反之当前帧球位置结果不是噪点。
本实施例中,设定d0=35pixel,采用扩展系数k对噪点判定的范围进行合理的扩展,提升算法对多遮挡情况的鲁棒性,同时一定程度上抑制了当前帧中的噪声带来的影响。
步骤S1047,若不为噪点,则所述的第三位置结果为最终跟踪结果,并根据所述第三位置结果初始化SiamFC++跟踪器、更新卡尔曼滤波器、初始化扩展参数k;
具体地,扩展参数初始化为将k赋值为1。当第三位置结果不为噪声点,也即重新检测到球,以所输出第三位置所框选的图像作为模板重新初始化SiamFC++,恢复SiamFC++跟踪器的跟踪,并更新卡尔曼滤波,对错误情况进行纠正。
步骤S1048,若为噪点或局部检测算法无法得到第三位置结果,则通过全局检测算法重新计算第三位置结果;
下面通过实施例对具体如何通过局部检测算法检测得到第三位置结果,可以包括以下步骤:
步骤S10481,获取上一帧球的跟踪位置结果,以上一帧球的位置为中心截取周围设定范围内的图像作为待检测图像。
具体地,上一帧球跟踪位置由在帧上的一个矩形框表示,也即序列[xn-1,yn-1,wn-1,hn-1],以此球跟踪结果为中心,按照设定的范围截取局部更大范围的图像数据,假设所扩展的范围为Scr,则所裁剪下的矩形范围同样可以其在帧上的左上角和右下角坐标组成的序列[x1,y1,x2,y2]来表示,也即可以由上一帧球位置和扩展范围Scr表示为
在本实施例中,取Scr=100pixels,以上一帧球结果的中心取一个边长为2Scr的正方形图像数据,作为待检测图像,如下图10所示。
步骤S10482,根据所述待检测图像,采用所述的图像预处理算法对所述待检测图像进行处理,得到连通区域;
具体地,所述图像预处理算法与全局检测算法所使用的的图像预处理算法相同,以相同的方式获得待测图像中的连通区域,依次可以得到第一,第二和总二值图如下图11。
步骤S10483,使用所述连通域评价函数对每个连通区域进行评价,获得每个连通区域的评分;
具体地,所述连通域评价函数与全局检测算法所使用的连通域评价函数相同,以此函数计算每个连通域的评分。
步骤S10484,将超过预定阈值的评分中的最高评分所对应的连通区域作为球的第三位置结果。
具体地,计算出连通域的评分后,选择超过设定阈值并且评分最高的连通域的外接矩形为球的第三位置结果也即由[x,y,w,h]所表示的序列,本实施例中,设定阈值为2。当评分没有超过设定阈值时不返回检测的结果,认为所检测图像中不存在球。本实施例中,所检测出的结果如下图12中所示,该图中A表示球位置。
由上述实施例可知,本申请所使用的的局部检测算法通过上一帧球位置截取球周围范围设定范围的矩形框进行球检测,实现了球的检测,并减少了噪声带来的干扰,减少计算量。具体地,由于球的运动具有连续性,当前帧的球位置大概率在上一帧球位置的附近,通过截取周围在上一帧周围范围内图像进行检测可以减少计算量,并且因为未被截取的部分不进行检测,规避了其他噪声带来的影响。检测算法使用Sobel算子和HSV颜色空间转化计算二值图,可以抑制球场上影子带来的影响。
步骤S1049,若全局检测算法得到全局检测位置,则所述全局检测位置为第三位置结果,则扩展系数k对所述第三位置结果进行噪点检测;
步骤S10410,若不为噪点,则所述的第三位置结果为最终跟踪结果,并根据所述第三位置结果初始化SiamFC++跟踪器并更新卡尔曼滤波器,初始化扩展参数k;
步骤S10411,若为噪点或全局检测算法不能得到全局检测位置,则所述第二位置结果为最终跟踪结果,并将扩展参数k加一;
由上述实施例可知,本申请采用了多算法融合的跟踪算法对球进行跟踪,将SiamFC++跟踪器、全局检测算法、局部检测算法和卡尔曼滤波算法采用分支的方式进行融合,实现了对球稳定高效鲁棒的跟踪,解决了球场上球运动速度快、遮挡情况多、影子和噪声干扰明显、球目标小特征微弱的实际问题。具体地,采用了分支的方式进行多算法的融合减少了计算量,提高效率减少资源消耗,并通过融合的方式综合各算法的优点,提升算法的鲁棒性。采用卡尔曼滤波算法对下一帧进行直接预测,因为球在飞行过程中近似满足线性运动,可以很好的由卡尔曼滤波算法进行预测,解决了球在遮挡情况下难以跟踪的问题。采用孪生神经网络SiamFC++作为跟踪器,可以很好的抑制阴影、交叉、噪声、尺度变化带来的干扰,并且神经网络在大量的数据集上进行过预训练,特征获取的能力强,可以克服球目标小特征微弱带来的问题。采用局部检测算法,选取局部范围的图像进行球检测,提高了发生球跟踪错误或丢失情况下的自动纠偏能力,不仅减少了计算量,而且通过截取的方式减少噪声带来的干扰,实现更加高效鲁棒的跟踪球。采用全局检测算法,在局部检测算法无法获取球目标时,提供更大范围的检测,提升了跟踪算法在球跟踪错误或者丢失情况下的自动纠偏能力。所采用的检测算法,通过使用Sobel算子和HSV颜色空间转化进行二值图计算,可以抑制了影子带来的干扰。所述检测算法采用的连通域评价函数综合考虑多项指标,可以解决球目标小特征微弱引起检测困难的问题。
该方法还可以包括:在步骤S103中若是点球点,可以对所当前帧的下一帧采用全局检测算法进行检测,直到获得球的初始位置(即回到步骤S102,构成循环)。
该方法还可以包括:步骤105,判断是否需要重新检测球,若跟踪帧数f大于设定帧数,则对下一帧采用全局检测算法重新计算,获得球的初始位置;若跟踪帧数f小于设定帧数,则通过多算法融合跟踪算法继续计算下一帧位置。
本实例中,跟踪帧数f可以设定为一个固定值,当达到设定值时重新进行图像检测,当没有达到设定值时继续由多算法融合跟踪算法计算下一帧位置。通过设定一定的跟踪帧数来固定的重新初始化可以在出现错误跟踪时自动纠正目标,提升了跟踪算法自动纠偏的能力。
由上述实施例可知,本申请因为采用了点球点判断算法,所以克服了点球点带噪声问题,实现了更高准确率的球检测。
本申请因为采用了多算法融合的跟踪算法,克服了球场上大量遮挡、触球、以及目标特征微弱目标小的问题,实现了更加鲁棒的跟踪。
本申请因为使用了卡尔曼滤波器作为融合算法的其中之一,克服了球场上遮挡现象多、球员触球多带来的目标丢失问题,实现更加鲁棒的跟踪。
本申请因为使用了固定帧数重新检测球的方法,克服了孪生网络获取第一帧模板后不更新引起的漂移以及错误跟踪目标的情况,实现了更加准确鲁棒的跟踪。
本申请因为使用了Sobel算子和HSV算子去噪的球检测算法,克服了球阴影和球目标小、球特征微弱的问题,实现了更准确更鲁棒的球检测。
本申请因为使用了分支式的多算法融合方式,克服了多个算法并行带来的计算量增大,实现了更加简易高效的检测跟踪算法。
本申请因为使用了连通域评价函数,克服了从大量噪声中获取球的连通区域的问题,实现了从连通区域中获取球位置的检测。
本申请因为使用了局部检测算法,克服了整张图像上噪声多、计算量的问题,实现了更高效更精确的球检测。
本申请因为使用了噪点检测算法,克服了出现目标丢失、跟踪错误情况无法自动纠正的问题,实现了更加鲁棒的球跟踪。
与前述的足球检测跟踪方法的实施例相对应,本申请还提供了足球检测跟踪装置的实施例。
图13是根据一示例性实施例示出的一种足球检测跟踪装置框图。参照图13,该装置包括:
获取模块21,用于获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
检测模块22,用于对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
判断模块23,用于根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
跟踪模块24,用于根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本申请还提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述的足球检测跟踪方法。
相应的,本申请还提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如上述的足球检测跟踪方法。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种足球检测跟踪方法,其特征在于,包括:
获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。
2.根据权利要求1所述的方法,其特征在于,对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置,包括:
采用图像预处理算法对所述视频图像进行处理,得到连通区域;
使用连通域评价函数对每个连通区域进行评价,获得每个连通区域的评分;
将超过预定阈值的评分中的最高评分所对应的连通区域作为球的初始位置。
3.根据权利要求2所述的方法,其特征在于,采用图像预处理算法对所述视频图像进行处理,得到连通区域,包括:
将所述视频图像转化到HSV的颜色空间,设定阈值范围求出第一二值图像;
利用Sober算子求出所述视频图像的梯度信息,设定阈值求出第二二值图;
将所求第一二值图与第二二值图做与运算,获得总二值图;
对总二值图上求连通区域位置,得到连通区域。
4.根据权利要求2所述的方法,其特征在于,使用相似评价函数对每个连通区域进行评价,获得每个连通区域的评分,包括:
将每个连通区域与圆的周长进行相似度评价,得到第一评分;
将每个连通区域与圆的面积宽高比进行相似度评价,得到第二评分;
将每个连通区域与球的参考图像的进行结构相似度评价,得到第三评分;
将每个连通区域对应的所述第一评分、第二评分以及第三评分求和得到该连通区域的评分。
5.根据权利要求1所述的方法,其特征在于,根据点球点判断算法,判断所述球的初始位置是否是点球点,包括:
采用霍夫圆检测当前帧中禁区位置的圆,并计算得到禁区圆的圆心;
若检测位置在所述禁区圆圆心一定半径范围内,则所述检测位置是点球点;
若检测位置在所述禁区圆圆心一定半径范围外,则所述检测位置不是点球点。
6.根据权利要求1所述的方法,其特征在于,根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述视频序列进行跟踪,获得跟踪位置结果,包括:
根据所述球的上一帧位置结果,通过SiamFC++跟踪器计算球的第一位置结果;
根据所述球的上一帧位置结果,通过卡尔曼滤波器计算球的第二位置结果;
根据所述的第一位置结果与球的参考图像进行结构相似度判定,所述球参考图像为从俯视场景拍摄下的球场图像中截取一帧的球图像;
若结构相似度高于设定阈值,则所述第一位置结果为最终跟踪位置结果,并更新卡尔曼滤波器;
若结构相似度低于设定阈值,则根据第一位置结果,通过局部检测算法进行第三位置结果的计算;
若局部检测算法计算得到第三位置结果,则根据噪点检测算法中的扩展系数k对第三位置结果进行噪点检测;
若不为噪点,则所述的第三位置结果为最终跟踪结果,并根据所述第三位置结果初始化SiamFC++跟踪器、更新卡尔曼滤波器、初始化扩展参数k;
若为噪点,则通过全局检测算法重新计算第三位置结果;
若局部检测算法无法得到第三位置结果,则通过全局检测算法检测,获得球的全局检测位置;
若全局检测算法检测得到求得全局检测位置,则所述全局检测位置为第三位置结果,则根据所述的扩展系数k对所述第三位置结果进行噪点检测;
若不为噪点,则所述的第三位置结果为最终跟踪结果,并根据所述第三位置结果初始化SiamFC++跟踪器并更新卡尔曼滤波器,初始化扩展参数k;
若为噪点,则所述第二位置结果为最终跟踪结果,并将扩展参数k加一;
若全局检测算法不能检测得到全局检测位置,则所述第二位置结果为最终跟踪结果,并将扩展参数k加1。
7.根据权利要求6中所述的方法,其特征在于,通过局部检测算法检测得到第三位置结果,包括:
根据上一帧球位置结果,以上一帧球的位置为中心截取周围设定范围内的图像作为待检测图像。
根据所述待检测图像,采用所述的图像预处理算法对所述待检测图像进行处理,得到连通区域;
使用所述连通域评价函数对每个连通区域进行评价,获得每个连通区域的评分;
将超过预定阈值的评分中的最高评分所对应的连通区域作为球的第三位置结果。
8.一种足球检测跟踪装置,其特征在于,包括:
获取模块,用于获取俯视视角下的球场视频序列,所述球场视频序列为连续帧的视频图像;
检测模块,用于对所述球场视频序列中的当前帧采用全局检测算法进行检测,获得球的初始位置;
判断模块,用于根据点球点判断算法,判断所述球的初始位置是否是点球点,若不是点球点,则所述球的初始位置为上一帧位置结果;
跟踪模块,用于根据所述上一帧位置结果,通过多算法融合的跟踪算法对所述球场视频序列进行跟踪,获得跟踪位置结果。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111068773.XA CN113781523B (zh) | 2021-09-13 | 2021-09-13 | 一种足球检测跟踪方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111068773.XA CN113781523B (zh) | 2021-09-13 | 2021-09-13 | 一种足球检测跟踪方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113781523A true CN113781523A (zh) | 2021-12-10 |
CN113781523B CN113781523B (zh) | 2024-04-26 |
Family
ID=78843069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111068773.XA Active CN113781523B (zh) | 2021-09-13 | 2021-09-13 | 一种足球检测跟踪方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113781523B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422712A (zh) * | 2022-03-29 | 2022-04-29 | 深圳市海清视讯科技有限公司 | 球体检测跟踪方法、装置、电子设备及存储介质 |
CN115222771A (zh) * | 2022-07-05 | 2022-10-21 | 北京建筑大学 | 一种目标跟踪方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100026809A1 (en) * | 2008-07-29 | 2010-02-04 | Gerald Curry | Camera-based tracking and position determination for sporting events |
CN104881882A (zh) * | 2015-04-17 | 2015-09-02 | 广西科技大学 | 一种运动目标跟踪与检测方法 |
CN105139419A (zh) * | 2015-08-03 | 2015-12-09 | 硅革科技(北京)有限公司 | 一种足球比赛视频的球员及球体跟踪方法 |
CN105678732A (zh) * | 2014-11-18 | 2016-06-15 | 北京数码视讯科技股份有限公司 | 一种点球、角球和任意球关键帧的检测方法和装置 |
CN106991685A (zh) * | 2016-01-20 | 2017-07-28 | 上海慧体网络科技有限公司 | 一种在全景模式下对球赛视频中足球进行跟踪的算法 |
CN206444125U (zh) * | 2016-12-30 | 2017-08-29 | 昆山福斯巴智能科技有限公司 | 足球点球训练装置 |
KR20180066474A (ko) * | 2016-12-09 | 2018-06-19 | 한국전자통신연구원 | 모션 기반 축구 이벤트 검출 장치 및 방법 |
CN109069903A (zh) * | 2016-02-19 | 2018-12-21 | 沛勒尔维珍公司 | 用于监测体育事件中的对象的系统和方法 |
CN110213611A (zh) * | 2019-06-25 | 2019-09-06 | 宫珉 | 一种基于人工智能视觉识别技术的球类赛场摄像实现方法 |
CN112446333A (zh) * | 2020-12-01 | 2021-03-05 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于重检测的球类目标跟踪方法及系统 |
-
2021
- 2021-09-13 CN CN202111068773.XA patent/CN113781523B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100026809A1 (en) * | 2008-07-29 | 2010-02-04 | Gerald Curry | Camera-based tracking and position determination for sporting events |
CN105678732A (zh) * | 2014-11-18 | 2016-06-15 | 北京数码视讯科技股份有限公司 | 一种点球、角球和任意球关键帧的检测方法和装置 |
CN104881882A (zh) * | 2015-04-17 | 2015-09-02 | 广西科技大学 | 一种运动目标跟踪与检测方法 |
CN105139419A (zh) * | 2015-08-03 | 2015-12-09 | 硅革科技(北京)有限公司 | 一种足球比赛视频的球员及球体跟踪方法 |
CN106991685A (zh) * | 2016-01-20 | 2017-07-28 | 上海慧体网络科技有限公司 | 一种在全景模式下对球赛视频中足球进行跟踪的算法 |
CN109069903A (zh) * | 2016-02-19 | 2018-12-21 | 沛勒尔维珍公司 | 用于监测体育事件中的对象的系统和方法 |
KR20180066474A (ko) * | 2016-12-09 | 2018-06-19 | 한국전자통신연구원 | 모션 기반 축구 이벤트 검출 장치 및 방법 |
CN206444125U (zh) * | 2016-12-30 | 2017-08-29 | 昆山福斯巴智能科技有限公司 | 足球点球训练装置 |
CN110213611A (zh) * | 2019-06-25 | 2019-09-06 | 宫珉 | 一种基于人工智能视觉识别技术的球类赛场摄像实现方法 |
CN112446333A (zh) * | 2020-12-01 | 2021-03-05 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于重检测的球类目标跟踪方法及系统 |
Non-Patent Citations (1)
Title |
---|
杨斌: "足球比赛视频中的目标检测与跟踪算法研究", 《计算机测量与控制》, vol. 25, no. 9, pages 266 - 268 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422712A (zh) * | 2022-03-29 | 2022-04-29 | 深圳市海清视讯科技有限公司 | 球体检测跟踪方法、装置、电子设备及存储介质 |
CN114422712B (zh) * | 2022-03-29 | 2022-06-24 | 深圳市海清视讯科技有限公司 | 球体检测跟踪方法、装置、电子设备及存储介质 |
CN115222771A (zh) * | 2022-07-05 | 2022-10-21 | 北京建筑大学 | 一种目标跟踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113781523B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462200B (zh) | 一种跨视频行人定位追踪方法、系统及设备 | |
CN108805904B (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
CN109389086B (zh) | 检测无人机影像目标的方法和系统 | |
Chang et al. | Tracking Multiple People Under Occlusion Using Multiple Cameras. | |
CN106875419B (zh) | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
CN110728697A (zh) | 基于卷积神经网络的红外弱小目标检测跟踪方法 | |
CN111369495B (zh) | 一种基于视频的全景图像的变化检测方法 | |
CN113781523B (zh) | 一种足球检测跟踪方法及装置、电子设备、存储介质 | |
Lipschutz et al. | New methods for horizon line detection in infrared and visible sea images | |
CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
CN117036404A (zh) | 一种单目热成像同时定位与建图方法和系统 | |
CN109671084B (zh) | 一种工件形状的测量方法 | |
JP2009069019A (ja) | 目標検出装置および目標検出方法 | |
CN113780181A (zh) | 基于无人机的足球比赛越位判断方法及装置、电子设备 | |
CN107194954B (zh) | 多视角视频的球员追踪方法和装置 | |
CN107248175B (zh) | 一种基于圆投影匹配算法的tld目标跟踪方法 | |
CN117611525A (zh) | 一种受电弓滑板磨耗视觉检测方法和系统 | |
CN109741370B (zh) | 一种目标跟踪方法和装置 | |
CN101567088B (zh) | 一种运动物体检测的方法和装置 | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
CN111192280A (zh) | 一种基于局部特征的视盘边缘检测方法 | |
CN113409334B (zh) | 一种基于质心的结构光角点检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |