CN101681433B - 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置 - Google Patents

通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置 Download PDF

Info

Publication number
CN101681433B
CN101681433B CN200780053128.2A CN200780053128A CN101681433B CN 101681433 B CN101681433 B CN 101681433B CN 200780053128 A CN200780053128 A CN 200780053128A CN 101681433 B CN101681433 B CN 101681433B
Authority
CN
China
Prior art keywords
pixel
skeleton
point
beta pruning
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780053128.2A
Other languages
English (en)
Other versions
CN101681433A (zh
Inventor
黄宇
琼·莱克
希塔拉姆·巴格沃希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101681433A publication Critical patent/CN101681433A/zh
Application granted granted Critical
Publication of CN101681433B publication Critical patent/CN101681433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于在足球视频帧中检测和定位球员而不会产生由于伪像造成的错误的方法,所述方法通过基于形状分析的途径,从通过彩色图像分割和连通域分析获得的大致提取的前景中识别球员和球,通过执行欧几里得距离变换来提取每个前景区块的骨架,通过执行形状分析来去除错误警报(非球员和非球物),并且随后通过执行骨架剪枝和逆欧几里得距离变换来切除主要由于运动场界线造成的伪像。

Description

通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
相关申请的交叉引用
本专利申请要求于2007年3月26日提交的美国临时专利申请No.60/919,971的利益,在此特别地引用其整体作为参考。
技术领域
本发明一般涉及用于检测视频帧中的对象的方法和装置,更具体地,涉及一种使用彩色图像分割(color segmentation)和形状分析(shape analysis)技术检测足球视频中的球员和球的方法和装置。
背景技术
在足球视频中,足球球员和球是最重要的对象,因为它们代表关于比赛的每一瞬间的大量信息。球员和球的检测和跟踪已经被各种各样的应用所推动,例如,事件检测、策略分析、自动索引/总结和基于对象的压缩。
用于在足球视频中定位球和球员的已知方法可被分为两种截然不同的组:第一组方法使用在受控的环境中通常被预先校准的固定的摄像机,而第二组方法利用常规的广播视频。尽管前者可以提供更好的性能,但是后者似乎更灵活。
由于足球是吸引许多观众的体育比赛,因此运动场、界线、球和球员的球衣被设计成在颜色上可视觉地区分。不管这种视觉区分如何,球员和球的检测不会是毫无差错的。第二组方法中的某些途径已经尝试通过使用彩色图像分割和使用形态学操作的后处理,例如连通域分析(connected componentanalysis),首先发现草地运动场以便限制搜索区域,来减轻检测难度。但是仍旧会出错。错误可被至少分为错误警报和伪像(artifact)。错误警报是指非球员被识别和检测为球员或者非球物被识别和检测为球。伪像是当运动场上的界线例如与被检测球员的部分融合时发生的。
因此,需要一种用于基本上消除在足球视频中检测足球球员和足球中出现的错误的方法。
发明内容
根据本发明的至少一方面,通过以下步骤来实现基本消除在足球视频中检测和定位足球球员和足球中的错误:基于形状分析的途径从通过彩色图像分割和连通域分析获得的大致提取的前景中识别球员和球;通过执行欧几里得距离变换来提取每个前景区块(foreground blob)的骨架(skeleton);通过执行形状分析来去除错误的警报(非球员和非球物);以及随后通过执行骨架剪枝(pruning)和逆欧几里得距离变换(Euclidean distance transform)来切除主要由运动场界线产生的伪像。
附图说明
本发明的上述和其它特征和优点、以及实现它们的方式将变得更加明显,并且通过参考结合附图进行的本发明实施例的下列描述,本发明将更好理解,其中:
图1图示了根据本发明原理的用于球场检测和前景区块提取的示例性方法;
图2图示了根据本发明原理的用于检测隔离的球员和隔离的球以及伪像去除的示例性方法;和
图3图示了根据本发明原理的用于伪像去除的示例性详细的方法。
此处阐述的示例性实施例图示了本发明的优选实施例,并且所述示例性实施例将不会被理解为以任何方式限制本发明的范畴。
具体实施方式
将会理解,关于其上举行足球比赛的场地(pitch),术语例如“球场”、“运动场”和“足球场”意味着相同的意思。进一步理解,对“球员”的引用同样意味着包括球员和/或裁判。本发明的原理不限于足球场,而可应用于其它比赛场景,例如篮球、棒球、橄榄球、网球和排球场地。它们也可应用于爬山场景。
如上所提到的,足球视频中最具信息性的特征也许是颜色:球场是绿色的,界线是白色的,球通常是白色或亮色的,并且球队以及裁判至少穿着使得他们能够被容易地区分开来的运动衫。在其它场景中,运动场(背景)的颜色和非运动场(前景)的颜色可以是不同的。例如,足球的颜色通常是白色的,但是篮球的颜色通常是橙色的。对于比赛的持续时间,人们理解为,假设感兴趣对象(OOI)位于运动场区域内。因此,基于彩色图像分割的球场的提取在自动足球视频分析中扮演着重要的角色。
存在许多种方式来表示运动场颜色。一种相对简单的表示足球场颜色的方式是使用通过在大数据集上的先前统计而获得的恒定平均颜色值(constantmean color value)。视频帧中被选像素与场地的平均值之间的颜色间隔(colordistance)被用来确定被选像素是否属于用于运动场的像素集。由于足球场大致为绿色,因此可以使用史密斯的六角锥模型(Smith’s hexagonal cone model)中定义的色调分量来检测给定某一范围的绿色像素。人们理解为,尽管足球场通常是绿色的,但是基于由照明图案(例如,自然的相对人工照明和阴影)和场地特性(例如磨损区域、割草图案、长草图案等)造成的外观,它可以在色调上展示一些不同。
可以利用直方图来作为用于球场的非参数颜色模型。在某些应用中,优选地发现某一主导颜色,假设该场地具有均匀的绿色并且在每一帧中占据最大面积。单一高斯统计或者高斯(MoG)混合统计可被学习来表示场地的彩色模型,并且递增地被期望最大(expectation-maximization,EM)算法所采用。
现在参考附图,并且更具体地参考图1,图1中示出了用于从足球视频图像帧中检测和提取运动场的示例性方法。使用标题来辅助读者定位和识别整个发明方法中执行的一般操作。
运动场像素检测器
在图1中所示的方法的步骤110中执行运动场检测。通过应用于来自图像帧的运动场像素的简单直方图学习(histogram learning)技术来实现检测。在这种技术中,在红绿蓝(RGB)颜色空间中每通道(channel)具有N个长方形(bin)的颜色直方图被定义为一般颜色模型。上下文中的通道是指红色、绿色和蓝色分量。这种一般颜色模型能够以现有技术中已知的许多方式来开发,例如通过基于足球比赛视频的训练组的现有学习。在这样的视频训练组中,可以按手动方式或者半监督方式来标记运动场像素和非运动场像素。之后,基于它的RGB颜色矢量,每个被标记的运动场像素被放置到运动场直方图的合适长方形。对于标记为非运动场的像素执行类似的处理。直方图计数以下列一般方式被转换为离散的条件概率分布:
P ( rgb / playfield ) = f ( rgb ) T f , P ( rgb / non _ playfield ) = n ( rgb ) T n ,
其中f(rgb)给出运动场直方图的长方形rgb中的计数,n(rgb)是非运动场直方图的长方形rgb中的计数,以及Tf和Tn是通过分别对运动场和非运动场直方图中的所有长方形上的各个计数求和而定义的总计数。
使用上面的概率信息,通过使用条件概率的标准似然率方式可以实现运动场像素分类符(classifier)。例如,特定RGB值被标记运动场,如果:
P ( rgb / playfield ) P ( rgb / non _ playfield ) ≥ φ ,
其中0≤Φ≤1是界线之间可被调节的阈值,以便实现正确检测和假阳性(falsepositive)之间的适当折衷。假阳性发生在当例如非运动场像素被标记为运动场像素时。相反,假阴性发生在当例如运动场像素被标记为非运动场像素时。
阈值Φ随后可被表示为先验概率和假阳性和假阴性的成本的函数,例如:
φ = c p P ( non _ playfield ) c n P ( playfield ) ,
其中cp和cn分别是假阳性和假阴性的应用相关成本。运动场的先验概率可被推导为Tf/(Tf+Tn),而非运动场的先验概率可被推导为Tn/(Tf+Tn)。
基于接收机操作特性(ROC)曲线,可以选择每通道的长方形数目N和检测阈值Φ,所述ROC曲线描绘了正确检测的概率相对于错误检测的概率,并且每通道的长方形的数目在例如对于N为32到256个长方形的范围值上变化。正确检测的概率被定义为标记为运动场的、从而被正确地分类的像素的分数。错误检测的概率被定义为被标记为非运动场的、从而被不正确地分类的像素的分数。随着ROC曲线下的区域增加,检测性能改善。从实验上来看,已经发现N=128个长方形给出了适当的结果。然后能够选择合适的操作点来实现正确检测的概率与错误检测(即假阳性)的概率之间的合适的应用相关折衷。与该操作点对应的检测阈值Φ随后用于上面公式的像素分类。在实验上的一个示例中,已经选择长方形数目N=128和阈值Φ=0.1来实现0.935的正确检测概率和0.057的错误检测概率。
作为步骤110中的运动场像素检测的结果,处理每一帧以便产生二进制掩码。像素值被分类为二进制“1”或二进制“0”。
运动场提取
形态过滤(morphological filtering),包括侵蚀(erosion)及之后的扩大(dilation)的操作,被应用于步骤120中的帧的二进制掩码,以便消除噪声并且使得区域均匀。形态过滤是一个用于图像增强的已知处理,用于简化图像并且从而方便感兴趣对象的搜索。它通常包括修改图像内的对象的空间形状或结构。扩大和侵蚀是两个基本的形态过滤操作。扩大允许对象扩张,从而潜在地填充小孔并且连接分离的对象。侵蚀是相对于扩大的互补操作,通过蚀刻掉(侵蚀)它们的边界来侵蚀收缩对象。通过结构元素的合适选择可以对每种应用定制这些操作,这精确地确定对象将被如何扩大或侵蚀。
利用步骤130中的连通域分析(CCA)来扫描二进制掩码并且基于像素连通性将该掩码像素分组为连通域。也就是,连通域中识别的像素共享相同的二进制值,并且它们在某一方面彼此连接,例如4-连通性或8-连通性,也被分别称作4-点和8-点相邻系统。连通域分析工具和技术为现有技术中公知,因此此处不再进行描述。
在步骤140,运动场被理解为包括图像中的数个连通域,每个的尺寸比给定面积阈值要大。该步骤允许相对于阈值测试所有运动场域,因此可以去除较小的运动场域。在步骤150,通过填充由连通域边界定义的每个较大连通域的内部来获得运动场掩码。在步骤160中,将异或函数应用于步骤140和150中的输出掩码,以便产生所提取的运动场区域的掩码。
前景区块检测
随后在步骤170和180中执行前景区块提取。区块简单地是连通像素分组区域。理想地,从步骤160中提取的运动场范围内的非运动场像素被期望为可以通过连通域分析被分组为不同前景区块的前景像素。由于球是相对小的感兴趣对象并且通常尺寸小于30个像素,因此在对像素分组为不同区块以便仅使得区域均匀之前它只能够执行扩大。在形态过滤步骤中这一阶段执行侵蚀将通过可能擦除球而损坏图像。随后必须通过真实对象的外观模型的外形分析以及使用来去除图像的某一范围中的噪声。
对象外观
在球场的长视角镜头中,比赛场面上的所有线条和弧线,例如边界外的区域、中心线、罚球区和其它辅助线条,看起来是白色或近似白色。类似地,对于那些场地的长视角镜头来说,足球看起来接近白色,而不管足球上有任何图案或标识。一种用于在每个前景区块中识别白色像素的简单方法如下所述:
Figure G2007800531282D00061
其中r(x,y)和b(x,y)是针对特定像素(x,y)的规格化红色和蓝色分量,I(x,y)表示像素(x,y)的强度值,以及W(x,y)是像素(x,y)的白色像素掩膜。阈值a和b通过实验来确定。
基本形状分析
每个区块的区域属性通过一些基本形状描述符可被分类为如下:
1.周长,P,分界线中的像素的数目;
2.面积,A,像素的数目;
3.长轴/短轴,CL和CS,其中CL是最长的弦(chord),CS是与CL垂直的弦;
4.圆度,F,被定义为F=P2/(4πA);和
5.偏心率,E,被定义为E=CL/CS
对于如下所述的孤立球检测,在此处描述的有创造性的方法中最初使用如上所述的每个区块的区域属性。
骨架和距离变换
骨架给出了一种形状的直观简明的描绘。骨架的一个重要特征是将一种形状的拓扑属性与该形状的几何属性分离开来。骨架,如其名称所暗示的,是一组近似感兴趣对象形状的局部对称轴的曲线。骨架的可替换的定义基于距离变换。
距离变换或距离映射是一种函数,用于对于一种形状内的给定点,计算从该给定点到最接近该给定点的那种形状的形状上的点的距离。对于尺寸m×n的前景二进制掩码W,W表示W的互补掩码,W包括一组背景像素。其平方距离变换(SDT)通过如下形状映射H={h(x,y)}给出:
h(x,y)=min{(x-i)2+(y-j)2;0≤i<m,0≤j<n,(i,j)∈W},
对于一组前景像素V和尺寸m×n的画面F={f(x,y)},当像素(x,y)属于前景像素组V时,f(x,y)被设定为平方距离变换值h(x,y),否则,f(x,y)被设定为0。结果,V的逆欧几里得距离变换(REDT)由一组点W组成,如下:
W={(x,y)|max{f(i,j)-(x-i)2-(y-j)2}>0,对于0≤i<m,0≤j<n和(i,j)∈F}。
因此,形状映射H={h(x,y)}可以使用画面F如下进行计算:
h(x,y)=max{f(i,j)-(x-i)2-(y-j)2,对于0≤i<m,0≤j<n和(i,j)∈F}。
然后,通过从上面计算的形状映射H中提取严格的正值的所有像素,能够获得W。
骨架描述符
假设形状H={h(x,y)}的平方距离变换,它的骨架Ske被定义为如下:
Figure G2007800531282D00071
max ( u , v ) { h ( u , v ) - ( x - u ) 2 - ( y - v ) 2 } = h ( x , y ) - ( i - x ) 2 - ( j - y ) 2 } .
通过将上面公式与上面讨论的REDT的定义相比较,可以看出,通过将逆欧几里得(reverse Euclidean)距离变换运算应用于其中仅标记上包络椭圆抛物面形状的平方距离变换,可以得到骨架Ske。
逆欧几里得距离变换基于Power图构造(Power diagram construction)如下:
给定一组地点S={si},Voronoi图是将平面分解到单元C={ci}(每一地点一个单元),因此,对于开放单元ci中的每个点p,它比任何其它地点sj(i≠j)更接近地点si
Power图是一种基于由下列等式限定的Power函数推导出的度量衡的voronoi图:
σi(p)=d(p,si)-f(i)2
其中f(i)是与每个地点si相关的半径,并且d(·)是欧几里得距离函数。Power标签(power labeling)向平面的每个点分配在Power曲线中包含它的单元的指数。
逆欧几里得距离变换与Power标签中的非空单元的计算相关联。因此,骨架对应于Power曲线中的非空单元。
基于所提取的骨架,可用于形状分析的附加描述符可被计算如下:
1.骨架的长度Ls;
2.覆盖面CSke,其被定义为与骨架点相关联的Power标签中的像素的数目;
3.骨架的最大厚度dmax,其是相应区块的最大厚度;
4.延长A/(2dmax)2;和
5.纵横比LS/dmax
所提取的骨架及其描述符在此处所述的有创造性的方法中被最初用于球员检测和通过骨架剪枝的伪像去除,如下所述。
孤立球检测
基本形状分析证明是对孤立球检测的更重要的工具。球在视频的长距离帧中看起来是相对小的区块,从而使得骨架描述符的使用不太可靠。
对于表示球的区块的面积A存在预先定义的范围。该范围取决于关于运动场的摄像机配置。而且,在与球对应的区块中由颜色模型所检测的白色像素W(x,y)的比例表示区块作为球的概率。感兴趣区块的圆度F和偏心率E应当接近于1.0,以便区块被认为是球。后两个特征不同于场地线的不连续分段的E和F。
对此,能够通过如下计算函数B来检测作为球的特定区块:
其中pW=C{(x,y)|W(x,y)=1}/A,C{·}是白色像素的数目的计数,并且所有阈值rw、armin、armax、fmax和emax是以实验来确定的。当函数B等于1时,区块被检测为球;否则,区块被检测为不是球。
图2中示出了如应用于孤立球检测的形状分析处理。图2中的处理被如下应用于每个区块。在步骤210中,为了去除那些太小而不是球和人体对象的区块,可以将区块面积A与最小阈值armin进行比较。如果区块面积A超过阈值,则区块的处理继续到步骤220;否则,去除该区块(即,B=0),如步骤211中所示。
在步骤220中,将区块面积A与最大阈值armax相比较。如果区块面积A小于阈值,则区块的处理继续到步骤230;否则传送该区块用于进一步处理到步骤240。
在步骤230中,区块的白色比pw、圆度F和偏心率E相对于它们各自的阈值rw、fmax和emax而被测试,如上面等式所示。在步骤230中被测试的所有特征满足此处所示的它们相应的标准的情况下,在步骤232中确定感兴趣区块是球(即,B=1);否则,去除该区块(即,B=0),如步骤231中所示。
孤立球员和裁判员检测
通常,孤立球员或裁判员区块展示椭圆形状。如此,球员区块,当通过其骨架表示时,可被识别为有限的延长物和有限的纵横比。这些约束也可以帮助去除已被错误地融合到球员区块的场地线或者曲线的一些分段。
由于场地线在颜色上显示为白色或者接近白色,并且由于已经检测到类似颜色的球,因此可能再次使用白色像素的部分作为用于检测非球员区块的指数。关于球如上所讨论的,根据摄像机配置预先定义球员或裁判员的面积范围。该范围取决于关于运动场的摄像机配置。
在图2的右侧,以步骤240到270描述了场地线的去除和球员或裁判员的检测。在步骤240中,将感兴趣区块的白色像素比与阈值yw相比较。如果超过该阈值,则在步骤241中该感兴趣区块被作为非球员而去除。另一方面,如果在步骤240中白色比小于或等于阈值,则在步骤250中进一步处理感兴趣区块。
在步骤250中,如上所述对感兴趣区块执行骨架提取。在对于感兴趣区块的骨架测量附加描述符之后,如在步骤260中所示,相对于它们各自阈值gmax和tmax测试区块的延长物和/或纵横比。如果任何一个或者两个描述符小于它们各自阈值,则如在步骤262中所示检测到球员或裁判员。如果任何一个或两个描述符大于或等于各自阈值,则如在步骤261中所示,去除感兴趣区块。
在处理的这一点上,在步骤270和附图3中利用骨架剪枝来去除由伪像引起的错误。
骨架剪枝
当球员(裁判员)区块与场地线或者曲线(例如,中场处或者罚球区上的曲线)融合时,形状分析看起来无法产生识别区块的正确结果。通过使用全局形状描述符可以将感兴趣区块作为非球员区块而不正确地去除。由于场地线片段引起的伪像可能引发将妨碍球员的定位的偏差。
根据本发明的一方面,通过利用先前的外观和骨架信息并且剪枝来去除由于场地线和曲线引起的伪像。图2中的步骤270示出了骨架剪枝的步骤。图3更详细地示出了示例性方法,包括一组用于执行步骤270中的骨架剪枝的步骤。
通常,在长视角拍摄中,场地线或曲线的宽度看起来小于球员身体的宽度。结果,能够在感兴趣区块的每个骨架点处检查该点处的厚度与最大骨架厚度相比是否较小。具体地,相对于乘积c·dmax而测量并检测该点处的区块骨架的厚度,其中c是厚度因子。如果骨架宽度小于该乘积c·dmax,则计算由该骨架点(Power标签)覆盖的所有像素的RGB分量的平均值。已经在实验检验中观察到,当该骨架点对应于一段场地线时,骨架点的平均RGM分量值接近于白色的平均RGM分量值。
为了避免不正确地剪枝一个区域,在至少一个实现方式中将距离约束添加到所述方法。根据实验检验,理解为所剪枝的骨架相对远离人体质心,其对应于具有最大覆盖值的骨架点。也就是,从所剪枝的骨架点到具有最大覆盖值的骨架点的距离大于水平距离dh·dmax和垂直距离dv·dmax中的每一个,其中dv和dh是距离因数,并且其中dmax是如上所述的骨架的最大厚度。
对于各个骨架点或者每个区块中的像素执行图3中所示的处理步骤。对于下一像素进入步骤309的处理。随后控制传递到步骤310。
在步骤310中,对于感兴趣区块的每个骨架点,测量并测试从骨架点到具有最大覆盖值的骨架点的距离以便确定它是否超过水平距离dh·dmax和垂直距离dv·dmax中的每一个。具有最大覆盖值的骨架点通常与区块的质心刚好重合。如果存在不止一个具有最大覆盖值的骨架点,则选择最接近区块质心的骨架点。如果水平距离或垂直距离被从特定骨架点到具有最大覆盖的骨架点的距离超过,则方法前进到步骤320。否则,选择新骨架点进行测量并且测试感兴趣区块,并且测试在步骤309恢复。
在步骤320中,相对于乘积c·dmax而检验测试下的骨架点处的区块的厚度。如果所述厚度小于该乘积c·dmax,则方法前进到步骤330,在步骤330,计算被这个骨架点覆盖的所有像素的RGB分量的平均强度值(powerlabeling)。如果该厚度大于或等于该乘积c·dmax,则选择新骨架点进行测量并且测试感兴趣区块,并且测试在步骤309恢复。
在步骤340,相对于阈值bs测试来自步骤330的强度。而且,根据下列公式相对于阈值来测试骨架点的规格化红色和蓝色分量值:
(r-1/3)2+(b-1/3)2<as.
如果两个测试为真,则方法前进到步骤350,其中测试下的骨架点被剪枝,并且其覆盖物被去除。如果步骤340中的任意一个测试或者两个测试失败,则选择新骨架点用于对感兴趣区块的测量和测试,并且在步骤309恢复测试。步骤340使用骨架点的覆盖物中的白色像素比例来确定是否剪枝部分骨架。
在其它实施例中,如果步骤310、320和340处的三个测试中的一个或多个测试为肯定,则剪枝骨架点并且去除其覆盖物。
此处所述的实现方式可被实现为例如方法或者处理、装置、或者软件程序。即使在方法的上下文中已经展示了本发明的特征,但是本领域的普通技术人员将会明白,本发明可被具体化为例如装置或者软件程序。装置能够例如以适当的硬件、软件和固件来实现。方法能够例如以诸如计算机或者其它处理设备的装置来实现。另外,方法可以通过由处理设备或者其它装置执行的指令来实现,并且所述指令可被存储在诸如CD之类的计算机可读介质、或者其它计算机可读存储设备和集成电路上。
下面列出了可用于此处提到的常数/阈值的示例值。
  常数/阈值   as   armax   armin   bs   c   dh   dv   emax   fmax   pw   yw
  示例值   0.6   80   3   150   0.2   2   4   3   2   0.5   0.8
而且,通过本公开预料其它实现方式。例如,通过组合、删除、修改或者补充所公开的实现方式的各种特征,可以产生附加的实现方式。
尽管本发明已被描述为具有优选实施例,但是在本公开的精神和范畴内可以进一步修改本发明。因此,本申请意欲涵盖任意使用其一般原理的本发明的变动、使用或者适应。例如,可以定位并跟踪其它类型的对象,并且对于其它类型的对象或其它类型的游戏视频,可以识别错误的警报和伪像。本申请意欲涵盖违背本公开的、如在本发明所属领域的已知或惯例实践内以及落入所附权利要求限制内的事物。

Claims (5)

1.一种用于在包括背景像素和前景像素的图像中识别感兴趣对象的方法,所述背景像素包括第一颜色的像素,所述方法包括:
从所述图像中提取所述前景像素(120);
识别所述前景像素之中的区域(130,140,150,160,170,180);
如果所述区域的面积大于第一面积阈值(220)并且如果所述区域中的第一颜色的像素比小于或等于第一颜色像素比阈值(240),则处理所述区域以便产生骨架(250);
如果所述骨架的延长小于延长阈值(260),则确定所述区域为包括人体对象的感兴趣对象(262);以及
剪枝所述骨架以便切除包含场地线分段的伪像(270);
其中所述确定步骤包括:当所述骨架的延长小于延长阈值并且所述骨架的纵横比小于纵横比阈值时,确定所述区域是人体对象(260)。
2.如权利要求1所述的方法,其中所述剪枝步骤包括:如果所述骨架上的一点的相关像素中的第一颜色的像素的像素比例展现足够的强度并且其它颜色分量的规格化强度展现不足的强度(330,340),则剪枝所述点并且去除所述点的所述相关像素(270,350)。
3.如权利要求1所述的方法,其中所述剪枝步骤包括:
如果所述骨架上的一点处的区域的厚度小于至少部分基于所述骨架的最大厚度的阈值(320),则剪枝所述点并且去除所述点的相关像素(270,350)。
4.如权利要求1所述的方法,其中所述剪枝步骤包括:
如果从所述骨架上的一点到与最大数目的像素相关联的所述骨架上的另一点的距离大于至少部分基于所述骨架的最大厚度的垂直和水平阈值中的每一个(310),则剪枝所述点并且去除所述点的相关像素(270,350)。
5.如权利要求3所述的方法,其中所述剪枝步骤还包括:
如果从所述骨架上的所述点到与最大数目的像素相关联的所述骨架上的另一点的距离大于至少部分基于所述骨架的所述最大厚度的垂直和水平阈值中的每一个(310),则剪枝所述点并且去除所述点的相关像素(270,350)。
CN200780053128.2A 2007-03-26 2007-11-06 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置 Active CN101681433B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91997107P 2007-03-26 2007-03-26
US60/919,971 2007-03-26
PCT/US2007/023317 WO2008118147A2 (en) 2007-03-26 2007-11-06 Method and apparatus for detecting objects of interest in soccer video by color segmentation and shape anaylsis

Publications (2)

Publication Number Publication Date
CN101681433A CN101681433A (zh) 2010-03-24
CN101681433B true CN101681433B (zh) 2014-01-08

Family

ID=39689252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780053128.2A Active CN101681433B (zh) 2007-03-26 2007-11-06 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置

Country Status (7)

Country Link
US (1) US8391547B2 (zh)
EP (1) EP2132682B1 (zh)
JP (1) JP5465657B2 (zh)
KR (1) KR101463085B1 (zh)
CN (1) CN101681433B (zh)
AT (1) ATE549692T1 (zh)
WO (1) WO2008118147A2 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636146B2 (ja) * 2008-09-05 2011-02-23 ソニー株式会社 画像処理方法、画像処理装置、プログラム及び画像処理システム
CN102576412B (zh) * 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和系统
WO2011011052A1 (en) 2009-07-20 2011-01-27 Thomson Licensing A method for detecting and adapting video processing for far-view scenes in sports video
US8553982B2 (en) * 2009-12-23 2013-10-08 Intel Corporation Model-based play field registration
CN102005053B (zh) * 2010-11-17 2012-10-17 中国科学院声学研究所 一种对球员位置的自动检测方法
CN102486827B (zh) * 2010-12-03 2014-11-05 中兴通讯股份有限公司 复杂背景环境下的前景目标的提取方法和装置
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9256957B1 (en) * 2012-09-13 2016-02-09 Bae Systems Information And Electronic Systems Integration Inc. Method for moving-object detection tracking identification cueing of videos
CN103886618A (zh) * 2014-03-12 2014-06-25 新奥特(北京)视频技术有限公司 一种球类的检测方法和装置
CN105916049A (zh) * 2016-04-18 2016-08-31 深圳Tcl数字技术有限公司 自动切换观看模式的方法和装置
CN106846734B (zh) * 2017-04-12 2019-04-16 南京理工大学 一种疲劳驾驶检测装置及方法
KR102434397B1 (ko) 2017-07-10 2022-08-22 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
US10528820B2 (en) 2017-12-07 2020-01-07 Canon Kabushiki Kaisha Colour look-up table for background segmentation of sport video
CN108269265B (zh) * 2017-12-28 2020-10-27 中国科学院福建物质结构研究所 基于深度学习的台球击球位置测定方法及其装置
CN108596891A (zh) * 2018-04-23 2018-09-28 中国计量大学 一种面向多种类混合蚕茧的计数方法
CN109146850B (zh) * 2018-07-26 2022-02-18 上海电气集团股份有限公司 一种多色球形目标检测定位方法及执行该方法的存储介质
CN109145906B (zh) * 2018-08-31 2020-04-24 北京字节跳动网络技术有限公司 目标对象的图像确定方法、装置、设备及存储介质
CN110646188A (zh) * 2019-10-14 2020-01-03 军事科学院系统工程研究院军用标准研究中心 一种旋转式机械设备故障诊断方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503166B2 (ja) * 1993-07-29 2004-03-02 ソニー株式会社 信号変換装置および方法
US5684940A (en) * 1995-03-13 1997-11-04 Rutgers, The States University Of New Jersey Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features
US6128046A (en) * 1995-05-12 2000-10-03 Sony Corporation Key signal generating apparatus and picture synthesis apparatus, and key signal generating method and picture synthesis method
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
WO1999019828A1 (en) * 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US7477768B2 (en) * 1999-06-29 2009-01-13 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
JP4787424B2 (ja) * 2001-06-01 2011-10-05 財団法人エヌエイチケイエンジニアリングサービス 映像オブジェクト検出・追跡装置
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム
US7502498B2 (en) * 2004-09-10 2009-03-10 Available For Licensing Patient monitoring apparatus
US7474775B2 (en) * 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
JP4644022B2 (ja) * 2005-04-04 2011-03-02 日本放送協会 映像解析装置および映像解析プログラム
US20070165966A1 (en) * 2005-07-15 2007-07-19 Yissum Research Development Co. Closed form method and system for matting a foreground object in an image having a background

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M. Petkovic,et al.Recognizing Strokes in Tennis Videos Using Hidden Markov Models.《ACTA Press》.2001,1-5. *
Okihisa UTSUMI,et al.AN OBJECT DETECTION METHOD FOR DESCRIBING SOCCER GAMES FROM VIDEO.《IEEE 2002》.2002,45-48. *
Wen-Hung Liao,et al.Swimming Style Classification from Video Sequences.《CVGIP 2003》.2003,226-233. *
Xiang Bai,et al.Skeleton Pruning by Contour Partitioning.《DGCI 2006》.2006,567-579. *

Also Published As

Publication number Publication date
EP2132682A2 (en) 2009-12-16
WO2008118147A2 (en) 2008-10-02
KR20100014554A (ko) 2010-02-10
WO2008118147A3 (en) 2009-03-26
US20100098307A1 (en) 2010-04-22
US8391547B2 (en) 2013-03-05
KR101463085B1 (ko) 2014-11-20
JP5465657B2 (ja) 2014-04-09
JP2010522926A (ja) 2010-07-08
ATE549692T1 (de) 2012-03-15
CN101681433A (zh) 2010-03-24
EP2132682B1 (en) 2012-03-14

Similar Documents

Publication Publication Date Title
CN101681433B (zh) 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
Yu et al. Trajectory-based ball detection and tracking with applications to semantic analysis of broadcast soccer video
CN103871078B (zh) 一种台球击球关键信息检测方法及系统
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN102890781B (zh) 一种针对羽毛球比赛视频的精彩镜头识别方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN109308456B (zh) 目标对象的信息确定方法、装置、设备及存储介质
CN106780440A (zh) 爆炸电路板残片图像自动比对识别方法
CN103035013A (zh) 一种基于多特征融合的精确运动阴影检测方法
CN109271937A (zh) 基于图像处理的运动场地标志物识别方法及系统
CN109145906B (zh) 目标对象的图像确定方法、装置、设备及存储介质
CN103295013A (zh) 一种基于成对区域的单幅图像阴影检测方法
CN104102910A (zh) 基于时空局部模式的体育视频战术行为识别方法
Mustamo Object detection in sports: TensorFlow Object Detection API case study
CN105631405B (zh) 基于多级分块的交通视频智能识别背景建模方法
CN114463724A (zh) 一种基于机器视觉的车道提取识别方法
Hsu et al. Coachai: A project for microscopic badminton match data collection and tactical analysis
CN102306153B (zh) 基于归一化语义加权和规则的足球视频进球事件检测方法
CN104200483A (zh) 多摄像头环境中基于人体中心线的目标检测方法
Tien et al. Shot classification of basketball videos and its application in shooting position extraction
Hazelhoff et al. Large-scale classification of traffic signs under real-world conditions
US9934599B2 (en) Method of capturing and reconstructing court lines
Cuevas et al. Grass band detection in soccer images for improved image registration
Ekin et al. Framework for tracking and analysis of soccer video
Calvo et al. Automatic annotation of tennis video sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Billancourt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right