CN106991359B - 一种在全景模式下对球赛视频中篮球进行跟踪的算法 - Google Patents

一种在全景模式下对球赛视频中篮球进行跟踪的算法 Download PDF

Info

Publication number
CN106991359B
CN106991359B CN201610037566.0A CN201610037566A CN106991359B CN 106991359 B CN106991359 B CN 106991359B CN 201610037566 A CN201610037566 A CN 201610037566A CN 106991359 B CN106991359 B CN 106991359B
Authority
CN
China
Prior art keywords
basketball
track
tracking
ball
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610037566.0A
Other languages
English (en)
Other versions
CN106991359A (zh
Inventor
刘剡
贺岳平
朱明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hupu (Shanghai) Information Technology Co.,Ltd.
Original Assignee
Shanghai Huiti Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huiti Network Technology Co ltd filed Critical Shanghai Huiti Network Technology Co ltd
Priority to CN201610037566.0A priority Critical patent/CN106991359B/zh
Publication of CN106991359A publication Critical patent/CN106991359A/zh
Application granted granted Critical
Publication of CN106991359B publication Critical patent/CN106991359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种在全景模式下对球赛视频中篮球进行跟踪的算法，包括：1)生成场景标注；2)候选球的检测；3)短轨迹的生成；4)短轨迹的矫正和过滤；5)连接短轨迹为长轨迹。本发明提供的一种在全景模式下对球赛视频中篮球进行跟踪的算法，利用篮球运动中球场的一些先验信息(如球场运动场位置，篮框位置，球员平均身高等)，和篮球的几个主要运动形态(持球，拍球，传球，投篮)，提取出其对应的运动特征，将这些运动特征加入到篮球的跟踪中，提高了跟踪准确性。

Description

一种在全景模式下对球赛视频中篮球进行跟踪的算法
技术领域
本发明涉及一种比赛视频跟踪的算法，尤其涉及一种在全景模式下对球赛视频中篮球进行跟踪的算法。
背景技术
采用普通摄像头进行球赛无监督的录制时，由于运动的篮球速度过快，及所采用的摄像机镜头的质量问题，常导致高速运动的篮球存在运动模糊，虚影和残影问题；同时常发生球与球员接触或被球员遮挡的情况，且在全景模式下篮球的面积较小，这使得一般的目标跟踪方法对球赛中篮球跟踪效果较差。针对现有技术中球赛视频中篮球跟踪技术的缺陷，本发明提供了一种在全景模式下对球赛视频中篮球进行跟踪的算法，以克服现有技术中存在的上述不足。
发明内容
本发明为解决上述技术问题而采用的技术方案是提供一种在全景模式下对球赛视频中篮球进行跟踪的算法，其中具体包括以下5步骤：
1)生成场景标注；利用人工标注或算法自动学习的方法，获取得到场景的先验信息；
2)候选球的检测；
(1)对全景视频建立背景模型，从中分割出前景；
(2)利用尺寸、形状、颜色信息对前景处进行过滤，获取候选的可疑篮球区域；
(3)利用前期对篮球进行跟踪的结果预测出当前帧篮球的位置，若该位置上存在前景，则将其添加为候选的可疑篮球区域；
(4)对可疑球区域利用离线的机器学习出来的篮球模型进行篮球的检测，将检测出篮球的区域作为候选篮球区域；
3)短轨迹的生成；
(1)以当前检测到的候选篮球为待跟踪区域对该区域进行跟踪，将跟踪上的结果形成轨迹，若未跟踪上则以预测结果替代；但如若连续一段时间均未跟踪上，则结束该轨迹的跟踪；
(2)对当前检测和跟踪到的篮球区域的扩展区域进行人体检测；
4)短轨迹的矫正和过滤；利用场景的先验信息和人体检测的信息，结合篮球的运动规律，对轨迹进行活动的判断，根据预期的活动对该轨迹进行矫正和过滤；
5)连接短轨迹为长轨迹；利用时间顺序和空间关系将短轨迹连接为长轨迹，形成完整的篮球跟踪轨迹。
上述的一种在全景模式下对球赛视频中篮球进行跟踪的算法，其中，1)生成场景标注中先验信息包括从视频中分割出篮球场地、从视频中提取出篮框和篮板、标注出视频中篮球场地远处及近处普通球员的身高。
上述的一种在全景模式下对球赛视频中篮球进行跟踪的算法，其中，4)短轨迹的矫正和过滤中，对轨迹进行活动的判断如下：
如短轨迹中球的中心y坐标近似为周期波，则判为拍球；
如短轨迹球的中心坐标近似为开口向下或向上的抛物线，则判为传球；
如短轨迹中球的中心y坐标超出该处球员身高，且中心坐标近似为开口向下抛物线则判为投篮；
如短轨迹中球的中心附近存在人体，y坐标不远大于该处球员身高，且球的中心x坐标变化小则判为持球。
上述的一种在全景模式下对球赛视频中篮球进行跟踪的算法，其中，4)短轨迹的矫正和过滤中，根据根据预期的活动对该轨迹进行矫正和过滤如下：
如根据短轨迹，判断当前为拍球期间，则对不符合拍球规律的检测或跟踪结果进行矫正或直接剔除；
如根据短轨迹，判断当前为传球期间，则对不符合传球规律的检测或跟踪结果进行矫正或直接剔除；
如根据短轨迹，判断当前为投篮期间，则对不符合投篮规律的检测或跟踪结果进行矫正或直接剔除；
如根据短轨迹，判断当前为持球期间，则对不符合拍球规律的检测或跟踪结果进行矫正或直接剔除。
本发明相对于现有技术具有如下有益效果：
本发明利用篮球运动中球场的一些先验信息(如球场运动场位置，篮框位置，球员平均身高等)，和篮球的几个主要运动形态(持球，拍球，传球，投篮)，提取出其对应的运动特征，将这些运动特征加入到篮球的跟踪中，提高了跟踪准确性。
附图说明
图1为本发明提供的一种在全景模式下对球赛视频中篮球进行跟踪的算法的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。本发明提供的一种在全景模式下对球赛视频中篮球进行跟踪的算法，具体方案包括：
1、生成场景标注。
利用人工标注或算法自动学习的方法，获取得到场景的一些先验信息(如从视频中分割出篮球场地，从视频中提取出篮框和篮板，标注出视频中篮球场地远处及近处普通球员的身高)。
2、候选球的检测。
(1)对全景视频，建立背景模型，从中分割出前景；
(2)利用尺寸，形状，颜色等信息，对前景处进行过滤，获取一些候选的可疑篮球区域；
(3)利用前期对篮球进行跟踪的结果，预测出当前帧篮球的位置，若该位置上存在前景，则将其添加为候选的可疑篮球区域；
(4)对可疑球区域，利用离线的机器学习出来的篮球模型，进行篮球的检测，将检测出篮球的区域作为候选篮球区域。
3、短轨迹的生成。
(1)以当前检测到的候选篮球为待跟踪区域，对该区域进行跟踪(实际跟踪上+检测到的相结合得到跟踪结果)，将跟踪上的结果形成轨迹。若未跟踪上则以预测结果替代；但如若连续一段时间均未跟踪上，则结束该轨迹的跟踪；
(2)对当前检测和跟踪到的篮球区域的扩展区域，进行人体检测。
4、短轨迹的矫正和过滤。
利用场景的先验信息和人体检测的信息，结合篮球的运动规律，对轨迹进行活动的判断，根据预期的活动对该轨迹进行矫正和过滤。
其中，对轨迹进行活动的判断，如下：
如短轨迹中球的中心y坐标近似为周期波，则判为拍球；
如短轨迹球的中心坐标近似为开口向下或向上的抛物线，则判为传球；
如短轨迹中球的中心y坐标大大超出该处球员身高，且中心坐标近似为开口向下抛物线，则判为投篮；
如短轨迹中球的中心附近存在人体，y坐标不远大于该处球员身高，且球的中心x坐标变化较小)，则判为持球。
其中，根据根据预期的活动对该轨迹进行矫正和过滤，如下：
如根据短轨迹，判断当前为拍球期间，则对不符合拍球规律的检测或跟踪结果(球的中心y坐标应近似为周期波)，进行矫正或直接剔除；
如根据短轨迹，判断当前为传球期间，则对不符合传球规律的检测或跟踪结果(球的轨迹应近似为开口向下或向上的抛物线)，进行矫正或直接剔除；
如根据短轨迹，判断当前为投篮期间，则对不符合投篮规律的检测或跟踪结果(球的中心y坐标相比人身高要高，且球的轨迹应近似为开口向下的抛物线)，进行矫正或直接剔除；
如根据短轨迹，判断当前为持球期间，则对不符合拍球规律的检测或跟踪结果(球的y坐标不高于该处球员身高过高，且球的中心x坐标变化较小)，进行矫正或直接剔除。
5、连接短轨迹为长轨迹。
利用时间顺序和空间关系，将短轨迹连接为长轨迹，形成较为完整的篮球跟踪轨迹。

Claims (1)

1.一种在全景模式下对球赛视频中篮球进行跟踪的算法，其特征在于，包括以下5步骤：
1)生成场景标注；利用人工标注或算法自动学习的方法，获取得到场景的先验信息；
2)候选球的检测；
(1)对全景视频建立背景模型，从中分割出前景；
(2)利用尺寸、形状、颜色信息对前景处进行过滤，获取候选的可疑篮球区域；
(3)利用前期对篮球进行跟踪的结果预测出当前帧篮球的位置，若该位置上存在前景，则将其添加为候选的可疑篮球区域；
(4)对可疑球区域利用离线的机器学习出来的篮球模型进行篮球的检测，将检测出篮球的区域作为候选篮球区域；
3)短轨迹的生成；
(1)以当前检测到的候选篮球为待跟踪区域对该区域进行跟踪，将跟踪上的结果形成轨迹，若未跟踪上则以预测结果替代；但如若连续一段时间均未跟踪上，则结束该轨迹的跟踪；
(2)对当前检测和跟踪到的篮球区域的扩展区域进行人体检测；
4)短轨迹的矫正和过滤；利用场景的先验信息和人体检测的信息，结合篮球的运动规律，对轨迹进行活动的判断，根据预期的活动对该轨迹进行矫正和过滤；
5)连接短轨迹为长轨迹；利用时间顺序和空间关系将短轨迹连接为长轨迹，形成完整的篮球跟踪轨迹；
1)生成场景标注中先验信息包括从视频中分割出篮球场地、从视频中提取出篮框和篮板、标注出视频中篮球场地远处及近处普通球员的身高；
4)短轨迹的矫正和过滤中，对轨迹进行活动的判断如下：
如短轨迹中球的中心y坐标近似为周期波，则判为拍球；
如短轨迹球的中心坐标近似为开口向下或向上的抛物线，则判为传球；
如短轨迹中球的中心y坐标超出该处球员身高，且中心坐标近似为开口向下抛物线则判为投篮；
如短轨迹中球的中心附近存在人体，y坐标不远大于该处球员身高，且球的中心x坐标变化小则判为持球；
4)短轨迹的矫正和过滤中，根据根据预期的活动对该轨迹进行矫正和过滤如下：
如根据短轨迹，判断当前为拍球期间，则对不符合拍球规律的检测或跟踪结果进行矫正或直接剔除；
如根据短轨迹，判断当前为传球期间，则对不符合传球规律的检测或跟踪结果进行矫正或直接剔除；
如根据短轨迹，判断当前为投篮期间，则对不符合投篮规律的检测或跟踪结果进行矫正或直接剔除；
如根据短轨迹，判断当前为持球期间，则对不符合拍球规律的检测或跟踪结果进行矫正或直接剔除。
CN201610037566.0A 2016-01-20 2016-01-20 一种在全景模式下对球赛视频中篮球进行跟踪的算法 Active CN106991359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610037566.0A CN106991359B (zh) 2016-01-20 2016-01-20 一种在全景模式下对球赛视频中篮球进行跟踪的算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610037566.0A CN106991359B (zh) 2016-01-20 2016-01-20 一种在全景模式下对球赛视频中篮球进行跟踪的算法

Publications (2)

Publication Number Publication Date
CN106991359A CN106991359A (zh) 2017-07-28
CN106991359B true CN106991359B (zh) 2020-08-07

Family

ID=59413603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610037566.0A Active CN106991359B (zh) 2016-01-20 2016-01-20 一种在全景模式下对球赛视频中篮球进行跟踪的算法

Country Status (1)

Country Link
CN (1) CN106991359B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090421B (zh) * 2017-11-30 2021-10-08 睿视智觉（深圳）算法技术有限公司 一种运动员竞技能力分析方法
CN111147889B (zh) * 2018-11-06 2022-09-27 阿里巴巴集团控股有限公司 多媒体资源回放方法及装置
CN110276309B (zh) * 2019-06-25 2021-05-28 新华智云科技有限公司 视频处理方法、装置、计算机设备及存储介质
CN110796085B (zh) * 2019-10-29 2022-04-22 新华智云科技有限公司 一种基于深度学习物体检测算法的篮球进球片段ab队自动区分的方法
CN110960843A (zh) * 2019-12-23 2020-04-07 天水师范学院 一种篮球技巧辅助训练系统
CN112446333B (zh) * 2020-12-01 2023-05-02 中科人工智能创新技术研究院(青岛)有限公司 基于重检测的球类目标跟踪方法及系统
CN113537168B (zh) * 2021-09-16 2022-01-18 中科人工智能创新技术研究院(青岛)有限公司 一种用于转播和球场监控场景的篮球进球检测方法及系统
CN114494356B (zh) * 2022-04-02 2022-06-24 中傲数据技术(深圳)有限公司 一种基于人工智能的羽毛球视频片段处理方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US10375287B2 (en) * 2009-10-21 2019-08-06 Disney Enterprises, Inc. Object trail-based analysis and control of video
CN101794451A (zh) * 2010-03-12 2010-08-04 上海交通大学 基于运动轨迹的跟踪方法
WO2013072401A2 (en) * 2011-11-15 2013-05-23 Swiss Timing Ltd Tracklet-based multi-commodity network flow for tracking multiple people
CN102999918B (zh) * 2012-04-19 2015-04-22 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
US8948457B2 (en) * 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
US20150312652A1 (en) * 2014-04-24 2015-10-29 Microsoft Corporation Automatic generation of videos via a segment list
CN105208282A (zh) * 2015-10-10 2015-12-30 上海慧体网络科技有限公司 一种比赛现场根据篮球位置控制摄像头自动跟拍的方法

Also Published As

Publication number Publication date
CN106991359A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106991359B (zh) 一种在全景模式下对球赛视频中篮球进行跟踪的算法
CN106991685B (zh) 一种在全景模式下对球赛视频中足球进行跟踪的算法
CN106991357A (zh) 基于全景视频的自动识别篮球比赛投篮和进球的算法
US11380100B2 (en) Methods and systems for ball game analytics with a mobile device
Thomas et al. Computer vision for sports: Current applications and research topics
CN110929596A (zh) 一种基于智能手机和人工智能的投篮训练系统与方法
CN110327612B (zh) 一种基于视觉识别的高尔夫球轨迹预测方法
CN106991358A (zh) 基于全景视频的自动识别足球比赛进球的算法
Teachabarikiti et al. Players tracking and ball detection for an automatic tennis video annotation
US20120271440A1 (en) System For Acquiring and Processing Data Pertaining to a Shot of an Object, Such As A Puck or a Ball, On A Goal on a Playing Field
Myint et al. Tracking a table tennis ball for umpiring purposes
CN103100204B (zh) 方法、设备以及程序
Hsu et al. Coachai: A project for microscopic badminton match data collection and tactical analysis
JP7198661B2 (ja) オブジェクト追跡装置及びそのプログラム
AU2022267254A1 (en) Methods and systems to track a moving sports object trajectory in 3d using a single camera
CN110235191B (zh) 检测系统和方法
CN116758459A (zh) 一种用于羽毛球比赛的实时分析系统及方法
KR101973655B1 (ko) 스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치
CN113537168B (zh) 一种用于转播和球场监控场景的篮球进球检测方法及系统
CN110717931B (zh) 一种羽毛球发球时击球点的高度检测系统及其方法
KR19990086247A (ko) 스포츠 영상효과 처리장치
CN111541846A (zh) 一种冰壶影像自动跟拍系统
CN111738093A (zh) 一种基于梯度特征的冰壶球自动测速方法
CN106339655A (zh) 一种视频镜头标注方法及装置
Stefanski Detecting clashes in boxing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: 200080 room 3001, building A2, No. 121, Zhongshan North 1st Road, Hongkou District, Shanghai

Patentee after: Hupu (Shanghai) Information Technology Co.,Ltd.

Address before: 200080 room 7179, ground floor, No. 203, Xinjian Road, Hongkou District, Shanghai

Patentee before: SHANGHAI HUITI NETWORK TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right