CN110910410A - 一种基于计算机视觉的球场定位系统及方法 - Google Patents

一种基于计算机视觉的球场定位系统及方法 Download PDF

Info

Publication number
CN110910410A
CN110910410A CN201911080437.XA CN201911080437A CN110910410A CN 110910410 A CN110910410 A CN 110910410A CN 201911080437 A CN201911080437 A CN 201911080437A CN 110910410 A CN110910410 A CN 110910410A
Authority
CN
China
Prior art keywords
positioning
sideline
coordinate system
matrix
computer vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911080437.XA
Other languages
English (en)
Inventor
祁健
王如宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201911080437.XA priority Critical patent/CN110910410A/zh
Publication of CN110910410A publication Critical patent/CN110910410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明公开了一种基于计算机视觉的球场定位系统及方法,该系统包括采集设备校准模块、边线检测模块和定位计算模块;采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵;边线检测模块检测出边线在图像中的位置;定位计算模块通过计算获得球员或球类的定位数据;该系统还包括数据记录与存储模块。基于计算机视觉的球场定位方法包括以下步骤:对采集设备进行校准、对球场边线进行检测、定位计算和数据记录与存储。本发明仅采用单个视频采集设备对球员和球类进行定位,使用方便准确且不需要球员额外穿戴设备,可以更加容易的获取关于球员运动状态的数据,对于运动数据分析提供了很大的支持。

Description

一种基于计算机视觉的球场定位系统及方法
技术领域
本发明涉及计算机球场定位系统,尤其涉及一种基于计算机视觉的球场定位系统及方法。
背景技术
在现有的各类运动比赛如足球、篮球、网球和乒乓球运动中,球员的体能数据,如在球场中的移动距离、移动速度以及球类的移动距离、移动速度的数据对于球员的数据分析扮演着很重要的角色。若要获取球员在球场中的移动距离、移动速度以及球类的移动距离、移动速度,则需要获得球员以及球类任一时刻在球场中的定位,所以球场定位系统非常重要。
现有的球场定位系统有两种方式:第一种为通过可穿戴传感器获得运动数据,但是此种方法在比赛中由于规则的限定,不能让球员佩戴可穿戴设备,所以在比赛中不能采用;第二种方法为多个基站进行立体时空维度的定位追踪演算法,其所需设备昂贵且繁杂,不利于广泛普及。综上所述,如何提供一种方便准确且不需要球员额外穿戴设备的球场定位系统与方法成为了一个亟待解决的问题。
发明内容
发明目的:本发明提供一种基于计算机视觉的球场定位系统及方法,以解决现有技术中存在的不足之处。
技术方案:本发明基于计算机视觉的球场定位系统,包括采集设备校准模块、边线检测模块和定位计算模块;采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵;边线检测模块检测出边线在图像中的位置;定位计算模块通过计算获得球员或球类的定位数据。
球场定位系统还包括数据记录与存储模块,数据记录与存储模块通过视频与定位同步还原的方式进行实时数据存储。
外参数矩阵表示世界坐标系下的坐标经过旋转和平移落到另一坐标系下的过程;内参数矩阵表示通过相机及针孔成像从相机坐标系的坐标点转为图像像素坐标系点的过程;畸变矩阵表示理论坐标点和实际坐标点的偏差。
边线检测模块中的边线指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线。
基于计算机视觉的球场定位系统的定位方法,包括以下步骤:
1.对采集设备进行校准:对标定物拍摄多个不同方向的照片后,从照片中提取棋盘格角点,估算理想无畸变时的内参矩阵和外参矩阵,估计畸变系数并优化估计;
2.通过基于深度学习方法或轮廓颜色特征匹配的方法对球场边线进行检测;
3.定位计算,即获得边线在世界坐标系的坐标,以及球员或球类相对于边线的相对位置;
4.数据记录与存储,即通过视频与定位同步还原的方式进行实时数据存储。
步骤1中,在计算机中提取棋盘格的角点坐标,估算无畸变下的内参矩阵及外参矩阵,应用最小二乘法估算存在畸变时的畸变系数后,应用极大似然估计优化精度,获得最终内参矩阵、外参矩阵和畸变系数。
步骤2中,基于深度学习的方法,利用卷积神经网络学习标注的边线图片,获得边线分隔模型以在图像中分隔出边线。
使用轮廓或颜色特征匹配的方法,预设不同边线的特征,使用时进行在图像中的特征匹配,将边线检测出来。
基于计算机视觉的球场定位系统的定位方法中的步骤3包括以下步骤:
3.1.通过标定参数结合单目深度估计算法获得边线在真实坐标系的坐标;
3.2.通过基于深度学习获得检测球员或球类的目标检测模型得到球类或球员在图像坐标系想的位置信息,结合边线检测模块的边线在图像坐标系下的位置信息得到球员或者球类距离边线的距离和方向信息;
3.3.将步骤3.2中的信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系,得到球类或球员在真实世界坐标系下的位置,采用的公式为:公式如下Pu=KTPw,Pu为像素坐标系下的球类或球员相对于边线的位置,K为相机内参矩阵,T为相机外参矩阵与畸变矩阵的乘积,Pw为真实世界坐标系下的球类或球员相对于边线的位置。
步骤4中,通过步骤1至3的检测和记录球员和球类的位置数据,使用视频编码传输与定位同步还原的方式进行实时数据存储。
有益效果:本发明仅采用单个视频采集设备对球员和球类进行定位,使用方便准确且不需要球员额外穿戴设备,可以更加容易的获取关于球员运动状态的数据,对于运动数据分析提供了很大的支持。
附图说明
图1是本发明系统的结构示意图;
图2是本发明实例中的示意图;
图3是本发明实例中的棋盘格示意图;
图4是本发明专利中的篮球边线示意图。
具体实施方式
本发明用于网球、足球、拍球、乒乓球运动中,在此以篮球场球员和篮球定位为例进行说明。
如图1所示,本发明球场定位系统包括采集设备校准模块、边线检测模块以及定位计算模块;结合实际使用的篮球场景,加入数据记录与存储模块。
采集设备校准模块是得到所用的采集设备的外参数矩阵、内参数矩阵以及畸变矩阵。其中,外参数矩阵是用来表示真实世界中的点,该点即在世界坐标系下的坐标,经过怎样的旋转和平移落到另一真实世界点,即落到相机坐标系的坐标;内参数矩阵表示如何通过相机的镜头以及针孔成像从相机坐标系的坐标点转为图像像素坐标系的点;畸变矩阵是用来表示理论坐标点和实际坐标点的偏差。通过该校准模块可以完整的从真实世界点转为图像中像素坐标系的点,采用的校准方法为基于棋盘格表定法,具体步骤为:
1.1.打印一张棋盘格,作为标定物;
1.2.通过调整标定物或者相机的方向,为标定物拍摄一些不同方向的照片;
1.3.从照片中提取棋盘格角点;
1.4.估算理想无畸变情况下,内参矩阵和外参矩阵;
1.5.最小二乘法估计畸变系数;
1.6.极大似然法用以优化估计提升精度。
边线检测模块中的边线是指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线各类运动的可见的边线。该边线检测模块检测出边线在图像中的位置,用于定位计算模块。
本边线检测模块采用的方法有以下两种:
第一种,基于深度学习的方法,利用卷积神经网络学习标注的边线图片,获得边线分割模型,用于在图像中分割出边线。
第二种,使用轮廓或颜色特征匹配的方法,预设不同边线的特征,在使用时进行在图像中的特征匹配,将边线检测出来。
上述两种方法亦可结合使用,具体为,先用第一种方法初步检测,用第二种方法在第一种方法检测的结果基础上进行更加准确的修正;或者先用第二种方法初步检测,然后用第一种方法进行修正。据此,获得图像中边线的位置。
定位计算模块是指通过计算获得球员或者球类的定位数据,由于在边线检测模块中已经获得了边线的位置,则需要进一步确定的是:1.边线在实际世界坐标系下的真实位置;2.球员或者球类相对于边线的相对位置;3.在2中的相对位置转到世界坐标系下的转换方式。则对于1来说,要获得边线在真实世界坐标系的真实位置,则需要使用相机标定参数结合单目深度估计算法获得边线在真实世界坐标系的坐标;对于2来说,通过基于深度学习获得检测球员或球类的目标检测模型得到球类或者球员在图像坐标系下的位置信息,结合边线检测模块的边线在图像坐标系下的位置信息可以得到球员或者球类相对于边线的位置信息,即距离边线的距离信息和方向信息。将此相对位置信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系,公式如下:Pu=KTPw,Pu为像素坐标系下的球类或球员相对于边线的位置,K为相机内参矩阵,T为相机外参矩阵与畸变矩阵的乘积,Pw为真实世界坐标系下的球类或球员相对于边线的位置。至此,获得了球类或球员相对于边线的位置以及边线的真实世界坐标系下的位置,即可获得球类或者球员在真实世界坐标系下的位置。
如图2所示,本发明球场定位方法包括以下步骤:对采集设备校准、篮球场边线检测、定位计算、数据记录与存储。
本实施例的具体步骤如下:
1、对采集设备校准,如图3所示,先打印一个棋盘格,将其贴在一个平面上,作为标定物,通过调整此标定物的方向来获得不同角度和方向的照片,照片数量为10~20张,在计算机中提取棋盘格的角点坐标,估算无畸变情况下的内参矩阵及外参矩阵,应用最小二乘法估算存在畸变情况下的畸变系数,最后应用极大似然估计优化精度,获得更加准确的内参矩阵、外参矩阵以及畸变系数。
2、对篮球场边线检测,图4所示为定位篮球场三分线、罚球线、边界线等边线在图像中的位置。对篮球场边线检测时,所采用的方法主要有两种,第一种是根据基于深度学习的方法,具体为使用深度学习模型训练标注过篮球场罚球线、三分线等边线的数据,使用反向传播算法进行优化得到可以用于检测篮球场的边线获得边线位置和种类信息的模型;第二种是根据篮球场罚球线、三分线等边线的颜色与轮廓等特征设定匹配标准,在使用的时候在图像中找出跟预先设定的颜色与轮廓特征相似度超过设定阈值的特征区域即为篮球场边线。至此,篮球场边线检测模块构建完成,在使用的时候用此模块在图像中可以获得篮球场边界线的位置。
3、定位计算,此定位计算主要进行以下内容:1.边线在实际世界坐标系下的真实位置;2.球员或者球类相对于边线的相对位置;3.在2.中的相对位置转到世界坐标系下的转换方式。则对于1来说,要获得边线在真实世界坐标系的真实位置,则需要使用相机标定参数结合单目深度估计算法获得边线在真实世界坐标系的坐标;对于2来说,通过基于深度学习获得检测球员或球类的目标检测模型得到球类或者球员在图像坐标系下的位置信息,结合边线检测模块的边线在图像坐标系下的位置信息可以得到球员或者球类相对于边线的位置信息,即距离边线的距离信息和方向信息。3.将此相对位置信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系,公式如下Pu=KTPw,Pu为像素坐标系下的球类或球员相对于边线的位置,K为相机内参矩阵,T为相机外参矩阵与畸变矩阵的乘积,Pw为真实世界坐标系下的球类或球员相对于边线的位置。至此,获得了球类或球员相对于边线的位置以及边线的真实世界坐标系下的位置,即可获得球类或者球员在真实世界坐标系下的位置。
4、数据记录与存储,随着比赛或者训练进行,通过前述3个步骤在不断的检测和记录球员和球类的位置数据,使用视频与定位同步还原的方式进行实时数据存储,此步骤中使用5G高速视频编码传输技术,既将比赛或者训练能够实时传输,而且能够将任意时刻的球员运动状态记录到存储设备如本地或者云端。

Claims (10)

1.一种基于计算机视觉的球场定位系统,其特征在于:包括采集设备校准模块、边线检测模块和定位计算模块;所述采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵;所述边线检测模块检测出边线在图像中的位置;所述定位计算模块通过计算获得球员或球类的定位数据。
2.根据权利要求1所述的基于计算机视觉的球场定位系统,其特征在于:所述球场定位系统还包括数据记录与存储模块,所述数据记录与存储模块通过视频与定位同步还原的方式进行实时数据存储。
3.根据权利要求1或2所述的基于计算机视觉的球场定位系统,其特征在于:所述外参数矩阵表示世界坐标系下的坐标经过旋转和平移落到另一坐标系下的过程;所述内参数矩阵表示通过相机及针孔成像从相机坐标系的坐标点转为图像像素坐标系点的过程;所述畸变矩阵表示理论坐标点和实际坐标点的偏差。
4.根据权利要求1或2所述的基于计算机视觉的球场定位系统,其特征在于:所述边线检测模块中的边线指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线。
5.一种采用如权利要求1或2所述的基于计算机视觉的球场定位系统的定位方法,其特征在于:包括以下步骤:
(1)对采集设备进行校准:将棋盘格作为标定物,对标定物拍摄多个不同方向的照片后,从照片中提取棋盘格角点,估算理想无畸变时的内参矩阵和外参矩阵,估计畸变系数并估计优化精度;
(2)通过基于深度学习方法或轮廓颜色特征匹配的方法对球场边线进行检测;
(3)定位计算,即通过相机标定参数结合单目深度估计方法获得边线在世界坐标系的坐标,以及通过基于深度学习获得球员或球类相对于边线的相对位置;
(4)数据记录与存储,即通过视频与定位同步还原的方式进行实时数据存储。
6.根据权利要求5所述的基于计算机视觉的球场定位系统的定位方法,其特征在于:步骤(1)中,在计算机中提取棋盘格的角点坐标,估算无畸变下的内参矩阵及外参矩阵,应用最小二乘法估算存在畸变时的畸变系数后,应用极大似然估计优化精度,获得最终内参矩阵、外参矩阵和畸变系数。
7.根据权利要求5所述的基于计算机视觉的球场定位系统的定位方法,其特征在于:步骤(2)中,基于深度学习的方法,利用卷积神经网络学习标注的边线图片,获得边线分隔模型以在图像中分隔出边线。
8.根据根据权利要求5所述的基于计算机视觉的球场定位系统的定位方法,其特征在于:使用轮廓或颜色特征匹配的方法,预设不同边线的特征,使用时进行在图像中的特征匹配,将边线检测出来。
9.根据权利要求5所述的基于计算机视觉的球场定位系统的定位方法,其特征在于:步骤(3)包括以下步骤:
(3.1)通过标定参数结合单目深度估计算法获得边线在真实坐标系的坐标;
(3.2)通过基于深度学习获得检测球员或球类的目标检测模型得到球类或球员在图像坐标系想的位置信息,结合边线检测模块的边线在图像坐标系下的位置信息得到球员或者球类距离边线的距离和方向信息;
(3.3)将步骤(3.2)中的信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系,得到球类或球员在真实世界坐标系下的位置,采用的公式为Pu=KTPw,Pu为像素坐标系下的球类或球员相对于边线的位置,K为相机内参矩阵,T为相机外参矩阵与畸变矩阵的乘积,Pw为真实世界坐标系下的球类或球员相对于边线的位置。
10.根据权利要求5所述的基于计算机视觉的球场定位系统的定位方法,其特征在于:步骤(4)中,通过步骤(1)至(3)的检测和记录球员和球类的位置数据,使用视频编码传输与定位同步还原的方式进行实时数据存储。
CN201911080437.XA 2019-11-07 2019-11-07 一种基于计算机视觉的球场定位系统及方法 Pending CN110910410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911080437.XA CN110910410A (zh) 2019-11-07 2019-11-07 一种基于计算机视觉的球场定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911080437.XA CN110910410A (zh) 2019-11-07 2019-11-07 一种基于计算机视觉的球场定位系统及方法

Publications (1)

Publication Number Publication Date
CN110910410A true CN110910410A (zh) 2020-03-24

Family

ID=69816502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911080437.XA Pending CN110910410A (zh) 2019-11-07 2019-11-07 一种基于计算机视觉的球场定位系统及方法

Country Status (1)

Country Link
CN (1) CN110910410A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112245889A (zh) * 2020-09-08 2021-01-22 陈远舟 一种自动判断网球出界的方法及系统
CN113082680A (zh) * 2021-04-09 2021-07-09 谢弘毅 一种基于机器视觉的球类比赛球出界自动裁判系统
CN113393531A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 相机自动标定方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596942A (zh) * 2018-03-21 2018-09-28 黄启萌 一种利用单摄像机精准判断球类落点的系统和方法
CN109855602A (zh) * 2019-01-14 2019-06-07 南通大学 运动视场下的单目视觉定位方法
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596942A (zh) * 2018-03-21 2018-09-28 黄启萌 一种利用单摄像机精准判断球类落点的系统和方法
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN109855602A (zh) * 2019-01-14 2019-06-07 南通大学 运动视场下的单目视觉定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于俊清 等: "《足球视频三维重建中的摄像机标定及球员检测》", 《中国计算机辅助设计与图形学2008——纪念全国首届CAD/CG学术会议30周年》 *
罗庆生等: "《仿生四足机器人技术》", 1 April 2016 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112245889A (zh) * 2020-09-08 2021-01-22 陈远舟 一种自动判断网球出界的方法及系统
CN112245889B (zh) * 2020-09-08 2023-12-05 陈远舟 一种自动判断网球出界的方法及系统
CN113082680A (zh) * 2021-04-09 2021-07-09 谢弘毅 一种基于机器视觉的球类比赛球出界自动裁判系统
CN113393531A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 相机自动标定方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN107871120B (zh) 基于机器学习的体育赛事理解系统及方法
CN110910410A (zh) 一种基于计算机视觉的球场定位系统及方法
CN109087328A (zh) 基于计算机视觉的羽毛球落点位置预测方法
CN109377513B (zh) 一种针对两视图的全局三维人体姿态可信估计方法
US20070064975A1 (en) Moving object measuring apparatus, moving object measuring system, and moving object measurement
WO2020062053A1 (en) Methods and apparatus to generate photo-realistic three-dimensional models of photographed environment
CN104408725A (zh) 一种基于tld优化算法的目标重捕获系统及方法
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN108830861A (zh) 一种混合光学运动捕捉方法及系统
CN111524183A (zh) 一种基于透视投影变换的目标行列定位方法
CN114612933B (zh) 单目社交距离检测追踪方法
CN107038758A (zh) 一种基于orb算子的增强现实三维注册方法
CN109684919A (zh) 一种基于机器视觉的羽毛球发球违例判别方法
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
CN109635682B (zh) 一种人脸识别装置和方法
CN112184807B (zh) 一种高尔夫球落地式检测方法、系统及存储介质
CN112245889B (zh) 一种自动判断网球出界的方法及系统
Tian et al. High-speed tiny tennis ball detection based on deep convolutional neural networks
CN115624735B (zh) 一种用于球类运动的辅助训练系统和工作方法
CN108076365B (zh) 人体姿势识别装置
CN113012201B (zh) 一种基于深度学习的地面无人平台人员跟踪方法
CN109876417B (zh) 基于计算机视觉检测技术的羽毛球发球助理裁判系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324

RJ01 Rejection of invention patent application after publication