CN113780181A - 基于无人机的足球比赛越位判断方法及装置、电子设备 - Google Patents

基于无人机的足球比赛越位判断方法及装置、电子设备 Download PDF

Info

Publication number
CN113780181A
CN113780181A CN202111068776.3A CN202111068776A CN113780181A CN 113780181 A CN113780181 A CN 113780181A CN 202111068776 A CN202111068776 A CN 202111068776A CN 113780181 A CN113780181 A CN 113780181A
Authority
CN
China
Prior art keywords
detection
player
football
detection area
ball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111068776.3A
Other languages
English (en)
Other versions
CN113780181B (zh
Inventor
蒋辰星
陈芷柯
王昱
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111068776.3A priority Critical patent/CN113780181B/zh
Publication of CN113780181A publication Critical patent/CN113780181A/zh
Application granted granted Critical
Publication of CN113780181B publication Critical patent/CN113780181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机的足球比赛越位判断方法及装置、电子设备，包括：获取足球比赛的实时视频，实时视频由无人机的视觉传感器获得；将实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；通过余弦相似度、非线性归一化变换和HSV变换，对球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。

Description

基于无人机的足球比赛越位判断方法及装置、电子设备
技术领域
本申请涉及无人机技术领域，尤其涉及一种基于无人机的足球比赛越位判断方法及装置、电子设备。
背景技术
越位是足球比赛中的常见犯规类型，原始的通过边线裁判进行越位判断的方式，常常因为裁判员经验不足或体能下降，导致处于不利于越位判罚的位置，进而由于遮挡或视角偏差的原因导致错误判罚，显著影响比赛公平与观众的观赛体验。
目前，在一些较高水平的足球比赛中，引入了固定视角的足球比赛越位判罚系统。但是该技术是对回放视频进行处理以辅助人眼判断，而非机器自主做出越位判罚。这种方式使得原本连贯的比赛变得支离破碎。同时，因为回放视频的拍摄视角并非垂直于球场的鸟瞰视角，存在球员之间互相遮挡的问题，降低了越位判罚的精确度。
发明内容
本申请实施例的目的是提供一种基于无人机的足球比赛越位判断方法及装置、电子设备，以解决相关技术中存在的非机器自主做出越位判罚、越位判罚的精确度低的技术问题。
根据本申请实施例的第一方面，提供一种基于无人机的足球比赛越位判断方法，其特征在于，包括：
获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；
通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；
根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；
根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。
根据本申请实施例的第二方面，提供一种基于无人机平台的足球比赛越位判断装置，其特征在于，包括：
获取模块，用于获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
识别模块，用于将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；
分类模块，用于通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；
第一判断模块，用于根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；
第二判断模块，用于根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请因为采用无人机拍摄足球比赛实时视频，克服了因为遮挡或视角偏差导致的足球越位错判，进而使得足球越位判罚更加准确。
采用余弦相似度的图像预处理方案，克服了对球员检测区域进行特征提取时图像背景的干扰，进而使得提取的特征更加利于分类。
采用非线性归一化变换，克服了不同图片余弦相似度分布不同的问题，进而使得较为容易的设定阈值且增大了前景与背景的差距。
采用HSV变换的图像预处理方案，克服了对球员检测区域进行特征提取时球员阴影的干扰，进而使得提取的特征更加利于分类。
采用直线检测并根据直线的长度和斜率进行筛选，克服了越位线划定的问题，进而使得足球越位判罚更加精准。
采用多算法融合的足球识别算法，克服了因为足球检测区域过小导致的识别困难，进而是的足球的识别和跟踪更加精准，有利于足球越位的判罚。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于无人机的足球比赛越位判断方法的流程图。
图2是根据一示例性实施例示出的设计的Android APP的界面图。
图3是根据一示例性实施例示出的待检测视频帧坐标示意图。
图4是根据一示例性实施例示出的待检测RGB视频帧图。
图5是根据一示例性实施例示出的第一二值图。
图6是根据一示例性实施例示出的第二二值图。
图7是根据一示例性实施例示出的总二值图。
图8是根据一示例性实施例示出的球参考图。
图9是根据一示例性实施例示出的全局检测球位置指示图。
图10是根据一示例性实施例示出的点球点判断算法效果指示图。
图11是根据一示例性实施例示出的局部待检测图。
图12是根据一示例性实施例示出的局部检测算法计算的第一、二和总二值图。
图13是根据一示例性实施例示出的局部检测球位置指示图。
图14是根据一示例性实施例示出的应用余弦相似度和非线性归一化变换去除背景的说明图。
图15根据一示例性实施例示出的提取的球员检测区域的特征的可视化(左中右分别为球队1、球队2、裁判三类人的特征)。
图16根据一示例性实施例示出的越位线划定图a(虚线：队伍1；实线：队伍2；短划线：裁判；点划线：越位线)。
图17根据一示例性实施例示出的越位判定图b(虚线：队伍1；实线：队伍2；短划线：裁判；“越位”字上方的球员越位)。
图18是根据一示例性实施例示出的一种基于无人机的足球比赛越位判断装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种基于无人机的足球比赛越位判断方法的流程图，如图1所示，该方法可以包括以下步骤：
步骤S11，获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
步骤S12，将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；
步骤S13，通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；
步骤S14，根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；
步骤S15，根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。
由上述实施例可知，本申请因为采用无人机拍摄足球比赛实时视频，克服了因为遮挡或视角偏差导致的足球越位错判，进而使得足球越位判罚更加准确。采用余弦相似度的图像预处理方案，克服了对球员检测区域进行特征提取时图像背景的干扰，进而使得提取的特征更加利于分类。采用非线性归一化变换，克服了不同图片余弦相似度分布不同的问题，进而使得较为容易的设定阈值且增大了前景与背景的差距。采用HSV变换的图像预处理方案，克服了对球员检测区域进行特征提取时球员阴影的干扰，进而使得提取的特征更加利于分类。采用直线检测并根据直线的长度和斜率进行筛选，克服了越位线划定的问题，进而使得足球越位判罚更加精准。采用多算法融合的足球识别算法，克服了因为足球检测区域过小导致的识别困难，进而是的足球的识别和跟踪更加精准，有利于足球越位的判罚。
在步骤S11的具体实施中，获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
具体地，在本发明实施例中，将无人机的视觉传感器获得的实时视频通过通信中继装置传送到主控设备。
利用DJI MSDK开发一款Android APP作为通信中继装置。在Android APP与主控设备在同一WIFI局域网的情况下，通过RTMP推流的方式将视频上传到服务器。主控设备通过视频拉流的方式从服务器中拉取视频。Android APP包含了以下功能模块(参考图2)：
1)数据反馈显示模块：用于实时显示无人机的一些运动参数与调试所用的数据；
2)手动自动切换模块：负责无人机自动飞行模式的开启与关闭，开启后进入自动飞行状态，关闭后无人机可以进行手动运动控制；
3)飞行模式切换模块：用于选择无人机运动坐标系、所发指令类型等；
4)视频传输切换模块：负责视频传输功能的开启或关闭，开启时主控设备可以获得实时视频数据，关闭时主控设备无法获得实时视频数据；
5)实时视频显示模块：实时显示无人机实时拍摄的画面；
6)仿真开关切换模块：用于切换无人机的仿真环境调试和无人机实际飞行模式；
7)手动飞行控制模块：用于在手动飞行时控制无人机的运动。
通过这样的设计，可以直接利用DJI(大疆)无人机视频的拍摄，而不需要自己组装无人机。并且通过APP可以对视频的传输进行控制。
将视频上传服务器的方式还可用RTSP推流的方式，也可不通过通信中继，而是直接通过机载图传设备将视频发送给主控设备。
在步骤S12的具体实施中，将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；该步骤可以包括以下子步骤：
步骤S121，对所述实时视频中的当前帧采用全局检测算法进行检测，获得球的初始位置；
本实例中，使用全局检测算法对当前帧进行全局检测，获取球的初始位置，球的初始位置被表示为当前帧上一个矩形框，由其左上角坐标x，y和矩形框的高宽h，w，组成的序列[x,y,w,h]表示，如图3。本实施例中，当前帧是指由俯视场景下的连续视频集合中一张需要被处理的RGB颜色空间的三通道视频帧，如下图4所示。
采用全局检测算法进行检测，获得球的初始位置可以包括以下步骤：
步骤1211，采用图像预处理算法对所述视频图像进行处理，得到连通区域；
具体地，将所述当前帧由RGB颜色空间转化到HSV颜色空间，并采用高斯模糊对图像做平滑处理，设定阈值范围求出第一二值图像，如图5；
将当前帧由RGB颜色空间转化到灰度空间，并令所求灰度图为O。利用Sober算子求出所述灰度图的梯度信息，由x方向和y方向Sobel梯度算子计算出x，y方向梯度，算子表示如下
Figure BDA0003259657170000081
Figure BDA0003259657170000082
梯度信息结果被表示为
Gradx＝Gx*O
Grady＝Gy*O
*表示卷积运算，得到Gx,Gy卷积结果Gradx,Grady，所述梯度信息结果进行加权求和，所得到的梯度结果图为
Grad＝αGradx+(1-α)Grady
本实施例中，α＝0.5，通过Sobel算子计算得到的梯度信息图，再通过设定的阈值，计算得到二值图。通过形态学运算膨胀和腐蚀抑制噪声，本实施例中，先对二值图进行一次膨胀操作，再对结果做一次腐蚀操作，所得到的第二二值图，如下图6。
将所求第一二值图与第二二值图做与运算，获得总二值图如图7；对总二值图上求连通区域位置，得到连通区域。
步骤1212，使用连通域评价函数对每个连通区域进行评价，获得每个连通区域的评分；
具体地，将每个连通区域与圆的周长进行相似度评价，得到第一评分；将每个连通区域与圆的面积宽高比进行相似度评价，得到第二评分；将每个连通区域与球的参考图像的进行结构相似度评价，得到第三评分；将每个连通区域对应的所述第一评分、第二评分以及第三评分求和得到该连通区域的评分。
其中连通域第一评分根据定义表示为如下公式，当连通域越与圆相似，其值越接近于1。其中S为连通域面积，C为连通域周长。
Figure BDA0003259657170000083
第二评分根据定义被表示为如下公式，当连通域与圆越相近，其值越接近于1，其中H为连通域外接矩形的高，W为连通域外接矩形的宽。
Figure BDA0003259657170000091
第三评分为连通区域外接矩形所截取的当前帧图像与球的参考图像的结构相似度(SSIM)。当值越接近与1，表示与参考图像越相似。根据结构相似度的定义，第三评分计算公式如下，公式中，x表示由连通区域外接矩形所截取的当前帧图像数据，y表示球的参考图像，μx，μy分别表示图像x，y的图像平均值，
Figure BDA0003259657170000092
表示图像x的方差，
Figure BDA0003259657170000093
表示图像y的方差，σxy表示图像x，y的协方差，c1,c2为维持稳定的常数。
Figure BDA0003259657170000094
最后连通区域的总评分为Score，根据定义描述为
Figure BDA0003259657170000095
综上若联通区域越接近球，则三个部分分别越接近1。
本实施例中，所使用的球参考图像如下图8所示，球参考图像为从俯视场景拍摄下的球场图像中截取一帧的球图像。
步骤1213，将超过预定阈值的评分中的最高评分所对应的连通区域作为球的初始位置(及初始的全局检测位置)。
具体地，通过连通区域评价函数计算各个连通区域的评分，评分大于设定阈值并且评分最高的连通区域为球的全局检测位置，在未进入球跟踪前也即球的初始位置，由帧上一个矩形框，也即左上角坐标x、y和矩形框的高宽h、w组成的序列[x,y,w,h]表示。当没有评分超过设定阈值时，不返回结果，表示场上没有球的存在。本实施例中，所检测的结果显示在图9所示，该图中A表示球所在位置。
本申请用图像预处理算法对图像进行处理得到二值图，并通过二值图获得了图像中的连通域。根据设计的连通域评分函数，评价每一个连通域的分数，获得球的检测位置，实现了球的准确检测。具体地，图像预处理中，使用了Sobel算子获取了图像中的梯度信息，抑制了背景带来影响，使用HSV颜色空间转换并取特定阈值计算二值图抑制了图像总影子带来的干扰，并且使用形态学处理膨胀和腐蚀减少了独立噪点带来的影响。通过设计的连通域评分函数，综合考虑连通域的面积、周长、长宽比、图像结构相似度准确的从连通域中获得正确的球位置，多指标的使用提高了检测的正确性。
步骤S122，根据点球点判断算法，判断所述球的初始位置是否是点球点，若不是点球点，则所述球的初始位置为上一帧位置结果；
该步骤可包括：采用霍夫圆检测当前帧中禁区位置的圆，并计算得到禁区圆的圆心；若检测位置在所述禁区圆圆心一定半径范围内，则所述检测位置是点球点；若检测位置在所述禁区圆圆心一定半径范围外，则所述检测位置不是点球点。
具体地，采用霍夫圆检测场景禁区位置的圆，并计算得到禁区圆的圆心(xc,yc)；计算当前球位置中心点与禁区圆心之间的欧式距离，公式表示为：
Figure BDA0003259657170000101
设定阈值范围r0，当所计算距离r满足r≥r0时，球半径外，认为球不是点球点，反之，球在一定半径范围内，当前检测位置是点球点。所检测出的点球点位置与其所示范围如下图10中的实例图像中圆圈所示。
本实施例中，所获得的球初始位置不为点球点时，作为多算法融合的跟踪算法上一帧开始进行跟踪，当所获得的球初始位置是点球点时，获取下一帧视频帧图像并用全局检测算法进行全局检测。
步骤S123，根据所述上一帧位置结果，通过多算法融合的跟踪算法对所述实时视频进行跟踪，获得足球检测区域。具体地，可以包括以下子步骤：
步骤S1231，根据所述球的上一帧位置结果，通过SiamFC++跟踪器计算球的第一位置结果；
具体地，使用已经完成了预训练的SiamFC++孪生神经网络构建跟踪器，使用以AlexNet为网络主干训练的预训练参数构建跟踪器，由球的初始位置所得到图像为模板初始化跟踪器，并由SiamFC++输出预测的球的第一位置结果，也即由左上角坐标x、y和矩形框的高宽h、w组成的序列[x,y,w,h]表示的矩形框。
步骤S1232，根据所述球的上一帧位置结果，通过卡尔曼滤波器计算目标的第二位置结果；
具体地，卡尔曼滤波器为线性卡尔曼滤波器，根据前一帧结果预测当前帧球的位置结果，输出球的第二位置结果，由帧上一个矩形框，也即左上角坐标x、y和矩形框的高宽h、w组成的序列[x,y,w,h]表示。
步骤S1233，根据所述的第一位置结果与球的参考图像进行结构相似度计算；
具体地，球的参考图像与全局检测算法采用的球参考图像相同，并采用的SSIM结构相似度算法计算由第一位置结果所指示的矩形框对应的图像数据与球的参考图像的相似度。公式中，x表示由第一位置结果所指示的矩形框对应的图像数据，y表示球的参考图像，μx，μy分别表示图像x，y的图像平均值，
Figure BDA0003259657170000111
表示图像x的方差，
Figure BDA0003259657170000112
表示图像y的方差，σxy表示图像x，y的协方差，c1,c2为维持稳定的常数。
Figure BDA0003259657170000113
步骤S1234，若结构相似度高于设定阈值，则所述第一位置结果为最终跟踪位置结果，并更新卡尔曼滤波器；
具体地，所求的图像之间相似度的结果在0到1之间，设定一定的阈值SSIM0，当有SSIM0≥SSIM(x,y)，时，认为第一位置结果所指示的矩形框是错误的，反之第一位置所指示的矩形框是正确的球位置。本实施例中，所设定的结构相似度阈值SSIM0＝0.5，当计算的结构相似度大于0.5时认为所述第一位置结果为最终跟踪结果，并更新卡尔曼滤波。
步骤S1235，若结构相似度低于设定阈值，则根据第一位置结果，通过局部检测算法计算第三位置结果；
具体地，所设定的结构相似度阈值SSIM0＝0.5，当计算的结构相似度小于0.5时，采用局部检测算法计算第三位置结果。
步骤S1236，若局部检测算法计算得到第三位置结果，则根据噪点检测算法中的扩展系数k对第三位置结果进行噪点检测；
本实例中，对第三位置结果进行噪点检测可通过噪点检测算法判定位置结果是否为噪点，包括：根据上一帧球位置结果，与当前帧球的位置结果之间计算欧式距离；若两者之间距离大于设定阈值，当前帧球位置结果是噪点；若两者之间距离小于设定阈值，当前帧球位置结果不是噪点。
具体地，扩展系数k是在噪点检测算法中的一个参数，是为了当出现多帧球检测或者跟踪丢失时可以调整噪点检测的判定阈值。噪点检测首获取前一帧球位置坐标(xn-1,yn-1)，假设当前帧球位置结果为(xn,yn)，则两帧之间运动的球欧氏距离为
Figure BDA0003259657170000121
其中n∈{0,1,2…}。设定一个基础阈值d0，当d≥kd0时，判定当前球位置结果为噪点，反之当前帧球位置结果不是噪点。
本实施例中，设定d0＝35pixel，采用扩展系数k对噪点判定的范围进行合理的扩展，提升算法对多遮挡情况的鲁棒性，同时一定程度上抑制了当前帧中的噪声带来的影响。
步骤S1237，若不为噪点，则所述的第三位置结果为最终跟踪结果，并根据所述第三位置结果初始化SiamFC++跟踪器、更新卡尔曼滤波器、初始化扩展参数k；
具体地，扩展参数初始化为将k赋值为1。当第三位置结果不为噪声点，也即重新检测到球，以所输出第三位置所框选的图像作为模板重新初始化SiamFC++，恢复SiamFC++跟踪器的跟踪，并更新卡尔曼滤波，对错误情况进行纠正。
步骤S1238，若为噪点或局部检测算法无法得到第三位置结果，则通过全局检测算法重新计算第三位置结果；
下面通过实施例对具体如何通过局部检测算法检测得到第三位置结果，可以包括以下步骤：
步骤S12381，获取上一帧球的跟踪位置结果，以上一帧球的位置为中心截取周围设定范围内的图像作为待检测图像。
具体地，上一帧球跟踪位置由在帧上的一个矩形框表示，也即序列[xn-1,yn-1,wn-1,hn-1]，以此球跟踪结果为中心，按照设定的范围截取局部更大范围的图像数据，假设所扩展的范围为Scr，则所裁剪下的矩形范围同样可以其在帧上的左上角和右下角坐标组成的序列[x1,y1,x2,y2]来表示，也即可以由上一帧球位置和扩展范围Scr表示为
Figure BDA0003259657170000131
在本实施例中，取Scr＝100pixels，以上一帧球结果的中心取一个边长为2Scr的正方形图像数据，作为待检测图像，如下图11所示。
步骤S12382，根据所述待检测图像，采用所述的图像预处理算法对所述待检测图像进行处理，得到连通区域；
具体地，所述图像预处理算法与全局检测算法所使用的的图像预处理算法相同，以相同的方式获得待测图像中的连通区域，依次可以得到第一，第二和总二值图如下图12。
步骤S12383，使用所述连通域评价函数对每个连通区域进行评价，获得每个连通区域的评分；
具体地，所述连通域评价函数与全局检测算法所使用的连通域评价函数相同，以此函数计算每个连通域的评分。
步骤S12384，将超过预定阈值的评分中的最高评分所对应的连通区域作为球的第三位置结果。
具体地，计算出连通域的评分后，选择超过设定阈值并且评分最高的连通域的外接矩形为球的第三位置结果也即由[x,y,w,h]所表示的序列，本实施例中，设定阈值为2。当评分没有超过设定阈值时不返回检测的结果，认为所检测图像中不存在球。本实施例中，所检测出的结果如下图13中所示，该图中A表示球位置。
由上述实施例可知，本申请所使用的的局部检测算法通过上一帧球位置截取球周围范围设定范围的矩形框进行球检测，实现了球的检测，并减少了噪声带来的干扰，减少计算量。具体地，由于球的运动具有连续性，当前帧的球位置大概率在上一帧球位置的附近，通过截取周围在上一帧周围范围内图像进行检测可以减少计算量，并且因为未被截取的部分不进行检测，规避了其他噪声带来的影响。检测算法使用Sobel算子和HSV颜色空间转化计算二值图，可以抑制球场上影子带来的影响。
步骤S1239，若全局检测算法得到全局检测位置，则所述全局检测位置为第三位置结果，则扩展系数k对所述第三位置结果进行噪点检测；
步骤S12310，若不为噪点，则所述的第三位置结果为最终跟踪结果，并根据所述第三位置结果初始化SiamFC++跟踪器并更新卡尔曼滤波器，初始化扩展参数k；
步骤S12311，若为噪点或全局检测算法不能得到全局检测位置，则所述第二位置结果为最终跟踪结果，并将扩展参数k加一；
由上述实施例可知，本申请采用了多算法融合的跟踪算法对球进行跟踪，将SiamFC++跟踪器、全局检测算法、局部检测算法和卡尔曼滤波算法采用分支的方式进行融合，实现了对球稳定高效鲁棒的跟踪，解决了球场上球运动速度快、遮挡情况多、影子和噪声干扰明显、球目标小特征微弱的实际问题。具体地，采用了分支的方式进行多算法的融合减少了计算量，提高效率减少资源消耗，并通过融合的方式综合各算法的优点，提升算法的鲁棒性。采用卡尔曼滤波算法对下一帧进行直接预测，因为球在飞行过程中近似满足线性运动，可以很好的由卡尔曼滤波算法进行预测，解决了球在遮挡情况下难以跟踪的问题。采用孪生神经网络SiamFC++作为跟踪器，可以很好的抑制阴影、交叉、噪声、尺度变化带来的干扰，并且神经网络在大量的数据集上进行过预训练，特征获取的能力强，可以克服球目标小特征微弱带来的问题。采用局部检测算法，选取局部范围的图像进行球检测，提高了发生球跟踪错误或丢失情况下的自动纠偏能力，不仅减少了计算量，而且通过截取的方式减少噪声带来的干扰，实现更加高效鲁棒的跟踪球。采用全局检测算法，在局部检测算法无法获取球目标时，提供更大范围的检测，提升了跟踪算法在球跟踪错误或者丢失情况下的自动纠偏能力。所采用的检测算法，通过使用Sobel算子和HSV颜色空间转化进行二值图计算，可以抑制了影子带来的干扰。所述检测算法采用的连通域评价函数综合考虑多项指标，可以解决球目标小特征微弱引起检测困难的问题。
该方法还可以包括：在步骤S122中若是点球点，可以对所当前帧的下一帧采用全局检测算法进行检测，直到获得球的初始位置(即回到步骤S102，构成循环)。
该方法还可以包括：步骤124，判断是否需要重新检测球，若跟踪帧数f大于设定帧数，则对下一帧采用全局检测算法重新计算，获得球的初始位置；若跟踪帧数f小于设定帧数，则通过多算法融合跟踪算法继续计算下一帧位置。
在步骤S13的具体实施中，通过余弦相似度和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；该步骤可以包括以下子步骤：
步骤S131，根据球员检测区域每个像素的RGB值，计算球员检测区域每个像素的第一颜色信息；
具体地，遍历球员检测区域的每一个像素，将像素的RGB值组成一个包含三个值的一维向量，作为该像素点的第一颜色信息。
步骤S132，根据所述第一颜色信息，计算球员检测区域边缘处像素的颜色信息的平均值；
具体地，选取距离球员检测区域的四个边缘小于设定阈值的像素点，将这些像素点的第一颜色信息求取平均值。其中，所设定的阈值可根据实际情况进行调整。
通过这样的设计，得到了球员检测区域中背景像素的统计信息。
步骤S133，计算所述第一颜色信息与所述平均值的余弦相似度，将每个像素的第一颜色信息进行非线性归一化变换，得到非线性归一化变换后的余弦相似度，对余弦相似度进行归一化，并增大前景与背景的区别，除去所述非线性归一化变换后的余弦相似度高于设定阈值的部分，得到去背景处理的球员检测区域；
具体地，遍历球员检测区域(如图14左图)的每一个像素的第一颜色信息(令为
Figure BDA0003259657170000166
为包含三个值的一维向量)，令所述平均值为
Figure BDA0003259657170000163
(
Figure BDA0003259657170000164
为包含三个值的一维向量)，计算两者的余弦相似度c，
Figure BDA0003259657170000165
对每个像素的c做非线性归一化函数变换，即所有像素的c都归一化为0-1的一个数，且通过变换，使得前景像素的c和背景像素的c差距变大。若c大于所设定阈值(阈值可根据具体情况进行调整)，则该位置的像素的RGB值保持不变，说明改像素点不属于背景区域，应当保留；反之，则改为0，即黑色，说明该像素点属于背景区域，应当去除。经过如上操作，得到了去背景处理的球员检测区域(如图14右图)。
通过计算余弦相似度，去除了会特征提取造成干扰的背景；应用非线性归一化函数，将前景与背景的余弦相似度的差距拉大，使得更加精确的区分前景和背景，同时，使得余弦相似度为0-1范围内的数，利于不同场景下阈值的选取。
非线性归一化函数可以是softmax函数、tanh函数。
步骤S134，将所述去背景处理的球员检测区域，从RGB颜色空间变换到HSV颜色空间，将HV两通道像素的像素值进行直方图统计，得到去除背景与阴影干扰的特征；
具体地，根据RBG颜色空间与HSV颜色空间的变换公式，将所述去背景处理的球员检测区域变换为HSV颜色空间。因为阴影在图像饱和度上有明显的特征，因此为了去除阴影的干扰，仅将HV两通道像素的像素值进行直方图统计，统计得到的特征的可视化图如图15所示。
通过上述方法，去除了阴影对提取特征的干扰。
步骤S135，利用所述去除背景与阴影干扰的特征对所述球员检测区域进行分类，得到球员所属球队的类别信息。
具体地，首先根据场上已有的球员图像，由人对其中三种类别进行区分，然后自动截取随后20帧内的对应球员的图像数据，提取其颜色特征，保存为分类器的训练数据。之后对每张跟踪到的球员图像提取去除背景与阴影干扰的特征，用分类算法完成分类。
通过这样的设计可以针对不同的足球比赛场景获得不同的训练数据，从而在不同的足球比赛场景中得到较好的分类精度。
分类算法可为KNN、Fisher判别等判别分析算法。其中KNN效果较好
在步骤S14的具体实施中，根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；该步骤可以包括以下子步骤：
步骤S141，根据所述球员检测区域和足球检测区域，筛选出与所述足球检测区域有重合的球员检测区域；
具体地，遍历每个球员检测区域，计算每个球员检测区域和足球检测区域的IOU值，若IOU值大于0则说明该球员检测区域与足球检测区域又重合。
通过这样的设计可以分辨是否存在触球，为后续越位判罚提供帮助。
步骤S142，计算筛选出的球员检测区域的中心点与足球检测区域的中心点的欧式距离，选取欧式距离最小的作为触球的球员；
具体地，遍历筛选出的球员检测区域的中心点，计算中心点与足球检测区域的中心点的欧式距离。对求得的所有欧氏距离进行排序，选择欧式距离最小的作为触球的球员。
通过这样的设计可以分辨出进攻方和防守方，因为触球的一方为进攻方。
步骤S143，若前一帧图像中足球检测区域被判定为触球，则计算前一帧图像中足球检测区域中心点和当前帧足球检测区域中心点的欧式距离，若大于所设定阈值，则传球发生，并输出前一帧图像中足球检测区域的触球球员所属球队的类别信息。
具体地，若前一帧图像中足球检测区域被判定为触球，则计算前一帧图像中足球检测区域中心点和当前帧足球检测区域中心点的欧式距离，若大于所设定的阈值(该阈值可根据具体情况进行调整)，则传球发生，并输出前一帧图像中足球检测区域的触球球员所属球队的类别信息。
通过这样的设计，可以判断是否有传球发生，因为只有在传球的瞬间才会进行越位的判罚。
在步骤S15的具体实施中，根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断；该步骤可以包括以下子步骤：
步骤S151，对所述实时视频的当前帧图像进行直线检测，获得表征球场底线的多条直线段的斜率；具体地，对所述实时视频的当前帧图像进行直线检测，从而得到所述实时视频的当前帧图像中表征球场底线的多条直线段，根据这些检测得到的直线段，分别计算斜率。
通过这样的设计，检测到了球场底线，有助于划定越位线。
可替代方案：直线检测可使用概率霍夫直线法、LSD等，其中概率霍夫直线法效果更好。
步骤S152，根据预先设定直线段长度的阈值和直线段斜率的阈值，对所述多条直线段进行筛选，选出符合越位线长度和斜率特征的直线段；
具体地，去除直线段长度小于实时视频的当前帧图像宽度2/3的直线段；计算直线段斜率的中位数，去除斜率与该中位数的差的绝对值大于10°的直线段。
通过这样的设计，可以去除非球场底线的直线段的干扰，使得划定的越位线更加准确。
步骤S153，根据所述球员检测区域和传球一方球员所属球队的类别信息，获得非传球一方球员所属球队中除守门员外的最后一名防守球员的位置信息；
具体地，除去归属于裁判和传球一方球员的球员(进攻球员)检测区域，被认定为非传球一方球员(防守球员)。在无人机飞行过程中会记录无人机视野中与视野外两队球员的数量，并在飞行过程中实时更新。因此可以得到除守门员外的最后一名防守球员的位置信息。
通过这样的设计，可以得到除守门员外的最后一名防守球员的位置。该位置即为需要划定越位线的位置。
步骤S154，因为越位线与球场底线所平行，选取所述符合越位线长度特征的直线段中距离所述除守门员外的最后一名防守球员最近的直线段的斜率，作为越位线的斜率；
具体地，因为越位线和球场底线平行，所以所得到的直线段的斜率可以表征越位线的斜率，为了防止因为图像畸变造成的干扰，选取所述符合越位线长度特征的直线段中距离所述除守门员外的最后一名防守球员最近的直线段的斜率。
通过这样的设计，可以防止因为图像畸变造成的干扰，得到更加准确的越位线。
步骤S155，根据所述越位线的斜率，在所述除守门员外的最后一名防守球员的边缘点以该斜率生成越位线；
具体地，在防守球员靠近防守方球门的边缘角点处，根据所述越位线的斜率生成越位线。如图16所示，图中点划线为越位线。
通过这样的设计，可以得到准确的越位线。
步骤S156，根据所述球员检测区域和传球一方球员所属球队的类别信息，若传球一方球员所传向的同球队的球员的位置在所述越位线之后，则越位发生，反之，则越位未发生。
具体地，将传球一方球员所传向的同球队的球员的位置带入越位线的直线方程中，根据直线方程结果的正负关系，判断是否发生越位。如图17所示，越位字上方的球员发生了越位。
通过这样的设计，可以得到准确的越位判罚
本发明实施例提供的一种基于无人机的足球比赛越位判断方法还可包括：
步骤S17，根据所述球员检测区域与所述球员所属球队的类别信息生成无人机运动控制指令，以控制无人机自主飞行。
通过该步骤，可以使得无人机自主的飞行，无需人操控，可以更加快速的对球场上球员位置的变换做出响应，飞行到最适合进行足球越位判罚的位置。
在步骤S17的具体实施中，根据所述球员检测区域与所述球员所属球队的类别信息生成无人机运动控制指令，以控制无人机自主飞行，可以包括：
步骤S171，根据所述球员检测区域和所属球队的类别信息，计算无人机需要到达的位置；
具体地，根据所述球员检测区域和所属球队的类别信息，找到除守门员外的最后一名防守球员的位置，将它作为无人机需要到达的位置。
通过这样的设计，可以最小化由于视角偏差带来的越位线划定时候的误差。
步骤S172，根据所述无人机需要到达的位置与所述实时视频的当前帧图像的中心位置的距离，利用控制算法生成对无人机的运动控制指令。
具体地，计算图像中除守门员外的最后一名防守球员的位置和图像中心点位置分别在横轴与纵轴的差值，根据这两个差值，通过控制算法，输出无人机的前进后退速度与左右运动速度，使得图像的中心跟踪于除守门员外的最后一名防守球员。
通过这样的设计，可以使得无人机跟踪于除守门员外的最后一名防守球员。
控制算法可用PID算法、MPC控制算法。
与前述的一种基于无人机的足球比赛越位判断方法的实施例相对应，本申请还提供了一种基于无人机的足球比赛越位判断装置的实施例。
图18是根据一示例性实施例示出的一种基于无人机的足球比赛越位判断装置框图。参照图18，该装置可以包括：
获取模块21，用于获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
识别模块22，用于将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；
分类模块23，用于通过余弦相似度和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；
第一判断模块24，用于根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；
第二判断模块25，用于根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于无人机的足球比赛越位判断方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的基于无人机的足球比赛越位判断方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于无人机的足球比赛越位判断方法，其特征在于，包括：
获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；
通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；
根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；
根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。
2.根据权利要求1所述的方法，其特征在于，将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域，包括：
对于实时视频的当前帧图像，利用多目标识别算法得到初始图像中的球员检测区域；
对于实时视频的当前帧图像，对所述实时视频中的当前帧采用全局检测算法进行检测，获得球的初始位置；
根据点球点判断算法，判断所述球的初始位置是否是点球点，若不是点球点，则所述球的初始位置为上一帧位置结果；
根据所述上一帧位置结果，通过多算法融合的跟踪算法对所述实时视频进行跟踪，获得足球检测区域。
3.根据权利要求2所述的方法，其特征在于，其中对所述实时视频中的当前帧采用全局检测算法进行检测，获得球的初始位置，包括：
采用图像预处理算法对所述视频图像进行处理，得到连通区域；
使用连通域评价函数对每个连通区域进行评价，获得每个连通区域的评分；
将超过预定阈值的评分中的最高评分所对应的连通区域作为球的初始位置；
其中采用图像预处理算法对所述视频图像进行处理，得到连通区域，包括：
将所述视频图像转化到HSV的颜色空间，设定阈值范围求出第一二值图像；
利用Sober算子求出所述视频图像的梯度信息，设定阈值求出第二二值图；
将所求第一二值图与第二二值图做与运算，获得总二值图；
对总二值图上求连通区域位置，得到连通区域；
其中使用相似评价函数对每个连通区域进行评价，获得每个连通区域的评分，包括：
将每个连通区域与圆的周长进行相似度评价，得到第一评分；
将每个连通区域与圆的面积宽高比进行相似度评价，得到第二评分；
将每个连通区域与球的参考图像的进行结构相似度评价，得到第三评分；
将每个连通区域对应的所述第一评分、第二评分以及第三评分求和得到该连通区域的评分；
其中根据点球点判断算法，判断所述球的初始位置是否是点球点，包括：
采用霍夫圆检测当前帧中禁区位置的圆，并计算得到禁区圆的圆心；
若检测位置在所述禁区圆圆心一定半径范围内，则所述检测位置是点球点；
若检测位置在所述禁区圆圆心一定半径范围外，则所述检测位置不是点球点。
4.根据权利要求2所述的方法，其特征在于，其中根据所述上一帧位置结果，通过多算法融合的跟踪算法对所述视频序列进行跟踪，获得跟踪位置结果，包括：
根据所述球的上一帧位置结果，通过SiamFC++跟踪器计算球的第一位置结果；
根据所述球的上一帧位置结果，通过卡尔曼滤波器计算球的第二位置结果；
根据所述的第一位置结果与球的参考图像进行结构相似度判定，所述球的参考图像为从俯视场景拍摄下的球场图像中截取一帧的球图像；
若结构相似度高于设定阈值，则所述第一位置结果为最终跟踪位置结果，并更新卡尔曼滤波器；
若结构相似度低于设定阈值，则根据第一位置结果，通过局部检测算法进行第三位置结果的计算；
若局部检测算法计算得到第三位置结果，则根据噪点检测算法中的扩展系数k对第三位置结果进行噪点检测；
若不为噪点，则所述的第三位置结果为最终跟踪结果，并根据所述第三位置结果初始化SiamFC++跟踪器、更新卡尔曼滤波器、初始化扩展参数k；
若为噪点，则通过全局检测算法重新计算第三位置结果；
若局部检测算法无法得到第三位置结果，则通过全局检测算法检测，获得球的全局检测位置；
若全局检测算法检测得到求得全局检测位置，则所述全局检测位置为第三位置结果，则根据所述的扩展系数k对所述第三位置结果进行噪点检测；
若不为噪点，则所述的第三位置结果为最终跟踪结果，并根据所述第三位置结果初始化SiamFC++跟踪器并更新卡尔曼滤波器，初始化扩展参数k；
若为噪点，则所述第二位置结果为最终跟踪结果，并将扩展参数k加一；
若全局检测算法不能检测得到全局检测位置，则所述第二位置结果为最终跟踪结果，并将扩展参数k加1；
其中通过局部检测算法检测得到第三位置结果，包括：
根据上一帧球位置结果，以上一帧球的位置为中心截取周围设定范围内的图像作为待检测图像；
根据所述待检测图像，采用所述的图像预处理算法对所述待检测图像进行处理，得到连通区域；
使用所述连通域评价函数对每个连通区域进行评价，获得每个连通区域的评分；
将超过预定阈值的评分中的最高评分所对应的连通区域作为球的第三位置结果。
5.根据权利要求1所述的方法，其特征在于，通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息，包括：
通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息，包括：
根据球员检测区域每个像素的RGB值，计算球员检测区域每个像素的第一颜色信息；
根据所述第一颜色信息，计算球员检测区域边缘处像素的颜色信息的平均值；
计算所述第一颜色信息与所述平均值的余弦相似度，将每个像素的第一颜色信息进行非线性归一化变换，得到非线性归一化变换后的余弦相似度，对余弦相似度进行归一化，并增大前景与背景的区别，除去所述非线性归一化变换后的余弦相似度高于设定阈值的部分，得到去背景处理的球员检测区域；
将所述去背景处理的球员检测区域，从RGB颜色空间变换到HSV颜色空间，将HV两通道像素的像素值进行直方图统计，得到去除背景与阴影干扰的特征；
利用所述去除背景与阴影干扰的特征对所述球员检测区域进行分类，得到球员所属球队的类别信息。
6.根据权利要求1所述的方法，其特征在于，根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息，包括：
根据所述球员检测区域和足球检测区域，筛选出与所述足球检测区域有重合的球员检测区域；
计算筛选出的球员检测区域的中心点与足球检测区域的中心点的欧式距离，选取欧式距离最小的作为触球的球员；
若前一帧图像中足球检测区域被判定为触球，则计算前一帧图像中足球检测区域中心点和当前帧足球检测区域中心点的欧式距离，若大于所设定阈值，则传球发生，并输出前一帧图像中足球检测区域的触球球员所属球队的类别信息。
7.根据权利要求1所述的方法，其特征在于，根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判罚，包括：
对所述实时视频的当前帧图像进行直线检测，获得表征球场底线的多条直线段的斜率；
根据预先设定直线段长度的阈值和直线段斜率的阈值，对所述多条直线段进行筛选，选出符合越位线长度和斜率特征的直线段；
根据所述球员检测区域和传球一方球员所属球队的类别信息，获得非传球一方球员所属球队中除守门员外的最后一名防守球员的位置信息；
因为越位线与球场底线所平行，选取所述符合越位线长度特征的直线段中距离所述除守门员外的最后一名防守球员最近的直线段的斜率，作为越位线的斜率；
根据所述越位线的斜率，在所述除守门员外的最后一名防守球员的边缘点以该斜率生成越位线；
根据所述球员检测区域和传球一方球员所属球队的类别信息，若传球一方球员所传向的同球队的球员的位置在所述越位线之后，则越位发生，反之，则越位未发生。
8.一种基于无人机平台的足球比赛越位判断装置，其特征在于，包括：
获取模块，用于获取足球比赛的实时视频，所述实时视频由无人机的视觉传感器获得；
识别模块，用于将所述实时视频的当前帧图像运用识别算法，获得足球检测区域和球员检测区域；
分类模块，用于通过余弦相似度、非线性归一化变换和HSV变换，对所述球员检测区域进行特征提取，并将提取的特征输入分类模型中，得到球员所属球队的类别信息；
第一判断模块，用于根据足球的检测区域和球员的检测，利用判断球员检测区域和足球检测区域是否存在重叠区域和对比前后帧足球的检测区域中心点的距离，判断传球是否发生，若传球发生，则获得传球一方球员所属球队的类别信息；
第二判断模块，用于根据传球一方的所述球员检测区域与球队的信息，进行直线检测，得到越位线的位置，进行越位判断。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
CN202111068776.3A 2021-09-13 2021-09-13 基于无人机的足球比赛越位判断方法及装置、电子设备 Active CN113780181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111068776.3A CN113780181B (zh) 2021-09-13 2021-09-13 基于无人机的足球比赛越位判断方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111068776.3A CN113780181B (zh) 2021-09-13 2021-09-13 基于无人机的足球比赛越位判断方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN113780181A true CN113780181A (zh) 2021-12-10
CN113780181B CN113780181B (zh) 2023-11-14

Family

ID=78843077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111068776.3A Active CN113780181B (zh) 2021-09-13 2021-09-13 基于无人机的足球比赛越位判断方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN113780181B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469040A (zh) * 2023-06-12 2023-07-21 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法
CN116758461A (zh) * 2023-08-10 2023-09-15 季华实验室 基于神经网络的排球比赛智能判罚方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819749A (zh) * 2012-07-23 2012-12-12 西安体育学院 一种基于视频分析的足球越位自动判别系统和方法
CN107622273A (zh) * 2016-07-13 2018-01-23 深圳雷柏科技股份有限公司 一种目标检测和辨识的方法和装置
CN111275021A (zh) * 2020-03-17 2020-06-12 淮安信息职业技术学院 一种基于计算机视觉的足球越位线自动划线方法
CN111797812A (zh) * 2020-07-20 2020-10-20 深圳市云数链科技有限公司 自动记录足球比赛中有效进球的方法、系统、终端及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819749A (zh) * 2012-07-23 2012-12-12 西安体育学院 一种基于视频分析的足球越位自动判别系统和方法
CN107622273A (zh) * 2016-07-13 2018-01-23 深圳雷柏科技股份有限公司 一种目标检测和辨识的方法和装置
CN111275021A (zh) * 2020-03-17 2020-06-12 淮安信息职业技术学院 一种基于计算机视觉的足球越位线自动划线方法
CN111797812A (zh) * 2020-07-20 2020-10-20 深圳市云数链科技有限公司 自动记录足球比赛中有效进球的方法、系统、终端及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469040A (zh) * 2023-06-12 2023-07-21 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法
CN116469040B (zh) * 2023-06-12 2023-08-29 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法
CN116758461A (zh) * 2023-08-10 2023-09-15 季华实验室 基于神经网络的排球比赛智能判罚方法、设备及存储介质
CN116758461B (zh) * 2023-08-10 2024-01-05 季华实验室 基于神经网络的排球比赛智能判罚方法、设备及存储介质

Also Published As

Publication number Publication date
CN113780181B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US9437012B2 (en) Multiple-object tracking and team identification for game strategy analysis
US8885876B2 (en) Visual tracking system and method thereof
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112926410A (zh) 目标跟踪方法、装置、存储介质及智能视频系统
CN113780181B (zh) 基于无人机的足球比赛越位判断方法及装置、电子设备
Vilao et al. A single camera vision system for a humanoid robot
Manafifard et al. Multi-player detection in soccer broadcast videos using a blob-guided particle swarm optimization method
Abbott et al. Multiple target tracking with lazy background subtraction and connected components analysis
Tawab et al. Efficient multi-feature PSO for fast gray level object-tracking
CN113781523A (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
Fradi et al. Autonomous person detection and tracking framework using unmanned aerial vehicles (UAVs)
US20080198237A1 (en) System and method for adaptive pixel segmentation from image sequences
Herrmann et al. Online multi-player tracking in monocular soccer videos
CN110377033B (zh) 一种基于rgbd信息的小型足球机器人识别与追踪抓取方法
De Padua et al. Particle filter-based predictive tracking of futsal players from a single stationary camera
Liu et al. A simplified swarm optimization for object tracking
de Pádua et al. A vision-based system to support tactical and physical analyses in futsal
Meenatchi et al. Multiple object tracking and segmentation in video sequences
Herrmann et al. Feature-based localization refinement of players in soccer using plausibility maps
Jurca et al. A modern approach for positional football analysis using computer vision
Basit et al. Fast target redetection for CAMSHIFT using back-projection and histogram matching
Kataoka et al. Football players and ball trajectories projection from single camera's image
Kerdvibulvech Hybrid model of human hand motion for cybernetics application
Samuelsson Video Tracking Algorithm for UnmannedAerial Vehicle Surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant