CN110796019A - 一种识别和跟踪运动中的球形物体的方法及装置 - Google Patents

一种识别和跟踪运动中的球形物体的方法及装置 Download PDF

Info

Publication number
CN110796019A
CN110796019A CN201910946351.4A CN201910946351A CN110796019A CN 110796019 A CN110796019 A CN 110796019A CN 201910946351 A CN201910946351 A CN 201910946351A CN 110796019 A CN110796019 A CN 110796019A
Authority
CN
China
Prior art keywords
sphere
tracking
module
target
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910946351.4A
Other languages
English (en)
Inventor
张立
张凯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Danzhu Sports Technology Co Ltd
Original Assignee
Shanghai Danzhu Sports Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Danzhu Sports Technology Co Ltd filed Critical Shanghai Danzhu Sports Technology Co Ltd
Priority to CN201910946351.4A priority Critical patent/CN110796019A/zh
Publication of CN110796019A publication Critical patent/CN110796019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提出一种识别和跟踪运动中的球形物体的方法和装置。本发明属于对运动中的球形物体进行识别和跟踪的领域，尤其涉及使用图像分析技术和滤波器预测技术实现识别和跟踪运动中的球形物体的方法及装置。该方法包括以下步骤：1、提取球体特征；2、识别球体；3、预测球体轨迹；4、匹配球体轨迹；5、球体跟踪控制。该装置包括以下模块：1、提取球体特征模块；2、识别球体模块；3、预测球体轨迹模块；4、匹配球体轨迹模块；5、球体跟踪控制模块。本发明的多帧差分方法和滤波器预测技术有效的提高了复杂背景、球体快速运动、场景中存在多个球情况下球形物体识别和跟踪的准确率。

Description

一种识别和跟踪运动中的球形物体的方法及装置
技术领域
本发明属于对运动中的球形物体进行识别和跟踪的领域，尤其涉及使用图像分析技术和滤波器预测技术实现识别和跟踪运动中的球形物体的方法及装置。
背景技术
识别和跟踪运动中的球形物体的主要任务是在给定视频中识别球形物体，并跟踪轨迹。
目前现有的方法是利用单帧图像中球体的纹理颜色信息和背景差来识别运动球体，并使用均值漂移等算法进行跟踪。该识别方法由于存在噪声和遮挡，仅依靠单帧图像识别目标存在不稳定性，容易造成目标的误识别，在复杂背景、球体快速运动情况下的跟踪效果较差；尤其场景中存在多个球的情况下，会出现目标ID交换。
本发明使用多帧差分方法和滤波器预测技术解决以上问题，提高复杂背景、球体快速运动、场景中存在多个球情况下球形物体识别和跟踪的准确率。
发明内容
本发明的目的在于解决复杂场景中球形物体识别和跟踪的不足，使用多帧差分法、滤波器预测和匹配实现复杂场景下球形物体的识别和跟踪，旨在解决和优化场景内复杂背景、球体快速运动、场景中存在多个球情况下球形物体识别和跟踪的准确率。
本发明采用以下技术方案实现。
本发明引入球体纹理特征提取模型，将球体图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。
本发明引入帧间差分模型，将图像当前帧与前一帧二值化后做差，以此找出图像中的运动目标。
本发明引入找圆模型，找出图像中的圆形形状。
本发明引入基于轨迹预测的跟踪算法，使用一个多维空间模型描述跟踪目标的轨迹，使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹；引入轨迹和目标匹配度模型来描述跟踪目标和目标轨迹的匹配度，轨迹和目标匹配度为滤波器预测的位置和跟踪目标的实际位置之间的距离。
一种识别和跟踪运动中的球形物体的方法，包括：
步骤1、提取球体特征
将图像中目标球所在的图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。
步骤2、识别球体
从待分析跟踪视频图像帧中找出所有与所提取纹理特征匹配的区块，将当前帧与上一帧做差以找出运动物体，之后判断找出的运动物体是否为圆形，如果是圆则认定该区块为球体。
步骤3、预测球体轨迹
使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹。计算滤波器预测的位置和当前帧球心的位置之间的距离作为匹配度度量，以此生成成本矩阵。
步骤4、匹配球体轨迹
将目标当前状态与轨迹之间的距离作为匹配度生成二分图，使用匹配算法进行最优目标匹配。
步骤5，球体跟踪控制
对连续视频的每一帧，调用步骤2、步骤3和步骤4，获得每一帧图像中跟踪的目标球体的ID和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪。
一种识别和跟踪运动中的球形物体的装置，包括：
模块1、提取球体特征模块
将球图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。
模块2、识别球体模块
从图像中找出所有与所提取纹理特征匹配的区块，将当前帧与上一帧做差以找出运动物体，之后判断找出的运动物体是否为圆形，如果是圆则认定该区块为球体。
模块3、预测球体轨迹模块
使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹。计算滤波器预测的位置和当前帧球心的位置之间的距离作为匹配度度量，以此生成成本矩阵。
模块4、匹配球体轨迹模块
将目标当前状态与轨迹之间的距离作为匹配度生成二分图，使用匹配算法进行最优目标匹配。
模块5，球体跟踪控制模块
对连续视频的每一帧，调用模块2、模块3和模块4，获得每一帧图像中跟踪的目标球体的ID和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪。
附图说明
图1示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的方法的流程示意图。
图2示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的方法中球体映射在图像坐标系上的圆信息向量示意图。
图3示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的方法的球体跟踪结果示意图。
图4示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例公开了一种识别和跟踪运动中的球形物体的方法，请参考图1，包括：
步骤S101，提取球体特征
(1)、将包含球体的RGB图像分别转换为灰度图f1，HSV图像f2。对灰度图f1进行霍夫圆变换计算，找出图中的圆形c(a,b,r)。c是一个包含检测到的圆的信息的向量，参考图2，向量内第一个元素a是圆的横坐标，第二个元素b是圆的纵坐标，第三个元素r是圆的半径大小。
(2)、在f2中统计圆形c范围内的颜色分布，取占比最多的若干种颜色作为主要颜色，并将主要颜色的范围
Figure RE-173550DEST_PATH_IMAGE001
作为纹理特征，其中h、s、v分别代表范围内HSV分量色调、饱和度、亮度的最小值和最大值。
步骤S102，识别球形物体
(1)、将当前帧图像和前一帧图像转换为HSV图像,并分别进行处理：对图像中所有像素，判断该像素的颜色是否在步骤S101提取出的纹理特征颜色范围内，在范围内的则置为黑色，否则置为白色，由此得到当前帧图像和前一帧图像的二值图像b1，b2。
(2)、将图像b1，b2进行差分得到图像b3。
(3)、将图像b3进行开运算（先腐蚀运算，再膨胀运算），找出图像中的轮廓，对轮廓图像进行霍夫圆变换，找出其中的圆形作为球形物体。
步骤S103，预测球体轨迹
使用卡尔曼滤波器预测球体轨迹，并更新轨迹。使用五维空间描述球体轨迹在某时刻的状态，x和y分别表示球心的横坐标和纵坐标，t为当前预测时刻。卡尔曼滤波器采用匀速模型和线性观测模型，其观测变量为。用卡尔曼滤波器预测的位置和当前帧球心的位置之间的欧式距离
Figure RE-265637DEST_PATH_IMAGE004
作为匹配度度量，以此生成成本矩阵。
步骤S104，匹配球体轨迹
使用匈牙利算法进行球体和轨迹的匹配。在匹配时，对于没有匹配成功的球体都认为可能产生新的轨迹，观察接下来的若干帧，若连续匹配成功，则认为新轨迹（新球体）产生。此外，对于每条轨迹有一个值用于记录从上一次匹配到当前时刻的时间，当该值大于阈值则认为该轨迹长时间没有匹配，删除此轨迹（球体）。
步骤S105，球体跟踪控制
本步骤实现对其他各步骤的控制和调度，对连续视频的每一帧，调用步骤S102、步骤S103和步骤S104，获得每一帧图像中跟踪的目标球体的ID和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪，结果参考图3。
本实施例公开了一种识别和跟踪运动中的球形物体的装置，请参考图4，包括：
模块S201，提取球体特征模块：将包含球体的RGB图像分别转换为灰度图f1，HSV图像f2。对灰度图f1进行霍夫圆变换计算，找出图中的圆形c，在f2中统计圆形c范围内的颜色分布，取占比最多的若干种颜色作为主要颜色，并将主要颜色的范围作为纹理特征。
模块S202，识别球体模块：将当前帧图像和前一帧图像转换为HSV图像,并分别进行处理：对图像中所有像素，判断该像素的颜色是否在上述提取出的纹理特征颜色范围内，在范围内的则置为黑色，否则置为白色，由此得当前帧图像和前一帧图像的二值图像，对两帧进行差分，并对差分图像进行开运算，找出图像中的轮廓，再对轮廓图像进行霍夫圆变换，找出其中的圆形作为球形物体。
模块S203，预测球体轨迹模块：使用卡尔曼滤波器预测球体轨迹，并更新轨迹。卡尔曼滤波器采用匀速模型和线性观测模型。用卡尔曼滤波器预测的位置和当前帧球心的位置之间的欧式距离作为匹配度度量，以此生成成本矩阵。
模块S204，匹配球体轨迹模块：使用匈牙利算法进行球体和轨迹的匹配。
模块S205，球体跟踪控制模块：本模块作为调度模块，循环对连续视频的每一帧，调用模块S202、模块S203和模块S204，获得每一帧图像需要跟踪的球体的ID和位置，生成球体运动的真实轨迹，实现对球体的跟踪。
本实施例不对球体特征提取模型、球体轨迹预测模型、球体和轨迹匹配模型做限定，在未作特别申明的情况下，具体的模型对本实施例的技术方案不构成限制，应当理解为便于本领域技术人员理解技术方案而举的示例。
本领域内的技术人员应明白，本发明的实施例可提供为方法及装置。本发明是参照本发明实施例的方法及装置的流程图和结构示意图来描述的。
显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种识别和跟踪运动中的球形物体的方法，其特征在于：步骤1、提取球体特征；步骤2、识别球体；步骤3、预测球体轨迹；步骤4、匹配球体轨迹；步骤5、球体跟踪控制。
2.根据权利要求1所述的一种基于光流场进行摄像头自动巡检的方法，其特征在于：所述提取球体特征，是将球图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。
3.根据权利要求1所述的一种识别和跟踪运动中的球形物体的方法，其特征在于：所述识别球体，是从图像中找出所有与所提取纹理特征匹配的区块，将当前帧与上一帧做差以找出运动物体，之后判断找出的运动物体是否为圆形，如果是圆则认定该区块为球体。
4.根据权利要求1所述的一种识别和跟踪运动中的球形物体的方法，其特征在于：所述预测球体轨迹，是使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹；计算滤波器预测的位置和当前帧球心的位置之间的距离作为匹配度度量，以此生成成本矩阵。
5.根据权利要求1所述的一种识别和跟踪运动中的球形物体的方法，其特征在于：所述匹配球体轨迹，是将目标当前状态与轨迹之间的距离作为匹配度生成二分图，使用匹配算法进行最优目标匹配。
6.根据权利要求1所述的一种识别和跟踪运动中的球形物体的方法，其特征在于：所述球体跟踪控制，是对连续视频的每一帧，调用步骤识别球体、步骤预测球体轨迹、步骤4匹配球体轨迹，获得每一帧图像中跟踪的目标球体的ID和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪。
7.一种识别和跟踪运动中的球形物体的装置，其特征在于：
模块1、提取球体特征模块：将球图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征；
模块2、识别球体模块：从图像中找出所有与所提取纹理特征匹配的区块，将当前帧与上一帧做差以找出运动物体，之后判断找出的运动物体是否为圆形，如果是圆则认定该区块为球体；
模块3、预测球体轨迹模块：使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹；计算滤波器预测的位置和当前帧球心的位置之间的距离作为匹配度度量，以此生成成本矩阵；
模块4、匹配球体轨迹模块：将目标当前状态与轨迹之间的距离作为匹配度生成二分图，使用匹配算法进行最优目标匹配；
模块5，球体跟踪控制模块：对连续视频的每一帧，调用模块2、模块3和模块4，获得每一帧图像中跟踪的目标球体的ID和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪。
CN201910946351.4A 2019-10-04 2019-10-04 一种识别和跟踪运动中的球形物体的方法及装置 Pending CN110796019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910946351.4A CN110796019A (zh) 2019-10-04 2019-10-04 一种识别和跟踪运动中的球形物体的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910946351.4A CN110796019A (zh) 2019-10-04 2019-10-04 一种识别和跟踪运动中的球形物体的方法及装置

Publications (1)

Publication Number Publication Date
CN110796019A true CN110796019A (zh) 2020-02-14

Family

ID=69438924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910946351.4A Pending CN110796019A (zh) 2019-10-04 2019-10-04 一种识别和跟踪运动中的球形物体的方法及装置

Country Status (1)

Country Link
CN (1) CN110796019A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120949A (zh) * 2022-06-08 2022-09-30 乒乓动量机器人(昆山)有限公司 乒乓球机器人灵活击球策略的实现方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139419A (zh) * 2015-08-03 2015-12-09 硅革科技（北京）有限公司 一种足球比赛视频的球员及球体跟踪方法
CN106780620A (zh) * 2016-11-28 2017-05-31 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
CN107767392A (zh) * 2017-10-20 2018-03-06 西南交通大学 一种适应遮挡场景的球类运动轨迹追踪方法
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139419A (zh) * 2015-08-03 2015-12-09 硅革科技（北京）有限公司 一种足球比赛视频的球员及球体跟踪方法
CN106780620A (zh) * 2016-11-28 2017-05-31 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
CN107767392A (zh) * 2017-10-20 2018-03-06 西南交通大学 一种适应遮挡场景的球类运动轨迹追踪方法
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余弦等: "一种基于轨迹的足球检测和跟踪方案", 《计算机工程与应用》 *
李庆瀛等: "基于卡尔曼滤波的移动机器人运动目标跟踪", 《传感器与微系统》 *
谷帅: "基于卡尔曼滤波的台球跟踪技术研究", 《无线互联科技》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120949A (zh) * 2022-06-08 2022-09-30 乒乓动量机器人(昆山)有限公司 乒乓球机器人灵活击球策略的实现方法、系统及存储介质
CN115120949B (zh) * 2022-06-08 2024-03-26 乒乓动量机器人(昆山)有限公司 乒乓球机器人灵活击球策略的实现方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN107993245B (zh) 一种空天背景多目标检测和跟踪方法
WO2022099598A1 (zh) 一种基于图像像素相对统计特征的视频动态目标检测的方法
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN108022258B (zh) 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN106709500B (zh) 一种图像特征匹配的方法
CN106327488B (zh) 一种自适应的前景检测方法及其检测装置
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
Xiang et al. Moving object detection and shadow removing under changing illumination condition
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN105513053A (zh) 一种用于视频分析中背景建模方法
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN110610485A (zh) 一种基于ssim算法的特高压输电线路通道隐患预警方法
CN112560704A (zh) 一种多特征融合的视觉识别方法及系统
CN109658441B (zh) 基于深度信息的前景检测方法及装置
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
CN110796019A (zh) 一种识别和跟踪运动中的球形物体的方法及装置
CN107194954B (zh) 多视角视频的球员追踪方法和装置
CN112052726A (zh) 图像处理方法及装置
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
Wang et al. An efficient method of shadow elimination based on image region information in HSV color space
CN115131340A (zh) 一种电厂煤粉泄露识别方法、装置、设备及刻度存储介质
Javadi et al. Change detection in aerial images using a Kendall's TAU distance pattern correlation
Nallaperumal et al. An analysis of suitable color space for visually plausible shadow-free scene reconstruction from single image
Yang et al. A modified method of vehicle extraction based on background subtraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination