CN116912748A - 赛事视角追踪方法、系统、可读存储介质及计算机 - Google Patents
赛事视角追踪方法、系统、可读存储介质及计算机 Download PDFInfo
- Publication number
- CN116912748A CN116912748A CN202311174780.7A CN202311174780A CN116912748A CN 116912748 A CN116912748 A CN 116912748A CN 202311174780 A CN202311174780 A CN 202311174780A CN 116912748 A CN116912748 A CN 116912748A
- Authority
- CN
- China
- Prior art keywords
- model
- feature
- depth
- frame
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003068 static effect Effects 0.000 claims abstract description 90
- 230000000007 visual effect Effects 0.000 claims abstract description 70
- 238000005457 optimization Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000008447 perception Effects 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012163 sequencing technique Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种赛事视角追踪方法、系统、可读存储介质及计算机，该方法包括：获取赛事时间线上每个时间节点的静态图像，并基于静态图像进行分类学习得到深度特征；利用基于注意力学习机制的表达增强模型中的动态帧内注意力和静态帧内注意力从深度特征中筛选出视角信息；在基于背景感知的决策模型中嵌入滤波层得到决策优化模型；在特征模型中嵌入回归损失及排序损失得到追踪特征模型；将各模型进行模型组合得到组合模型，并利用组合模型对视角信息进行视觉处理，从而实现赛事时间线上每个时间节点的静态图像的视角追踪。本发明借助表达增强模型中的动态帧内注意力和静态帧内注意力对图像进行有效的挖掘，以提升图像处理的精准度和效率。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种赛事视角追踪方法、系统、可读存储介质及计算机。
背景技术
随着科技的飞速发展和人们生活水平的提高，越来越多的人们开始关注体育赛事，从而使得体育赛事的视角目标追踪方法也在逐渐优化。
现有的体育赛事的视角目标追踪方法通常是使用目标对象内部或边缘上具有显著差异的特征点作为视觉表达，并在连续视频序列对特征点进行搜索，从而达到对目标对象的定位，其在目标对象出现较小的位移、旋转和形变时能够取得良好的追踪效果。然而，特征点对于目标对象以及背景环境的各种外观变化比较敏感，但体育赛事中背景环境都比较大、且较为复杂，从而导致现有的视角目标追踪方法很难处理大部分复杂的追踪场景。
发明内容
基于此，本发明的目的是提供一种赛事视角追踪方法、系统、可读存储介质及计算机，以至少解决上述技术中的不足。
本发明提出一种赛事视角追踪方法，包括：
获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；
构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；
利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；
基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；
将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
进一步的，获取赛事时间线上每个时间节点的静态图像的步骤包括：
获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；
获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
进一步的，利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息的步骤包括：
利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；
获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；
利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；
根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
进一步的，利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型的步骤包括：
以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；
利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。
进一步的，基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型的步骤包括：
给定卷积神经网络模型，利用梯度指标和所述深度特征对所述卷积神经网络模型进行模型优化，以得到对应的特征模型；
将所述深度特征中所有数据在所述特征模型中进行高斯函数回归，以得到对应的回归模型；
构建排序损失，将所述排序损失嵌入所述回归模型中，以得到对应的追踪特征模型。
进一步的，所述通道特征与所述深度特征之间的相关度的表达式为：
；
；
；
式中，表示通道特征，/>表示双曲正切型激活函数，/>表示深度特征的通道特征分量，/>表示矩阵按元素相加，/>表示静态帧内注意力中通道特征分量，表示对深度特征/>进行平均池化得到的通道单元，/>表示对深度特征/>进行最大池化得到的通道单元，/>表示深度特征，/>表示通道特征与深度特征之间的相关度，/>表示S型激活函数，/>、/>、/>分别用于调整/>、/>、/>占比的权重。
进一步的，所述静态图像中目标对象的识别度的表达式为：
；
；
；
式中，表示空间特征，/>表示对深度特征/>进行平均池化得到的空间单元，/>表示对深度特征/>进行最大池化得到的空间单元，/>表示深度特征的空间特征分量，/>表示静态帧内注意力中空间特征分量，/>表示静态图像中目标对象的识别度，/>、/>、/>分别用于调整/>、/>、/>占比的权重。
本发明还提出一种赛事视角追踪系统，包括：
图像获取模块，用于获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；
视角信息筛选模块，用于构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；
优化模型构建模块，用于利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；
特征模型构建模块，用于基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；
视角追踪模块，用于将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
进一步的，所述图像获取模块包括：
数据分解单元，用于获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；
图像获取单元，用于获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
进一步的，所述视角信息筛选模块包括：
时序建模单元，用于利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；
相关度计算单元，用于获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；
差异信息计算单元，用于利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；
视角信息筛选单元，用于根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
进一步的，所述优化模型构建模块包括：
特征选定单元，用于以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；
优化模型构建单元，用于利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。
进一步的，所述特征模型构建模块包括：
特征模型构建单元，用于给定卷积神经网络模型，利用梯度指标和所述深度特征对所述卷积神经网络模型进行模型优化，以得到对应的特征模型；
回复模型构建单元，用于将所述深度特征中所有数据在所述特征模型中进行高斯函数回归，以得到对应的回归模型；
特征模型构建单元，用于构建排序损失，将所述排序损失嵌入所述回归模型中，以得到对应的追踪特征模型。
本发明还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的赛事视角追踪方法。
本发明还提出一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的赛事视角追踪方法。
本发明当中的赛事视角追踪方法、系统、可读存储介质及计算机，通过获取赛事时间线上每个时间节点的静态图像，对静态图像进行分类学习得到深度特征，利用注意力学习机制的表达增强模型从深度特征中获取目标对象的视角信息，通过对构建的决策模型和特征模型进行优化，并以优化后的模型和表达增强模型进行组合，从而利用组合模型对目标对象的视角信息进行视觉处理，从而实现在赛事时间线上每个时间节点的静态图像的视角追踪，借助表达增强模型中的动态帧内注意力和静态帧内注意力对图像进行有效的挖掘，以提升图像处理的精准度和效率。
附图说明
图1为本发明第一实施例中的赛事视角追踪方法的流程图；
图2为图1中步骤S101的详细流程图；
图3为图1中步骤S102的详细流程图；
图4为图1中步骤S103的详细流程图；
图5为图1中步骤S104的详细流程图；
图6为本发明第二实施例中的赛事视角追踪系统的结构框图；
图7为本发明第三实施例中的计算机的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的赛事视角追踪方法，所述方法具体包括步骤S101至S105：
S101，获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；
进一步的，请参阅图2，所述步骤S1011~S1012：
S1011，获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；
S1012，获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
在具体实施时，在赛事时间线上的多个时间点上会实时接收各采集设备所采集的运动数据，其中，该运动数据包括在赛事进行过程中目标对象的运动状态以及运动轨迹等相关数据，其中，赛事时间线与赛事的进行时间相关联，将上述得到的运动数据进行双边滤波处理，以平滑运动数据，减少干扰噪声，获得相对稳定的运动数据，可以理解的，双边滤波处理能够保留运动数据中的细节信息，并且不会引入新的误差数据，在得到相对稳定的运动数据后，将其进行逐帧分解，从而得到该运动数据中的逐帧数据。
进一步的，获取图像采集设备在上述的赛事时间线上的各时间节点所采集的图像信息，将上述的逐帧数据和图像信息在赛事时间线的各时间节点上构建映射关系，从而得到该赛事时间线上各时间节点的静态图像，利用预设的分类学习算法对该静态图像进行分类学习得到对应的深度特征，可以理解的，将逐帧数据和图像信息进行关联，能够避免静态图像与运动数据之间的不匹配，从而影响整个赛事过程中目标追踪的精准度。
S102，构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；
进一步的，请参阅图3，所述步骤S1021~S1022：
S1021，利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；
S1022，获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；
S1023，利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；
S1024，根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
在具体实施时，为了提升对深度特征的表达能力，基于注意力学习机制构建表达增强模型，在本实施例中，注意力学习机制包括动态帧内注意力和静态帧内注意力，动态帧内注意力选用全卷积长短时网络，通过全卷积长短时记忆网络对深度特征的目标对象进行时序建模，以挖掘出深度特征的目标对象在表达增强模型中动态帧序列中的关联信息，其中，动态帧序列由上述的运动数据输入至所述表达增强模型中进行处理后得到；
进一步的，静态帧内注意力选用多层感知器，分别从多层感知器的通道特征计算出深度特征中目标对象与背景之间的类别差异信息，即获取每个通道特征与深度特征中目标对象的关联度，用来提升能够表征目标对象与背景之间的类别差异信息的通道特征表达能力，给定当前帧中主干网络提取的深度特征/>和当前帧/>的前一帧/>的通道特征分量/>，并沿整个空间维度通过全局感受野的平均池化和最大池化操作对深度特征进行空间压缩，以得到两个空间维度与深度特征/>的特征通道数相等的通道单元：、/>，将两个通道单元组合输入至多层感知器中，以得到对应的通道特征与所述深度特征之间的相关度；
所述相关度的表达式为：
；
；
；
式中，表示通道特征，/>表示双曲正切型激活函数，/>表示深度特征的通道特征分量，/>表示矩阵按元素相加，/>表示通道特征与深度特征之间的相关度，/>表示S型激活函数，/>、/>、/>分别用于调整/>、/>、/>占比的权重。
进一步的，利用静态帧内注意力来增强深度特征中目标对象的外观视觉表达，给定当前帧中主干网络提取的深度特征/>和静态帧内注意力中空间特征分量/>，对该深度特征/>进行两种不同全局池化（平均池化和最大池化）得到对应的空间单元、/>，将该空间单元输入至多层感知器中，以得到静态图像中目标对象的识别度；
所述静态图像中目标对象的识别度的表达式为：
；
；
；
式中，表示空间特征，/>表示深度特征的空间特征分量，/>表示静态图像中目标对象的识别度，/>、/>、/>分别用于调整/>、/>、/>占比的权重。
具体的，利用上述的识别度以及相关度计算出深度特征中目标对象与背景环境之间的差异信息，即利用初始的深度特征对该识别度和相关度进行损失补偿，以避免注意力学习机制对视觉表达进行错误抑制，将该差异信息和深度特征在表达增强模型中动态帧序列中的关联信息在深度特征中筛选出目标对象所对应的视角信息，其中，动态帧内注意力主要选取目标对象在其动态帧序列中持续出现的区域，而静态帧内注意力能够选择性选取表达目标对象特性属性的特征通道和特征区域，将动态帧内注意力所选取的区域与静态帧内注意力所选取的区域进行组合，即可得到该目标对象所对应的视角信息。
S103，利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；
进一步的，请参阅图4，所述步骤S1031~S1032：
S1031，以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；
S1032，利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。
在具体实施时，以上述的静态图像中当前帧的静态图像的前一帧图像作为参考，分别确定该静态图像的模板数据以及对应的候选目标，利用深度特征作为主干网络的模型参数，以分别获取模板数据和候选目标对应的视觉特征，利用该视觉特征和岭回归优化算法构建基于背景感知的决策模型，在决策模型中嵌入选用感知滤波层（在本实施例中，该感知滤波层选用辨别式滤波器的滤波器参数），从而得到对应的决策优化模型。
S104，基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；
进一步的，请参阅图5，所述步骤S1041~S1043：
S1041，给定卷积神经网络模型，利用梯度指标和所述深度特征对所述卷积神经网络模型进行模型优化，以得到对应的特征模型；
S1042，将所述深度特征中所有数据在所述特征模型中进行高斯函数回归，以得到对应的回归模型；
S1043，构建排序损失，将所述排序损失嵌入所述回归模型中，以得到对应的追踪特征模型。
在具体实施时，给定一个卷积神经网络模型，并利用预设的梯度值的通道重要性函数/>和深度特征/>对该卷积神经网络模型/>进行优化，以得到对应的特征模型/>：
；
进一步的，将上述的深度特征中所有数据在该特征模型中回归得到一个具有高斯函数形状的标签图上，具体的，该标签图是利用深度特征中所有数据的坐标值和高斯函数的带宽进行计算，以该深度特征中当前数据相对于其目标中心的坐标偏移数据进行表示，利用具有闭合解的岭回归损失对该深度特征中当前数据的导数计算出该当前数据所对应的高斯函数的贡献度大小，利用链式求导法则和上述具有闭合解的岭回归损失计算出该特征模型的预测输出，以得到对应的回归模型；
具体的，根据深度特征中所有数据的尺寸与真实目标尺寸进行对比，根据尺寸的差异大小进行排序，以得到所有数据的排序标签，并利用构建好的排序损失嵌入所述回归模型中对各排序标签进行计算，从而得到对应的追踪特征模型，其中，利用排序损失计算出其对排序标签的梯度，并将该梯度与排序标签对应的导数进行计算，以提升模型对目标对象的尺寸变化的敏感程度。
S105，将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
在具体实施时，提取决策优化模型、表达增强模型与追踪特征模型的学习器，并单独将各模型的学习器进行分类或回归学习，将单独学习后的学习器进行组合，并将组合后的学习器导入至预设的子模型中，以得到新的子模型，利用新的子模型构建组合模型，利用组合模型对上述的视角信息进行视觉处理，从而实现在赛事时间线上每个时间节点的静态图像的视角追踪。
综上，本发明上述实施例当中的赛事视角追踪方法，通过获取赛事时间线上每个时间节点的静态图像，对静态图像进行分类学习得到深度特征，利用注意力学习机制的表达增强模型从深度特征中获取目标对象的视角信息，通过对构建的决策模型和特征模型进行优化，并以优化后的模型和表达增强模型进行组合，从而利用组合模型对目标对象的视角信息进行视觉处理，从而实现在赛事时间线上每个时间节点的静态图像的视角追踪，借助表达增强模型中的动态帧内注意力和静态帧内注意力对图像进行有效的挖掘，以提升图像处理的精准度和效率。
实施例二
本发明另一方面还提出一种赛事视角追踪系统，请查阅图6，所示为本发明第二实施例中的赛事视角追踪系统，所述系统包括：
图像获取模块11，用于获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；
进一步的，所述图像获取模块11包括：
数据分解单元，用于获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；
图像获取单元，用于获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
视角信息筛选模块12，用于构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；
进一步的，所述视角信息筛选模块12包括：
时序建模单元，用于利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；
相关度计算单元，用于获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；
差异信息计算单元，用于利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；
视角信息筛选单元，用于根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
优化模型构建模块13，用于利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；
进一步的，所述优化模型构建模块13包括：
特征选定单元，用于以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；
优化模型构建单元，用于利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。
特征模型构建模块14，用于基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；
进一步的，所述特征模型构建模块14包括：
特征模型构建单元，用于给定卷积神经网络模型，利用梯度指标和所述深度特征对所述卷积神经网络模型进行模型优化，以得到对应的特征模型；
回复模型构建单元，用于将所述深度特征中所有数据在所述特征模型中进行高斯函数回归，以得到对应的回归模型；
特征模型构建单元，用于构建排序损失，将所述排序损失嵌入所述回归模型中，以得到对应的追踪特征模型。
视角追踪模块15，用于将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
本发明实施例所提供的赛事视角追踪系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例三
本发明还提出一种计算机，请参阅图7，所示为本发明第三实施例中的计算机，包括存储器10、处理器20以及存储在所述存储器10上并可在所述处理器20上运行的计算机程序30，所述处理器20执行所述计算机程序30时实现上述的赛事视角追踪方法。
其中，存储器10至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器10在一些实施例中可以是计算机的内部存储单元，例如该计算机的硬盘。存储器10在另一些实施例中也可以是外部存储装置，例如插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器10还可以既包括计算机的内部存储单元也包括外部存储装置。存储器10不仅可以用于存储安装于计算机的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，处理器20在一些实施例中可以是电子控制单元 (Electronic ControlUnit，简称ECU，又称行车电脑)、中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器10中存储的程序代码或处理数据，例如执行访问限制程序等。
需要指出的是，图7示出的结构并不构成对计算机的限定，在其它实施例当中，该计算机可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的赛事视角追踪方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种赛事视角追踪方法，其特征在于，包括：
获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；
构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；
利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；
基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；
将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
2.根据权利要求1所述的赛事视角追踪方法，其特征在于，获取赛事时间线上每个时间节点的静态图像的步骤包括：
获取赛事时间线上的运动数据，并对所述运动数据进行双边滤波处理，对双边滤波处理后的运动数据进行逐帧分解，以得到对应的逐帧数据；
获取图像采集设备在所述赛事时间线上的各时间节点所采集的图像信息，并将所述逐帧数据与所述图像信息在各所述时间节点上构建映射关系，以得到所述赛事时间线上各时间节点的静态图像。
3.根据权利要求1所述的赛事视角追踪方法，其特征在于，利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息的步骤包括：
利用所述表达增强模型中的动态帧内注意力对所述深度特征进行时序建模，以挖掘出所述深度特征在所述表达增强模型中动态帧序列中的关联信息；
获取所述表达增强模型中的静态帧内注意力中的通道特征以及空间特征，并计算出所述通道特征与所述深度特征之间的相关度；
利用所述空间特征增强所述深度特征所对应的视觉表达，以获得所述静态图像中目标对象的识别度，并利用所述识别度以及所述相关度计算出所述深度特征中目标对象与背景环境之间的差异信息；
根据所述关联信息和所述差异信息在所述深度特征中筛选出所述目标对象所对应的视角信息。
4.根据权利要求1所述的赛事视角追踪方法，其特征在于，利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型的步骤包括：
以所述静态图像中当前帧的静态图像的前一帧图像作为参考，确定所述静态图像的模板数据以及候选目标，并根据所述模板数据以及所述候选目标选定对应的视觉特征；
利用岭回归优化算法和所述视觉特征构建基于背景感知的决策模型，并在所述决策模型中嵌入感知滤波层，以得到对应的决策优化模型。
5.根据权利要求1所述的赛事视角追踪方法，其特征在于，基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型的步骤包括：
给定卷积神经网络模型，利用梯度指标和所述深度特征对所述卷积神经网络模型进行模型优化，以得到对应的特征模型；
将所述深度特征中所有数据在所述特征模型中进行高斯函数回归，以得到对应的回归模型；
构建排序损失，将所述排序损失嵌入所述回归模型中，以得到对应的追踪特征模型。
6.根据权利要求3所述的赛事视角追踪方法，其特征在于，所述通道特征与所述深度特征之间的相关度的表达式为：
；
；
；
式中，表示通道特征，/>表示双曲正切型激活函数，/>表示深度特征的通道特征分量，/>表示矩阵按元素相加，/>表示静态帧内注意力中通道特征分量，/>表示对深度特征/>进行平均池化得到的通道单元，/>表示对深度特征/>进行最大池化得到的通道单元，/>表示深度特征，/>表示通道特征与深度特征之间的相关度，表示S型激活函数，/>、/>、/>分别用于调整/>、/>、/>占比的权重。
7.根据权利要求6所述的赛事视角追踪方法，其特征在于，所述静态图像中目标对象的识别度的表达式为：
；
；
；
式中，表示空间特征，/>表示对深度特征/>进行平均池化得到的空间单元，/>表示对深度特征/>进行最大池化得到的空间单元，/>表示深度特征的空间特征分量，/>表示静态帧内注意力中空间特征分量，/>表示静态图像中目标对象的识别度，/>、/>、/>分别用于调整/>、/>、/>占比的权重。
8.一种赛事视角追踪系统，其特征在于，包括：
图像获取模块，用于获取赛事时间线上每个时间节点的静态图像，并基于所述静态图像进行分类学习得到对应的深度特征；
视角信息筛选模块，用于构建基于注意力学习机制的表达增强模型，并利用所述表达增强模型中的动态帧内注意力和静态帧内注意力从所述深度特征中筛选出视角信息；
优化模型构建模块，用于利用岭回归优化算法构建基于背景感知的决策模型，并在所述决策模型中嵌入滤波层，以得到对应的决策优化模型；
特征模型构建模块，用于基于所述深度特征构建特征模型，并在所述特征模型中嵌入回归损失以及排序损失，以得到对应的追踪特征模型；
视角追踪模块，用于将所述决策优化模型、所述表达增强模型与所述追踪特征模型进行模型组合，以得到组合模型，并利用所述组合模型对所述视角信息进行视觉处理，从而实现所述赛事时间线上每个时间节点的静态图像的视角追踪。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一所述的赛事视角追踪方法。
10.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一所述的赛事视角追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311174780.7A CN116912748A (zh) | 2023-09-13 | 2023-09-13 | 赛事视角追踪方法、系统、可读存储介质及计算机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311174780.7A CN116912748A (zh) | 2023-09-13 | 2023-09-13 | 赛事视角追踪方法、系统、可读存储介质及计算机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912748A true CN116912748A (zh) | 2023-10-20 |
Family
ID=88356982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311174780.7A Pending CN116912748A (zh) | 2023-09-13 | 2023-09-13 | 赛事视角追踪方法、系统、可读存储介质及计算机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912748A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903312A (zh) * | 2019-01-25 | 2019-06-18 | 北京工业大学 | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 |
| CN110837294A (zh) * | 2019-10-14 | 2020-02-25 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
| CN114494972A (zh) * | 2022-02-11 | 2022-05-13 | 泰州职业技术学院 | 一种结合通道选择与位置优化的目标跟踪方法及系统 |
| CN115457417A (zh) * | 2022-09-23 | 2022-12-09 | 北京理工大学重庆创新中心 | 一种基于时空注意力知识的长时反无人机视觉跟踪方法 |
-
2023
- 2023-09-13 CN CN202311174780.7A patent/CN116912748A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903312A (zh) * | 2019-01-25 | 2019-06-18 | 北京工业大学 | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 |
| CN110837294A (zh) * | 2019-10-14 | 2020-02-25 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
| CN114494972A (zh) * | 2022-02-11 | 2022-05-13 | 泰州职业技术学院 | 一种结合通道选择与位置优化的目标跟踪方法及系统 |
| CN115457417A (zh) * | 2022-09-23 | 2022-12-09 | 北京理工大学重庆创新中心 | 一种基于时空注意力知识的长时反无人机视觉跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHENG TAN等: "Temporal Attention Unit: Towards Efficient Spatiotemporal Predictive Learning", 《ARXIV》, pages 1 - 13 * |
| XIN LI等: "Target-Aware Deep Tracking", 《ARXIV》, pages 1 - 10 * |
| 高鹏: "基于表达增强与决策优化的深度视觉目标追踪方法研究", 《信息科技辑》, no. 01, pages 44 - 61 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mathieu et al. | Deep multi-scale video prediction beyond mean square error | |
| AU2019213369B2 (en) | Non-local memory network for semi-supervised video object segmentation | |
| CN109697434B (zh) | 一种行为识别方法、装置和存储介质 | |
| CN107844794B (zh) | 图像识别方法和装置 | |
| Ye et al. | Dynamic texture based smoke detection using Surfacelet transform and HMT model | |
| US10748281B2 (en) | Negative sample enhanced object detection machine | |
| CN108960114A (zh) | 人体识别方法及装置、计算机可读存储介质及电子设备 | |
| US11562166B2 (en) | Generating shift-invariant neural network feature maps and outputs | |
| CN109753878B (zh) | 一种恶劣天气下的成像识别方法及系统 | |
| US9031280B2 (en) | Temporal-correlations-based mode connection | |
| CN111079507B (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| Xu et al. | Unsupervised color image segmentation with color-alone feature using region growing pulse coupled neural network | |
| CN113191489B (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
| CN112801235A (zh) | 模型训练方法、预测方法、装置、重识别模型及电子设备 | |
| Riche et al. | Bottom-up saliency models for still images: A practical review | |
| Reddy et al. | Robust foreground object segmentation via adaptive region-based background modelling | |
| CN116912748A (zh) | 赛事视角追踪方法、系统、可读存储介质及计算机 | |
| CN116935240A (zh) | 多尺度感知金字塔的地表覆盖分类系统和方法 | |
| CN116229406A (zh) | 车道线检测方法、系统、电子设备及存储介质 | |
| CN116189037A (zh) | 一种火焰检测的识别方法、装置及终端设备 | |
| CN115830362A (zh) | 图像处理方法、装置、设备、介质及产品 | |
| US20070223818A1 (en) | Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video | |
| CN113837062A (zh) | 一种分类方法、装置、存储介质及电子设备 | |
| CN113192085A (zh) | 三维器官图像分割方法、装置及计算机设备 | |
| CN112651484A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |