CN111062291A - 一种机器人视觉跟踪方法及系统 - Google Patents
一种机器人视觉跟踪方法及系统 Download PDFInfo
- Publication number
- CN111062291A CN111062291A CN201911257577.XA CN201911257577A CN111062291A CN 111062291 A CN111062291 A CN 111062291A CN 201911257577 A CN201911257577 A CN 201911257577A CN 111062291 A CN111062291 A CN 111062291A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- naive bayes
- bayes classifier
- dimension reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本发明涉及一种机器人视觉跟踪方法及系统。本发明根据t时刻的帧图像,利用蒙特卡洛算法和压缩感知理论,得到训练后的朴素贝叶斯分类器;在t+1时刻的帧图像进行采样,获得多张待跟踪图像;利用蒙特卡洛算法和压缩感知理论分别对多张所述待跟踪图像进行降维,得到t+1时刻的每张所述待跟踪图像的压缩特征向量;将t+1时刻的每张所述待跟踪图像的压缩特征向量输入所述训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。本发明提供的一种机器人视觉跟踪方法及系统,通过将蒙特卡洛与压缩感知相结合,提高了视觉跟踪的效率和可靠性。
Description
技术领域
本发明涉及机器人视觉领域,特别是涉及一种机器人视觉跟踪方法及系统。
背景技术
近年来,机器学习、认知科学及认知神经科学等领域的持续性进展对智能机器人造成了巨大推进力。视觉目标跟踪是计算机视觉中应用最广泛、最重要的问题之一,且被广泛应用于目标监视、人机交互和医学成像等。视觉目标跟踪是通过给定视频帧中目标对象的初始状态(例如,位置和大小),通过算法估计后续帧中的目标状态。虽然对象跟踪已经研究了几十年,并且取得了很大进展,但它仍然是一个非常具有挑战性的问题。许多因素会影响跟踪算法的性能,例如遮挡、目标运动以及复杂背景等。近年来,涌现了许多目标跟踪方法。跟踪算法一般根据其外观模型分为生成型和判决型,但是单一跟踪方法无法成功处理所有场景。
经典的跟踪方法之一是首先建立目标运动模型并预测目标状态,然后使用新观察到的样本来校正预测值。该方法将视觉跟踪看作是在一个Bayesian框架下求解最大后验概率的过程,且认为待跟踪目标的后验概率最大,由此完成视觉跟踪。其最典型的方法包括粒子滤波,Kalman滤波等现代滤波手段。这类方法往往需要多次迭代,这类方法普遍复杂度较高,运算成本大。
为了降低运算成本、提高跟踪速度,另外一种有效的方法是从高维空间中提取鉴别特征。将目标跟踪视作一个二值分类任务,即将对象从其本地背景中分离出来,进而进行鉴别跟踪。压缩感知(Compressive Sensing,CS)理论“少采样、巧重构”的思想,为从相对冗余的高维数据中提取稀疏的特征信息提供了可能。Zhang等人将压缩感知与单目标跟踪算法融合,利用满足有限等距性质(restricted isometry property,RIP)的随机测量矩阵对多尺度的图像特征进行降维,然后通过朴素贝叶斯分类器(naive Bayes classifier)对特征进行分类从而预测目标位置。压缩感知跟踪算法的优点在于快,然而利用随机矩阵降维很有可能在目标被遮挡后造成跟踪漂移。
发明内容
本发明的目的是提供一种机器人视觉跟踪方法及系统,提高了视觉跟踪的效率和可靠性。
为实现上述目的,本发明提供了如下方案:
一种机器人视觉跟踪方法,所述视觉跟踪方法包括:
对跟踪视频t时刻的帧图像分别进行目标采样和背景采样,得到多张目标图像和多张背景图像;
根据蒙特卡洛算法分别对每张所述目标样本图像和每张所述背景样本图像进行一次降维,得到每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量;
根据压缩感知理论分别对每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量进行二次降维,得到每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量,并将每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集;
利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器;
对跟踪视频t+1时刻的帧图像进行采样,获得多张待跟踪图像;
利用蒙特卡洛算法和压缩感知理论分别对多张所述待跟踪图像进行降维,得到t+1时刻的每张所述待跟踪图像的压缩特征向量;
将t+1时刻的每张所述待跟踪图像的压缩特征向量输入所述训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。
可选的,所述根据蒙特卡洛算法分别对每张所述目标样本图像和每张所述背景样本图像进行一次降维,得到每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量,具体包括:
根据先验分布P(x0),获得第ny个图像上的Ns个特征值,组成第ny个图像特征向量;
其中,zl为第ny个图像的第l个一次降维压缩特征值,l∈[1,M],z1为第ny个图像的第1个一次降维压缩特征值,z2为第ny个图像的第2个一次降维压缩特征值,zM为第ny个图像的第M个一次降维压缩特征值,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像,rlj为随机矩阵R的第l行第j列元素,j∈[1,Ns],为第ny个图像上的第j个特征值,Z为第ny个图像的一次降维压缩特征向量。
可选的,所述根据压缩感知理论分别对每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量进行二次降维,得到每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量,并将每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集,具体包括:
基于所述压缩感知理论,利用公式V=SZ,得到第ny个图像的二次降维压缩特征向量;
其中,V为第ny个图像的二次降维压缩特征向量,S为稀疏测量矩阵,Z为第ny个图像的一次降维压缩特征向量,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
可选的,所述利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器,具体包括:
将所述第t+1时刻预测的样本集分为训练样本集和验证样本集;
将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率;
判断所述训练准确率是否小于训练准确率阈值,得到第一判断结果;
若所述第一判断结果表示所述训练准确率小于所述训练准确率阈值,则利用均值更新公式和方差更新公式,更新朴素贝叶斯分类器的条件概率分布,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
若所述第一判断结果表示所述训练准确率不小于所述训练准确率阈值,则利用所述验证样本集,验证所述朴素贝叶斯分类器,判断所述朴素贝叶斯分类器的输出分类结果的验证准确率是否小于验证准确率阈值,得到第二判断结果;
若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率小于所述验证准确率阈值,则更新所述训练准确率阈值,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率不小于所述验证准确率阈值,则输出训练后的朴素贝叶斯分类器。
可选的,所述均值更新公式为μi=λμi+(1-λ)μi-1;所述方差更新公式为
其中,μi为第i个二次降维压缩特征对应的正态分布的均值,μi-1为第i-1个二次降维压缩特征对应的正态分布的均值,i∈[1,M],λ为秩,λ>0,σi 2为第i个二次降维压缩特征对应的正态分布的方差,为第i-1个二次降维压缩特征对应的正态分布的方差,P(vi|y=1)为第i个二次降维压缩特征为目标图像时的条件概率,P(vi|y=0)为第i个二次降维压缩特征为背景图像时的条件概率,P(vi|y=1)和P(vi|y=0)均满足正态分布,P(vi|y=1)~N(μi,σi 2),P(vi|y=0)~N(μi,σi 2),vi为第ny个图像的第i个二次降维压缩特征,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
一种机器人视觉跟踪系统,所述视觉跟踪系统包括:
目标图像和背景图像获取模块,用于对跟踪视频t时刻的帧图像分别进行目标采样和背景采样,得到多张目标图像和多张背景图像;
一次降维压缩特征向量获取模块,用于根据蒙特卡洛算法分别对每张所述目标样本图像和每张所述背景样本图像进行一次降维,得到每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量;
第t+1时刻预测样本集获取模块,用于根据压缩感知理论分别对每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量进行二次降维,得到每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量,将每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集;
训练后的朴素贝叶斯分类器获取模块,用于利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器;
多张待跟踪图像获取模块,用于对跟踪视频t+1时刻的帧图像进行采样,获得多张待跟踪图像;
压缩特征向量获取模块,用于利用蒙特卡洛算法和压缩感知理论分别对多张所述待跟踪图像进行降维,得到t+1时刻的每张所述待跟踪图像的压缩特征向量;
跟踪目标获取模块,用于将t+1时刻的每张所述待跟踪图像的压缩特征向量输入所述训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。
可选的,所述一次降维压缩特征向量获取模块,具体包括:
第ny个图像特征向量获取单元,用于根据先验分布P(x0),获得第ny个图像上的Ns个特征值,组成第ny个图像特征向量;
其中,zl为第ny个图像的第l个一次降维压缩特征值,l∈[1,M],z1为第ny个图像的第1个一次降维压缩特征值,z2为第ny个图像的第2个一次降维压缩特征值,zM为第ny个图像的第M个一次降维压缩特征值,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像,rlj为随机矩阵R的第l行第j列元素,j∈[1,Ns],为第ny个图像上的第j个特征值,Z为第ny个图像的一次降维压缩特征向量。
可选的,所述第t+1时刻预测样本集获取模块,具体包括:
二次降维压缩特征向量获取单元,用于基于所述压缩感知理论,利用公式V=SZ,得到第ny个图像的二次降维压缩特征向量;
其中,V为第ny个图像的二次降维压缩特征向量,S为稀疏测量矩阵,Z为第ny个图像的一次降维压缩特征向量,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
可选的,所述训练后的朴素贝叶斯分类器获取模块,具体包括:
训练样本集和验证样本集获取单元,用于将所述第t+1时刻预测的样本集分为训练样本集和验证样本集;
训练准确率获取单元,用于将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率;
第一判断结果获取单元,用于判断所述训练准确率是否小于训练准确率阈值,得到第一判断结果;
条件概率分布更新单元,用于若所述第一判断结果表示所述训练准确率小于所述训练准确率阈值,则利用均值更新公式和方差更新公式,更新朴素贝叶斯分类器的条件概率分布,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
第二判断结果获取单元,用于若所述第一判断结果表示所述训练准确率不小于所述训练准确率阈值,则利用所述验证样本集,验证所述朴素贝叶斯分类器,判断所述朴素贝叶斯分类器的输出分类结果的验证准确率是否小于验证准确率阈值,得到第二判断结果;
训练准确率阈值更新单元,用于若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率小于所述验证准确率阈值,则更新所述训练准确率阈值,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
训练后的朴素贝叶斯分类器获取单元,用于若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率不小于所述验证准确率阈值,则输出训练后的朴素贝叶斯分类器。
其中,μi为第i个二次降维压缩特征对应的正态分布的均值,μi-1为第i-1个二次降维压缩特征对应的正态分布的均值,i∈[1,M],λ为秩,λ>0,σi 2为第i个二次降维压缩特征对应的正态分布的方差,为第i-1个二次降维压缩特征对应的正态分布的方差,P(vi|y=1)为第i个一次降维压缩特征为目标图像时的条件概率,P(vi|y=0)为第i个一次降维压缩特征为背景图像时的条件概率,P(vi|y=1)和P(vi|y=0)均满足正态分布,P(vi|y=1)~N(μi,σi 2),P(vi|y=0)~N(μi,σi 2),vi为第ny个图像的第i个一次降维压缩特征,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明所提供的一种机器人视觉跟踪方法及系统,利用蒙特卡洛布撒以相对于像素点来说数量极少的随机粒子进行采样,避免了传统方法使用若干个长宽随机的矩形进行采样出现的易被障碍物干扰造成的跟踪漂移,同时将蒙特卡洛与目标压缩感知相结合,可以高度降维,并能很好的保留图像特征信息,提高了跟踪效率和跟踪可靠性。
本申请利用第t时刻的分类结果训练朴素贝叶斯分类器,实现t+1时刻的目标跟踪,减小了跟踪过程中由于背景变化影响分类器的分类精度的技术缺陷,进一步提高了目标跟踪的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的机器人视觉跟踪方法的流程图;
图2为本发明所提供的机器人视觉跟踪系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种机器人视觉跟踪方法及系统,提高了视觉跟踪的效率和可靠性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
针对现有压缩感知类视觉跟踪方法易被障碍物“吸引”且其采样模板缺乏更新机制的不足的问题,提出了一种机器人视觉跟踪方法。
图1为本发明所提供的确机器人视觉跟踪方法的流程图,如图1所示,一种机器人视觉跟踪方法,包括:
S101、对跟踪视频t时刻的帧图像分别进行目标采样和背景采样,得到多张目标图像和多张背景图像。
S102、根据蒙特卡洛算法分别对每张目标样本图像和每张背景样本图像进行一次降维,得到每张目标图像的一次降维压缩特征向量和每张背景图像的一次降维压缩特征向量,具体包括:
根据先验分布P(x0),获得第ny个图像上的Ns个特征值,组成第ny个图像特征向量。
其中,zl为第ny个图像的第l个一次降维压缩特征值,l∈[1,M],z1为第ny个图像的第1个一次降维压缩特征值,z2为第ny个图像的第2个一次降维压缩特征值,zM为第ny个图像的第M个一次降维压缩特征值,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像,rlj为随机矩阵R的第l行第j列元素,j∈[1,Ns],为第ny个图像上的第j个特征值,Z为第ny个图像的一次降维压缩特征向量。
S103、根据压缩感知理论分别对每张目标图像的一次降维压缩特征向量和每张背景图像的一次降维压缩特征向量进行二次降维,得到每张目标图像的二次降维压缩特征向量和每张背景图像的二次降维压缩特征向量,并将每张目标图像的二次降维压缩特征向量和每张背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集,具体包括:
基于压缩感知理论,利用公式V=SZ,得到第ny个图像的二次降维压缩特征向量。
其中,V为第ny个图像的二次降维压缩特征向量,S为稀疏测量矩阵,Z为第ny个图像的一次降维压缩特征向量,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像,V的维度远远小于Z的维度。
压缩感知理论已经证明:当稀疏测量矩阵S满足有限等距性质时,降维特性V2可以完全的保留高维的V1的信息,即压缩感知理论保证了降维分类是有效的。本发明实施例给出了稀疏测量矩阵S的一种实现方法:
gab为稀疏测量矩阵S的第a行第b列元素,s=3时矩阵是非常稀疏的,因为矩阵中的元素有2/3的概率都是0,故减少了2/3的计算开销。
S104、利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器,具体包括:
将第t+1时刻预测的样本集分为训练样本集和验证样本集。
将训练样本集的训练样本输入朴素贝叶斯分类器,获取朴素贝叶斯分类器对训练样本的每个二次降维压缩特征的分类结果,计算训练准确率。
判断训练准确率是否小于训练准确率阈值,得到第一判断结果。
若第一判断结果表示训练准确率小于训练准确率阈值,则利用均值更新公式和方差更新公式,更新朴素贝叶斯分类器的条件概率分布,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”。
若第一判断结果表示训练准确率不小于训练准确率阈值,则利用验证样本集,验证朴素贝叶斯分类器,判断朴素贝叶斯分类器的输出分类结果的验证准确率是否小于验证准确率阈值,得到第二判断结果。其中,均值更新公式为μi=λμi+(1-λ)μi-1,方差更新公式为μi为第i个二次降维压缩特征对应的正态分布的均值,μi-1为第i-1个二次降维压缩特征对应的正态分布的均值,i∈[1,M],λ为秩,λ>0,λ控制每次迭代更新速率,σi 2为第i个二次降维压缩特征对应的正态分布的方差,为第i-1个二次降维压缩特征对应的正态分布的方差,P(vi|y=1)为第i个一次降维压缩特征为目标图像时的条件概率,P(vi|y=0)为第i个一次降维压缩特征为背景图像时的条件概率,P(vi|y=1)和P(vi|y=0)均满足正态分布,P(vi|y=1)~N(μi,σi 2),P(vi|y=0)~N(μi,σi 2),vi为第ny个图像的第i个一次降维压缩特征,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
当特征属性为离散值时,只要很方便的训练样本集中各个划分在每个类别中出现的频率即可用来估计P(vi|y=1)和P(vi|y=0)。
当特征属性为连续值时,条件概率服从高斯分布(也称正态分布)。即:
其中,为目标图像的第i个二次降维压缩特征对应的正态分布的标准差,为背景图像的第i个二次降维压缩特征对应的正态分布的标准差,为目标图像的第i个二次降维压缩特征对应的正态分布的均值,为背景图像的第i个二次降维压缩特征对应的正态分布的均值。
若判断结果表示朴素贝叶斯分类器的输出分类结果的准确率小于验证准确率阈值,则更新训练准确率阈值,返回步骤“将训练样本集的训练样本输入朴素贝叶斯分类器,获取朴素贝叶斯分类器对训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”。
若判断结果表示朴素贝叶斯分类器的输出分类结果的准确率不小于验证准确率阈值,则输出训练后的朴素贝叶斯分类器。优选地,朴素贝叶斯分类器的公式为:
依据H(V)权值,最大值对应的目标窗口为t时刻帧跟踪窗口,对应的二次降维压缩特征作为最佳正样本复制一组予以保留;同时将H(V)权值最小值(往往为负值,绝对值较大)对应的二次降维压缩特征删除。
S105、对跟踪视频t+1时刻的帧图像进行采样,获得多张待跟踪图像,具体为在t时刻帧跟踪到的目标位置的周围采样若干扫描窗口(避免扫描整幅图像)。
S106、利用蒙特卡洛算法和压缩感知理论分别对多张待跟踪图像进行降维,得到t+1时刻的每张待跟踪图像的压缩特征向量。
S107、将t+1时刻的每张待跟踪图像的压缩特征向量输入训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。
本发明提出利用蒙特卡洛采样与压缩感知结合,充分发挥各自的优势:以相对于像素点来说数量极少的随机粒子对目标压缩感知,高度降维、提取目标特征;同时,每帧更新采样粒子突出正样本、抑制负样本,避免了随机矩阵采样的盲目性。进而实现机器人视觉目标的低复杂度、快速感知跟踪,克服传统跟踪过程易被障碍物或目标运动干扰的缺陷,提高了跟踪效率和跟踪可靠性。
本发明对应于上述方法还对应公开了一种机器人视觉跟踪系统。如图2所示,视觉跟踪系统包括:目标图像和背景图像获取模块1、一次降维压缩特征向量获取模块2、第t+1时刻预测样本集获取模块3、训练后的朴素贝叶斯分类器获取模块4、多张待跟踪图像获取模块5、压缩特征向量获取模块6和跟踪目标获取模块7。
目标图像和背景图像获取模块1对跟踪视频t时刻的帧图像分别进行目标采样和背景采样,得到多张目标图像和多张背景图像。
一次降维压缩特征向量获取模块2根据蒙特卡洛算法分别对每张目标样本图像和每张背景样本图像进行一次降维,得到每张目标图像的一次降维压缩特征向量和每张背景图像的一次降维压缩特征向量,具体包括:
第ny个图像特征向量获取单元,用于根据先验分布P(x0),获得第ny个图像上的Ns个特征值,组成第ny个图像特征向量。
其中,zl为第ny个图像的第l个一次降维压缩特征值,l∈[1,M],z1为第ny个图像的第1个一次降维压缩特征值,z2为第ny个图像的第2个一次降维压缩特征值,zM为第ny个图像的第M个一次降维压缩特征值,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像,rlj为随机矩阵R的第l行第j列元素,j∈[1,Ns],为第ny个图像上的第j个特征值,Z为第ny个图像的一次降维压缩特征向量。
第t+1时刻预测样本集获取模块3根据压缩感知理论分别对每张目标图像的一次降维压缩特征向量和每张背景图像的一次降维压缩特征向量进行二次降维,得到每张目标图像的二次降维压缩特征向量和每张背景图像的二次降维压缩特征向量,并将每张目标图像的二次降维压缩特征向量和每张背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集,具体包括:
二次降维压缩特征向量获取单元,用于基于压缩感知理论,利用公式V=SZ,得到第ny个图像的二次降维压缩特征向量。
其中,V为第ny个图像的二次降维压缩特征向量,S为稀疏测量矩阵,Z为第ny个图像的一次降维压缩特征向量,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
训练后的朴素贝叶斯分类器获取模块4利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器,具体包括:
训练样本集和验证样本集获取单元,用于将所述第t+1时刻预测的样本集分为训练样本集和验证样本集。
训练准确率获取单元,用于将训练样本集的训练样本输入朴素贝叶斯分类器,获取朴素贝叶斯分类器对训练样本的每个二次降维压缩特征的分类结果,计算训练准确率。
第一判断结果获取单元,用于判断训练准确率是否小于训练准确率阈值,得到第一判断结果。
条件概率分布更新单元,用于若第一判断结果表示训练准确率小于训练准确率阈值,则利用均值更新公式和方差更新公式,更新朴素贝叶斯分类器的条件概率分布,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”。其中,条件概率分布更新单元的均值更新公式为:μi=λμi+(1-λ)μi-1,方差更新公式为:μi为第i个二次降维压缩特征对应的正态分布的均值,μi-1为第i-1个二次降维压缩特征对应的正态分布的均值,i∈[1,M],λ为秩,λ>0,σi 2为第i个二次降维压缩特征对应的正态分布的方差,为第i-1个二次降维压缩特征对应的正态分布的方差,P(vi|y=1)为第i个一次降维压缩特征为目标图像时的条件概率,P(vi|y=0)为第i个一次降维压缩特征为背景图像时的条件概率,P(vi|y=1)和P(vi|y=0)均满足正态分布,P(vi|y=1)~N(μi,σi 2),P(vi|y=0)~N(μi,σi 2),vi为第ny个图像的第i个一次降维压缩特征,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
第二判断结果获取单元,用于若第一判断结果表示训练准确率不小于训练准确率阈值,则利用验证样本集,验证朴素贝叶斯分类器,判断朴素贝叶斯分类器的输出分类结果的验证准确率是否小于验证准确率阈值,得到第二判断结果。
训练准确率阈值更新单元,用于若判断结果表示朴素贝叶斯分类器的输出分类结果的准确率小于验证准确率阈值,则更新训练准确率阈值,返回步骤“将训练样本集的训练样本输入朴素贝叶斯分类器,获取朴素贝叶斯分类器对训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”。
训练后的朴素贝叶斯分类器获取单元,用于若判断结果表示朴素贝叶斯分类器的输出分类结果的准确率不小于验证准确率阈值,则输出训练后的朴素贝叶斯分类器。
多张待跟踪图像获取模块5对跟踪视频t+1时刻的帧图像进行采样,获得多张待跟踪图像。
压缩特征向量获取模块6利用蒙特卡洛算法和压缩感知理论分别对多张待跟踪图像进行降维,得到t+1时刻的每张待跟踪图像的压缩特征向量。
跟踪目标获取模块7将t+1时刻的每张待跟踪图像的压缩特征向量输入训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。
因本发明所提供的系统是本发明所提供方法对应实施的系统,因此,二者具有相同的技术效果,此处不再进行赘述。
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种机器人视觉跟踪方法,其特征在于,所述视觉跟踪方法包括:
对跟踪视频t时刻的帧图像分别进行目标采样和背景采样,得到多张目标图像和多张背景图像;
根据蒙特卡洛算法分别对每张所述目标样本图像和每张所述背景样本图像进行一次降维,得到每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量;
根据压缩感知理论分别对每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量进行二次降维,得到每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量,并将每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集;
利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器;
对跟踪视频t+1时刻的帧图像进行采样,获得多张待跟踪图像;
利用蒙特卡洛算法和压缩感知理论分别对多张所述待跟踪图像进行降维,得到t+1时刻的每张所述待跟踪图像的压缩特征向量;
将t+1时刻的每张所述待跟踪图像的压缩特征向量输入所述训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。
2.根据权利要求1所述的机器人视觉跟踪方法,其特征在于,所述根据蒙特卡洛算法分别对每张所述目标样本图像和每张所述背景样本图像进行一次降维,得到每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量,具体包括:
根据先验分布P(x0),获得第ny个图像上的Ns个特征值,组成第ny个图像特征向量;
3.根据权利要求2所述的机器人视觉跟踪方法,其特征在于,所述根据压缩感知理论分别对每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量进行二次降维,得到每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量,并将每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集,具体包括:
基于所述压缩感知理论,利用公式V=SZ,得到第ny个图像的二次降维压缩特征向量;
其中,V为第ny个图像的二次降维压缩特征向量,S为稀疏测量矩阵,Z为第ny个图像的一次降维压缩特征向量,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
4.根据权利要求1所述的机器人视觉跟踪方法,其特征在于,所述利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器,具体包括:
将所述第t+1时刻预测的样本集分为训练样本集和验证样本集;
将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率;
判断所述训练准确率是否小于训练准确率阈值,得到第一判断结果;
若所述第一判断结果表示所述训练准确率小于所述训练准确率阈值,则利用均值更新公式和方差更新公式,更新朴素贝叶斯分类器的条件概率分布,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
若所述第一判断结果表示所述训练准确率不小于所述训练准确率阈值,则利用所述验证样本集,验证所述朴素贝叶斯分类器,判断所述朴素贝叶斯分类器的输出分类结果的验证准确率是否小于验证准确率阈值,得到第二判断结果;
若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率小于所述验证准确率阈值,则更新所述训练准确率阈值,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率不小于所述验证准确率阈值,则输出训练后的朴素贝叶斯分类器。
其中,μi为第i个二次降维压缩特征对应的正态分布的均值,μi-1为第i-1个二次降维压缩特征对应的正态分布的均值,i∈[1,M],λ为秩,λ>0,σi 2为第i个二次降维压缩特征对应的正态分布的方差,为第i-1个二次降维压缩特征对应的正态分布的方差,P(vi|y=1)为第i个二次降维压缩特征为目标图像时的条件概率,P(vi|y=0)为第i个二次降维压缩特征为背景图像时的条件概率,P(vi|y=1)和P(vi|y=0)均满足正态分布,P(vi|y=1)~N(μi,σi 2),P(vi|y=0)~N(μi,σi 2),vi为第ny个图像的第i个二次降维压缩特征,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
6.一种机器人视觉跟踪系统,其特征在于,所述视觉跟踪系统包括:
目标图像和背景图像获取模块,用于对跟踪视频t时刻的帧图像分别进行目标采样和背景采样,得到多张目标图像和多张背景图像;
一次降维压缩特征向量获取模块,用于根据蒙特卡洛算法分别对每张所述目标样本图像和每张所述背景样本图像进行一次降维,得到每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量;
第t+1时刻预测样本集获取模块,用于根据压缩感知理论分别对每张所述目标图像的一次降维压缩特征向量和每张所述背景图像的一次降维压缩特征向量进行二次降维,得到每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量,并将每张所述目标图像的二次降维压缩特征向量和每张所述背景图像的二次降维压缩特征向量作为第t+1时刻预测的样本集;
训练后的朴素贝叶斯分类器获取模块,用于利用第t+1时刻预测的样本集,训练朴素贝叶斯分类器,得到训练后的朴素贝叶斯分类器;
多张待跟踪图像获取模块,用于对跟踪视频t+1时刻的帧图像进行采样,获得多张待跟踪图像;
压缩特征向量获取模块,用于利用蒙特卡洛算法和压缩感知理论分别对多张所述待跟踪图像进行降维,得到t+1时刻的每张所述待跟踪图像的压缩特征向量;
跟踪目标获取模块,用于将t+1时刻的每张所述待跟踪图像的压缩特征向量输入所述训练后的朴素贝叶斯分类器,进行目标和背景的分类,获得第t+1时刻的跟踪目标。
7.根据权利要求6所述的机器人视觉跟踪系统,其特征在于,所述一次降维压缩特征向量获取模块,具体包括:
第ny个图像特征向量获取单元,用于根据先验分布P(x0),获得第ny个图像上的Ns个特征值,组成第ny个图像特征向量;
8.根据权利要求7所述的机器人视觉跟踪系统,其特征在于,所述第t+1时刻预测样本集获取模块,具体包括:
二次降维压缩特征向量获取单元,用于基于所述压缩感知理论,利用公式V=SZ,得到第ny个图像的二次降维压缩特征向量;
其中,V为第ny个图像的二次降维压缩特征向量,S为稀疏测量矩阵,Z为第ny个图像的一次降维压缩特征向量,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
9.根据权利要求6所述的机器人视觉跟踪系统,其特征在于,所述训练后的朴素贝叶斯分类器获取模块,具体包括:
训练样本集和验证样本集获取单元,用于将所述第t+1时刻预测的样本集分为训练样本集和验证样本集;
训练准确率获取单元,用于将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率;
第一判断结果获取单元,用于判断所述训练准确率是否小于训练准确率阈值,得到第一判断结果;
条件概率分布更新单元,用于若所述第一判断结果表示所述训练准确率小于所述训练准确率阈值,则利用均值更新公式和方差更新公式,更新朴素贝叶斯分类器的条件概率分布,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
第二判断结果获取单元,用于若所述第一判断结果表示所述训练准确率不小于所述训练准确率阈值,则利用所述验证样本集,验证所述朴素贝叶斯分类器,判断所述朴素贝叶斯分类器的输出分类结果的验证准确率是否小于验证准确率阈值,得到第二判断结果;
训练准确率阈值更新单元,用于若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率小于所述验证准确率阈值,则更新所述训练准确率阈值,返回步骤“将所述训练样本集的训练样本输入所述朴素贝叶斯分类器,获取所述朴素贝叶斯分类器对所述训练样本的每个二次降维压缩特征的分类结果,计算训练准确率”;
训练后的朴素贝叶斯分类器获取单元,用于若所述判断结果表示所述朴素贝叶斯分类器的输出分类结果的准确率不小于所述验证准确率阈值,则输出训练后的朴素贝叶斯分类器。
10.根据权利要求9所述的机器人视觉跟踪系统,其特征在于,所述条件概率分布更新单元的均值更新公式为:μi=λμi+(1-λ)μi-1,方差更新公式为:
其中,μi为第i个二次降维压缩特征对应的正态分布的均值,μi-1为第i-1个二次降维压缩特征对应的正态分布的均值,i∈[1,M],λ为秩,λ>0,σi 2为第i个二次降维压缩特征对应的正态分布的方差,为第i-1个二次降维压缩特征对应的正态分布的方差,P(vi|y=1)为第i个一次降维压缩特征为目标图像时的条件概率,P(vi|y=0)为第i个一次降维压缩特征为背景图像时的条件概率,P(vi|y=1)和P(vi|y=0)均满足正态分布,P(vi|y=1)~N(μi,σi 2),P(vi|y=0)~N(μi,σi 2),vi为第ny个图像的第i个一次降维压缩特征,y为图像种类,y=1或0,y=1表示目标图像,y=0表示背景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911257577.XA CN111062291B (zh) | 2019-12-10 | 2019-12-10 | 一种机器人视觉跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911257577.XA CN111062291B (zh) | 2019-12-10 | 2019-12-10 | 一种机器人视觉跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111062291A true CN111062291A (zh) | 2020-04-24 |
CN111062291B CN111062291B (zh) | 2022-09-27 |
Family
ID=70300355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911257577.XA Active CN111062291B (zh) | 2019-12-10 | 2019-12-10 | 一种机器人视觉跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111062291B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111714080A (zh) * | 2020-06-30 | 2020-09-29 | 重庆大学 | 一种基于眼动信息的疾病分类系统 |
CN111914954A (zh) * | 2020-09-14 | 2020-11-10 | 中移(杭州)信息技术有限公司 | 数据分析方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680554A (zh) * | 2015-01-08 | 2015-06-03 | 深圳大学 | 基于surf的压缩跟踪方法和系统 |
CN104850865A (zh) * | 2015-06-05 | 2015-08-19 | 三峡大学 | 一种多特征迁移学习的实时压缩跟踪方法 |
CN107220991A (zh) * | 2017-05-12 | 2017-09-29 | 深圳市美好幸福生活安全系统有限公司 | 一种基于压缩感知的实时目标跟踪算法 |
CN107918772A (zh) * | 2017-12-10 | 2018-04-17 | 北京工业大学 | 基于压缩感知理论和gcForest的目标跟踪方法 |
-
2019
- 2019-12-10 CN CN201911257577.XA patent/CN111062291B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680554A (zh) * | 2015-01-08 | 2015-06-03 | 深圳大学 | 基于surf的压缩跟踪方法和系统 |
CN104850865A (zh) * | 2015-06-05 | 2015-08-19 | 三峡大学 | 一种多特征迁移学习的实时压缩跟踪方法 |
CN107220991A (zh) * | 2017-05-12 | 2017-09-29 | 深圳市美好幸福生活安全系统有限公司 | 一种基于压缩感知的实时目标跟踪算法 |
CN107918772A (zh) * | 2017-12-10 | 2018-04-17 | 北京工业大学 | 基于压缩感知理论和gcForest的目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
刘阳等: "基于压缩感知理论的实时目标跟踪算法研究及系统实现", 《软件》 * |
孙继平等: "采煤机视频压缩感知跟踪方法", 《工矿自动化》 * |
杨双祥等: "提取目标不变矩的压缩感知跟踪", 《电光与控制》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111714080A (zh) * | 2020-06-30 | 2020-09-29 | 重庆大学 | 一种基于眼动信息的疾病分类系统 |
CN111914954A (zh) * | 2020-09-14 | 2020-11-10 | 中移(杭州)信息技术有限公司 | 数据分析方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111062291B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mukhoti et al. | Evaluating bayesian deep learning methods for semantic segmentation | |
Xiong et al. | From open set to closed set: Counting objects by spatial divide-and-conquer | |
Oh et al. | Crowd counting with decomposed uncertainty | |
CN109410242B (zh) | 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质 | |
Shi et al. | A real-time deep network for crowd counting | |
Chan et al. | Bayesian poisson regression for crowd counting | |
Rangesh et al. | Driver gaze estimation in the real world: Overcoming the eyeglass challenge | |
CN110334589B (zh) | 一种基于空洞卷积的高时序3d神经网络的动作识别方法 | |
CN112507990A (zh) | 视频时空特征学习、抽取方法、装置、设备及存储介质 | |
CN110287819A (zh) | 动态背景下基于低秩及稀疏分解的动目标检测方法 | |
CN116686017A (zh) | 一种用于视频动作识别的时间瓶颈注意力体系结构 | |
CN110246171B (zh) | 一种实时单目视频深度估计方法 | |
Kryjak et al. | Real-time implementation of the ViBe foreground object segmentation algorithm | |
CN109685830B (zh) | 目标跟踪方法、装置和设备及计算机存储介质 | |
CN111062291B (zh) | 一种机器人视觉跟踪方法及系统 | |
CN113052873A (zh) | 一种在线自监督学习场景适应的单目标跟踪方法 | |
CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN111626134A (zh) | 一种基于隐密度分布的密集人群计数方法、系统及终端 | |
CN107194950B (zh) | 一种基于慢特征分析的多人跟踪方法 | |
Wang et al. | Online detection of abnormal events in video streams | |
CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
CN107784664B (zh) | 一种基于k稀疏的快速鲁棒目标跟踪方法 | |
US11580741B2 (en) | Method and apparatus for detecting abnormal objects in video | |
CN110751670A (zh) | 一种基于融合的目标跟踪方法 | |
Fan et al. | Accurate recognition and simulation of 3D visual image of aerobics movement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |