CN104680193B - 基于快速相似性网络融合算法的在线目标分类方法与系统 - Google Patents

基于快速相似性网络融合算法的在线目标分类方法与系统 Download PDF

Info

Publication number
CN104680193B
CN104680193B CN201510073405.2A CN201510073405A CN104680193B CN 104680193 B CN104680193 B CN 104680193B CN 201510073405 A CN201510073405 A CN 201510073405A CN 104680193 B CN104680193 B CN 104680193B
Authority
CN
China
Prior art keywords
target
quick
sample
similitude
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510073405.2A
Other languages
English (en)
Other versions
CN104680193A (zh
Inventor
张重阳
卢贤龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Haiwei Industry Control Co., Ltd.
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201510073405.2A priority Critical patent/CN104680193B/zh
Publication of CN104680193A publication Critical patent/CN104680193A/zh
Application granted granted Critical
Publication of CN104680193B publication Critical patent/CN104680193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种基于快速相似性网络融合算法的在线目标分类系统,包括:视频预处理模块,用于提取视频前景目标作为初始训练样本集,并提取初始训练样本集内目标的图像特征,发送至快速相似性网络融合分析模块;快速相似性网络融合分析模块,用于对目标的图像特征进行融合,依据融合后的相似性矩阵,对初初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本,发送至反馈标注训练模块;反馈标注训练模块,用于对难以分类的样本进行人工标定,并将人工标定后的样本返回至视频预处理模块,对初始训练样本集进行更新。同时提供了上述系统的在线目标分类方法。本发明实现了快速且高效的在线目标分类。

Description

基于快速相似性网络融合算法的在线目标分类方法与系统
技术领域
本发明涉及的是一种在线目标分类方法与系统,具体地说,涉及的是一种基于快速相似性网络融合算法的在线目标分类方法与系统。
背景技术
随着社会政治与经济的高速发展,伴随着越来越多的社会事件及犯罪的发生,视频监控受到的关注程度在不断提高,视频目标分类的研究对于安防监控领域具有重大的现实意义。
现有的目标分类方法之中,一些方法使用形状与运动信息进行分类,这类方法的速度相对较快,但是,其鲁棒性也受到限制,因为目标在视频中的形状会随着视角而发生变化,目标分类准确性差;另一类方法考虑使用标定的数据与大量未标定数据之间的关系,虽然提高了目标分类的准确性,但是分类速度慢、效率低。
现有研究中,在论文《Online Video Object Classification UsingFastSimilarity Network Fusion》中作者提出一种新的基于图的快速数据融合方法,快速相似性网络融合。快速相似性网络融合方法快速计算并融合从不同特征数据中获得到相似性网络,充分发挥不同特征之间的互补性,用于半监督学习。该快速相似性网络融合方法具有以下优点:1.基于较少量的标定样本;2.在不同尺度、噪声的情况下都有良好的表现;3.可充分发挥不同类型特征数据之间的互补性4.在线分类问题中具有较高的分类速度。
基于快速相似性网络融合算法的以上优点,适用于目标在线分类。目前没有发现同本发明类似技术的说明或报道,也尚未收集到国内外类似的资料。
发明内容
本发明基于现有算法中的快速相似性网络融合算法,实现一种用于在线目标分类功能的在线目标分类方法与系统,通过在在线目标分类系统中加入反馈标注训练模块,使在线目标分类系统在不同监控场景下,有针对性地强化分类器,达到更好的分类性能,实现快速且高效的在线目标分类,有效地提升了在线分类中的分类准确度。
为实现上述目的,本发明是通过以下技术方案实现的。
根据本发明的一个方面,提供了一种基于快速相似性网络融合算法的在线目标分类系统,包括:视频预处理模块、快速相似性网络融合分析模块以及反馈标注训练模块;其中:
所述视频预处理模块,用于提取视频前景目标作为初始训练样本集,并提取初始训练样本集内目标的图像特征,发送至快速相似性网络融合分析模块;
所述快速相似性网络融合分析模块,用于对目标的图像特征进行融合,依据融合后的相似性矩阵,对初初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本,发送至反馈标注训练模块;
所述反馈标注训练模块,用于对难以分类的样本进行人工标定,并将人工标定后的样本返回至视频预处理模块,对初始训练样本集进行更新。
优选地,所述难以分类的样本包括:模糊样本和/或错误分类样本。
优选地,所述始训练样本集内目标的图像特征包括HOG特征和SIFT特征。
根据本发明的另一个方面,提供了一种基于快速相似性网络融合算法的在线目标分类方法,包括如下步骤:
基于快速相似性网络融合分析,对初始训练样本集内目标的图像特征分别构建相似性矩阵并进行快速融合;通过对相似性网络融合后矩阵进行分析,一方面进行分类判决,另一方面选择出难以分类的样本形成更新样本库;通过反馈标注训练模块,对更新样本库进行人工标定,将更新样本库内人工标定后的样本加入初始训练样本集,更新初始训练样本集并重复快速相似性网络融合分析过程,生成新的分类器。
优选地,所述初始训练样本集通过以下方式提取:
通过视频源预处理模块,采用高斯背景建模首先提取视频前景目标,作为初始训练样本集,并进行自动化筛选,提取目标的图像特征;
所述自动化筛选为:对于检测到的视频前景目标,依据目标的宽高数据及宽高比属性进行自动化筛选。
优选地,所述快速相似性网络融合分析具体为:
通过快速相似性网络融合模块,采用快速相似性网络融合算法对初始训练样本集内目标的图像特征进行特征融合,依据融合后的相似性矩阵,对初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本。
优选地,所述对初始训练样本集内目标间相似程度进行分析具体为:
对于融合后的矩阵,采用label propagation的方法进行标签传递,对传递结果预测矢量中的最大标量与次大标量进行比较,确定目标是否难以分类;分析规则如下:
If:max(lpredict)-second(lpredict)>thres
Label=i,满足lpredict(i)=max(lpredict)
Else:
Label=-1
其中,Label是对应新样本的标签,thres是设置的阈值,lpredict是对应新样本的预测矢量,max(lpredict)是指取出矢量lpredict中最大标量的数值,second(lpredict)是指取出矢量lpredict中次大标量的数值,i为对应新样本的预测类别序号,lpredict(i)为对应新样本预测矢量中第i个标量。
优选地,所述难以分类的样本包括模糊样本和错误分类样本,其中:
所述模糊样本是指对初始训练样本集内目标间相似程度进行分析得到的标签Label为-1的样本;
所述错误分类样本为从分类判决结果中人工挑选得到的分类错误样本。
与现有技术相比,本发明具有如下的有益效果:
1、本发明提供的基于快速相似性网络融合算法的在线目标分类方法与系统,用于视频中目标的在线分类;本发明采用快速相似性网络融合分析,并加入反馈标注训练模块,使在线目标分类系统在不同监控场景下,有针对性地强化分类器;采用本发明提供的在线目标分类方法与系统,可以有效地快速地预测视频中新目标的类别。
2、本发明提供的基于快速相似性网络融合算法的在线目标分类方法与系统,实现了视频的预处理功能,通过采用混合高斯建模方法提取前景目标,对前景目标进行自动化筛选,完成前景目标图像特征提取;通过快速相似性网络融合分析,在分析中采用labelpropagation(标签传播)的方法与规则制定,筛选出难以分类的样本;通过反馈标注训练模块,将难以分类的样本(包括模糊样本和错分类样本)通过人工标定形成更新样本,通过更新样本更新初始训练样本集并进行更新再训练,有针对性地提升分类精度。
3、本发明基于快速相似性网络融合算法,实现一种基于快速相似性网络融合算法的在线目标分类方法与系统,实现视频预处理功能、快速相似性网络融合分析、反馈标注训练,完成目标快速高效的在线分类功能。
4、本发明提供的基于快速相似性网络融合算法的在线目标分类方法与系统,可用于视频目标的在线分类,基于半监督学习技术和快速相似性网络融合分析,对于一个新样本数据,可以依据快速融合得到的相似性矩阵,对目标进行分类;采用反馈标注训练模块,有针对性地提升系统分类准确度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实现的在线目标分类方法与系统主界面的示意图。
图2为本发明实现的在线目标分类方法与系统运动目标分类界面的示意图。
图3为本发明实现的在线目标分类方法与系统更新样本集样本进行人工标注界面的示意图。
图4为本发明实现的在线目标分类方法与系统人工标注完成界面的示意图。
图5为本发明方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于快速相似性网络融合算法的在线目标分类系统,包括:视频预处理模块、快速相似性网络融合分析模块以及反馈标注训练模块;其中:
所述视频预处理模块,用于提取视频前景目标作为初始训练样本集,并提取初始训练样本集内目标的图像特征,发送至快速相似性网络融合分析模块;
所述快速相似性网络融合分析模块,用于对目标的图像特征进行融合,依据融合后的相似性矩阵,对初初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本,发送至反馈标注训练模块;
所述反馈标注训练模块,用于对难以分类的样本进行人工标定,并将人工标定后的样本返回至视频预处理模块,对初始训练样本集进行更新。
进一步地,所述难以分类的样本包括:模糊样本和/或错误分类样本。
进一步地,所述始训练样本集内目标的图像特征包括HOG(方向梯度直方图)特征和SIFT(尺寸不变性)特征。
具体为:
上述基于快速相似性网络融合算法的在线目标分类系统,包括视频源预处理模块、快速相似性网络融合分析模块、反馈标注训练模块;其中:
所述视频预处理模块:采用高斯背景建模提取视频前景目标作为初始训练样本集,并提取目标的图像特征;
所述快速相似性网络融合分析模块:采用快速相似性网络融合算法对初始训练样本集的图像特征进行融合,依据融合后的相似性矩阵,对初始训练样本集间相似程度进行分析,挑选出难以分类的样本;
所述反馈标注训练模块:对难以分类的样本进行人工标定,用于对初始训练样本集进行更新,更新之后再次训练分类器。
所述难以分类的样本包括:模糊样本和/或错误分类样本。
本实施例提供的基于快速相似性网络融合算法的在线目标分类系统,其在线目标分类方法,包括如下步骤:
基于快速相似性网络融合分析,对初始训练样本集内目标的图像特征分别构建相似性矩阵并进行快速融合;通过对相似性网络融合后矩阵进行分析,一方面进行分类判决,另一方面选择出难以分类的样本形成更新样本库;通过反馈标注训练模块,对更新样本库进行人工标定,将更新样本库内人工标定后的样本加入初始训练样本集,更新初始训练样本集并重复快速融合分析和反馈标注训练过程,生成新的分类器。
进一步地,所述初始训练样本集通过以下方式提取:
通过视频源预处理模块,采用高斯背景建模首先提取视频前景目标,作为初始训练样本集,并进行自动化筛选,提取目标的图像特征;
所述自动化筛选为:对于检测到的视频前景目标,依据目标的宽高数据及宽高比属性进行自动化筛选。
进一步地,所述快速相似性网络融合分析具体为:
通过快速相似性网络融合模块,采用快速相似性网络融合算法对初始训练样本集内目标的图像特征进行特征融合,依据融合后的相似性矩阵,对初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本。
进一步地,所述对初始训练样本集内目标间相似程度进行分析具体为:
对于融合后的矩阵,采用label propagation的方法进行标签传递,对传递结果预测矢量中的最大标量与次大标量进行比较,确定目标是否难以分类;分析规则如下:
If:max(lpredict)-second(lpredict)>thres
Label=i,满足lpredict(i)=max(lpredict)
Else:
Label=-1
其中,Label是对应新样本的标签,thres是设置的阈值,lpredict是对应新样本的预测矢量,max(lpredict)是指取出矢量lpredict中最大标量的数值,second(lpredict)是指取出矢量lpredict中次大标量的数值,i为对应新样本的预测类别序号,lpredict(i)为对应新样本预测矢量中第i个标量。
进一步地,所述难以分类的样本包括模糊样本和错误分类样本,其中:
所述模糊样本是指对初始训练样本集内目标间相似程度进行分析得到的标签Label为-1的样本;
所述错误分类样本为从分类判决结果中人工挑选得到的分类错误样本。
下面结合附图对上述在线目标分类方法做进一步的描述。
上述在线目标分类方法可以分为以下三个阶段进行:
视频源预处理阶段,如图1所示,实现如图主界面。点选“文件”按钮读取视频源文件,使用混合高斯建模的方法,提取前景信息,作为粗选的运动目标。依据目标的长宽属性对目标进行粗选,系统中CPmin取0.25,CPmax取2,widthmin取20像素,widthmax不设上限,heightmin取20像素,heightmax不设上限。筛选出视频中的运动目标后,对该运动目标图像提取HOG特征与SIFT-BOW特征。系统中HOG特征参数Hp=5,SIFT-BOW特征词袋大小Bsize=600。
快速相似性网络融合分析阶段,对新未知样本计算融合后的相似性矩阵,并对融合后的相似性矩阵进行分析。依据分析结果采用label propagation方法执行分类,在界面上画框显示,如图2所示。
反馈标注训练阶段,每隔一天执行一次反馈标注训练。人工挑选每个类别分类错误的典型样本图像加入更新样本集,此时更新样本集包括分类错误的样本与模糊样本组成。对更新样本集的样本进行人工标定,标定界段如图3所示,完成标定后,保存标定结果,如图4所示。用更新样本集中的人工标定后样本替换初始训练样本集中的样本,更新训练样本集标签信息,基于更新后训练样本集的图像特征采用快速相似性网络融合分析进行训练得到分类器,完成训练样本集的更新工作。本实施例提供的在线目标分类方法至此结束。
以下对上述三个阶段进行详细说明:
1、视频源预处理阶段,通过视频预处理模块实现
所述视频源预处理阶段采用如下方法:
首先,读取视频源:监控摄像头采集的视频以文件的形式保存在硬盘中。本分类系统的视频源为本地视频文件。
在读取本地视频后,使用混合高斯建模的方法,提取前景信息,作为粗选的运动目标。混合高斯背景建模基本原理是对视频中背景进行训练,对于每个图像背景像素点训练得到一个混合高斯模型。在检测阶段,对于新来的像素点进行模型匹配,如果该像素点与该点混合高斯模型中的一个高斯模型能够匹配成功,则认为图像中该像素点是背景,否则认为是前景。
对于粗选得到的目标需要进一步的筛选,由计算机自动完成,筛选主要依据目标的长宽属性,具体公式如下:
CPmin<CP<CPmax
widthmin<width<widthmax
heightmin<height<heightmax
上式中的CP(crown proportion)是指检测到目标的宽高比,上述三条公式限制了目标的宽、高与宽高比,CPmin是宽高比的下限,CPmax是宽高比的上限,widthmin是宽度下限,widthmax是宽度上限,heightmin是高度下限,heightmax是高度上限。其中宽高比的上下限依据具体的应用情况决定,本系统中CPmin取0.25,CPmax取2。宽、高的上下限通常结合视频分辨率大小来决定,本系统中widthmin取20像素,widthmax不设上限,heightmin取20像素,heightmax不设上限。
筛选出视频中的运动目标后,对该运动目标图像提取HOG特征与SIFT-BOW特征。
HOG特征表征图像梯度的全局信息,其特征向量的长度与检测图像尺寸和HOG算法中划分块的步长相关。由于算法要求同类特征向量长度一致,故计算HOG特征时对每个样本图像进行缩放,调整至同一尺寸大小。HOG特征提取中划分块步长记为Hp
SIFT-BOW特征是基于SIFT特征进行词袋模型的构建,用来构建词袋模型的是训练样本的全体SIFT特征。对于每个样本,计算其SIFT特征后,基于词袋模型中的单词对该样本的SIFT特征进行描述,即为SIFT-BOW特征,词袋大小记为Bsize
本实施例中HOG特征参数Hp=5,SIFT-BOW特征词袋大小Bsize=600。
2、快速相似性网络融合分析阶段,通过快速相似性网络融合分析模块实现
对新未知样本计算融合后的相似性矩阵,并对融合后的相似性矩阵进行分析。融合相似性矩阵分析方法如下:
针对于半监督式学习的图方法,依据图中各样本间的距离远近情况,将部分已标定样本的类别标签信息传播给未标定样本,从而实现未标定样本的分类标定,被称为labelpropagation,即标签传播方法。基于融合后相似性矩阵,结合标签传播的相关理论知识,可以将相似性网络融合算法用于目标分类应用。标签传播的具体计算方法如下:
假设有N个样本,其中有Nl个样本是具有标签的样本,记N个样本的标定信息矩阵为L。则初始标定信息矩阵L0标定信息矩阵的计算公式下:
对应的初始标定信息矩阵L0的矩阵规模是N×样本类别数目,例如有400个样本,样本类别数目有三类时,L0是个400*3的矩阵,假如第10个样本被标定为第3个类别,则L0(10,3)=1.
对于该标签矩阵进行label propagation迭代的方法如下式所示:
Lt+1=Pfinal×Lt
Lt+1(i,j)=L0(i,j),i∈Slabel
式中,变量t表示迭代次数,Slabel是标定样本集的序号集合,Lt是第t次迭代后的标签矩阵。通过上式的迭代,可以计算得到对应新样本的一个预测矢量,即为迭代结束之后矩阵L中新样本所在行的该行矢量,记为lpredict,矢量长度是类别数目,矢量中各标量的数值代表着样本属于对应类别的可能性,其中标量数值越大,代表该样本属于对应类别的可能性越高。例如lpredict=[0.25 0.3 0.45]的情况下,预测矢量所对应三个类别的标量值分别为0.25、0.3、0.45,易知0.45最大,即该样本属于第三个类别的可能性最高。
定义以下规则判断该样本类别:
If:max(lpredict)-second(lpredict)>thres
Label=i,满足lpredict(i)=max(lpredict)
Else:
Label=-1
上述规则中,max(lpredict)是指取出矢量lpredict中最大标量的数值,second(lpredict)是指取出矢量lpredict中次大标量的数值,例如对于lpredict=[0.25 0.3 0.45]的情况下,max(lpredict)=0.45,second(lpredict)=0.3。即当预测矢量中最大标量数值与次大标量数值相差超过一个阈值时,认为该预测具有较高的可信度,将该样本划为最大标量数值所对应的类别中。当预测矢量中最大标量数值与次大标量数值相差小于等于该阈值时,则将新样本类别标为未知类,即-1。被标为未知类别的样本被存入更新样本集中,用于反馈训练时使用。
注意到上式中thres的取值不应太大也不宜太小,太小会引起较多的分类错误,误检率增大,而太大容易导致较多分类被分为未知类别,即漏检率增大。本发明中thres取0.05。
3、反馈标注训练阶段,通过反馈标注训练模块实现
定期人工挑选每个类别分类错误的典型样本图像加入更新样本集,此时更新样本集包括分类错误的样本与模糊样本。对更新样本集的样本进行人工标定。用更新样本集中的人工标定后样本替换初始训练样本集中的样本,更新初始训练样本集标签信息,对更新后的训练样本集提取SIFT特征、构建SIFT词袋,提取HOG特征与SIFT-BOW特征,基于更新后训练样本集的图像特征采用快速相似性网络融合分析进行训练得到分类器。完成训练样本集的更新工作,此即为系统的反馈标注训练模块。
在本实施例中,包括一种基于快速相似性网络融合算法的在线目标分类方法和一种基于快速相似性网络融合算法的在线目标分类系统:
所述一种基于快速相似性网络融合算法的在线目标分类方法,基于快速相似性网络融合算法,对目标的HOG(方向梯度直方图)特征和SIFT(尺寸不变性)特征分别构建相似性矩阵并进行快速融;然后,通过对相似性网络融合后矩阵进行分析,一方面进行分类判决,另一方面选择出不宜类别区分的目标形成更新样本库;引入反馈标注训练模块,对更新样本库进行人工标定,将标定后的样本加入训练样本集,重新训练生成新的分类器;通过上述方法,实现快速且高效的目标在线分类。
所述一种基于快速相似性网络融合算法的在线目标分类系统,包括视频预处理模块,快速相似性网络融合分析模块,反馈标注训练模块。
所述视频源预处理是指采用高斯背景建模提取视频前景目标,进行自动化筛选,并提取目标的图像特征;所述自动化筛选指:对于检测到的目标,依据其宽高及宽高比属性采用计算机编程的方式进行自动化筛选。
所述快速相似性网络融合分析是指采用快速相似性网络融合算法进行特征融合,依据融合后的相似性矩阵,对样本间相似程度进行分析,挑选出难以分类的样本;
所述反馈标注训练模块是指对模糊样本及错误分类样本进行人工标定,用于对初始训练样本进行更新,更新之后再次训练分类器。
所述对样本间相似程度进行分析指:对于融合后的矩阵,采用label propagation(标签传播)的方法进行标签传递,对传递结果预测矢量中的最大标量与次大标量进行比较,确定样本是否难以分类。具体规则如下:
If:max(lpredict)-second(lpredict)>thres
Label=i,满足lpredict(i)=max(lpredict)
Else:
Label=-1
上述规则中,其中Label是对应新样本的标签,thres是设置的阈值,lpredict是对应新样本的预测矢量,max(lpredict)是指取出矢量lpredict中最大标量的数值,second(lpredict)是指取出矢量lpredict中次大标量的数值。
所述对初始训练样本进行更新指:利用模糊样本及错误分类样本进行人工标定,其中模糊样本是由对样本间相似程度进行分析得到其中标签为-1的样本;错误分类样本从分类结果中人工挑选得到。由这两部分样本构建更新样本,进行人工标定。使用标定后的样本对原训练样本集进行更新,依据更新后的样本集再训练,完成对分类器的更新工作。
本实施例实现了一种基于快速相似性网络融合算法的在线目标分类方法与系统。基于快速相似性网络融合算法,对目标的HOG特征和SIFT特征分别构建相似性矩阵并进行快速融;然后,通过对相似性网络融合后矩阵进行分析,一方面进行分类判决,另一方面选择出不宜类别区分的目标形成新样本库;引入反馈标注训练模块,对新样本库进行人工标定,将标定后的样本加入训练样本集,重新训练生成新的分类器;通过上述方法,实现快速且高效的目标在线分类。所述系统包括:视频源预处理,快速相似性网络融合分析,反馈标注训练模块;其中:所述视频源预处理是指采用高斯背景建模提取视频前景目标,并提取目标的图像特征;所述快速相似性网络融合分析是指采用快速相似性网络融合算法进行特征融合,依据融合后的相似性矩阵,对样本间相似程度进行分析,挑选出难以分类的样本;所述反馈标注训练模块是指对模糊样本及错误分类样本进行人工标定,用于对初始训练样本进行更新,更新之后再次训练分类器。实现快速且高效的在线目标分类。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (8)

1.一种基于快速相似性网络融合算法的在线目标分类系统,其特征在于,包括:视频预处理模块、快速相似性网络融合分析模块以及反馈标注训练模块;其中:
所述视频预处理模块,用于提取视频前景目标作为初始训练样本集,并提取初始训练样本集内目标的图像特征,发送至快速相似性网络融合分析模块;
所述快速相似性网络融合分析模块,用于对目标的图像特征进行融合,依据融合后的相似性矩阵,对初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本,发送至反馈标注训练模块;
所述反馈标注训练模块,用于对难以分类的样本进行人工标定,并将人工标定后的样本返回至视频预处理模块,对初始训练样本集进行更新。
2.根据权利要求1所述的基于快速相似性网络融合算法的在线目标分类系统,其特征在于,所述难以分类的样本包括:模糊样本和/或错误分类样本。
3.根据权利要求1所述的基于快速相似性网络融合算法的在线目标分类系统,其特征在于,所述始训练样本集内目标的图像特征包括HOG特征和SIFT特征。
4.一种基于快速相似性网络融合算法的在线目标分类方法,其特征在于,包括如下步骤:
基于快速相似性网络融合分析,对初始训练样本集内目标的图像特征分别构建相似性矩阵并进行快速融合;通过对相似性网络融合后矩阵进行分析,一方面进行分类判决,另一方面选择出难以分类的样本形成更新样本库;通过反馈标注训练模块,对更新样本库进行人工标定,将更新样本库内人工标定后的样本加入初始训练样本集,更新初始训练样本集并重复快速相似性网络融合分析过程,生成新的分类器。
5.根据权利要求4所述的基于快速相似性网络融合算法的在线目标分类方法,其特征在于,所述初始训练样本集通过以下方式提取:
通过视频源预处理模块,采用高斯背景建模首先提取视频前景目标,作为初始训练样本集,并进行自动化筛选,提取目标的图像特征;
所述自动化筛选为:对于检测到的视频前景目标,依据目标的宽高数据及宽高比属性进行自动化筛选。
6.根据权利要求4所述的基于快速相似性网络融合算法的在线目标分类方法,其特征在于,所述快速相似性网络融合分析具体为:
通过快速相似性网络融合模块,采用快速相似性网络融合算法对初始训练样本集内目标的图像特征进行特征融合,依据融合后的相似性矩阵,对初始训练样本集内目标间相似程度进行分析,挑选出难以分类的样本。
7.根据权利要求6所述的基于快速相似性网络融合算法的在线目标分类方法,其特征在于,所述对初始训练样本集内目标间相似程度进行分析具体为:
对于融合后的矩阵,采用label propagation的方法进行标签传递,对传递结果预测矢量中的最大标量与次大标量进行比较,确定目标是否难以分类;分析规则如下:
If:max(lpredict)-second(lpredict)>thres
Label=i,满足lpredict(f)=max(lpredict)
Else:
Label=-1
其中,Label是对应新样本的标签,thres是设置的阈值,lpredict是对应新样本的预测矢量,max(lpredict)是指取出矢量lpredict中最大标量的数值,second(lpredict)是指取出矢量lpredict中次大标量的数值,i为对应新样本的预测类别序号,lpredict(i)为对应新样本预测矢量中第i个标量。
8.根据权利要求7所述的基于快速相似性网络融合算法的在线目标分类方法,其特征在于,所述难以分类的样本包括模糊样本和错误分类样本,其中:
所述模糊样本是指对初始训练样本集内目标间相似程度进行分析得到的标签Label为-1的样本;
所述错误分类样本为从分类判决结果中人工挑选得到的分类错误样本。
CN201510073405.2A 2015-02-11 2015-02-11 基于快速相似性网络融合算法的在线目标分类方法与系统 Active CN104680193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510073405.2A CN104680193B (zh) 2015-02-11 2015-02-11 基于快速相似性网络融合算法的在线目标分类方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510073405.2A CN104680193B (zh) 2015-02-11 2015-02-11 基于快速相似性网络融合算法的在线目标分类方法与系统

Publications (2)

Publication Number Publication Date
CN104680193A CN104680193A (zh) 2015-06-03
CN104680193B true CN104680193B (zh) 2018-05-04

Family

ID=53315209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510073405.2A Active CN104680193B (zh) 2015-02-11 2015-02-11 基于快速相似性网络融合算法的在线目标分类方法与系统

Country Status (1)

Country Link
CN (1) CN104680193B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993191B (zh) * 2018-01-02 2021-07-06 中国移动通信有限公司研究院 信息处理方法及装置、电子设备及存储介质
CN113642633B (zh) * 2018-06-11 2023-06-20 百度在线网络技术(北京)有限公司 用于对驾驶场景数据进行分类的方法、装置、设备和介质
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
CN111461191B (zh) * 2020-03-25 2024-01-23 杭州跨视科技有限公司 为模型训练确定图像样本集的方法、装置和电子设备
CN112560971A (zh) * 2020-12-21 2021-03-26 上海明略人工智能(集团)有限公司 一种主动学习自迭代的图像分类方法和系统
CN112861962B (zh) * 2021-02-03 2024-04-09 北京百度网讯科技有限公司 样本处理方法、装置、电子设备和存储介质
CN114266512A (zh) * 2022-02-28 2022-04-01 成都数之联科技股份有限公司 一种用户用能行为分析方法及系统及装置及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594382B1 (en) * 1999-11-04 2003-07-15 The United States Of America As Represented By The Secretary Of The Navy Neural sensors
US7574018B2 (en) * 2005-12-07 2009-08-11 Trw Automotive U.S. Llc Virtual reality scene generator for generating training images for a pattern recognition classifier
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN102156879A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于加权陆地运动距离的人体目标匹配方法
CN103035013A (zh) * 2013-01-08 2013-04-10 东北师范大学 一种基于多特征融合的精确运动阴影检测方法
CN103412909A (zh) * 2013-08-01 2013-11-27 西北工业大学 一种基于特征融合的视频数据检索方法
CN103839056A (zh) * 2014-03-24 2014-06-04 智慧城市系统服务(中国)有限公司 一种人眼状态识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204107A1 (en) * 2005-03-04 2006-09-14 Lockheed Martin Corporation Object recognition system using dynamic length genetic training

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594382B1 (en) * 1999-11-04 2003-07-15 The United States Of America As Represented By The Secretary Of The Navy Neural sensors
US7574018B2 (en) * 2005-12-07 2009-08-11 Trw Automotive U.S. Llc Virtual reality scene generator for generating training images for a pattern recognition classifier
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN102156879A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于加权陆地运动距离的人体目标匹配方法
CN103035013A (zh) * 2013-01-08 2013-04-10 东北师范大学 一种基于多特征融合的精确运动阴影检测方法
CN103412909A (zh) * 2013-08-01 2013-11-27 西北工业大学 一种基于特征融合的视频数据检索方法
CN103839056A (zh) * 2014-03-24 2014-06-04 智慧城市系统服务(中国)有限公司 一种人眼状态识别方法和装置

Also Published As

Publication number Publication date
CN104680193A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104680193B (zh) 基于快速相似性网络融合算法的在线目标分类方法与系统
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN109492581B (zh) 一种基于tp-stg框架的人体动作识别方法
CN112131967B (zh) 基于多分类器对抗迁移学习的遥感场景分类方法
Höferlin et al. Inter-active learning of ad-hoc classifiers for video visual analytics
CN107247956B (zh) 一种基于网格判断的快速目标检测方法
CN104992184B (zh) 一种基于半监督极限学习机的多类图像分类方法
CN106204646A (zh) 基于bp神经网络的多运动目标跟踪方法
CN111275688A (zh) 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN109978918A (zh) 一种轨迹追踪方法、装置和存储介质
CN109671102A (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN105513066B (zh) 一种基于种子点选取与超像素融合的通用物体检测方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN108427740B (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN112270681B (zh) 一种黄板害虫深度检测与计数方法与系统
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN111191531A (zh) 一种快速行人检测方法及系统
CN112183237A (zh) 基于颜色空间自适应阈值分割的白细胞自动分类方法
Arun et al. Effective and efficient multi-crop pest detection based on deep learning object detection models
Naseer et al. Pixels to precision: features fusion and random forests over labelled-based segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190531

Address after: 201416 No. 689 Zhelin Town Zhengong Road, Fengxian District, Shanghai

Patentee after: Shanghai Haiwei Industry Control Co., Ltd.

Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Patentee before: Shanghai Jiao Tong University