CN108664986B - 基于lp范数正则化的多任务学习图像分类方法及系统 - Google Patents

基于lp范数正则化的多任务学习图像分类方法及系统 Download PDF

Info

Publication number
CN108664986B
CN108664986B CN201810041251.2A CN201810041251A CN108664986B CN 108664986 B CN108664986 B CN 108664986B CN 201810041251 A CN201810041251 A CN 201810041251A CN 108664986 B CN108664986 B CN 108664986B
Authority
CN
China
Prior art keywords
norm
objective function
function
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810041251.2A
Other languages
English (en)
Other versions
CN108664986A (zh
Inventor
王瑜
周文
张娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN201810041251.2A priority Critical patent/CN108664986B/zh
Publication of CN108664986A publication Critical patent/CN108664986A/zh
Application granted granted Critical
Publication of CN108664986B publication Critical patent/CN108664986B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种基于lp范数正则化的多任务学习图像分类方法及系统,其中,方法包括:获取不同地区的同类图像,并对同类图像进行预处理,以获取多组数据中心图像;对多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵;选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数;以及优化分类算法的目标函数,以确定输入图像的最终类别。该方法可以采用lp范数进行正则化,从而可以提高分类过程的效率和效果,并能使优化过程让过程更简单,有效的降低模型的计算复杂度,提高分类准确率和可靠性。

Description

基于lp范数正则化的多任务学习图像分类方法及系统
技术领域
本发明涉及图像识别处理技术领域,特别涉及一种基于lp范数正则化的多任务学习图像分类方法及系统。
背景技术
机器学习作为人工智能领域的核心研究课题之一,近年来取得了快速发展。多任务学习是一种机器学习方法,由归纳偏置问题发展而来,是利用任务间共享有用信息,同时对多个任务作并行学习的一种方法。结合正则化方法、随机过程、支持向量机和深度学习等技术来进行多任务学习建模的方法已广泛应用于语音处理、疾病预测、图像处理、数据挖掘等领域。
图像是人类获取外界信息非常重要知识来源,在人类接收的外界信息中,有70%以上来自图像,因此在计算机视觉、遥感、生物、医学等学科中,图像分类是研究的重点之一。但是在实际的图像分类的应用中经常会遇到这种情况,样本的规模和维数很大,但是训练样本数目很少,传统的图像分类方法的精度都不高。此时,应用机器学习中的多任务学习方法可以有效解决这个问题。
多任务学习的特点是同时学习现实世界的多个相关任务,并利用它们之间的关联关系来提高系统的整体学习性能。多任务学习系统的分类性能优于单任务学习系统,因为多任务学习过程中考虑了多个任务的关联关系,在同时训练多个任务时,模型利用任务间的共享信息增强系统的归纳偏置能力。从多任务学习角度考虑,同时选择训练样本的一些共有特征去表示测试样本比单独的一个特征或样本更能提高分类准确率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于lp范数正则化的多任务学习图像分类方法,该方法可以提高多任务学习图像分类速度和准确率且模型简单易优化。
本发明的另一个目的在于提出一种基于lp范数正则化的多任务学习图像分类系统。
为达到上述目的,本发明一方面实施例提出了一种基于lp范数正则化的多任务学习图像分类方法,包括:获取不同地区的同类图像,并对所述同类图像进行预处理,以获取多组数据中心图像;对所述多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵;选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数;以及优化分类算法的目标函数,以确定输入图像的最终类别。
本发明实施例的基于lp范数正则化的多任务学习图像分类方法,在对获取的不同地区的同类图像进行预处理得到多组数据中心图像,通过纹理特征和边缘特征定义得到图像特征矩阵和类别标签矩阵,选择基于支持向量机的多任务学习算法设计分类器和lp范数进行正则化,从而提高分类的效率和精度,且过程简单易于优化,随后通过对分类算法的目标函数进行优化得到输入图像的最终类别,具有分类效率高、精度高,降低模型计算复杂度,且易于优化的优点。
另外,根据本发明上述实施例的基于lp范数正则化的多任务学习图像分类方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述对所述多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵,进一步包括:利用灰度共生矩阵提取所述纹理特征,其中,所述灰度共生矩阵提供图像的灰度方向、间隔和变化幅度的统计信息;通过所述边缘特征描述并利用Canny算子提取所述边缘特征;将图像特征表示为 xi=[x1,x2,...,xn]∈Rd×n,i=1,2,...,t,t为监督学习任务个数,n为输入样本数据的个数,d为样本特征向量的维数;将图像标签集表示为 yi=[y1,y2,...,yn]∈Rn,i=1,2,...,t,其中yi∈{+1,-1}为第i个任务中每个样本的类别标签;设置t个监督学习任务的权重系数矩阵为wi=[w1,w2,...,wt]∈Rd×t
进一步地,在本发明的一个实施例中,所述选择基于支持向量机的多任务学习算法设计分类器,进一步包括:确定支持向量机分类决策函数为:
Figure GDA0002522048470000031
aI≥0为拉格朗日乘子;核函数采用高斯核函数
Figure GDA0002522048470000032
σ为函数的宽度参数。
进一步地,在本发明的一个实施例中,所述选择lp范数进行正则化,进一步包括:添加正则化项后的多任务学习支持向量机模型的目标函数为:
Figure GDA0002522048470000033
采用0-1损失函数,λΩ(W)为正则化项;类比l0范数、l1范数和lp范数,所述l1范数为
Figure GDA0002522048470000034
所述l0范数为||x||0=#(i) withxi≠0,所述lp范数为
Figure GDA0002522048470000035
并且,所述设计目标函数,进一步包括:模型中有t个任务,第k个任务样本为m,目标函数为
Figure GDA0002522048470000041
γ为正则化参数,u=(uk:k)∈Rnd,J(u)是参数向量u的齐二次方程且J(u)=u'Eu;当
Figure GDA0002522048470000042
时,函数
Figure GDA0002522048470000043
其中
Figure GDA0002522048470000044
t个任务之间独立学习。
进一步地,在本发明的一个实施例中,所述确定输入图像的最终类别,进一步包括:所述lp范数计算公式为:
Figure GDA0002522048470000045
其中,x={x1,x2,…,xn}为一个向量,p>0;加入所述lp范数的正则项的多任务学习支持向量机目标函数公式为:
Figure GDA0002522048470000046
利用子梯度法对所述目标函数进行求解,即:wh+1=whhF'(wh)其中,其中wh是第h次迭代的结果,ηh为步长,通常取
Figure GDA0002522048470000047
表示函数F(w) 在w处的子梯度;利用随机梯度下降法:
Figure GDA0002522048470000048
优化分类算法,沿着所述目标函数J(u)参数θ∈R的梯度相反方向
Figure GDA0002522048470000049
不断更新模型参数,直至到达所述目标函数的极小值点,更新步长为η。
为达到上述目的,本发明另一方面实施例提出了一种基于lp范数正则化的多任务学习图像分类系统,包括:处理模块,用于获取不同地区的同类图像,并对所述同类图像进行预处理,以获取多组数据中心图像;获取模块,用于对所述多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵;正则化模块,用于选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数;以及分类模块,用于优化分类算法的目标函数,以确定输入图像的最终类别。
本发明实施例的基于lp范数正则化的多任务学习图像分类系统,在对获取的不同地区的同类图像进行预处理得到多组数据中心图像,通过纹理特征和边缘特征定义得到图像特征矩阵和类别标签矩阵,选择基于支持向量机的多任务学习算法设计分类器和lp范数进行正则化,从而提高分类的效率和精度,且过程简单易于优化,随后通过对分类算法的目标函数进行优化得到输入图像的最终类别,具有分类效率高、精度高,降低模型计算复杂度,且易于优化的优点。
另外,根据本发明上述实施例的基于lp范数正则化的多任务学习图像分类系统还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述获取模块进一步包括:第一提取单元,用于利用灰度共生矩阵提取所述纹理特征,其中,所述灰度共生矩阵提供图像的灰度方向、间隔和变化幅度的统计信息;第二提取单元,用于通过所述边缘特征描述并利用Canny算子提取所述边缘特征;第一表示单元,用于将图像特征表示为xi=[x1,x2,...,xn]∈Rd×n,i=1,2,...,t,t为监督学习任务个数,n 为输入样本数据的个数,d为样本特征向量的维数;第二表示单元,用于将图像标签集表示为yi=[y1,y2,...,yn]∈Rn,i=1,2,...,t,其中yi∈{+1,-1}为第i个任务中每个样本的类别标签;设置单元,用于设置t个监督学习任务的权重系数矩阵为wi=[w1,w2,...,wt]∈Rd×t
进一步地,在本发明的一个实施例中,所述正则化模块进一步用于:确定支持向量机分类决策函数为:
Figure GDA0002522048470000051
aI≥0为拉格朗日乘子;核函数采用高斯核函数
Figure GDA0002522048470000052
σ为函数的宽度参数。
进一步地,在本发明的一个实施例中,所述正则化模块还用于:添加正则化项后的多任务学习支持向量机模型的目标函数为:
Figure GDA0002522048470000061
Figure GDA0002522048470000062
采用0-1损失函数,λΩ(W)为正则化项;类比l0范数、l1范数和lp范数,所述l1范数为
Figure GDA0002522048470000063
所述l0范数为||x||0=#(i)withxi≠0,所述lp范数为
Figure GDA0002522048470000064
并且,所述设计目标函数,进一步包括:模型中有t个任务,第k个任务样本为m,目标函数为
Figure GDA0002522048470000065
γ为正则化参数,u=(uk:k)∈Rnd,J(u)是参数向量u的齐二次方程且J(u)=u'Eu;当
Figure GDA0002522048470000066
时,函数
Figure GDA0002522048470000067
其中
Figure GDA0002522048470000068
t个任务之间是独立学习。
进一步地,在本发明的一个实施例中,所述分类模块还用于:所述lp范数计算公式为:
Figure GDA0002522048470000069
其中,x={x1,x2,…,xn}为一个向量,p>0;加入所述lp范数的正则项的多任务学习支持向量机目标函数公式为:
Figure GDA00025220484700000610
利用子梯度法对所述目标函数进行求解,即:wh+1=whhF'(wh)其中,wh是第 h次迭代的结果,ηh为步长,通常取
Figure GDA00025220484700000611
表示函数F(w)在 w处的子梯度;利用随机梯度下降法:
Figure GDA00025220484700000612
优化分类算法,沿着所述目标函数J(u)参数θ∈R的梯度相反方向
Figure GDA00025220484700000613
不断更新模型参数,直至到达所述目标函数的极小值点,更新步长为η。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的基于lp范数正则化的多任务学习图像分类方法的流程图;和
图2为根据本发明实施例的基于lp范数正则化的多任务学习图像分类系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于lp范数正则化的多任务学习图像分类方法及系统,首先将参照附图描述根据本发明实施例提出的基于lp范数正则化的多任务学习图像分类方法。
图1是本发明实施例的基于lp范数正则化的多任务学习图像分类方法的流程图。
如图1所示,该基于lp范数正则化的多任务学习图像分类方法包括以下步骤:
在步骤S101中,获取不同地区的同类图像,并对同类图像进行预处理,以获取多组数据中心图像。
可以理解的是,不同地区的同类图像可以通过网上公开数据集搜集得到,也可以通过自行拍摄得到;对同类图像进行预处理可以包括图像裁剪、去噪、平滑、滤波等。进一步地,本发明的实施例将获取得到的多组数据中心图像表示出来。
在步骤S102中,对多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵。
具体地,在本发明的实施例中,对多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义。其中,使用纹理特征描述可以包括:利用灰度共生矩阵提取纹理特征,其中,灰度共生矩阵可以提供图像的灰度方向、间隔和变化幅度的统计信息。进一步地,依据这些统计信息,可以计算包括均值,方差,对比度,熵,相关性,同质性,能量等用于定量描述纹理特性的统计量。
进一步地,在本发明的一个实施例中,可以利用Canny算子提取边缘特征。可以理解的,首先将图像特征表示为xi=[x1,x2,...,xn]∈Rd×n,i=1,2,...,t,其中,t 为监督学习任务个数,n为输入样本数据的个数,d为样本特征向量的维数;然后将图像标签集表示为yi=[y1,y2,...,yn]∈Rn,i=1,2,...,t,其中,yi∈{+1,-1}为第 i个任务中每个样本的类别标签;最后设置t个监督学习任务的权重系数矩阵为wi=[w1,w2,...,wt]∈Rd×t,完成利用Canny算子提取边缘特征。
需要说明的是,对多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,目的是获取图像特征矩阵和类别标签矩阵,以便进行后续步骤。
在步骤S103中,选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数。
具体而言,上述步骤可以分为两部分:选择基于支持向量机的多任务学习算法设计分类器部分和选择lp范数进行正则化部分。
具体地,在本发明实施例中,选择基于支持向量机的多任务学习算法设计分类器具体包括:确定支持向量机分类决策函数为:
Figure GDA0002522048470000091
aI≥0为拉格朗日乘子;
核函数采用高斯核函数:
Figure GDA0002522048470000092
σ为函数的宽度参数。
进一步地,在本发明实施例中选择lp范数进行正则化具体包括:添加正则化项后的多任务学习支持向量机模型的目标函数为:
Figure GDA0002522048470000093
其中,
Figure GDA0002522048470000094
采用0-1损失函数,λΩ(W)为正则化项;
类比l0范数、l1范数和lp范数,l1范数为
Figure GDA0002522048470000095
l0范数为||x||0=#(i)with xi≠0,lp范数为
Figure GDA0002522048470000096
需要说明的是,本发明实施例选择lp范数的原因是:lp范数理论简单,在处理图像数据的过程中不但有效,而且易于优化、有效降低模型的计算复杂度。
根据选择的基于支持向量机的多任务学习算法设计分类器和选择的lp范数进行正则化设计本发明实施例的目标函数,包括:模型中有t个任务,第k 个任务样本为m,目标函数为:
Figure GDA0002522048470000097
其中,γ为正则化参数,u=(uk:k)∈Rnd,J(u)是参数向量u的齐二次方程且J(u)=u'Eu;
Figure GDA0002522048470000101
时,函数为:
Figure GDA0002522048470000102
其中
Figure GDA0002522048470000103
t个任务之间是独立学习,彼此互不影响。
在步骤S104中,优化分类算法的目标函数,以确定输入图像的最终类别。
简言之,在本发明的实施例中,加入lp范数的正则项的多任务学习支持向量机目标函数公式并利用进行子梯度法对目标函数进行求解,接着进行随机梯度下降法计算,以优化分类算法,确定输入图像的最终类别。
可以理解的是,本发明实施例的具体的优化步骤为:lp范数计算公式为:
Figure GDA0002522048470000104
其中,x={x1,x2,…,xn}为一个向量,p>0;
加入lp范数的正则项的多任务学习支持向量机目标函数公式为:
Figure GDA0002522048470000105
利用子梯度法对目标函数进行求解,即:
wh+1=whhF'(wh);
其中,wh是第h次迭代的结果,ηh为步长,通常取
Figure GDA0002522048470000106
表示函数F(w)在w处的子梯度;
利用随机梯度下降法:
Figure GDA0002522048470000107
优化分类算法,沿着目标函数J(u) 参数θ∈R的梯度相反方向
Figure GDA0002522048470000108
不断更新模型参数,直至到达目标函数的极小值点,更新步长为η。
本发明实施例的基于lp范数正则化的多任务学习图像分类方法,在对获取的不同地区的同类图像进行预处理得到多组数据中心图像,通过纹理特征和边缘特征定义得到图像特征矩阵和类别标签矩阵,选择基于支持向量机的多任务学习算法设计分类器和lp范数进行正则化,从而提高分类的效率和精度,且过程简单易于优化,随后通过对分类算法的目标函数进行优化得到输入图像的最终类别,具有分类效率高、精度高,降低模型计算复杂度,且易于优化的优点。
其次参照附图描述根据本发明实施例提出的基于lp范数正则化的多任务学习图像分类系统。
图2是本发明实施例的基于lp范数正则化的多任务学习图像分类系统的结构示意图。
如图2所示,该基于lp范数正则化的多任务学习图像分类系统10包括:处理模块101、获取模块102、正则化模块103和分类模块104。
其中,处理模块101用于获取不同地区的同类图像,并对同类图像进行预处理,以获取多组数据中心图像。
获取模块102用于对多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵。
在本发明的实施例中,获取模块进还包括:第一提取单元,用于利用灰度共生矩阵提取纹理特征,其中,灰度共生矩阵提供图像的灰度方向、间隔和变化幅度的统计信息;第二提取单元,用于通过边缘特征描述并利用Canny算子提取边缘特征;第一表示单元,用于将图像特征表示为 xi=[x1,x2,...,xn]∈Rd×n,i=1,2,...,t,t为监督学习任务个数,n为输入样本数据的个数,d为样本特征向量的维数;第二表示单元,用于将图像标签集表示为yi=[y1,y2,...,yn]∈Rn,i=1,2,...,t,其中yi∈{+1,-1}为第i个任务中每个样本的类别标签;设置t个监督学习任务的权重系数矩阵为wi=[w1,w2,...,wt]∈Rd×t
正则化模块103用于选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数。
在本发明的实施例中,正则化模块进一步用于:确定支持向量机分类决策函数为:
Figure GDA0002522048470000121
aI≥0为拉格朗日乘子;核函数采用高斯核函数
Figure GDA0002522048470000122
σ为函数的宽度参数。
进一步地,正则化模块还用于添加正则化项后的多任务学习支持向量机模型的目标函数为:
Figure GDA0002522048470000123
采用0-1损失函数,λΩ(W)为正则化项;类比l0范数、l1范数和lp范数,l1范数为
Figure GDA0002522048470000124
l0范数为||x||0=#(i)withxi≠0,lp范数为
Figure GDA0002522048470000125
并且,设计目标函数,进一步包括:模型中有t个任务,第k个任务样本为m,目标函数为
Figure GDA0002522048470000126
γ为正则化参数,u=(uk:k)∈Rnd,J(u)是参数向量u的齐二次方程且J(u)=u'Eu;当
Figure GDA0002522048470000127
时,函数
Figure GDA0002522048470000128
其中
Figure GDA0002522048470000129
t个任务之为是独立学习。
分类模块104用于优化分类算法的目标函数,以确定输入图像的最终类别。
在本发明的实施例中,分类模块还用于:lp范数计算公式为:
Figure GDA00025220484700001210
其中,x={x1,x2,…,xn}为一个向量,p>0;加入lp范数的正则项的多任务学习支持向量机目标函数公式为:
Figure GDA0002522048470000131
利用子梯度法对目标函数进行求解,即:wh+1=whhF'(wh)。其中,wh是第 h次迭代的结果,ηh为步长,通常取
Figure GDA0002522048470000132
表示函数F(w)在 w处的子梯度;利用随机梯度下降法:
Figure GDA0002522048470000133
优化分类算法,沿着目标函数J(u)参数θ∈R的梯度相反方向
Figure GDA0002522048470000134
不断更新模型参数,直至到达目标函数的极小值点,更新步长为η。
需要说明的是,前述对基于lp范数正则化的多任务学习图像分类方法实施例的解释说明也适用于该实施例的系统,此处不再赘述。
本发明实施例的基于lp范数正则化的多任务学习图像分类系统,在对获取的不同地区的同类图像进行预处理得到多组数据中心图像,通过纹理特征和边缘特征定义得到图像特征矩阵和类别标签矩阵,选择基于支持向量机的多任务学习算法设计分类器和lp范数进行正则化,从而提高分类的效率和精度,且过程简单易于优化,随后通过对分类算法的目标函数进行优化得到输入图像的最终类别,具有分类效率高、精度高,降低模型计算复杂度,且易于优化的优点。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征 “上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于lp范数正则化的多任务学习图像分类方法,其特征在于,包括以下步骤:
获取不同地区的同类图像,并对所述同类图像进行预处理,以获取多组数据中心图像;
对所述多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵,所述对所述多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵,进一步包括:利用灰度共生矩阵提取所述纹理特征,其中,所述灰度共生矩阵提供图像的灰度方向、间隔和变化幅度的统计信息;利用Canny算子提取所述边缘特征;将图像特征表示为Xk=[x1,x2,...,xn]∈Rd×n,k=1,2,...,t,t为监督学习任务个数,n为输入样本数据的个数,d为样本特征向量的维数;将图像标签集表示为Yk=[y1,y2,...,yn]∈Rn,k=1,2,...,t,其中yi∈{+1,-1}为第k个任务中每个样本的类别标签,i=1,2,…,n;设置t个监督学习任务的权重系数矩阵为w=[w1,w2,...,wt]∈Rd×t
选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数,其中,所述选择lp范数进行正则化,进一步包括:添加正则化项后的多任务学习支持向量机模型的目标函数为:
Figure FDA0002586541550000011
Figure FDA0002586541550000012
采用0-1损失函数,λΩ(W)为正则化项;类比l0范数、l1范数和lp范数,所述l1范数为
Figure FDA0002586541550000013
所述l0范数为||x||0=#(i)with xi≠0,所述lp范数为
Figure FDA0002586541550000021
并且,所述设计目标函数,进一步包括:模型中有t个任务,第k个任务样本个数为n,目标函数为
Figure FDA0002586541550000022
γ为正则化参数,u=(uk:k)∈Rn×d,J(u)是参数向量u的齐二次方程且J(u)=u'Eu;当
Figure FDA0002586541550000023
时,函数
Figure FDA0002586541550000024
其中
Figure FDA0002586541550000025
t个任务之间是独立学习;以及
优化分类算法的目标函数,以确定输入图像的最终类别。
2.根据权利要求1所述的基于lp范数正则化的多任务学习图像分类方法,其特征在于,所述选择基于支持向量机的多任务学习算法设计分类器,进一步包括:
确定支持向量机分类决策函数为:
Figure FDA0002586541550000026
ai≥0为拉格朗日乘子;
核函数采用高斯核函数
Figure FDA0002586541550000027
σ为函数的宽度参数。
3.根据权利要求2所述的基于lp范数正则化的多任务学习图像分类方法,其特征在于,所述确定输入图像的最终类别,进一步包括:
所述lp范数计算公式为:
Figure FDA0002586541550000028
其中,p>0;
加入所述lp范数的正则项的多任务学习支持向量机目标函数公式为:
Figure FDA0002586541550000029
利用子梯度法对所述目标函数进行求解,即:wh+1=whhF'(wh)其中,其中wh是第h次迭代的结果,ηh为步长,通常取
Figure FDA00025865415500000210
Figure FDA00025865415500000211
表示函数F(w)在w处的子梯度;
利用随机梯度下降法:
Figure FDA0002586541550000031
优化分类算法,沿着所述目标函数J(u)参数θ∈R的梯度相反方向
Figure FDA0002586541550000032
不断更新模型参数,直至到达所述目标函数的极小值点,更新步长为η。
4.一种基于lp范数正则化的多任务学习图像分类系统,其特征在于,包括:
处理模块,用于获取不同地区的同类图像,并对所述同类图像进行预处理,以获取多组数据中心图像;
获取模块,用于对所述多组数据中心图像分别通过纹理特征和边缘特征进行描述或定义,以获取图像特征矩阵和类别标签矩阵,所述获取模块还包括:第一提取单元,用于利用灰度共生矩阵提取所述纹理特征,其中,所述灰度共生矩阵提供图像的灰度方向、间隔和变化幅度的统计信息;第二提取单元,用于利用Canny算子提取所述边缘特征;第一表示单元,用于将图像特征表示为Xk=[x1,x2,...,xn]∈Rd×n,k=1,2,...,t,t为监督学习任务个数,n为输入样本数据的个数,d为样本特征向量的维数;第二表示单元,用于将图像标签集表示为Yk=[y1,y2,...,yn]∈Rn,k=1,2,...,t,其中yi∈{+1,-1}为第k个任务中每个样本的类别标签,i=1,2,…,n;设置单元,用于设置t个监督学习任务的权重系数矩阵为w=[w1,w2,...,wt]∈Rd×t
正则化模块,用于选择基于支持向量机的多任务学习算法设计分类器,并选择lp范数进行正则化,并且设计目标函数,其中,所述正则化模块还用于:添加正则化项后的多任务学习支持向量机模型的目标函数为:
Figure FDA0002586541550000033
Figure FDA0002586541550000034
采用0-1损失函数,λΩ(W)为正则化项;类比l0范数、l1范数和lp范数,所述l1范数为
Figure FDA0002586541550000041
所述l0范数为||x||0=#(i)with xi≠0,所述lp范数为
Figure FDA0002586541550000042
并且,所述设计目标函数,进一步包括:模型中有t个任务,第k个任务样本个数为n,目标函数为
Figure FDA0002586541550000043
γ为正则化参数,u=(uk:k)∈Rn×d,J(u)是参数向量u的齐二次方程且J(u)=u'Eu;当
Figure FDA0002586541550000044
时,函数
Figure FDA0002586541550000045
其中
Figure FDA0002586541550000046
t个任务之间是独立学习;以及
分类模块,用于优化分类算法的目标函数,以确定输入图像的最终类别。
5.根据权利要求4所述的基于lp范数正则化的多任务学习图像分类系统,其特征在于,所述正则化模块进一步用于:
确定支持向量机分类决策函数为:
Figure FDA0002586541550000047
ai≥0为拉格朗日乘子;
核函数采用高斯核函数
Figure FDA0002586541550000048
σ为函数的宽度参数。
6.根据权利要求5所述的基于lp范数正则化的多任务学习图像分类系统,其特征在于,所述分类模块还用于:
所述lp范数计算公式为:
Figure FDA0002586541550000049
其中,p>0;
加入所述lp范数的正则项的多任务学习支持向量机目标函数公式为:
Figure FDA00025865415500000410
利用子梯度法对所述目标函数进行求解,即:wh+1=whhF'(wh)其中,wh是第h次迭代的结果,ηh为步长,通常取
Figure FDA0002586541550000051
Figure FDA0002586541550000052
表示函数F(w)在w处的子梯度;
利用随机梯度下降法:
Figure FDA0002586541550000053
优化分类算法,沿着所述目标函数J(u)参数θ∈R的梯度相反方向
Figure FDA0002586541550000054
不断更新模型参数,直至到达所述目标函数的极小值点,更新步长为η。
CN201810041251.2A 2018-01-16 2018-01-16 基于lp范数正则化的多任务学习图像分类方法及系统 Expired - Fee Related CN108664986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810041251.2A CN108664986B (zh) 2018-01-16 2018-01-16 基于lp范数正则化的多任务学习图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810041251.2A CN108664986B (zh) 2018-01-16 2018-01-16 基于lp范数正则化的多任务学习图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN108664986A CN108664986A (zh) 2018-10-16
CN108664986B true CN108664986B (zh) 2020-09-04

Family

ID=63785056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810041251.2A Expired - Fee Related CN108664986B (zh) 2018-01-16 2018-01-16 基于lp范数正则化的多任务学习图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN108664986B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784233B (zh) * 2018-12-29 2023-07-11 佛山科学技术学院 一种基于Lp-范数的锁相值加权空间滤波方法及装置
CN109886315B (zh) * 2019-01-29 2022-05-03 电子科技大学 一种基于核保持的图像相似性度量方法
CN111754428B (zh) * 2020-06-11 2021-02-09 淮阴工学院 基于各向异性梯度模型的图像增强方法及系统
CN112508807B (zh) * 2020-11-26 2023-07-21 电子科技大学 一种基于多方向全变分的图像去噪方法
CN113536907A (zh) * 2021-06-06 2021-10-22 南京理工大学 基于深度有监督特征选择的社会关系识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605711A (zh) * 2013-11-12 2014-02-26 中国石油大学(北京) 支持向量机分类器的构造方法及装置、分类方法及装置
CN104484670A (zh) * 2014-10-24 2015-04-01 西安电子科技大学 基于伪彩色和支持向量机的遥感图像云检测方法
CN106127247A (zh) * 2016-06-21 2016-11-16 广东工业大学 基于多任务多示例支持向量机的图像分类方法
CN106469316A (zh) * 2016-09-07 2017-03-01 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN106952183A (zh) * 2017-04-24 2017-07-14 武汉大学 一种基于粒子群优化最小二乘支持向量机的短期负荷预测方法
CN107563410A (zh) * 2017-08-04 2018-01-09 中国科学院自动化研究所 基于局部类别一致聚类和多任务学习的分类方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120213426A1 (en) * 2011-02-22 2012-08-23 The Board Of Trustees Of The Leland Stanford Junior University Method for Implementing a High-Level Image Representation for Image Analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605711A (zh) * 2013-11-12 2014-02-26 中国石油大学(北京) 支持向量机分类器的构造方法及装置、分类方法及装置
CN104484670A (zh) * 2014-10-24 2015-04-01 西安电子科技大学 基于伪彩色和支持向量机的遥感图像云检测方法
CN106127247A (zh) * 2016-06-21 2016-11-16 广东工业大学 基于多任务多示例支持向量机的图像分类方法
CN106469316A (zh) * 2016-09-07 2017-03-01 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN106952183A (zh) * 2017-04-24 2017-07-14 武汉大学 一种基于粒子群优化最小二乘支持向量机的短期负荷预测方法
CN107563410A (zh) * 2017-08-04 2018-01-09 中国科学院自动化研究所 基于局部类别一致聚类和多任务学习的分类方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A l(p)-norm MTMKL Framework for Simultaneous Detection of Multiple Facial Action Units;Zhang, Xiao 等;《2014 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》;20141231;第1104-1111页 *
Multisite Disease Classification with Functional Connectomes via Multitask Structured Sparse SVM;Takanori Watanabe 等;《Second International Workshop on Sparsity Techniques in Medical Imaging》;20141231;论文摘要,第1-3节 *
p 范数正则化支持向量机分类算法;刘建伟 等;《自动化学报》;20120131;论文摘要 *
基于多任务学习的自然图像分类研究;刘成 等;《计算机应用研究》;20120731;第2773-2775页 *

Also Published As

Publication number Publication date
CN108664986A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108664986B (zh) 基于lp范数正则化的多任务学习图像分类方法及系统
CN109409416B (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
Birenbaum et al. Longitudinal multiple sclerosis lesion segmentation using multi-view convolutional neural networks
CN107633522B (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN108985161B (zh) 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法
CN108319969B (zh) 基于稀疏表示框架的脑胶质瘤生存期预测方法和系统
CN110570425B (zh) 一种基于深度强化学习算法的肺结节分析方法及装置
Zhou et al. Adaptive weighted locality-constrained sparse coding for glaucoma diagnosis
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
CN113096080B (zh) 图像分析方法及系统
CN103268494A (zh) 基于稀疏表示的寄生虫虫卵识别方法
Xu et al. A novel machine-learning algorithm to estimate the position and size of myocardial infarction for MRI sequence
CN105844299B (zh) 一种基于词袋模型的图像分类方法
CN116883768A (zh) 基于多模态特征融合的肺结节智能分级方法及系统
Burmeister et al. Less is more: A comparison of active learning strategies for 3d medical image segmentation
Cetindag et al. Transfer Learning Methods for Using Textural Features in Histopathological Image Classification
CN106504259B (zh) 一种多尺度的图像分割方法
Sushma et al. Classification of fetal heart ultrasound images for the detection of CHD
Chen et al. Cardiac motion scoring based on CNN with attention mechanism
Siddiqi et al. An enhanced machine learning approach for brain MRI classification
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
Hu et al. An improved multithreshold segmentation algorithm based on graph cuts applicable for irregular image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200904

Termination date: 20210116