CN111832391B - 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 - Google Patents
基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 Download PDFInfo
- Publication number
- CN111832391B CN111832391B CN202010460308.XA CN202010460308A CN111832391B CN 111832391 B CN111832391 B CN 111832391B CN 202010460308 A CN202010460308 A CN 202010460308A CN 111832391 B CN111832391 B CN 111832391B
- Authority
- CN
- China
- Prior art keywords
- low
- image
- dimensional
- dimension reduction
- projection matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000009467 reduction Effects 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 21
- 238000012360 testing method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012850 discrimination method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法,目的在于,发掘出隐藏在高维图像信息中的低维几何描述,本发明以张量判别嵌入法(TLRDE)为基础,首先使用截断核范数(Truncated Nuclear Norm)来代替常用的核范数(Nuclear Norm)去更好地逼近矩阵的秩,使得提取出来的图像低维特征更为精确,然后通过对正则项的变形,利用人脸自带的标签信息使得该方法能够在有监督学习的情况下学习出具有判别能力的图像低维特征。本发明在图像特征提取方面性能具有明显的优势,在使用相同的图像分类方法下,通过本发明进行特征提取后的图像,具有更高的识别率。
Description
技术领域
本发明涉及图像识别领域,具体涉及一种基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法。
背景技术
随着社会的进步和科学技术的迅猛发展,图像识别技术越来越成为当今社会上非常有意义的研究方向和热点,其是指计算机对图像进行分析、处理、来模拟和实现人的认知、理解过程以及识别各种不同类别的标签和对象的技术。而在图像识别的过程中,特征提取又作为其核心部分,受到研究者广泛地关注和探索,这是因为原始图像的数据量相当之大,且样本常处于一个高维空间中,直接对原始图像进行分类,无论是从计算量还是计算复杂度来说,都是不可取的,而且提取到的特征直接影响到分类决策算法的性能,提取到不恰当的,冗余的,甚至是错误的特征就不能够精确地分类,甚至无法分类,从而影响整个图像识别系统的性能。为了有效地进行分类,正确地进行特征提取,一般都是寻找到一个最优的投影矩阵,能够将原始数据映射到低维子空间中,同时还要保证映射后的低维子空间能够反映数据集的本质特征。所以说,特征提取本质上就是一种图像数据的降维方法。
总而言之,特征提取是图像识别中的一个重要的组成方法,能够从高维数据中发掘出有效特征,使得数据能够在低维空间中进行准确的几何描述,已经越来越成为许多领域的研究热点。
发明内容
本发明目的:为克服现有的张量低秩判别法(TLRDE)存在的不足,本发明对高维图像进行降维处理,通过建立一种新的图像降维模型,实现图像能够在不丢失有用信息的前提下降低图像的维数。
技术方案:一种基于截断核范数的低秩判别嵌入法的图像降维方法,包括以下步骤:
步骤1:根据目标函数及约束条件,建立基于截断核范数的线性判别嵌入法的模型,表示为:
||Z||r=||Z||*-Tr(FZGT) (3)
式中,训练集X,P为投影矩阵,Z为重构矩阵,F和G表示对Z进行SVD奇异值分解后得到的奇异值向量进行截断后的向量形式,λ是平衡参数,γ是正则项系数;
步骤2:采用交替迭代算法对模型中的P和Z进行优化,得到优化后的投影矩阵P;
步骤3:基于投影矩阵P,将待降维的高维图像投影到低维子空间中得到对应的低维图像。
进一步的,所述步骤2具体包括以下子步骤:
S210:将公式(2)中不含有Z的项略去,用下式来求解Z:
S230:根据求解得到的Z,更新Sz=(X-XZ)(X-XZ)T;
S240:将公式(2)中不含有P的项略去,用下式来求解P:
P*=arg minP Tr(PT(λSz-γ(Sb-Sw))P),s.t.PTP=I. (23)
S250:将公式(23)转化成式(24)的特征值分解问题,得到特征值α的d个最小的特征向量,特征值α的d个最小的特征向量构成投影矩阵P;
(λSz-γ(Sb-Sw))u=αu (24)
S260:判断是否满足t=T,其中,t为当前迭代次数,T为最大迭代次数,若满足则输出投影矩阵P;若不满足,则t=t+1,转入S210。
进一步的,所述训练集表示为:X=[X1,X2,…,Xc]=[x1,x2,…,xn]∈Rm×n,表示第i类样本数据集,数据集共分为c类,每类有Ni个样本,且 是每张图片展开成的向量形式,m表示展开后的样本维度,n表示训练样本的个数。
本发明还公开了一种人脸图像识别方法,包括以下步骤:
采用一种基于截断核范数的低秩判别嵌入法的图像降维方法计算得到投影矩阵P;
采用投影矩阵P将待降维的高维图像投影到低维子空间中得到对应的具有判别能力的图像低维特征;
基于图像低维特征进行人脸识别。
进一步的,采用稀疏表示分类器对图像低维特征进行识别分类,得到识别分类结果。
有益效果:本发明具有以下优点:
1、本发明利用截断核范数代替传统的核范数来逼近矩阵的秩,有效地减少较大奇异值对近似矩阵秩时产生的不良影响,使得提取出的图像低维特征更为精确。
2、本发明使用变形后的LDA判别式,并结合Frobenius范数来作为模型的正则项,成功地将图像自带的标签信息运用到模型中,使模型变为一个有监督学习的模型。
3、本发明是以张量判别嵌入法(TLRDE)为基础进行改进的,相比于张量判别嵌入法只能使用在高光谱图像中,本发明能够将模型运用到日常生活中常见的二维图像中,扩展了本发明的应用场景。
4、本发明采用一种交替方向乘子法算法对模型进行求解,增强了算法的性能。
附图说明
图1为本发明的总体流程图;
图2为本发明所提供特征提取方法与主流算法之间的性能比较,其中:
图2中的2-1本发明所提供特征提取方法与主流算法之间在ORL数据库上的性能比较;
图2中的2-2本发明所提供特征提取方法与主流算法之间在CMU数据库上的性能比较;
图2中的2-3本发明所提供特征提取方法与主流算法之间在YALE数据库上的性能比较;
图3为实施例中使用到的人脸数据库;
图4为实例2-2中本发明所提供特征提取方法与主流算法之间的性能比较;
图5为实例2-2中使用到的受污染的人脸数据库;
图6为本发明的整体算法流程图。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
本发明为克服现有的张量低秩判别法(TLRDE)存在的不足,通过使用截断核范数(Truncated Nuclear Norm)来代替原方法中的核范数(Nuclear Norm),以达到对矩阵的秩更好地逼近,从而能够更好地捕获图像的关键特征,然后通过对正则项的变形,利用人脸自带的标签信息使得该方法能够在有监督学习的情况下学习出具有判别能力的图像低维特征。
本发明提供了一种基于截断核范数的低秩判别嵌入法(TNN-LRDE),通过求解出的投影矩阵P将高维图像数据集映射到低维子空间中,从而来获取图像的低维特征,如图1和图6所示,具体包括以下步骤:
步骤1:给定常用人脸图像库构建数据集X=[X1,X2,…,Xc]=[x1,x2,…,xn]∈Rm×n,其中表示第i类样本数据集,数据集共分为c类,每类有Ni个样本,且 是每一个训练样本也即每一张图片展开成的向量形式,m表示展开后的样本维度,n表示训练样本的个数。特征提取的目标就是找到一个最优的投影矩阵P∈Rm×d,把测试集投影到低维子空间中得到Y=[Y1,Y2,…,Yc]=[y1,y2,…,yn]∈Rd×n(d<<n),使得测试样本从原始的高维空间中变换到低维空间中,且能够很好地保持图像的本质特征;
步骤2:根据目标函数及约束条件,建立基于截断核范数的低秩判别嵌入法(TNN-LRDE)的模型,该模型表示为:
但是关于秩最小化问题一直以来都是NP难问题,通常都会采用核范数来替代求解,而本实施例采用了截断核范数来逼近矩阵的秩,因为已经有研究表明,截断核范数相比于核范数能够更好地近似矩阵的秩,所以基于截断核范数的低秩判别嵌入法的模型又可以被写成:
||Z||r=||Z||*-Tr(FZGT) (3)
其中,F和G表示对Z进行SVD奇异值分解后得到的奇异值向量进行截断后的向量形式,λ是平衡参数,γ是正则项系数。
步骤3:对步骤2建立的模型进行优化并求解得到投影矩阵P;
步骤5:利用稀疏表示分类器(SRC)对低维测试集进行识别并观测识别率和标准偏差,通过对实验获取到的识别率和标准偏差等实验结果来判定降维后得到的图像特征的性能的优劣。
步骤3中,本实施例对所构建的基于截断核范数的低秩判别嵌入法(TNN-LRDE)的模型优化求解过程可以按照如下步骤进行。
步骤2中模型要优化两个变量Z和P,但是同时获得两个变量的最优解是不可能做到的,本实施例采用一种交替的迭代算法来解决这个优化问题,主要分为两步:
第一步,固定变量P去优化变量Z;
第二步,固定变量Z去优化变量P。
关于第一步可以按照以下思路去做:因为是固定变量P去优化变量Z,所以将模型中不含有Z变量的项略去,故求解Z可用下式来求解:
因为||*||r表示的是截断核范数,故上式又可以写成:
对上述模型可以使用交替方向乘子法来进行求解,具体求解方法如下:
首先写出上述模型的增广拉格朗日函数表达式,然后根据变量分离法又可以将Z分别用H,K来替代;
s.t.Z=H,Z=K. (9)
其中,H,K为变量分离法的中间变量。
再把上式有约束的表达式利用增广拉格朗日函数去掉约束项:
其中,u>0为惩罚项参数。
下面开始求解变量参数:
首先计算变量H*,固定其他变量,故H*化简为:
上式可以通过奇异值阈值法来计算。
再计算Z*,同样固定其他变量,故Z*化简为:
通过局部微分法可求得其最小值:
Z*=(2λXTPPTX+2uI)-1×(2λXTPPTX+uH+uK-Y1-Y2). (13)
同理可以求得:
最后求解拉格朗日乘子Yi:
Y1=Y1+u(Z-H), (15)
Y2=Y2+u(Z-K), (16)
其中,u为惩罚项的参数,u=min(ρu,umax),ρ表示u的增长倍数,umax表示u的上限。
关于第二步,按照求解第一步的思路来做,将不含有变量P的项略去,故求解P可用下式来求解:
其中,SZ=(X-XZ)(X-XZ)T。
相似地,可知:
因此,将求解P的式子转化成如下求解迹最小的式子:
P*=arg minP Tr(PT(λSZ-γ(Sb-Sw))P),s.t.PTP=I. (23)
同样,将上述问题转化成如下的特征值分解问题:
(λSz-γ(Sb-Sw))u=αu (24)
其中投影矩阵P是由上述特征分解所求出的特征值α的d个最小的特征向量组成。
本实施例对现有的张量低秩判别嵌入法(TLRDE)进行改进,通过使用截断核范数来逼近矩阵秩从而避免了由于使用核范数近似矩阵秩导致提取出的低维特征不准确的缺点,并且通过对正则项进行变形从而弥补了张量低秩判别嵌入法(TLRDE)无法在二维图像中使用的缺憾且增强了图像低维特征的判别能力,从而提高了图像识别的准确性。
本实施例可应用于高维图像的降维工作。
采用实施例的方法,分别进行实例2-1和实例2-2。
实例2-1为将图3中所提供的数据库在选择不同训练样本数L后分别使用实施例1提供特征提取方法与主流的特征提取法之间的性能比较,性能包括识别精度、标准偏差和维数。观察图2和表1到表3,可以发现实施例1所提出的基于截断核范数的低秩判别嵌入法性能最佳,相比于其他的方法能够在图像维度较低的情况下获取较高的图像识别率和较低的标准差。
表1:本实施例提供特征提取方法与主流算法在ORL数据库上的性能比较
表2:本实施例提供特征提取方法与主流算法在CMU数据库上的性能比较
表3:本实施例提供特征提取方法与主流算法在YALE数据库上的性能比较
实例2-2为将图5中所提供的受污染的数据库(将图3提供的数据库进行随机黑条噪声污染处理)在选择训练样本数L=5后分别使用本实施例所提供特征提取方法与主流的特征提取法之间的性能比较。观察图4和表4,可以发现本实施例所提出的基于截断核范数的低秩判别嵌入法性能最佳,相比于其他的方法能够在图像维度较低的情况下获取较高的图像识别率和较低的标准差。
表4本实施例提供特征提取方法与主流算法在受污染数据库上的性能比较
Claims (5)
2.根据权利要求1所述的一种基于截断核范数的低秩判别嵌入法的图像降维方法,其特征在于:所述步骤2具体包括以下子步骤:
S210:将公式(2)中不含有Z的项略去,用下式来求解Z:
S230:根据求解得到的Z,更新SZ=(X-XZ)(X-XZ)T;
S240:将公式(2)中不含有P的项略去,用下式来求解P:
P*=arg minPTr(PT(λSZ-γ(Sb-Sw))P),s.t.PTP=I. (23)
S250:将公式(23)转化成式(24)的特征值分解问题,得到特征值α的d个最小的特征向量,特征值α的d个最小的特征向量构成投影矩阵P;
(λSz-γ(Sb-Sw))u=αu (24)
S260:判断是否满足t=T,其中,t为当前迭代次数,T为最大迭代次数,若满足则输出投影矩阵P;若不满足,则t=t+1,转入S210。
4.基于权利要求1至3任意一项所述的一种基于截断核范数的低秩判别嵌入法的图像降维方法的一种人脸图像识别方法,其特征在于:包括以下步骤:
计算得到投影矩阵P;
采用投影矩阵P将待降维的高维图像投影到低维子空间中得到对应的具有判别能力的图像低维特征;
基于图像低维特征进行人脸识别。
5.根据权利要求4所述的一种人脸图像识别方法,其特征在于:采用稀疏表示分类器对图像低维特征进行识别分类,得到识别分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010460308.XA CN111832391B (zh) | 2020-05-27 | 2020-05-27 | 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010460308.XA CN111832391B (zh) | 2020-05-27 | 2020-05-27 | 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111832391A CN111832391A (zh) | 2020-10-27 |
CN111832391B true CN111832391B (zh) | 2023-05-26 |
Family
ID=72913515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010460308.XA Active CN111832391B (zh) | 2020-05-27 | 2020-05-27 | 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111832391B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112804650B (zh) * | 2021-01-29 | 2022-07-29 | 南京邮电大学 | 一种信道状态信息数据降维方法及智能室内定位方法 |
CN113792859B (zh) * | 2021-09-13 | 2022-06-17 | 中南大学 | 一种无监督形状对应方法及人体形状对应方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345729A (zh) * | 2013-06-30 | 2013-10-09 | 浙江贝尔技术有限公司 | 一种基于截断核范数正则化的图像恢复方法 |
CN109522956B (zh) * | 2018-11-16 | 2022-09-30 | 哈尔滨理工大学 | 一种低秩判别特征子空间学习方法 |
-
2020
- 2020-05-27 CN CN202010460308.XA patent/CN111832391B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111832391A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190524B (zh) | 一种基于生成对抗网络的人体动作识别方法 | |
Zhang | A survey of unsupervised domain adaptation for visual recognition | |
Chen et al. | Visual domain adaptation using weighted subspace alignment | |
CN110889865B (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
CN111832391B (zh) | 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 | |
Han et al. | Transferable linear discriminant analysis | |
Zhang et al. | Automatic discrimination of text and non-text natural images | |
Dong | Optimal Visual Representation Engineering and Learning for Computer Vision | |
CN106845358A (zh) | 一种手写体字符图像特征识别的方法及系统 | |
Dixit et al. | Object based scene representations using fisher scores of local subspace projections | |
CN112163114B (zh) | 一种基于特征融合的图像检索方法 | |
Minhas et al. | A fast recognition framework based on extreme learning machine using hybrid object information | |
CN113032601A (zh) | 一种基于判别性提升的零样本草图检索方法 | |
CN117935299A (zh) | 基于多阶特征分支和局部注意力的行人重识别模型 | |
CN117671704B (zh) | 一种手写体数字识别方法、装置及计算机存储介质 | |
CN115496950A (zh) | 邻域信息嵌入的半监督判别字典对学习的图像分类方法 | |
CN111652265A (zh) | 一种基于自调整图的鲁棒半监督稀疏特征选择方法 | |
CN112001231B (zh) | 加权多任务稀疏表示的三维人脸识别方法、系统及介质 | |
Chekir | A deep architecture for log-Euclidean Fisher vector end-to-end learning with application to 3D point cloud classification | |
CN114330535B (zh) | 一种基于支持向量正则化字典对学习的模式分类方法 | |
CN111275125A (zh) | 一种面向低秩图像特征分析的类别标签恢复方法 | |
CN104732209A (zh) | 一种室内场景的识别方法及装置 | |
Liu et al. | FontGAN: a unified generative framework for Chinese character stylization and de-stylization | |
CN114943862A (zh) | 一种基于结构性解析字典学习的两阶段图像分类方法 | |
Xu et al. | Improving reconstruction-based coding methods for image classification: a visual dictionary refining method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |