CN108985371B - 一种图像多分辨率字典学习方法及其应用 - Google Patents
一种图像多分辨率字典学习方法及其应用 Download PDFInfo
- Publication number
- CN108985371B CN108985371B CN201810750436.0A CN201810750436A CN108985371B CN 108985371 B CN108985371 B CN 108985371B CN 201810750436 A CN201810750436 A CN 201810750436A CN 108985371 B CN108985371 B CN 108985371B
- Authority
- CN
- China
- Prior art keywords
- dictionary
- resolution
- image
- training
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像多分辨率字典学习方法及其应用。
背景技术
字典学习是进行数据约减的重要手段。原始的大量数据经过字典学习后可得到冗余信息少、原子数远少于原样例数的字典。基于这样的字典,可以得出任一样例的有效的表示,且得出的表示会十分有利于样例的分类等任务。字典学习在广泛存在的图像数据的表示中得到了有效的应用。
字典学习算法大致可以分为三类:监督字典学习算法,半监督字典学习算法和无监督字典学习算法。其中,监督词典学习算法,将多分类器训练融入词典学习中,以提高分类性能。这些受监督的字典学习算法在分类任务中取得了良好的性能。然而,在许多模式分类问题中,由于标签数据非常昂贵而且非常耗时,因此可能无法获得大量带标签的数据,而标记的训练数据不足对监督字典学习算法是不利的,计算容易发生错误。半监督的字典学习算法,使用标记的训练样本学习特定类字典,然后用它们来预测未标记训练样本的标签。然而,算法没有考虑标记数据和未标记数据的基本几何结构,并且通常不能保留局部结构,因此获得的字典对于分类任务可能不是最佳的。无监督字典学习算法通常基于训练样本的重建误差进行设计,并通过使用树结构稀疏编码字典的原子之间的依赖关系,难以独立计算且算法关系较为复杂
另外,这三种的字典学习算法均假设图像具有单一的分辨率,学习得出的字典往往不能适应实际应用中分辨率可变的情形,需要将每种分辨率的图像中的各个局部块逐个在字典中进行匹配,非常耗时,效率低下,而难以取得图像的鲁棒表示结果,严重影响了字典学习算法的性能以及后续的识别和检测等。为了适应实际中图像的分辨率多变的情况,本发明对字典学习方法做了改进,提出多分辨率字典学习方法。
发明内容
针对现有技术中存在的缺陷或不足,本发明所要解决现有技术中的问题,而提供一种图像多分辨率字典学习方法及其应用,该方法能够结合多种分辨率图像的字典进行学习和有效地促进字典学习算法的鲁棒性和适应性,且算法简单、易于实现,并能有效应用在分类及检索中。
为了实现上述目的,本发明采取的技术方案为提供一种图像多分辨率字典学习方法,所述方法包括如下步骤:
步骤1,将多种分辨率图片输入训练模型;
步骤2,通过图片训练得出各种分辨率的字典进行学习。
作为本发明的进一步改进,所述步骤1中的将多种分辨率图片输入训练模型和所述步骤2中通过图片训练得出各种分辨率的字典进行学习,其过程包括如下步骤:
步骤11,通过令每一种分辨率下的图像数量相同且等于N,设有k种分辨率;
步骤12,令第一种分辨率下所有图像对应的列矢量组成的矩阵为Y1,第二种所有图像对应的列矢量组成的矩阵为Y2,第k种分辨率下所有图像对应的列矢量组成的矩阵为Yk,将每一种分辨率下的所有图像都转换为列矢量组成的矩阵,通过表达公式: 输入训练模型,其中,为第j种分辨率下的第s个训练样例,且j=1,...,k,s=1,...,N;
步骤14,根据步骤12的设定和步骤13的目标函数求取出字典D1,...,Dk,用于进行学习;
在所述步骤14中求取字典D1,...,Dk,需要先求取系数矩阵X,系数矩阵X的求取分为第一次循环计算和第二次或以上循环计算;
步骤43,保持样本系数矩阵Xinit不变,通过如下公式:
作为本发明的进一步改进,在所述步骤13中x1,...,xN为字典D1,...,Dk的表示系数。
作为本发明的进一步改进,在第二次或以上循环计算时,得出更新字典的过程是固定输入的系数矩阵X和保持除Dj之外的所有字典不变后,通过公式:Dj=(YjXT)(XXT)-1计算,得到更新字典Dj,其中j=1,...,k。
本发明的另一个目的在于提供一种图像多分辨率字典学习方法的应用方法,该应用是将所述图像多分辨率字典学习方法,应用于图像分类和检索中。
作为本发明的进一步改进,应用于分类或检索的应用,包括如下步骤:
S001,输入待分类或检索的图像y;
S002,基于多分辨率字典计算图像y的表示系数;
S003,计算图像y与训练样例之间的差异度ds;
S004,通过差异度ds判断y与哪个训练样本最接近;所述差异度ds通过公式ds=||xd1-xs||+…+||xdk-xs||计算,其中,xd1,...,xdk表示图像y关于字典D1,...,Dk的表示系数,其通过公式来计算,其中k=1,...,N,xs表示第s个训练样例基于多分辨率字典的表示系数;
S005,得到最接近的训练样本后输出类标签或输出检索结果。
作为本发明的进一步改进,所述步骤S002中基于多分辨率字典计算图像y的表示系数,其包括如下步骤:
S101,输入k中分辨率的训练图像;
S102,通过KSVD算法得到k种分辨率图的初始字典;
S103,根据字典,更新系数矩阵;
S104,根据系数矩阵,更新字典;
S105,判断更新字典是否满足循环停止条件,若满足则步骤S104中的系数矩阵及更新字典为最终的多种分辨率字典以及系数矩阵,输送至步骤S002进行计算;若不满足则返回步骤S103循环更新,直至满足循环停止条件。
本发明的有益效果是:
本发明解决了实际生活中不同分辨率尺度图片识别正确率相对较低的问题,提出使用不同分辨率的图像学习多个字典,即每一种分辨率对应一个字典,并融合多字典进行训练;同时为了增强字典对不同分辨率的鲁棒性和适应性,方法要求学习得出的多个字典具有相似的系数矩阵,且算法简单、易于实现,并能有效应用在分类及检索中。
附图说明
图1是本发明提供的图像多分辨率字典学习方法的应用流程图;
图2是本发明提供的YALEB人脸数据库样本图像集;
图3是本发明提供的三种分别率分辨率图像;
图4是本发明提供的应用本发明的方法的识别率比较图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
本实施例的一种图像多分辨率字典学习方法,该方法包括如下步骤:
步骤1,将多种分辨率图片输入训练模型;
步骤2,通过图片训练得出各种分辨率的字典进行学习。
本实施例中的训练模型采用公知常识的训练模型。该方法为应用前的训练过程,而在步骤1中的将多种分辨率图片输入训练模型和步骤2中通过图片训练得出各种分辨率的字典进行学习,其过程包括如下步骤:
步骤11,通过令每一种分辨率下的图像数量相同且等于N,设有k种分辨率;
在本实施例中,具体是假设每一种分辨率下的图像数量相同且等于N,并假设有k种分辨率。将每一个图像都转换为列矢量。由于收集的所有图像都用于训练模型以得出字典,因此,在本实施例中收集的所有图像都称为训练样例。
步骤12,令第一种分辨率下所有图像对应的列矢量组成的矩阵为Y1,第二种所有图像对应的列矢量组成的矩阵为Y2,......,以此类推,第k种分辨率下所有图像对应的列矢量组成的矩阵为Yk,将每一种分辨率下的所有图像都转换为列矢量组成的矩阵,通过表达公式:输入训练模型,其中,为第j种分辨率下的第s个训练样例,而j=1,...,k,s=1,...,N。
步骤13,设定图像多分辨率字典学习的目标函数为: 其中,β=0.0001,令X=(x1,...,xN),其中x1,...,xN分别为第1至第N个训练样例的表示系数,也是字典D1,...,Dk的表示系数。
步骤14,根据步骤12的设定和步骤13的目标函数求取出字典D1,...,Dk,用于进行学习。
步骤14中求取字典D1,...,Dk前需要先求取系数矩阵X,系数矩阵X的求取分为第一次循环计算和第二次或以上循环计算;
优选的,为了便于更好的借助与计算机进行循环计算,本实施例中的循环函数可以通过编写程序来实现循环。
在本实施例中,在第二次或以上循环计算时,得出更新字典的过程是固定输入的系数矩阵X和保持除Dj之外的所有字典不变后,通过公式:Dj=(YjXT)(XXT)-1计算得到更新字典Dj,其中j=1,...,k。例如,在更新D1过程中,首先获取输入的样本矩阵Y1和系数矩阵X,然后通过实现公式D1=(Y1XT)(XXT)-1的计算,得到更新后的D1。
步骤43,保持样本系数矩阵Xinit不变,通过如下公式:
在实施例的图像多分辨率字典学习方法过程中,每一种分辨率对应一个字典,并且通过循环更新字典以实现融合多字典进行训练学习。其中,每一种分辨率对应学习一个字典,能够让模型充分学习到每一种分辨率图像的特征;通过多个字典融合计算出系数矩阵能够反映出每一个图例在多种分辨率下的主要特征表示,能提高模型在多分辨率图像下的适应性以及识别的鲁棒性。
本实施例的另一个目的在于提供一种图像多分辨率字典学习方法的用途,该用途是将图像多分辨率字典学习方法,应用于图像分类和检索中。
在本实施例中,分类或检索的应用,如图1所示,应用过程(应用方法)包括如下步骤:
S001,输入待分类或检索的图像y;
S002,基于多分辨率字典计算图像y的表示系数;
S003,计算图像y与训练样例之间的差异度ds;
S004,通过差异度ds判断y与哪个训练样本最接近;差异度ds通过公式ds=||xd1-xs||+…+||xdk-xs||计算,其中,xd1,...,xdk表示图像y关于字典D1,...,Dk的表示系数,x1,...,xN通过公式来计算,其中k=1,...,Nxs表示第s个训练样例基于多分辨率字典的表示系数;
S005,得到最接近的训练样本后输出类标签或输出检索结果。
在步骤S002中基于多分辨率字典计算图像y的表示系数,其包括如下步骤:
S101,输入k中分辨率的训练图像;
S102,通过KSVD算法得到k种分辨率图的初始字典;
S103,根据字典,更新系数矩阵;
S104,根据系数矩阵,更新字典;
S105,判断更新字典是否满足循环停止条件,若满足则步骤S104中的系数矩阵及更新字典为最终的多种分辨率字典以及系数矩阵,输送至步骤S002进行计算;若不满足则返回步骤S103循环更新,直至满足循环停止条件。
在本实施例中,将本实施例的图像多分辨率字典学习方法应用于分类时,需要依据训练样例给出样例图像y的类别。在分类任务中,所有训练样例的类别均是已知的。假设样例图像y与第r个训练样例的差异度最小,则认为样例图像y第r个训练样例属于同一个类别,即将第r个训练样例的类标分配给样例y,在此过程中差异度最小可依据公式ds=||xd1-xs||+…+||xdk-xs||,计算出mins{ds},s=1...N;并将s的标签分配给样例图像y。
应用于检索时,是依据差异度ds的大小给出样例图像y关于所有N个训练样例的检索结果。其具体过程是,若样例图像y与第r个训练样例的差异度最小,则判断第r个训练样例为与y最相似的训练样例;若样例y与第q个训练样例的差异度最小,则判断第q个训练样例为与第二最相似的训练样例,以此类推,直到检索得到最佳图像。
对本实施例的方法及应用进行仿真试验:
采用软件MATLAB7.12(R2011a)作为仿真工具,将本发明的方法分别在对如图2和图3所示的a:16x16、b:32x32、c:64x64d三种分辨率图像进行验证,,得到如图4所示的不同原子数下的平均识别率对比图,从图2中可以得出不同分辨率下的最优识别率,如下表1所示:
表1不同分辨率下的最优识别率
从图3为多种分辨率图像,即16x16、32x32、64x64分辨率图像,表1是模型对多种分辨率即16x16、32x32、64x64分辨率图像进行识别的识别率结果,通过对多种分辨率图像的训练,学习出适用于表示多种分辨率图像特征的系数矩阵,能有效提高不同分辨率下的图像平均识别率。
综上所述,本发明解决了实际生活中不同分辨率尺度图片识别正确率相对较低的问题,提出使用不同分辨率的图像学习多个字典,即每一种分辨率对应一个字典,并融合多字典进行训练;同时为了增强字典对不同分辨率的鲁棒性和适应性,方法要求学习得出的多个字典具有相似的系数矩阵,且算法简单、易于实现,并能有效应用在分类及检索中。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (5)
1.一种图像多分辨率字典学习方法,其特征在于:所述方法包括如下步骤:
步骤1,将多种分辨率图片输入训练模型;
步骤2,通过图片训练得出各种分辨率的字典进行学习;
所述步骤1中的将多种分辨率图片输入训练模型和所述步骤2中通过图片训练得出各种分辨率的字典进行学习,其过程包括如下步骤:
步骤11,通过令每一种分辨率下的图像数量相同且等于N,设有k种分辨率;
步骤12,令第一种分辨率下所有图像对应的列矢量组成的矩阵为Y1,第二种所有图像对应的列矢量组成的矩阵为Y2,第k种分辨率下所有图像对应的列矢量组成的矩阵为Yk,将每一种分辨率下的所有图像都转换为列矢量组成的矩阵,通过表达公式: 输入训练模型,其中,为第j种分辨率下的第s个训练样例,且j=1,...,k,s=1,...,N;
步骤14,根据步骤12的设定和步骤13的目标函数求取出字典D1,...,Dk,用于进行学习;
在所述步骤14中求取字典D1,...,Dk,需要先求取系数矩阵X,系数矩阵X的求取分为第一次循环计算和第二次或以上循环计算;
步骤43,保持样本系数矩阵Xinit不变,通过如下公式:
2.根据权利要求1所述的图像多分辨率字典学习方法,其特征在于:在第二次或以上循环计算时,得出更新字典的过程是固定输入的系数矩阵X和保持除Dj之外的所有字典不变后,通过公式:Dj=(YjXT)(XXT)-1计算,得到更新字典Dj,其中j=1,...,k。
3.一种图像多分辨率字典学习方法的应用方法,其特征在于,将权利要求1-2任一所述图像多分辨率字典学习方法,应用于图像分类和检索。
5.根据权利要求4所述的应用方法,其特征在于,所述步骤S002中基于多分辨率字典计算图像y的表示系数,其包括如下步骤:
S101,输入k中分辨率的训练图像;
S102,通过KSVD算法得到k种分辨率图的初始字典;
S103,根据字典,更新系数矩阵;
S104,根据系数矩阵,更新字典;
S105,判断更新字典是否满足循环停止条件,若满足则步骤S104中的系数矩阵及更新字典为最终的多种分辨率字典以及系数矩阵,输送至步骤S002进行计算;若不满足则返回步骤S103循环更新,直至满足循环停止条件。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810750436.0A CN108985371B (zh) | 2018-07-10 | 2018-07-10 | 一种图像多分辨率字典学习方法及其应用 |
PCT/CN2018/097862 WO2020010656A1 (zh) | 2018-07-10 | 2018-08-01 | 一种图像多分辨率字典学习方法及其应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810750436.0A CN108985371B (zh) | 2018-07-10 | 2018-07-10 | 一种图像多分辨率字典学习方法及其应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108985371A CN108985371A (zh) | 2018-12-11 |
CN108985371B true CN108985371B (zh) | 2020-04-14 |
Family
ID=64537576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810750436.0A Active CN108985371B (zh) | 2018-07-10 | 2018-07-10 | 一种图像多分辨率字典学习方法及其应用 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108985371B (zh) |
WO (1) | WO2020010656A1 (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
US9865036B1 (en) * | 2015-02-05 | 2018-01-09 | Pixelworks, Inc. | Image super resolution via spare representation of multi-class sequential and joint dictionaries |
CN107767337A (zh) * | 2017-09-29 | 2018-03-06 | 深圳先进技术研究院 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335264B (zh) * | 2018-01-30 | 2021-08-03 | 武汉大学 | 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 |
-
2018
- 2018-07-10 CN CN201810750436.0A patent/CN108985371B/zh active Active
- 2018-08-01 WO PCT/CN2018/097862 patent/WO2020010656A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
US9865036B1 (en) * | 2015-02-05 | 2018-01-09 | Pixelworks, Inc. | Image super resolution via spare representation of multi-class sequential and joint dictionaries |
CN107767337A (zh) * | 2017-09-29 | 2018-03-06 | 深圳先进技术研究院 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020010656A1 (zh) | 2020-01-16 |
CN108985371A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114241282B (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
CN105701502B (zh) | 一种基于蒙特卡罗数据均衡的图像自动标注方法 | |
CN110188827B (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
CN111027619B (zh) | 一种基于忆阻器阵列的K-means分类器及其分类方法 | |
CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
CN111695052A (zh) | 标签分类方法、数据处理设备、可读存储介质 | |
CN112733965B (zh) | 一种基于小样本学习的无标签图像分类方法 | |
CN109447096B (zh) | 一种基于机器学习的扫视路径预测方法和装置 | |
SG171858A1 (en) | A method for updating a 2 dimensional linear discriminant analysis (2dlda) classifier engine | |
CN110929798A (zh) | 基于结构优化稀疏卷积神经网络的图像分类方法及介质 | |
Moya Rueda et al. | Neuron pruning for compressing deep networks using maxout architectures | |
CN109239670B (zh) | 基于结构嵌入和深度神经网络的雷达hrrp识别方法 | |
CN111898704B (zh) | 对内容样本进行聚类的方法和装置 | |
Wang et al. | A novel multiface recognition method with short training time and lightweight based on ABASNet and H-softmax | |
CN112132257A (zh) | 基于金字塔池化及长期记忆结构的神经网络模型训练方法 | |
CN113806645A (zh) | 标签分类系统及标签分类模型的训练系统 | |
CN113159072B (zh) | 基于一致正则化的在线超限学习机目标识别方法及系统 | |
CN114357221A (zh) | 一种基于图像分类的自监督主动学习方法 | |
CN116630816B (zh) | 基于原型对比学习的sar目标识别方法、装置、设备及介质 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
CN111062406B (zh) | 一种面向异构领域适应的半监督最优传输方法 | |
CN108985371B (zh) | 一种图像多分辨率字典学习方法及其应用 | |
CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |