CN104867118B - 一种用于增强图像标记效果的多尺度级联层次模型方法 - Google Patents
一种用于增强图像标记效果的多尺度级联层次模型方法 Download PDFInfo
- Publication number
- CN104867118B CN104867118B CN201510248854.6A CN201510248854A CN104867118B CN 104867118 B CN104867118 B CN 104867118B CN 201510248854 A CN201510248854 A CN 201510248854A CN 104867118 B CN104867118 B CN 104867118B
- Authority
- CN
- China
- Prior art keywords
- mark
- image
- matrix
- marked
- consequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于增强图像标记效果的多尺度级联层次模型方法,包括以下步骤:步骤1、初始化步骤:建立数据集的分层尺度空间,初始化待标记图片的质量矩阵为最差;步骤2、选择图像标记方法,为原图像进行标记,更新原图像的标记质量矩阵;步骤3、利用相同的标记方法标记尺度空间的其他层图像,更新图像标记质量矩阵,标记过程的参数依据原图像的标记结果产生;步骤4、将其余层得到的标记结果进行尺度还原,并根据每层中所得到的标记质量来更新原图像的标记结果;步骤5、重复步骤3和步骤4,直到原图像的质量矩阵发生更新后没有质量变化结束。利用了不同语义范畴的事物在同一张图片中不同尺度的表现力不同,能有效地提高标记准确率。
Description
技术领域
本发明属于计算机视觉方法领域,涉及一种用于增强图像标记效果的多尺度级联层次模型方法
背景技术
图像标记的任务是将图像中每个像素标记到它所属的标记类别(labeling eachpixel in an image with its semantic category),它是场景理解的重要步骤和基础,在计算机视觉领域有着重要的作用。在过去的研究中,很多有效的标记方法被提出来,例如模版匹配、关联法、特征包方法、形状模型、标记迁移方法等。这些方法考虑使用固定尺度的输入图像以及对输入图像上固定尺度的对象类别,并且从一些固定尺寸的训练数据中为每种标记类别训练出具有识别能力的模型。在解析层次上,这些系统利用像素点、窗口、边缘或者其他的图像表征形成的学习或者匹配的模型,为固定尺度的图像或者对象进行标记。
一定的尺度可以精确的反映出需要被表示的物体,现实世界中的物体总是通过不同尺度的观察而得到不同变化。尺度空间理论属于计算机视觉中图像多分辨率分析。从图像表现力的角度来说,例如在金字塔尺度模型、高斯尺度模型这些经典的尺度模型中,不同尺度的对象有着不同的表现力,某种尺度下无法发现的特性在另一种尺度下可能很容易被发现。
现有技术中利用固定尺度进行图像标记,得到的标记结果准确率不高。
发明内容
本发明针对现有技术中对图像标记结果准确率不高的问题,提出一种用于增强图像标记效果的多尺度级联层次模型方法,利用图像不同的尺度具有不同的表现力的特性以及模型运行的收敛迭代算法来增强单层图像标记效果,计算结构简单,收敛性较好。
一种用于增强图像标记效果的多尺度级联层次模型方法,包括以下步骤:
步骤1:对待标记图像建立尺度空间并初始化初始尺寸图像X1的标记质量矩阵ε1;
其中,Xi表示尺度空间中第i层图像,i∈(1,2,...,t),t表示尺度空间中图像总层数,p为待标记图像的分辨率,c表示图像标记类别的数目;
步骤2:利用所选的图像标记方法Ω(X,L|θ)对尺度空间中第1层图像进行标记,以得到标记质量矩阵,更新ε1;
其中,X表示待标记图像,L表示标记类型空间,L={l1,l2,…,lc};θ表示所选的图像标记方法的标记参数;
步骤3:使用图像标记方法Ω(X,L|θ)依次对尺度空间中其余层图像进行标记,得到尺度空间中每层图像的标记结果 和标记质量矩阵空间
其中,Yi和εi分别表示尺度空间中第i层图像的标记结果矩阵和标记质量矩阵,i∈(1,2,...,t);
每层图像所使用的标记参数θi受第1层图像的标记质量矩阵ε1影响,按以下公式确定:
θj=Ψ(ε1,j),j∈(2,3,...,t)
其中,Ψ(·,j)依据所选图像标记方法确定;
其他层的标记方法使用的标记分类阈值T以原图像的标记质量矩阵ε1做参考,参考形式为T=λt0,其中t0为初始阈值,λ为紧缩参数,并且λ∝ε1;
步骤4:将第2层图像到第t层图像的标记结果矩阵放大到初始尺寸图像大小,得到还原标记结果矩阵Yj′和还原标记质量矩阵εj′,j∈(2,3,...,t);
步骤5:将第1层图像中每个像素点的标记质量跟其他层的还原标记质量进行比较,选出最优的标记结果更新到初始尺寸图像的标记结果矩阵中,得到新的第1层图像的标记质量矩阵ε1′,并将ε1′赋值给ε1;
步骤6:判断第1层图像的标记质量矩阵ε1是否发生变化,若发生变化,则返回步骤3以ε1修改每层的标记参数,继续对图像进行标记,直至第1层图像的标记质量矩阵不再发生变化时,输出标记结果,完成对图像的标记。
所述图像建立尺度空间的方法包括高斯金字塔、拉普拉斯金字塔或简单抽样。
所述步骤4中还原标记结果矩阵Yj′和还原标记质量矩阵εj′采用上采样方法获得:
标记结果矩阵上采样过程为:
Yj′=Γ(Yj,j-1),j∈(2,3,...,t)
标记质量矩阵上采样过程为:
εj′=Η(εj,j-1),j∈(2,3,...,t)
其中,Γ(Yj,j-1)将标记结果矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记结果矩阵;
Η(εj,j-1)将标记质量矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记质量矩阵。
所述步骤5中将其它层中最优的标记结果更新到初始尺寸图像的标记结果时,首先对标记质量矩阵进行归一化处理,然后从归一化处理后的所有标记质量矩阵RE中选取每个像素点最优的标记结果;
归一化处理公式如下:
RE=(E-min(E))/(max(E)-min(E))
其中,E=(ε1,ε2′,...,εt′)。
所述图像标记方法包括KNN标记算法或SVM分类算法;
所述图像标记方法中的标记参数指KNN标记算法中的聚类阈值或SVM分类算法中的分类距离。
有益效果
本发明提供了一种用于增强图像标记效果的多尺度级联层次模型方法,该模型的自下而上是一种标记调解过程,从上至下是一种标记结果反馈过程。在对第一层图像进行标记之后,得到的能量矩阵ε1和其他层所在的层次影响该层标记过程中所需要用到的参数,进而得到除第一层外的其他层的标记和能量矩阵在反馈过程中,第一层图像中每个像素点的能量值会跟其他层对应点的能量进行比较,取由较小能量值表征的标记作为像素的标记类别,进而优化第一层的标记结果。如果只进行一次影响—反馈过程,在通常情况下还不能达到尺度空间条件下标记的最优解,因此,本发明利用迭代的过程达到或者接近尺度空间条件下标记的最优解。
该方法利用了不同语义范畴的事物在同一张图片中不同尺度的表现力不同,去增强现有的标记算法,有良好的收敛性,具有一定的普适性,能有效地提高标记准确率。
附图说明
图1为本发明所述的用于增强图像标记效果的多尺度级联层次模型方法的流程图;
图2为多尺度级联层次模型示意图;
图3为金字塔方法构建的图像尺度空间示意图,其中,(a)为原图,(b)为第2层,(c)为第3层,(d)为第4层,(e)第5层;
图4为尺度空间各层的标记结果类别示意图,其中,(a)为第1层,(b)为第2层,(c)为第3层,(d)为第4层,(e)第5层;
图5为标记结果的矩阵质量可视化示意图,其中,(a)为第1层,(b)为第2层,(c)为第3层,(d)为第4层,(e)第5层;
图6为多尺度模型下KNN方法进行标记的最终结果,其中,(a)为标记结果类别示意图,(b)为标记结果的质量矩阵可视化示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的说明。
一种用于增强图像标记效果的多尺度级联层次模型方法,包括以下步骤:
步骤1:对待标记图像建立尺度空间并初始化初始尺寸图像X1的标记质量矩阵ε1;
其中,Xi表示尺度空间中第i层图像,i∈(1,2,...,t),t表示尺度空间中图像总层数,p为待标记图像的分辨率,c表示图像标记类别的数目;
所述图像建立尺度空间的方法包括高斯金字塔、拉普拉斯金字塔或简单抽样;
如图3中(a)所示的分辨率为1280*960的图像,它的标记空间大小为7,即7个类别的标记,根据上述两个数据设置t=5,即5层的尺度空间,利用图像金字塔方法建立尺度空间:
σ为缩放过程中采用的高斯卷积核,将原始尺寸图像的标记质量矩阵ε1设定为最差情况,即ε1=0,此时每个点的标记质量都为0,既最小的极限值。
从第一层到第五层,依次如图3中的(a)-(e)所示,其中,为了方便观察,(b)-(e)均还原到了原图的尺寸;
步骤2:利用所选的图像标记方法Ω(X,L|θ)对尺度空间中第1层图像进行标记,以得到标记质量矩阵,更新ε1;
其中,X表示待标记图像,L表示标记类型空间,L={l1,l2,…,lc};θ表示所选的图像标记方法的标记参数;
所述图像标记方法包括KNN标记算法或SVM分类算法;
所述图像标记方法中的标记参数指KNN标记算法中的聚类阈值或SVM分类算法中的分类距离;
选定一种标记算法,示例采用的是能够简单说明的KNN标记算法,即在已标记好的数据集中找到图像相似的K个临近图像,再利用Label Transfer方法将图像的每个像素点进行标记,设定K取值为10,K依据样本数据集规模和期望的准确度而定,并且和这两种因素成正比关系;
第一层(原图像层)标记过程采用的Label Transfer方法的参数为默认参数;
步骤3:使用图像标记方法Ω(X,L|θ)依次对尺度空间中其余层图像进行标记,得到尺度空间中每层图像的标记结果 和标记质量矩阵空间
其中,Yi和εi分别表示尺度空间中第i层图像的标记结果矩阵和标记质量矩阵,i∈(1,2,...,t);
每层图像所使用的标记参数θi受第1层图像的标记质量矩阵ε1影响,按以下公式确定:
θj=Ψ(ε1,j),j∈(2,3,...,t)
其中,Ψ(·,j)依据所选图像标记方法确定;
除了第一层外的其他层采用的参数需要跟据原图像的标记结果而定,LabelTransfer方法中标记参数为迁移系数ρ,它是用来设定有关类似度阈值的参数,并且针对每个像素点都有一个迁移系数值,因此ρ是一个矩阵,当第一层标记的结果整体较好的时候,其他层的ρ矩阵处于紧缩状态,即设置较小的值,反之则需要设置较大的值;
步骤4:将第2层图像到第t层图像的标记结果矩阵放大到初始尺寸图像大小,得到还原标记结果矩阵Yj′(如图4中(b)到(e)对应图像)和还原标记质量矩阵εj′(如图5中(b)到(e)对应图像),j∈(2,3,...,t);
所述的标记类别包括building1-建筑物1、building2-建筑物2、building3-建筑物3、sidewalk-人行道、sky-天空、road-马路、car-汽车、tree-树、unknown-未知物体;
所述步骤4中还原标记结果矩阵Yj′和还原标记质量矩阵εj′采用上采样方法获得:
标记结果矩阵上采样过程为:
Yj′=Γ(Yj,j-1),j∈(2,3,...,t)
标记质量矩阵上采样过程为:
εj′=Η(εj,j-1),j∈(2,3,...,t)
其中,Γ(Yj,j-1)将标记结果矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记结果矩阵;
Η(εj,j-1)将标记质量矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记质量矩阵;
步骤5:将第1层图像中每个像素点的标记质量跟其他层的还原标记质量进行比较,选出最优的标记结果更新到图4中(a)所示的初始尺寸图像的标记结果矩阵中,得到新的第1层图像的标记质量矩阵ε1′(图5中(a)所示),并将ε1′赋值给ε1;
所述步骤5中将其它层中最优的标记结果更新到初始尺寸图像的标记结果时,首先对标记质量矩阵进行归一化处理,然后从归一化处理后的所有标记质量矩阵RE中选取每个像素点最优的标记结果;
归一化处理公式如下:
RE=(E-min(E))/(max(E)-min(E))
其中,E=(ε1,ε2′,...,εt′);
步骤6:判断第1层图像的标记质量矩阵ε1是否发生变化,若发生变化,则返回步骤3以ε1修改每层的标记参数,继续对图像进行标记,直至第1层图像的标记质量矩阵不再发生变化时,输出标记结果(如图6所示)。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (5)
1.一种用于增强图像标记效果的多尺度级联层次模型方法,其特征在于,包括以下步骤:
步骤1:对待标记图像建立尺度空间并初始化初始尺寸图像X1的标记质量矩阵ε1;
其中,Xi表示尺度空间中第i层图像,i∈(1,2,...,t),t表示尺度空间中图像总层数,p为待标记图像的分辨率,c表示图像标记类别的数目;
步骤2:利用所选的图像标记方法Ω(X,L|θ)对尺度空间中第1层图像进行标记,以得到标记质量矩阵,更新ε1;
其中,X表示待标记图像,L表示标记类型空间,L={l1,l2,…,lc};θ表示所选的图像标记方法的标记参数;
步骤3:使用图像标记方法Ω(X,L|θ)依次对尺度空间中其余层图像进行标记,得到尺度空间中每层图像的标记结果 和标记质量矩阵空间
其中,Yi和εi分别表示尺度空间中第i层图像的标记结果矩阵和标记质量矩阵,i∈(1,2,...,t);
每层图像所使用的标记参数θi受第1层图像的标记质量矩阵ε1影响,按以下公式确定:
θj=Ψ(ε1,j),j∈(2,3,...,t)
其中,Ψ(·,j)依据所选图像标记方法确定;
步骤4:将第2层图像到第t层图像的标记结果矩阵放大到初始尺寸图像大小,得到还原标记结果矩阵Yj′和还原标记质量矩阵εj′,j∈(2,3,...,t);
步骤5:将第1层图像中每个像素点的标记质量跟其他层的还原标记质量进行比较,选出最优的标记结果更新到初始尺寸图像的标记结果矩阵中,得到新的第1层图像的标记质量矩阵ε1′,并将ε1′赋值给ε1;
步骤6:判断第1层图像的标记质量矩阵ε1是否发生变化,若发生变化,则返回步骤3以ε1修改每层的标记参数,继续对图像进行标记,直至第1层图像的标记质量矩阵不再发生变化时,输出标记结果,完成对图像的标记。
2.根据权利要求1所述的一种用于增强图像标记效果的多尺度级联层次模型方法,其特征在于,所述图像建立尺度空间的方法包括高斯金字塔、拉普拉斯金字塔或简单抽样。
3.根据权利要求1所述的一种用于增强图像标记效果的多尺度级联层次模型方法,其特征在于,所述步骤4中还原标记结果矩阵Yj′和还原标记质量矩阵εj′采用上采样方法获得:
标记结果矩阵上采样过程为:
Yj′=Γ(Yj,j-1),j∈(2,3,...,t)
标记质量矩阵上采样过程为:
εj′=Η(εj,j-1),j∈(2,3,...,t)
其中,Γ(Yj,j-1)将标记结果矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记结果矩阵;
Η(εj,j-1)将标记质量矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记质量矩阵。
4.根据权利要求1所述的一种用于增强图像标记效果的多尺度级联层次模型方法,其特征在于,所述步骤5中将其它层中最优的标记结果更新到初始尺寸图像的标记结果时,首先对标记质量矩阵进行归一化处理,然后从归一化处理后的所有标记质量矩阵RE中选取每个像素点最优的标记结果;
归一化处理公式如下:
RE=(E-min(E))/(max(E)-min(E))
其中,E=(ε1,ε2′,...,εt′)。
5.根据权利要求1-4任一项所述的一种用于增强图像标记效果的多尺度级联层次模型方法,其特征在于,所述图像标记方法包括KNN标记算法或SVM分类算法;
所述图像标记方法中的标记参数指KNN标记算法中的聚类阈值或SVM分类算法中的分类距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510248854.6A CN104867118B (zh) | 2015-05-15 | 2015-05-15 | 一种用于增强图像标记效果的多尺度级联层次模型方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510248854.6A CN104867118B (zh) | 2015-05-15 | 2015-05-15 | 一种用于增强图像标记效果的多尺度级联层次模型方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104867118A CN104867118A (zh) | 2015-08-26 |
CN104867118B true CN104867118B (zh) | 2017-06-20 |
Family
ID=53912935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510248854.6A Active CN104867118B (zh) | 2015-05-15 | 2015-05-15 | 一种用于增强图像标记效果的多尺度级联层次模型方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104867118B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198333A (zh) * | 2013-04-15 | 2013-07-10 | 中国科学院电子学研究所 | 一种高分辨率遥感图像自动语义标记方法 |
CN103988503A (zh) * | 2011-12-12 | 2014-08-13 | 英特尔公司 | 使用预捕获图像运动的场景分割 |
CN103996198A (zh) * | 2014-06-04 | 2014-08-20 | 天津工业大学 | 复杂自然环境下感兴趣区域的检测方法 |
-
2015
- 2015-05-15 CN CN201510248854.6A patent/CN104867118B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103988503A (zh) * | 2011-12-12 | 2014-08-13 | 英特尔公司 | 使用预捕获图像运动的场景分割 |
CN103198333A (zh) * | 2013-04-15 | 2013-07-10 | 中国科学院电子学研究所 | 一种高分辨率遥感图像自动语义标记方法 |
CN103996198A (zh) * | 2014-06-04 | 2014-08-20 | 天津工业大学 | 复杂自然环境下感兴趣区域的检测方法 |
Non-Patent Citations (2)
Title |
---|
A Large-Scale Hierarchial Multi-View RGB-D object Dataset;Kevin Lai et al.;《2011 IEEE International Conference on Robotics and Automation》;20110311;第1-8页 * |
Multiscale Conditional Random Fields for Image Labeling;Xuming He et al.;《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20040702;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104867118A (zh) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Deep transfer learning for military object recognition under small training set condition | |
CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
CN103984959B (zh) | 一种基于数据与任务驱动的图像分类方法 | |
CN107506740A (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
CN107748895A (zh) | 基于dct‑cnn模型的无人机着陆地貌图像分类方法 | |
Vo et al. | Semantic image segmentation using fully convolutional neural networks with multi-scale images and multi-scale dilated convolutions | |
CN109685819A (zh) | 一种基于特征增强的三维医学图像分割方法 | |
CN105069478B (zh) | 基于超像素张量稀疏编码的高光谱遥感地物分类方法 | |
CN106023065A (zh) | 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法 | |
CN105930868A (zh) | 一种基于层次化增强学习的低分辨率机场目标检测方法 | |
CN110309835B (zh) | 一种图像局部特征提取方法及装置 | |
CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
CN108734210A (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
CN103745233B (zh) | 基于空间信息迁移的高光谱图像分类方法 | |
CN109558902A (zh) | 一种快速目标检测方法 | |
CN104077612B (zh) | 一种基于多特征稀疏表示技术的害虫图像识别方法 | |
CN107292336A (zh) | 一种基于dcgan的极化sar图像分类方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
CN111027630B (zh) | 一种基于卷积神经网络的图像分类方法 | |
CN103955709B (zh) | 基于加权合成核与tmf的极化sar图像分类方法 | |
CN106651884A (zh) | 基于素描结构的平均场变分贝叶斯sar图像分割方法 | |
Nassih et al. | An efficient three-dimensional face recognition system based random forest and geodesic curves | |
CN109886281A (zh) | 一种基于四元数超限学习机彩色图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200327 Address after: No. 46, building 3, east side complex, South high speed railway station square, Wanbao Avenue, Louxing District, Loudi City, Hunan Province 417000 Patentee after: Hand in hand information technology Co., Ltd Address before: Yuelu District City, Hunan province 410082 Changsha Lushan Road No. 2 Patentee before: HUNAN University |