CN110400335B - 基于深度学习的纹理图像质量估计方法 - Google Patents
基于深度学习的纹理图像质量估计方法 Download PDFInfo
- Publication number
- CN110400335B CN110400335B CN201910674851.7A CN201910674851A CN110400335B CN 110400335 B CN110400335 B CN 110400335B CN 201910674851 A CN201910674851 A CN 201910674851A CN 110400335 B CN110400335 B CN 110400335B
- Authority
- CN
- China
- Prior art keywords
- image
- texture
- network
- quality
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明基于深度学习的纹理图像质量估计方法,包括以下步骤:步骤1:样本采集:采集将进行质量评价的纹理图像;步骤2:样本处理与标注;步骤3:建立深度学习网络,步骤4:为两种深度学习网络编码相应样本以便输入网络,设置网络的每一层属性、参数及训练停止条件,开始训练;步骤5:给出质量估计:利用学习到的深度网络对待处理纹理图像进行预测,直接输出得到其质量等级预测图像。本发明方法不需要对原始纹理图像做预处理,利用深度学习算法对图像进行学习和归纳,得到高分类精度的深度网络,从而对输入图像的每一局部块进行预测,组合预测结果,得到最后的质量图和方向场估计图。
Description
技术领域
本发明涉及纹理图像质量估计领域,特别涉及一种基于深度学习的纹理图像质量估计方法。
背景技术
纹理是图像的重要特征和属性,是区分不同物体和进行图像分析的重要依据。图像的纹理在图像的采集过程中极易受到成像器件的噪声、光路和成像对象本身条件的影响,造成伪影、模糊、信息缺失等低质量图像情况。低质量纹理图像的可用信息较少,但却存在较多的干扰和错误信息,通常应避免进入后续处理阶段,或者对其进行质量增强之后再进入后续处理。纹理图像的质量估计是对纹理的清晰度评价,纹理清晰局部可标示较高的质量值,而纹理模糊、缺失区域赋予低质量值。其意义在于指导后续处理将质量值较高区域作为识别和分析的重点区域,这样可有效避免低质量区域所带来的误导,提高分析和识别的正确率,并节省计算。所以质量估计是图像预处理的重要步骤,对图像后期的增强、识别和分析都具有重要的参考价值。
目前用于纹理质量估计的方法主要有:基于图像的局部梯度的估计方法、基于纹理脊谷线清晰度的估计方法、基于频域分析的估计方法,也有专家提出基于局部均值、方差、一致性、能量集中度等特征的估计方法以及使用方向、频率、能量等特征结合机器学习进行估计的方法。这些方法都有其优点,但同时也存在着不足,其主要原因在于单一的分析方法很难给出全面准确的纹理质量评价指标,而多种分析方法的结合又往往很难做到完美融合,基于特征和机器学习的方法其特征的计算也较为复杂。
发明内容
本发明的目的是针对上述现有技术存在的缺陷,提供一种基于深度学习的纹理图像质量估计方法,该方法不需要对原始纹理图像做预处理,利用深度学习算法对图像进行学习和归纳,得到高分类精度的深度网络,从而对输入图像的每一局部块进行预测,组合预测结果,得到最后的质量图和方向场估计图。
本发明为实现上述目的采用的技术方案是:基于深度学习的纹理图像质量估计方法,包括以下步骤:
步骤1:样本采集:采集将进行质量评价的纹理图像,包括待分析处理的目标纹理区域前景和非目标纹理区域的背景;
步骤2:样本处理与标注:通过下面两种方法的任一种方法进行,方法一:从纹理图像中分别采集m×m的纹理前景图p例和背景图n例作为训练样本,m是样本的归一化尺寸,单位是像素,其中前景图像是指包含目标纹理的图像区域,背景图是指非目标纹理的任何其他图像区域;方法二:为每张纹理图像建立与其具有相同尺寸的标注图像,标注图像具有多级取值,分别表示对应的纹理图像像素为中心的局部区域的质量等级;
步骤3:建立深度学习网络:根据步骤2所选方法分别按照下面两种方法进行,方法-:对于步骤2中利用方法一得到的标注样本,建立二分类深度学习网络;方法二:对于步骤2中利用方法二得到的标注样本,建立端到端分类器,对图像每一像素点进行质量值等级预测;
步骤4:为两种深度学习网络编码相应样本以便输入网络,设置网络的每一层属性、参数及训练停止条件,开始训练;
步骤5:给出质量估计:利用学习到的深度网络对待处理纹理图像进行预测,对于步骤3选用方法二得到的网络,可以直接输出得到其质量等级预测图像;对于步骤3选用方法一得到的二分类器网络,还需要经过步骤5.1-5.4的处理;
步骤5.1:初始化质量图;
步骤5.2:从纹理图像左上角开始,依次取m×m的图像块,作为深度网络的输入,相邻图像块的重叠区域为m/a;
步骤5.3:处理识别结果:若某m×m图像块识别为前景,则对应的质量图m×m区域均加1,若识别为背景,则相应区域加0;
步骤5.4:最终叠加得到质量图,质量图中的最大值为a2*x,其中a是平移系数,控制取样窗口每次移动的像素大小,x为质量图填充的非零比例系数。
本发明基于深度学习的纹理图像质量估计方法具有如下有益效果:本发明提出了一种利用深度学习算法解决纹理图像质量估计的方法,深度学习具有自主总结提取强可分性特征的能力,在图像分类应用中表现出明显优势,本发明将纹理图像质量估计问题转化为图像识别问题,利用深度学习在图像分类中的高精准特点,实现了纹理图像的质量估计。
下面结合附图和实施例对本发明基于深度学习的纹理图像质量估计方法作进一步的说明。
附图说明
图1是本发明基于深度学习的纹理图像质量估计方法的图像分块示意图;
图2是本发明基于深度学习的纹理图像质量估计方法中基于深度学习的二分类器学习示意图;
图3是本发明基于深度学习的纹理图像质量估计方法中基于深度学习网络的质量估计示意图(方法一);
图4是本发明基于深度学习的纹理图像质量估计方法中质量图的最大值分布示意图;
图5是本发明基于深度学习的纹理图像质量估计方法中基于深度学习网络的质量估计示意图(方法二)。
具体实施方式
本发明基于深度学习的纹理图像质量估计方法,如图1至5所示,本实施例以指纹图像为对象,说明基于深度学习的纹理图像质量估计方法。具体实施方式如下:
本发明基于深度学习的纹理图像质量估计方法,对于方法一:包括以下步骤:
步骤1:样本采集:采集将进行质量评价的纹理图像,包括待分析处理的目标纹理区域前景和非目标纹理区域的背景。本实施例,利用NIST SD4/27和FVC等指纹数据库生成指纹前景和背景样本数据;前景样本的生成方法是,人工截取64×64的有效指纹区域,或利用现成的指纹分割算法,截取64×64的指纹区域,再进行人工删除非指纹样本;同理,人工截取或使用算法生成背景样本数据。
步骤2:样本处理与标注:从纹理图像中分别采集m×m的纹理前景图p例和背景图n例作为训练样本,m是样本的归一化尺寸,单位是像素,其中前景图像是指包含目标纹理的图像区域,背景图是指非目标纹理的任何其他图像区域,将前景样本和背景样本分别标注为1、-1。
步骤3:建立深度学习网络,建立二分类深度学习网络,本实施例为建立LeNet卷积神经网络,如图2所示,调用Caffe深度学习框架搭建LeNet深度学习网络,分别设置数据层、卷积层、池化层、内积层、激活层等参数。
步骤4:为两种深度学习网络编码相应样本以便输入网络,设置网络的每一层属性、参数及训练停止条件,开始训练;本实施例将图像文件及其对应标注写入文本文件,并转化成深度网络能高效处理的数据格式(如mdb格式),设定学习率、动量因子、最大迭代次数等参数,将样本数据输入深度网络,调整得到分类准确率0.99以上的网络。
步骤5:给出质量估计:利用学习到的深度网络对待处理纹理图像进行预测,按图1方式,将待处理图像进行分块,并预测每一图像块的类别,具体方法如图4所示,得到二分类器网络,之后还需要经过步骤5.1-5.4的处理。
步骤5.1:初始化质量图为0;
步骤5.2:如图1所示,从纹理图像左上角开始,依次取m×m像素的图像块,作为深度网络的输入,相邻取样图像块的平移距离为m/a像素,m是取样图像块的尺寸,单位为像素,a是控制平移的大小;在本实施例,m=64,a=4,从指纹图像左上角开始,依次取64×64像素的图像块,作为神经网络的输入数据,相邻图像块的偏移为64/4=16像素。
步骤5.3:处理识别结果:若某m×m图像块识别为目标纹理区域前景,则对应的质量图m×m区域均加1,若识别为非目标纹理区域的背景,则相应区域加0,m是取样图像块的尺寸,在本实施例,m=64,若某64×64图像块识别为1(前景),则在质量图相应的64×64区域均加1,若识别为背景,则该区域加0。
步骤5.4:如图3所示,最终叠加得到质量图,质量图中的最大值为a2*x,其中a是平移系数,控制取样窗口每次移动的像素大小,x为质量图填充的非零比例系数,x可置为1;在本实施例,依次历遍整图,最终得到叠加的质量图,其最大值分布如图4所示,本实施例中质量图的最大值为42=16。
本发明基于深度学习的纹理图像质量估计方法,对于方法二:包括以下步骤:
步骤1:样本采集:采集将进行质量评价的纹理图像,包括待分析处理的目标纹理区域前景和非目标纹理区域的背景;本实施例是基于NIST SD4/27和FVC等指纹数据库,
步骤2:样本处理与标注:为每张纹理图像建立与其具有相同尺寸的标注图像,标注图像即Mask图,标注图像(Mask图像)具有多级取值,分别表示对应的纹理图像像素为中心的局部区域的质量等级;本实施例,由人工或使用算法标注,生成与指纹图像对应的质量等级图像,以64×64为处理窗,计算处理窗内的方向一致性强度,计算如下:
③结构张量T是对称阵,具有2个特征值:
其中,f(x,y)为图像(x,y)处像素;一致性强度coherence∈[0,1],可将其区间均分为4级,0表示非目标纹理的背景,1表示低质量区域,2表示中等质量区域,3表示高质量区域。
步骤3:建立深度学习网络(如:FCN网络),建立端到端分类器,对图像每一像素点进行质量值等级预测。
步骤4:为两种深度学习网络编码相应样本以便输入网络,设置网络的每一层属性、参数及训练停止条件,开始训练;设置网络的层属性、层数量、学习因子等参数,输入样本及标注数据进行网络训练,使其准确率达到0.99以上。
步骤5:给出质量估计:如图5所示,利用学习到的深度网络对待处理纹理图像进行预测,将待质量估计的图像输入深度网络,预测得到质量等级预测图像。
以上实施例仅为本发明的较佳实施例,本发明并不限于上述实施例列举的形式,凡在本发明的精神和原则之内所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。
Claims (1)
1.基于深度学习的纹理图像质量估计方法,所述纹理图像是指纹图像,其特征在于,包括以下步骤:
步骤1:样本采集:采集将进行质量评价的纹理图像,包括待分析处理的目标纹理区域前景和非目标纹理区域的背景;
步骤2:样本处理与标注:从纹理图像中分别采集m×m的纹理前景图p例和背景图n例作为训练样本,m是样本的归一化尺寸,单位是像素,其中前景图像是指包含目标纹理的图像区域,背景图是指非目标纹理的任何其他图像区域;
步骤3:建立深度学习网络:对于步骤2中得到的标注样本,建立二分类深度学习网络;
步骤4:为深度学习网络编码相应样本以便输入网络,设置网络的每一层属性、参数及训练停止条件,开始训练;
步骤5:给出质量估计:利用学习到的深度网络对待处理纹理图像进行预测,对于步骤3得到的二分类器网络,还需要经过步骤5.1-5.4的处理;
步骤5.1:初始化质量图;
步骤5.2:从纹理图像左上角开始,依次取m×m的图像块,作为深度网络的输入,相邻图像块的重叠区域为m/a;
步骤5.3:处理识别结果:若某 m×m图像块识别为前景,则对应的质量图m×m区域均加1,若识别为背景,则相应区域加0;
步骤5.4:最终叠加得到质量图,质量图中的最大值为a2*x,其中a是平移系数,控制取样窗口每次移动的像素大小,x为质量图填充的非零比例系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910674851.7A CN110400335B (zh) | 2019-07-25 | 2019-07-25 | 基于深度学习的纹理图像质量估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910674851.7A CN110400335B (zh) | 2019-07-25 | 2019-07-25 | 基于深度学习的纹理图像质量估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110400335A CN110400335A (zh) | 2019-11-01 |
CN110400335B true CN110400335B (zh) | 2022-05-24 |
Family
ID=68324990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910674851.7A Active CN110400335B (zh) | 2019-07-25 | 2019-07-25 | 基于深度学习的纹理图像质量估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110400335B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992379B (zh) * | 2019-12-05 | 2022-04-19 | 华中科技大学 | 一种基于方向超像素的快速图像分割方法 |
CN114648548A (zh) * | 2020-12-17 | 2022-06-21 | 虹软科技股份有限公司 | 图像处理方法、描述子提取方法及其装置、电子设备 |
CN113239808A (zh) * | 2021-05-14 | 2021-08-10 | 广州广电运通金融电子股份有限公司 | 一种基于深度学习的指纹纹理提取方法、系统、装置及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10239342A1 (de) * | 2002-08-28 | 2004-03-11 | Philips Intellectual Property & Standards Gmbh | Verfahren zur Bewertung der Qualität von Hautabdruckbildern |
CN104853098A (zh) * | 2015-05-06 | 2015-08-19 | 广西科技大学 | 一种3d打印机模型图像采集箱体 |
CN106326886B (zh) * | 2016-11-07 | 2019-05-10 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法 |
JP6560707B2 (ja) * | 2017-04-20 | 2019-08-14 | ファナック株式会社 | 加工面品位評価装置 |
CN108510485B (zh) * | 2018-03-27 | 2022-04-05 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
CN109003259B (zh) * | 2018-06-25 | 2022-02-18 | 张威 | 基于纹线质量专家视觉认知机器学习的指纹质量评价方法 |
CN108961242A (zh) * | 2018-07-04 | 2018-12-07 | 北京临近空间飞行器系统工程研究所 | 一种荧光染色图像ctc智能识别方法 |
CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
CN109242831A (zh) * | 2018-08-20 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 图像质量检测方法、装置、计算机设备和存储介质 |
CN109191457B (zh) * | 2018-09-21 | 2022-07-01 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
CN109559310B (zh) * | 2018-11-30 | 2020-11-24 | 国网智能科技股份有限公司 | 基于显著性检测的输变电巡检图像质量评价方法及系统 |
-
2019
- 2019-07-25 CN CN201910674851.7A patent/CN110400335B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110400335A (zh) | 2019-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11581130B2 (en) | Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation | |
CN107944396B (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
CN110400335B (zh) | 基于深度学习的纹理图像质量估计方法 | |
CN111445488B (zh) | 一种弱监督学习自动识别和分割盐体的方法 | |
CN110119728A (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
CN113313166B (zh) | 基于特征一致性学习的船舶目标自动标注方法 | |
CN113297988B (zh) | 一种基于域迁移和深度补全的物体姿态估计方法 | |
CN112347930B (zh) | 基于自学习半监督深度神经网络高分影像场景分类方法 | |
CN114360038B (zh) | 基于深度学习的弱监督rpa元素识别方法及系统 | |
CN116258719A (zh) | 基于多模态数据融合的浮选泡沫图像分割方法和装置 | |
CN116740384B (zh) | 洗地机的智能控制方法及系统 | |
CN115019133A (zh) | 基于自训练和标签抗噪的图像中弱目标的检测方法及系统 | |
CN114742840A (zh) | 一种图像分割方法、装置、终端设备及可读存储介质 | |
CN110378307B (zh) | 基于深度学习的纹理图像方向场估计方法 | |
CN111062406B (zh) | 一种面向异构领域适应的半监督最优传输方法 | |
CN111612802A (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
CN113920311A (zh) | 一种基于边缘辅助信息的遥感图像分割方法及系统 | |
CN111429436A (zh) | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |