CN112488123B - 一种基于细化局部模式的纹理图像分类方法及系统 - Google Patents
一种基于细化局部模式的纹理图像分类方法及系统 Download PDFInfo
- Publication number
- CN112488123B CN112488123B CN202011353903.XA CN202011353903A CN112488123B CN 112488123 B CN112488123 B CN 112488123B CN 202011353903 A CN202011353903 A CN 202011353903A CN 112488123 B CN112488123 B CN 112488123B
- Authority
- CN
- China
- Prior art keywords
- local
- image
- amplitude
- neighborhood
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005070 sampling Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007670 refining Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 101000666657 Homo sapiens Rho-related GTP-binding protein RhoQ Proteins 0.000 description 3
- 102100038339 Rho-related GTP-binding protein RhoQ Human genes 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种细化局部模式的纹理图像分类方法及系统,该方法包括:根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波,得到对应半径下的平滑纹理图像;提取平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,提取平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,将每个纹理图像下的MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图,级联多个采样半径下的特征直方图MCRLBP,建立多尺度直方图特征表示,进而得到训练结果;本发明有效避免每幅图像中相似但属于不同类别的局部邻域具有相同的特征标签;能够有效捕获局部像素间的纹理细节,不仅具有旋转,光照和尺度鲁棒性,而且能在具有低特征维度的同时获得较高分类性能。
Description
技术领域
本发明涉及图像处理和模式识别技术领域,具体涉及一种基于细化局部模式的纹理图像分类方法及系统。
背景技术
纹理分析在计算机视觉和模式识别中起着至关重要的作用。通过分析纹理,可以开发许多应用程序,例如,纹理分类,人脸识别,对象识别和基于内容的图像检索等。其中,纹理分类作为纹理分析的主要任务之一,也受到了广泛的关注。在纹理分类中,良好的特征表示不仅需要高度区分不同类别的纹理,而且需要对各种图像变换(例如旋转,照明,比例尺和视点变化)具有鲁棒性。但由于自然图像的复杂多样性以及成像过程中光照和噪声的干扰,使得提取具有高度区分性和鲁棒性的纹理特征成为一个具有挑战性的问题。
在过去的几十年间,已经研发了众多用于纹理图像特征提取的方法。所有方法的共同目的都是在提取强大的纹理特征的同时保持较低的计算复杂度。其中,Ojala等人于2002年提出的局部二值模式(LBP)已成为最著名和研究最广泛的纹理描述符之一。但由于LBP仅对差分矢量的符号信息进行编码,因此存在一些明显的缺点,包括:1)对噪声、尺度以及像素值的轻微波动敏感。2)不能有效反映局部邻域像素间的差分幅值;3)忽略非均匀模式的重要信息;4)没有将局部结构和全局图像信息之间的关系融入特征编码中。为了克服这些缺点和增强LBP的分类性能,众多基于LBP的改进算法被提出。虽然LBP的改进算法已经产生了良好的纹理分类性能,但是它们却无法有效地描述和区分具有相同特征标签的弱局部模式与强局部模式。
发明内容
发明目的:为了克服现有技术的不足,本发明提供一种基于细化局部模式的纹理图像分类方法,该方法可以解决传统局部二值模式及其扩展方法无法有效地描述和区分纹理图像中具有相同特征标签的弱局部模式与强局部模式的问题,即解决不同的局部邻域拥有相同的特征标签的问题,本发明还提供一种细化局部模式的纹理图像分类系统。
技术方案:一方面,本发明所述的细化局部模式的纹理图像分类方法,包括:
(1)根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波,得到对应半径下的平滑纹理图像;
(2)提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,即根据整幅图像中局部邻域的幅值信息,为图像中具有相同差分符号的局部邻域分配具有强弱对比差异的特征标签,即划分为弱对比局部模式和强对比局部模式;
(3)提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,即根据整幅图像中局部邻域的中心灰度值信息,为图像中具有相同差分幅值的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式;
(4)将每个纹理图像下的MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图MCRLBP;
(5)级联多个采样半径下的所述特征直方图MCRLBP,从而建立多尺度直方图特征表示,用于分类训练,进而得到训练结果。
进一步的,包括:
所述步骤(2)中,提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,包括:
(21)提取所述平滑纹理图像的局部符号模式LBP_S;
(22)采用扩展编码方案编码所述平滑纹理图像的局部符号模式LBP_S,扩展后的局部符号模式表示为LBP_SEC;
(23)根据全局幅值信息细化LBP_SEC,以提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S。
进一步的,包括:
所述步骤(21)中,提取局部符号模式LBP_S包括:将所述平滑纹理图像局部邻域内的采样点和中心点阈值化操作,并表示出大于等于中心点对应值的采样点的二值序列对应的描述子,LBP_S描述为:
其中,l为给定的中心像素,l=1,2,…,L,L是整个图像局部中心点的总数,gc是中心像素的灰度值,gp是均匀分布在半径为R的圆上的邻域像素的灰度值,P是邻域采样点的个数。
进一步的,包括:
所述步骤(22)中,LBP_SEC表示为:
进一步的,包括:
所述均匀度量函数U表示为:
其中,g0为起始像素点的灰度值,gp-1为p点前一个像素点的灰度值。
进一步的,包括:
所述步骤(23)中,提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,包括:
(234)将整幅图像中局部邻域的幅值均值与每个幅值锚点进行比较,由此将图像中具有相同LBP_SEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为幅值细化局部符号二值模式MRLBP_S,描述为:
其中,l=1,2,…,L,L是整个图像局部中心点的总数,特征标签的含义为:图像中每个局部邻域被标记的类别标签。
进一步的,包括:
所述步骤(3)中,提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,包括:
(31)提取所述平滑纹理图像的局部幅值模式LBP_M,其为将图像局部邻域内的采样点和中心点的差分幅值与局部邻域幅值均值阈值化操作后,大于等于幅值均值的差分幅值的二值序列对应的描述子;
(32)采用扩展编码方案编码局部符号模式LBP_M,扩展后的局部符号模式表示为LBP_MEC;
(35)将整幅图像中局部邻域的中心灰度值与每个中心灰度值锚点进行比较,由此将图像中具有相同LBP_MEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为中心细化局部幅值二值模式CRLBP_M。
进一步的,包括:
所述中心细化局部幅值二值模式CRLBP_M描述为:
其中,P是邻域采样点的个数,l=1,2,…,L,L是整个图像局部中心点的总数。
进一步的,包括:
所述步骤(4)中,建立每幅图像的单尺度特征直方图MCRLBP,包括:
(41)构造每幅图像MRLBP_S的特征直方图,表示为:
(42)构造每幅图像CRLBP_M的特征直方图,表示为:
(43)将MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的MCRLBP直方图,表示为:
HMCRLBP=[HMRLBP_S,HCRLBP_M]
其中,HMRLBP_S和HCRLBP_M的特征维均为(T+1)(2P-1),因而,特征直方图HMCRLBP的维度为2(T+1)(2P-1),l=1,2,…,L,L是整个图像局部中心点的总数。
另一方面,本发明还提供一种基于细化局部模式的纹理图像分类系统,包括:
图像预处理模块,用于根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波,得到对应半径下的平滑纹理图像;
第一特征提取模块,用于提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,即根据整幅图像中局部邻域的幅值信息,为图像中具有相同差分符号的局部邻域分配具有强弱对比差异特征标签,即划分为弱对比局部模式和强对比局部模式;
第二特征提取模块,用于提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,即根据整幅图像中局部邻域的中心灰度值信息,为图像中具有相同差分幅值的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式;
特征级联模块,用于将每个纹理图像下的MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图MCRLBP;
分类模块,用于级联多个采样半径下的所述特征直方图MCRLBP,从而建立多尺度直方图特征表示,用于分类训练,进而得到训练结果。
有益效果:(1)本发明通过提取图像的幅值细化局部符号二值模式以及中心细化局部幅值二值模式并两者做出处理,可有效避免每幅图像中相似但属于不同类别的局部邻域拥有相同的特征标签;(2)可有效地区分视觉内容不同但原始直方图特征相似的图像,即细化纹理特征和增大类间差异;(3)本发明利用全局图像统计信息划分局部模式,实现了全局图像结构与局部结构的有效融合;(4)本发明提取的MCRLBP直方图特征能够有效捕获局部像素间的纹理细节,不仅具有旋转,光照和尺度鲁棒性,而且能在具有低特征维度的同时获得较高分类性能;(5)为了降低噪声干扰和改善LBP中忽视非均匀模式的问题,本发明提出在特征提取前根据采样半径大小,对纹理图像执行相应规格的高斯滤波,并在编码阶段采用扩展编码细分非均匀模式。
附图说明
图1为本发明提取单尺度MCRLBP描述子的框架图;
图2为弱局部模式和强局部模式的示意图,其中,图2a是强对比局部模式,图2b是弱对比局部模式(也为弱灰度局部模式),图2c是强灰度局部模式;
图3为锚点数量T对分类准确性的影响,其中,图3a,3b和3c分别为锚点数T取不同值时MRLBP_S,CRLBP_M和MCRLBP描述子在TC10数据集上的分类结果,图3d,3e和3f分别为锚点数T取不同值时MRLBP_S,CRLBP_M和MCRLBP描述子在TC12_000数据集上的分类结果;
图4为本发明所述的电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1所示,本实施例通过在标准纹理库Outex的TC10、TC12_000和TC12_001三个子库以及KTH_TIPS上进行分类,本实施例所述的细化局部模式的纹理图像分类方法,包括:
S1使得每个纹理样本的平均强度为128,标准偏差为20。
S2图像预处理:根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波(Gaussian Filtering),以获得对应半径下的平滑纹理图像。
在提取特征前先对输入图片进行预处理,具体包括:
S21确定滤波器窗口大小,使得滤波器窗口面积和局部区域面积相同,如R=3时,局部区域面积为7*7,则滤波窗口面积也设为7*7。
S22确定标准差σ的取值,由于σ的大小反应了周围像素对当前像素的影响程度,且σ越大,远处像素对中心像素的影响也就越大,因此,σ应随着半径的增大而增大。
S3特征提取(Feature Extraction):在平滑后的图像上提取相应半径下的LBP_SEC和LBP_MEC描述子;
首先,提取平滑纹理图像的局部符号模式LBP_S和局部幅值模式LBP_M,并采用扩展编码方案,分别编码局部符号模式LBP_S和局部幅值模式LBP_M,并分别描述为LBP_SEC和LBP_MEC,其中,局部符号模式LBP_S即将图像局部邻域内的采样点和中心点阈值化操作后,大于等于中心点对应值的采样点的二值序列对应的描述子,所述局部幅值模式LBP_M即将图像局部邻域内的采样点和中心点的差分幅值与局部邻域幅值均值阈值化操作后,大于等于幅值均值的差分幅值的二值序列对应的描述子。
S4直方图特征细化(Histogram Refinement):根据全局幅值统计信息细化LBP_SEC描述子,得到幅值细化局部符号二值模式MRLBP_S,根据全局中心灰度值信息细化LBP_MEC描述子,得到中心细化局部幅值二值模式CRLBP_M。
首先,根据全局幅值信息,得到该幅图像的幅值细化局部符号二值模式MRLBP_S,幅值细化局部符号二值模式MRLBP_S即根据整幅图像中局部邻域的幅值信息,为图像中具有相同差分符号(即LBP_SEC编码相同)的局部邻域分配具有强弱对比差异的特征标签,即划分为弱对比局部模式和强对比局部模式;
其次,根据全局中心灰度值信息,得到该幅图像的中心细化局部幅值二值模式CRLBP_M,中心细化局部幅值二值模式CRLBP_M即根据整幅图像中局部邻域的中心灰度值信息,为图像中具有相同差分幅值(即LBP_MEC编码相同)的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式。
提取平滑纹理图像的幅值细化局部符号二值模式MRLBP_S的方法包括:
S31提取平滑纹理图像的局部符号模式LBP_S,即将图像局部邻域内的采样点和中心点阈值化操作后,大于等于中心点对应值的采样点的二值序列对应的描述子,对于给定中心像素l(l=1,2,…,L,L是整个图像局部中心点的总数),LBP_S描述为:
其中,gc是中心像素的灰度值,gp是均匀分布在半径为R的圆上的邻域像素的灰度值,P是邻域采样点的个数。
S32采用扩展编码方案,编码局部符号模式LBP_S,描述为LBP_SEC:
其中,U是均匀度量,表示循环二进制序列中0到1之间的状态转换数。
扩展编码方案具体方法为:
根据二进制序列中“1”的个数细分旋转均匀二值模式LBPriu2中的非均匀模式(循环二值序列中“0”和“1”状态转换次数大于2的特征模式),即将循环二值序列中“0”和“1”状态转换次数等于4的非均匀模式分配给不同的特征标签,而将大于4的非均匀模式分配给一个特定的特征标签。对于给定中心像素l(l=1,2,…,L,L是整个图像局部中心点的总数),其LBP的扩展编码方案定义为:
其中,gc是中心像素的灰度值,gp是均匀分布在半径为R的圆上的邻域像素的灰度值,P是邻域采样点的个数,U是均匀度量,表示循环二进制序列中0到1之间的状态转换数。扩展的编码特征保留了旋转不变性,并且还有效地利用了非均匀模式的结构信息。此时,LBPEC直方图的维数为2P-1。
S35将整幅图像中局部邻域的幅值均值与每个幅值锚点进行比较,由此将图像中具有相同LBP_SEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为幅值细化局部符号二值模式MRLBP_S,描述为:
因此,也即在具有相同差分符号的情况下,使得整副图像呈现出不同的强弱对比模式,具有较小差分幅值的局部邻域的局部符号模式属于弱对比局部模式,具有较大差分幅值的局部邻域的局部符号模式属于强对比局部模式,且此时直方图对应的维度为(T+1)(2P-1)。
如图2所示,MRLBP_S将拥有相同特征标签的局部符号模式划分为弱对比局部模式和强对比局部模式。
在原始LBP的编码过程中仅考虑了差分矢量的符号信息。因此,对于某些具有相同差分符号但却不同局部邻域,LBP会为它们分配相同的特征标签。如图2可以看到(a)和(b)中局部邻域[85,120,150,6,40,90,5,4,8]和[45,40,41,38,40,45,38,34,36](加粗的值为中心点灰度值),的差分矢量分别为[45,80,110,-34,50,-35,-36,-32]和[5,0,1,-2,-5,-2,-6,-4],具有相同的差分符号[1,1,1,-1,1,-1,-1,-1],但差分幅值[45,80,110,34,50,35,36,32]和[5,0,1,2,5,2,-6,4]却完全不同。如果仅对差分符号进行编码,则(a)和(b)中的局部邻域将拥有相同的局部符号模式,即这两个局部邻域将拥有相同的特征标签。显然,这种划分是不合适的。
为了缓解这种情况,本发明通过分析局部邻域特性来细化局部符号模式。从图2中可以看出,(a)中局部邻域的中心点和邻域点间的差分幅值较大,但是,(b)中局部邻域的中心点和邻域点间的差分幅值较小。因此,与(b)中具有较小差分幅值的局部邻域相比,(a)中局部邻域对于应的局部符号模式应属于强对比局部模式。故,将(a)和(b)中具有相同差分符号的局部邻域分为弱对比局部模式和强对比模式是合理的。分析发现,(a)和(b)中局部邻域的主要区分信息在于差分幅值。因此,根据整幅图像中局部邻域的幅值信息,可为图像中具有相同差分符号的局部邻域分配具有强弱对比差异的特征标签,即划分为弱对比局部模式和强对比局部模式。
提取平滑纹理图像的中心细化局部幅值二值模式CRLBP_M的方法包括:
S41提取平滑纹理图像的局部幅值模式LBP_M,即将图像局部邻域内的采样点和中心点的差分幅值mp=|(gp-gc)|与局部邻域幅值均值阈值化操作后,大于等于幅值均值的差分幅值的二值序列对应的描述子,对于给定中心像素l(l=1,2,…,L,L是整个图像局部中心点的总数),LBP_M描述为:
S42采用扩展编码方案,编码局部符号模式LBP_M,描述为LBP_MEC:
其中,U是均匀度量,表示循环二进制序列中0到1之间的状态转换数。
S45将整幅图像中局部邻域的中心灰度值与每个中心灰度值锚点进行比较,由此将图像中具有相同LBP_MEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为中心细化局部幅值二值模式CRLBP_M,描述为:
因此,也即在具有相同差分幅值的情况下,使得整副图像呈现出不同的强弱灰度模式,具有较小中心灰度值的局部邻域的局部幅值模式属于弱灰度局部模式,具有较大中心灰度值的局部邻域的局部幅值模式属于强灰度局部模式,且此时直方图对应的维度为(T+1)(2P-1)。
如图2所示,CRLBP_M将拥有相同特征标签的局部幅值模式划分为弱灰度局部模式和强灰度局部模式。
部分局部邻域(Local Neighborhoods)具有相同的差分幅值,甚至差分符号(Difference Signs)也相同,但视觉内容却不相同。如图2所示,(b)和(c)中的局部邻域[45,40,41,38,40,45,38,34,36]和[205,200,201,198,200,205,198,194,196](加粗的值为中心点灰度值),具有相同的差分矢量(Difference Vectors)[5,0,1,-2,5,-2,-6,-4],即差分符号和差分幅值都相同。但事实上,(b)中具有较小灰度值的局部邻域比(c)中具有较大灰度值的局部邻域更暗(灰度值0表示黑色,255表示白色,灰度值越小,图像越暗)。因此,与(c)中的局部邻域相比,(b)中的局部邻域所对应的局部幅值模式应该属于弱灰度局部模式。
如果仅使用传统LBP对图像局部邻域进行编码,则(b)和(c)中的局部邻域将拥有相同的局部幅值模式,即这两个局部邻域将拥有相同的特征标签,这是不合适的。在(b)和(c)中,局部邻域之间的主要差异信息在于中心点的灰度值(因为它被选作参考值)。因此,基于整幅图像中局部邻域的中心灰度值,可为图像中具有相同差分幅值的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式。
因此,本发明有效避免每幅图像中相似但属于不同类别的局部邻域具有相同的特征标签;有效地区分视觉内容不同但原始直方图特征相似的图像,即细化纹理特征和增大类间差异;利用全局图像统计信息划分局部模式,实现了全局图像结构与局部结构的有效融合。
S5为每个纹理图像构造MRLBP_S和CRLBP_M的特征直方图。然后将MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图MCRLBP。
具体包括:
S51构造每幅图像MRLBP_S的特征直方图,表示为:
S52构造每幅图像CRLBP_M的特征直方图,表示为:
S53将MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的MCRLBP直方图,表示为:
HMCRLBP=[HMRLBP_S,HCRLBP_M]
其中,HMRLBP_S和HCRLBP_M的特征维均为(T+1)(2P-1)。因而,特征直方图HMCRLBP的维度为2(T+1)(2P-1)。
本实施例,首先在TC10、TC12_000和TC12_001数据集上进行了五个单尺度条件下的实验,采样半径R的取值为{1,2,3,4,5},采样点数P固定取值为R=1,P=8,R=2,P=16和R≥3,P=24,以观察锚点数T与分类精度的关系,从而确定锚点数T的取值。如图3所示,可以看到当T≥1时,分类精度显著提高,当T≥2时,MCRLBP描述符的分类精度趋于稳定。
因此,从图3可知,本文最终确定锚点(Anchors)数T的取值为2,由此得到的HMCRLBP特征直方图的维度为2(T+1)(2P-1)=6(2P-1),图3中横坐标为锚点数,纵坐标为分类准确率(Classification accuracy)。
S6特征级联(Histogram Cascade):级联多个采样半径下所述的MCRLBP特征直方图,以建立多尺度直方图特征表示,用于分类训练,得到训练结果。
本实施例选择的多尺度级联时局部邻域采样半径R,采样点数P,以及高斯标准差σ的相应取值为(R,P,σ)=((1,8,0.5)+(3,24,1.5)+(5,24,2.5))。将三个采样半径下的MCRLBP特征向量级联,以建立多尺度直方图特征表示,并采用卡方距离和最近邻分类器进行分类,获取分类结果。
测试阶段:采用测试集对上述方法进行分类测试,将本方法和其他具有代表性的纹理分类方法进行了比较,并以粗体标出了最高的分类精度,结果如表1所示;
通过与其他方法的比较,可以验证本发明所提出的方法相对于其他方法具有很好的优越性:有效地提高分类精度;有效利用非均匀模式的信息;有效区分图像中具有相同特征标签的弱局部模式和强局部模式。另外,本发明所提方法无需训练、计算简单且具有旋转、光照和尺度鲁棒性。
表1多种算法在Outex和KTH-TIPS数据集上多尺度级联时的分类精度(%)
另一方面,本发明还提供一种基于细化局部模式的纹理图像分类系统,包括:
图像预处理模块,用于根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波,得到对应半径下的平滑纹理图像;
第一特征提取模块,用于提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,即根据整幅图像中局部邻域的幅值信息,为图像中具有相同差分符号的局部邻域分配具有强弱对比差异的特征标签,即划分为弱对比局部模式和强对比局部模式;
第二特征提取模块,用于提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,即根据整幅图像中局部邻域的中心灰度值信息,为图像中具有相同差分幅值的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式;
特征级联模块,用于将每个纹理图像下的MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图MCRLBP;
分类模块,用于级联多个采样半径下的所述特征直方图MCRLBP,从而建立多尺度直方图特征表示,用于分类训练,进而得到训练结果。
参阅图4所示,本发明实施例中,一种电子设备结构示意图。
本发明实施例提供了一种电子设备,该电子设备可以包括处理器310(CenterProcessing Unit,CPU)、存储器320、输入设备330和输出设备340等,输入设备330可以包括键盘、鼠标、触摸屏等,输出设备340可以包括显示设备,如液晶显示器(Liquid CrystalDisplay,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
存储器320可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器310提供存储器320中存储的程序指令和数据。在本发明实施例中,存储器320可以存储基于细化局部模式的纹理图像分类方法的程序。
处理器310通过调用存储器320存储的程序指令,处理器310用于按照获得的程序指令执行上述任一种基于细化局部模式的纹理图像分类方法的步骤。
基于上述实施例,本发明实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意方法实施例中的基于细化局部模式的纹理图像分类。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (2)
1.一种基于细化局部模式的纹理图像分类方法,其特征在于,包括:
(1)根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波,得到对应半径下的平滑纹理图像;
(2)提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,即根据整幅图像中局部邻域的幅值信息,为图像中具有相同差分符号的局部邻域分配具有强弱对比差异的特征标签,即划分为弱对比局部模式和强对比局部模式;
提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,包括:
(21)提取所述平滑纹理图像的局部符号模式LBP_S;
提取局部符号模式LBP_S包括:
(211)将所述平滑纹理图像局部邻域内的采样点和中心点阈值化操作;
(212)表示出大于等于中心点对应值的采样点的二值序列对应的描述子,即LBP_S描述为:
其中,l为给定的中心像素,l=1,2,…,L,L是整个图像局部中心点的总数,gc是中心像素的灰度值,gp是均匀分布在半径为R的圆上的邻域像素的灰度值,P是邻域采样点的个数;
(22)采用扩展编码方案编码所述平滑纹理图像的局部符号模式LBP_S,扩展编码后的局部符号模式表示为LBP_SEC;
LBP_SEC表示为:
所述均匀度量函数U表示为:
其中,g0为起始像素点的灰度值,gp-1为p点前一个像素点的灰度值;
(23)根据全局幅值信息细化LBP_SEC,以提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S;
提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,包括:
(234)将整幅图像中局部邻域的幅值均值与每个幅值锚点进行比较,由此将图像中具有相同LBP_SEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为幅值细化局部符号二值模式MRLBP_S,描述为:
其中,l=1,2,…,L,L是整个图像局部中心点的总数;
(3)提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,即根据整幅图像中局部邻域的中心灰度值信息,为图像中具有相同差分幅值的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式;
提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,包括:
(31)提取所述平滑纹理图像的局部幅值模式LBP_M,其为将图像局部邻域内的采样点和中心点的差分幅值与局部邻域幅值均值阈值化操作后,大于等于幅值均值的差分幅值的二值序列对应的描述子;
(32)采用扩展编码方案编码所述平滑纹理图像的局部幅值模式LBP_M,扩展编码后的局部幅值模式表示为LBP_MEC;
(35)将整幅图像中局部邻域的中心灰度值与每个中心灰度值锚点进行比较,由此将图像中具有相同LBP_MEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为中心细化局部幅值二值模式CRLBP_M;
所述中心细化局部幅值二值模式CRLBP_M描述为:
其中,P是邻域采样点的个数,l=1,2,…,L,L是整个图像局部中心点的总数;
(4)将每个纹理图像下的MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图MCRLBP;
建立每幅图像的单尺度特征直方图MCRLBP,包括:
(41)构造每幅图像MRLBP_S的特征直方图,表示为:
(42)构造每幅图像CRLBP_M的特征直方图,表示为:
(43)将MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的MCRLBP直方图,表示为:
HMCRLBP=[HMRLBP_S,HCRLBP_M]
其中,HMRLBP_S和HCRLBP_M的特征维均为(T+1)(2P-1),因而,特征直方图HMCRLBP的维度为2(T+1)(2P-1),l=1,2,…,L,L是整个图像局部中心点的总数;
(5)级联多个采样半径下的所述特征直方图MCRLBP,从而建立多尺度直方图特征表示,用于分类训练,进而得到训练结果。
2.一种基于细化局部模式的纹理图像分类系统,其特征在于,包括:
图像预处理模块,用于根据选择的采样半径对数据集中的每幅纹理图像进行高斯滤波,得到对应半径下的平滑纹理图像;
第一特征提取模块,用于提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,即根据整幅图像中局部邻域的幅值信息,为图像中具有相同差分符号的局部邻域分配具有强弱对比差异的特征标签,即划分为弱对比局部模式和强对比局部模式;
提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,包括:
(21)提取所述平滑纹理图像的局部符号模式LBP_S;
提取局部符号模式LBP_S包括:
(211)将所述平滑纹理图像局部邻域内的采样点和中心点阈值化操作;
(212)表示出大于等于中心点对应值的采样点的二值序列对应的描述子,即LBP_S描述为:
其中,l为给定的中心像素,l=1,2,…,L,L是整个图像局部中心点的总数,gc是中心像素的灰度值,gp是均匀分布在半径为R的圆上的邻域像素的灰度值,P是邻域采样点的个数;
(22)采用扩展编码方案编码所述平滑纹理图像的局部符号模式LBP_S,扩展编码后的局部符号模式表示为LBP_SEC;
LBP_SEC表示为:
所述均匀度量函数U表示为:
其中,g0为起始像素点的灰度值,gp-1为p点前一个像素点的灰度值;
(23)根据全局幅值信息细化LBP_SEC,以提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S;
提取所述平滑纹理图像的幅值细化局部符号二值模式MRLBP_S,包括:
(232)将整幅图像中所有的局部邻域的幅值均值ml降序排列,描述为:
(234)将整幅图像中局部邻域的幅值均值与每个幅值锚点进行比较,由此将图像中具有相同LBP_SEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为幅值细化局部符号二值模式MRLBP_S,描述为:
其中,l=1,2,…,L,L是整个图像局部中心点的总数;
第二特征提取模块,用于提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,即根据整幅图像中局部邻域的中心灰度值信息,为图像中具有相同差分幅值的局部邻域分配具有强弱灰度差异的特征标签,即划分为弱灰度局部模式和强灰度局部模式;
提取所述平滑纹理图像的中心细化局部幅值二值模式CRLBP_M,包括:
(31)提取所述平滑纹理图像的局部幅值模式LBP_M,其为将图像局部邻域内的采样点和中心点的差分幅值与局部邻域幅值均值阈值化操作后,大于等于幅值均值的差分幅值的二值序列对应的描述子;
(32)采用扩展编码方案编码所述平滑纹理图像的局部幅值模式LBP_M,扩展编码后的局部幅值模式表示为LBP_MEC;
(35)将整幅图像中局部邻域的中心灰度值与每个中心灰度值锚点进行比较,由此将图像中具有相同LBP_MEC特征标签的局部邻域分散到T+1种子标签中,并将得到的描述符作为中心细化局部幅值二值模式CRLBP_M;
所述中心细化局部幅值二值模式CRLBP_M描述为:
其中,P是邻域采样点的个数,l=1,2,…,L,L是整个图像局部中心点的总数;
特征级联模块,用于将每个纹理图像下的MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的单尺度特征直方图MCRLBP;
建立每幅图像的单尺度特征直方图MCRLBP,包括:
(41)构造每幅图像MRLBP_S的特征直方图,表示为:
(42)构造每幅图像CRLBP_M的特征直方图,表示为:
(43)将MRLBP_S和CRLBP_M的特征直方图连接,以建立每幅图像的MCRLBP直方图,表示为:
HMCRLBP=[HMRLBP_S,HCRLBP_M]
其中,HMRLBP_S和HCRLBP_M的特征维均为(T+1)(2P-1),因而,特征直方图HMCRLBP的维度为2(T+1)(2P-1),l=1,2,…,L,L是整个图像局部中心点的总数;
分类模块,用于级联多个采样半径下的所述特征直方图MCRLBP,从而建立多尺度直方图特征表示,用于分类训练,进而得到训练结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011353903.XA CN112488123B (zh) | 2020-11-27 | 2020-11-27 | 一种基于细化局部模式的纹理图像分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011353903.XA CN112488123B (zh) | 2020-11-27 | 2020-11-27 | 一种基于细化局部模式的纹理图像分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112488123A CN112488123A (zh) | 2021-03-12 |
CN112488123B true CN112488123B (zh) | 2022-11-29 |
Family
ID=74935811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011353903.XA Active CN112488123B (zh) | 2020-11-27 | 2020-11-27 | 一种基于细化局部模式的纹理图像分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112488123B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140644B (zh) * | 2021-11-17 | 2024-07-26 | 武汉理工大学 | 一种结合mrlbp和gnp的纹理分类方法 |
CN115115598B (zh) * | 2022-06-30 | 2024-09-17 | 南通大学 | 一种基于全局Gabor滤波和局部LBP特征喉癌细胞图像分类方法 |
CN116385414B (zh) * | 2023-04-10 | 2023-11-07 | 哈尔滨耐是智能科技有限公司 | 零部件多尺度缺陷特征提取方法、计算设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9008365B2 (en) * | 2013-04-18 | 2015-04-14 | Huawei Technologies Co., Ltd. | Systems and methods for pedestrian detection in images |
CN106529547B (zh) * | 2016-10-14 | 2019-05-03 | 天津师范大学 | 一种基于完备局部特征的纹理识别方法 |
CN111191658A (zh) * | 2019-02-25 | 2020-05-22 | 中南大学 | 基于广义局部二值模式的纹理描述方法及图像分类方法 |
CN111612099B (zh) * | 2020-06-03 | 2022-11-29 | 江苏科技大学 | 基于局部排序差值细化模式的纹理图像分类方法及系统 |
-
2020
- 2020-11-27 CN CN202011353903.XA patent/CN112488123B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112488123A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112488123B (zh) | 一种基于细化局部模式的纹理图像分类方法及系统 | |
Matzen et al. | Data visualization saliency model: A tool for evaluating abstract data visualizations | |
US20120163708A1 (en) | Apparatus for and method of generating classifier for detecting specific object in image | |
CN104751093B (zh) | 用于获取宿主设备显示的图像识别码的方法和装置 | |
CN108780507A (zh) | 用于提供图像分类器的系统和方法 | |
CN112749696B (zh) | 一种文本检测方法及装置 | |
CN111400528B (zh) | 一种图像压缩方法、装置、服务器及存储介质 | |
Long et al. | A comparative study of texture attributes for characterizing subsurface structures in seismic volumes | |
CN113688838B (zh) | 红色笔迹提取方法、系统、可读存储介质及计算机设备 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN111191584B (zh) | 一种人脸识别方法及装置 | |
Gani et al. | Copy move forgery detection using DCT, PatchMatch and cellular automata | |
CN111612099B (zh) | 基于局部排序差值细化模式的纹理图像分类方法及系统 | |
Qin et al. | Face inpainting network for large missing regions based on weighted facial similarity | |
Harding et al. | Visual saliency from image features with application to compression | |
CN117765287A (zh) | 一种结合lwr和密度聚类的图像目标提取方法 | |
CN115984588A (zh) | 图像背景相似度分析方法、装置、电子设备及存储介质 | |
CN111931794B (zh) | 一种基于草图的图像匹配方法 | |
Rahma et al. | The using of gaussian pyramid decomposition, compact watershed segmentation masking and DBSCAN in copy-move forgery detection with SIFT | |
CN114170589A (zh) | 一种基于nas的岩石岩性识别方法、终端设备及存储介质 | |
Zhou et al. | On contrast combinations for visual saliency detection | |
CN113763313A (zh) | 文本图像的质量检测方法、装置、介质及电子设备 | |
CN111242047A (zh) | 图像处理方法和装置、电子设备及计算机可读存储介质 | |
CN116486209B (zh) | 一种新品识别方法、装置、终端设备及存储介质 | |
Soni et al. | Text region extraction from scene images using agf and mser |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |