CN109241905A - 一种图像处理方法和装置 - Google Patents

一种图像处理方法和装置 Download PDF

Info

Publication number
CN109241905A
CN109241905A CN201811014037.4A CN201811014037A CN109241905A CN 109241905 A CN109241905 A CN 109241905A CN 201811014037 A CN201811014037 A CN 201811014037A CN 109241905 A CN109241905 A CN 109241905A
Authority
CN
China
Prior art keywords
image
pixel
magnitude
standard deviation
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811014037.4A
Other languages
English (en)
Other versions
CN109241905B (zh
Inventor
李琛
肖珂
梁梦媞
宋威
王宝成
何云华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201811014037.4A priority Critical patent/CN109241905B/zh
Publication of CN109241905A publication Critical patent/CN109241905A/zh
Application granted granted Critical
Publication of CN109241905B publication Critical patent/CN109241905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像处理方法和装置,其中,所述方法包括:提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像;对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。本申请提供的技术方案适用于复杂环境内的图像识别,实现了更具有普适性的图像识别机制。

Description

一种图像处理方法和装置
技术领域
本申请涉及图像识别技术领域,特别涉及一种图像处理方法和装置。
背景技术
多年来,人脸识别技术虽然取得了很大的进展,但是实际场景的不可控因素(如摄像机、光照、遮挡、角度、年龄、表情等)给人脸识别系统的识别率带来了巨大的挑战,因此提高识别系统的鲁棒性和识别率就成了重要目标之一。人脸识别过程的核心是特征提取算法,而提高人脸识别精度的通常方法是寻找一种高鲁棒的特征提取算法。
在计算机视觉领域,已经围绕图像特征描述、提取开展了许多研究工作,提出了各种适用于人脸识别(FR)的图像局部特征描述子,其中主要有Gabor小波变换,局部二值模式(LBP),局部三值模式(LTP),尺度不变特征变换(SIFT),加速鲁棒特征(SURF),定向梯度直方图(HOG)等。其中,Gabor小波变换的内核与哺乳动物皮质简单细胞的2D感受野外形相似。Gabor小波变换具有空间局部性和方向选择性的优良特性,并且能够在空间和频域中实现最优化定位。虽然Gabor小波变换算法提取的特征对人脸识别的精度有一定的提高,但是对噪声和非受控条件下的各种影响因素的鲁棒性不好。此外,原始的Gabor小波变换会根据尺度和方向的数量产生他们乘积级别的特征图像,这在识别过程中容易导致维数灾难,因此研究者们提出了一些改进的Gabor小波变换算法。
LBP是一种经典的特征描述子,被广泛应用于模式识别和图像分类。它以循环顺序的方式编码像素与其周围邻域像素之间的关系。这种特征描述子通过将目标像素周围的像素值与中心像素进行比较进而对中心像素值重新编码,以此加强对纹理特征的表示能力,减少其对中心像素值的依赖。它的编码过程如图1所示,其中,nc表示局部邻域的中心像素的灰度值,ni是半径为R的圆上的N个等间隔像素的值。为了适应不同尺度的纹理特征,将3*3的邻域扩展到任意大小邻域,并用圆形邻域代替了正方形邻域,改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点。从而得到了半径为R的圆形区域内含有N个采样点的LBP算子。LBP算子具有对光照较为鲁棒且计算相对简单的优点,因此适合描述图像局部区域。然而,LBP算子倾向于产生相当长的直方图,并且对于图像的纹理平坦光滑区域不够稳健。
因此,有人提出了一种改进的LBP描述子,即CS-LBP描述子。它是一种通过比较关于中心像素点对称的邻域点的灰度值来进行编码的纹理描述子。CS-LBP算子只关心目标像素周围的像素关系,与目标像素值本身无关,因此该算子对纹理平坦区域的描述较为鲁棒。它的编码过程如图2所示,其中,ni和ni+N/2表示在半径为R的圆上N个等间距像素的中心对称像素对的灰度值。CS-LBP特征描述子虽然相比LBP降低了特征的描述维度并提升识别效率,但两者都存在一个问题,无法获得区分更多细节的尺度和方向信息。有人将LBP二值编码拓展到三值编码,提出局部三值模式(LTP),对光照和噪声干扰具有更好的鲁棒性。然而LTP提取的特征维度远超LBP特征描述子提取的特征维度,约为其25倍,极大的增加了特征提取这一过程的计算复杂度,从而影响到识别效率。这对中间过程的特征表示带来一定的困难,同时也影响了识别的效率。
发明内容
有鉴于此,本申请实施例提供了一种图像处理方法和装置,以解决现有技术中存在的缺陷。
本申请实施例公开了一种图像处理方法,包括:
提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,其中Y<X;
对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。
优选的,对所述Y个融合后的幅值图像进行编码的步骤包括:
步骤一、计算每个幅值图像中各目标像素周围像素差值的标准差;
步骤二、以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值;
步骤三、遍历所述Y个融合后的幅值图像中的每个像素,以每个像素作为目标像素根据所述步骤一和所述步骤二编码得到每个像素的特征值。
优选的,计算每个幅值图像中各目标像素周围像素差值的标准差的步骤包括:
以所述目标像素为中心,计算其周围8邻域内的4对中心对称像素对的像素差值;
计算所述4对中心对称像素对的像素差值的标准差。
优选的,以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值的步骤包括:
通过将所述4对中心对称像素对的像素差值分别与所述标准差进行比较,对所述目标像素进行三进制编码;
将所述三进制编码转换为十进制数据,得到所述目标像素的特征值。
优选的,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重的步骤包括:
将所述幅值图像目标像素的值分别与其周围各个像素的值相减并取绝对值;
将所述绝对值相加得到的值作为所述目标像素的权重值。
优选的,所述提取待处理图像的X个幅值图像的步骤之前,还包括:
对原始图像进行预处理,得到所述待处理图像。
优选的,所述对原始图像进行预处理,得到所述待处理图像的步骤包括:
对所述原始图像进行直方图均衡化处理,得到第一中间图像;
对所述原始图像进行多尺度Retinex算法MSR处理,得到第二中间图像;
对所述第一中间图像进行小波分解,得到第一高频分量、第一低频分量、第一水平分量和第一垂直分量;
对所述第二中间图像进行小波分解,得到第二高频分量、第二低频分量、第二水平分量和第二垂直分量;
取所述第一高频分量和所述第二高频分量的绝对值大的分量作为融合后高频分量;
对所述第一低频分量和所述第二低频分量、所述第一水平分量和所述第二水平分量、所述第一垂直分量和所述经二垂直分量分别进行加权平均处理,得到融合后低频分量、融合后水平分量和融合后垂直分量;
将所述融合后高频分量、融合后低频分量、融合后水平分量和融合后垂直分量进行小波融合,得到所述待处理图像。
优选的,该方法还包括:
将所述图像特征作为标准特征,将所述标准特征及该标准特征与相应的原始图像的关联关系存储至特征数据库。
优选的,该方法还包括:
根据待识别图像的图像特征查找所述特征数据库;
在所述特征数据库中存在与所述待识别图像的图像特征匹配的标准特征的情况下,以所述标准特征与相应的原始图像的关联关系作为对所述待识别图像的识别结果。
本发明还提供了一种图像处理装置,包括:
多尺度图像分解模块,用于提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,其中Y<X;
融合多尺度特征提取模块,用于对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。
优选的,所述融合多尺度特征提取模块包括:
标准差计算单元,用于计算每个幅值图像中各目标像素周围像素差值的标准差;
编码单元,用于以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值;
编码控制单元,用于遍历所述Y个融合后的幅值图像中的每个像素,以每个像素作为目标像素通过所述标准差计算单元和所述编码单元得到每个像素的特征值。
优选的,所述标准差计算单元,具体用于以所述目标像素为中心,计算其周围8邻域内的4对中心对称像素对的像素差值,计算所述4对中心对称像素对的像素差值的标准差。
优选的,所述编码单元,具体用于通过将所述4对中心对称像素对的像素差值分别与所述标准差进行比较,对所述目标像素进行三进制编码,将所述三进制编码转换为十进制数据,得到所述目标像素的特征值。
优选的,所述融合多尺度特征提取模块还包括:
权重计算单元,用于将权值图像中目标像素的值分别与其周围的各个像素的值相减并取绝对值,将所述绝对值相加得到的值作为所述目标像素的权重值。
优选的,该装置还包括:
图像预处理模块,用于对原始图像进行预处理,得到所述待处理图像。
优选的,所述图像预处理模块包括:
第一中间图像生成单元,用于对所述原始图像进行直方图均衡化处理,得到第一中间图像;
第二中间图像生成单元,用于对所述原始图像进行多尺度Retinex算法MSR处理,得到第二中间图像;
中间图像分解单元,用于对所述第一中间图像进行小波分解,得到第一高频分量、第一低频分量、第一水平分量和第一垂直分量,
对所述第二中间图像进行小波分解,得到第二高频分量、第二低频分量、第二水平分量和第二垂直分量;
特征融合单元,用于取所述第一高频分量和所述第二高频分量的绝对值大的分量作为融合后高频分量,
对所述第一低频分量和所述第二低频分量、所述第一水平分量和所述第二水平分量、所述第一垂直分量和所述经二垂直分量分别进行加权平均处理,得到融合后低频分量、融合后水平分量和融合后垂直分量;
待处理图像合成单元,用于将所述融合后高频分量、融合后低频分量、融合后水平分量和融合后垂直分量进行小波融合,得到所述待处理图像。
本发明还提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现如上所述的图像处理方法的步骤。
本发明还提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如上所述的图像处理方法的步骤。
本申请提供的图像处理方法和装置,提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。提取了包含原始图像的多个尺度的特征向量,获取最为丰富与准确的描述信息,同时按照尺度方向对特征向量进行融合,减少了描述信息中的冗余信息,解决了现有的人脸识别技术鲁棒性欠佳、细节描述丢失、识别效率低下的问题,在对多尺度的幅值特征进行编码的过程中兼顾局部的像素特性进而提取特征,由于使用统计特征不必考虑图像获取的具体环境,实现了更具有普适性的图像识别机制。
附图说明
图1是LBP编码过程原理示意图;
图2是CS-LBP编码过程原理示意图;
图3是本申请的实施例提供的一种图像处理方法的流程示意图;
图4是图3中步骤301的具体实现流程示意图;
图5是图3中步骤303的具体实现流程示意图;
图6是本发明的实施例中特征值编码的原理示意图;
图7是本申请的实施例提供的一种图像处理装置的结构示意图;
图8是图7中融合多尺度特征提取模块702的结构示意图;
图9是图7中图像预处理模块703的结构示意图;
图10是本申请的实施例提供的又一种图像处理装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
现有的人脸识别技术所使用的局部特征描述算法,存在鲁棒性欠佳、细节描述丢失、识别效率低下的问题。
为了解决上述问题,在本申请中,提供了一种图像处理方法和装置,在下面的实施例中逐一进行详细说明。
本申请的实施例提供的图像处理方法完成图像识别尤其是人脸识别的流程如图3所示,包括步骤301至步骤306。
步骤301、对原始图像进行预处理,得到待处理图像。
本发明实施例中,在系统初始化时,采集注册登记的人脸图像存入人脸图像数据库。采集待识别的人脸图像获得原始图像。为了提高算法对非受控条件下人脸识别的鲁棒性,本步骤中,通过使用小波分解,对原始图像进行简单预处理,提高算法的适应性并提高算法的识别精度。将图像视为一种能量信号,根据所蕴含的能量不同,在频域将其分解,而图像的纹理信息通常包含在高频段,而平坦区域的信息包含在低频段,通过一定的滤波规则可以保留图像的最多信息,进而提高识别精度。通过使用小波分解并融合可以提高图像的预处理效果。
本步骤具体如图4所示,包括步骤3011至步骤3017。
步骤3011、对所述原始图像进行直方图均衡化处理,得到第一中间图像,对所述第一中间图像进行小波分解,得到第一高频分量、第一低频分量、第一水平分量和第一垂直分量。
步骤3012、对所述原始图像进行MSR处理,得到第二中间图像。
需要说明的是,上述“第一高频分量、第一低频分量、第一水平分量和第一垂直分量”中的“第一”,与“第二高频分量、第二低频分量、第二水平分量和第二垂直分量”中的“第二”,只是为了方便区别描述两个不同的中间图像经小波分解后得到的两组分量结果,在得到分量过程中所使用的方法是相同的。
步骤3013、对所述第一中间图像进行小波分解,得到第一高频分量、第一低频分量、第一水平分量和第一垂直分量。
步骤3014、对所述第二中间图像进行小波分解,得到第二高频分量、第二低频分量、第二水平分量和第二垂直分量。
步骤3015、取所述第一高频分量和所述第二高频分量的绝对值大的分量作为融合后高频分量。
步骤3016、对所述第一低频分量和所述第二低频分量、所述第一水平分量和所述第二水平分量、所述第一垂直分量和所述经二垂直分量分别进行加权平均处理,得到融合后低频分量、融合后水平分量和融合后垂直分量。
步骤3017、将所述融合后高频分量、融合后低频分量、融合后水平分量和融合后垂直分量进行小波融合,得到所述待处理图像。
以下为本步骤的一个具体实现举例:
a)对图像采集设备所获得的原始图像分别进行直方图均衡化处理(中间图像A)和MSR算法处理(中间图像B)。
b)对中间图像A和中间图像B分别进行小波分解,分别获得四种频率分量:高频分量、低频分量、水平分量、垂直分量。
c)对高频分量进行取绝对值最大原则,其他分量取加权平均原则,对不同层次和不同特征进行融合。这里的层次指的是上述小波分解后产生的四个不同分量,将其视为四个层次,而将产生的分量作为特征。具体融合处理原则如下:
A的高频分量和B的高频分量->取绝对值最大->融合后高频分量,
A的低频分量和B的低频分量->取加权平均->融合后低频分量,
A的水平分量和B的水平分量->取加权平均->融合后水平分量,
A的垂直分量和B的垂直分量->取加权平均->融合后垂直分量。
d)将所获得的四个新的分量通过小波融合,融合出来新的图像作为输出,作为下一步骤的输入。通过使用小波分解并融合可以融合直方图均衡化法和MSR算法两种方法的优势,进而提高图像的预处理效果。
步骤302、提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像。
本申请的实施例中,需要配置尺度参数和方向参数,以基于所述尺度参数和所述方向参数提取所述待处理图像的所述X个幅值图像。配置所述尺度参数为Y,对尺度特征相同的幅值图像进行融合后,就得到Y个整合后的幅值图像,Y<X。在配置尺度参数为M,方向参数为N时,X=M*N,Y=M,M和N为自然整数。
对相同尺度特征的幅值图像融合实质上是在保留更多鉴别信息的同时,对特征向量进行降维,降低计算复杂度。本步骤中,提取和保留越多的鉴别信息,越有益于提升面部识别准确率。例如,为了保证图像描述的信息量充足,本步骤中使用Gabor小波变换算法,由于Gabor小波变换算法可以对图像进行不同方向和不同尺度的信息进行提取,其提取的特征与人眼神经细胞感受野获取的信息最为相似。通常作为识别特征的是通过Gabor小波变换以后获得的幅值图像,因为幅值图像包含了面部图像的大部分能量信息。同时Gabor小波变换算法获取的尺度参数和方向参数可调,根据实际应用情况配置参数值。优选的,设置尺度参数为3,方向参数为4。尺度参数值为3,表示的是使用滤波器的窗口有三个不同大小的型号;方向参数为4,表示的是Gabor小波变换中核函数选取参数中角频率有选择了4个,分别为0,π/4,π/2,3π/4,不同的频率滤波器可以获得不同频率的图像纹理信息。因此一共会产生12幅幅值图像,而在相同尺度上进行融合,可以获得3幅最终的融合后的幅值图像。
为了减少特征信息的冗余和提高计算性能,改进传统的Gabor小波变换算法,使其在相同尺度上进行融合,通过这一操作,可以明显提高计算速度,同时不会降低识别精度。以步骤301中得到的待处理图像作为输入,通过多尺度Gabor小波变换算法融合的三个尺度的幅值图像作为输出。
步骤303、对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。
对所述的Y个融合后的幅值图像进行自定义阈值的局部三值模式编码,同时使用周围像素与中心像素的关系为编码后的中心像素增加权重,最终得到Y个编码后的纹理特征图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述处理图像的特征向量。本步骤具体如图5所示,包括:
步骤3031、计算每个幅值图像中各目标像素周围像素差值的标准差。
具体的,对每个幅值图像,计算其各个目标像素8邻域内的中心对称像素对的像素差值的标准差。以所述目标像素为中心,计算其周围8邻域内的4对中心对称像素对的像素差值,计算所述4对中心对称像素对的像素差值的标准差。
步骤3032、以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值。
本步骤中,通过将所述4对中心对称像素对的像素差值分别与所述标准差进行比较,对所述目标像素进行三进制编码;将所述三进制编码转换为十进制数据,得到所述目标像素的特征值。
实现原理如图6所示,以8邻域为例。计算图6中,以目标像素为中心的中心对称像素的差值(n4-n0、n5-n1、…),共得到4个差值,将所得的差值的标准差作为阈值T;将4个中心对称像素的差值分别与阈值进行比较,如果差值大于T则编码系数取值为2,小于-T编码系数取值为0,其余情况系数取值为1;根据图6中公式对图像进行三进制编码,将编码得到的三进制数据转变为10进制数值,该数值即为该中心像素的特征值,也可理解为特征图像的像素值。
步骤3033、遍历所述Y个融合后的幅值图像中的每个像素,以每个像素作为目标像素根据所述步骤3031和步骤3032编码得到每个像素的特征值。
本步骤中,遍历整幅图像,计算每个像素点的特征值,即得到新的纹理特征图像。
然后,即可根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,将所述幅值图像目标像素的值分别与其周围各个像素的值相减并取绝对值,将所述绝对值相加得到的值作为所述目标像素的权重值。
仍以步骤302中的举例为例进行说明,以步骤302中输出的三个尺度的Gabor小波变换算法幅值图像作为输入,对幅值图像进行提取纹理特征并编码,便于进一步的特征分类。为了加强图像的局部特征以及减少对局部像素的依赖性,本申请的实施例使用像素值的统计特性设置动态的阈值,使之对局部块的适应性更好。阈值的具体设置方法是通过计算目标像素周围邻域中心对称像素对像素差值的标准差,以此最大程度的减小特征对中心像素的依赖性,提高特征描述子的鲁棒性。接着通过比较目标像素周围邻域的像素对差值和阈值的大小关系,对其进行0,1,2的三值模式编码。然后,将编码过后的图像进行直方图统计。本申请的实施例有别于传统的直方图统计方法,在编码后根据图像的局部特性对每个编码后的特征值增加权重,由于对图像的编码过程中没有考虑中心像素,同时为了保证提取到的图像特征的完整性,在对特征值统计过程中使用周围像素值与中心像素的差值的绝对值之和作为权重。如图6所示,将目标像素nc周围的8邻域里的8个像素值分别与nc相减并取绝对值,最后绝对值相加,得到的数值即为nc像素处的权重。
在完上以上计算分析后,输出两个值:编码后的纹理特征图像矩阵和权值矩阵。结合权重和特征值进行直方图统计,以纹理特征图像矩阵作为索引值(索引值可以理解为直方图的横轴及灰度值),取出权值矩阵中对应位置的权值累积相加起来(权值可以理解为直方图的纵轴,即某一灰度值所包含的像素个数),并顺序排列,即可得到最终图像的特征(最终图像的特征为一维向量)。最终将多尺度的带有权重的统计直方图特征级联作为最终的面部图像特征,并作为下一步骤的输入。
本步骤中生成的级联后的统计直方图,可作为标准特征收集起来,储存在如人脸库等特征数据库中,作为后续人脸识别、图像匹配等应用场景下的参考标准值,参见步骤304。在对需要识别的图像进行处理后得到该图像的级联后的统计直方图后,可以该级联后的统计直方图作为识别匹配时的输入,如步骤305至步骤306所述。
步骤304、将所述图像特征作为标准特征,将所述标准特征及该标准特征与相应的原始图像的关联关系存储至特征数据库。
步骤305、根据待识别图像的图像特征查找所述特征数据库。
本步骤中,获取待识别图像的特征后,根据获取特征查找所述特征数据库。
步骤306、在所述特征数据库中存在与所述待识别图像的图像特征匹配的标准特征的情况下,以所述标准特征与相应的原始图像的关联关系作为对所述待识别图像的识别结果。
本步骤中,以步骤303中输出的带有权重的统计直方图这一特征作为输入,与人脸库等特征数据库中的标准特征进行匹配,以匹配得到的标准特征作为对所述待处理图像的识别结果,同时输出给用户。如,通过计算待处理图片目标与人脸库中通过训练好的特征的卡方距离,选择最短的距离的人脸类别作为最终的待识目标的类别。此外,使用欧式距离、余弦距离、相关系数、闵可夫斯基距离等判定方式亦可完成特征匹配。
本申请实施例提供了一种图像处理方法,针对非受控环境下,人脸识别已有特征描述和识别算法性能易受到光照、姿态、遮挡等外在因素的影响,鲁棒性不足、计算复杂度高等问题,结合小波融合预处理及多尺度小波变换算法获取多方向的幅值图像,尽可能保留图像的本质信息,消除外界因素的影响;从局部的统计特征获得动态的阈值,消除图像特征对中心像素的过于依赖;基于动态阈值对纹理图像进行编码,并在此过程中,引入权值矩阵的计算,用于获取统计直方图,从而实现对面部图像进行鲁棒的描述,同时降低了计算复杂度。所提算法对光照和遮挡均具有鲁棒性能,同时在应对稍加复杂的背景因素,仍然能取得理想的识别性能。
本申请的一实施例还提供了一种图像处理装置,其结构如图7所示,包括:
多尺度图像分解模块701,用于提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,其中Y<X;
融合多尺度特征提取模块702,用于对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。
优选的,所述融合多尺度特征提取模块702的结构如图8所示,包括:
标准差计算单元7021,用于计算每个幅值图像中各目标像素周围像素差值的标准差;
编码单元7022,用于以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值;
编码控制单元7023,用于遍历所述Y个融合后的幅值图像中的每个像素,以每个像素作为目标像素通过所述标准差计算单元和所述编码单元得到每个像素的特征值。
优选的,7021所述标准差计算单元,具体用于用于以所述目标像素为中心,计算其周围8邻域内的4对中心对称像素对的像素差值,计算所述4对中心对称像素对的像素差值的标准差。
优选的,所述编码单元7022,具体用于通过将所述4对中心对称像素对的像素差值分别与所述标准差进行比较,对所述目标像素进行三进制编码,将所述三进制编码转换为十进制数据,得到所述目标像素的特征值。
优选的,所述融合多尺度特征提取模块702还包括:
权重计算单元7024,用于将将权值图像中目标像素的值分别与其周围的各个像素的值相减并取绝对值,将所述绝对值相加得到的值作为所述目标像素的权重值。
优选的,该装置还包括:
图像预处理模块703,用于对原始图像进行预处理,得到所述待处理图像。
优选的,所述图像预处理模块703的结构如图9所示,包括:
第一中间图像生成单元7031,用于对所述原始图像进行直方图均衡化处理,得到第一中间图像;
第二中间图像生成单元7032,用于对所述原始图像进行多尺度增强算法MSR处理,得到第二中间图像;
中间图像分解单元7033,用于对所述第一中间图像进行小波分解,得到第一高频分量、第一低频分量、第一水平分量和第一垂直分量,
对所述第二中间图像进行小波分解,得到第二高频分量、第二低频分量、第二水平分量和第二垂直分量;
特征融合单元7034,用于取所述第一高频分量和所述第二高频分量的绝对值大的分量作为融合后高频分量,
对所述第一低频分量和所述第二低频分量、所述第一水平分量和所述第二水平分量、所述第一垂直分量和所述经二垂直分量分别进行加权平均处理,得到融合后低频分量、融合后水平分量和融合后垂直分量;
待处理图像合成单元7035,用于将所述融合后高频分量、融合后低频分量、融合后水平分量和融合后垂直分量进行小波融合,得到所述待处理图像。
进一步的,该装置如图10所示,还包括:
特征数据库704,用于将所述图像特征作为标准特征,存储所述标准特征及该标准特征与相应的原始图像的关联关系存储。
数据库查找模块705,用于根据待识别图像的图像特征查找所述特征数据库。
图像识别模块706,用于在所述特征数据库中存在与所述待识别图像的图像特征匹配的标准特征的情况下,以所述标准特征与相应的原始图像的关联关系作为对所述待识别图像的识别结果。
上述图像处理装置可集成于具有人脸识别的终端中,例如签到/打卡机、电子门锁、手机、摄像头等;也可以将其中的部分模块或整个装置集成于远端。
本申请实施例的图像处理装置,能够与本申请的实施例提供的一种图像处理方法相结合,提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。提取了包含原始图像的多个尺度的特征向量,获取最为丰富与准确的描述信息,同时按照尺度方向对特征向量进行融合,减少了描述信息中的冗余信息,解决了现有的人脸识别技术鲁棒性欠佳、细节描述丢失、识别效率低下的问题,在对多尺度的幅值特征进行编码的过程中兼顾局部的像素特性进而提取特征,实现了更具有普适性的图像识别机制。对原始图像的预处理以得到待处理图像对整个识别过程至关重要,减少了其他环境的因素的影响,进而提高了算法的识别精度。在人脸识别应用场景下,作为识别过程中必不可少的人脸库中的标准特征需要提前准备,使用本申请实施例提供的技术方案的处理采样图片获得特征并保存不仅可以减少存储空间,同时可以加快识别的时间。
本申请的一实施例还提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现如上述图像处理方法的步骤。该计算设备的部件包括但不限于存储器和处理器。处理器与存储器相连接。
计算设备还可以包括网络接口,网络接口使得计算设备能够经由一个或多个网络通信。这些网络的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备的其他部件也可以彼此相连接,例如通过总线。应当理解,本领域技术人员可以根据需要,增添或替换该计算设备中的其他部件。
计算设备可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备还可以是移动式或静止式的服务器。
其中,处理器可以执行本申请的实施例提供的图像处理方法中的步骤。
本申请的实施例还提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如上述图像处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,其中Y<X;
对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。
2.根据权利要求1所述的图像处理方法,其特征在于,对所述Y个融合后的幅值图像进行编码的步骤包括:
步骤一、计算每个幅值图像中各目标像素周围像素差值的标准差;
步骤二、以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值;
步骤三、遍历所述Y个融合后的幅值图像中的每个像素,以每个像素作为目标像素根据所述步骤一和所述步骤二编码得到每个像素的特征值。
3.根据权利要求2所述的图像处理方法,其特征在于,计算每个幅值图像中各目标像素周围像素差值的标准差的步骤包括:
以所述目标像素为中心,计算其周围8邻域内的4对中心对称像素对的像素差值;
计算所述4对中心对称像素对的像素差值的标准差。
4.根据权利要求3所述的图像处理方法,其特征在于,以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值的步骤包括:
通过将所述4对中心对称像素对的像素差值分别与所述标准差进行比较,对所述目标像素进行三进制编码;
将所述三进制编码转换为十进制数据,得到所述目标像素的特征值。
5.一种图像处理装置,其特征在于,包括:
多尺度图像分解模块,用于提取待处理图像的X个幅值图像,对同一尺度上不同方向的多个幅值图像进行融合,得到Y个融合后的幅值图像,其中Y<X;
融合多尺度特征提取模块,用于对所述Y个融合后的幅值图像进行编码,根据每个幅值图像的局部特性为编码后生成的各个特征值分配权重,得到所述Y个融合后的幅值图像对应的具有权重信息的Y个统计直方图,将所述Y个统计直方图级联,形成所述待处理图像的特征向量。
6.根据权利要求5所述的图像处理装置,其特征在于,所述融合多尺度特征提取模块包括:
标准差计算单元,用于计算每个幅值图像中各目标像素周围像素差值的标准差;
编码单元,用于以所述标准差作为相应算子的阈值,对所述目标像素进行编码,得到所述目标像素的特征值;
编码控制单元,用于遍历所述Y个融合后的幅值图像中的每个像素,以每个像素作为目标像素通过所述标准差计算单元和所述编码单元得到每个像素的特征值。
7.根据权利要求6所述的图像处理装置,其特征在于,
所述标准差计算单元,具体用于以所述目标像素为中心,计算其周围8邻域内的4对中心对称像素对的像素差值,计算所述4对中心对称像素对的像素差值的标准差。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述编码单元,具体用于通过将所述4对中心对称像素对的像素差值分别与所述标准差进行比较,对所述目标像素进行三进制编码,将所述三进制编码转换为十进制数据,得到所述目标像素的特征值。
9.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现如权利要求1-4中任意一项所述方法的步骤。
10.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。
CN201811014037.4A 2018-08-31 2018-08-31 一种图像处理方法和装置 Active CN109241905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811014037.4A CN109241905B (zh) 2018-08-31 2018-08-31 一种图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811014037.4A CN109241905B (zh) 2018-08-31 2018-08-31 一种图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN109241905A true CN109241905A (zh) 2019-01-18
CN109241905B CN109241905B (zh) 2021-07-02

Family

ID=65059955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811014037.4A Active CN109241905B (zh) 2018-08-31 2018-08-31 一种图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN109241905B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233037A (zh) * 2020-10-23 2021-01-15 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法
CN112488121A (zh) * 2020-11-16 2021-03-12 广州杰赛科技股份有限公司 一种车辆的识别方法、装置、设备及存储介质
CN113436070A (zh) * 2021-06-20 2021-09-24 四川大学 一种基于深度神经网络的眼底图像拼接方法
CN115393685A (zh) * 2022-10-28 2022-11-25 良业科技集团股份有限公司 基于可拓展模型的文旅数据处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024141A (zh) * 2010-06-29 2011-04-20 上海大学 基于Gabor小波变换和局部二值模式优化的人脸识别方法
CN102663426A (zh) * 2012-03-29 2012-09-12 东南大学 一种基于小波多尺度分析和局部三值模式的人脸识别方法
CN103026384A (zh) * 2011-01-20 2013-04-03 松下电器产业株式会社 特征提取装置、特征提取方法、特征提取程序以及图像处理装置
US20150295711A1 (en) * 2014-04-09 2015-10-15 University Of Connecticut Method and System for Verification and Authentication Using Optically Encoded QR Codes
CN105809129A (zh) * 2016-03-07 2016-07-27 南京邮电大学 一种基于Gabor小波的多阈值LBP人脸识别方法
CN107463917A (zh) * 2017-08-16 2017-12-12 重庆邮电大学 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024141A (zh) * 2010-06-29 2011-04-20 上海大学 基于Gabor小波变换和局部二值模式优化的人脸识别方法
CN103026384A (zh) * 2011-01-20 2013-04-03 松下电器产业株式会社 特征提取装置、特征提取方法、特征提取程序以及图像处理装置
CN102663426A (zh) * 2012-03-29 2012-09-12 东南大学 一种基于小波多尺度分析和局部三值模式的人脸识别方法
US20150295711A1 (en) * 2014-04-09 2015-10-15 University Of Connecticut Method and System for Verification and Authentication Using Optically Encoded QR Codes
CN105809129A (zh) * 2016-03-07 2016-07-27 南京邮电大学 一种基于Gabor小波的多阈值LBP人脸识别方法
CN107463917A (zh) * 2017-08-16 2017-12-12 重庆邮电大学 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN LI ET AL.: "Ubiquitous single-sample face recognition under occlusion based on sparse representation with dual features", 《JOURNAL OF AMBIENT INTELLIGENCE AND HUMANIZED COMPUTING》 *
WANKOU YANG ET AL.: "Face recognition using adaptive local ternary patterns method", 《NEUROCOMPUTING》 *
夏军等: "基于局部Gabor自适应三值模式的人脸识别", 《计算机工程与应用》 *
王红岭: "基于ALGTP的人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈雪: "人脸表情识别算法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233037A (zh) * 2020-10-23 2021-01-15 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法
CN112233037B (zh) * 2020-10-23 2021-06-11 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法
CN112488121A (zh) * 2020-11-16 2021-03-12 广州杰赛科技股份有限公司 一种车辆的识别方法、装置、设备及存储介质
CN113436070A (zh) * 2021-06-20 2021-09-24 四川大学 一种基于深度神经网络的眼底图像拼接方法
CN113436070B (zh) * 2021-06-20 2022-05-17 四川大学 一种基于深度神经网络的眼底图像拼接方法
CN115393685A (zh) * 2022-10-28 2022-11-25 良业科技集团股份有限公司 基于可拓展模型的文旅数据处理方法及系统

Also Published As

Publication number Publication date
CN109241905B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN107563396B (zh) 一种电力巡检中保护屏智能识别系统的构建方法
CN107016370B (zh) 一种基于数据增强的部分遮挡人脸识别方法
CN109241905A (zh) 一种图像处理方法和装置
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
Varish et al. Image retrieval scheme using quantized bins of color image components and adaptive tetrolet transform
CN104778457B (zh) 基于多示例学习的视频人脸识别方法
CN111784706B (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN110728179A (zh) 一种采用多路卷积神经网络的猪脸识别方法
CN104881671B (zh) 一种基于2D‑Gabor的高分遥感影像局部特征提取方法
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
Naga Srinivasu et al. A comparative review of optimisation techniques in segmentation of brain MR images
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN110119695A (zh) 一种基于特征融合和机器学习的虹膜活性检测方法
Zhou et al. Fast minutiae extractor using neural network
CN111753119A (zh) 一种图像搜索方法、装置、电子设备及存储介质
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN112200812A (zh) 多阈值图像的二维分割方法
CN111931757A (zh) 基于mdlbp分块直方图和pca降维的指静脉快速排序方法及装置
CN110287759B (zh) 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN110909601A (zh) 一种基于深度学习的美瞳识别方法及系统
Chen et al. Contour detection by simulating the curvature cell in the visual cortex and its application to object classification
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN109948541A (zh) 一种面部情感识别方法与系统
Ye et al. Multi Dimension Fuzzy C-means Color Image Segmentation Based on Intelligent Analysis Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant