CN103971112A - 图像特征提取方法及装置 - Google Patents

图像特征提取方法及装置 Download PDF

Info

Publication number
CN103971112A
CN103971112A CN201310046365.3A CN201310046365A CN103971112A CN 103971112 A CN103971112 A CN 103971112A CN 201310046365 A CN201310046365 A CN 201310046365A CN 103971112 A CN103971112 A CN 103971112A
Authority
CN
China
Prior art keywords
point
matrix
sample
unique point
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310046365.3A
Other languages
English (en)
Other versions
CN103971112B (zh
Inventor
郭安泰
孙金阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310046365.3A priority Critical patent/CN103971112B/zh
Publication of CN103971112A publication Critical patent/CN103971112A/zh
Application granted granted Critical
Publication of CN103971112B publication Critical patent/CN103971112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种图像特征提取方法及装置,其方法包括:标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;从特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;根据随机森林局部纹理模型、特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。本发明基于主动形态模型算法的框架,利用随机森林算法生成的局部纹理模型,改善了主动形态模型算法在分辨率低的算法健壮性;减少光照和色差的干扰,增强脸部特征点定位的鲁棒性;同时极大的减小了计算复杂度,增加了特征点定位的实时性、准确性。

Description

图像特征提取方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像特征提取方法及装置。背景技术
目前,在照相软件中通常采用主动形态模型(ASM,Active Shape Model)来实现脸部特征点的定位和脸部轮廓的提取。其基本原理是:首先统计训练集中特征点连线法线上的图像梯度信息,之后将该梯度信息作为特征点逼近搜索的参照物,确定与训练集的梯度信息相似度最高的像素为目标特征点。
然而,现有的这种脸部特征的提取方法中,由于主动形态模型中的图像梯度信息易于受光照和色差以及个体样本差异影响,使得生成的局部纹理模型包含了过多的个体纹理信息,不具备唯一表征性,纹理模型健壮性欠佳;此外,主动形态模型中的建立局部纹理模型时,需要计算出法线上若干像素的梯度信息、归一化处理,生成特征点的梯度向量,然后计算出所有特征点的梯度向量矩阵,在搜索过程中每次需要计算当前搜索形状的梯度向量矩阵和训练集梯度向量矩阵的相似度,由此使得计算复杂度高;而且对于分辨率较低的图像,受限于局部像素信息,主动形态模型的梯度纹理模型识别效果较差。
发明内容
本发明的主要目的在于提供一种图像特征提取方法及装置,旨在降低计算复杂度,提高特征提取的准确性和实时性。
为了达到上述目的,本发明提出一种图像特征提取方法,包括:
标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;
从所述特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;
根据所述随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。
本发明还提出一种图像特征提取装置,包括:
标定模块,用于标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;
第一提取模块,用于从所述特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;
模型建立模块,用于通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;
第二提取模块,用于根据所述随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。
本发明提出的一种图像特征提取方法及装置,通过标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;从特征点矩阵中提取特征向量矩阵、特征向量值以及训练集图库的平均特征点几何位置;并通过随机森林算法生成训练集图库中每个特征点的随机森林局部纹理模型;以此随机森林局部纹理模型以及提取的特征向量矩阵、特征向量值和平均特征点几何位置对当前输入图像进行特征提取,由此,基于主动形态模型算法的框架,利用随机森林算法生成的局部纹理模型,改善了主动形态模型算法在分辨率低的算法健壮性;减少光照和色差的干扰,增强脸部特征点定位的鲁棒性;同时极大的减小了计算复杂度,增加了特征点定位的实时性、准确性。
附图说明
图1是本发明图像特征提取方法第一实施例的流程示意图;
图2是本发明图像特征提取方法第二实施例的流程示意图;
图3是本发明图像特征提取方法第三实施例的流程示意图;
图4是本发明图像特征提取装置第一实施例的结构示意图;
图5是本发明图像特征提取装置第一实施例中模型建立模块的结构示意图;
图6是本发明图像特征提取装置第一实施例中第二提取模块的结构示意图;
图7是本发明图像特征提取装置第二实施例的结构示意图;
图8是本发明图像特征提取装置第三实施例的结构示意图。
为了使本发明的技术方案更加清楚、明了,下面将结合附图作进一步详述。
具体实施方式
本发明实施例的解决方案主要是:基于主动形态模型算法的框架,利用随机森林算法生成局部纹理模型,根据该随机森林局部纹理模型以及从训练集图库的特征点矩阵中提取的特征向量矩阵、特征向量值和平均特征点几何位置对当前输入图像进行特征提取,以降低计算复杂度,提高特征提取的准确性和实时性。
如图1所示,本发明第一实施例提出一种图像特征提取方法,包括:
步骤S101,标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;
本实施例基于主动形态模型算法的框架,利用随机森林算法来优化主动形态模型中局部纹理生成算法,生成随机森林局部纹理模型,可用于图像中特征点的定位与提取。
其中,所涉及的图像可以是指定的某种类型图像,比如照相软件中对于人或某种动物的脸部特征点的定位及脸部轮廓提取。
具体地,首先基于给定的训练集图库建立随机森林局部纹理模型,并提取相应的参数。
对于给定的训练集图库,标定该训练集图库中各图像轮廓的特征点,如眼睛轮廓上的特征点,得到训练集图库的特征点矩阵。
步骤S102,从所述特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;
提取训练集图库训练集特征点矩阵的特征向量矩阵P和特征向量值I,以及训练集图库的平均特征点几何位置X,同时,通过随机森林算法提取每个特征点的随机森林,即随机森林局部纹理模型。
上述特征向量矩阵P、特征向量值I以及平均特征点几何位置X用于结合随机森林局部纹理模型计算获取目的特征点位置。
其中,生成训练集图库中每个特征点的随机森林局部纹理模型的过程如下:
S1、对训练集图库特征点矩阵中的每一特征点,将以该特征点为中心的MxM像素区域作为正样本,在该特征点周围随机抽取N(比如N=8)个伪特征点,并将以各伪特征点为中心的像素区域(比如MxM的矩形像素区域)作为负样本,得到N+1个正负样本;
S2、假设训练集图库包含S幅训练图,则将S幅训练图中对应该特征点的N+1个正负样本共S*(N+1)个样本作为该特征点的训练样本集;
S3、随机选取MxM像素区域内的两个像素点p1和p2;对于所述训练样本集中的每一样本,在对应像素点p1和p2处进行灰度值大小比较,将所述训练样本集分为左右子树集两类,形成当前节点;
具体地,通过对应像素点p1和p2处进行灰度值大小比较,将p1灰度值大于p2的样本送入当前节点的左边子树集,否则送入右边子树集,由此将训练样本集中的所有样本分成了两类。
S4、重复上述步骤S3预定次数,选取预定条件的左右子树集,并将对应的像素点p1和p2,作为该左右子树集所在节点的分类器点对;
重复上述步骤S3预定次数,将分类效果最佳的随机像素点对作为该节点的分类器点对。
具体判断过程如下:
通过重复步骤S3预定次数得到若干对左右子树集,比较所有的左子树集,从中选取正样本比率最高的左子树集所对应的随机像素点对p1和p2,作为该节点的分类器点对;或者,比较所有的右子树集,从中选取负样本比率最高的右子树集所对应的随机像素点对p1和p2,作为该节点的分类器点对。
上述M、N均为自然数。
S5、对选取的所述左右子树集分别进行步骤S3-步骤S4,直到顶层节点(直至达到树的叶子节点或者达到最大层数)。获取各层节点的分类器点对,建立搜索路径;并获取各顶层节点的正样本数和总样本数;以各顶层节点的正样本数和总样本数的比率作为各顶层节点的相似概率,生成所述特征点的一决策树;
S6、重复上述步骤S3-S5,对每一特征点生成L颗决策树,从而形成该特征点的随机森林局部纹理模型,即形成该特征点的随机森林。
步骤S103,根据所述随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。
首先,初步估计当前输入图像中目标特征点的几何位置作为搜索的起始位置;并在所述起始位置附近选取一搜索区域;
对所述搜索区域内的每一像素点,根据所述随机森林局部纹理模型中对应的搜索路径,获取对应顶层节点的相似概率,取其中相似概率最大的像素点的位置作为改进特征点位置Y,并记录该改进特征点位置Y对应的相似概率W;
根据所述改进特征点位置Y、记录的对应的相似概率W,以及所述特征向量矩阵P、特征向量值I和平均特征点几何位置X,进行几何变换矩阵a和形状变换矩阵b的迭代计算直至收敛,获取最优几何变换矩阵a*和形状变换矩阵b*
具体计算公式如下:
通过求取满足下式的优化几何变换矩阵a*
a*=min(Y-a(X+Pb)TW(Y-a(X+Pb))) (1)
上述公式(1)中,Y是改进特征点位置;W为改进特征点位置对应的相似概率,P为特征向量矩阵;X为平均特征点几何位置;a为几何变换矩阵,b为形状变换矩阵,a和b预先给定一初始值。
之后再根据下式求取优化的形状变换矩阵b*
b * = min ( ( Y - a * ( X + Pb ) ) T W ( Y - a * ( X + Pb ) ) + Σ b i 2 / I i ) - - - ( 2 )
上述公式(2)中,Y是改进特征点位置;W为改进特征点位置对应的相似概率,P为特征向量矩阵;I为特征向量值;X为平均特征点几何位置。
通过上述公式(1)和(2),依次迭代计算每次最优的几何转换矩阵a*和形状变换矩阵b*,直至收敛,得到最终的最优几何转换矩阵a*和形状变换矩阵b*
最后,根据最优几何变换矩阵、形状变换矩阵、特征向量矩阵以及平均特征点几何位置计算获取目标特征点位置Y*
具体计算过程如下:
根据ASM算法,目标特征点几何位置Y*和训练集平均几何坐标X、特征向量矩阵P有如下关系:
Y*=a*(X+Pb*) (3)
根据上述公式(3)即可计算得到目标特征点几何位置Y*
本实施例通过上述方案,基于主动形态模型算法的框架,利用随机森林算法生成局部纹理模型,改善了主动形态模型算法在分辨率低的算法健壮性;减少光照和色差的干扰,增强脸部特征点定位的鲁棒性;而且基于随机森林的局部纹理模型算法,较梯度信息纹理模型,极大的减小了计算复杂度,增加了特征点定位的实时性,其定位结果较同类算法更准确和快速。
如图2所示,本发明第二实施例提出一种图像特征提取方法,在上述第一实施例的基础上,在上述步骤S102之前还包括:
步骤S104,对所述特征点矩阵进行图像轮廓归一化处理。
本实施例与上述第一实施例的区别在于,本实施例在得到训练集图库的特征点矩阵后,将训练集图库中的特征点轮廓归一化到标准轮廓,使得训练集图库中各图像的特征点轮廓具备统一性,比如,对于脸部图像,不同人的脸型各不相同,因此便于同一特征点(比如嘴角)的提取,需要对脸型轮廓进行归一化处理,使各脸部图像达到标准轮廓,以提高特征点提取计算的准确性和鲁棒性。他与第一实施例相同。
如图3所示,本发明第三实施例提出一种图像特征提取方法,在上述第二实施例的基础上,在上述步骤S104之后还包括:
步骤S105,对所述特征点矩阵进行PCA降维处理。
本实施例与上述第二实施例的区别在于,本实施例在得到训练集图库的特征点矩阵,并将训练集图库中的特征点轮廓归一化到标准轮廓后,需要对特征点矩阵进行PCA(Principal Component Analysis,主成分分析)降维处理,以降低后续计算的复杂度。其他与第二实施例相同。
如图4所示,本发明第一实施例提出一种图像特征提取装置,包括:标定模块201、第一提取模块202、模型建立模块203及第二提取模块204,其中:
标定模块201,用于标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;
第一提取模块202,用于从所述特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;
模型建立模块203,用于通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;
第二提取模块204,用于根据所述随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。
本实施例基于主动形态模型算法的框架,利用随机森林算法来优化主动形态模型中局部纹理生成算法,生成随机森林局部纹理模型,可用于图像中特征点的定位与提取。
其中,所涉及的图像可以是指定的某种类型图像,比如照相软件中对于人或某种动物的脸部特征点的定位及脸部轮廓提取。
具体地,首先基于给定的训练集图库建立随机森林局部纹理模型,并提取相应的参数。
对于给定的训练集图库,通过标定模块201标定该训练集图库中各图像轮廓的特征点,如眼睛轮廓上的特征点,得到训练集图库的特征点矩阵。
然后,由第一提取模块202提取训练集图库训练集特征点矩阵的特征向量矩阵P和特征向量值I,以及训练集图库的平均特征点几何位置X,同时,模型建立模块203通过随机森林算法提取每个特征点的随机森林,即随机森林局部纹理模型。
上述特征向量矩阵P、特征向量值I以及平均特征点几何位置X用于结合随机森林局部纹理模型计算获取目的特征点位置。
其中,生成训练集图库中每个特征点的随机森林局部纹理模型的过程如下:
S1、对训练集图库特征点矩阵中的每一特征点,将以该特征点为中心的MxM像素区域作为正样本,在该特征点周围随机抽取N(比如N=8)个伪特征点,并将以各伪特征点为中心的像素区域(比如MxM的矩形像素区域)作为负样本,得到N+1个正负样本;
S2、假设训练集图库包含S幅训练图,则将S幅训练图中对应该特征点的N+1个正负样本共S*(N+1)个样本作为该特征点的训练样本集;
S3、随机选取MxM像素区域内的两个像素点p1和p2;对于所述训练样本集中的每一样本,在对应像素点p1和p2处进行灰度值大小比较,将所述训练样本集分为左右子树集两类,形成当前节点;
具体地,通过对应像素点p1和p2处进行灰度值大小比较,将p1灰度值大于p2的样本送入当前节点的左边子树集,否则送入右边子树集,由此将训练样本集中的所有样本分成了两类。
S4、重复上述步骤S3预定次数,选取预定条件的左右子树集,并将对应的像素点p1和p2,作为该左右子树集所在节点的分类器点对;
重复上述步骤S3预定次数,将分类效果最佳的随机像素点对作为该节点的分类器点对。
具体判断过程如下:
通过重复步骤S3预定次数得到若干对左右子树集,比较所有的左子树集,从中选取正样本比率最高的左子树集所对应的随机像素点对p1和p2,作为该节点的分类器点对;或者,比较所有的右子树集,从中选取负样本比率最高的右子树集所对应的随机像素点对p1和p2,作为该节点的分类器点对。
上述M、N均为自然数。
S5、对选取的所述左右子树集分别进行步骤S3-步骤S4,直到顶层节点(直至达到树的叶子节点或者达到最大层数)。获取各层节点的分类器点对,建立搜索路径;并获取各顶层节点的正样本数和总样本数;以各顶层节点的正样本数和总样本数的比率作为各顶层节点的相似概率,生成所述特征点的一决策树;
S6、重复上述步骤S3-S5,对每一特征点生成L颗决策树,从而形成该特征点的随机森林局部纹理模型,即形成该特征点的随机森林。
首先,初步估计当前输入图像中目标特征点的几何位置作为搜索的起始位置;并在所述起始位置附近选取一搜索区域;
对所述搜索区域内的每一像素点,根据所述随机森林局部纹理模型中对应的搜索路径,获取对应顶层节点的相似概率,取其中相似概率最大的像素点的位置作为改进特征点位置Y,并记录该改进特征点位置Y对应的相似概率W;
根据所述改进特征点位置Y、记录的对应的相似概率W,以及所述特征向量矩阵P、特征向量值I和平均特征点几何位置X,进行几何变换矩阵a和形状变换矩阵b的迭代计算直至收敛,获取最优几何变换矩阵a*和形状变换矩阵b*
其中,优化几何变换矩阵a*采用上述公式(1),优化形状变换矩阵b*采用上述公式(2)。
上述公式(1)中,Y是改进特征点位置;W为改进特征点位置对应的相似概率,P为特征向量矩阵;X为平均特征点几何位置;a为几何变换矩阵,b为形状变换矩阵,a和b预先给定一初始值。
上述公式(2)中,Y是改进特征点位置;W为改进特征点位置对应的相似概率,P为特征向量矩阵;I为特征向量值;X为平均特征点几何位置。
通过上述公式(1)和(2),依次迭代计算每次最优的几何转换矩阵a*和形状变换矩阵b*,直至收敛,得到最终的最优几何转换矩阵a*和形状变换矩阵b*
最后,根据最优几何变换矩阵、形状变换矩阵、特征向量矩阵以及平均特征点几何位置计算获取目标特征点位置Y*
具体计算过程如下:
根据ASM算法,目标特征点几何位置Y*和训练集平均几何坐标X、特征向量矩阵P有如下关系:
Y*=a*(X+Pb*);
根据上述公式即可计算得到目标特征点几何位置Y*
具体实施过程中,如图5所示,所述模型建立模块203可以包括:正负样本获取单元2031、训练样本集获取单元2032、分类单元2033、选取单元2034、生成单元2035,其中:
正负样本获取单元2031,用于对所述特征点矩阵中的每一特征点,将以该特征点为中心的MxM像素区域作为正样本,在该特征点周围随机抽取N个伪特征点,并将以伪特征点为中心的MxM像素区域作为负样本,得到N+1个正负样本;
训练样本集获取单元2032,用于假设训练集图库包含S幅训练图,则将S幅训练图中对应该特征点的N+1个正负样本共S*(N+1)个样本作为该特征点的训练样本集;
分类单元2033,用于随机选取MxM像素区域内的两个像素点p1和p2;对于所述训练样本集中的每一样本,在对应像素点p1和p2处进行灰度值大小比较,将所述训练样本集分为左右子树集两类;
选取单元2034,用于在所述分类单元重复操作预定次数后,选取预定条件的左右子树集,并将对应的像素点p1和p2,作为该左右子树集所在节点的分类器点对;
生成单元2035,用于在对选取的所述左右子树集分别经过分类单元及选取单元操作,直到顶层节点后,获取各层节点的分类器点对,建立搜索路径;并获取各顶层节点的正样本数和总样本数;以各顶层节点的正样本数和总样本数的比率作为各顶层节点的相似概率,生成所述特征点的一决策树;并以此对每一特征点生成L颗决策树,形成该特征点的随机森林局部纹理模型。
如图6所示,所述第二提取模块204可以包括:估计选取单元2041、改进特征点位置获取单元2042、迭代计算单元2043、目标位置计算单元2044,其中:
估计选取单元2041,用于初步估计当前输入图像中待提取的特征点的几何位置作为搜索的起始位置;并在所述起始位置附近选取一搜索区域;
改进特征点位置获取单元2042,用于对所述搜索区域内的每一像素点,根据所述随机森林局部纹理模型中对应的搜索路径,获取对应顶层节点的相似概率,取其中相似概率最大的像素点的位置作为改进特征点位置,并记录对应的相似概率;
迭代计算单元2043,用于根据所述改进特征点位置、记录的对应的相似概率,以及所述特征向量矩阵、特征向量值和平均特征点几何位置,进行几何变换矩阵和形状变换矩阵的迭代计算直至收敛,获取最优几何变换矩阵和形状变换矩阵;
目标位置计算单元2044,用于根据所述最优几何变换矩阵、形状变换矩阵、特征向量矩阵以及平均特征点几何位置计算获取目标特征点位置。
本实施例通过上述方案,基于主动形态模型算法的框架,利用随机森林算法生成局部纹理模型,改善了主动形态模型算法在分辨率低的算法健壮性;减少光照和色差的干扰,增强脸部特征点定位的鲁棒性;而且基于随机森林的局部纹理模型算法,较梯度信息纹理模型,极大的减小了计算复杂度,增加了特征点定位的实时性,其定位结果较同类算法更准确和快速。
如图7所示,本发明第二实施例提出一种图像特征提取装置,在上述第一实施例的基础上,还包括:
归一化处理模块205,用于对所述特征点矩阵进行图像轮廓归一化处理。
本实施例与上述第一实施例的区别在于,本实施例在得到训练集图库的特征点矩阵后,将训练集图库中的特征点轮廓归一化到标准轮廓,使得训练集图库中各图像的特征点轮廓具备统一性,比如,对于脸部图像,不同人的脸型各不相同,因此便于同一特征点(比如嘴角)的提取,需要对脸型轮廓进行归一化处理,使各脸部图像达到标准轮廓,以提高特征点提取计算的准确性和鲁棒性。他与第一实施例相同。
如图8所示,本发明第三实施例提出一种图像特征提取装置,在上述第二实施例的基础上,还包括:
降维处理模块206,用于对所述特征点矩阵进行PCA降维处理。
本实施例与上述第二实施例的区别在于,本实施例在得到训练集图库的特征点矩阵,并将训练集图库中的特征点轮廓归一化到标准轮廓后,需要对特征点矩阵进行PCA降维处理,以降低后续计算的复杂度。其他与第二实施例相同。
相比现有技术,本发明图像特征提取方法具有如下优点:
现有技术的主动形态模型(ASM)中的图像梯度信息易于受光照和色差以及个体样本差异影响,使得生成的局部纹理模型包含了过多的个体纹理信息,不具备唯一表征性,纹理模型健壮性欠佳,而本发明提出的基于决策树的随机森林算法,能够有效的找出具有唯一辨识度的纹理信息,且通过随机森林纹理模型,可以计算出像素逼近目标特征点的最大似然概率,具有更稳健和更准确的搜索链路;
现有技术的主动形态模型(ASM)中的建立局部纹理模型时,需要计算出法线上若干像素的梯度信息、归一化处理,生成特征点的梯度向量,然后计算出所有特征点的梯度向量矩阵,在搜索过程中每次需要计算当前搜索形状的梯度向量矩阵和训练集梯度向量矩阵的相似度,其计算复杂度高;而本发明基于随机森林的局部纹理模型,可以仅需比较图像两点之间的灰度信息,不需要复杂的逻辑运算,搜索的计算复杂度远小于基于梯度信息的局部纹理模型,更加满足搜索的实时性需求;
此外,对于分辨率较低的图像,由于受限于局部像素信息,主动形态模型(ASM)的梯度纹理模型识别效果较差,而本发明基于随机森林的局部纹理模型,能够准确区分特征点和非特征点,建立有效性最佳的纹理模型。
本发明实施例图像特征提取方法及装置,通过标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;从特征点矩阵中提取特征向量矩阵、特征向量值以及训练集图库的平均特征点几何位置;并通过随机森林算法生成训练集图库中每个特征点的随机森林局部纹理模型;以此随机森林局部纹理模型以及提取的特征向量矩阵、特征向量值和平均特征点几何位置对当前输入图像进行特征提取,由此,基于主动形态模型算法的框架,利用随机森林算法生成的局部纹理模型,改善了主动形态模型算法在分辨率低的算法健壮性;减少光照和色差的干扰,增强脸部特征点定位的鲁棒性;同时极大的减小了计算复杂度,增加了特征点定位的实时性、准确性。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像特征提取方法,其特征在于,包括:
标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;
从所述特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;
通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;
根据所述随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。
2.根据权利要求1所述的方法,其特征在于,所述通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型的步骤包括:
S1、对所述特征点矩阵中的每一特征点,将以该特征点为中心的像素区域作为正样本,在该特征点周围随机抽取N个伪特征点,并将以伪特征点为中心的像素区域作为负样本,得到N+1个正负样本;
S2、设定训练集图库包含S幅训练图,则将S幅训练图中对应该特征点的N+1个正负样本共S*(N+1)个样本作为该特征点的训练样本集;
S3、随机选取所述像素区域内的两个像素点;对于所述训练样本集中的每一样本,在对应两个像素点处进行灰度值大小比较,将所述训练样本集分为左右子树集两类;
S4、重复上述步骤S3预定次数,选取预定条件的左右子树集,并将对应的两个像素点,作为该左右子树集所在节点的分类器点对;
S5、对选取的所述左右子树集分别进行步骤S3-步骤S4,直到顶层节点,获取各层节点的分类器点对,建立搜索路径;并获取各顶层节点的正样本数和总样本数;以各顶层节点的正样本数和总样本数的比率作为各顶层节点的相似概率,生成所述特征点的一决策树;
S6、重复上述步骤S3-S5,对每一特征点生成L颗决策树,形成该特征点的随机森林局部纹理模型。
3.根据权利要求1所述的方法,其特征在于,所述从特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置的步骤之前还包括:
对所述特征点矩阵进行图像轮廓归一化处理。
4.根据权利要求1所述的方法,其特征在于,所述从特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置的步骤之前还包括:
对所述特征点矩阵进行PCA降维处理。
5.根据权利要求2、3或4所述的方法,其特征在于,所述根据随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取的步骤包括:
选取当前输入图像中目标特征点的一几何位置作为搜索的起始位置;并在所述起始位置附近选取一搜索区域;
对所述搜索区域内的每一像素点,根据所述随机森林局部纹理模型中对应的搜索路径,获取对应顶层节点的相似概率,取其中相似概率最大的像素点的位置作为改进特征点位置,并记录对应的相似概率;
根据所述改进特征点位置、记录的对应的相似概率,以及所述特征向量矩阵、特征向量值和平均特征点几何位置,进行几何变换矩阵和形状变换矩阵的迭代计算直至收敛,获取最优几何变换矩阵和形状变换矩阵;
根据所述最优几何变换矩阵和形状变换矩阵、特征向量矩阵以及平均特征点几何位置计算获取目标特征点位置。
6.一种图像特征提取装置,其特征在于,包括:
标定模块,用于标定训练集图库中各图像轮廓的特征点,得到训练集图库的特征点矩阵;
第一提取模块,用于从所述特征点矩阵中提取特征向量矩阵、特征向量值以及所述训练集图库的平均特征点几何位置;
模型建立模块,用于通过随机森林算法生成所述训练集图库中每个特征点的随机森林局部纹理模型;
第二提取模块,用于根据所述随机森林局部纹理模型、所述特征向量矩阵、特征向量值以及平均特征点几何位置对当前输入图像进行特征提取。
7.根据权利要求6所述的装置,其特征在于,所述模型建立模块包括:
正负样本获取单元,用于对所述特征点矩阵中的每一特征点,将以该特征点为中心的像素区域作为正样本,在该特征点周围随机抽取N个伪特征点,并将以伪特征点为中心的像素区域作为负样本,得到N+1个正负样本;
训练样本集获取单元,用于设定训练集图库包含S幅训练图,则将S幅训练图中对应该特征点的N+1个正负样本共S*(N+1)个样本作为该特征点的训练样本集;
分类单元,用于随机选取所述像素区域内的两个像素点;对于所述训练样本集中的每一样本,在对应两个像素点处进行灰度值大小比较,将所述训练样本集分为左右子树集两类;
选取单元,用于在所述分类单元重复操作预定次数后,选取预定条件的左右子树集,并将对应的两个像素点,作为该左右子树集所在节点的分类器点对;
生成单元,用于在对选取的所述左右子树集分别经过分类单元及选取单元操作,直到顶层节点后,获取各层节点的分类器点对,建立搜索路径;并获取各顶层节点的正样本数和总样本数;以各顶层节点的正样本数和总样本数的比率作为各顶层节点的相似概率,生成所述特征点的一决策树;并以此对每一特征点生成L颗决策树,形成该特征点的随机森林局部纹理模型。
8.根据权利要求6所述的装置,其特征在于,还包括:
归一化处理模块,用于对所述特征点矩阵进行图像轮廓归一化处理。
9.根据权利要求6所述的装置,其特征在于,还包括:
降维处理模块,用于对所述特征点矩阵进行PCA降维处理。
10.根据权利要求7、8或9所述的装置,其特征在于,所述第二提取模块包括:
估计选取单元,用于选取当前输入图像中目标特征点的一几何位置作为搜索的起始位置;并在所述起始位置附近选取一搜索区域;
改进特征点位置获取单元,用于对所述搜索区域内的每一像素点,根据所述随机森林局部纹理模型中对应的搜索路径,获取对应顶层节点的相似概率,取其中相似概率最大的像素点的位置作为改进特征点位置,并记录对应的相似概率;
迭代计算单元,用于根据所述改进特征点位置、记录的对应的相似概率,以及所述特征向量矩阵、特征向量值和平均特征点几何位置,进行几何变换矩阵和形状变换矩阵的迭代计算直至收敛,获取最优几何变换矩阵和形状变换矩阵;
目标位置计算单元,用于根据所述最优几何变换矩阵和形状变换矩阵、特征向量矩阵以及平均特征点几何位置计算获取目标特征点位置。
CN201310046365.3A 2013-02-05 2013-02-05 图像特征提取方法及装置 Active CN103971112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310046365.3A CN103971112B (zh) 2013-02-05 2013-02-05 图像特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310046365.3A CN103971112B (zh) 2013-02-05 2013-02-05 图像特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN103971112A true CN103971112A (zh) 2014-08-06
CN103971112B CN103971112B (zh) 2018-12-07

Family

ID=51240583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310046365.3A Active CN103971112B (zh) 2013-02-05 2013-02-05 图像特征提取方法及装置

Country Status (1)

Country Link
CN (1) CN103971112B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156692A (zh) * 2015-03-25 2016-11-23 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置
WO2017000118A1 (en) * 2015-06-29 2017-01-05 Xiaoou Tang Method and apparatus for predicting attribute for image sample
CN109829380A (zh) * 2018-12-28 2019-05-31 北京旷视科技有限公司 一种狗脸特征点的检测方法、装置、系统及存储介质
CN109886213A (zh) * 2019-02-25 2019-06-14 湖北亿咖通科技有限公司 疲劳状态判断方法、电子设备及计算机可读存储介质
CN109961103A (zh) * 2019-04-02 2019-07-02 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110751218A (zh) * 2019-10-22 2020-02-04 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN111144373A (zh) * 2019-12-31 2020-05-12 广州市昊链信息科技股份有限公司 一种信息识别方法、装置、计算机设备和存储介质
US10685428B2 (en) 2018-11-09 2020-06-16 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier
CN111814811A (zh) * 2020-08-14 2020-10-23 Oppo广东移动通信有限公司 图像信息提取方法、训练方法及装置、介质和电子设备
CN111860376A (zh) * 2020-07-24 2020-10-30 北京博维航空设施管理有限公司 一种舱门的轮廓拟合方法及装置
CN112287948A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于素描标记的中层次特征提取快速边缘检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN101369309A (zh) * 2008-09-26 2009-02-18 北京科技大学 基于主动表观模型和外耳长轴的人耳图像归一化方法
US20110142294A1 (en) * 2008-06-02 2011-06-16 Advanced Track & Trace Method and device for identifying a printing plate for a document
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN102902950A (zh) * 2012-06-26 2013-01-30 西安电子科技大学 基于第二代Curvelet变换的人体运动识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142294A1 (en) * 2008-06-02 2011-06-16 Advanced Track & Trace Method and device for identifying a printing plate for a document
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN101369309A (zh) * 2008-09-26 2009-02-18 北京科技大学 基于主动表观模型和外耳长轴的人耳图像归一化方法
CN102902950A (zh) * 2012-06-26 2013-01-30 西安电子科技大学 基于第二代Curvelet变换的人体运动识别方法
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156692B (zh) * 2015-03-25 2019-12-13 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置
CN106156692A (zh) * 2015-03-25 2016-11-23 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置
WO2017000118A1 (en) * 2015-06-29 2017-01-05 Xiaoou Tang Method and apparatus for predicting attribute for image sample
CN107636678A (zh) * 2015-06-29 2018-01-26 北京市商汤科技开发有限公司 用于预测图像样本的属性的方法和设备
CN107636678B (zh) * 2015-06-29 2021-12-14 北京市商汤科技开发有限公司 用于预测图像样本的属性的方法和设备
US10685428B2 (en) 2018-11-09 2020-06-16 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier
CN109829380A (zh) * 2018-12-28 2019-05-31 北京旷视科技有限公司 一种狗脸特征点的检测方法、装置、系统及存储介质
CN109886213B (zh) * 2019-02-25 2021-01-08 湖北亿咖通科技有限公司 疲劳状态判断方法、电子设备及计算机可读存储介质
CN109886213A (zh) * 2019-02-25 2019-06-14 湖北亿咖通科技有限公司 疲劳状态判断方法、电子设备及计算机可读存储介质
CN109961103A (zh) * 2019-04-02 2019-07-02 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN109961103B (zh) * 2019-04-02 2020-10-27 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110751218A (zh) * 2019-10-22 2020-02-04 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN110751218B (zh) * 2019-10-22 2023-01-06 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN111144373A (zh) * 2019-12-31 2020-05-12 广州市昊链信息科技股份有限公司 一种信息识别方法、装置、计算机设备和存储介质
CN111144373B (zh) * 2019-12-31 2020-12-04 广州市昊链信息科技股份有限公司 一种信息识别方法、装置、计算机设备和存储介质
CN111860376B (zh) * 2020-07-24 2023-10-31 北京博维航空设施管理有限公司 一种舱门的轮廓拟合方法及装置
CN111860376A (zh) * 2020-07-24 2020-10-30 北京博维航空设施管理有限公司 一种舱门的轮廓拟合方法及装置
CN111814811A (zh) * 2020-08-14 2020-10-23 Oppo广东移动通信有限公司 图像信息提取方法、训练方法及装置、介质和电子设备
CN112287948A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于素描标记的中层次特征提取快速边缘检测方法
CN112287948B (zh) * 2020-10-30 2024-05-03 西安工程大学 一种基于素描标记的中层次特征提取快速边缘检测方法

Also Published As

Publication number Publication date
CN103971112B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN103971112A (zh) 图像特征提取方法及装置
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN105512638B (zh) 一种基于融合特征的人脸检测与对齐方法
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN107368845A (zh) 一种基于优化候选区域的Faster R‑CNN目标检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
WO2016138838A1 (zh) 基于投影极速学习机的唇语识别方法和装置
US9489561B2 (en) Method and system for estimating fingerprint pose
CN110570481A (zh) 基于风格迁移的书法字库自动修复方法及系统
CN111079685A (zh) 一种3d目标检测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN104021394A (zh) 基于Adaboost算法的绝缘子图像识别方法
CN109858327B (zh) 一种基于深度学习的字符分割方法
JP2019117577A (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN112085024A (zh) 一种罐表面字符识别方法
CN108764242A (zh) 基于深层卷积神经网络的离线手写汉字体识别方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN104036229A (zh) 基于回归的主动外观模型初始化方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN102236786A (zh) 一种光照自适应的人体肤色检测方法
Reuse et al. About the ambiguity of data augmentation for 3d object detection in autonomous driving

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant