CN106778785B - 构建图像特征提取模型的方法及图像识别的方法、装置 - Google Patents

构建图像特征提取模型的方法及图像识别的方法、装置 Download PDF

Info

Publication number
CN106778785B
CN106778785B CN201611208834.7A CN201611208834A CN106778785B CN 106778785 B CN106778785 B CN 106778785B CN 201611208834 A CN201611208834 A CN 201611208834A CN 106778785 B CN106778785 B CN 106778785B
Authority
CN
China
Prior art keywords
image
image feature
feature selection
selection model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611208834.7A
Other languages
English (en)
Other versions
CN106778785A (zh
Inventor
平安
何光宇
张立东
孟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201611208834.7A priority Critical patent/CN106778785B/zh
Publication of CN106778785A publication Critical patent/CN106778785A/zh
Application granted granted Critical
Publication of CN106778785B publication Critical patent/CN106778785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种构建图像特征提取模型的方法及图像识别的方法、装置。其中,构建图像特征提取模型的方法包括:将图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与各个输入通道各自的卷积核分别进行卷积计算,得到卷积层的下一层的各个输入通道分别对应的图像特征数据,对图像特征提取模型最后一卷积层输出的图像特征数据进行分类,如果根据分类结果确定继续训练,对图像特征提取模型进行优化,重新进入对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算的步骤,如果根据分类结果确定结束训练,得到训练后的图像特征提取模型,由于通道之间特征相互独立输出,细分了个体差异,从而能够有效区分同一类物的不同个体。

Description

构建图像特征提取模型的方法及图像识别的方法、装置
技术领域
本公开涉及计算机视觉领域,具体地,涉及一种构建图像特征提取模型的方法及图像识别的方法、装置。
背景技术
图像识别,是基于同一类物(如,人脸等)的特征信息进行识别的一种识别技术,例如,人脸识别。随着计算机技术的成熟,图像识别应用在越来越多的领域。
但是,由于传统图像识别技术特征提取方法其特征描述处于过拟合、低层次状态。而同一类物的结构都相似,个体之间的区别不大。这就导致目前的图像识别技术无法有效区分同一类物的不同个体。
发明内容
有鉴于此,本公开的目的是提供一种构建图像特征提取模型的方法及图像识别的方法、装置,以实现有效区分同一类物的不同个体的目的。
在本公开实施例的一个方面中,提供了一种构建图像特征提取模型的方法。例如,该方法可以包括:对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道;在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果;如果根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,重新进入所述对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算的步骤;如果根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
可选地,所述方法还可以包括:对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,将预处理后得到的图像输入到所述深度卷积神经网络;和/或者,对即将输入到所述图像特征提取模型的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,将增量处理后得到的图像输入到所述深度卷积神经网络;和/或者,对即将输入到所述图像特征提取模型的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,将一致性处理后得到的图像输入到所述深度卷积神经网络。
可选地,所述使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果包括:使用分类器对最后一卷积层以及所述最后一卷积层的前一卷积层输出的图像特征数据进行分类,得到分类结果。
在本公开实施例的另一个方面中,提供了一种图像识别的方法。例如,该方法可以包括:获取待识别图像;应用如本公开实施例所述构建图像特征提取模型的方法得到的训练后的图像特征提取模型对所述待识别图像进行图像特征数据的提取,得到所述待识别图像的图像特征数据;将所述图像特征数据与目标特征数据进行相似度分析,得到识别结果。
可选地,在对所述待识别图像进行图像特征数据的提取之前,所述方法还包括:对所述待识别图像进行去背景以及对齐的预处理;和/或者,对所述待识别图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理。
在本公开实施例的又一个方面中,提供了一种构建图像特征提取模型的装置。例如,该装置可以包括:卷积计算模块,被配置为对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道。分类模块,被配置为在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果。优化模块,被配置为如果根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,重新触发所述卷积计算模块执行,如果根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
可选地,所述装置还包括:训练预处理模块,被配置为对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,将预处理后得到的图像输入到所述图像特征提取模型。和/或者,训练增量处理模块,被配置为对即将输入到所述图像特征提取模型的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,将增量处理后得到的图像输入到所述图像特征提取模型。和/或者,训练一致性处理模块,被配置为对即将输入到所述图像特征提取模型的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,将一致性处理后得到的图像输入到所述图像特征提取模型。
可选地,所述分类模块被配置为使用分类器对最后一卷积层以及所述最后一卷积层的前一卷积层输出的图像特征数据进行分类,得到分类结果。
在本公开实施例再一个方面中,提供了一种图像识别的装置。例如,该装置可以包括:图像获取模块,被配置为获取待识别图像。特征提取模块,被配置为应用如本公开实施例所述构建图像特征提取模型的方法得到的训练后的图像特征提取模型对所述待识别图像进行图像特征数据的提取,得到所述待识别图像的图像特征数据。相似分析模块,被配置为将所述图像特征数据与目标特征数据进行相似度分析,得到识别结果。
可选地,所述装置还包括:识别预处理模块,被配置为在对所述待识别图像进行图像特征数据的提取之前,对所述待识别图像进行去背景以及对齐的预处理。和/或者,识别一致性处理模块,被配置为对所述待识别图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理。
通过上述技术方案,对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道,与将所有输入通道与一个卷积核进行卷积计算再求和得到下一层输入通道的图像特征数据的方式比较,各通道之间特征相互独立输出,训练得到的图像特征提取模型可以提取到更多细化的特征,能更好的代表原始图像中物的特性,有利于细分个体差异,从而实现有效区分同一类物的不同个体的目的。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据本公开一示例性实施例示出的实施环境示意图。
图2是根据本公开的一示例性实施例示出的一种构建图像特征提取模型的方法的流程图。
图3是根据本公开的另一示例性实施例示出的一种构建图像特征提取模型的方法的流程图。
图4a是根据本公开一实施例所示的多通道卷积核参数独立的深度卷积计算模型示意图。
图4b是根据本公开一实施例所示的人脸图像示意图。
图4c是根据本公开一实施例所示的处理后的人脸图像示意图。
图5是根据本公开的一示例性实施例示出的一种构建图像特征提取模型的装置的框图。
图6是根据本公开的另一示例性实施例示出的一种构建图像特征提取模型的装置的框图。
图7是根据本公开的一示例性实施例示出的一种图像识别的方法的流程图。
图8是根据本公开的一示例性实施例示出的一种图像识别的装置的框图。
图9是根据本公开的另一示例性实施例示出的一种图像识别的装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是根据一示例性实施例示出的实施环境示意图。该实施环境包括:计算机101。其中,计算机101可以用于实施本公开实施例提供的构建图像特征提取模型的方法,或者,可以用于实施本公开实施例提供的图像识别的方法。例如,计算机101可以从互联网采集海量图像用作训练数据,构建图像特征提取模型。例如,本公开实施例提供的方法可以应用于人脸识别场景。在该场景下,从互联网采集的海量图像可以为人脸图像。在互联网上采集的海量图像,大量人与背景都处于自然状况下,人的类别包含了各种年龄、性别、长相及表情,人的头部处于各种姿态,背景环境各种各样。由此,构建出的图像特征提取模型能够更好地适应多样化环境。
可以理解的是,图1所示实施环境仅用于示意本公开实施例提供的方法,并不构成对本公开实施例的限制。
图2是根据本公开的一示例性实施例示出的一种构建图像特征提取模型的方法的流程图。该方法可以应用于如图1所示的计算机101。该方法可以包括:
在步骤210中,对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道。
在基于深度卷积神经网络的图像特征提取模型中,通常包括输入层,隐含层(可以是多层),及输出层。每一层都是图像特征数据集合。前一层图像特征数据集合通过卷积计算得到下一层的图像特征数据集合。每一层图像特征数据集合由多个子集组成,每个子集称为一个输入通道。例如输入层为原始彩色图像,该输入层的输入通道就包括由红色像素点值形成的输入通道、绿色像素点值形成的输入通道及蓝色像素点值形成的输入通道,即3个输入通道。卷积核,可以由人工预设定,用于与输入通道的图像特征数据进行卷积计算,得到输出到下一层的图像特征数据集合。在本公开实施例中,不同输入通道的卷积核不同。
例如,如图4a所示多通道卷积核参数独立的深度卷积计算模型示意图。第i卷积层的卷积核W1与输入通道1的图像特征数据进行卷积计算,取激活函数得到第i+1卷积层的输入通道1特征。第i卷积层的卷积核W2与输入通道1的图像特征数据进行卷积计算,取激活函数得到第i+1卷积层的输入通道2特征。通过第i卷积层的卷积核W3,与输入通道2的图像特征数据卷积计算取激活函数得到输入通道3的特征。通过第i卷积层的卷积核W4,与输入通道2的图像特征数据卷积计算取激活函数得到输入通道4的特征。一个输入通道输出下一层两个输入通道的特征。依此类推,通过新的卷积核进行卷积计算得到下一层相对应的不同输入通道的特征。可以理解的是,当前层的输出通道即为当前层下一层的输入通道。
一种可能的实施方式中,对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,可以每到达一卷积层,即将该卷积层的各个输入通道的图像特征数据与该卷积层的各个输入通道各自的卷积核分别进行卷积计算,得到该卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道。
例如,可以从输入层开始到最后一层,每卷积层均取各个输入通道自身的卷积核与各个输入通道的图像特征数据分别进行卷积计算,得到下一层对应输入通道的图像特征数据。一层当中的一个输出通道即为下一层的一个输入通道。一层当中的一个输入通道可以与该输入通道的多个卷积核分别做卷积计算。因此,一个卷积核与一个输入通道的卷积计算可以对应得到下层一个输入通道的图像特征数据。可见,当前层通道与下一层通道可以是一对一或一对多关系,因此通过逐层计算,会得到越来越多的通道子集,即越来越多的特征。每层特征越多,特征描述得就越细,从而能够更好地代表原始图像特性,有利于细分个体差异,能够有效区分同一类物的不同个体。
另一种可能的实施方式中,在对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算时,可以将部分卷积层各个输入通道的卷积核与各个输入通道的图像特征数据分别进行卷积计算,得到该卷积层的各个输入通道分别对应的下一层输入通道的图像特征数据。该实施方式中,部分层各通道之间特征相互独立输出,相对于将每层所有输入通道进行卷积计算再求和输出的方式来说,可以得到更多细化的特征,有利于细分个体差异,可以提高区分同一类物的不同个体的能力。
在步骤220中,在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果。
例如,可以使用分类器对所述图像特征提取模型最后一卷积层以及所述最后一卷积层的前一卷积层输出的图像特征数据进行分类,得到分类结果。通过选择最后一卷积层与最后一卷积层的前一卷积层的图像特征数据,涵盖了细化与粗化特征组合,能更好的代表原始图像特性,有利于细分个体差异,能够有效区分同一类物的不同个体。
通过利用涵盖了细化与粗化特征的图像特征数据进行训练,可以确定出基于这些图像特征数据的最佳图像特征提取模型参数,从而得到训练后的图像特征提取模型。
在步骤230中,如果根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,重新进入所述对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算的步骤。可以理解的是,重新进入卷积计算的步骤,是对优化后的图像特征提取模型逐层进行卷积计算。通过反复优化迭代,得到训练后的图像特征提取模型。
例如,在进行特征训练时,图像特征提取模型可以采用五层卷积神经网络。其中,输入层,可以用于输入预处理后形成的32*32灰度化图片,每行首尾相接形成一行作为输入数据,每次取128张图片同时输入。第一卷积层到第四卷积层,卷积核、最大池化处理可以根据实际需要设置,本公开对此并不进行限制。第五层为分类层,用于进行特征分类,输出为n节点(n为训练集个体类别)。如,特征分类可以采用Soft-max分类器。Soft-max分类器可以主要用于分类,采用1层即可。
例如,所述优化器可以采用梯度下降法,batch SGD训练,ReLU激活函数来实现。其中,损失计算可以采用交叉熵来实现。
在步骤240中,如果根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
可见,通过本公开提供的技术方案,深度卷积神经网络至少一卷积层的各通道之间特征相互独立输出,可以得到更多细化的特征,能更好的代表原始图像中物的特性,有利于细分个体差异,从而实现有效区分同一类物的不同个体的目的。
图3是根据本公开的另一示例性实施例示出的一种构建图像特征提取模型的方法的流程图。该方法可以应用于如图1所示的计算机101。该方法可以包括:
在步骤300中,对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,得到预处理后的图像。
在步骤301中,对预处理后得到的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,得到增量处理后的图像。
在步骤302中,对增量处理后的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,得到一致性处理后得到的图像。
需要说明的是,所述预处理、增量处理以及一致性处理并不是本公开提供技术方案的必要步骤,可以择一或者任意组合来适应多样化环境。
例如,可以对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,将预处理后得到的图像输入到所述图像特征提取模型。例如,在人脸识别场景中,去背景也就是人脸检测,可以将人脸部位与图片背景分离,去掉与人脸特征无关的背景,如去掉头额上方头发、颚下颈部及两侧,图片取成正方形。为了更好地实现人脸识别效果,还可以矫正人脸的姿态,让其尽量保持对齐。去背景以及对齐的预处理可以采用如Dlib等工具。通过Dlib工具,可以检测到人脸矩形坐标以及人脸形状坐标(68个点)。利用人脸检测与对齐坐标,在左右眼中取出一对对称点,然后借助人脸矫正工具(如OpenCV附带模块),完成人脸矫正。例如,如图4b所示图像,经过人脸检测及对齐后可以得到如图4c所示图像。
再例如,可以对即将输入到所述图像特征提取模型的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,将增量处理后得到的图像输入到所述图像特征提取模型。例如,可以使用如python语言skimage和Image模块,参数选择随机化处理。
又例如,可以对即将输入到所述图像特征提取模型的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,将一致性处理后得到的图像输入到所述图像特征提取模型。直方图均衡化就是把图像的直方图分布改变成均匀分布直方图,这样可以增加象素灰度值的动态范围,从而达到增强图像整体对比度的效果。例如,可以利用直方图均衡化处理工具如OpenCV来处理。图片数据白化处理是减少特征之间的相关性,使得图像特征具有相同的方差(如,协方差阵可以为1)。白化处理可以采用线性尺度变换,使图片成为零均值和单位标准方差。
在步骤303中,将一致性处理后得到的图像输入到所述图像特征提取模型的输入层。
在步骤310中,对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,每到达一卷积层,即将该卷积层的各个输入通道的图像特征数据与该卷积层的各个输入通道各自的卷积核分别进行卷积计算,得到该卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道。
在步骤320中,在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果。
在步骤330中,如果根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,取得新的即将输入到图像特征提取模型的图像,重新进入步骤300、301、302、303以及步骤310以重新对优化后的图像特征提取模型逐层进行卷积计算。
在步骤340中,如果根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
在该实施方式中,由于经过预处理、增量处理以及一致性处理后才将图像输入到图像特征提取模型,因此,可以有效消除如光照条件、人脸的遮盖物等自然环境影响,并通过图像特征提取模型每卷积层的各通道分别与各自独立的卷积核进行卷积计算,各通道特征之间相互独立输出,可以得到更多细化的特征,能更好的代表原始图像中物的特性,有利于细分个体差异,从而实现有效区分同一类物的不同个体的目的。
在一可能的实施方式中,本公开实施例提供的方法应用于人脸识别场景。在该应用场景中,输入图像特征提取模型的图像可以为人脸图像。由于人脸的结构及其器官的结构外形都相似,人类个体差异比较微弱,通过本公开实施例提供的方法可以得到能够区分出不同人脸细微差异的图像特征提取模型。
图5是根据本公开的一示例性实施例示出的一种构建图像特征提取模型的装置500的框图。该装置可以配置于如图1所示的计算机101。该装置可以包括:卷积计算模块510、分类模块520以及优化模块530。
该卷积计算模块510,可以被配置为对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道。
该分类模块520,可以被配置为在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果。
该优化模块530,可以被配置为如果根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,重新触发所述卷积计算模块执行,如果根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
图6是根据本公开的另一示例性实施例示出的一种构建图像特征提取模型的装置500的框图。如图6所示,该装置还可以包括:训练预处理模块540,可以被配置为对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,将预处理后得到的图像输入到所述图像特征提取模型。和/或者,训练增量处理模块541,可以被配置为对即将输入到所述图像特征提取模型的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,将增量处理后得到的图像输入到所述图像特征提取模型。和/或者,训练一致性处理模块542,可以被配置为对即将输入到所述图像特征提取模型的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,将一致性处理后得到的图像输入到所述图像特征提取模型。
一可能的实施方式中,所述分类模块520可以被配置为使用分类器对最后一卷积层以及所述最后一卷积层的前一卷积层输出的图像特征数据进行分类,得到分类结果。
图7是根据本公开的一示例性实施例示出的一种图像识别的方法的流程图。该方法可以应用于如图1所示的计算机101。该方法可以包括:
在步骤710中,获取待识别图像。
例如,在人脸识别的应用场景中,可以获取一张或者一系列含有未确定身份的人脸图像(即,待识别图像),以及人脸数据库中的已知身份的人脸图像,该已知身份的人脸图像可以为步骤730中提到的目标特征数据的图像。
在步骤720中,应用如本公开上述实施例所述构建图像特征提取模型的方法得到的训练后的图像特征提取模型对所述待识别图像进行图像特征数据的提取,得到所述待识别图像的图像特征数据。
一可能的实施方式中,在对所述待识别图像进行图像特征数据的提取之前,还可以对所述待识别图像进行去背景以及对齐的预处理;和/或者,对所述待识别图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理。在人脸识别的应用场景中,通过该实施方式,可以消除自然环境下由于人脸的角度、光照、背景等变化的影响,提高识别率。例如,可以对待识别图像进行去背景处理,将去背景处理后的图像进行对齐的处理,再将对齐后的图像进行所述一致性处理。
其中,使用所述图像特征提取模型对待识别图像进行图像特征数据的提取,所述图像特征提取模型对待识别图像的处理步骤可以包括:将待识别图像输入所述图像特征提取模型的输入层,在使用图像特征提取模型逐层对所述待识别图像进行卷积计算时,将所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道;在所述图像特征提取模型完成卷积计算的情况下,可以将最后一卷积层输出的图像特征数据以及最后一卷积层的前一卷积层输出的图像特征数据作为待识别图像的图像特征数据。
在步骤730中,将所述图像特征数据与目标特征数据进行相似度分析,得到识别结果。
其中,相似度分析,可以采用余弦相似分析,若相似度超过设置的阀值,即认为一致,否则不一致。
例如,在人脸识别的应用场景中,所述目标特征数据可以为人脸数据库中的已知身份的人脸图像的特征数据。人脸数据库中的目标特征数据可以预先由本公开实施例方法构建的图像特征提取模型来提取。通过相似度分析,可以得到待识别图像中的人脸与一系列已知身份人脸图像的相似度得分,依此,从而通过已知身份标签确定待识别的人脸的身份。
可见,根据本公开实施例提供的图像识别的方法,能够利用本公开实施例提供的构建图像提取模型的方法所实现的图像提取模型提取出个体差异较大的图像特征数据,从而能够有效区分不同个体,提高图像识别准确率。
例如,在人脸识别应用场景中,由于人脸的结构及其器官的结构外形都相似,人类个体差异比较微弱,而本公开实施例提供的构件图像提取模型的方法所构建的模型基于深度卷积神经网络采用深度卷积算法,各通道之间特征相互独立输出到下一层,保持特征独立性,从而能够细分人脸个体差异,提高人脸识别准确率。
图8是根据本公开的一示例性实施例示出的一种图像识别的装置800的框图。该装置800可以配置于如图1所示的计算机101。该装置可以包括:图像获取模块810、特征提取模块820、以及相似分析模块830。
该图像获取模块810,可以被配置为获取待识别图像。
该特征提取模块820,可以被配置为应用如本公开实施例所述构建图像特征提取模型的方法得到的训练后的图像特征提取模型对所述待识别图像进行图像特征数据的提取,得到所述待识别图像的图像特征数据。
该相似分析模块830,可以被配置为将所述图像特征数据与目标特征数据进行相似度分析,得到识别结果。
图9是根据本公开的另一示例性实施例示出的一种图像识别的装置800的框图。该装置还包括:识别预处理模块840,可以被配置为在对所述待识别图像进行图像特征数据的提取之前,对所述待识别图像进行去背景以及对齐的预处理。和/或者,识别一致性处理模块841,可以被配置为对所述待识别图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种构建图像特征提取模型的方法,其特征在于,包括:
对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道;
在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果;
根据所述分类结果确定继续训练还是结束训练;
如果根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,将优化后的图像特征提取模型作为新的图像特征提取模型,重新进入所述对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,并在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果,以及根据所述分类结果确定继续训练还是结束训练的步骤,直至根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,将预处理后得到的图像输入到所述图像特征提取模型;
和/或者,
对即将输入到所述图像特征提取模型的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,将增量处理后得到的图像输入到所述图像特征提取模型;
和/或者,
对即将输入到所述图像特征提取模型的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,将一致性处理后得到的图像输入到所述图像特征提取模型。
3.根据权利要求1所述的方法,其特征在于,所述使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果包括:
使用分类器对最后一卷积层以及所述最后一卷积层的前一卷积层输出的图像特征数据进行分类,得到分类结果。
4.一种图像识别的方法,其特征在于,包括:
获取待识别图像;
应用如权利要求1所述方法得到的训练后的图像特征提取模型对所述待识别图像进行图像特征数据的提取,得到所述待识别图像的图像特征数据;
将所述图像特征数据与目标特征数据进行相似度分析,得到识别结果。
5.根据权利要求4所述的方法,其特征在于,在对所述待识别图像进行图像特征数据的提取之前,所述方法还包括:
对所述待识别图像进行去背景以及对齐的预处理;
和/或者,
对所述待识别图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理。
6.一种构建图像特征提取模型的装置,其特征在于,包括:
卷积计算模块,被配置为对基于深度卷积神经网络的图像特征提取模型逐层进行卷积计算,其中,所述图像特征提取模型中至少一卷积层的各个输入通道的图像特征数据与所述各个输入通道各自的卷积核分别进行卷积计算,得到所述卷积层的下一层的各个输入通道分别对应的图像特征数据,其中,一个所述卷积核对应下一层的一个输入通道;
分类模块,被配置为在所述图像特征提取模型完成卷积计算的情况下,使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类,得到分类结果;
用于根据所述分类结果确定继续训练还是结束训练的模块;
优化模块,被配置为如果所述用于根据所述分类结果确定继续训练还是结束训练的模块根据所述分类结果确定继续训练,使用优化器对所述图像特征提取模型进行优化,重新触发所述卷积计算模块、所述分类模块和所述用于根据所述分类结果确定继续训练还是结束训练的模块执行,直至所述用于根据所述分类结果确定继续训练还是结束训练的模块根据所述分类结果确定结束训练,得到训练后的图像特征提取模型。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
训练预处理模块,被配置为对即将输入到所述图像特征提取模型的图像进行去背景以及对齐的预处理,将预处理后得到的图像输入到所述图像特征提取模型;
和/或者,
训练增量处理模块,被配置为对即将输入到所述图像特征提取模型的图像进行水平翻转、光亮度随机化、以及对比度随机化的增量处理,将增量处理后得到的图像输入到所述图像特征提取模型;
和/或者,
训练一致性处理模块,被配置为对即将输入到所述图像特征提取模型的图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理,将一致性处理后得到的图像输入到所述图像特征提取模型。
8.根据权利要求6所述的装置,其特征在于,所述分类模块被配置为使用分类器对最后一卷积层以及所述最后一卷积层的前一卷积层输出的图像特征数据进行分类,得到分类结果。
9.一种图像识别的装置,其特征在于,包括:
图像获取模块,被配置为获取待识别图像;
特征提取模块,被配置为应用如权利要求1所述方法得到的训练后的图像特征提取模型对所述待识别图像进行图像特征数据的提取,得到所述待识别图像的图像特征数据;
相似分析模块,被配置为将所述图像特征数据与目标特征数据进行相似度分析,得到识别结果。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
识别预处理模块,被配置为在对所述待识别图像进行图像特征数据的提取之前,对所述待识别图像进行去背景以及对齐的预处理;
和/或者,
识别一致性处理模块,被配置为对所述待识别图像进行彩色图灰度化、直方图均衡化、图像白化的一致性处理。
CN201611208834.7A 2016-12-23 2016-12-23 构建图像特征提取模型的方法及图像识别的方法、装置 Active CN106778785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208834.7A CN106778785B (zh) 2016-12-23 2016-12-23 构建图像特征提取模型的方法及图像识别的方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208834.7A CN106778785B (zh) 2016-12-23 2016-12-23 构建图像特征提取模型的方法及图像识别的方法、装置

Publications (2)

Publication Number Publication Date
CN106778785A CN106778785A (zh) 2017-05-31
CN106778785B true CN106778785B (zh) 2019-09-17

Family

ID=58920179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208834.7A Active CN106778785B (zh) 2016-12-23 2016-12-23 构建图像特征提取模型的方法及图像识别的方法、装置

Country Status (1)

Country Link
CN (1) CN106778785B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392224A (zh) * 2017-06-12 2017-11-24 天津科技大学 一种基于三通道卷积神经网络的作物病害识别算法
CN107885835B (zh) * 2017-11-09 2020-08-28 东软集团股份有限公司 断层扫描图像的相似层图像查找方法和装置
CN107943751A (zh) * 2017-11-14 2018-04-20 华南理工大学 一种基于深度卷积对抗网络模型的独立通道卷积方法
CN109840584B (zh) * 2017-11-24 2023-04-18 腾讯科技(深圳)有限公司 基于卷积神经网络模型的图像数据分类方法及设备
CN108090521B (zh) * 2018-01-12 2022-04-08 广州视声智能科技股份有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108510523A (zh) * 2018-03-16 2018-09-07 新智认知数据服务有限公司 一种建立获取目标物特征的模型和目标物搜索方法及装置
CN108564044B (zh) * 2018-04-17 2021-04-27 杭州依图医疗技术有限公司 一种确定肺结节密度的方法及装置
CN109543593A (zh) * 2018-11-19 2019-03-29 华勤通讯技术有限公司 回放攻击的检测方法、电子设备及计算机可读存储介质
CN110363296B (zh) * 2019-06-28 2022-02-08 腾讯医疗健康(深圳)有限公司 任务模型获取方法和装置、存储介质及电子装置
CN111860582B (zh) * 2020-06-11 2021-05-11 北京市威富安防科技有限公司 图像分类模型构建方法、装置、计算机设备和存储介质
CN112191055B (zh) * 2020-09-29 2021-12-31 武穴市东南矿业有限公司 一种矿山机械用具有空气检测结构的降尘装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
WO2016090439A1 (pt) * 2014-12-09 2016-06-16 Universidade Estadual De Campinas - Unicamp Método de detecção de vivacidade de impressões digitais usando redes convolucionais
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106250866A (zh) * 2016-08-12 2016-12-21 广州视源电子科技股份有限公司 基于神经网络的图像特征提取建模、图像识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016090439A1 (pt) * 2014-12-09 2016-06-16 Universidade Estadual De Campinas - Unicamp Método de detecção de vivacidade de impressões digitais usando redes convolucionais
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106250866A (zh) * 2016-08-12 2016-12-21 广州视源电子科技股份有限公司 基于神经网络的图像特征提取建模、图像识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Lung Pattern Classification for Interstitial Lung Diseases Using a Deep Convolutional Neural Network";Marios Anthimopoulos 等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20160531;第1207-1216页

Also Published As

Publication number Publication date
CN106778785A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106778785B (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN110516571B (zh) 基于光流注意力神经网络的跨库微表情识别方法及装置
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
Lin Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network
CN106778506A (zh) 一种融合深度图像和多通道特征的表情识别方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN110427832A (zh) 一种基于神经网络的小数据集手指静脉识别方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN107423727B (zh) 基于神经网络的人脸复杂表情识别方法
Zhang et al. Short and long range relation based spatio-temporal transformer for micro-expression recognition
CN103839042B (zh) 人脸识别方法和人脸识别系统
Kantarcı et al. Thermal to visible face recognition using deep autoencoders
CN107832740A (zh) 一种远程教学的教学质量评估方法及系统
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN109614927B (zh) 基于前后帧差异及特征降维的微表情识别
CN107516083A (zh) 一种面向识别的远距离人脸图像增强方法
CN102222231B (zh) 一种基于背侧通路引导的视觉注意信息计算装置及其处理方法
Paul et al. Rotation invariant multiview face detection using skin color regressive model and support vector regression
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
Azad et al. Novel and tuneable method for skin detection based on hybrid color space and color statistical features
Triesch et al. Object recognition with multiple feature types
JP2023082065A (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのidを検証するための方法
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置
Jida et al. Face segmentation and detection using Voronoi diagram and 2D histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant