CN110263621A - 图像识别方法、装置及可读存储介质 - Google Patents

图像识别方法、装置及可读存储介质 Download PDF

Info

Publication number
CN110263621A
CN110263621A CN201910372760.8A CN201910372760A CN110263621A CN 110263621 A CN110263621 A CN 110263621A CN 201910372760 A CN201910372760 A CN 201910372760A CN 110263621 A CN110263621 A CN 110263621A
Authority
CN
China
Prior art keywords
face image
style
user
identified
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910372760.8A
Other languages
English (en)
Other versions
CN110263621B (zh
Inventor
王泽荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910372760.8A priority Critical patent/CN110263621B/zh
Publication of CN110263621A publication Critical patent/CN110263621A/zh
Application granted granted Critical
Publication of CN110263621B publication Critical patent/CN110263621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明实施例提供了一种图像识别方法、装置及可读存储介质。本发明实施例图像识别方法:通过获得待识别用户的脸部图像,确定待识别用户的脸部图像是否为IR风格的脸部图像,若确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征,将待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果,从而实现了同质空间之间的比较,降低了人脸识别的难度,从而减少了解锁时间并提升了解锁效率。

Description

图像识别方法、装置及可读存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像识别方法、装置及可读存储介质。
背景技术
目前,由于手机已经是人们常备的移动设备,因此人们已经习惯在手机上存放各种图像、音频或文字信息等,然而,现有的解锁方法都相对简单,而手机的安全问题也是人们一直关心的,智能移动终端中有着用户的隐私、信息以及财产,而如何做到保护用户隐私安全,市场上出现了多种多样的智能移动终端的解锁方式。
目前市场上最受关注的解锁方式是脸部识别,当前在正常光环境下脸部图像识别是通过摄像头采集RGB格式的人脸图像和数据库中存储的RGB格式的图像数据进行比对(同质空间比对),在暗光环境下,摄像头采集的是IR风格的图像数据,需要将采集到的IR风格的图像数据和数据库中存储的RGB格式的图像数据进行比对(异质空间比对)。因此,该方案需要卷积神经网络同时学习两种模式下的比对,而且IR风格的图像数据和数据库中存储的RGB格式的图像数据比对难度较大,在做好异质空间比对的同时,同质空间比对的识别性能受到影响。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像识别方法、装置及可读存储介质。
本发明的第一方面,提供了一种图像识别方法,包括:
获得待识别用户的脸部图像;
确定所述待识别用户的脸部图像是否为红外线IR风格的脸部图像;
若确定所述待识别用户的脸部图像不为所述IR风格的脸部图像,则将所述待识别用户的脸部图像转化为所述IR风格的脸部图像,通过目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征;
将所述待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将所述目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
本发明的第二方面,提供了一种图像识别装置,包括:
获得模块,用于获得待识别用户的脸部图像;
确定模块,用于确定所述待识别用户的脸部图像是否为红外线IR风格的脸部图像;
处理模块,用于若确定所述待识别用户的脸部图像不为所述IR风格的脸部图像,则将所述待识别用户的脸部图像转化为所述IR风格的脸部图像,通过目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征;
匹配模块,用于将所述待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将所述目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
本发明的第三方面,提供了一种计算机可读存储介质,包括:
所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的图像识别方法的步骤。
本发明的第四方面,提供了一种图像识别装置,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述任一项所述的图像识别方法的步骤
本发明实施例包括以下优点:
本发明实施例图像识别方法、装置及可读存储介质,通过获得待识别用户的脸部图像,确定待识别用户的脸部图像是否为IR风格的脸部图像,若确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征,将待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果,从而实现了同质空间之间的比较,降低了人脸识别的难度,从而减少了解锁时间并提升了解锁效率。
本发明实施例
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的一种图像识别方法的步骤流程图;
图2为本发明实施例提供的一种图像识别装置的结构示意图;
图3为本发明实施例所提供的另一种图像识别装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
应当理解,此处所描述的具体实施例仅用以解释本发明,仅仅是本发明一部分实施例,而不是全部的实施例,并不用于限定本发明。
图1为本发明实施例提供的一种图像识别方法的步骤流程图,本实施例提供的图像识别方法应用于智能移动终端,该方法适用于通过识别人脸图像对智能移动终端进行解锁的情况。本实施例提供的图像识别方法可以通过图像识别装置执行,图像识别装置通常以软件和/或硬件的方式实现,参照图1,本实施例的方法包括如下步骤:
S110、获得待识别用户的脸部图像。
待识别用户的脸部图像可以为bayer raw格式完整脸部图像,也可以为红外线(IR,Infrared Radiation)风格脸部图像。具体的,待识别用户的脸部图像可以是通过智能移动终端中内置的bayer raw格式图像传感器(摄像头)采集待识别用户的bayer raw格式完整脸部图像,也可以是通过智能移动终端中的带通模组(红外线摄像头)采集的IR风格的脸部图像。
S120、确定待识别用户的脸部图像是否为IR风格的脸部图像。
S130、若确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。
当确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,再通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。多个特定子区域例如为:分别为以左眉左角、左眉右角和左边嘴角为中心划分出的特定子区域,以及分别以右眉左角、右眉右角、和右边嘴角为中心划分出的特定子区域。其中,特定子区域的大小可以根据预设子区域的大小确定。例如,预设子区域的大小为256×256像素,则每个特定子区域的大小也为256×256像素。
S140、将待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
需要说明的是,当待识别用户的脸部图像不为IR风格的脸部图像是,则将待识别用户的脸部图像进行风格迁移,即将待识别用户的脸部图像转化为IR风格的脸部图像,转化后就可以提取IR风格的脸部图像的多个特定子区域的特征,由于多个特定子区域的特征是从IR风格的脸部图像中提取的,因此多个特定子区域的特征属于IR风格特征,多个特定子区域的特征融合成目标特征,目标特征也属于IR风格特征,并且数据库中存储的融合特征也属于IR风格特征,然后将目标特征与数据库中存储的融合特征进行匹配,从而实现了同质特征之间的匹配,降低了人脸识别的难度,减少了解锁时间并提升了解锁效率。
其中,数据库中存储的融合特征为目标人脸识别系统对录入的用户的完整脸部照片进行分析后提取的多个特定子区域的特征并将多个特定子区域的特征融合后得到的。例如,用户需要对自己的智能移动终端通过脸部识别进行安全保护时,可以先将自己的一张完整脸部的照片录入到目标人脸识别系统,目标人脸识别系统对照片进行分析,以确定该照片是否为IR风格的脸部图像,如果不是IR风格的脸部图像,则需要将该照片转化为IR风格的脸部图像,然后从转化后的IR风格的脸部图像中提取多个特定子区域的特征,并将提取的多个特定子区域的特征进行融合以得到融合特征,并将该融合特征存储在数据库中,由于这些多个特定子区域的特征也是从IR风格的脸部图像中提取的,因此,这些多个特定子区域的特征也属于IR风格特征,融合后得到的融合特征也属于IR风格的特征。这样在用户使用自己的脸部图像对智能移动终端进行解锁时,如果目标人脸识别系统确定当前获得的脸部图像为IR风格的脸部图像时(例如用户在晚上等光线暗的情况下对智能移动终端进行解锁时,录入到目标人脸识别系统的为IR风格的脸部图像),提取该用户的脸部图像的多个特定子区域的特征并将提取的多个特定子区域的特征融合成一个IR风格的目标特征,然后将IR风格的目标特征与数据库中存储的IR风格的融合特征进行匹配并输出匹配结果;如果目标人脸识别系统确定当前获得的脸部图像不为IR风格的脸部图像时(例如用户在白天等正常光线环境下对智能移动终端进行解锁时,录入到目标人脸识别系统的为bayer raw格式脸部图像,bayer raw格式脸部图像不是IR风格的脸部图像),则将获得的脸部图像转化为IR风格的脸部图像,并提取该用户的IR风格的脸部图像的多个特定子区域的特征,并将提取的多个特定子区域的特征融合成一个IR风格的目标特征,然后将IR风格的目标特征与数据库中存储的IR风格的融合特征进行匹配并输出匹配结果。这样就实现了同质空间之间的比较,降低了人脸识别的难度,从而减少了解锁时间并提升了解锁效率。RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
本实施例提供的图像识别方法,通过获得待识别用户的脸部图像,确定待识别用户的脸部图像是否为IR风格的脸部图像,若确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征,将待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果,从而实现了同质空间之间的比较,降低了人脸识别的难度,从而减少了解锁时间并提升了解锁效率。
可选的,S130中、将待识别用户的脸部图像转化为IR风格的脸部图像可以通过如下步骤实现:
获取图像采集装置内部的原始格式的图像数据,对原始格式的图像数据进行线性化处理,获得线性化处理后的图像;对线性化处理后的图像进行白平衡处理,获得待识别用户的IR风格的脸部图像。
需要说明的是,原始格式的图像数据为bayer(拜耳)格式的图片数据,原始格式的图像数据通常以后缀名.raw表示,raw格式的图像数据(原始格式的图像数据)是指从图像采集装置(例如相机)拍摄一个景象所得到的原始的数据,这个原始的数据保存了包括CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据,该原始数据是未经处理、也未经压缩的格式的数据。
对于彩色图像,需要采集多种最基本的颜色,如红色(R)、绿色(G)、蓝色(B)三种颜色,即RGB色彩模式,最简单的方法就是用滤镜的方法,红色的滤镜透过红色的波长,绿色的滤镜透过绿色的波长,蓝色的滤镜透过蓝色的波长。如果要采集rgb三个基本色,则需要三块滤镜,这样造成价格昂贵,且不好制造的问题,因为三块滤镜都必须保证每一个像素点都对齐。本发明实施例中采用原始格式的图像数据,很好的解决了这个问题。bayer格式图片可以在一块滤镜上设置的不同的颜色,通过分析人眼对颜色的感知发现,人眼对绿色比较敏感,所以一般bayer格式的图片绿色格式的像素是是红色和蓝色像素的和。
通过直接对原始格式的图像数据进行线性化处理,获得线性化处理后的图像,再对线性化处理后的图像进行白平衡处理,获得待识别用户的IR风格的脸部图像,可以解决如果要采集RGB三个基本色,则需要三块滤镜造成的价格昂贵,且不好制造的问题。
可选的,在将待识别用户的脸部图像转化为IR风格的脸部图像之后,还可以包括如下步骤:
对待识别用户的IR风格的脸部图像进行去噪处理,获得去噪后的待识别用户的IR风格的脸部图像。
对图像进行去噪处理是指减少数字图像中噪声的过程称为图像去噪。由于现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,可能会使获得的IR风格的脸部图像为噪声图像。本实施例中通过去噪处理可以将IR风格的脸部图像上出现的白点或黑点的噪声去除,从而使获得的去噪后的待识别用户的IR风格的脸部图像更加平滑。
需要说明的是,获得去噪后的待识别用户的IR风格的脸部图像后,可以通过目标人脸识别系统提取去噪后的待识别用户的IR风格的脸部图像的多个特定子区域的特征;将去噪后的待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征。进而可以将去噪后的待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成的目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。将去噪后的待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成的目标特征与数据库中存储的融合特征进行匹配时,能够获得更加准确的匹配度。
可选的,图像识别方法还可以包括:
若确定待识别用户的脸部图像为IR风格的脸部图像,则通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。
需要说明的是,若确定待识别用户的脸部图像为IR风格的脸部图像,则可以不用对待识别用户的脸部图像进行风格迁移,即不需转化待识别用户的脸部图像,直接通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。
可选的,S130中的通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征的一种实现方式为:
通过目标人脸识别系统获取待识别用户的IR风格的脸部图像的多个关键点;从多个关键点中选取多个特定关键点;分别以每个特定关键点为中心划分出多个特定子区域;通过多个卷积神经网络获得每个特定子区域的特征。
需要说明的是,多个特定关键点的个数可以小于关键点的个数或者等于关键点的个数。
其中,多个关键点例如可以分别为左眼左角、左眼右角、左眉左角、左眉右角、左边嘴角、右眼左角、右眼右角、右眉左角、右眉右角、和右边嘴角以及鼻尖共11个关键点。
选取的特定关键点可以分别为左眉左角、左眉右角和左边嘴角以及右眉左角、右眉右角、和右边嘴角,然后分别以每个特定关键点为中心划分出多个特定子区域,之后通过多个卷积神经网络获得每个特定子区域的特征。
可选的,特定关键点的个数小于或等于关键点的个数,卷积神经网络的个数根据特定关键点的个数确定。
例如,选取的特定关键点分别为上述的左眉左角、左眉右角和左边嘴角以及右眉左角、右眉右角、和右边嘴角,多个卷积神经网络为第一卷积神经网络、第二卷积神经网络和第三卷积神经网络共三个卷积神经网络。然后分别以左眉左角、左眉右角和左边嘴角为中心划分出三个特定子区域,以及分别以右眉左角、右眉右角、和右边嘴角为中心划分出三个特定子区域,然后通过第一卷积神经网络获得以左眉左角为中心划分出的特定子区域的特征以及以右眉左角为中心划分出的特定子区域的特征,通过第二卷积神经网络获得以左眉右角为中心划分出的特定子区域的特征以及以右眉右角为中心划分出的特定子区域的特征,通过第三卷积神经网络获得以左边嘴角为中心划分出的特定子区域的特征以及以右边嘴角为中心划分出的特定子区域的特征。之后将获得的6个特定子区域的特征融合成一个目标特征,并将该目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
可选的,S140中将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果可以通过如下方式实现:
确定目标特征与数据库中存储的融合特征的匹配度;若匹配度大于或等于预设阈值,则输出解锁成功的匹配结果;若匹配度小于预设阈值,则输出解锁失败的匹配结果。
目标特征与数据库中存储的融合特征的匹配度如果大于或等于预设阈值,则可以确定当前的待识别用户的脸部图像和之前录入的用户的脸部图像属于同一个用户的脸部图像,就可以成功解锁。如果匹配度小于预设阈值,则可以确定当前的待识别用户的脸部图像和之前录入的用户的脸部图像不属于同一个用户的脸部图像,这样解锁就会失败,从而可以禁止其他人解锁智能移动终端,保护使用该智能移动终端的用户的隐私信息,实现只有使用该智能移动终端的用户才能解锁该智能移动终端。
预设阈值可以根据误识率(FAR,false acceptance rate)确定,FAR可以根据用户需求设定,例如设定FAR为十万分之一,本发明实施例中,FAR是指在标准图像数据库上测试图像识别算法时,不同图像的匹配分数大于给定阈值,从而被认为是相同图像的比例,简单地说,误识率表示把不应该匹配成功的图像当成匹配成功的图像的比例。然后根据设定的误识率确定预设阈值,根据设定的误识率确定预设阈值属于现有技术,在此不作详细介绍。
可选的,在S110、获得待识别用户的脸部图像之前,还可以包括:
采用脸部图像样本对预先构建的人脸识别系统进行训练,以得到目标人脸识别系统。
具体的,可以通过bayer raw格式图像传感器采集bayer raw格式脸部图像样本,利用采集的bayer raw格式脸部图像样本对预先构建的人脸识别系统进行训练,以及通过IR图像传感器获得IR风格的脸部图像样本,利用采集到的IR风格的脸部图像样本对预先构建的人脸识别系统进行训练,以得到目标人脸识别系统,这样在使用目标人脸识别系统进行脸部图像识别时,目标人脸识别系统不但可以处理bayer raw格式脸部图像,也可以处理IR风格的脸部图像。例如,如果当前获得的待识别用户的脸部图像为bayer raw格式脸部图像,可以通过目标人脸识别系统对bayer raw格式脸部图像进行解码以转化为IR风格的脸部图像,然后再提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。如果当前获得的待识别用户的脸部图像为IR风格的脸部图像,则直接可以通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。从而实现了同质空间之间的比较,降低了人脸识别的难度,从而减少了解锁时间并提升了解锁效率。
可选的,脸部图像样本可以包括IR风格的脸部图像样本和bayer raw格式脸部图像样本。
图2为本发明实施例提供的一种图像识别装置的结构示意图,图像识别装置通常以软件和/或硬件的方式实现,参照图2,图像识别装置200包括如下模块:获得模块210、确定模块220、处理模块230和匹配模块240。
获得模块210用于获得待识别用户的脸部图像;确定模块220用于确定待识别用户的脸部图像是否为红外线IR风格的脸部图像;处理模块230用于若确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征;匹配模块240用于将待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
本实施例提供的图像识别装置,通过获得待识别用户的脸部图像,确定待识别用户的脸部图像是否为IR风格的脸部图像,若确定待识别用户的脸部图像不为IR风格的脸部图像,则将待识别用户的脸部图像转化为IR风格的脸部图像,通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征,将待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将目标特征与数据库中存储的融合特征进行匹配并输出匹配结果,从而实现了同质空间之间的比较,降低了人脸识别的难度,从而减少了解锁时间并提升了解锁效率。
可选的,处理模块230具体用于获取图像采集装置内部的原始格式的图像数据,对所述原始格式的图像数据进行线性化处理,获得线性化处理后的图像;对所述线性化处理后的图像进行白平衡处理,获得所述待识别用户的所述IR风格的脸部图像。
可选的,处理模块230还用于对所述待识别用户的所述IR风格的脸部图像进行去噪处理,获得去噪后的所述待识别用户的所述IR风格的脸部图像。
相应的,匹配模块240具体用于通过目标人脸识别系统提取所述去噪后的所述待识别用户的所述IR风格的脸部图像的多个特定子区域的特征;将所述去噪后的所述待识别用户的所述IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征。
可选的,处理模块230还用于若确定待识别用户的脸部图像为IR风格的脸部图像,则通过目标人脸识别系统提取待识别用户的IR风格的脸部图像的多个特定子区域的特征。
可选的,处理模块230具体用于通过目标人脸识别系统获取待识别用户的IR风格的脸部图像的多个关键点;从多个关键点中选取多个特定关键点;分别以每个特定关键点为中心划分出多个特定子区域;通过多个卷积神经网络获得每个特定子区域的特征。
可选的,特定关键点的个数小于或等于关键点的个数,卷积神经网络的个数根据特定关键点的个数确定。
可选的,匹配模块240具体用于确定目标特征与数据库中存储的融合特征的匹配度;若匹配度大于或等于预设阈值,则输出解锁成功的匹配结果;若匹配度小于预设阈值,则输出解锁失败的匹配结果。
可选的,还包括:
训练模块,用于在获得待识别用户的脸部图像之前,采用脸部图像样本对预先构建的人脸识别系统进行训练,以得到目标人脸识别系统。
可选的,脸部图像样本包括IR风格的脸部图像样本和bayer raw格式脸部图像样本。
另外,本发明实施例还提供一种图像识别装置,如图3所示,图3为本发明实施例所提供的另一种图像识别装置的结构示意图。该图像识别装置300包括处理器310,存储器320以及存储在存储器320上并可在处理器310上运行的计算机程序,该计算机程序被处理器310执行时实现上述实施例的图像识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的图像识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,可以为只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程直播交互终端设备的处理器以产生一个机器,使得通过计算机或其他可编程直播交互终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程直播交互终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程直播交互终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像识别方法、装置及可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种图像识别方法,其特征在于,包括:
获得待识别用户的脸部图像;
确定所述待识别用户的脸部图像是否为红外线IR风格的脸部图像;
若确定所述待识别用户的脸部图像不为所述IR风格的脸部图像,则将所述待识别用户的脸部图像转化为所述IR风格的脸部图像,通过目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征;
将所述待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将所述目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述待识别用户的脸部图像转化为所述IR风格的脸部图像,包括:
获取图像采集装置内部的原始格式的图像数据,对所述原始格式的图像数据进行线性化处理,获得线性化处理后的图像;
对所述线性化处理后的图像进行白平衡处理,获得所述待识别用户的所述IR风格的脸部图像。
3.根据权利要求2所述的方法,其特征在于,在将所述待识别用户的脸部图像转化为所述IR风格的脸部图像之后,还包括:
对所述待识别用户的所述IR风格的脸部图像进行去噪处理,获得去噪后的所述待识别用户的所述IR风格的脸部图像;
所述通过目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征,包括:
所述通过目标人脸识别系统提取所述去噪后的所述待识别用户的所述IR风格的脸部图像的多个特定子区域的特征;
所述将所述待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,包括:
将所述去噪后的所述待识别用户的所述IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征。
4.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
若确定所述待识别用户的脸部图像为所述IR风格的脸部图像,则通过所述目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述通过目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征,包括:
通过所述目标人脸识别系统获取所述待识别用户的IR风格的脸部图像的多个关键点;
从所述多个关键点中选取多个特定关键点;
分别以每个所述特定关键点为中心划分出多个所述特定子区域;
通过多个卷积神经网络获得每个所述特定子区域的特征。
6.根据权利要求5所述的方法,其特征在于,所述特定关键点的个数小于或等于所述关键点的个数,所述卷积神经网络的个数根据所述特定关键点的个数确定。
7.根据权利要求6所述的方法,其特征在于,所述将所述目标特征与数据库中存储的融合特征进行匹配并输出匹配结果,包括:
确定所述目标特征与数据库中存储的融合特征的匹配度;
若所述匹配度大于或等于预设阈值,则输出解锁成功的匹配结果;
若所述匹配度小于所述预设阈值,则输出解锁失败的匹配结果。
8.根据权利要求7所述的方法,其特征在于,在所述获得待识别用户的脸部图像之前,还包括:
采用脸部图像样本对预先构建的人脸识别系统进行训练,以得到所述目标人脸识别系统。
9.根据权利要求8所述的方法,其特征在于,所述脸部图像样本包括IR风格的脸部图像样本和原始格式的图像样本。
10.一种图像识别装置,其特征在于,包括:
获得模块,用于获得待识别用户的脸部图像;
确定模块,用于确定所述待识别用户的脸部图像是否为红外线IR风格的脸部图像;
处理模块,用于若确定所述待识别用户的脸部图像不为所述IR风格的脸部图像,则将所述待识别用户的脸部图像转化为所述IR风格的脸部图像,通过目标人脸识别系统提取所述待识别用户的IR风格的脸部图像的多个特定子区域的特征;
匹配模块,用于将所述待识别用户的IR风格的脸部图像的多个特定子区域的特征融合成一个目标特征,并将所述目标特征与数据库中存储的融合特征进行匹配并输出匹配结果。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像识别方法的步骤。
12.一种图像识别装置,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的图像识别方法的步骤。
CN201910372760.8A 2019-05-06 2019-05-06 图像识别方法、装置及可读存储介质 Active CN110263621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910372760.8A CN110263621B (zh) 2019-05-06 2019-05-06 图像识别方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910372760.8A CN110263621B (zh) 2019-05-06 2019-05-06 图像识别方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN110263621A true CN110263621A (zh) 2019-09-20
CN110263621B CN110263621B (zh) 2021-11-26

Family

ID=67914214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910372760.8A Active CN110263621B (zh) 2019-05-06 2019-05-06 图像识别方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN110263621B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827317A (zh) * 2019-11-04 2020-02-21 西安邮电大学 一种基于fpga的四目运动目标检测与识别设备及方法
CN110866466A (zh) * 2019-10-30 2020-03-06 平安科技(深圳)有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111753908A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像分类方法和装置及风格迁移模型训练方法和装置
CN111753753A (zh) * 2020-06-28 2020-10-09 北京市商汤科技开发有限公司 图像识别方法及装置、电子设备和存储介质
CN112784823A (zh) * 2021-03-17 2021-05-11 中国工商银行股份有限公司 人脸图像识别方法、装置、计算设备和介质
WO2022032549A1 (zh) * 2020-08-11 2022-02-17 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
US11948279B2 (en) 2020-11-23 2024-04-02 Samsung Electronics Co., Ltd. Method and device for joint denoising and demosaicing using neural network

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521838A (zh) * 2011-12-19 2012-06-27 国家计算机网络与信息安全管理中心 一种图像检索/匹配方法及系统
CN103116749A (zh) * 2013-03-12 2013-05-22 上海洪剑智能科技有限公司 一种基于自建图像库的近红外人脸识别方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
CN105550642A (zh) * 2015-12-08 2016-05-04 康佳集团股份有限公司 基于多尺度线性差分特征低秩表示的性别识别方法及系统
US20170372128A1 (en) * 2016-06-27 2017-12-28 Innovative Technology Limited System and method for determining the age of an individual
CN108509892A (zh) * 2018-03-28 2018-09-07 百度在线网络技术(北京)有限公司 用于生成近红外图像的方法和装置
CN108881707A (zh) * 2017-11-28 2018-11-23 北京旷视科技有限公司 图像生成方法、装置、系统和存储介质
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521838A (zh) * 2011-12-19 2012-06-27 国家计算机网络与信息安全管理中心 一种图像检索/匹配方法及系统
CN103116749A (zh) * 2013-03-12 2013-05-22 上海洪剑智能科技有限公司 一种基于自建图像库的近红外人脸识别方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
CN105550642A (zh) * 2015-12-08 2016-05-04 康佳集团股份有限公司 基于多尺度线性差分特征低秩表示的性别识别方法及系统
US20170372128A1 (en) * 2016-06-27 2017-12-28 Innovative Technology Limited System and method for determining the age of an individual
CN108881707A (zh) * 2017-11-28 2018-11-23 北京旷视科技有限公司 图像生成方法、装置、系统和存储介质
CN108509892A (zh) * 2018-03-28 2018-09-07 百度在线网络技术(北京)有限公司 用于生成近红外图像的方法和装置
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866466A (zh) * 2019-10-30 2020-03-06 平安科技(深圳)有限公司 一种人脸识别方法、装置、存储介质和服务器
CN110866466B (zh) * 2019-10-30 2023-12-26 平安科技(深圳)有限公司 一种人脸识别方法、装置、存储介质和服务器
CN110827317A (zh) * 2019-11-04 2020-02-21 西安邮电大学 一种基于fpga的四目运动目标检测与识别设备及方法
CN110827317B (zh) * 2019-11-04 2023-05-12 西安邮电大学 一种基于fpga的四目运动目标检测与识别设备及方法
CN111753908A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像分类方法和装置及风格迁移模型训练方法和装置
CN111753753A (zh) * 2020-06-28 2020-10-09 北京市商汤科技开发有限公司 图像识别方法及装置、电子设备和存储介质
WO2022032549A1 (zh) * 2020-08-11 2022-02-17 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
US11948279B2 (en) 2020-11-23 2024-04-02 Samsung Electronics Co., Ltd. Method and device for joint denoising and demosaicing using neural network
CN112784823A (zh) * 2021-03-17 2021-05-11 中国工商银行股份有限公司 人脸图像识别方法、装置、计算设备和介质

Also Published As

Publication number Publication date
CN110263621B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110263621A (zh) 图像识别方法、装置及可读存储介质
US10452905B2 (en) System and method for detecting objects in an image
CN104350744B (zh) 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
US10303983B2 (en) Image recognition apparatus, image recognition method, and recording medium
WO2019233262A1 (zh) 视频处理方法、电子设备、计算机可读存储介质
CN107798652A (zh) 图像处理方法、装置、可读存储介质和电子设备
CN107742274A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US9189861B2 (en) Image processing device, image processing method, program, and recording medium
CN108734214A (zh) 图像识别方法和装置、电子设备、存储介质
CN103392185B (zh) 用于视频取证搜索的颜色相似性分类的方法和系统
US20130222645A1 (en) Multi frame image processing apparatus
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
CN112115979B (zh) 一种红外图像和可见图像的融合方法及设备
US20230127009A1 (en) Joint objects image signal processing in temporal domain
CN113792827B (zh) 目标对象识别方法、电子设备和计算机可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108737797B (zh) 白平衡处理方法、装置和电子设备
JP2009038737A (ja) 画像処理装置
US20150186373A1 (en) Method for sorting a group of images of a database and method for color correcting an image, corresponding devices, computer program and non-transitory computer readable medium
Kınlı et al. Modeling the lighting in scenes as style for auto white-balance correction
CN112258592A (zh) 一种人脸可见光图的生成方法及相关装置
CN107578372A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US10929960B2 (en) Method and image processing device for detecting a portion of an image
CN104851114A (zh) 一种实现图像局部变色的方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant