CN111401258A - 基于人工智能的活体检测方法、以及装置 - Google Patents
基于人工智能的活体检测方法、以及装置 Download PDFInfo
- Publication number
- CN111401258A CN111401258A CN202010189559.9A CN202010189559A CN111401258A CN 111401258 A CN111401258 A CN 111401258A CN 202010189559 A CN202010189559 A CN 202010189559A CN 111401258 A CN111401258 A CN 111401258A
- Authority
- CN
- China
- Prior art keywords
- thermal infrared
- visible light
- detected
- image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000001727 in vivo Methods 0.000 claims abstract description 22
- 238000007499 fusion processing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000644 propagated effect Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 19
- 241001465754 Metazoa Species 0.000 description 18
- 238000012549 training Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000003062 neural network model Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012795 verification Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- -1 photos Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于人工智能的活体检测方法、装置、电子设备及计算机可读存储介质；方法包括：获取包括待检测对象的可见光图像和热红外图像；对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征；对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征；对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征；基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果。通过本发明，能够提高活体检测的准确率。
Description
技术领域
本发明涉及人工智能领域的图像处理技术，尤其涉及一种基于人工智能的活体检测方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。人工智能现如今得到快速发展，并广泛应用于各种行业。
以活体检测的应用场景为例，相关技术中，针对活体检测主要是利用机器学习的方法，通过收集若干真实活体图片和照片活体图片作为训练样本，分别提取其灰度、频谱等特征，采用支持向量机或神经网络来进行分类判别，从而判定当前输入的活体来自真实活体还是照片活体。当用户欺骗活体检测系统时，采用的图片是模糊不清的或者分辨率较低的图片时，这种策略是可行的；但是，当用户欺骗活体检测时，采用的图片是高清的图片时，这种策略就会失效。因为真实活体和高分辨率的照片活体所表现出的灰度、频谱、纹理等特征非常接近，甚至会混合在一起，导致分类器难以有效的将两者区分开来。
因此，相关技术对于解决活体检测的准确率低尚无有效的方案。
发明内容
本发明实施例提供一种基于人工智能的活体检测方法、装置、电子设备及计算机可读存储介质，能够提高活体检测的准确率。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的活体检测方法，所述方法包括：
获取包括待检测对象的可见光图像和热红外图像；
对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征；
对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征；
对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征；
基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果。
本发明实施例提供一种基于人工智能的活体检测装置，包括：
获取模块，用于获取包括待检测对象的可见光图像和热红外图像；
可见光特征提取模块，用于对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征；
热红外特征提取模块，用于对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征；
特征融合模块，用于对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征；
分类模块，用于基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果。
上述方案中，所述获取模块，还用于针对包括所述待检测对象的场景进行图像采集，以获得预处理可见光图像和预处理热红外图像；当从所述预处理可见光图像中识别出所述待检测对象的所述目标部位时，对所述预处理热红外图像进行定位处理，以获得所述预处理热红外图像中所述目标部位的位置；根据所述预处理热红外图像中所述目标部位的位置，在所述预处理可见光图像和所述预处理热红外图像中，分别截取出分辨率相同、且均包括所述目标部位的所述可见光图像和所述热红外图像。
上述方案中，所述获取模块，还用于针对包括所述待检测对象的场景，采用相同方位同时进行图像采集以得到所述预处理可见光图像和所述预处理热红外图像，以使所述待检测对象在所述预处理可见光图像和所述预处理热红外图像中的成像位置相同。
上述方案中，所述获取模块，还用于在所述预处理热红外图像中，对所述目标部位的位置对应的区域进行关键点识别，得到所述预处理热红外图像中关键点的位置；在所述预处理可见光图像中，确定与所述关键点位于相同位置的关键点为目标关键点；在所述预处理热红外图像中，截取出包含所述关键点的区域以作为所述热红外图像在所述预处理可见光图像中，截取出包含所述目标关键点的区域以作为所述可见光图像。
上述方案中，所述可见光特征提取模块，还用于在所述可见光图像中选取包含所述目标部位的区域，并将包含所述目标部位的区域划分为多个子区域；通过卷积核对所述多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；将所述多个子区域中的每个子区域的特征进行组合，以获得所述待检测对象的所述目标部位的可见光特征。
上述方案中，所述热红外特征提取模块，还用于在所述热红外图像中选取包含所述目标部位的区域，并将包含所述目标部位的区域划分为多个子区域；通过卷积核对所述多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；将所述多个子区域中的每个子区域的特征进行组合，以获得所述待检测对象的所述目标部位的热红外特征。
上述方案中，所述特征融合模块，还用于在所述可见光特征中，确定分别位于不同通道的可见光子特征；在所述热红外特征中，确定分别位于不同通道的热红外子特征；将位于相同通道的所述可见光子特征和所述热红外子特征进行叠加组合，以获得位于每个通道的组合子特征；通过每个通道的卷积核，对位于相应通道的组合子特征进行卷积处理，并将卷积处理后的所有通道的组合子特征进行融合，以获得所述融合特征。
上述方案中，所述分类模块，还用于通过二分类网络的输入层接收所述融合特征的向量，并传播到所述二分类网络的隐层；通过所述二分类网络的隐层的激活函数对所述融合特征进行映射，并将映射得到的向量继续在所述隐层中进行正向传播；通过所述二分类网络的输出层接收所述隐层传播的向量，并通过所述输出层的激活函数映射为属于活体对象类型的置信度、以及属于非活体对象类型的置信度；将置信度最大所对应的类型确定为所述待检测对象的活体分类结果。
上述方案中，所述基于人工智能的活体检测装置还包括：识别比对模块，用于当获得表征所述待检测对象是活体的分类结果时，将所述待检测对象的所述目标部位的所述融合特征与数据库中已进行身份信息注册的融合特征进行识别比对，以获得所述待检测对象的身份信息。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的活体检测方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的活体检测方法。
本发明实施例具有以下有益效果：
针对待检测对象同时采集可见光图像和热红外图像，以提取出待检测对象的目标部位的融合特征，由于特征来源于不同类型的图像，能够稳定地表征对象的目标部位在各种复杂环境中的特性，从而准确度判断待检测对象是否是活体。
附图说明
图1是本发明实施例提供的活体检测系统100的架构示意图；
图2是本发明实施例提供的电子设备500的结构示意图；
图3是本发明实施例提供的基于人工智能的活体检测方法的流程示意图；
图4是本发明实施例提供的基于人工智能的活体检测方法的流程示意图；
图5是本发明实施例提供的基于人工智能的活体检测方法的流程示意图；
图6A和图6B是本发明实施例提供的平面攻击的示意图；
图7A和图7B是本发明实施例提供的立体攻击的示意图；
图8A是本发明实施例提供的电子屏幕的可见光成像图；
图8B是本发明实施例提供的电子屏幕的红外光成像图；
图9A、图9B、图9C和图9D是本发明实施例提供的真人、彩色照片、灰度照片和红外照片分别在红外光下的成像图；
图10是本发明实施例提供的基于人工智能的活体检测方法的流程示意图；
图11是本发明实施例提供的融合网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)活体检测，是当生物特征信息从合法用户那里取得时，判断该生物信息是否从具有生物活性的合法用户身上取得的。活体检测方法主要是通过识别活体上的生理信息来进行，它把生理信息作为生命特征来区别用照片、硅胶、塑泥等非生命物质伪造的生物特征。
2)活体人脸检测，主要是利用机器学习的方法，通过收集若干真实人脸图片和照片人脸图片作为训练样本，分别提取其灰度、频谱等特征，采用支持向量机或神经网络来进行分类判别，从而判定当前输入的人脸来自真实人脸还是照片人脸。活体人脸检测面临着三种欺诈(攻击)手段：(1)使用合法用户的照片；(2)使用合法用户的视频；(3)使用合法用户的三维模型。
3)双目摄像头，是指一个拍摄可见光摄像头和一个热红外摄像头；两个摄像头为同一人同时进行拍照，分别采集可见光图像和热红外图像。
4)卷积神经网络(CNN，Convolution Neutral Network)，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。
5)特征融合网络(MFN，Merge Feature Network)，是指通过不同摄像头采集图像特征，并在卷积神经网络中学习图像特征融合后的特征表达，该网络称为特征融合网络。
6)可见光图像，或称为BGR(Blue-Green-Red)图像，BGR图像中的每个像素在R(Red)、G(Green)、B(Blue)三个通道的颜色值均在0至255的范围内。例如：纯红色的R值为255，G值为0，B值为0；灰色的R、G、B三个通道的颜色值均相等(除了0和255)；白色的R、G、B三个通道的颜色值都为255；黑色的R、G、B三个通道的颜色值都为0。图像中的每个像素只使用三种颜色，就可以使每个像素按照不同的比例混合，以在屏幕上呈现16777216种颜色。
7)热红外图像，是用于记录地物辐射出来的人眼看不到的热红外辐射信息，并利用这种热红外信息来识别地物和反演地表参数(如温度、发射率、湿度、热惯量等)。
8)神经网络模型的参数，在神经网络模型的训练过程中自动更新或自行学习所获得的参数，包括有特征权重、偏置等。
9)训练样本，或称训练数据，是经过预处理后，有相对稳妥、精确的特征描述的数据集，以“样本”形式参与神经网络模型的训练过程。
10)梯度，在神经网络模型的训练过程中用于对模型参数进行梯度计算。模型计算节点每次根据各自所接收的样本数据的子集训练神经网络模型的过程均包括有正向传播和反向传播。其中，正向传播是指在训练模型中输入样本数据的子集并获得预测结果，计算预测结果与期望结果的差异的过程；反向传播则是指按照输出层、中间层、输入层的顺序，在根据预测结果与期望结果的差异反方向地计算每一层的模型参数的梯度(即更新值)，从而根据梯度来更新模型参数。
人脸信息作为每个人的独特属性身份认证(ID，Identification)，人脸识别已经在人们的生活中使用的十分普遍。人脸识别涉及到安全及支付等领域，因此也存在一些手段欺骗人脸识别系统。而活体人脸检测就是为了反击这些欺骗手段而产生的技术。
本发明实施例提供一种基于人工智能的活体检测方法、装置、电子设备及计算机可读存储介质，能够有效提高活体检测的准确性。下面说明本发明实施例提供的基于人工智能的活体检测方法的示例性应用，本发明实施例提供的基于人工智能的活体检测方法可以由各种电子设备实施，例如可以由终端实施，也可以由服务器或服务器集群实施，或者由终端和服务器协同实施。
下面，以由服务器实施为例说明本发明实施例，参见图1，图1是本发明实施例提供的活体检测系统100的架构示意图。其中，活体检测系统100包括有：服务器200、网络300、终端400以及运行于终端400的客户端410，将分别进行说明。
服务器200是客户端410的后台服务器，用于接收客户端410发送的身份验证请求，其中，身份验证请求中包括用户的身份信息，用户的身份信息是包括待检测人脸的可见光图像和热红外图像；还用于对包括待检测人脸的可见光图像和热红外图像进行检测，以确定待检测人脸是否是活体人脸，当待检测人脸是活体人脸时，在数据库中识别比对待检测人脸的身份信息，当待检测人脸的身份信息和客户端410的归属用户的身份信息相匹配时，将表征用户身份验证通过的响应结果发送至客户端410。
网络300用于作为服务器200和终端400之间通信的媒介，可以是广域网或者局域网，又或者是二者的组合。
终端400用于运行客户端410，客户端410是各种可以进行人脸身份验证的应用(APP，Application)，例如，移动钱包APP或社交APP等。当用户对客户端410进行隐私操作(例如，支付操作或查看聊天记录的操作)时，客户端410需要对用户进行身份验证。客户端410通过调用摄像头，采集包括待检测人脸的可见光图像和热红外图像，并向服务器200发送包含可见光图像和热红外图像的身份验证请求，以获得服务器200发送的表征用户身份验证是否通过的响应结果；当客户端410获得的响应结果表征用户身份验证通过时，对用户开放隐私操作权限，即允许用户对客户端410进行隐私操作(例如，支付操作或查看聊天记录的操作)，从而保证了数据的安全性。
接下来，以由终端实施为例说明本发明实施例，本发明实施例可以应用于门禁系统。
当用户需要开放门禁时，门禁系统调用摄像头采集包括用户的人脸(即待检测人脸)的可见光图像和热红外图像，并对可见光图像和热红外图像进行检测，以确定待检测人脸是否是活体人脸；当待检测人脸是活体人脸时，开放门禁，允许用户通行。
为进一步提高门禁系统的安全等级，门禁系统在已经确定待检测人脸是活体人脸时，可以将待检测人脸与门禁系统数据库中已进行身份信息注册的人脸(例如小区居民用户或公司职员等已经在门禁系统中录入的人脸)进行识别比对，当待检测人脸与已进行身份信息注册的人脸相匹配时，再开放门禁，允许用户通行，从而可以避免无关人员随意进出。
本发明实施例同样也可以应用于智能手机解锁过程中，解锁过程和上述开放门禁的过程类似，在此处将不再进行赘述。
接下来说明本发明实施例提供的用于进行活体检测的电子设备的结构，电子设备可以是图1所示的服务器200，也可以是上述示例中的终端。下面以电子设备是图1所示的服务器200为例说明该电子设备的结构，参见图2，图2是本发明实施例提供的电子设备500的结构示意图，图2所示的电子设备500包括：至少一个处理器510、存储器540和至少一个网络接口520。电子设备500中的各个组件通过总线系统530耦合在一起。可理解，总线系统530用于实现这些组件之间的连接通信。总线系统530除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统530。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器540包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器540旨在包括任意适合类型的存储器。存储器540可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中，存储器540能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统541，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块542，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本发明实施例提供的基于人工智能的活体检测装置可以采用软件方式实现，图2示出了存储在存储器540中的基于人工智能的活体检测装置543，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块5431、可见光特征提取模块5432、热红外特征提取模块5433、特征融合模块5434、以及分类模块5435。这些模块是可以是逻辑功能模块，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的基于人工智能的活体检测装置543可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能的活体检测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面，以由图1中的服务器200实施本发明实施例提供的基于人工智能的活体检测方法为例说明。参见图3，图3是本发明实施例提供的基于人工智能的活体检测方法的流程示意图，将结合图3示出的步骤进行说明。
在步骤S101中，获取包括待检测对象的可见光图像和热红外图像。
这里，待检测对象可以是人物或动物。
在一些实施例中，当待检测对象是人物时，本发明实施例提供的基于人工智能的活体检测方法可以应用于用户身份验证。
作为示例，当用户对客户端进行隐私操作(例如，支付操作或查看聊天记录的操作)时，客户端需要对用户进行身份验证。客户端通过调用摄像头，采集包括待检测人脸的可见光图像和热红外图像，并向后台服务器发送包含可见光图像和热红外图像的身份验证请求；当后台服务器验证待检测人脸是活体时，在数据库中对比识别待检测人脸的身份信息，确定待检测人脸的身份信息是否是客户端的归属用户的身份信息，以完成对用户的身份验证，可以避免其余用户通过手持归属用户的人脸照片获得可对客户端进行隐私操作的权利，从而可以避免泄露隐私，保证了数据的安全性。
在一些实施例中，当待检测对象是动物时，本发明实施例提供的基于人工智能的活体检测方法可以应用于动物品种识别。
作为示例，客户端通过调用摄像头，采集包括待检测动物的可见光图像和热红外图像，并向后台服务器发送包含可见光图像和热红外图像的动物品种识别请求，当后台服务器验证待检测动物是活体时，在数据库中对比识别待检测动物的品种，并将动物的品种信息发送至客户端，可以避免用户拿大量的手持动物照片进行动物品种识别，从而避免浪费服务器资源。
可见光图像或称为BGR(Blue-Green-Red)图像，BGR图像中的每个像素在R(Red)、G(Green)、B(Blue)三个通道的颜色值均在0至255的范围内。例如：纯红色的R值为255，G值为0，B值为0；灰色的R、G、B三个通道的颜色值均相等(除了0和255)；白色的R、G、B三个通道的颜色值都为255；黑色的R、G、B三个通道的颜色值都为0。图像中的每个像素只使用三种颜色，就可以使每个像素按照不同的比例混合，以在屏幕上呈现16777216种颜色。
热红外图像是用于记录地物辐射出来的人眼看不到的热红外辐射信息，并利用这种热红外信息来识别地物和反演地表参数(如温度、发射率、湿度、热惯量等)。
在一些实施例中，参见图4，图4是本发明实施例提供的基于人工智能的活体检测方法的流程示意图，图3示出的步骤S101还可以通过步骤S1011至步骤S1013来具体实现。
在步骤S1011中，针对包括待检测对象的场景进行图像采集，以获得预处理可见光图像和预处理热红外图像。
在一些实施例中，针对包括待检测对象的场景，在同一方位同时采集预处理可见光图像和预处理热红外图像，以使待检测对象在预处理可见光图像和预处理热红外图像中的成像位置相同。
作为示例，通过双目摄像头，同时采集预处理可见光图像和预处理热红外图像；其中，双目摄像头中包括可见光摄像头和热红外摄像头，并且双目摄像头中的可见光摄像头和热红外摄像头位于相同方位，所以待检测对象在采集的预处理可见光图像和预处理热红外图像中位于相同位置。
在一些实施例中，针对包括待检测对象的场景，在不同方位同时采集预处理可见光图像和预处理热红外图像，其中，待检测对象可能位于预处理可见光图像和预处理热红外图像中的不同位置。
作为示例，可将可见光摄像头和热红外摄像头分别设置于不同位置，通过位于不同位置的可见光摄像头和热红外摄像头同时采集预处理可见光图像和预处理热红外图像。由于可见光摄像头和热红外摄像头位于不同位置，所以待检测对象在采集的预处理可见光图像和预处理热红外图像中位于不同位置。
当待检测对象位于预处理可见光图像和预处理热红外图像中的不同位置时，需要对预处理可见光图像和预处理热红外图像进行对齐处理，其中，对齐处理的过程具体为：首先在预处理可见光图像(或预处理热红外图像)中进行查找，以获得待检测对象的关键特征；然后在预处理热红外图像(或可见光图像)中遍历查找和待检测对象的关键特征相似度最高的特征，并将相似度最高的特征确定为目标特征；最后，根据关键特征和目标特征，将预处理可见光图像和预处理热红外图像进行对齐。
在步骤S1012中，当从预处理可见光图像中识别出待检测对象的目标部位时，对预处理热红外图像进行定位处理，以获得预处理热红外图像中目标部位的位置。
这里，当待检测对象是人物时，目标部位可以是人脸、手部或指纹；当待检测对象是动物时，目标部位可以是头部或躯干部。
在一些实施例中，以活体人脸检测为例，可以先对预处理可见光图像进行粗检测，以确定预处理可见光图像中是否包含人脸，当预处理可见光图像中包含人脸时，再对预处理热红外图像进行人脸定位；也可以先对预处理热红外图像进行粗检测，以确定预处理热红外图像中是否包含人脸，当预处理热红外图像中包含人脸时，再对预处理可见光图像进行人脸定位；还可以同时对预处理可见光图像和预处理热红外图像同时进行人脸检测和人脸定位。
作为一个示例，通过人脸识别算法(例如，特征脸算法)，对预处理可见光图像进行人脸检测；当从预处理可见光图像中识别出人脸时，表征预处理可见光图像和热红外图像中可能均包含人脸，然后对预处理热红外图像中包含的人脸进行定位，以确定预处理热红外图像中的人脸位置。本示例可以先对预处理可见光图像进行人脸检测，在保证预处理可见光图像包含人脸时再通过预处理热红外图像进行人脸定位，可以节约检测时间，避免浪费检测资源。
作为另一个示例，通过人脸识别算法，对预处理热红外图像进行人脸检测；当从预处理热红外图像中识别出人脸时，表征预处理可见光图像和热红外图像中可能均包含人脸，然后对预处理可见光图像中包含的人脸进行定位，以确定预处理可见光图像中的人脸位置。本示例可以先对预处理热红外图像进行人脸检测，在保证预处理热红外图像包含人脸时再通过预处理可见光图像进行人脸定位，可以节约检测时间，避免浪费检测资源。和上一个示例相比，由于在热红外图像中检测出人脸的精度更高，所以本示例检测人脸准确率更高，但检测时间相对来说更长。
作为又一个示例，通过人脸识别算法，同时对预处理可见光图像和预处理热红外图像进行人脸检测，当两个图像中均包含人脸时，再对预处理可见光图像和预处理热红外图像进行人脸定位。相较于上述两个示例，本示例检测人脸准确率更高，但检测时间相对来说更长。
在步骤S1013中，根据预处理热红外图像中目标部位的位置，在预处理可见光图像和预处理热红外图像中，分别截取出分辨率相同、且均包括目标部位的可见光图像和热红外图像。
在一些实施例中，在预处理热红外图像中，对目标部位的位置对应的区域进行关键点识别，得到预处理热红外图像中关键点的位置；在预处理可见光图像中，确定与关键点位于相同位置的关键点为目标关键点；在预处理热红外图像中，截取出包含关键点的区域以作为热红外图像在预处理可见光图像中，截取出包含目标关键点的区域以作为可见光图像。
作为示例，分别在预处理可见光图像和预处理热红外图像中定位目标点(例如，顶点或中心点)，根据可见光图像的目标点的位置信息和预处理热红外图像中的目标点的位置信息，确定坐标变换矩阵；根据坐标变换矩阵，在预处理可见光图像和预处理热红外图像中，分别截取出分辨率相同、且均包括目标部位的可见光图像和热红外图像。
举例来说，由于是在同一方位同时采集预处理可见光图像和预处理热红外图像，所以待检测对象的目标部位位于预处理可见光图像和预处理热红外图像中的相同位置。当待检测对象的目标部位的位置位于预处理热红外图像中的左上角、且分辨率大小112*96的区域时，可以确定待检测对象的目标部位的位置位于预处理可见光图像中的左上角、且分辨率大小112*96的区域，因此可以同时截取预处理热红外图像和预处理可见光图像的左上角、且分辨率大小112*96的区域作为热红外图像和可见光图像。
本发明实施例中，只有在预处理可见光图像和/或预处理热红外图像中检测出待检测对象的目标部位后，后续才会将两个图像输入至神经网络模型中进行特征提取，若预处理可见光图像和/或预处理热红外图像中没有待检测对象的目标部位的话则无需进行后续检测，可以提高检测效率，节约检测资源。
在步骤S102中，对可见光图像进行特征提取，以获得待检测对象的目标部位的可见光特征。
这里，神经网络模型包括：可见光特征提取网络、热红外特征提取网络、特征融合网络、以及分类网络。将经过预处理后获得的可见光图像和热红外图像输入至神经网络模型中，即可获得表征待检测对象是否是活体的检测结果。
在一些实施例中，通过可见光特征提取网络，对可见光图像进行特征提取，以获得待检测对象的目标部位的可见光特征(或称可见光特征图(Feature Map))。
作为示例，通过可见光特征提取网络，在可见光图像中选取包含目标部位的区域，并将包含目标部位的区域划分为多个子区域；通过卷积核对多个子区域中的每个子区域进行过滤(或称卷积运算)，以获得每个子区域的特征；将多个子区域中的每个子区域的特征进行组合，以获得待检测对象的目标部位的可见光特征。
举例来说，对可见光图像进行包围盒回归处理，以得到包含待检测对象的目标部位的区域；然后将包含目标部位的区域划分为多个子区域；通过卷积核对每个子区域进行卷积运算，以获得每个子区域的特征；将多个子区域中的每个子区域的特征进行组合，以获得待检测对象的目标部位的可见光特征。
例如，当可见光图像大小(即分辨率)为112*96时，通过可见光特征提取网络中的卷积核进行降采样，得到待检测对象的目标部位的大小为14*12*64的可见光特征Map。
本发明实施例在可见光图像中提取待检测对象的目标部位的可见光特征，可以便于后续在进行活体检测时通过可见光特征准确检测出灰度照片和红外照片的攻击，从而提高活体检测的准确性。
在步骤S103中，对热红外图像进行特征提取，以获得待检测对象的目标部位的热红外特征。
在一些实施例中，通过热红外特征提取网络，对热红外图像进行特征提取，以获得待检测对象的目标部位的热红外特征(或称热红外特征图(Feature Map))。
作为示例，在热红外图像中选取包含目标部位的区域，并将包含目标部位的区域划分为多个子区域；通过卷积核对多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；将多个子区域中的每个子区域的特征进行组合，以获得检测对象的目标部位的热红外特征。
举例来说，对热红外图像进行包围盒回归处理，以得到包含待检测对象的目标部位的区域；然后将包含目标部位的区域划分为多个子区域；通过卷积核对每个子区域进行卷积运算，以获得每个子区域的特征；将多个子区域中的每个子区域的特征进行组合，以获得待检测对象的目标部位的热红外特征。
例如，当热红外图像大小(即分辨率)为112*96时，通过热红外特征提取网络中的卷积核进行降采样，得到待检测对象的目标部位的大小为14*12*64的热红外特征Map。
本发明实施例在热红外图像中提取待检测对象的目标部位的热红外特征，可以便于后续在进行活体检测时通过热红外特征准确检测出高清电子屏幕和高清彩色照片的攻击，从而提高活体检测的准确性。
在步骤S104中，对可见光特征和热红外特征进行特征融合处理，以获得融合特征。
在一些实施例中，通过特征融合网络，对可见光特征和热红外特征进行特征融合处理，以获得融合特征(或称融合特征图(Feature Map))。
作为示例，确定位于不同通道(或称深度)的可见光特征和热红外特征；将位于不同通道的可见光特征和热红外特征进行叠加组合，以获得融合特征。
特征融合处理的过程具体为：在可见光特征中，确定分别位于不同通道的可见光子特征；在热红外特征中，确定分别位于不同通道的热红外子特征；将位于相同通道的可见光子特征和热红外子特征进行叠加组合，以获得位于每个通道的组合子特征；通过每个通道的卷积核，对位于相应通道的组合子特征进行卷积处理，并将卷积处理后的所有通道的组合子特征进行融合，以获得融合特征。
举例来说，将可见光特征Map(大小为14*12*64)与热红外特征Map(大小为14*12*64)进行组合，得到大小为14*12*128的融合特征Map。
需要说明的是，这里的融合特征Map的获取方式可以理解为将可见光特征Map和热红外特征Map的通道数进行叠加，以获得既包含可见光特征Map、也包含热红外特征Map的融合特征Map。
本发明实施例将可见光特征和热红外特征进行融合，获得融合特征，可以便于后续在进行活体检测时通过融合特征，既可以准确检测出灰度照片和红外照片的攻击，还可以准确检测出高清电子屏幕和高清彩色照片的攻击，从而提高活体检测的准确性。
在步骤S105中，基于融合特征进行分类处理，以获得表征待检测对象是否是活体的分类结果。
在一些实施例中，通过分类网络(例如二分类网络)，对融合特征进行分类处理，以获得表征待检测对象是否是活体的分类结果。
作为示例，在融合特征中提取深度向量；通过二分类网络，将深度向量映射为对应属于活体对象类型的概率、以及属于非活体对象类型的概率；将最大概率对应的类型确定为待检测对象的活体分类结果。
分类处理的过程具体为：通过二分类网络的输入层接收融合特征的向量，并传播到二分类网络的隐层；通过二分类网络的隐层的激活函数(例如，归一化(Sigmoid)函数)对融合特征进行映射，并将映射得到的向量继续在隐层中进行正向传播；通过二分类网络的输出层接收隐层传播的向量，并通过输出层的激活函数(例如，双曲(Tanh)函数)映射为属于活体对象类型的置信度、以及属于非活体对象类型的置信度；将置信度最大所对应的类型确定为待检测对象的活体分类结果。
这里，二分类网络的结构具体包括：(1)输入层，输入层中的神经元的数量与融合特征的向量的维度一致；(2)一个或多个隐层，当二分类网络具有多个隐层时，可以是多个卷积、池化等网络层的连接；(3)输出层，输出层包括两个神经元，每个神经元输出一个类别(属于活体对象类型或属于非活体对象类型)的概率。
举例来说，在融合特征Map(大小为14*12*128)中提取深度向量(一维向量，长度为128)；通过二分类网络，将深度向量映射为待检测对象属于活体对象类型的概率、以及待检测对象属于非活体对象类型的概率；当待检测对象属于活体对象类型的概率是0.7、且待检测对象属于非活体对象类型的概率是0.3时，获得表征待检测对象是活体的分类结果。
本发明实施例针对待检测对象同时采集可见光图像和热红外图像，并分别对可见光图像和热红外图像进行特征提取，以获得可见光特征和热红外特征；然后将可见光特征和热红外特征进行融合后分类，可以通过多维度判断待检测对象是否是活体，从而可以提高活体检测的准确性，以及提高活体检测的效率。
在一些实施例中，参见图5，图5是本发明实施例提供的基于人工智能的活体检测方法的流程示意图，图3示出的步骤S105之后还可以包括步骤S106。
在步骤S106中，当获得表征待检测对象是活体的分类结果时，将待检测对象的目标部位的融合特征与数据库中已进行身份信息注册的融合特征进行识别比对，以获得待检测对象的身份信息。
这里，可以将待检测对象的目标部位的融合特征与数据库中已进行身份信息注册的融合特征进行识别比对，以获得待检测对象的身份信息；也可以将待检测对象的目标部位的可见光特征与数据库中已进行身份信息注册的可见光特征进行识别比对，以获得待检测对象的身份信息；还可以将待检测对象的目标部位的热红外特征与数据库中已进行身份信息注册的热红外特征进行识别比对，以获得待检测对象的身份信息。
在一些实施例中，当待检测对象是动物时，本发明实施例提供的基于人工智能的活体检测方法可以应用于动物品种识别。
作为示例，客户端通过调用摄像头，采集包括待检测动物的可见光图像和热红外图像，并向后台服务器发送包含可见光图像和热红外图像的动物品种识别请求，当后台服务器验证待检测动物是活体时，在数据库中对比识别待检测动物的品种，并将动物的品种信息发送至客户端。
在一些实施例中，当待检测对象是人物时，本发明实施例提供的基于人工智能的活体检测方法可以应用于用户身份验证。
作为示例，当用户对客户端进行隐私操作(例如，支付操作或查看聊天记录的操作)时，客户端需要对用户进行身份验证。客户端通过调用摄像头，采集包括待检测人脸的可见光图像和热红外图像，并向后台服务器发送包含可见光图像和热红外图像的身份验证请求；当后台服务器验证待检测人脸是活体时，在数据库中对比识别，以获得待检测人脸的身份信息，并确定待检测人脸的身份信息是否是客户端的归属用户的身份信息；当待检测人脸的身份信息是客户端的归属用户的身份信息时，允许用户对客户端进行隐私操作；当待检测人脸的身份信息不是客户端的归属用户的身份信息时，不允许用户对客户端进行隐私操作，还可以锁定客户端，并向客户端的归属用户发送提示信息，例如，向客户端的归属用户所绑定的手机号发送正被非法用户验证的提示短信，其中，提示中可以包括待检测人脸的身份信息，也可以包括采集用户的可见光图像和/或热红外图像。
本发明实施例通过活体检测方法对用户的身份验证，可以避免其余用户通过手持归属用户的人脸照片获得可对客户端进行隐私操作的权利，从而可以避免泄露隐私，保证了数据的安全性。
下面以由图1中的服务器200实施用于上述活体检测方法的神经网络模型的训练方法为例进行说明。
神经网络模型包括：可见光特征提取网络、热红外特征提取网络、特征融合网络、以及分类网络。训练方法的具体过程为：获取训练样本，其中，训练样本中包含可见光图像样本和热红外图像样本，可见光图像样本和热红外图像样本中包括待检测对象；通过可见光特征提取网络，对可见光图像样本进行特征提取，以获得待检测对象的目标部位的可见光特征；通过热红外特征提取网络，对热红外图像样本进行提取处理，以获得待检测对象的目标部位的热红外特征；通过特征融合网络，对可见光特征和热红外特征进行特征融合处理，以获得融合特征；通过分类网络，基于融合特征进行分类处理，以获得表征待检测对象是否是活体的分类结果；根据分类结果，更新神经网络模型的参数，并将更新后的参数作为训练后的神经网络模型的参数。
在一些实施例中，进行一次训练时，输入的训练样本为一个可见光图像样本和一个热红外图像样本，此时，输入的可见光图像样本和热红外图像样本可以两个同时是基于活体人脸采集的图像或基于非活体人脸采集的图像，也可以一个是基于活体人脸采集的图像另一个是基于非活体人脸采集的图像(例如，可见光图像样本是基于活体人脸采集的图像，热红外图像样本是基于非活体人脸采集的图像)。
这里，训练样本的多样性可以提高训练完成的神经网络模型对待检测对象进行活体检测的准确性。
本发明实施例使用训练完成的神经网络模型对待检测对象进行活体检测，提升了活体检测的准确率以及效率。
下面继续结合图2说明电子设备500的结构，在一些实施例中，如图2所示，存储在存储器540的基于人工智能的活体检测装置543中的软件模块可以包括：获取模块5431、可见光特征提取模块5432、热红外特征提取模块5433、特征融合模块5434、以及分类模块5435。
获取模块5431，用于获取包括待检测对象的可见光图像和热红外图像；
可见光特征提取模块5432，用于对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征；
热红外特征提取模块5433，用于对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征；
特征融合模块5434，用于对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征；
分类模块5435，用于基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果。
在一些实施例中，所述获取模块5431，还用于针对包括所述待检测对象的场景进行图像采集，以获得预处理可见光图像和预处理热红外图像；当从所述预处理可见光图像中识别出所述待检测对象的所述目标部位时，对所述预处理热红外图像进行定位处理，以获得所述预处理热红外图像中所述目标部位的位置；根据所述预处理热红外图像中所述目标部位的位置，在所述预处理可见光图像和所述预处理热红外图像中，分别截取出分辨率相同、且均包括所述目标部位的所述可见光图像和所述热红外图像。
在一些实施例中，所述获取模块5431，还用于针对包括所述待检测对象的场景，在同一方位同时采集所述预处理可见光图像和所述预处理热红外图像，以使所述待检测对象位于所述预处理可见光图像和所述预处理热红外图像中的相同位置。
在一些实施例中，所述获取模块5431，还用于在所述预处理热红外图像中，对所述目标部位的位置对应的区域进行关键点识别，得到所述预处理热红外图像中关键点的位置；在所述预处理可见光图像中，确定与所述关键点位于相同位置的关键点为目标关键点；在所述预处理热红外图像中，截取出包含所述关键点的区域以作为所述热红外图像在所述预处理可见光图像中，截取出包含所述目标关键点的区域以作为所述可见光图像。
在一些实施例中，所述可见光特征提取模块5432，还用于在所述可见光图像中选取包含所述目标部位的区域，并将包含所述目标部位的区域划分为多个子区域；通过卷积核对所述多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；将所述多个子区域中的每个子区域的特征进行组合，以获得所述待检测对象的所述目标部位的可见光特征。
在一些实施例中，所述热红外特征提取模块5433，还用于在所述热红外图像中选取包含所述目标部位的区域，并将包含所述目标部位的区域划分为多个子区域；通过卷积核对所述多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；将所述多个子区域中的每个子区域的特征进行组合，以获得所述待检测对象的所述目标部位的热红外特征。
在一些实施例中，所述特征融合模块5434，还用于在所述可见光特征中，确定分别位于不同通道的可见光子特征；在所述热红外特征中，确定分别位于不同通道的热红外子特征；将位于相同通道的所述可见光子特征和所述热红外子特征进行叠加组合，以获得位于每个通道的组合子特征；通过每个通道的卷积核，对位于相应通道的组合子特征进行卷积处理，并将卷积处理后的所有通道的组合子特征进行融合，以获得所述融合特征。
在一些实施例中，所述分类模块5435，还用于通过二分类网络的输入层接收所述融合特征的向量，并传播到所述二分类网络的隐层；通过所述二分类网络的隐层的激活函数对所述融合特征进行映射，并将映射得到的向量继续在所述隐层中进行正向传播；通过所述二分类网络的输出层接收所述隐层传播的向量，并通过所述输出层的激活函数映射为属于活体对象类型的置信度、以及属于非活体对象类型的置信度；将置信度最大所对应的类型确定为所述待检测对象的活体分类结果。
在一些实施例中，所述基于人工智能的活体检测装置543还包括：识别比对模块，用于当获得表征所述待检测对象是活体的分类结果时，将所述待检测对象的所述目标部位的所述融合特征与数据库中已进行身份信息注册的融合特征进行识别比对，以获得所述待检测对象的身份信息。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的基于人工智能的活体检测方法，例如，图3、图4或图5示出的基于人工智能的活体检测方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
下面，将以待检测对象的目标部位是人脸信息为例说明在实际的应用场景中的示例性应用。
本发明实施例可以应用于门禁系统，具体地：当用户需要开放门禁时，门禁系统调用摄像头采集包括用户的人脸(即待检测人脸)的可见光图像和热红外图像，并对可见光图像和热红外图像进行检测，以确定待检测人脸是否是活体人脸；当待检测人脸是活体人脸时，开放门禁，允许用户通行。为进一步提高门禁系统的安全等级，门禁系统在已经确定待检测人脸是活体人脸时，可以将待检测人脸与门禁系统数据库中已进行身份信息注册的人脸(例如小区居民用户或公司职员等已经在门禁系统中录入的人脸)进行识别比对，当待检测人脸与已进行身份信息注册的人脸相匹配时，再开放门禁，允许用户通行，从而可以避免无关人员随意进出。
本发明实施例还可以应用于在支付过程中对用户的身份验证，具体地：当用户通过客户端(例如电子钱包)进行支付操作时，客户端需要对用户进行身份验证。客户端通过调用摄像头，采集包括待检测人脸的可见光图像和热红外图像，并向后台服务器发送包含可见光图像和热红外图像的身份验证请求；当后台服务器验证待检测人脸是活体人脸时，在数据库中对比识别，以确定待检测人脸的身份信息是否是客户端(或客户端的登录账号)的归属用户的身份信息；当待检测人脸的身份信息是客户端(或客户端的登录账号)的归属用户的身份信息时，允许用户通过客户端进行支付操作；当待检测人脸的身份信息不是客户端(或客户端的登录账号)的归属用户的身份信息时，不允许用户通过客户端进行支付操作，并向客户端(或客户端的登录账号)的归属用户发送提示信息，例如，向客户端(或客户端的登录账号)的归属用户所绑定的手机号发送正被非法用户验证的提示短信。
接下来具体说明在上述应用场景中，活体人脸检测的具体实现过程。
人脸信息作为每个人的独特属性身份认证，人脸识别已经在人们的生活中使用的十分普遍。人脸识别涉及到安全及支付等领域，因此也存在一些手段欺骗人脸识别系统。而活体人脸检测就是为了反击这些欺骗手段而产生的技术。
常见的活体攻击手段有平面攻击和立体攻击。参见图6A、图6B、图7A和图7B，图6A和图6B是本发明实施例提供的平面攻击的示意图，其中，图6A是打印照片的攻击，图6B是高清电子屏的攻击。图7A和图7B是本发明实施例提供的立体攻击的示意图，其中，图7A是三维人脸模型的攻击，图7B是人脸面具的攻击。
相关技术中，活体人脸检测的方法存在以下技术问题：1)可见光活体检测方法不能有效的防止高清屏幕及照片的攻击。2)3D结构光人脸活体检测方法可以有效防止平面攻击(例如，屏幕攻击、纸张攻击)，但不能有效防止立体攻击。3)红外(即上述的热红外)人脸活体检测方法可以有效的防止屏幕攻击，但不能很好防止灰度照片及红外照片攻击。
参见图8A、图8B、图9A、图9B、图9C和图9D，图8A是本发明实施例提供的电子屏幕的可见光成像图，图8B是本发明实施例提供的电子屏幕的红外光成像图，图8B中，电子屏幕在红外光下无法正常成像。图9A、图9B、图9C和图9D是本发明实施例提供的真人、彩色照片、灰度照片和红外照片分别在红外光下的成像图。由上图可见，可见光活体检测方法容易被高清照片及高清屏幕攻破；3D结构光活体检测方法容易被立体头像攻破；红外活体检测方法容易被红外照片及灰度照片攻破。
针对上述问题，本发明实施例提供一种基于人工智能的活体检测方法，能够有效解决上述技术问题。
参见图10，图10是本发明实施例提供的基于人工智能的活体检测方法的流程示意图。将结合图10详细说明本发明实施例。
在步骤S201中，针对待检测对象采集BGR图像(即上述的预处理可见光图像)和红外图像(即上述的预处理热红外图像)，当BGR通道在BGR图像中检测出人脸时，通过红外通道在红外图像中定位人脸的位置，以获得BGR人脸图(即上述的可见光图像)及红外人脸图(即上述的热红外图像)。
在一些实施例中，针对包括待检测对象的场景进行图像采集，以获得BGR图像和红外图像；当从BGR图像中识别出待检测对象的人脸时，对红外图像进行人脸定位处理，以获得红外图像中人脸的位置；根据红外图像中人脸的位置，在BGR图像和红外图像中，分别截取出分辨率(即大小)相同、且均包括人脸的BGR图像和红外图像。
在步骤S202中，将BGR人脸图及红外人脸图输入至融合网络中，获得类别特征(即上述的深度向量)。
这里的融合网络相当于上述的可见光特征提取网络、热红外特征提取网络和特征融合网络。
在一些实施例中，通过可见光特征提取网络，对BGR人脸图进行特征提取，以获得可见光特征；通过热红外特征提取网络，对红外人脸图进行特征提取，以获得热红外特征；通过特征融合网络将可见光特征和热红外特征进行融合，以获得融合特征；在融合特征中提取获得类别特征。
在步骤S203中，根据类别特征，确定待检测对象是真人(即活体)还是攻击(即非活体)。
在一些实施例中，通过分类网络，对类别特征进行分类处理，以获得表征待检测对象的人脸是活体人脸还是非活体人脸的分类结果。
作为示例，通过分类网络，将类别特征映射为对应属于活体人脸类型的概率、以及属于非活体人脸类型的概率；将最大概率对应的类型确定为待检测对象的人脸是活体人脸还是非活体人脸的分类结果。
参见图11，图11是本发明实施例提供的融合网络的结构示意图，下面结合图11进行说明。
输入至融合网络的BGR人脸图及红外人脸图(大小均为112*96)经过卷积神经网络降采样得到大小均为14*12*64的BGR特征图(Map)(即上述的可见光特征)和红外特征Map(即上述的热红外特征)；将BGR特征Map和红外特征Map进行组合，得到大小为14*12*128的融合特征Map(即上述的融合特征)；从融合特征Map中提取大小为128的类别特征；根据类别特征，得到活体类别的输出(是真人还是攻击)。
综上所述，本发明实施例具有以下有益效果：
1)在可见光图像中提取待检测对象的目标部位的可见光特征，可以便于后续在进行活体检测时通过可见光特征准确检测出灰度照片和红外照片的攻击，从而提高活体检测的准确性。
2)在热红外图像中提取待检测对象的目标部位的热红外特征，可以便于后续在进行活体检测时通过热红外特征准确检测出高清电子屏幕和高清彩色照片的攻击，从而提高活体检测的准确性。
3)将可见光特征和热红外特征进行融合，获得融合特征，可以便于后续在进行活体检测时通过融合特征，既可以准确检测出灰度照片和红外照片的攻击，还可以准确检测出高清电子屏幕和高清彩色照片的攻击，从而提高活体检测的准确性。
4)通过活体检测方法对用户的身份验证，可以避免其余用户通过手持归属用户的人脸照片获得可对客户端进行隐私操作的权利，从而可以避免泄露隐私，保证了数据的安全性。
5)只有在预处理可见光图像和/或预处理热红外图像中检测出待检测对象的目标部位后，后续才会将两个图像输入至神经网络模型中进行特征提取，若预处理可见光图像和/或预处理热红外图像中没有待检测对象的目标部位的话则无需进行后续检测，可以提高检测效率，节约检测资源。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的活体检测方法，其特征在于，所述方法包括：
获取包括待检测对象的可见光图像和热红外图像；
对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征；
对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征；
对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征；
基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述获取包括待检测对象的可见光图像和热红外图像，包括：
针对包括所述待检测对象的场景进行图像采集，以获得预处理可见光图像和预处理热红外图像；
当从所述预处理可见光图像中识别出所述待检测对象的所述目标部位时，对所述预处理热红外图像进行定位处理，以获得所述预处理热红外图像中所述目标部位的位置；
根据所述预处理热红外图像中所述目标部位的位置，在所述预处理可见光图像和所述预处理热红外图像中，分别截取出分辨率相同、且均包括所述目标部位的所述可见光图像和所述热红外图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述预处理热红外图像中所述目标部位的位置，在所述预处理可见光图像和所述预处理热红外图像中，分别截取出分辨率相同、且均包括所述目标部位的所述可见光图像和所述热红外图像，包括：
在所述预处理热红外图像中，对所述目标部位的位置对应的区域进行关键点识别，得到所述预处理热红外图像中关键点的位置；
在所述预处理可见光图像中，确定与所述关键点位于相同位置的关键点为目标关键点；
在所述预处理热红外图像中，截取出包含所述关键点的区域以作为所述热红外图像；
在所述预处理可见光图像中，截取出包含所述目标关键点的区域以作为所述可见光图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征，包括：
在所述可见光图像中选取包含所述目标部位的区域，并将包含所述目标部位的区域划分为多个子区域；
通过卷积核对所述多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；
将所述多个子区域中的每个子区域的特征进行组合，以获得所述待检测对象的所述目标部位的可见光特征。
5.根据权利要求1所述的方法，其特征在于，所述对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征，包括：
在所述热红外图像中选取包含所述目标部位的区域，并将包含所述目标部位的区域划分为多个子区域；
通过卷积核对所述多个子区域中的每个子区域进行过滤，以获得每个子区域的特征；
将所述多个子区域中的每个子区域的特征进行组合，以获得所述待检测对象的所述目标部位的热红外特征。
6.根据权利要求1所述的方法，其特征在于，所述对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征，包括：
在所述可见光特征中，确定分别位于不同通道的可见光子特征；
在所述热红外特征中，确定分别位于不同通道的热红外子特征；
将位于相同通道的所述可见光子特征和所述热红外子特征进行叠加组合，以获得位于每个通道的组合子特征；
通过每个通道的卷积核，对位于相应通道的组合子特征进行卷积处理，并将卷积处理后的所有通道的组合子特征进行融合，以获得所述融合特征。
7.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果，包括：
通过二分类网络的输入层接收所述融合特征的向量，并传播到所述二分类网络的隐层；
通过所述二分类网络的隐层的激活函数对所述融合特征进行映射，并将映射得到的向量继续在所述隐层中进行正向传播；
通过所述二分类网络的输出层接收所述隐层传播的向量，并通过所述输出层的激活函数映射为属于活体对象类型的置信度、以及属于非活体对象类型的置信度；
将置信度最大所对应的类型确定为所述待检测对象的活体分类结果。
8.根据权利要求1至7任一项所述的方法，其特征在于，在所述获得表征所述待检测对象是否是活体的分类结果之后，所述方法还包括：
当获得表征所述待检测对象是活体的分类结果时，将所述待检测对象的所述目标部位的融合特征，与数据库中已进行身份信息注册的融合特征进行识别比对，以
获得所述待检测对象的身份信息。
9.一种基于人工智能的活体检测装置，其特征在于，所述装置包括：
获取模块，用于获取包括待检测对象的可见光图像和热红外图像；
可见光特征提取模块，用于对所述可见光图像进行特征提取，以获得所述待检测对象的目标部位的可见光特征；
热红外特征提取模块，用于对所述热红外图像进行特征提取，以获得所述待检测对象的所述目标部位的热红外特征；
特征融合模块，用于对所述可见光特征和所述热红外特征进行特征融合处理，以获得融合特征；
分类模块，用于基于所述融合特征进行分类处理，以获得表征所述待检测对象是否是活体的分类结果。
10.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至8任一项所述的基于人工智能的活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010189559.9A CN111401258B (zh) | 2020-03-18 | 2020-03-18 | 基于人工智能的活体检测方法、以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010189559.9A CN111401258B (zh) | 2020-03-18 | 2020-03-18 | 基于人工智能的活体检测方法、以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111401258A true CN111401258A (zh) | 2020-07-10 |
| CN111401258B CN111401258B (zh) | 2024-01-30 |
Family
ID=71432572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010189559.9A Active CN111401258B (zh) | 2020-03-18 | 2020-03-18 | 基于人工智能的活体检测方法、以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401258B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132077A (zh) * | 2020-09-29 | 2020-12-25 | 杭州城市大数据运营有限公司 | 一种基于神经网络的人脸活体验证方法、系统及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197586A (zh) * | 2017-12-12 | 2018-06-22 | 北京深醒科技有限公司 | 脸部识别方法和装置 |
| CN109558840A (zh) * | 2018-11-29 | 2019-04-02 | 中国科学院重庆绿色智能技术研究院 | 一种特征融合的活体检测方法 |
| CN110163078A (zh) * | 2019-03-21 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置及应用活体检测方法的服务系统 |
| CN110443192A (zh) * | 2019-08-01 | 2019-11-12 | 中国科学院重庆绿色智能技术研究院 | 一种基于双目图像的非交互式人脸活体检测方法及系统 |
| US20190354746A1 (en) * | 2018-05-18 | 2019-11-21 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting living body, electronic device, and storage medium |
-
2020
- 2020-03-18 CN CN202010189559.9A patent/CN111401258B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197586A (zh) * | 2017-12-12 | 2018-06-22 | 北京深醒科技有限公司 | 脸部识别方法和装置 |
| US20190354746A1 (en) * | 2018-05-18 | 2019-11-21 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting living body, electronic device, and storage medium |
| CN109558840A (zh) * | 2018-11-29 | 2019-04-02 | 中国科学院重庆绿色智能技术研究院 | 一种特征融合的活体检测方法 |
| CN110163078A (zh) * | 2019-03-21 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置及应用活体检测方法的服务系统 |
| CN110443192A (zh) * | 2019-08-01 | 2019-11-12 | 中国科学院重庆绿色智能技术研究院 | 一种基于双目图像的非交互式人脸活体检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MARYAM IMANI ET AL: "A survey of emotion recognition methods with emphasis on E-Learning environments", 《JOURNAL OF NETWORK AND COMPUTER APPLICATIONS》, vol. 147, pages 1 - 40 * |
| 丁莹: "人脸识别中活体检测方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2019, no. 1 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132077A (zh) * | 2020-09-29 | 2020-12-25 | 杭州城市大数据运营有限公司 | 一种基于神经网络的人脸活体验证方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111401258B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Deep unified model for face recognition based on convolution neural network and edge computing | |
| US8345921B1 (en) | Object detection with false positive filtering | |
| CN101669824B (zh) | 基于生物特征识别的人与身份证同一性检验装置 | |
| CN112215180B (zh) | 一种活体检测方法及装置 | |
| US20210027081A1 (en) | Method and device for liveness detection, and storage medium | |
| KR102294574B1 (ko) | 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템 | |
| CN111325319B (zh) | 一种神经网络模型的检测方法、装置、设备及存储介质 | |
| KR102145132B1 (ko) | 딥러닝을 이용한 대리 면접 예방 방법 | |
| CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
| KR102308122B1 (ko) | 인증결과를 활용한 안면인식서버 및 안면인식시스템 | |
| Rai et al. | Software development framework for real-time face detection and recognition in mobile devices | |
| CN113642639B (zh) | 活体检测方法、装置、设备和存储介质 | |
| Sedik et al. | An efficient cybersecurity framework for facial video forensics detection based on multimodal deep learning | |
| CN111401258B (zh) | 基于人工智能的活体检测方法、以及装置 | |
| CN113591603A (zh) | 证件的验证方法、装置、电子设备及存储介质 | |
| Huang et al. | Securable networked scheme with face authentication | |
| CN113255531B (zh) | 活体检测模型的处理方法、装置、计算机设备和存储介质 | |
| KR102312152B1 (ko) | 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버 및 안면인식 시스템 | |
| CN114639132A (zh) | 人脸识别场景下的特征提取模型处理方法、装置、设备 | |
| CN112749607B (zh) | 基于人工智能的图像识别方法及装置 | |
| Hayles et al. | A Convolutional Neural Network Based Robust Automated Real-Time Image Detection System for Personal Protective Equipment. | |
| Han | Smart Security System Based on Edge Computing and Face Recognition | |
| CN115966030A (zh) | 图像处理方法、装置及智能终端 | |
| Aliyeva et al. | Turnstile Access based on Facial Recognition and Vaccine Passport Verification | |
| Kotrashetty et al. | Smart Surveillance System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |