CN113128429A - 基于立体视觉的活体检测方法和相关设备 - Google Patents

基于立体视觉的活体检测方法和相关设备 Download PDF

Info

Publication number
CN113128429A
CN113128429A CN202110444759.9A CN202110444759A CN113128429A CN 113128429 A CN113128429 A CN 113128429A CN 202110444759 A CN202110444759 A CN 202110444759A CN 113128429 A CN113128429 A CN 113128429A
Authority
CN
China
Prior art keywords
infrared
classification
image
living body
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110444759.9A
Other languages
English (en)
Other versions
CN113128429B (zh
Inventor
盛鹏
乔国坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202110444759.9A priority Critical patent/CN113128429B/zh
Publication of CN113128429A publication Critical patent/CN113128429A/zh
Application granted granted Critical
Publication of CN113128429B publication Critical patent/CN113128429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于立体视觉的活体检测方法和相关设备，所述方法包括：获取针对同一拍摄对象拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果；基于所述目标分类结果，确定所述拍摄对象是否为目标活体。本发明提高了活体检测的效率，在门锁等场景中，本发明提高了对用户身份认证的可靠性和准确性。

Description

基于立体视觉的活体检测方法和相关设备
技术领域
本发明涉及生物识别，特别涉及一种基于立体视觉的活体检测方法和相关设备。
背景技术
随着技术的发展和进步，基于人脸识别的身份验证设备越来越多。例如基于人脸识别的门禁系统、开机系统等等。其主要原理是通过对环境进行图像采集，然后通过一定的人脸识别算法或者人脸识别模型，提取采集后图像的人脸特征并与预先保存的标准图像进行比对，从而验证环境中的人身份。
目前市面上应用广泛的门禁等身份验证装置的摄像头模组，主要的组合方式是RGB(Red Green Blue)摄像头+红外摄像头，或者是RGB摄像头+深度摄像头。这种摄像头模组在白天以及天气晴朗、光线充足的环境下，能够拍摄到清晰的图像，以用于进行身份识别以及活体检测。但是到光线较暗的环境下，例如晚上或者阴雨天，RGB画面中的人脸模糊，且具备较大的噪点大，这种RGB图像会造成后续识别困难。
同时，门锁大多处于楼道间，光线暗淡，若采用该摄像头模组会造成身份识别以及活体检测的困难，难以开门。而单纯依靠红外摄像头做活体，对3D的假人头的识别精度不佳；单纯依靠深度摄像头做活体检测，对打印纸张的识别精度较低，此外，深度摄像头造价昂贵，提高了入门门槛，降低产品的普及率。
发明内容
本发明要解决的技术问题在于由于光线等不利环境因素的影响，活体检测识别精度不高，针对现有技术的不足，提供一种基于立体视觉的活体检测方法。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种基于立体视觉的活体检测方法，所述方法包括：
获取针对同一拍摄对象拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；
基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；
当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；
根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果；
基于所述目标分类结果，确定所述拍摄对象是否为目标活体。
可选地，其中，所述基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果，具体包括：
对所述第一红外图或所述第二红外图进行人脸提取，得到识别人脸图像；
将所述识别人脸图像输入已训练的人脸识别模型中，并基于所述人脸信息，控制所述人脸识别模型对所述识别人脸图像进行人脸识别，确定所述双红外图是否包含目标用户；
当确定所述双红外图包含目标用户时，确定所述识别结果为目标用户。
可选地，其中，所述人脸识别模型包括特征提取网络和分类器；所述特征提取网络的网络架构为深度学习网络的网络架构，所述特征提取网络的通道扩展数量小于或等于所述深度学习网络的默认扩展倍数，所述特征提取网络的全连接层的特征维度数小于所述深度学习网络的默认全连接层维度数。
可选地，其中，所述当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图，具体包括：
对所述第一红外图和所述第二红外图进行像素点匹配，得到若干个像素组；
基于预设的立体视觉算法，针对每一个像素组，基于预设的标定信息，计算该像素组对应的深度值，得到当前环境对应的深度图像。
可选地，其中，所述目标分类结果包括第一分类结果和第二分类结果；所述根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果，具体包括：
将所述深度图输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果；以及，
将所述红外图输入已训练的第二分类模型中，并通过所述第二分类模型对所述红外图进行活体分类，得到第二分类结果。
可选地，其中，所述将所述深度图输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果，具体包括：
基于所述识别人脸图像相对于所述双红外图的位置坐标，对所述深度图进行裁剪，得到第一人脸图像；
将所述第一人脸图像输入已训练的第一分类模型中，并通过所述第一分类模型对所述第一人脸图像进行活体分类，得到第一分类结果，其中，所述第一分类模型包括若干个卷积层、分组卷积层以及全连接层。
可选地，其中，所述基于所述目标分类结果，确定所述拍摄对象是否为目标活体，具体包括：
当所述第一分类结果为活体且所述第二分类结果为活体时，确定所述拍摄对象为目标活体。
一种基于立体视觉的活体检测，其中，具体包括：
获取模块，用于获取针对同一环境拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；
识别模块，用于基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；
计算模块，用于当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；
分类模块，用于根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的分类结果；
确定模块，用于基于所述分类结果，确定所述双红外图对应的拍摄对象是否为目标活体。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于立体视觉的活体检测方法中的步骤。
一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于立体视觉的活体检测方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种基于立体视觉的活体检测方法和相关设备，先采集对同一拍摄对象拍摄得到的两张红外图，分别称为第一红外图和第二红外图。再通过第一红外图或第二红外图进行人脸识别，得到识别结果。由于红外图在光线较暗的地方，也能够精确采集到拍摄对象的信息，因此，通过双红外图，在光线较暗的地方也能实现对用户身份的准确识别。如果识别结果为拍摄对象为目标用户，则再计算第一红外图和第二红外图对应深度图。红外图能够有效区分真实人脸和模型人脸，而深度图可以精确区分真实人脸和打印等方式得到的平面人脸，因此基于对红外图和深度图的活体分类，能够准确判断拍摄对象是否为目标活体，从而提高在不利的光线条件下，身份验证的精确度。此外，本发明所采用的分类模型可使较为简单的模型架构，因此计算速率，能够提高活体检测的效率。
附图说明
图1为本发明提供的基于立体视觉的活体检测方法的第一个流程图。
图2为本发明提供的基于立体视觉的活体检测方法的基于第一红外图和第二红外图获得对应的深度图的原理示意图。
图3为本发明提供的基于立体视觉的活体检测方法中用于训练第一分类模型的训练正样本图(左)和训练负样本图(右)示意图。
图4为本发明提供的基于立体视觉的活体检测方法中用于训练第二分类模型的训练正样本图(左)和训练负样本图(右)示意图。
图5为本发明提供的基于立体视觉的活体检测方法的第二个流程图。
图6为本发明提供的基于立体视觉的活体检测的结构示意图。
图7为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种基于立体视觉的活体检测方法、计算机可读存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，目前市面上应用广泛的门禁等身份验证装置的摄像头模组，主要的组合方式是RGB(Red Green Blue)摄像头+红外摄像头，或者是RGB摄像头+深度摄像头。这种摄像头模组在白天以及天气晴朗、光线充足的环境下，能够拍摄到清晰的图像，以用于进行身份识别以及活体检测。但是到光线较暗的环境下，例如晚上或者阴雨天，RGB画面中的人脸模糊，且具备较大的噪点大，这种RGB图像会造成后续识别困难。同时，门锁大多处于楼道间，光线暗淡，若采用该摄像头模组会造成身份识别以及活体检测的困难，难以开门。而单纯依靠红外摄像头做活体，对3D的假人头的识别精度不佳；单纯依靠深度摄像头做活体检测，对打印纸张的识别精度较低，此外，深度摄像头造价昂贵，提高了入门门槛，降低产品的普及率。
为了解决上述问题，在本发明实施例中，获取针对同一拍摄对象拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果；基于所述目标分类结果，确定所述拍摄对象是否为目标活体。
举例说明，本发明实施例可以应用到智能门锁、手机验证等需要身份验证的装置或设备中。本实施例以用于智能门锁为例进行实施说明。
需要注意的是，上述应用环境仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何环境。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
如图1所示，本实施提供了一种基于立体视觉的活体检测方法，所述方法可以包括以下步骤：S10、获取针对同一拍摄对象拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图。
具体地，当用户站在智能门锁前，智能门锁可通过红外感应等方式判断在目标位置存在物体，生成检测指令。当检测到检测指令时，智能门锁控制预先安装的双目红外摄像头，对当前环境进行拍照，从而得到第一红外图和第二红外图。
S20、基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果。
具体地，预先采集目标用户的人脸信息并存储。可直接将用户的照片作为人脸信息存储。为提高后续的计算效率，可通过先采集用户的照片，然后对照片进行特征提取，从而得到人脸信息。
获取双红外图之后，对双红外图进行人脸识别，先提取双红外图中的人脸特征，然后将人脸特征和预先存储的人脸信息进行比对，得到识别结果。识别结果即判断当前环境中是否包含有用户。
人脸识别过程可通过机器学习算法或者训练后的深度学习模型实现。
在此过程中，由于需要验证的用户距离摄像头的距离有远有近，如果距离过远，会存在干扰信息过多的情形，从而影响识别的准确度。其具体过程为：
A10、对所述第一红外图或所述第二红外图进行人脸提取，得到识别人脸图像。
具体地，本实施例先对双红外图进行预处理，随机选取双红外图中的第一红外图或第二红外图进行人脸提取工作。以第一红外图为例，对其进行一定的裁剪。先对第一红外图进行人脸检测，确定红外图中的包含有人脸的人脸框。然后基于人脸框的位置坐标，将红外图进行裁剪，得到该红外图对应的识别人脸图像。
本实施例中所采用确定锚框的方式为基于SSD(Single Shot MultiBoxDetector)方法的人脸定位，该类一阶段检测方法，更加适合在嵌入式端使用，能够检测尺寸变化多样的人脸，且对光照不敏感，在较暗的环境下，也能检测到人脸。
A20、将所述识别人脸图像输入已训练的人脸识别模型中，并基于所述人脸信息，控制所述人脸识别模型对所述识别人脸图像进行人脸识别，确定所述双红外图是否包含目标用户。
具体地，将识别人脸图像输入到预设的人脸识别算法或已训练的人脸识别模型中，以将其与预先保存的人脸信息进行比对，从而判断是否为目标用户。
本实施例可采用的比对方式是计算人脸特征和人脸信息之间的相似度，然后根据相似度判断人脸特征的来源，即拍摄对象是否为目标用户。若是，则进行下一步，即判断拍摄对象是否为活体。
本实施例中,所述人脸识别模型包括特征提取网络和分类器。所述特征提取网络的网络架构为深度学习网络的网络架构，例如VGGNet、TensorFlow。先通过深度学习网络对第一红外图进行了裁剪,以减少计算量,提高网络前向处理的速度。所述特征提取网络的通道扩展数量小于或等于深度学习网络的默认扩展倍数，所述特征提取网络的全连接层的特征维度数小于深度学习网络的默认全连接层维度数。由于本实施例应用于智能门锁,因此用户数量较少,预先存储的人脸信息也较少,所以本实施例以深度学习网络MobileFaceNets为例，对其进行改进后的网络结果如下表:
Figure BDA0003036400810000081
Figure BDA0003036400810000091
其中,input是输入值，Operator是卷积参数，Conv(convolution)是卷积层，DwConv(Depthwise Convolution)是指深度卷积，Bottleneck是指瓶颈层，Linear GDConv(Gated Dilated Convolution)是指线性膨胀门卷积，Fully connect表示全连接层，本实施例中的全连接层的特征维度为1x128；t表示通道扩展倍数，C表示输出通道，N表示重复次数，s表示步长stride。
通过特征提取网络，人脸识别模型提取了识别人脸图像中的人脸特征。然后通过分类器，计算人脸信息和人脸特征之间的相似度值。当相似度值大于预设的相似度阈值，例如90％，则判定识别人脸图像为针对目标用户拍摄的图像，即拍摄对象为目标用户。
进一步地，由于本实施例中，人脸识别模型的网络架构在传统的模型基础上进行了裁剪，因此识别精确度会受到一定的影响，因此为了避免误识别，本实施例中的相似度阈值相较于传统的相似度阈值要大。
此外，为减少模型的计算量，提高计算速度，本实施例中，将识别人脸图像输入到预设的人脸识别算法或已训练的人脸识别模型之前，还根据预设的压缩尺寸，对其进行缩放，得到压缩识别人脸图像，再对其进行识别。本实施例中优选采用的压缩尺寸为112x112。
A30、当确定所述双红外图包含目标用户时，确定所述识别结果为目标用户。
具体地，本实施例中的识别结果包括拍摄对象为目标用户和拍摄对象为非目标用户。
当确定拍摄对象为目标用户时，确定所述识别结果为目标用户。
当确定拍摄对象为非目标用户时，识别结果即为非目标用户。
S30、当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图。
具体地，当识别结果为目标用户时，便于后续提高活体检测的精确度，提高对平面、3D模型的非活体的识别能力，根据第一红外图和第二红外图，计算双红外图对应的深度图。其具体过程为：
B10、对所述第一红外图和所述第二红外图进行像素点匹配，得到若干个像素组。
具体地，对第一红外图和第二红外图进行像素点匹配，得到若干个像素组。像素点匹配是指将第一红外图中的每一个像素点，寻找在第二红外图中对应的像素点。设在第一红外图的像素点为像素点a，在第二红外图中对应的像素点为像素点b，则像素点a和像素点b组成一个像素点组。像素点匹配可采用的方式包括基于灰度相关的匹配、基于特征点的像素匹配等，在此不再一一赘述。
B20、基于预设的立体视觉算法，针对每一个像素组，基于预设的标定信息，计算该像素组对应的深度值，得到当前环境对应的深度图像。
具体地，预先根据当前双红外摄像头的标定参数，设定与该双摄像头对应的立体视觉算法。如图2所示的立体视觉算法的原理图，点p是环境中的某一个被摄点，OR和OT分别是左右摄像头的光心。点p在两个摄像头的平面上所投射的成像点为p’和p”。p’和p”即上述的像素组。本实施例中假定两个摄像头的焦距都为f，B是两个摄像头光性之间的距离，即中心距(Baseline)，而距离z即深度图所包含的深度信息。
设点p’和p”之间的距离，也就是像素距离为(XR-XT)，XR为p”在第二红外图中与某一个方向边缘之间的距离，XT为p’在第一红外图中与同一个方向边缘之间的距离。其中，则根据第一红外图和第二红外图得到的被摄点p在两个图像之间的距离差为dis，则：
dis＝B-(XR-XT)；
根据相似三角形原理，则有：
Figure BDA0003036400810000101
因此可得，点p对应的深度值的计算公式，也就是
Figure BDA0003036400810000102
其中，上述公式中的f和B可在双摄像头出厂时进行相机标定得到，因此本实施例也将其称为标定信息。因此，得到像素组后，针对每一个像素组，根据该像素组在第一红外图以及第二红外图中对应的位置坐标，以及上述标定信息和深度值计算公式，可计算得到每一个像素组对应的深度值。
首先，针对每一个像素组，计算该像素值之间的像素距离，即(XR-XT)。然后计算所述中心距与所述像素距离之间的比值，得到缩放比例，即
Figure BDA0003036400810000111
最后计算所述焦距与所述缩放比例之间的乘积，得到该像素组对应的深度值，即
Figure BDA0003036400810000112
在得到每一个像素组的深度值后，基于红外图的尺寸，即可生成与红外图尺寸相同的深度图。例如预设一个与红外图尺寸相同的空白矩阵，根据像素组对应第一红外图的位置坐标，将该像素组对应的深度值写入空白矩阵中的对应位置，将空白矩阵填满后，即得到了与红外图对应的深度图。
由于本实施例中的深度图是对两个红外图进行处理得到的，而非通过深度摄像头获取，因此一方面，可减少装置或设备的成本，另一方面，深度图和红外图所包含的信息具有较强的一致性，为后续进行识别判断提供了较为精确的素材。
S40、根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果。
具体地，再基于深度图和双红外图，进行活体分类。本实施例中，目标分类结果包括针对深度图进行活体分类得到的第一分类结果，以及基于双红外图进行活体分类得到的第二分类记过。如图3所示，真实的人脸以及打印、照片等类型的平面人脸，在深度图上有着明显的区别，因此，通过深度图即可实现对拍摄对象是3D人脸还是平面人脸进行区分。如图4所示，在红外光的照射下，真实人脸中的眼睛处会比较亮，而基于人偶得到的红外图像的眼睛处黯淡无光，两者存在较大差别。因此基于第一分类结果和第二分类结果，可用于后续判断拍摄对象是否为人脸。
进一步地，为了提高针对深度图和双红外图的活体检测效率，本实施例采用设置两个分类模型的方式进行活体分类。具体过程为：
将所述深度图输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果；以及，
将所述红外图输入已训练的第二分类模型中，并通过所述第二分类模型对所述红外图进行活体分类，得到第二分类结果。
具体地，预先训练第一分类模型和第二分类模型，以用于对深度图和红外图进行分类。
第一分类模型用于对深度图进行分类。第一分类模型的网络架构采用的是二分类网络模型的架构，在训练过程中，采用的训练集包括正样本训练子集和负样本训练子集，其中，正样本训练子集包括若干张真正的人脸拍摄后处理得到的深度图，以区分前文的深度图，将其命名为训练正样本图；负样本训练集为对平面人脸进行拍照处理后得到的深度图，命名为训练负样本图。平面人脸即指照片、视频、打印等方式所呈现的人脸。由于训练过程可采用常用的神经网络训练过程，或者聚类算法的训练过程，因此在此不再赘述。
如图3所示，真实的3D人脸的训练正样本图中，图像的轮廓与正常人脸相似，而训练负样本主要呈现平面状。两者存在明显区别，因此简单的神经网络即可实现准确识别。其具体过程为：
D10，基于所述识别人脸图像相对于所述双红外图的位置坐标，对所述深度图进行裁剪，得到第一人脸图像。
具体地，为减少深度图中其他环境的深度值的干扰，先对其进行裁剪，得到深度图中包含人脸区域的第一人脸图像。
第一人脸图像可通过训练一个专用于提取深度图中的人脸图像的算法或模型实现。在本实施例中，由于在进行人脸识别过程中，已通过预设的人脸识别算法或已训练的人脸识别模型提取了识别人脸图像，因此可直接基于识别人脸图像在双红外图上的位置坐标，确定深度图中第一人脸图像的区域，从而对深度图进行裁剪，得到第一人脸图像。
D20，将所述第一人脸图像输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果，其中，所述第一分类模型包括若干个卷积层、分组卷积层以及全连接层。
具体地，然后将第一人脸图像输入到通过正样本训练子集和负样本训练子集训练得到的第一分类模型中，第一分类模型对输入的第一人脸图像进行活体分类，其实质为一个二分类过程，即判断第一人脸图像的对象为活体(基于真实人脸获得的图像)还是非活体(基于平面人脸获得的图像)。
进一步的，在本实施例中，为了减少计算量，提升识别效率，在本实施例的另一种实现方式中，先对第一人脸图像进行缩放，将其压缩到预设的压缩尺寸，得到第一压缩图像，再将第一压缩图像输入到第一分类模型中进行分类，得到第一分类结果。本实施所采用的压缩人脸图像为112x112的尺寸。由于智能门锁在终端执行大多数的任务，因此，为减少终端的计算压力，提高响应速率，所述第一分类模型包括若干个卷积层、分组卷积层以及全连接层。
第二分类模型用于对双红外图进行分类，与第一分类模型类似，第二分类模型也是的网络架构采用的是二分类网络模型的架构，在训练过程中，采用的训练集包括正样本训练子集和负样本训练子集，其中，正样本训练子集包括若干张真正的人脸拍摄后处理得到的红外图，以区分前文的红外图，将其命名为红外正样本图；负样本训练集为对模型人脸进行拍照处理后得到的红外图，命名为红外负样本图。模型人脸即指人偶等3D模型所呈现的人脸。
进一步地，为了保证对双红外图的分类以及对深度图的分类在结果上的精确性和一致性，本实施例的深度图是通过对双红外图中的第一红外图和第二红外图进行处理得到的，因此，深度图和双红外图中的人脸的区域也是相同的，故先对双红外图进行裁剪，基于识别人脸图像相对于双红外图的位置坐标，对双红外图进行裁剪，得到第二人脸图像。其中，用于活体分类的双红外图可以是第一红外图、第二红外图，或者是对第一红外图和第二红外图进行图像融合，得到融合后的图像作为用于活体分类的图像，在此不做限定。
如图5所示，然后将裁剪后的得到的第二人脸图像输入到第二分类模型中，基于第二分类模型对第二人脸图像进行活体分类，从而得到第二分类结果。第二分类结果与第一分类结果类似，分为活体与非活体。此外，在对第二人脸图像进行活体分类时，先根据预设的压缩尺寸，对第二人脸图像进行压缩，得到第二压缩图像，然后再将通过第二分类模型对第二压缩图像进行活体分类，得到第二分类结果。本实施例优选的压缩尺寸为112x112。与第一分类模型类似，第二分类模型包括若干个卷积层、分组卷积层以及全连接层。进一步地，为了强化对眼睛的有效分类，可在第二分类模型中增加针对眼睛的注意力机制，或者在裁剪第二人脸图像后，对其进一步裁剪，得到包含眼睛的人眼图像，然后第二分类模型对人眼进行活体分类。
S50、基于所述目标分类结果，确定所述拍摄对象是否为目标活体。
具体地，一分类结果和第二分类结果只有两种类型，一种是活体，一种是非活体。因此直接根据第一分类结果和第二分类结果是否皆为活体来确定环境中是否存在目标活体。
当第一分类结果为活体且第二分类结果也为活体时，确定当前环境中存在活体，且通过步骤S20已确定为目标用户，因此可判定环境中存在目标活体。
当第一分类结果为非活体，和/或第二分类结果为非活体时，确定当前环境中不存在目标活体，拒绝开门。
若当前环境中存在目标活体，则智能门锁打开开关，以便于用户出入或者取放物品。
如图6所示，基于上述基于立体视觉的活体检测方法，本实施例提供了一种基于立体视觉的活体检测100，其中，所述基于立体视觉的活体检测包括：
获取模块110，用于获取针对同一环境拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；
识别模块120，用于基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；
计算模块130，用于当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；
分类模块140，用于根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的分类结果；
确定模块150，用于基于所述分类结果，确定所述双红外图对应的拍摄对象是否为目标活体。
其中，所述识别模块120包括：
提取单元，用于对所述第一红外图或所述第二红外图进行人脸提取，得到识别人脸图像；
识别单元，用于将所述识别人脸图像输入已训练的人脸识别模型中，并基于所述人脸信息，控制所述人脸识别模型对所述识别人脸图像进行人脸识别，确定所述双红外图是否包含目标用户；
确定单元，用于当确定所述双红外图包含目标用户时，确定所述识别结果为目标用户。
其中，所述人脸识别模型包括特征提取网络和分类器；所述特征提取网络的网络架构为深度学习网络的网络架构，所述特征提取网络的通道扩展数量小于或等于所述深度学习网络的默认扩展倍数，所述特征提取网络的全连接层的特征维度数小于所述深度学习网络的默认全连接层维度数。
其中，所述计算模块130具体用于：
对所述第一红外图和所述第二红外图进行像素点匹配，得到若干个像素组；
基于预设的立体视觉算法，针对每一个像素组，基于预设的标定信息，计算该像素组对应的深度值，得到当前环境对应的深度图像。
其中，分类模块140包括：
第一分类单元，用于将所述深度图输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果；
第二分类单元，用于将所述红外图输入已训练的第二分类模型中，并通过所述第二分类模型对所述红外图进行活体分类，得到第二分类结果。
其中，第一分类单元具体用于：
基于所述识别人脸图像相对于所述双红外图的位置坐标，对所述深度图进行裁剪，得到第一人脸图像；
将所述第一人脸图像输入已训练的第一分类模型中，并通过所述第一分类模型对所述第一人脸图像进行活体分类，得到第一分类结果，其中，所述第一分类模型包括若干个卷积层、分组卷积层以及全连接层。
其中，确定模块150具体用于：
当所述第一分类结果为活体且所述第二分类结果为活体时，确定所述拍摄对象为目标活体。
基于上述基于立体视觉的活体检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于立体视觉的活体检测方法中的步骤。
基于上述基于立体视觉的活体检测方法，本发明还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态计算机可读存储介质。
此外，上述计算机可读存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于立体视觉的活体检测方法，其特征在于，所述方法包括：
获取针对同一拍摄对象拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；
基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；
当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；
根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果；
基于所述目标分类结果，确定所述拍摄对象是否为目标活体。
2.根据权利要求1所述基于立体视觉的活体检测方法，其特征在于，所述基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果，具体包括：
对所述第一红外图或所述第二红外图进行人脸提取，得到识别人脸图像；
将所述识别人脸图像输入已训练的人脸识别模型中，并基于所述人脸信息，控制所述人脸识别模型对所述识别人脸图像进行人脸识别，确定所述双红外图是否包含目标用户；
当确定所述双红外图包含目标用户时，确定所述识别结果为目标用户。
3.根据权利要求2所述基于立体视觉的活体检测方法，其特征在于，所述人脸识别模型包括特征提取网络和分类器；所述特征提取网络的网络架构为深度学习网络的网络架构，所述特征提取网络的通道扩展数量小于或等于所述深度学习网络的默认扩展倍数，所述特征提取网络的全连接层的特征维度数小于所述深度学习网络的默认全连接层维度数。
4.根据权利要求1所述基于立体视觉的活体检测方法，其特征在于，所述当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图，具体包括：
对所述第一红外图和所述第二红外图进行像素点匹配，得到若干个像素组；
基于预设的立体视觉算法，针对每一个像素组，基于预设的标定信息，计算该像素组对应的深度值，得到当前环境对应的深度图像。
5.根据权利要求2～3中任意一项所述基于立体视觉的活体检测方法，其特征在于，所述目标分类结果包括第一分类结果和第二分类结果；所述根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的目标分类结果，具体包括：
将所述深度图输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果；以及，
将所述红外图输入已训练的第二分类模型中，并通过所述第二分类模型对所述红外图进行活体分类，得到第二分类结果。
6.根据权利要求5所述基于立体视觉的活体检测方法，其特征在于，所述将所述深度图输入已训练的第一分类模型中，并通过所述第一分类模型对所述深度图进行活体分类，得到第一分类结果，具体包括：
基于所述识别人脸图像相对于所述双红外图的位置坐标，对所述深度图进行裁剪，得到第一人脸图像；
将所述第一人脸图像输入已训练的第一分类模型中，并通过所述第一分类模型对所述第一人脸图像进行活体分类，得到第一分类结果，其中，所述第一分类模型包括若干个卷积层、分组卷积层以及全连接层。
7.根据权利要求5所述基于立体视觉的活体检测方法，其特征在于，所述基于所述目标分类结果，确定所述拍摄对象是否为目标活体，具体包括：
当所述第一分类结果为活体且所述第二分类结果为活体时，确定所述拍摄对象为目标活体。
8.一种基于立体视觉的基于立体视觉的活体检测，其特征在于，所述基于立体视觉的基于立体视觉的活体检测具体包括：
获取模块，用于获取针对同一环境拍摄的双红外图，其中，所述双红外图包括第一红外图和第二红外图；
识别模块，用于基于预设的人脸信息，对所述第一红外图或所述第二红外图进行人脸识别，得到与所述双红外图对应的识别结果；
计算模块，用于当所述识别结果为目标用户时，根据所述第一红外图和所述第二红外图，计算所述双红外图对应的深度图；
分类模块，用于根据所述深度图和所述双红外图，进行活体分类，得到与所述双红外图对应的分类结果；
确定模块，用于基于所述分类结果，确定所述双红外图对应的拍摄对象是否为目标活体。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～7任意一项所述的基于立体视觉的活体检测方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1～7任意一项所述的基于立体视觉的活体检测方法中的步骤。
CN202110444759.9A 2021-04-24 2021-04-24 基于立体视觉的活体检测方法和相关设备 Active CN113128429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110444759.9A CN113128429B (zh) 2021-04-24 2021-04-24 基于立体视觉的活体检测方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110444759.9A CN113128429B (zh) 2021-04-24 2021-04-24 基于立体视觉的活体检测方法和相关设备

Publications (2)

Publication Number Publication Date
CN113128429A true CN113128429A (zh) 2021-07-16
CN113128429B CN113128429B (zh) 2024-08-16

Family

ID=76779636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110444759.9A Active CN113128429B (zh) 2021-04-24 2021-04-24 基于立体视觉的活体检测方法和相关设备

Country Status (1)

Country Link
CN (1) CN113128429B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
US20190034702A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Living body detecting method and apparatus, device and storage medium
WO2019056988A1 (zh) * 2017-09-25 2019-03-28 杭州海康威视数字技术股份有限公司 人脸识别方法及装置、计算机设备
WO2019214201A1 (zh) * 2018-05-10 2019-11-14 北京市商汤科技开发有限公司 活体检测方法及装置、系统、电子设备、存储介质
CN110580454A (zh) * 2019-08-21 2019-12-17 北京的卢深视科技有限公司 活体检测方法及装置
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
CN111091063A (zh) * 2019-11-20 2020-05-01 北京迈格威科技有限公司 活体检测方法、装置及系统
CN111582197A (zh) * 2020-05-07 2020-08-25 贵州省邮电规划设计院有限公司 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN111598065A (zh) * 2020-07-24 2020-08-28 上海肇观电子科技有限公司 深度图像获取方法及活体识别方法、设备、电路和介质
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN112200057A (zh) * 2020-09-30 2021-01-08 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN112200147A (zh) * 2020-11-04 2021-01-08 深圳市康索特软件有限公司 一种人脸识别方法、装置、计算机设备以及可存储介质
CN112257641A (zh) * 2020-10-30 2021-01-22 中电万维信息技术有限责任公司 一种人脸识别活体检测方法
CN112487921A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及系统
EP3905104A1 (en) * 2018-12-27 2021-11-03 Hangzhou Hikvision Digital Technology Co., Ltd. Living body detection method and device

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034702A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Living body detecting method and apparatus, device and storage medium
WO2019056988A1 (zh) * 2017-09-25 2019-03-28 杭州海康威视数字技术股份有限公司 人脸识别方法及装置、计算机设备
WO2019214201A1 (zh) * 2018-05-10 2019-11-14 北京市商汤科技开发有限公司 活体检测方法及装置、系统、电子设备、存储介质
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
EP3905104A1 (en) * 2018-12-27 2021-11-03 Hangzhou Hikvision Digital Technology Co., Ltd. Living body detection method and device
CN110580454A (zh) * 2019-08-21 2019-12-17 北京的卢深视科技有限公司 活体检测方法及装置
CN111091063A (zh) * 2019-11-20 2020-05-01 北京迈格威科技有限公司 活体检测方法、装置及系统
CN111582197A (zh) * 2020-05-07 2020-08-25 贵州省邮电规划设计院有限公司 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN111598065A (zh) * 2020-07-24 2020-08-28 上海肇观电子科技有限公司 深度图像获取方法及活体识别方法、设备、电路和介质
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN112200057A (zh) * 2020-09-30 2021-01-08 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN112257641A (zh) * 2020-10-30 2021-01-22 中电万维信息技术有限责任公司 一种人脸识别活体检测方法
CN112200147A (zh) * 2020-11-04 2021-01-08 深圳市康索特软件有限公司 一种人脸识别方法、装置、计算机设备以及可存储介质
CN112487921A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
皮家甜;杨杰之;杨琳希;彭明杰;邓雄;赵立军;唐万梅;吴至友: "基于多模态特征融合的轻量级人脸活体检测方法", 计算机应用, no. 012, 31 December 2020 (2020-12-31) *

Also Published As

Publication number Publication date
CN113128429B (zh) 2024-08-16

Similar Documents

Publication Publication Date Title
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
WO2019056988A1 (zh) 人脸识别方法及装置、计算机设备
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
CN110458025B (zh) 一种基于双目摄像头的目标识别与定位方法
EP3905104B1 (en) Living body detection method and device
WO2016010721A1 (en) Multispectral eye analysis for identity authentication
WO2016010720A1 (en) Multispectral eye analysis for identity authentication
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110929566A (zh) 基于可见光和近红外双目摄像头的人脸活体检测方法
CN112818722A (zh) 模块化动态可配置的活体人脸识别系统
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN112287867B (zh) 一种多摄像头的人体动作识别方法及装置
CN112069887B (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN113673584A (zh) 一种图像检测方法及相关装置
CN111582118A (zh) 一种人脸识别方法及装置
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
Zhu et al. Salient object detection with complex scene based on cognitive neuroscience
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
CN113128429B (zh) 基于立体视觉的活体检测方法和相关设备
CN116052230A (zh) 一种掌静脉识别方法、装置、设备及存储介质
CN112232121A (zh) 活体检测方法、装置、设备及介质
CN113128269A (zh) 一种基于图像风格迁移信息融合的活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240712

Address after: 203B, Building 9, Phase II, Nanshan Yungu Entrepreneurship Park, No. 2 Pingshan 1st Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province 518000

Applicant after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Country or region after: China

Address before: Room 1010-1011, 10 / F, building a, Chuangzhi building, Xinjiang Software Park, 455 Kanas Hubei Road, Urumqi Economic and Technological Development Zone, Urumqi City, Xinjiang Uygur Autonomous Region 830023

Applicant before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant