CN110956080B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110956080B
CN110956080B CN201910975337.7A CN201910975337A CN110956080B CN 110956080 B CN110956080 B CN 110956080B CN 201910975337 A CN201910975337 A CN 201910975337A CN 110956080 B CN110956080 B CN 110956080B
Authority
CN
China
Prior art keywords
face image
face
data set
color
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910975337.7A
Other languages
English (en)
Other versions
CN110956080A (zh
Inventor
张尧
陈孟飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN201910975337.7A priority Critical patent/CN110956080B/zh
Publication of CN110956080A publication Critical patent/CN110956080A/zh
Application granted granted Critical
Publication of CN110956080B publication Critical patent/CN110956080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请涉及一种图像处理方法、装置、电子设备及存储介质，通过大量的彩色人脸图像样本预先训练得到人脸识别模型，基于该人脸识别模型，可以准确识别出图像中的人脸特征，使用相对少量的红外人脸图像样本采用人脸识别模型继续训练，对红外人脸图像样本中的正负样本中真伪人脸的区别特征进行学习，从而训练得到用于识别红外人脸图像真伪的人脸防伪模型。这样，可以避免小数据集训练模型产生过拟合的问题，使得最终训练得到的人脸防伪模型识别准确率较高。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着进入人工智能时代，各种AI应用层出不穷，如物体检测(object detection)、物体识别(classification)、人脸识别(face recognition)、自动驾驶(automatic drive)等，深刻影响着行业的发展。尤其是基于深度学习(deep learning)的人脸识别(facerecognition)技术，更是迅速工业化，例如刷脸支付、打卡签到、车站人证对比等等。考虑到这些场景对安全有一定的要求，而人脸作为一种特征，比传统领域的密码、指纹更易获得，加剧了大家对人脸识别安全性的诉求。所以，人脸防伪技术也应运而生。
目前人脸防伪的模型主要是利用深度学习卷积神经网络进行大量图像的训练。但是在实现本发明过程中发明人发现，如果没有大量的数据，或数据的分布不明确的话，难以训练出高准确率的人脸防伪模型，非常容易出现过拟合。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取第一数据集和第二数据集，所述第一数据集包括第一彩色人脸图像样本，第二数据集包括红外人脸图像样本，所述第二数据集中的图像按照人脸真伪进行分类；
根据所述第一数据集训练人脸识别模型，所述人脸识别模型用于识别彩色人脸图像中的人脸特征；
根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，所述人脸防伪模型用于识别红外人脸图像的真伪。
可选的，所述第二数据集还包括：与所述红外人脸图像匹配的第二彩色人脸图像样本，所述红外人脸图像样本和所述第二彩色人脸图像样本为对目标人脸同时拍摄得到的；
所述根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，包括：
将所述第二数据集中的第二彩色人脸图像样本灰度化，得到第一灰度人脸图像样本；
将所述红外人脸图像样本与所述第一灰度人脸图像样本进行颜色通道叠加后，得到第三数据集；
根据所述人脸识别模型对所述第三训练集进行训练，得到所述人脸防伪模型。
可选的，所述第一灰度人脸图像样本为单颜色通道，所述红外人脸图像样本为3颜色通道；
所述将所述红外人脸图像样本与所述第一灰度人脸图像样本进行颜色通道叠加后，得到第三数据集，包括：
将所述红外人脸图像样本与第一灰度人脸图像样本进行颜色通道叠加后，得到4颜色通道的第二灰度人脸图像样本；
生成包括所述第二灰度人脸图像样本的第三数据集。
可选的，所述获取第一数据集，包括：
获取第一彩色人脸图像；
将所述第一彩色人脸图像进行人脸对齐后，裁剪为包括人脸的预设尺寸的第一彩色人脸图像样本。
可选的，所述获取第二数据集，包括：
获取对同一目标人脸同时拍摄得到的第二彩色人脸图像和红外人脸图像；
分别将所述第二彩色人脸图像和红外人脸图像进行人脸对齐后，裁剪为包括人脸的所述预设尺寸的所述第二彩色人脸图像样本和红外人脸图像样本。
可选的，所述根据所述第一数据集训练人脸识别模型，包括：
将所述第一彩色人脸图像样本输入预设的第一卷积神经网络的卷积层，所述第一卷积神经网络包括至少两层隐藏层，每层隐藏层的第一输出样本数据即为下一层隐藏层的第一输入样本数据，每层隐藏层内包括卷积层；
对所述第一输入样本数据在卷积层所有通道上的第一卷积结果进行归一化计算，得到第一归一化结果，根据所述第一归一化结果计算得到所述隐藏层的第一输出样本数据；
根据最后一层隐藏层的第一输出样本数据得到人脸识别模型。
可选的，根据所述人脸识别模型对所述第三数据集进行训练，包括：
将所述人脸识别模型的输入层的通道个数修改为4；
将所述第二灰度人脸图像样本输入所述人脸识别模型，得到人脸特征向量；
将所述人脸特征向量输入预设的第二卷积神经网络，所述第二卷积神经网络包括至少两层隐藏层，每层隐藏层的第二输出样本数据即为下一层隐藏层的第二输入样本数据，每层隐藏层内包括卷积层；
对所述第二输入样本数据在卷积层所有通道上的第二卷积结果进行归一化计算，得到第二归一化结果；
采用带泄露修正线性单元函数对所述第二归一化结果进行激活计算，得到激活结果；
根据所述激活结果计算得到所述隐藏层的第二输出样本数据；
根据最后一层隐藏层的第二输出样本数据得到人脸防伪模型。
可选的，所述对所述第一输入样本数据在卷积层所有通道上的第一卷积结果进行归一化计算，得到第一归一化结果，包括：
获取所述第一输入样本数据在卷积层所有通道上的第一卷积结果xi；
计算所有通道上第一卷积结果的第一平均值μc和第一方差σc，其中，m表示所述第一卷积神经网络的隐藏层输出通道的个数，δ为大于0的第一预设参数；
根据所述第一平均值μc和第一方差σc对所有通道上的第一卷积结果进行归一化计算，其中，yi表示所述第一输入样本数据在卷积层通道i上的第一归一化结果，∈为大于0的第二预设参数，γ、β为第一待训练参数。
可选的，所述对所述输入样本数据在卷积层所有通道上的第二卷积结果进行归一化计算，得到第二归一化结果，包括：
获取所述第二输入样本数据在卷积层所有通道上的第二卷积结果xi'；
计算所有通道上第二卷积结果的第二平均值μc'和第二方差σc'，其中，m'表示所述第二卷积神经网络的隐藏层输出通道的个数，δ'为大于0的第一预设参数；
根据所述第二平均值μc'和第二方差σc'对所有通道上的第二卷积结果进行归一化计算，其中，yi'表示所述第二输入样本数据在卷积层通道i上的第二归一化结果，∈'为大于0的第二预设参数，γ'、β'为第二待训练参数。
可选的，所述采用带泄露修正线性单元函数对所述第二归一化结果进行激活计算，得到激活结果，包括：
将所述第二归一化结果输入以下所述带泄露修正线性单元函数进行激活计算：
其中，yi'表示第二卷积结果在卷积层通道i上的第二归一化结果，yi”表示第二卷积结果在卷积层通道i上的激活结果，λ为第三预设参数，λ∈(0,1)。
可选的，所述第二卷积神经网络中的第一层卷积层采用1×1卷积核进行卷积。
第二方面，本申请实施例提供了一种图像处理装置，包括：
获取模块，用于获取第一数据集和第二数据集，所述第一数据集中包括第一彩色人脸图像样本，第二数据集包括红外人脸图像样本，所述第二数据集中的图像按照人脸真伪进行分类；
第一训练模块，用于根据所述第一数据集训练人脸识别模型，所述人脸识别模型用于识别彩色人脸图像中的人脸特征；
第二训练模块，用于根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，所述人脸防伪模型用于识别红外人脸图像的真伪。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：通过大量的彩色人脸图像样本预先训练得到人脸识别模型，基于该人脸识别模型，可以准确识别出图像中的人脸特征，使用相对少量的红外人脸图像样本采用人脸识别模型继续训练，对红外人脸图像样本中的正负样本中真伪人脸的区别特征进行学习，从而训练得到用于识别红外人脸图像真伪的人脸防伪模型。这样，可以避免小数据集训练模型产生过拟合的问题，使得最终训练得到的人脸防伪模型识别准确率较高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请另一实施例提供的一种图像处理方法的流程图；
图3为本申请另一实施例提供的一种图像处理方法的流程图；
图4为本申请另一实施例提供的一种图像处理方法的流程图；
图5为本申请实施例提供的一种图像处理装置的框图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对不同类型的人脸防伪模型训练，通常需要相应类型的大量人脸图像。例如，训练彩色人脸防伪模型，需要大量的彩色人脸图像，训练红外人脸防伪模型，则需要大量的红外人脸图像。
但是，在训练基于近红外双目摄像头人脸防伪的模型时，由于缺乏大量有标注的红外图像数据，且红外图像数据的分布的明确性可能不佳，使得难以训练得到较好的鲁棒的近红外模型。再者，红外特征在多种光照条件下存在一定的图像质量问题，比如模糊、噪点等。这样导致基于红外图像提取的特征，有时不能完全刻画正样本(真人脸)和负样本(假人脸)的区别。
由于彩色人脸图像和红外人脸图像本质上都是人脸图像，用于识别、区分人脸的特征相同，如五官大小、轮廓、距离等等，因此，彩色人脸数据和红外人脸数据在数据分布上存在一定的一致性。基于此，本申请提供一种图像处理方法，通过随机采集到的大量的彩色人脸图像样本预先训练用于识别人脸特征的人脸识别模型，在该模型的基础上，使用相对少量的红外人脸图像样本继续训练得到用于识别红外人脸图像真伪的人脸防伪模型。
下面首先对本发明实施例所提供的一种图像处理方法进行介绍。
本发明实施例所提供的方法可以应用于任意需要图像处理的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
图1为本申请实施例提供的一种图像处理方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11，获取第一数据集和第二数据集。第一数据集包括彩色人脸图像样本，第二数据集包括红外人脸图像样本，第二数据集中的图像按照人脸真伪进行分类。
例如，本实施例中第一数据集中的彩色人脸图像样本可以是从网络上随机采集到的大量的彩色人脸图像。可按照不同的人对彩色人脸图像样本进行分类。如，采集45万彩色人脸图像样本，分别来源于10万个不同的人，因此，这些样本存在10万个不同的标签，这些标签可以为编号，如000001～100000，或二进制编码，或通过独热(one-hot)编码方式生成的编码，等等。
而第二数据集中的图像为实际中分别红外摄像头对目标人脸进行拍摄而得到的。第二数据集中，分类标签只有两个，如0或1，对真人脸拍摄得到的图像被标注为正样本，标签为1；对伪人脸，如人脸照片等拍摄得到的图像被标注为负样本，标签为0。
可选地，第一数据集的数据量大于第二数据集的数据量，或远大于第二数据集的数据量。
步骤S12，根据第一数据集训练人脸识别模型，人脸识别模型用于识别彩色人脸图像中的人脸特征。
本实施例中，为了使得训练的模型可以运行到移动设备上，可以基于MobileFaceNets、MobileNet V2、MobileNet v1等轻量级网络结构进行人脸识别模型的训练，该网络模型只有4M左右大小并且有较高的准确率。
步骤S13，根据人脸识别模型和第二数据集训练人脸防伪模型，人脸防伪模型用于识别灰度人脸图像的真伪。
本实施例中，通过大量的彩色人脸图像样本预先训练得到人脸识别模型，基于该人脸识别模型，可以准确识别出图像中的人脸特征，使用相对少量的红外人脸图像样本采用人脸识别模型继续训练，对红外人脸图像样本中的正负样本中真伪人脸的区别特征进行学习，从而训练得到用于识别红外人脸图像真伪的人脸防伪模型。这样，可以避免小数据集训练模型产生过拟合的问题，使得最终训练得到的人脸防伪模型识别准确率较高。
在另一实施例中，第二数据集还包括：与红外人脸图像匹配的第二彩色人脸图像样本，红外人脸图像样本和第二彩色人脸图像样本为对目标人脸同时拍摄得到的。例如，实际中，彩色摄像头和红外摄像头设置在同一位置，同时对目标人脸进行拍摄，得到同一目标人脸所对应的彩色人脸图像和灰度人脸图像。
图2为本申请另一实施例提供的一种图像处理方法的流程图。如图2所示，上述步骤S13包括：
步骤S21，将第二数据集中的第二彩色人脸图像样本灰度化，得到第一灰度人脸图像样本；
步骤S22，将红外人脸图像样本与第一灰度人脸图像样本进行颜色通道叠加后，得到第三数据集；
步骤S23，根据人脸识别模型对第三训练集进行训练，得到人脸防伪模型。
其中，步骤S21中的第一灰度人脸图像样本为单颜色通道，红外人脸图像样本为3颜色通道。
步骤S22中包括：将红外人脸图像样本与第一灰度人脸图像样本进行颜色通道叠加后，得到4颜色通道的第二灰度人脸图像样本；生成包括第二灰度人脸图像样本的第三数据集。
由于红外数据非常容易受到光照、运动模糊等影响，导致红外图像质量参差不齐，图像中特征流失。单独使用少量红外人脸图像进行模型训练，由于数据量少导致人脸特征稀少，从而最终训练结果可能出现过拟合现象。
本实施例中，为了解决这一问题，利用对目标人脸同时拍摄的第二彩色人脸图像对红外人脸图像进行特征叠加，即将第二彩色人脸图像样本灰度化后与红外人脸图像样本进行颜色通道的叠加，得到4颜色通道的人脸图像样本，从而使得用于训练的人脸图像样本具有更加丰富的特征。避免出现过拟合现象，提高最终人脸防伪模型的准确度。
在另一实施例中，上述步骤S11中，获取第一数据集，包括：
步骤A1，获取第一彩色人脸图像。
步骤A2，将第一彩色人脸图像进行人脸对齐后，裁剪为包括人脸的预设尺寸的第一彩色人脸图像样本。
上述步骤S11中，获取第二数据集，包括：
步骤B1，获取对目标人脸同时拍摄得到的第二彩色人脸图像和红外人脸图像。
步骤B2，分别将第二彩色人脸图像和红外人脸图像进行人脸对齐后，裁剪为包括人脸的预设尺寸的第二彩色人脸图像样本和红外人脸图像样本。
其中，人脸对齐包括：首先从人脸图像中检测出人脸，抠取人脸后进行人脸对齐处理，即首先对人脸进行特征点检测，根据人脸特征点对人脸形状进行归一化处理，如调整人脸角度而使得各个图像中人脸关键点对齐。
人脸对齐处理后，对人脸图像进行裁剪，由于已经识别出图像中人脸的位置，可以将人脸部分裁剪出来，得到预设尺寸的图像样本，如人脸图像样本均为112×112。
本实施例中，对于预先获得的人脸图像进行预处理，使得最终输出的样本为包括人脸的预设尺寸的图像。通过对人脸图像进行统一处理，使得最终用于训练的人脸图像样本尺寸一致且人脸特征点对齐，提高模型训练的准确度。
通过神经网络训练模型时，在网络的每一隐藏层对卷积后的进行批量归一化(batch normalization)，即在每一侧采样一小批数据，对该批数据在网络各层的输入进行归一化处理，使得神经网络训练过程中每一层神经网络的输入保持相同分布。
虽然本实施例在进行模型训练时也可采用批量归一化，但是，由于后续进行人脸防伪模型时，所能够使用的数据量相对较少，每个批次的数据量也不可能设置的很大，采用批量归一化，会使得训练过程中数据的批次规模对模型的影响较大。因此，在人脸防伪模型训练时为提高模型训练的准确度，不使用批量归一化。而为了使得两次模型训练过程统一，在人脸识别模型的训练过程中也不使用批量归一化。
本实施例中，在每次模型训练过程中，对于每一隐藏层卷积后的数据进行基于通道的归一化处理。以下对模型训练中基于通道的归一化处理进行详细说明。
图3为本申请另一实施例提供的一种图像处理方法的流程图。如图3所示，在另一实施例中，上述步骤S12包括：
步骤S31，将第一彩色人脸图像样本输入预设的第一卷积神经网络。
其中，第一卷积神经网络包括：输入层、至少两层隐藏层以及输出层。每层隐藏层的输出样本数据即为下一层隐藏层的输入样本数据。
每层隐藏层内包括卷积层，每个隐藏层的输入样本数据进行卷积计算。卷积层包括至少一个卷积核。每个输入样本数据对应的卷积层的通道个数即为卷积核的个数。第一卷积神经网络可以采用MobileFaceNets、MobileNet V2或MobileNet V1等网络结构。
步骤S32，对输入样本数据在卷积层所有通道上的卷积结果进行归一化计算，得到归一化结果，根据归一化结果计算得到隐藏层的输出样本数据。
隐藏层对于输入样本数据的计算可以包括：卷积计算、归一化计算及激活计算。
其中，可基于上一层输出样本数据的通道数量确定该卷积层所包括的卷积核个数，例如，上一层输出样本数据的通道数量为64，则卷积层中包括64个卷积核。上一层每个通道的输出样本数据输入至卷积层中相应的卷积核中进行卷积计算。如该卷积层输出通道数量仍为64，则对这64个通道上的卷积结果进行归一化计算，将每个通道上的归一化结果采用预设的激活函数进行激活计算，将激活后的计算结果作为该层隐藏层的输出样本数据。
预设激活函数可以为线性整流ReLU函数、Sigmoid函数(也称为Logistic函数)、双曲正切Tanh函数等等。
步骤S33，根据最后一层隐藏层的输出样本数据得到人脸识别模型。
通过上述过程，对所有彩色人脸图像样本继续训练，可以采用梯度下降、交叉验证等方式不断调整模型的参数，最终得到稳定的参数值，生成人脸识别模型。
具体地，步骤S32中，对输入样本数据在卷积层所有通道上的卷积结果进行归一化计算，得到归一化结果，包括以下步骤：
步骤C1，获取所述第一输入样本数据在卷积层所有通道上的第一卷积结果xi。
步骤C2，计算所有通道上卷积结果第一平均值μc和第一方差σc，其中，m表示所述第一卷积神经网络的隐藏层输出通道的个数，δ为第一预设参数。为避免σc为0，可以设置δ＞0。
步骤C3，根据第一平均值μc和第一方差σc对所有通道上的卷积结果进行归一化计算，其中，yi表示第一输入样本数据在卷积层通道i上的第一归一化结果，∈为大于0的第二预设参数，γ、β为第一待训练参数。
本实施例中，通过大量的彩色人脸图像样本预先训练得到人脸识别模型，基于该人脸识别模型，可以准确识别出图像中的人脸特征。在人脸识别模型训练中，对于各卷积层的待输入样本数据在所有通道上的值进行归一化计算后输入到卷积层进行计算。这样，同样能够实现神经网络训练过程中每一层神经网络的输入保持相同分布，保证人脸识别模型的识别准确度。另外，使得后续模型训练过程也可使用基于通道的输入数据归一化，减少了数据批次规模对模型训练的影响，也进一步提高人脸防伪模型的准确度。
本实施例中，可以采用MobileFaceNets网络结构进行人脸识别模型的训练。
MobileFaceNets网络整体结构如下表1所示，
表1
本实施例中，可以设定第一彩色人脸图像样本维度为112×112×3，隐藏层最终输出通道数为128或512时训练结束。
MobileFaceNets作为一种轻量级网络结构，通过该网络结构训练得到的人脸防伪模型，可以应用在手机、平板电脑等移动端设备上，在有限的计算资源下保证模型识别的准确率和实时性。
图4为本申请另一实施例提供的一种图像处理方法的流程图。如图4所示，在另一实施例中，上述步骤S13包括：
步骤S41，将人脸识别模型的输入层的通道个数修改为4。
由于在上述步骤S22中，对红外人脸图像样本进行了处理后，得到的第二灰度人脸图像样本为4颜色通道的图像，因此，将人脸识别模型的输入层的通道个数由3修改为4，使得该人脸识别模型可以接收4颜色通道的人脸图像样本。
步骤S42，将第二灰度人脸图像样本输入人脸识别模型，得到人脸特征向量。
例如，第二灰度人脸图像样本的维度为112×112×4。通过人脸识别模型，针对每个第二灰度人脸图像样本输出128维的人脸特征向量。
步骤S43，将人脸特征向量输入预设的第二卷积神经网络，第二卷积神经网络包括至少两层隐藏层，每层隐藏层的第二输出样本数据即为下一层隐藏层的第二输入样本数据，每层隐藏层内包括卷积层；
步骤S44，对第二输入样本数据在卷积层所有通道上的卷积结果进行归一化计算，得到第二归一化结果。
步骤S45，采用带泄露修正线性单元函数(Leaky ReLU)对第二归一化结果进行激活计算，得到激活结果。
步骤S46，根据激活结果计算得到隐藏层的第二输出样本数据。
步骤S47，根据最后一层隐藏层的第二输出样本数据得到人脸防伪模型。
其中，步骤S44中对卷积结果进行归一化计算的方式与上述步骤S32中相同，具体如下：
步骤D1，获取第二输入样本数据在卷积层所有通道上的第二卷积结果xi'；
步骤D2，计算所有通道上第二卷积结果的第二平均值μ'和第二方差σc'，其中，m'表示第二卷积神经网络的隐藏层输出通道的个数，δ'为大于0的第一预设参数；
步骤D3，根据第二平均值μc'和第二方差σc'对所有通道上的第二卷积结果进行归一化计算，其中，yi'表示第二输入样本数据在卷积层通道i上的第二归一化结果，∈'为大于0的第二预设参数，γ'、β'为第二待训练参数。
另外，步骤S45中，为了避免激活后的输出样本数据为0，采用Leaky ReLU，具体如下：
其中，yi'表示卷积结果在卷积层通道i上的第二归一化结果，yi”表示第二归一化结果在卷积层通道i上的激活结果，λ为第三预设参数，λ∈(0,1)。
采用Leaky ReLU函数，使得归一化结果为负值时输出结果的坡度较小，避免归一化结果为负值时神经元无法学习的问题。
本实施例中，使用相对少量的红外人脸图像样本采用人脸识别模型继续训练，对红外人脸图像样本中的正负样本中真伪人脸的区别特征进行学习，从而训练得到用于识别红外人脸图像真伪的人脸防伪模型。这样，可以避免小数据集训练模型产生过拟合的问题，使得最终训练得到的人脸防伪模型识别准确率较高。另外，在模型训练过程对于各卷积层的待输入样本数据在所有通道上的值进行归一化计算后输入到卷积层进行计算，同样能够实现神经网络训练过程中每一层神经网络的输入保持相同分布，减少了数据批次规模对模型训练的影响，也进一步提高人脸防伪模型的准确度。
另外，第二卷积神经网络中的第一层卷积层采用1×1卷积核进行卷积。采用1x1卷积目的是在不改变特征图尺寸大小的情况下，通过增加卷积核的个数增加了提取特征的数量，避免由于少量数据训练模型出现的过拟合现象，提高最终人脸防伪模型的准确度。
在另一实施例中，在人脸防伪模型的训练过程中，可以选择冻结人脸识别模型中的参数，即仅对人脸防伪模型中的参数进行训练；也可以选择同时训练人脸识别模型和人脸防伪模型的参数。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图5为本申请实施例提供的一种图像处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，该图像处理装置包括：
获取模块51，用于获取第一数据集和第二数据集，所述第一数据集中包括第一彩色人脸图像样本，第二数据集包括红外人脸图像样本，所述第二数据集中的图像按照人脸真伪进行分类；
第一训练模块52，用于根据所述第一数据集训练人脸识别模型，所述人脸识别模型用于识别彩色人脸图像中的人脸特征；
第二训练模块53，用于根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，所述人脸防伪模型用于识别红外人脸图像的真伪。
本申请实施例还提供一种电子设备，如图6所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
获取第一数据集和第二数据集，所述第一数据集包括第一彩色人脸图像样本，第二数据集包括红外人脸图像样本，所述第二数据集中的图像按照人脸真伪进行分类；
根据所述第一数据集训练人脸识别模型，所述人脸识别模型用于识别彩色人脸图像中的人脸特征；
根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，所述人脸防伪模型用于识别红外人脸图像的真伪；
所述第二数据集还包括：与所述红外人脸图像匹配的第二彩色人脸图像样本，所述红外人脸图像样本和所述第二彩色人脸图像样本为对目标人脸同时拍摄得到的；
所述根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，包括：
将所述第二数据集中的第二彩色人脸图像样本灰度化，得到第一灰度人脸图像样本；
将所述红外人脸图像样本与所述第一灰度人脸图像样本进行颜色通道叠加后，得到第三数据集；
根据所述人脸识别模型对所述第三数据集进行训练，得到所述人脸防伪模型。
2.根据权利要求1所述的方法，其特征在于，所述第一灰度人脸图像样本为单颜色通道，所述红外人脸图像样本为3颜色通道；
所述将所述红外人脸图像样本与所述第一灰度人脸图像样本进行颜色通道叠加后，得到第三数据集，包括：
将所述红外人脸图像样本与第一灰度人脸图像样本进行颜色通道叠加后，得到4颜色通道的第二灰度人脸图像样本；
生成包括所述第二灰度人脸图像样本的第三数据集。
3.根据权利要求1所述的方法，其特征在于，所述获取第一数据集，包括：
获取第一彩色人脸图像；
将所述第一彩色人脸图像进行人脸对齐后，裁剪为包括人脸的预设尺寸的第一彩色人脸图像样本。
4.根据权利要求1所述的方法，其特征在于，所述获取第二数据集，包括：
获取对同一目标人脸同时拍摄得到的第二彩色人脸图像和红外人脸图像；
分别将所述第二彩色人脸图像和红外人脸图像进行人脸对齐后，裁剪为包括人脸的预设尺寸的所述第二彩色人脸图像样本和红外人脸图像样本。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据集训练人脸识别模型，包括：
将所述第一彩色人脸图像样本输入预设的第一卷积神经网络的卷积层，所述第一卷积神经网络包括至少两层隐藏层，每层隐藏层的第一输出样本数据即为下一层隐藏层的第一输入样本数据，每层隐藏层内包括卷积层；
对所述第一输入样本数据在卷积层所有通道上的第一卷积结果进行归一化计算，得到第一归一化结果，根据所述第一归一化结果计算得到所述隐藏层的第一输出样本数据；
根据最后一层隐藏层的第一输出样本数据得到人脸识别模型。
6.根据权利要求2所述的方法，其特征在于，根据所述人脸识别模型对所述第三数据集进行训练，包括：
将所述人脸识别模型的输入层的通道个数修改为4；
将所述第二灰度人脸图像样本输入所述人脸识别模型，得到人脸特征向量；
将所述人脸特征向量输入预设的第二卷积神经网络，所述第二卷积神经网络包括至少两层隐藏层，每层隐藏层的第二输出样本数据即为下一层隐藏层的第二输入样本数据，每层隐藏层内包括卷积层；
对所述第二输入样本数据在卷积层所有通道上的第二卷积结果进行归一化计算，得到第二归一化结果；
采用带泄露修正线性单元函数对所述第二归一化结果进行激活计算，得到激活结果；
根据所述激活结果计算得到所述隐藏层的第二输出样本数据；
根据最后一层隐藏层的第二输出样本数据得到人脸防伪模型。
7.根据权利要求5所述的方法，其特征在于，所述对所述第一输入样本数据在卷积层所有通道上的第一卷积结果进行归一化计算，得到第一归一化结果，包括：
获取所述第一输入样本数据在卷积层所有通道上的第一卷积结果xi；
计算所有通道上第一卷积结果的第一平均值μc和第一方差σc，其中，m表示所述第一卷积神经网络的隐藏层输出通道的个数，δ为大于0的第一预设参数；
根据所述第一平均值μc和第一方差σc对所有通道上的第一卷积结果进行归一化计算，其中，yi表示所述第一输入样本数据在卷积层通道i上的第一归一化结果，∈为大于0的第二预设参数，γ、β为第一待训练参数。
8.根据权利要求6所述的方法，其特征在于，所述对所述输入样本数据在卷积层所有通道上的第二卷积结果进行归一化计算，得到第二归一化结果，包括：
获取所述第二输入样本数据在卷积层所有通道上的第二卷积结果xi'；
计算所有通道上第二卷积结果的第二平均值μc'和第二方差σc'，其中，m'表示所述第二卷积神经网络的隐藏层输出通道的个数，δ'为大于0的第一预设参数；
根据所述第二平均值μc'和第二方差σc'对所有通道上的第二卷积结果进行归一化计算，其中，yi'表示所述第二输入样本数据在卷积层通道i上的第二归一化结果，∈'为大于0的第二预设参数，γ'、β'为第二待训练参数。
9.根据权利要求6所述的方法，其特征在于，所述采用带泄露修正线性单元函数对所述第二归一化结果进行激活计算，得到激活结果，包括：
将所述第二归一化结果输入以下所述带泄露修正线性单元函数进行激活计算：
其中，yi'表示第二卷积结果在卷积层通道i上的第二归一化结果，yi”表示第二卷积结果在卷积层通道i上的激活结果，λ为第三预设参数，λ∈(0,1)。
10.根据权利要求6所述的方法，其特征在于，所述第二卷积神经网络中的第一层卷积层采用1×1卷积核进行卷积。
11.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一数据集和第二数据集，所述第一数据集中包括第一彩色人脸图像样本，第二数据集包括红外人脸图像样本，所述第二数据集中的图像按照人脸真伪进行分类；
第一训练模块，用于根据所述第一数据集训练人脸识别模型，所述人脸识别模型用于识别彩色人脸图像中的人脸特征；
第二训练模块，用于根据所述人脸识别模型和所述第二数据集训练人脸防伪模型，所述人脸防伪模型用于识别红外人脸图像的真伪；
所述第二数据集还包括：与所述红外人脸图像匹配的第二彩色人脸图像样本，所述红外人脸图像样本和所述第二彩色人脸图像样本为对目标人脸同时拍摄得到的；
第二训练模块，用于将所述第二数据集中的第二彩色人脸图像样本灰度化，得到第一灰度人脸图像样本；将所述红外人脸图像样本与所述第一灰度人脸图像样本进行颜色通道叠加后，得到第三数据集；根据所述人脸识别模型对所述第三数据集进行训练，得到所述人脸防伪模型。
12.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-10任一项所述的方法步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。
CN201910975337.7A 2019-10-14 2019-10-14 一种图像处理方法、装置、电子设备及存储介质 Active CN110956080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910975337.7A CN110956080B (zh) 2019-10-14 2019-10-14 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910975337.7A CN110956080B (zh) 2019-10-14 2019-10-14 一种图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110956080A CN110956080A (zh) 2020-04-03
CN110956080B true CN110956080B (zh) 2023-11-03

Family

ID=69975635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910975337.7A Active CN110956080B (zh) 2019-10-14 2019-10-14 一种图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110956080B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523605B (zh) * 2020-04-28 2023-04-07 新疆维吾尔自治区烟草公司 一种图像识别方法、装置、电子设备及介质
CN112052792B (zh) * 2020-09-04 2022-04-26 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112232309B (zh) * 2020-12-08 2021-03-09 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN112597847A (zh) * 2020-12-15 2021-04-02 深圳云天励飞技术股份有限公司 人脸姿态估计方法、装置、电子设备和存储介质
CN113361575B (zh) * 2021-05-28 2023-10-20 北京百度网讯科技有限公司 模型训练方法、装置和电子设备
CN114067445A (zh) * 2021-11-26 2022-02-18 中科海微(北京)科技有限公司 人脸真伪识别的数据处理方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008151470A1 (fr) * 2007-06-15 2008-12-18 Tsinghua University Procédé de détection robuste de visage humain dans une image d'arrière-plan compliquée
CN105069448A (zh) * 2015-09-29 2015-11-18 厦门中控生物识别信息技术有限公司 一种真假人脸识别方法及装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
CN108776786A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 用于生成用户真伪识别模型的方法和装置
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109145817A (zh) * 2018-08-21 2019-01-04 佛山市南海区广工大数控装备协同创新研究院 一种人脸活体检测识别方法
WO2019024636A1 (zh) * 2017-08-01 2019-02-07 广州广电运通金融电子股份有限公司 身份认证的方法、系统和装置
CN109934195A (zh) * 2019-03-21 2019-06-25 东北大学 一种基于信息融合的反欺骗三维人脸识别方法
WO2019137178A1 (zh) * 2018-01-12 2019-07-18 杭州海康威视数字技术股份有限公司 人脸活体检测
CN110110582A (zh) * 2019-03-14 2019-08-09 广州市金其利信息科技有限公司 结合3d结构光、红外光及可见光的人脸识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008151470A1 (fr) * 2007-06-15 2008-12-18 Tsinghua University Procédé de détection robuste de visage humain dans une image d'arrière-plan compliquée
CN105069448A (zh) * 2015-09-29 2015-11-18 厦门中控生物识别信息技术有限公司 一种真假人脸识别方法及装置
WO2019024636A1 (zh) * 2017-08-01 2019-02-07 广州广电运通金融电子股份有限公司 身份认证的方法、系统和装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
WO2019137178A1 (zh) * 2018-01-12 2019-07-18 杭州海康威视数字技术股份有限公司 人脸活体检测
CN108776786A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 用于生成用户真伪识别模型的方法和装置
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109145817A (zh) * 2018-08-21 2019-01-04 佛山市南海区广工大数控装备协同创新研究院 一种人脸活体检测识别方法
CN110110582A (zh) * 2019-03-14 2019-08-09 广州市金其利信息科技有限公司 结合3d结构光、红外光及可见光的人脸识别方法及系统
CN109934195A (zh) * 2019-03-21 2019-06-25 东北大学 一种基于信息融合的反欺骗三维人脸识别方法

Also Published As

Publication number Publication date
CN110956080A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956080B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
CN111680690B (zh) 一种文字识别方法及装置
CN108154133B (zh) 基于非对称联合学习的人脸画像-照片识别方法
CN111191568A (zh) 翻拍图像识别方法、装置、设备及介质
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114170654A (zh) 年龄识别模型的训练方法、人脸年龄识别方法及相关装置
CN110309715B (zh) 基于深度学习的灯具识别的室内定位方法、装置及系统
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN111507420A (zh) 轮胎信息获取方法、装置、计算机设备和存储介质
CN113298102B (zh) 一种目标分类模型的训练方法及装置
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
CN109446956B (zh) 一种行人再识别方法及设备
CN110738225B (zh) 图像识别方法及装置
CN111914844A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112883959B (zh) 身份证照完整性检测方法、装置、设备及存储介质
CN116933041B (zh) 力传感器编号校对系统及方法
Grinchuk et al. Training a multimodal neural network to determine the authenticity of images
CN117132592B (zh) 一种基于熵融合的工业缺陷检测方法
CN111507201B (zh) 人眼图像处理方法、人眼识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176

Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant