CN112818821A - 基于可见光和红外光的人脸采集源检测方法和装置 - Google Patents

基于可见光和红外光的人脸采集源检测方法和装置 Download PDF

Info

Publication number
CN112818821A
CN112818821A CN202110118386.6A CN202110118386A CN112818821A CN 112818821 A CN112818821 A CN 112818821A CN 202110118386 A CN202110118386 A CN 202110118386A CN 112818821 A CN112818821 A CN 112818821A
Authority
CN
China
Prior art keywords
visible light
detection model
real person
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110118386.6A
Other languages
English (en)
Other versions
CN112818821B (zh
Inventor
马琳
章烈剽
柯文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grg Tally Vision IT Co ltd
Guangdian Yuntong Group Co ltd
Original Assignee
Guangzhou Grg Vision Intelligent Technology Co ltd
GRG Banking Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Grg Vision Intelligent Technology Co ltd, GRG Banking Equipment Co Ltd filed Critical Guangzhou Grg Vision Intelligent Technology Co ltd
Priority to CN202110118386.6A priority Critical patent/CN112818821B/zh
Publication of CN112818821A publication Critical patent/CN112818821A/zh
Application granted granted Critical
Publication of CN112818821B publication Critical patent/CN112818821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于可见光和红外光的人脸采集源检测方法、装置、计算机设备和存储介质。该方法包括：通过获取双目摄像头采集到的包含待检测人脸的可见光图像和红外光图像，将可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，将红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果，根据可见光检测结果和红外光检测结果，获得待检测人脸的采集源检测结果，其中，第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支。通过双目摄像头获取待检测人脸的不同光照情况下的图像进行采集源识别，并通过两种检测模型分别进行识别，得到综合判断结果，提高了人脸活体检测的准确性。

Description

基于可见光和红外光的人脸采集源检测方法和装置
技术领域
本申请涉及人脸活体检测领域，特别是涉及一种基于可见光和红外光的人脸采集源检测方法、装置、计算机设备和存储介质。
背景技术
人脸识别技术的应用场景越来越普遍，活体检测时人脸识别的重要步骤，判断当前的人脸图像从活体采集后，再进行人脸识别的相关操作，可以防范非活体的攻击，保障人脸识别系统安全性。
目前技术中，通常获取样本照片进行模型训练，对光照条件要求较高，当光线条件差的情况下，检测的准确性较低。
发明内容
基于此，有必要针对目前技术中存在的人脸活体检测准确性低的技术问题，提供一种基于可见光和红外光的人脸采集源检测方法、装置、计算机设备和存储介质。
一种基于可见光和红外光的人脸采集源检测方法，所述方法包括：
获取双目摄像头采集到的可见光图像和红外光图像；所述双目摄像头包括可见光摄像头和红外光摄像头；所述可见光图像和红外光图像中包含待检测人脸；
将所述可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，以及将所述红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果；所述第一检测模型为根据可见光真人图像和可见光非真人图像作为样本训练得到；所述第二检测模型为根据红外光真人图像和红外光非真人图像作为样本训练得到；所述第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支；
根据所述可见光检测结果和所述红外光检测结果，获得所述待检测人脸的采集源检测结果。
在其中一个实施例中，所述第一检测模型的训练过程，包括：
获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集；
将所述训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，得到训练后的所述第一检测模型。
在其中一个实施例中，所述获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集，包括：
获取初始真人图像和初始非真人图像；
根据人脸检测装置针对所述初始真人图像和初始非真人图像的检测结果，获取所述可见光真人图像和可见光非真人图像；
将所述可见光真人图像和可见光非真人图像分别进行分割和重采样处理，根据处理后的所述可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到所述训练样本集。
在其中一个实施例中，所述将所述训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，包括：
将所述训练样本集划分为第一训练子集和第二训练子集；
将所述第一训练子集输入至卷积神经网络分支进行处理，以及将所述第二训练子集输入至傅里叶变换分支进行处理；
根据所述卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到所述第一检测模型的综合损失值；
根据所述综合损失值更新所述第一检测模型的权重，直到训练完成得到训练后所述第一检测模型。
在其中一个实施例中，所述将所述第一训练子集输入至卷积神经网络分支进行处理，以及将所述第二训练子集输入至傅里叶变换分支进行处理；根据所述卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到所述第一检测模型的综合损失值，包括：
获取所述卷积神经网络分支输出的特征矩阵，所述特征矩阵包括第一特征矩阵和第二特征矩阵；将所述第一特征矩阵进行卷积处理，得到第一傅里叶变换特征；将所述第二特征矩阵输入至全连接层进行处理，得到第一损失函数；
获取所述傅里叶变换分支输出的第二傅里叶变换特征；
将所述第一傅里叶变换特征和所述第二傅里叶变换特征进行范数处理，获得第二损失函数；
根据所述第一损失函数和所述第二损失函数，以及各自对应的损失函数比例系数，得到所述第一检测模型的所述综合损失值。
在其中一个实施例中，所述根据所述综合损失值更新所述第一检测模型的权重，包括：
根据预设的优化算法处理所述综合损失函数，更新所述第一检测模型的权重。
在其中一个实施例中，若所述可见光检测结果和所述红外光检测结果中至少一个的采集源为非真人采集，判断所述待检测人脸的采集源为非真人采集。
一种基于可见光和红外光的人脸采集源检测装置，所述装置包括：
图像采集模块，用于获取双目摄像头采集到的可见光图像和红外光图像；所述双目摄像头包括可见光摄像头和红外光摄像头；所述可见光图像和红外光图像中包含待检测人脸；
模型检测模块，用于将所述可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，以及将所述红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果；所述第一检测模型为根据可见光真人图像和可见光非真人图像作为样本训练得到；所述第二检测模型为根据红外光真人图像和红外光非真人图像作为样本训练得到；所述第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支；
结果获取模块，用于根据所述可见光检测结果和所述红外光检测结果，获得所述待检测人脸的采集源检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中基于可见光和红外光的人脸采集源检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中基于可见光和红外光的人脸采集源检测方法步骤。
上述基于可见光和红外光的人脸采集源检测方法、装置、计算机设备和存储介质，通过获取双目摄像头采集到的包含待检测人脸的可见光图像和红外光图像，将可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，将红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果，根据可见光检测结果和红外光检测结果，获得待检测人脸的采集源检测结果，其中，第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支。通过双目摄像头获取待检测人脸的不同光照情况下的图像进行采集源识别，并通过两种检测模型分别进行识别，得到综合判断结果，提高了人脸活体检测的准确性。
附图说明
图1为一个实施例中基于可见光和红外光的人脸采集源检测方法流程示意图；
图2为一个实施例中第一检测模型的训练流程示意图；
图3为一个实施例中第二检测模型的训练流程示意图；
图4为另一个实施例中基于可见光和红外光的人脸采集源检测方法流程示意图；
图5为一个实施例中基于可见光和红外光的人脸采集源检测方法的装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本发明实施例所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
在一个实施例中，如图1所示，提供了一种基于可见光和红外光的人脸采集源检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S101，获取双目摄像头采集到的可见光图像和红外光图像。
其中，双目摄像头可以用于对同一个采集对象进行图像采集。双目摄像头可以包括可见光摄像头和红外光摄像头，其中，可见光摄像头可以用于采集可见光图像，红外光摄像头可以用于采集红外光图像，红外光摄像头可采集近红外区(0.75～2.5μm)、中红外区(2.5～25μm)和远红外区(25～1000μm)的图像，红外的成像对光线敏感度较低，可以用于辅助解决可见光检测时光线因素带来的误差。可见光图像和红外光图像中可以包含待检测人脸。服务器可以检测可见光摄像头和红外光摄像头采集的图像，识别其中包含人脸的图像，若未采集到包含人脸的图像，则可以控制双目摄像头继续执行采集的过程，直到采集到包含人脸的图像。
具体实现中，服务器可以获取双目摄像头采集到的包含待检测人脸的可见光图像和红外光图像。
步骤S202，将可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，以及将红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果。
其中，可见光检测结果可以表征该可见光图像中包含的待检测人脸的采集源检测结果，例如该待检测人脸是从真人采集(即从活体采集)，或者从非真人采集。其中，非真人采集可以包括纸质人脸照片、电子屏幕照片、面具照片和3D头模照片等。红外光检测结可以表征该红外光图像中包含的待检测人脸的采集源检测结果。第一检测模型可以为根据可见光真人图像和可见光非真人图像作为样本训练得到。第二检测模型可以是根据红外光真人图像和红外光非真人图像作为样本训练得到。第一检测模型和第二检测模型的训练过程可以相同。第一检测模型和第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支。傅里叶变换能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦函数)或者它们的积分的线性组合，可以用于获取图片的傅里叶频谱图。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。
具体实现中，服务器可以将可见光图像输入至第一检测模型进行处理，得到可见光检测结果，确定第一检测模型对该待检测人脸的采集源的检测结果。将红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果，确定第二检测模型对该待检测人脸的采集源的检测结果。
步骤S203，根据可见光检测结果和所述红外光检测结果，获得待检测人脸的采集源检测结果。
其中，待检测人脸的采集源检测结果可以包括从真人采集和非从真人采集。在可见光的情况下，光线强度的不同，可能影响模型的检测结果。引入红外光条件下的检测，可以提高检测结果判断的准确性。服务器可以根据可见光检测结果和红外光检测结果，按照预先确定的判断规则，获取待检测人脸的采集源检测结果。判断规则可以设置为例如，当可见光检测结果和红外光检测结果一致时，采纳该采集源检测结果。
上述基于可见光和红外光的人脸采集源检测方法中，通过获取双目摄像头采集到的包含待检测人脸的可见光图像和红外光图像，将可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，将红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果，根据可见光检测结果和红外光检测结果，获得待检测人脸的采集源检测结果，其中，第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支。通过双目摄像头获取待检测人脸的不同光照情况下的图像进行采集源识别，并通过两种检测模型分别进行识别，得到综合判断，提高了人脸活体检测的准确性。
在一个实施例中，第一检测模型的训练过程可以包括：
获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集；将训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，得到训练后的第一检测模型。
本实施例中，第一检测模型可以用于针对可见光图像进行检测，得到可见光检测结果。第一检测模型的训练样本集为可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息作为标签。待训练的第一检测模型可以包括多个分支，每个分支可以用于针对图片进行不同维度的检测，通过获取各个分支对应的损失函数和损失函数比例系数，反向更新第一检测模型的权重，以训练第一检测模型。服务器可以结合实际采集源信息对经过训练的第一检测模型进行验证。
服务器可以根据分支的数量，将获取到的训练样本集划分为相应数量的多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，也可以根据各个分支的数据需求，将相应的子训练样本集中的图片进行预处理后输入至第一检测模型。
在一些实施例中，可见光真人图像和可见光非真人图像可以是通过双目摄像头或者多目摄像头的可见光摄像头获取的图像，也可以通过单目摄像头获取的图像。
在一些实施例中，服务器通过双目摄像头中的可见光摄像头获取可见光真人图像和可见光非真人图像时，可以同步通过该双目摄像头的红外光摄像头获取对应的红外光真人图像和红外光非真人图像，构成训练样本集，用于训练第二检测模型。
上述实施例的方案，通过获取训练样本集，将训练样本集划分为多个训练样本集后，输入至第一检测模型的各个分支进行模型训练，以得到包括多个分支的第一检测模型，提升了模型训练的准确性。
在一个实施例中，获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集的步骤包括：
获取初始真人图像和初始非真人图像；根据人脸检测装置针对初始真人图像和初始非真人图像的检测结果，获取可见光真人图像和可见光非真人图像；将可见光真人图像和可见光非真人图像分别进行分割和重采样处理，根据处理后的可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集。
本实施例中，服务器可以针对获取到照片进行预处理后，得到训练样本集，以提高模型训练数据的准确性。具体的，服务器可以获取初始真人图像和初始非真人图像，通过人脸检测装置识别各个图像中是否包括人脸，将包括人脸的图像筛选出来，作为可见光真人图像和可见光非真人图像。各个可见光真人图像和可见光非真人图像可以有各自对应的实际采集源信息作为标签，共同构成训练样本集。
在一些实施例中，服务器可以将各个可见光真人图像和可见光非真人图像按照中心点进行分割，分割成均匀的若干等份后，针对每个图像对应的若干等分进行重采样处理，得到符合模型训练需求的图像数据，并结合各自对应的实际采集源信息得到该训练样本集。图像重采样(image resampling)，可以是在对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样，以构成几何变换后的新图像。
上述实施例的方案，通过人脸检测装置获取包含人脸的图像，并将图像进行分割和重采样处理后，得到训练样本集，提升了模型训练的数据的可靠性。
在一个实施例中，将训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，包括：
将训练样本集划分为第一训练子集和第二训练子集；将第一训练子集输入至卷积神经网络分支进行处理，以及将第二训练子集输入至傅里叶变换分支进行处理；根据卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到第一检测模型的综合损失值；根据综合损失值更新第一检测模型的权重，直到训练完成得到训练后第一检测模型。
本实施例中，服务器可以将训练样本集随机划分为第一训练子集和第二训练子集，也可以按照图片的获取时间顺序进行划分，第一训练子集和第二训练子集中，均包含有可见光真人图像和可见光非真人图像。
其中，服务器可以将第一训练子集输入至卷积神经网络分支进行处理，以及将第二训练子集输入至傅里叶变换分支进行处理，分别得到对应的处理结果，该处理结果可以包括特征矩阵，也可以包括根据预先定义的损失函数确定的该分支对应的损失值。服务器可以根据第一检测模型的综合损失值，通过优化算法针对该训练中的第一检测模型的各个权重进行反向更新，以训练得到第一检测模型。
在一些实施例中，在卷积神经网络分支中，服务器可以针对第一训练子集中的图片依次进行卷积计算、批量归一化和ReLU激活；针对激活的结果进行卷积计算、批量归一化和ReLU激活，最终针对激活的结果进行最大池化计算，Dropout计算，得到特征矩阵。其中，进行卷积、批量归一化和ReLU激活过程的次数可以根据实际需求灵活设计。服务器可以针对获得的特征矩阵输入全连接层进行操作，输出该待检测人脸的属于真人采集或者非真人采集的置信度矩阵，获取该分支对应的损失函数。其中，ReLU(Rectified Linear Unit，线性整流函数)，又称修正线性单元，是一种人工神经网络中常用的激活函数(activationfunction)，通常指代以斜坡函数及其变种为代表的非线性函数。Dropout可以是指在深度学习网络的训练过程中，按照一定的概率将一部分神经网络单元暂时从网络中丢弃，相当于从原始的网络中找到一个更瘦的网络。
在一些实施例中，在傅里叶变换分支中，服务器可以将第二训练子集的图片进行傅里叶变换，获取各个图片的傅里叶频谱图，并针对傅里叶频谱图进行归一化处理，将数据进行重采样为傅里叶变换特征，进而根据傅里叶变换特征，获取该分支对应的损失函数。
上述实施例的方案，通过将训练样本集进行分类，分别输入到待训练的第一检测模型进行训练，根据两个分支的处理结果，得到第一检测模型的综合损失值，进而更新该第一检测模型，直到训练得到该第一检测模型，提升了模型训练的可靠性和准确性。
在一个实施例中，将第一训练子集输入至卷积神经网络分支进行处理，以及将第二训练子集输入至傅里叶变换分支进行处理；根据卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到第一检测模型的综合损失值，包括：
获取卷积神经网络分支输出的特征矩阵，特征矩阵包括第一特征矩阵和第二特征矩阵；将第一特征矩阵进行卷积处理，得到第一傅里叶变换特征；将第二特征矩阵输入至全连接层进行处理，得到第一损失函数；获取傅里叶变换分支输出的第二傅里叶变换特征；将第一傅里叶变换特征和第二傅里叶变换特征进行范数处理，获得第二损失函数；根据第一损失函数和第二损失函数，以及各自对应的损失函数比例系数，得到第一检测模型的综合损失值。
本实施例中，服务器可以将卷积神经网络分支输出的特征矩阵随机划分或者按照一定的规则划分为第一特征矩阵和第二特征矩阵，并针对两组特征矩阵分别进行处理。其中，服务器可以将第一特征矩阵进行卷积处理，得到的第一傅里变换特征Fp，服务器可以获取傅里叶变换分支输出的第二傅里叶变换特征Fr，并根据第一傅里变换特征Fp和第二傅里叶变换特征Fr，定义第二损失函数为
Figure BDA0002921141940000101
其中，范数可以用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。
服务器可以将第二特征矩阵输入至全连接层进行处理，输出该待检测人脸的属于真人采集或者非真人采集的置信度矩阵，获取该分支对应的损失函数，
Figure BDA0002921141940000102
其中，Lsoftmax为第一损失函数对应的值，N为样本个数,yi为真实标签,fj为预测值。
服务器可以根据第一损失函数和第二损失函数，预先配置各个损失函数对应的损失函数比例系数，得到该第一检测模型的综合损失函数，进而计算得到该第一检测模型的综合损失值L＝a*Lsoftmax+b*LF，其中，L为综合损失函数对应的损失值，a为第一损失函数对应的损失函数比例系数，b为第二损失函数对应的损失函数比例系数，其中a+b＝1，例如a可以取值0.7，b可以取值0.3。
上述实施例的方案，通过将卷积神经网络分支和傅里叶变换分支的结果进行交叉处理，基于傅里叶变换频谱图辅助的卷积神经网络进行检测，提升了检测的准确性和可靠性。
在一个实施例中，根据综合损失值更新第一检测模型的权重包括：
根据预设的优化算法处理综合损失函数，更新第一检测模型的权重。
本实施例中，服务器可以在获得综合损失值的基础上，通过优化算法针对模进行优化。其中，优化算法可以包括Adam优化算法、梯度下降法等。以Adam算法为例，Adam算法能基于训练数据迭代地更新神经网络权重，通过损失函数对每个参数的梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
在一个实施例中，上述方法还包括：
若可见光检测结果和红外光检测结果中至少一个的采集源为非真人采集，判断待检测人脸的采集源为非真人采集。
本实施例中，若可见光检测结果和红外光检测结果中，至少一个的采集源为非真人采集，则可以判断该待检测人脸的采集源为非真人采集。而若可见光检测结果和红外光检测结果中均显示为真人采集，则可以判断该待检测人脸的采集源为真人采集，通过两个不同样本训练的模型针对同一个待检测人脸的采集源进行识别，提高了采集源检测的准确性。
在一个实施例中，如图2所示，公开了第一检测模型的训练过程，服务器可以获取可见光真人图像和可见光非真人图像，进行图像分割和重采样处理后，将分割的图片划分为两组，分别输入至卷积神经网络分支和傅里叶变换分支进行处理，根据各个分支分别对应的损失函数，得到该模型的综合损失函数以及综合损失值，并使用Adam优化算法进行优化，直至得到训练好的第一检测模型。
在一个实施例中，如图3所示，公开了第二检测模型的训练过程，服务器可以获取红外光真人图像和红外光非真人图像，进行图像分割和重采样处理后，将分割的图片划分为两组，分别输入至卷积神经网络分支和傅里叶变换分支进行处理，根据各个分支分别对应的损失函数，得到该模型的综合损失函数以及综合损失值，并使用Adam优化算法进行优化，直至得到训练好的第二检测模型。
在一个实施例中，如图4所示，提供了一种基于可见光和红外光的人脸采集源检测方法，该方法包括：通过双目摄像头采集图像，其中，通过可见光摄像头采集可见光图像，以及通过红外光摄像头采集红外光图像。服务器可以通过人脸检测装置，分别针对可见光图像和红外光图像进行人脸检测，当其中均包含人脸时，方可用于人脸采集源检测，若至少一个不包含人脸，重新通过双目摄像头进行图像采集。
服务器可以将可见光图像输入至预先训练好的第一检测模型进行可见光检测，以及将红外光图像输入至预先训练好的第一检测模型进行红外光检测。
若可见光检测和红外光检测的结果中，至少有一个表征该待检测人脸图像不是从真人采集，则判断该待检测人脸的采集源为非真人采集。而若可见光检测结果和红外光检测结果中均显示为真人采集，则可以判断该待检测人脸的采集源为真人采集。
上述实施例，通过获取双目摄像头采集到的包含待检测人脸的可见光图像和红外光图像，将可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，将红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果，根据可见光检测结果和红外光检测结果，获得待检测人脸的采集源检测结果，利用双目摄像头采集的可见光图像和红外光图像同时作为输入，并对输入的图像进行分割以便更好的利用图像的局部特征，再将分割的图像分别利用基于傅里叶变换和卷积神经网络进行采集源检测，提升了人脸检测的准确性和稳定性。
应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于可见光和红外光的人脸采集源检测装置，该装置500包括：
图像采集模块501，用于获取双目摄像头采集到的可见光图像和红外光图像；所述双目摄像头包括可见光摄像头和红外光摄像头；所述可见光图像和红外光图像中包含待检测人脸；
模型检测模块502，用于将所述可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，以及将所述红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果；所述第一检测模型为根据可见光真人图像和可见光非真人图像作为样本训练得到；所述第二检测模型为根据红外光真人图像和红外光非真人图像作为样本训练得到；所述第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支；
结果获取模块503，用于根据所述可见光检测结果和所述红外光检测结果，获得所述待检测人脸的采集源检测结果。
在一个实施例中，第一检测模型的训练过程，包括：样本集模块，用于获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集；训练模块，用于将所述训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，得到训练后的所述第一检测模型。
在一个实施例中，样本集模块，包括：样本获取单元，用于获取初始真人图像和初始非真人图像；根据人脸检测装置针对所述初始真人图像和初始非真人图像的检测结果，获取所述可见光真人图像和可见光非真人图像；将所述可见光真人图像和可见光非真人图像分别进行分割和重采样处理，根据处理后的所述可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到所述训练样本集。
在一个实施例中，训练模块，包括：训练单元，用于将所述训练样本集划分为第一训练子集和第二训练子集；将所述第一训练子集输入至卷积神经网络分支进行处理，以及将所述第二训练子集输入至傅里叶变换分支进行处理；根据所述卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到所述第一检测模型的综合损失值；根据所述综合损失值更新所述第一检测模型的权重，直到训练完成得到训练后所述第一检测模型。
在一个实施例中，训练单元，还包括：损失函数子单元，用于获取所述卷积神经网络分支输出的特征矩阵，所述特征矩阵包括第一特征矩阵和第二特征矩阵；将所述第一特征矩阵进行卷积处理，得到第一傅里叶变换特征；将所述第二特征矩阵输入至全连接层进行处理，得到第一损失函数；获取所述傅里叶变换分支输出的第二傅里叶变换特征；将所述第一傅里叶变换特征和所述第二傅里叶变换特征进行范数处理，获得第二损失函数；根据所述第一损失函数和所述第二损失函数，以及各自对应的损失函数比例系数，得到所述第一检测模型的所述综合损失值。
在一个实施例中，训练单元，还包括：优化子单元，用于根据预设的优化算法处理所述综合损失函数，更新所述第一检测模型的权重。
在一个实施例中，结果获取模块503还包括：采集源确定单元，用于若所述可见光检测结果和所述红外光检测结果中至少一个的采集源为非真人采集，判断所述待检测人脸的采集源为非真人采集。
关于基于可见光和红外光的人脸采集源检测装置的具体限定可以参见上文中对于基于可见光和红外光的人脸采集源检测方法的限定，在此不再赘述。上述基于可见光和红外光的人脸采集源检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请提供的基于可见光和红外光的人脸采集源检测方法，可以应用于计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型数据和样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于可见光和红外光的人脸采集源检测方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于可见光和红外光的人脸采集源检测方法，其特征在于，所述方法包括：
获取双目摄像头采集到的可见光图像和红外光图像；所述双目摄像头包括可见光摄像头和红外光摄像头；所述可见光图像和红外光图像中包含待检测人脸；
将所述可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，以及将所述红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果；所述第一检测模型为根据可见光真人图像和可见光非真人图像作为样本训练得到；所述第二检测模型为根据红外光真人图像和红外光非真人图像作为样本训练得到；所述第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支；
根据所述可见光检测结果和所述红外光检测结果，获得所述待检测人脸的采集源检测结果。
2.根据权利要求1所述的方法，其特征在于，所述第一检测模型的训练过程，包括：
获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集；
将所述训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，得到训练后的所述第一检测模型。
3.根据权利要求2所述的方法，其特征在于，所述获取可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到训练样本集，包括：
获取初始真人图像和初始非真人图像；
根据人脸检测装置针对所述初始真人图像和初始非真人图像的检测结果，获取所述可见光真人图像和可见光非真人图像；
将所述可见光真人图像和可见光非真人图像分别进行分割和重采样处理，根据处理后的所述可见光真人图像和可见光非真人图像，以及各自对应的实际采集源信息，得到所述训练样本集。
4.根据权利要求2所述的方法，其特征在于，所述将所述训练样本集划分为多个子训练样本集，输入到待训练的第一检测模型的各个分支进行训练，包括：
将所述训练样本集划分为第一训练子集和第二训练子集；
将所述第一训练子集输入至卷积神经网络分支进行处理，以及将所述第二训练子集输入至傅里叶变换分支进行处理；
根据所述卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到所述第一检测模型的综合损失值；
根据所述综合损失值更新所述第一检测模型的权重，直到训练完成得到训练后所述第一检测模型。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一训练子集输入至卷积神经网络分支进行处理，以及将所述第二训练子集输入至傅里叶变换分支进行处理；根据所述卷积神经网络分支和傅里叶变换分支分别对应的处理结果，得到所述第一检测模型的综合损失值，包括：
获取所述卷积神经网络分支输出的特征矩阵，所述特征矩阵包括第一特征矩阵和第二特征矩阵；将所述第一特征矩阵进行卷积处理，得到第一傅里叶变换特征；将所述第二特征矩阵输入至全连接层进行处理，得到第一损失函数；
获取所述傅里叶变换分支输出的第二傅里叶变换特征；
将所述第一傅里叶变换特征和所述第二傅里叶变换特征进行范数处理，获得第二损失函数；
根据所述第一损失函数和所述第二损失函数，以及各自对应的损失函数比例系数，得到所述第一检测模型的所述综合损失值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述综合损失值更新所述第一检测模型的权重，包括：
根据预设的优化算法处理所述综合损失函数，更新所述第一检测模型的权重。
7.根据权利要求1至6任一项所述的方法，其特征在于，还包括：
若所述可见光检测结果和所述红外光检测结果中至少一个的采集源为非真人采集，判断所述待检测人脸的采集源为非真人采集。
8.一种基于可见光和红外光的人脸采集源检测装置，其特征在于，所述装置包括：
图像采集模块，用于获取双目摄像头采集到的可见光图像和红外光图像；所述双目摄像头包括可见光摄像头和红外光摄像头；所述可见光图像和红外光图像中包含待检测人脸；
模型检测模块，用于将所述可见光图像输入到预先训练的第一检测模型进行处理，得到可见光检测结果，以及将所述红外光图像输入到预先训练的第二检测模型进行处理，得到红外光检测结果；所述第一检测模型为根据可见光真人图像和可见光非真人图像作为样本训练得到；所述第二检测模型为根据红外光真人图像和红外光非真人图像作为样本训练得到；所述第一检测模型和所述第二检测模型均至少包括傅里叶变换分支和卷积神经网络分支；
结果获取模块，用于根据所述可见光检测结果和所述红外光检测结果，获得所述待检测人脸的采集源检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110118386.6A 2021-01-28 2021-01-28 基于可见光和红外光的人脸采集源检测方法和装置 Active CN112818821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118386.6A CN112818821B (zh) 2021-01-28 2021-01-28 基于可见光和红外光的人脸采集源检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118386.6A CN112818821B (zh) 2021-01-28 2021-01-28 基于可见光和红外光的人脸采集源检测方法和装置

Publications (2)

Publication Number Publication Date
CN112818821A true CN112818821A (zh) 2021-05-18
CN112818821B CN112818821B (zh) 2023-02-03

Family

ID=75859878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118386.6A Active CN112818821B (zh) 2021-01-28 2021-01-28 基于可见光和红外光的人脸采集源检测方法和装置

Country Status (1)

Country Link
CN (1) CN112818821B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095304A (zh) * 2021-06-08 2021-07-09 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113128481A (zh) * 2021-05-19 2021-07-16 济南博观智能科技有限公司 一种人脸活体检测方法、装置、设备及存储介质
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
US20190034702A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Living body detecting method and apparatus, device and storage medium
CN111639522A (zh) * 2020-04-17 2020-09-08 北京迈格威科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN111680588A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种基于可见光和红外光的人脸闸机活体检测方法
CN112069880A (zh) * 2020-07-24 2020-12-11 北京旷视科技有限公司 活体检测方法、装置、电子设备和计算机可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034702A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Living body detecting method and apparatus, device and storage medium
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN111639522A (zh) * 2020-04-17 2020-09-08 北京迈格威科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN111680588A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种基于可见光和红外光的人脸闸机活体检测方法
CN112069880A (zh) * 2020-07-24 2020-12-11 北京旷视科技有限公司 活体检测方法、装置、电子设备和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李恒等: "基于短时傅里叶变换和卷积神经网络的轴承故障诊断方法", 《振动与冲击》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128481A (zh) * 2021-05-19 2021-07-16 济南博观智能科技有限公司 一种人脸活体检测方法、装置、设备及存储介质
CN113095304A (zh) * 2021-06-08 2021-07-09 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113674230B (zh) * 2021-08-10 2023-12-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置

Also Published As

Publication number Publication date
CN112818821B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111310624A (zh) 遮挡识别方法、装置、计算机设备及存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113822314B (zh) 图像数据处理方法、装置、设备以及介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111798456A (zh) 一种实例分割模型的训练方法、装置、实例分割方法
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN112101195B (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN112150497A (zh) 基于二值神经网络的局部激活方法与系统
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN113673308A (zh) 对象识别方法、装置和电子系统
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN112308035A (zh) 图像检测方法、装置、计算机设备和存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN110490950B (zh) 图像样本生成方法、装置、计算机设备和存储介质
CN113724237A (zh) 齿痕识别方法、装置、计算机设备及存储介质
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
CN114519729A (zh) 图像配准质量评估模型训练方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Face acquisition source detection method and device based on visible and infrared light

Effective date of registration: 20230627

Granted publication date: 20230203

Pledgee: Bank of China Limited by Share Ltd. Guangzhou Tianhe branch

Pledgor: GRG TALLY-VISION I.T. Co.,Ltd.

Registration number: Y2023980045868

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee after: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region after: China

Patentee after: Guangdian Yuntong Group Co.,Ltd.

Address before: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee before: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region before: China

Patentee before: GRG BANKING EQUIPMENT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240201

Address after: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee after: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region after: China

Address before: No. 001-030, Yuntong space, office building, No. 9, Kelin Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangzhou, Guangdong 510000

Patentee before: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region before: China

Patentee before: Guangdian Yuntong Group Co.,Ltd.

Country or region before: China