CN111488853B - 金融机构安防系统的大数据人脸识别方法、系统及机器人 - Google Patents

金融机构安防系统的大数据人脸识别方法、系统及机器人 Download PDF

Info

Publication number
CN111488853B
CN111488853B CN202010324707.3A CN202010324707A CN111488853B CN 111488853 B CN111488853 B CN 111488853B CN 202010324707 A CN202010324707 A CN 202010324707A CN 111488853 B CN111488853 B CN 111488853B
Authority
CN
China
Prior art keywords
face
image
information
topological
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010324707.3A
Other languages
English (en)
Other versions
CN111488853A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CITIC Aibank Corp Ltd
Original Assignee
CITIC Aibank Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CITIC Aibank Corp Ltd filed Critical CITIC Aibank Corp Ltd
Priority to CN202010324707.3A priority Critical patent/CN111488853B/zh
Publication of CN111488853A publication Critical patent/CN111488853A/zh
Application granted granted Critical
Publication of CN111488853B publication Critical patent/CN111488853B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种金融机构安防系统的大数据人脸识别方法、系统及机器人,因为人类在发生变形时,人脸的颜色会随着人类轮廓的变化而变化,二者的变化存在关联性,因此,通过将人脸特征和人脸轮廓进行融合,得到人脸信息图,使得人脸信息图包含了目标行人的人脸的外部轮廓特点和面部的凹凸轮廓,在此基础上,基于人脸信息图和标准人脸信息图获得人脸的形变信息图,这样得到的形变信息图能准确体现人脸发生形变的量和具体位置结合了颜色和轮廓的变化的关联性对人脸进行识别,提高了识别目标行人的身份信息的准确性和可靠性,即提高了人脸识别的准确性和可靠性。

Description

金融机构安防系统的大数据人脸识别方法、系统及机器人
技术领域
本发明涉及计算机技术领域,具体而言涉及一种金融机构安防系统的大数据人脸识别方法、系统及机器人。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。现有技术中,人脸识别技术的实现方法有:几何特征的人脸识别方法、基于特征脸的人脸识别方法、基于神经网络的人脸识别方法、弹性图匹配的人脸识别方法等。几何特征的人脸识别方法识别速度快,但是识别准确性低。基于特征脸的人脸识别方法需要较多的训练样本,且基于图像的灰度统计特性进行识别,识别准确性低。基于神经网络的人脸识别方法需要较多的训练样本,但是训练样本有限。弹性图匹配的人脸识别方法结合了灰度特性和几何因素,在克服表情变化对识别的影响方面得到较好的效果。但是,因为其考虑的是灰度特征,且在计算几何形变的时候是通过Gabor变换对形变后的68个特征点进行预估,总的来说还是基于 68个特征点加上灰度特征进行人脸识别。
现实中,设定的68特征点的位置变换并不能准确表征人脸的形变,灰度也并不能准确表现出人脸的颜色特点,因此,基于68个特征点加上灰度特征进行人脸识别方法(弹性图匹配的人脸识别方法)是不准确的。
发明内容
本发明的目的在于提供了一种金融机构安防系统的大数据人脸识别方法、系统及机器人,用以解决现有技术中存在的上述问题:
第一方面,本发明实施例提供了一种金融机构安防系统的大数据人脸识别方法,所述方法包括:
采集目标行人的人脸图像;
基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征;
将人脸特征和人脸轮廓进行融合,得到人脸信息图;
基于人脸信息图和标准人脸信息图获得人脸的形变信息图;所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像预先拍摄并存储在大数据库中;
获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息;
获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息;
获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值;
基于所述人脸信息图获得人脸拓扑图;
基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离;
基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图;
对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息;所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
可选的,所述将人脸特征和人脸轮廓进行融合,得到人脸信息图,包括:
将人脸特征按照在人脸图像中的位置关系设置到人脸轮廓中。
可选的,所述基于人脸信息图和标准人脸信息图获得人脸的形变信息图,包括:
获得所述人脸信息图与标准人脸信息图的相差区域,相差区域包括外凸的区域和内凹的区域,外凸的区域包括人脸信息图中的人脸特征,内凹的区域包括标准人脸信息图中的标准人脸特征。
可选的,所述基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,包括:
计算所述像素差值的余弦值,计算所述形变值的正弦值;
对所述余弦值和所述正弦值进行加权求和,得到所述形变信息图的区域的拓扑变换参数;
以所述形变值作为所述人脸信息图中非形变信息图的区域的拓扑变换参数,所述非形变信息图的区域就是人脸信息图中除去形变信息图的区域。、
可选的,所述基于所述人脸信息图获得人脸拓扑图,包括:
通过Harris角点提取算法在所述人脸信息图中检测出角点,确定角点作为拓扑顶点;
若相邻的两个角点之间的距离大于预设值,对相邻的两个角点以及与两个角点相邻的角点进行三次曲线拟合,得到拟合曲线,确定在所述拟合曲线上且处在相邻的两个角点之间的一点作为拓扑顶点;
用线段将所有的拓扑顶点两两相连,得到人脸拓扑图。
可选的,所述基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图,包括:
将人脸信息图中非形变信息图的区域的拓扑变换参数和所述形变信息图的区域的拓扑变换参数构成拓扑变换参数图;
对拓扑变换参数图和所述人脸拓扑图进行拓扑运算,得到初始恢复拓扑图;
将所述形变信息图的区域的所有像素点的拓扑变换参数构成拓扑变换参数核;
通过所述拓扑变换参数核对所述初始恢复拓扑图进行卷积运算,得到人脸恢复拓扑图。
可选的,所述对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配,包括:
计算所述人脸恢复拓扑图中的拓扑顶点与标准人脸拓扑图中的标准拓扑顶点的平均距离;
若平均距离小于阈值,确定所述对所述人脸恢复拓扑图和标准人脸拓扑图匹配成功。
第二方面,本发明实施例提供了一种金融机构安防系统的大数据人脸识别系统,所述系统包括:
采集模块,用于采集目标行人的人脸图像;
特征提取模块,用于基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征;
融合模块,用于将人脸特征和人脸轮廓进行融合,得到人脸信息图;
形变确认模块,用于基于人脸信息图和标准人脸信息图获得人脸的形变信息图;所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像预先拍摄并存储在大数据库中;获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息;获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息;获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值;
拓扑图生成模块,用于基于所述人脸信息图获得人脸拓扑图;
变换参数确定模块,用于基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离;
拓扑图变换模块,用于基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图;
人脸识别模块,用于对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息;所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
第三方面,本发明实施例提供了一种机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一项所述方法的步骤。
可选的,所述机器人还包括通讯模块、摄像模块;
摄像模块与所述存储器、处理器和通讯模块连接;所述处理器与所述通讯模块连接;
所述摄像模块用于采集目标行人的人脸图像,将所述人脸图像发送至所述存储器和/或所述处理器和/或所述通讯模块;
所述通讯模块用于将所述人脸图像发送至云计算终端;所述通讯模块还用于从云计算终端获得存储在大数据库中的标准人脸图像,并发送给所述处理器。
相较于现有技术,本发明实施例达到的有益效果是:
本发明实施例提供了一种金融机构安防系统的大数据人脸识别方法、系统及机器人,所述方法包括:采集目标行人的人脸图像;基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征;将人脸特征和人脸轮廓进行融合,得到人脸信息图;基于人脸信息图和标准人脸信息图获得人脸的形变信息图;所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像预先拍摄并存储在大数据库中;获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息;获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息;获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值;基于所述人脸信息图获得人脸拓扑图;基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离;基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图;对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息;所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
因为人类在发生变形时,人脸的颜色会随着人类轮廓的变化而变化,二者的变化存在关联性,因此,通过将人脸特征和人脸轮廓进行融合,得到人脸信息图,使得人脸信息图包含了目标行人的人脸的外部轮廓特点和面部的凹凸轮廓,在此基础上,基于人脸信息图和标准人脸信息图获得人脸的形变信息图,这样得到的形变信息图能准确体现人脸发生形变的量和具体位置。基于所述人脸信息图获得人脸拓扑图,相较于直接在人脸图像获得的人脸拓扑图或者直接的28个点位的拓扑图,本发明得到的人脸拓扑图更加能够准确表示人脸的外部轮廓形状和脸部中间的区域的形状特点。基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,拓扑变换参数考虑到的几何的形变量和像素值的变化量对人脸形变后的人脸图像的影响,基于该拓扑变换参数将所述人脸拓扑图进行拓扑变换,得到的人脸恢复拓扑图能够准确表征目标行人的人脸信息,从而提高了对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配的准确性,结合了颜色和轮廓的变化的关联性对人脸进行识别,提高了识别目标行人的身份信息的准确性和可靠性,即提高了人脸识别的准确性和可靠性。
附图说明
图1是本发明实施例提供的一种金融机构安防系统的大数据人脸识别方法流程图。
图2是本发明实施例提供的一种金融机构安防系统的大数据人脸识别系统 200的方框结构示意图。
图3 是本发明实施例提供的一种机器人的方框结构示意图。
图中标记:金融机构安防系统的大数据人脸识别系统200;采集模块210;特征提取模块220;融合模块230;形变确认模块240;拓扑图生成模块250;变换参数确定模块260;拓扑图变换模块270;人脸识别模块280;总线500;接收器501;处理器502;发送器503;存储器504;总线接口505。
具体实施方式
下面结合附图,对本发明作详细的说明。
实施例
如图1所示,本发明实施例提供了一种金融机构安防系统的大数据人脸识别方法包括:
S101:采集目标行人的人脸图像。
其中,人脸图像指的是包括目标行人的脸部图像区域的图像。
S102:基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征。
其中,基于人脸图像中提取人脸特征的具体实施方式可以是:通过支持向量机模型从人脸图像中提取人脸特征,即将人脸图像输入支持向量机模型,然后以支持向量机模型的输出作为人脸特征。还可以是人脸图像输卷积神经网络模型,然后以卷积神经网络模型的输出作为人脸特征。
S103:将人脸特征和人脸轮廓进行融合,得到人脸信息图。
S104:基于人脸信息图和标准人脸信息图获得人脸的形变信息图。
其中,所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像是预先拍摄的并存储在大数据库中。
S105:获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息。
S106:获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息。
S107:获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值。
S108:基于所述人脸信息图获得人脸拓扑图。
S109:基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数。
其中,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离。
S110:基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图。
S111:对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息。
其中,所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
通过采用以上方案,通过将人脸特征和人脸轮廓进行融合,得到人脸信息图,使得人脸信息图包含了目标行人的人脸的外部轮廓特点和面部的凹凸轮廓,在此基础上,基于人脸信息图和标准人脸信息图获得人脸的形变信息图,这样得到的形变信息图能准确体现人脸发生形变的量和具体位置。基于所述人脸信息图获得人脸拓扑图,相较于直接在人脸图像获得的人脸拓扑图或者直接的28个点位的拓扑图,本发明得到的人脸拓扑图更加能够准确表示人脸的外部轮廓形状和脸部中间的区域的形状特点。基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,拓扑变换参数考虑到的几何的形变量和像素值的变化量对人脸形变后的人脸图像的影响,基于该拓扑变换参数将所述人脸拓扑图进行拓扑变换,得到的人脸恢复拓扑图能够准确表征目标行人的人脸信息,从而提高了对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配的准确性,提高了识别目标行人的身份信息的准确性和可靠性,即提高了人脸识别的准确性和可靠性。
可选的,所述的所述将人脸特征和人脸轮廓进行融合,得到人脸信息图,具体为:将人脸特征按照在人脸图像中的位置关系设置到人脸轮廓中。例如,人脸特征包括眼睛、鼻子、嘴巴,则按照眼睛、鼻子、嘴巴在人脸图像中的位置对应设置到人脸轮廓中,则得到一张包括眼睛、鼻子、嘴巴以及人脸轮廓的人脸信息图。
可选的,所述基于人脸信息图和标准人脸信息图获得人脸的形变信息图,包括:获得所述人脸信息图与标准人脸信息图的相差区域,相差区域包括外凸的区域和内凹的区域,外凸的区域包括人脸信息图中的人脸特征,内凹的区域包括标准人脸信息图中的标准人脸特征。例如,人脸信息图中的人脸的下巴没有与标准人脸信息图中的人脸的下巴重合,且凸出处在远离鼻子的位置,例如长胖了下巴的轮廓往外扩,或者张开嘴巴下巴往外扩,此时,人脸信息图中的人脸的下巴对应的人脸轮廓相对于标准人脸信息图中的下巴的轮廓要往外凸出,则产生了相对于标准人脸信息图的外凸的区域。当人脸变瘦了,那么人脸轮廓向内收缩,相对于标准人脸信息图中的人脸轮廓,其向内凹陷,则产生了相对于标准人脸信息图的内凹的区域。这两种情况下,其人脸图像的颜色变化是很有特点的。当人脸信息图和标准人脸信息图重合时,外凸的区域只看到人脸图像的信息,即外凸的区域包括人脸信息图中的人脸特征,内凹的区域只看到标准人脸图像的信息,即内凹的区域包括标准人脸信息图中的标准人脸特征。
可选的,所述基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,包括:计算所述像素差值的余弦值,计算所述形变值的正弦值,对所述余弦值和所述正弦值进行加权求和,得到所述形变信息图的区域的拓扑变换参数;以所述形变值作为所述人脸信息图中非形变信息图的区域的拓扑变换参数,所述非形变信息图的区域就是人脸信息图中除去形变信息图的区域。
其中,中非形变信息图的区域指的是上述的人脸信息图和标准人脸信息图完全重合的区域。对所述余弦值和所述正弦值进行加权求和,得到所述形变信息图的区域的拓扑变换参数,具体为:s=a*cos(DI)+b*sin(Dd),其中,s表示拓扑变换参数,DI表示像素差值,Dd表示形变值,a和b是加权参数,a=0.49,b=0.51。需要说明的是,一个像素点对应一个拓扑变换参数,一个像素点对应一个像素差值,一个像素点对应一个形变值。
通过采用以上方案,通过考虑人脸像素值(颜色)变化和形状变化对人脸检测和确定的影响,计算所述像素差值的余弦值,计算所述形变值的正弦值,对所述余弦值和所述正弦值进行加权求和,得到所述形变信息图的区域的拓扑变换参数,以所述形变值作为所述人脸信息图中非形变信息图的区域的拓扑变换参数,拓扑变换参数,得到的拓扑变换参数准确将人脸拓扑图进行形变恢复,提高了人脸拓扑图形变恢复的逼真性。
可选的,所述基于所述人脸信息图获得人脸拓扑图,包括:通过Harris角点提取算法在所述人脸信息图中检测出角点,确定角点作为拓扑顶点;若相邻的两个角点之间的距离大于预设值,对相邻的两个角点以及与两个角点相邻的角点进行三次曲线拟合,得到拟合曲线,确定在所述拟合曲线上且处在相邻的两个角点之间的一点作为拓扑顶点;用线段将所有的拓扑顶点两两相连,得到人脸拓扑图。其中预设值可以是3厘米、4厘米、5厘米。
如此,得到的人脸拓扑图可准确地表征人脸的形状、轮廓信息。即相较于 28个定点,通过进行曲线拟合,然后取中间点作为拓扑顶点,增加了人脸拓扑图的圆滑性,也增强了人脸拓扑图对人脸图像的表征的准确性,即如此得到的人脸拓扑图能够准确标准人脸图像的形状、轮廓、以及人脸中的眼睛、鼻子、嘴巴等的形状、轮廓信息。
可选的,所述基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图,包括:将人脸信息图中非形变信息图的区域的拓扑变换参数和所述形变信息图的区域的拓扑变换参数构成拓扑变换参数图;对拓扑变换参数图和所述人脸拓扑图进行拓扑运算,得到初始恢复拓扑图;将所述形变信息图的区域的所有像素点的拓扑变换参数构成拓扑变换参数核;通过所述拓扑变换参数核对所述初始恢复拓扑图进行卷积运算,得到人脸恢复拓扑图。
通过整个拓扑变换参数图对人脸拓扑图进行拓扑运算以进行恢复,然后还通过形变信息图的区域的所有像素点的拓扑变换参数构成拓扑变换参数核对恢复得到的初始恢复拓扑图进行补偿和平滑调整(卷积运算),提高了最终得到的人脸恢复拓扑图对于目标行人脸的恢复的逼真性,进而提高了人脸识别的准确性。
可选的,所述对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配,包括:计算所述人脸恢复拓扑图中的拓扑顶点与标准人脸拓扑图中的拓扑顶点的平均距离;若平均距离小于阈值,确定所述对所述人脸恢复拓扑图和标准人脸拓扑图匹配成功。具体的,计算所述人脸恢复拓扑图中的每个拓扑顶点与标准人脸拓扑图中的每个标准拓扑顶点的欧氏距离,然后以所有欧式距离的平均值作为平均距离。考虑到了每个拓扑顶点的变动,提高了匹配的准确性。因为上述的拓扑变换参数考虑到了像素值,因此,该匹配也考虑到了人脸颜色发生的变化,于是如此进行匹配以进行人脸识别,识别的准确性高。其中,阈值可以是1毫米、2毫米、3 毫米。
需要说明的是,所述标准人脸信息图是基于标准人脸图像获得的,具体的获得方式如上述S102~S104所述的方法。本发明实施例中所说的标准人脸图像是所有用户预先拍摄并存储在大数据中的人脸图像,其能够准确代表用户的身份信息,标准人脸图像与用户的身份信息具有一一对应的关系。标准人脸拓扑图是基于标准人脸信息图得到的,其获得方式如上述的S108所述的方式。
需要说明的是,本发明实施例提供的金融机构安防系统的大数据人脸识别方法可以用于行人检测、目标识别,还可以用于识别病人、腹中的胎儿等,可以广泛应用于安防、医疗、驾驶、化妆、直播、教育、农业、军事、铁路、公路、公共交通等领域中。其可以在人工智能领域起到举足轻重的作用,即本申请提供的金融机构安防系统的大数据人脸识别方法可以广泛应用在人工智能领域中。本申请提供的金融机构安防系统的大数据人脸识别方法其实也是一种数据处理方法。
针对上述实施例提供一种金融机构安防系统的大数据人脸识别方法,本申请实施例还对应提供一种用于执行上述的步骤的执行主体,该执行主体可以为图2 中的金融机构安防系统的大数据人脸识别系统200。请参考图2,该系统包括:
采集模块210,用于采集目标行人的人脸图像;
特征提取模块220,用于基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征;
融合模块230,用于将人脸特征和人脸轮廓进行融合,得到人脸信息图;
形变确认模块240,用于基于人脸信息图和标准人脸信息图获得人脸的形变信息图;所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像预先拍摄并存储在大数据库中;获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息;获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息;获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值;
拓扑图生成模块250,用于基于所述人脸信息图获得人脸拓扑图;
变换参数确定模块260,用于基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离;
拓扑图变换模块270,用于基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图;
人脸识别模块280,用于对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息;所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
可选的,融合模块230还用于:将人脸特征按照在人脸图像中的位置关系设置到人脸轮廓中。
可选的,形变确认模块240还用于:
获得所述人脸信息图与标准人脸信息图的相差区域,相差区域包括外凸的区域和内凹的区域,外凸的区域包括人脸信息图中的人脸特征,内凹的区域包括标准人脸信息图中的标准人脸特征。
可选的,变换参数确定模块260还用于,计算所述像素差值的余弦值,计算所述形变值的正弦值;对所述余弦值和所述正弦值进行加权求和,得到所述形变信息图的区域的拓扑变换参数;以所述形变值作为所述人脸信息图中非形变信息图的区域的拓扑变换参数,所述非形变信息图的区域就是人脸信息图中除去形变信息图的区域。
可选的,拓扑图生成模块250,还用于:通过Harris角点提取算法在所述人脸信息图中检测出角点,确定角点作为拓扑顶点;
若相邻的两个角点之间的距离大于预设值,对相邻的两个角点以及与两个角点相邻的角点进行三次曲线拟合,得到拟合曲线,确定在所述拟合曲线上且处在相邻的两个角点之间的一点作为拓扑顶点;
用线段将所有的拓扑顶点两两相连,得到人脸拓扑图。
可选的,拓扑图变换模块270还用于:将人脸信息图中非形变信息图的区域的拓扑变换参数和所述形变信息图的区域的拓扑变换参数构成拓扑变换参数图;
对拓扑变换参数图和所述人脸拓扑图进行拓扑运算,得到初始恢复拓扑图;
将所述形变信息图的区域的所有像素点的拓扑变换参数构成拓扑变换参数核;
通过所述拓扑变换参数核对所述初始恢复拓扑图进行卷积运算,得到人脸恢复拓扑图。
可选的,人脸识别模块280还用于所述对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配,包括:计算所述人脸恢复拓扑图中的拓扑顶点与标准人脸拓扑图中的标准拓扑顶点的平均距离;若平均距离小于阈值,确定所述对所述人脸恢复拓扑图和标准人脸拓扑图匹配成功。
关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例还提供了一种机器人,如图3所示,包括存储器504、处理器 502及存储在存储器504上并可在处理器502上运行的计算机程序,所述处理器 502执行所述程序时实现前文所述金融机构安防系统的大数据人脸识别方法的任一方法的步骤。
其中,在图3中,总线架构(用总线500来代表),总线500可以包括任意数量的互联的总线和桥,总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器502 负责管理总线500和通常的处理,而存储器504可以被用于存储处理器502在执行操作时所使用的数据。
可选的,所述机器人还包括通讯模块、摄像模块;
摄像模块与所述存储器、处理器和通讯模块连接;所述处理器与所述通讯模块连接。所述摄像模块用于采集目标行人的人脸图像,将所述人脸图像发送至所述存储器和/或所述处理器和/或所述通讯模块。所述通讯模块用于将所述人脸图像发送至云计算终端;所述通讯模块还用于从云计算终端获得存储在大数据库中的标准人脸图像,并发送给所述处理器。
大数据库可以是存储器中的数据库,也可以是设置在云计算终端平台的数据库。
在本发明实施例中,金融机构安防系统的大数据人脸识别系统安装在机器人中,具体的可以软件功能模块的形式存储在存储器中并可以被处理器处理运行。作为一个实施例,目标行人(用户)走进金融机构或者公共场所的大厅、区域,则机器启动摄像装置中的摄像头拍摄采集目标行人的人脸图像,然后将所述人脸图像发送至所述存储器和/或所述处理器和/或所述通讯模块。所述通讯模块用于将所述人脸图像发送至云计算终端;所述通讯模块还用于从云计算终端获得存储在大数据库中的标准人脸图像,并发送给所述处理器,然后机器人启动上述的金融机构安防系统的大数据人脸识别系统执行上述的金融机构安防系统的大数据人脸识别方法。从而识别出目标行人的身份信息,实现人脸识别。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图) 中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (9)

1.一种金融机构安防系统的大数据人脸识别方法,其特征在于,所述方法包括:
采集目标行人的人脸图像;
基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征;
将人脸特征和人脸轮廓进行融合,得到人脸信息图;
基于人脸信息图和标准人脸信息图获得人脸的形变信息图;所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像是预先拍摄的并存储在大数据库中;
获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息;
获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息;
获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值;
基于所述人脸信息图获得人脸拓扑图;所述基于所述人脸信息图获得人脸拓扑图,包括:
通过Harris角点提取算法在所述人脸信息图中检测出角点,确定角点作为拓扑顶点;
若相邻的两个角点之间的距离大于预设值,对相邻的两个角点以及与两个角点相邻的角点进行三次曲线拟合,得到拟合曲线,确定在所述拟合曲线上且处在相邻的两个角点之间的一点作为拓扑顶点;
用线段将所有的拓扑顶点两两相连,得到人脸拓扑图;
基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离;
基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图;
对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息;所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
2.根据权利要求1所述的方法,其特征在于,所述将人脸特征和人脸轮廓进行融合,得到人脸信息图,包括:
将人脸特征按照在人脸图像中的位置关系设置到人脸轮廓中。
3.根据权利要求1所述的方法,其特征在于,所述基于人脸信息图和标准人脸信息图获得人脸的形变信息图,包括:
获得所述人脸信息图与标准人脸信息图的相差区域,相差区域包括外凸的区域和内凹的区域,外凸的区域包括人脸信息图中的人脸特征,内凹的区域包括标准人脸信息图中的标准人脸特征。
4.根据权利要求1所述的方法,其特征在于,所述基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,包括:
计算所述像素差值的余弦值,计算所述形变值的正弦值;
对所述余弦值和所述正弦值进行加权求和,得到所述形变信息图的区域的拓扑变换参数;
以所述形变值作为所述人脸信息图中非形变信息图的区域的拓扑变换参数,所述非形变信息图的区域就是人脸信息图中除去形变信息图的区域。
5.根据权利要求1所述的方法,其特征在于,所述基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图,包括:
将人脸信息图中非形变信息图的区域的拓扑变换参数和所述形变信息图的区域的拓扑变换参数构成拓扑变换参数图;
对拓扑变换参数图和所述人脸拓扑图进行拓扑运算,得到初始恢复拓扑图;
将所述形变信息图的区域的所有像素点的拓扑变换参数构成拓扑变换参数核;
通过所述拓扑变换参数核对所述初始恢复拓扑图进行卷积运算,得到人脸恢复拓扑图。
6.根据权利要求4所述的方法,其特征在于,所述对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配,包括:
计算所述人脸恢复拓扑图中的拓扑顶点与标准人脸拓扑图中的标准拓扑顶点的平均距离;
若平均距离小于阈值,确定所述对所述人脸恢复拓扑图和标准人脸拓扑图匹配成功。
7.一种金融机构安防系统的大数据人脸识别系统,其特征在于,所述系统包括:
采集模块,用于采集目标行人的人脸图像;
特征提取模块,用于基于人脸图像中获得人脸轮廓,基于人脸图像中提取人脸特征;
融合模块,用于将人脸特征和人脸轮廓进行融合,得到人脸信息图;
形变确认模块,用于基于人脸信息图和标准人脸信息图获得人脸的形变信息图;所述标准人脸信息图是基于标准人脸图像获得的,所述标准人脸图像预先拍摄并存储在大数据库中;获得形变信息图的所有像素点在人脸图像中的对应的第一像素信息;获得形变信息图的所有像素点在标准人脸图像中的对应的第二像素信息;获得形变信息图中每个像素点对应的第一像素信息与第二像素信息的像素差值;
拓扑图生成模块,用于基于所述人脸信息图获得人脸拓扑图;所述基于所述人脸信息图获得人脸拓扑图,包括:
通过Harris角点提取算法在所述人脸信息图中检测出角点,确定角点作为拓扑顶点;
若相邻的两个角点之间的距离大于预设值,对相邻的两个角点以及与两个角点相邻的角点进行三次曲线拟合,得到拟合曲线,确定在所述拟合曲线上且处在相邻的两个角点之间的一点作为拓扑顶点;
用线段将所有的拓扑顶点两两相连,得到人脸拓扑图;
变换参数确定模块,用于基于所述形变信息图中的像素点的形变值和所述像素差值得到拓扑变换参数,所述像素点的形变值是所述像素点在人脸图像中的位置到所述像素点在标准人脸图像中对应的位置的距离;
拓扑图变换模块,用于基于所述拓扑变换参数,将所述人脸拓扑图进行拓扑变换,得到人脸恢复拓扑图;
人脸识别模块,用于对所述人脸恢复拓扑图和标准人脸拓扑图进行匹配;若匹配成功,以所述标准人脸图像对应的用户身份信息作为目标行人的身份信息;所述用户身份信息存储在大数据库中,且与所述标准人脸图像对应,所述标准人脸拓扑图是预先基于标准人脸图像获得的。
8.一种机器人,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。
9.根据权利要求8所述的机器人,其特征在于,所述机器人还包括通讯模块、摄像模块;
摄像模块与所述存储器、处理器和通讯模块连接;所述处理器与所述通讯模块连接;
所述摄像模块用于采集目标行人的人脸图像,将所述人脸图像发送至所述存储器和/或所述处理器和/或所述通讯模块;
所述通讯模块用于将所述人脸图像发送至云计算终端;所述通讯模块还用于从云计算终端获得存储在大数据库中的标准人脸图像,并发送给所述处理器。
CN202010324707.3A 2020-04-23 2020-04-23 金融机构安防系统的大数据人脸识别方法、系统及机器人 Expired - Fee Related CN111488853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324707.3A CN111488853B (zh) 2020-04-23 2020-04-23 金融机构安防系统的大数据人脸识别方法、系统及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324707.3A CN111488853B (zh) 2020-04-23 2020-04-23 金融机构安防系统的大数据人脸识别方法、系统及机器人

Publications (2)

Publication Number Publication Date
CN111488853A CN111488853A (zh) 2020-08-04
CN111488853B true CN111488853B (zh) 2020-12-11

Family

ID=71795344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324707.3A Expired - Fee Related CN111488853B (zh) 2020-04-23 2020-04-23 金融机构安防系统的大数据人脸识别方法、系统及机器人

Country Status (1)

Country Link
CN (1) CN111488853B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476195A (zh) * 2020-04-20 2020-07-31 安徽中科首脑智能医疗研究院有限公司 人脸检测方法、装置、机器人及计算机可读存储介质
CN112488889A (zh) * 2020-12-18 2021-03-12 姜培生 大数据在线教育平台的教师推荐方法及系统
CN113537178B (zh) * 2021-09-16 2021-12-17 南通市海鸥救生防护用品有限公司 基于船舶安防数据识别的人脸图片补偿识别方法
CN114005160B (zh) * 2021-10-28 2022-05-17 建湖县公安局 一种基于身份二维码和人工智能的门禁控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093498A (zh) * 2013-01-25 2013-05-08 西南交通大学 一种基于平面三角网格模板的三维人脸自动标准化方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN108052919A (zh) * 2017-12-26 2018-05-18 北斗七星(重庆)物联网技术有限公司 一种基于人脸识别的安防系统及方法
CN110415323A (zh) * 2019-07-30 2019-11-05 成都数字天空科技有限公司 一种融合变形系数获得方法、装置及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489011A (zh) * 2013-09-16 2014-01-01 广东工业大学 一种具有拓扑鲁棒性的三维人脸识别方法
CN103593648B (zh) * 2013-10-22 2017-01-18 上海交通大学 一个面向开放环境的人脸识别方法
CN105741229B (zh) * 2016-02-01 2019-01-08 成都通甲优博科技有限责任公司 实现人脸图像快速融合的方法
CN106778468B (zh) * 2016-11-14 2019-08-30 深圳奥比中光科技有限公司 3d人脸识别方法及设备
US10657363B2 (en) * 2017-10-26 2020-05-19 Motorola Mobility Llc Method and devices for authenticating a user by image, depth, and thermal detection
CN109299683B (zh) * 2018-09-13 2019-12-10 嘉应学院 一种基于人脸识别和行为大数据的安防评估系统
CN110008873B (zh) * 2019-04-25 2021-06-22 北京华捷艾米科技有限公司 面部表情捕捉方法、系统及设备
CN110533001B (zh) * 2019-09-06 2022-02-08 厦门久凌创新科技有限公司 基于人脸识别的大数据人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093498A (zh) * 2013-01-25 2013-05-08 西南交通大学 一种基于平面三角网格模板的三维人脸自动标准化方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN108052919A (zh) * 2017-12-26 2018-05-18 北斗七星(重庆)物联网技术有限公司 一种基于人脸识别的安防系统及方法
CN110415323A (zh) * 2019-07-30 2019-11-05 成都数字天空科技有限公司 一种融合变形系数获得方法、装置及存储介质

Also Published As

Publication number Publication date
CN111488853A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488853B (zh) 金融机构安防系统的大数据人脸识别方法、系统及机器人
JP5873442B2 (ja) 物体検出装置および物体検出方法
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN105518713A (zh) 活体人脸验证方法及系统、计算机程序产品
CN111161320A (zh) 一种目标跟踪方法、目标跟踪装置及计算机可读介质
CN109376604B (zh) 一种基于人体姿态的年龄识别方法和装置
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN110930374A (zh) 一种基于双深度相机的腧穴定位方法
CN111144284B (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN104200200A (zh) 融合深度信息和灰度信息实现步态识别的系统及方法
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN108509890A (zh) 用于提取信息的方法和装置
CN110543817A (zh) 基于姿势指导特征学习的行人再识别方法
CN111259814B (zh) 一种活体检测方法及系统
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
CN113343927B (zh) 一种适用于面瘫患者的智能化人脸识别方法和系统
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
CN116129504A (zh) 一种活体检测模型训练方法和活体检测方法
CN115222621A (zh) 图像校正方法、电子设备、存储介质及计算机程序产品
CN112329736B (zh) 人脸识别方法及金融系统
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN113421319A (zh) 一种图像处理方法、装置以及计算机设备
Martinez et al. Optimized 4D DPM for Pose Estimation on RGBD Channels using Polisphere Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201120

Address after: 8 / F, building 3, yard 5, Anding Road, Chaoyang District, Beijing 100020

Applicant after: CITIC AIBANK Co.,Ltd.

Address before: 610000 15 / F, block a, building 1, Shangding international, hi tech Zone, Chengdu, Sichuan Province

Applicant before: Yang Jiumei

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201211

Termination date: 20210423