CN111079700B - 一种基于多种数据类型融合的三维人脸识别方法 - Google Patents
一种基于多种数据类型融合的三维人脸识别方法 Download PDFInfo
- Publication number
- CN111079700B CN111079700B CN201911397767.1A CN201911397767A CN111079700B CN 111079700 B CN111079700 B CN 111079700B CN 201911397767 A CN201911397767 A CN 201911397767A CN 111079700 B CN111079700 B CN 111079700B
- Authority
- CN
- China
- Prior art keywords
- data
- face
- projection
- color information
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于多种数据类型融合的三维人脸识别方法,包括:S1、利用采集装置获取多组原始数据,原始数据包括图像数据和深度数据,原始数据表示为带有色彩信息的三维点云;S2、将三维点云投影到像素坐标系中,得到投影深度信息和投影色彩信息;S3、基于投影深度信息和投影色彩信息通过MTCNN(多任务卷积神经网络)检测出人脸数据;S4、构建旋转矩阵并且利用旋转矩阵对人脸数据进行增强得到增强数据;S5、利用提取器从增强数据中提取人脸特征;S6、将提取到的多个人脸特征与预设的基准特征进行对比,选取与基准特征相似度最高的一个作为识别结果。本发明提供一种基于多种数据类型融合的三维人脸识别方法,具有更高的识别准确度。
Description
技术领域
本发明涉及人脸识别技术领域,具体的说是一种基于多种数据类型融合的三维人脸识别方法。
背景技术
现有的大部分人脸识别方法多采用传统方法处理二维图像数据、或是二维图像数据结合深度图信息,提取特征用于识别。典型的例子如:中国专利“201810353351.9”公开的“三维人脸识别方法和三维人脸识别系统”、中国专利“201810217580.8”公开的“一种人脸识别方法”以及中国专利“201610472527.3”公开的“一种基于三维数据的人脸识别系统”。这些现有技术普遍存在几个缺点:1、方法采用数据类型有极大地局限性。2、识别方法性能依赖于二维图像数据的质量,受光照等环境因素影响极大。
发明内容
为了解决现有技术中的不足,本发明提供一种基于多种数据类型融合的三维人脸识别方法,具有更高的识别准确度。
为了实现上述目的,本发明采用的具体方案为:一种基于多种数据类型融合的三维人脸识别方法,包括如下步骤:
S1、利用采集装置获取多组原始数据,原始数据包括图像数据和深度数据,原始数据表示为带有色彩信息的三维点云;
S2、将三维点云投影到像素坐标系中,得到投影深度信息和投影色彩信息;
S3、基于投影深度信息和投影色彩信息通过MTCNN(多任务卷积神经网络)检测出人脸数据;
S4、构建旋转矩阵并且利用旋转矩阵对人脸数据进行增强得到增强数据;
S5、利用提取器从增强数据中提取人脸特征;
S6、将提取到的多个人脸特征与预设的基准特征进行对比,选取与基准特征相似度最高的一个作为识别结果。
作为一种优选方案,S2中的具体方法包括:
S2.1、将三维点云投影到像素坐标系中:
其中,u和v为像素坐标系的坐标,x和y为世界坐标系的坐标,u0、v0、dx和dy是采集装置的内部参数;
S2.2、通过双线性差值算法补全投影后的数据:
其中,R1=(x,y1),R2=(x,y2),f为世界坐标系中的数据,Q11=(x1,y1),f(Q11)为(x1,y1)的值,Q12=(x1,y2),f(Q12)为(x1,y2)的值,Q21=(x2,y1),f(Q21)为(x2,y1)的值,Q22=(x2,y2),f(Q22)为(x2,y2)的值,补全后得到投影深度信息D和投影色彩信息I。
作为一种优选方案,S3的具体方法为:
S3.1将投影色彩信息I输入MTCNN中,运行MTCNN得到投影色彩信息I的五个关键点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5);
S3.2、利用五个关键点对投影深度信息D和投影色彩信息I进行裁剪得到初步人脸模型数据Df和人脸色彩数据If;
S3.3、用高斯滤波的方法对初步初步人脸模型数据Df进行异常点筛选和平滑处理后,利用形态学闭运算方法进行空洞添洞。
作为一种优选方案,S4的具体方法为:
S4.1、构建基于世界坐标X轴的第一子矩阵:
其中,θx为与X轴之间的夹角;
S4.2、构建基于世界坐标Y轴的第二子矩阵:
其中,θy为与Y轴之间的夹角;
S4.3、基于第一子矩阵和第二子矩阵构建旋转矩阵:
R=Rx×Ry;
S4.4、利用旋转矩阵对初步人脸模型数据Df进行数据增强,得到增强人脸模型数据:
D'=Df×R。
作为一种优选方案,S5的具体方法为:
S5.1、将利用人脸色彩数据If和强人脸模型数据D'分别输入到Resnet18提取器,提取器分别输出第一特征FI和第二特征FD;
S5.2、取FI和FD的均值F作为人脸特征。
作为一种优选方案,S6的具体方法为:
S6.1、利用S1至S5对预设的基准数据进行处理得到基准特征FK;
S6.2、取任意一个原始数据对应的人脸特征Fi与基准特征FK计算余弦距离,并且根据得到的余弦距离对所有人脸特征进行排序,得到有序列表L;
S6.3、取有序列表中前N个余弦距离对应的人脸特征Fi与基准特征FK计算相似度距离:
d*(Fi,Fk)=(1-λ)dJ(Fi,Fk)+λd(Fi,Fk);
其中,DJ为人脸特征Fi与基准特征FK的杰卡德距离,d为人脸特征Fi与基准特征FK的马氏距离;
S6.4、根据d*对所有人脸特征按照从小到大的顺序排序,得到更新有序列表L',取L'中第一个人脸特征作为识别结果。
作为一种优选方案,N=10。
有益效果:本发明综合了图像数据和深度数据,在数据源头确保了数据类型的丰富度,从而提升人脸识别精度,并且在处理过程中通过数据转换、补全和增强在确保数据精度的前提下提升了处理速度,最终能够解决传统方法识别精度不高,无法达到使用需求的问题,同时能够解决已有方法依赖于二维图像数据的数据类型局限性、受环境因素影响的问题,保证在不同环境中都有极高的识别精度。
附图说明
图1是本发明的流程图;
图2是S2中投影方法的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1和2,一种基于多种数据类型融合的三维人脸识别方法,包括S1至S6。
S1、利用采集装置获取多组原始数据,原始数据包括图像数据和深度数据,原始数据表示为带有色彩信息的三维点云。
S2、将三维点云投影到像素坐标系中,得到投影深度信息和投影色彩信息。S2中的具体方法包括S2.1至S2.2。
S2.1、将三维点云投影到像素坐标系中:
其中,u和v为像素坐标系的坐标,x和y为世界坐标系的坐标,u0、v0、dx和dy是采集装置的内部参数。
S2.2、通过双线性差值算法补全投影后的数据:
其中,R1=(x,y1),R2=(x,y2),f为世界坐标系中的数据,Q11=(x1,y1),f(Q11)为(x1,y1)的值,Q12=(x1,y2),f(Q12)为(x1,y2)的值,Q21=(x2,y1),f(Q21)为(x2,y1)的值,Q22=(x2,y2),f(Q22)为(x2,y2)的值,补全后得到投影深度信息D和投影色彩信息I。
因为点云数据是三维且离散的,在投影的过程中会造成像素坐标系中部分点缺失,所以需要进行补全,通过补全可以使投影完整,从而提升最终的识别准确度。
S3、基于投影深度信息和投影色彩信息通过MTCNN(多任务卷积神经网络)检测出人脸数据。S3的具体方法为S3.1至S3.3。
S3.1将投影色彩信息I输入MTCNN中,运行MTCNN得到投影色彩信息I的五个关键点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)。
S3.2、利用五个关键点对投影深度信息D和投影色彩信息I进行裁剪得到初步人脸模型数据Df和人脸色彩数据If。
S3.3、用高斯滤波的方法对初步初步人脸模型数据Df进行异常点筛选和平滑处理后,利用形态学闭运算方法进行空洞添洞。
S4、构建旋转矩阵并且利用旋转矩阵对人脸数据进行增强得到增强数据。S4的具体方法为S4.1至S4.3。
S4.1、构建基于世界坐标X轴的第一子矩阵:
其中,θx为与X轴之间的夹角。
S4.2、构建基于世界坐标Y轴的第二子矩阵:
其中,θy为与Y轴之间的夹角。
S4.3、基于第一子矩阵和第二子矩阵构建旋转矩阵:
R=Rx×Ry。
S4.4、利用旋转矩阵对初步人脸模型数据Df进行数据增强,得到增强人脸模型数据:D'=Df×R。
S5、利用提取器从增强数据中提取人脸特征。S5的具体方法为S5.1至S5.2。
S5.1、将利用人脸色彩数据If和强人脸模型数据D'分别输入到Resnet18提取器,提取器分别输出第一特征FI和第二特征FD。
S5.2、取FI和FD的均值F作为人脸特征。
S6、将提取到的多个人脸特征与预设的基准特征进行对比,选取与基准特征相似度最高的一个作为识别结果。S6的具体方法为S6.1至S6.4。
S6.1、利用S1至S5对预设的基准数据进行处理得到基准特征FK。
S6.2、取任意一个原始数据对应的人脸特征Fi与基准特征FK计算余弦距离,并且根据得到的余弦距离对所有人脸特征进行排序,得到有序列表L。
S6.3、取有序列表中前N个余弦距离对应的人脸特征Fi与基准特征FK计算相似度距离:
d*(Fi,Fk)=(1-λ)dJ(Fi,Fk)+λd(Fi,Fk)。
其中,DJ为人脸特征Fi与基准特征FK的杰卡德距离,d为人脸特征Fi与基准特征FK的马氏距离。在本实施例中,N=10。
S6.4、根据d*对所有人脸特征按照从小到大的顺序排序,得到更新有序列表L',取L'中第一个人脸特征作为识别结果。
本发明综合了图像数据和深度数据,在数据源头确保了数据类型的丰富度,从而提升人脸识别精度,并且在处理过程中通过数据转换、补全和增强在确保数据精度的前提下提升了处理速度,最终能够解决传统方法识别精度不高,无法达到使用需求的问题,同时能够解决已有方法依赖于二维图像数据的数据类型局限性、受环境因素影响的问题,保证在不同环境中都有极高的识别精度。
在本发明其它的实施方式中,除了图像数据和深度数据之外,也可以增加其它类型的数据,仍然以深度信息为主即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种基于多种数据类型融合的三维人脸识别方法,其特征在于:包括如下步骤:
S1、利用采集装置获取多组原始数据,原始数据包括图像数据和深度数据,原始数据表示为带有色彩信息的三维点云;
S2、将三维点云投影到像素坐标系中,得到投影深度信息和投影色彩信息;S2中的具体方法包括:
S2.1、将三维点云投影到像素坐标系中:
其中,u和v为像素坐标系的坐标,x和y为世界坐标系的坐标,u0、v0、dx和dy是采集装置的内部参数;
S2.2、通过双线性差值算法补全投影后的数据:
其中,R1=(x,y1),R2=(x,y2),f为世界坐标系中的数据,Q11=(x1,y1),f(Q11)为(x1,y1)的值,Q12=(x1,y2),f(Q12)为(x1,y2)的值,Q21=(x2,y1),f(Q21)为(x2,y1)的值,Q22=(x2,y2),f(Q22)为(x2,y2)的值,补全后得到投影深度信息D和投影色彩信息I;
S3、基于投影深度信息和投影色彩信息通过MTCNN(多任务卷积神经网络)检测出人脸数据;S3的具体方法为:
S3.1将投影色彩信息I输入MTCNN中,运行MTCNN得到投影色彩信息I的五个关键点(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5);
S3.2、利用五个关键点对投影深度信息D和投影色彩信息I进行裁剪得到初步人脸模型数据Df和人脸色彩数据If;
S3.3、用高斯滤波的方法对初步初步人脸模型数据Df进行异常点筛选和平滑处理后,利用形态学闭运算方法进行空洞添洞;
S4、构建旋转矩阵并且利用旋转矩阵对人脸数据进行增强得到增强数据;S4的具体方法为:
S4.1、构建基于世界坐标X轴的第一子矩阵:
其中,θx为与X轴之间的夹角;
S4.2、构建基于世界坐标Y轴的第二子矩阵:
其中,θy为与Y轴之间的夹角;
S4.3、基于第一子矩阵和第二子矩阵构建旋转矩阵:
R=Rx×Ry;
S4.4、利用旋转矩阵对初步人脸模型数据Df进行数据增强,得到增强人脸模型数据:
D′=Df×R;
S5、利用提取器从增强数据中提取人脸特征;S5的具体方法为:
S5.1、将利用人脸色彩数据If和强人脸模型数据D′分别输入到Resnet18提取器,提取器分别输出第一特征FI和第二特征FD;
S5.2、取FI和FD的均值F作为人脸特征;
S6、将提取到的多个人脸特征与预设的基准特征进行对比,选取与基准特征相似度最高的一个作为识别结果;
S6的具体方法为:
S6.1、利用S1至S5对预设的基准数据进行处理得到基准特征FK;
S6.2、取任意一个原始数据对应的人脸特征Fi与基准特征FK计算余弦距离,并且根据得到的余弦距离对所有人脸特征进行排序,得到有序列表L;
S6.3、取有序列表中前N个余弦距离对应的人脸特征Fi与基准特征FK计算相似度距离:
d*(Fi,Fk)=(1-λ)dJ(Fi,Fk)+λd(Fi,Fk);
其中,DJ为人脸特征Fi与基准特征FK的杰卡德距离,d为人脸特征Fi与基准特征FK的马氏距离;
S6.4、根据d*对所有人脸特征按照从小到大的顺序排序,得到更新有序列表L′,取L′中第一个人脸特征作为识别结果。
2.如权利要求1所述的一种基于多种数据类型融合的三维人脸识别方法,其特征在于:
N=10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911397767.1A CN111079700B (zh) | 2019-12-30 | 2019-12-30 | 一种基于多种数据类型融合的三维人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911397767.1A CN111079700B (zh) | 2019-12-30 | 2019-12-30 | 一种基于多种数据类型融合的三维人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079700A CN111079700A (zh) | 2020-04-28 |
CN111079700B true CN111079700B (zh) | 2023-04-07 |
Family
ID=70319968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911397767.1A Active CN111079700B (zh) | 2019-12-30 | 2019-12-30 | 一种基于多种数据类型融合的三维人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079700B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
WO2017106996A1 (zh) * | 2015-12-21 | 2017-06-29 | 厦门中控生物识别信息技术有限公司 | 一种人脸识别的方法以及人脸识别装置 |
WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
CN109753875A (zh) * | 2018-11-28 | 2019-05-14 | 北京的卢深视科技有限公司 | 基于人脸属性感知损失的人脸识别方法、装置与电子设备 |
CN109948467A (zh) * | 2019-02-28 | 2019-06-28 | 中国科学院深圳先进技术研究院 | 人脸识别的方法、装置、计算机设备和存储介质 |
CN109948400A (zh) * | 2017-12-20 | 2019-06-28 | 宁波盈芯信息科技有限公司 | 一种能够进行人脸特征3d识别的智能手机及其识别方法 |
CN110147721A (zh) * | 2019-04-11 | 2019-08-20 | 阿里巴巴集团控股有限公司 | 一种三维人脸识别方法、模型训练方法和装置 |
CN110197109A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技(深圳)有限公司 | 神经网络模型训练、人脸识别方法、装置、设备及介质 |
-
2019
- 2019-12-30 CN CN201911397767.1A patent/CN111079700B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
WO2017106996A1 (zh) * | 2015-12-21 | 2017-06-29 | 厦门中控生物识别信息技术有限公司 | 一种人脸识别的方法以及人脸识别装置 |
WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
CN109948400A (zh) * | 2017-12-20 | 2019-06-28 | 宁波盈芯信息科技有限公司 | 一种能够进行人脸特征3d识别的智能手机及其识别方法 |
CN110197109A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技(深圳)有限公司 | 神经网络模型训练、人脸识别方法、装置、设备及介质 |
CN109753875A (zh) * | 2018-11-28 | 2019-05-14 | 北京的卢深视科技有限公司 | 基于人脸属性感知损失的人脸识别方法、装置与电子设备 |
CN109948467A (zh) * | 2019-02-28 | 2019-06-28 | 中国科学院深圳先进技术研究院 | 人脸识别的方法、装置、计算机设备和存储介质 |
CN110147721A (zh) * | 2019-04-11 | 2019-08-20 | 阿里巴巴集团控股有限公司 | 一种三维人脸识别方法、模型训练方法和装置 |
Non-Patent Citations (2)
Title |
---|
李睿 ; 李科 ; 孙家炜 ; .基于二维纹理重建三维人脸深度图像后的人脸识别.现代计算机(专业版).2019,(10),全文. * |
董瑞霞 ; .三维人脸数据的预处理及深度图像获取.福建电脑.2017,(02),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111079700A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701234A (zh) | 车牌识别方法及云系统 | |
WO2016034059A1 (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN111079545A (zh) | 一种基于图像修复的三维目标检测方法和系统 | |
CN107862698A (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
CN110348496B (zh) | 一种人脸图像融合的方法及系统 | |
CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
CN105426890B (zh) | 一种字符扭曲粘连的图形验证码识别方法 | |
CN111611643A (zh) | 户型矢量化数据获得方法、装置、电子设备及存储介质 | |
CN107203742B (zh) | 一种基于显著特征点提取的手势识别方法及装置 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN104517101A (zh) | 一种基于像素平方差匹配的游戏扑克牌识别方法 | |
CN109949227A (zh) | 图像拼接方法、系统及电子设备 | |
CN110490915B (zh) | 一种基于卷积受限玻尔兹曼机的点云配准方法 | |
CN101493887A (zh) | 基于半监督学习和哈希索引的眉毛图像分割方法 | |
CN109447117A (zh) | 双层车牌识别方法、装置、计算机设备及存储介质 | |
CN111079684B (zh) | 一种基于粗糙-精细拟合的三维人脸检测方法 | |
CN116416628A (zh) | 基于手写字体识别的方法及识别系统 | |
CN108764230A (zh) | 一种基于卷积神经网络的银行卡号自动识别方法 | |
CN109766850A (zh) | 基于特征融合的指纹图像匹配方法 | |
CN111079700B (zh) | 一种基于多种数据类型融合的三维人脸识别方法 | |
CN112633070A (zh) | 高分辨率遥感影像建筑物提取方法及系统 | |
CN109325487B (zh) | 一种基于目标检测的全种类车牌识别方法 | |
CN106603888A (zh) | 图像颜色提取处理结构 | |
CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211210 Address after: 712000 room 10201, building 4a, West Yungu phase II, Fengxi new town, Xixian new area, Xianyang City, Shaanxi Province Applicant after: Shaanxi Xitu Digital Technology Co.,Ltd. Address before: 471000 Room 201, building 1, Chuangzhi Plaza, No. 32, changxiamen street, Luolong District, Luoyang City, Henan Province Applicant before: Henan Zhongyuan big data Research Institute Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |