CN111160208A - 基于多帧点云融合与可变模型的三维人脸超分辨率方法 - Google Patents

基于多帧点云融合与可变模型的三维人脸超分辨率方法 Download PDF

Info

Publication number
CN111160208A
CN111160208A CN201911348343.6A CN201911348343A CN111160208A CN 111160208 A CN111160208 A CN 111160208A CN 201911348343 A CN201911348343 A CN 201911348343A CN 111160208 A CN111160208 A CN 111160208A
Authority
CN
China
Prior art keywords
point cloud
fusion
variable
variable model
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911348343.6A
Other languages
English (en)
Other versions
CN111160208B (zh
Inventor
马可
李慧斌
侯宗庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xitu Zhiguang Intelligent Technology Co ltd
Original Assignee
Henan Zhongyuan Big Data Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Zhongyuan Big Data Research Institute Co Ltd filed Critical Henan Zhongyuan Big Data Research Institute Co Ltd
Priority to CN201911348343.6A priority Critical patent/CN111160208B/zh
Publication of CN111160208A publication Critical patent/CN111160208A/zh
Application granted granted Critical
Publication of CN111160208B publication Critical patent/CN111160208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括：S1、获取视频帧深度图像与点云序列Pi∈P；S2、以平均脸为模板、以Pi为目标点云计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf；S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将
Figure DDA0002334020320000011
分别对P0进行配准得到第二粗糙拟合分数；S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到Palign＝{P0,Pj0}；S6、对Palign进行转换得到平滑融合点云Pfusion；S7、使用三维人脸可变模型对Palign中的对象Pk进行可变拟合，并且生成可变模型人脸融合点云Mavg；S8、对Pfusion和Mavg进行融合得到三维人脸超分辨率点云Poutput。本发明能够得到高精度的人脸点云。

Description

基于多帧点云融合与可变模型的三维人脸超分辨率方法
技术领域
本发明涉及人脸识别技术领域，具体的说是基于多帧点云融合与可变模型的三维人脸超分辨率方法。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。点云超分辨率或者点云融合是人脸识别技术中的两种常用方法，主要是为了能够更好地重构人脸表面。
现有的大部分点云超分辨率或者点云融合方法，通过将三维点云信息映射到二维图像空间再进行数据融合，存在如下缺点：1、三维到二维的映射转换会导致大量信息丢失，从而降低融合后的数据精度。2、对于人脸大姿态、表情等情况，二维图像无法很好的表示这些细节，容易导致融合失败。典型的例子有中国专利“201610051083.6”公开的“人脸三维点云超分辨率融合方法及应用其的数据处理装置”、中国专利“201910322098.5”公开的“一种基于深度图像融合的人脸三维重建方法和装置”和中国专利“201810690747.2”公开的“三维人脸模型重建方法及装置”。
发明内容
为了解决现有技术中的不足，本发明提供基于多帧点云融合与可变模型的三维人脸超分辨率方法，能够得到高精度的人脸点云。
为了实现上述目的，本发明采用的具体方案为：
基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括如下步骤：
S1、获取视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云集合；
S2、以平均脸为模板、以Pi为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；
S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf，并且进行集合划分；
S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将
Figure BDA0002334020300000011
分别对P0通过ICP算法进行配准得到第二粗糙拟合分数；
S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到配准点云集合Palign＝{P0,Pj0}；
S6、对Palign进行转换得到平滑融合点云Pfusion；
S7、使用三维人脸可变模型对Palign中的对象Pk进行可变拟合，并且根据可变拟合结果生成可变模型人脸融合点云Mavg；
S8、对Pfusion和Mavg进行融合得到三维人脸超分辨率点云Poutput。
作为一种优选方案，S2中，可变模型为
Figure BDA0002334020300000021
其中
Figure BDA0002334020300000022
为平均脸，ai为模型参数，mi为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵Ri、第一平移矩阵Ti和第一粗糙拟合分数Si。
作为一种优选方案，S3的具体方法为：将满足Si＜Sth的点云Pi从P中去除，其中Sth为第一粗糙拟合检测阈值，得到检测成功点云集合Pf。
作为一种优选方案，S4中，配准得到第二粗糙拟合分数Sj、第二旋转矩阵Rj和第二平移矩阵Tj。
作为一种优选方案，S5的具体方法为：
S5.1、将所有满足Sj＜Sr的点云从Pr中去除，其中Sr为配准阈值；
S5.2、将Pr中余下的所有点云转换到P0所在的位置，具体的转换方法为：
Pj0＝RjPj+Tj；
其中Pj0为转换后的点云。
作为一种优选方案，S6的具体方法为：
S6.1、设Palign中的所有点云对象聚合的总体三维人脸点云为Pall，遍历Pall计算：
Figure BDA0002334020300000023
其中Uall为点云质心，N为Pall的总点数；
S6.2、对Palign中的每个对象以及Pall中的每一个点Pcommon进行质心去除，即：
Pcommon＝Pcommon-Uall；
S6.3、对Pall求取法向量得到法向量集合Nall；
S6.4、通过MLS(移动最小二乘)算法对Pall与Nall进行平滑滤波融合得到Pfusion。
作为一种优选方案，S7的具体方法为：
S7.1、对Palign中的每个对象PK使用可变模型M进行可变拟合得到可变拟合结果：
Mk＝M+∑iakmi；
其中Mk为对PK进行拟合得到的人脸点云，aK为对应的可变系数，所有aK系数构成可变系数集合A，A中所有对象的平均值为Aavg；
S7.2、计算平均可变模型结果：
Mavg＝M+∑iaavgmi。
作为一种优选方案，S8中的融合方法为：
Poutput＝Mavg+Pfusion。
有益效果：本发明能够解决低成本深度采集设备采集到的信息分辨率较低、精度较差等问题，能够解决人脸大姿态、表情时的多帧人脸融合问题，能够解决低成本深度采集设备造成的人脸采集时存在空洞、数据缺失等问题。
附图说明
图1是本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括S1至S8。
S1、获取视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云集合。
S2、以平均脸为模板、以Pi为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数。S2中，可变模型为
Figure BDA0002334020300000031
其中
Figure BDA0002334020300000032
为平均脸，ai为模型参数，mi为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵Ri、第一平移矩阵Ti和第一粗糙拟合分数Si。
S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf，并且进行集合划分。S3的具体方法为：将满足Si＜Sth的点云Pi从P中去除，其中Sth为第一粗糙拟合检测阈值，得到检测成功点云集合Pf。
S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将
Figure BDA0002334020300000042
分别对P0通过ICP算法进行配准得到第二粗糙拟合分数。S4中，配准得到第二粗糙拟合分数Sj、第二旋转矩阵Rj和第二平移矩阵Tj。
S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到配准点云集合Palign＝{P0,Pj0}。S5的具体方法为S5.1至S5.2。
S5.1、将所有满足Sj＜Sr的点云从Pr中去除，其中Sr为配准阈值。
S5.2、将Pr中余下的所有点云转换到P0所在的位置，具体的转换方法为：
Pj0＝RjPj+Tj；
其中Pj0为转换后的点云。
S6、对Palign进行转换得到平滑融合点云Pfusion。S6的具体方法为S6.1至S6.2。
S6.1、设Palign中的所有点云对象聚合的总体三维人脸点云为Pall，遍历Pall计算：
Figure BDA0002334020300000041
其中Uall为点云质心，N为Pall的总点数。
S6.2、对Palign中的每个对象以及Pall中的每一个点Pcommon进行质心去除，即：
Pcommon＝Pcommon-Uall。
S6.3、对Pall求取法向量得到法向量集合Nall。
S6.4、通过MLS(移动最小二乘)算法对Pall与Nall进行平滑滤波融合得到Pfusion。
S7、使用三维人脸可变模型对Palign中的对象Pk进行可变拟合，并且根据可变拟合结果生成可变模型人脸融合点云Mavg。S7的具体方法为S7.1至S7.2。
S7.1、对Palign中的每个对象PK使用可变模型M进行可变拟合得到可变拟合结果：Mk＝M+∑iakmi；
其中Mk为对PK进行拟合得到的人脸点云，aK为对应的可变系数，所有aK系数构成可变系数集合A，A中所有对象的平均值为Aavg。
S7.2、计算平均可变模型结果：
Mavg＝M+∑iaavgmi。
S8、对Pfusion和Mavg进行融合得到三维人脸超分辨率点云Poutput。S8中的融合方法为：Poutput＝Mavg+Pfusion。
本发明能够解决低成本深度采集设备采集到的信息分辨率较低、精度较差等问题，能够解决人脸大姿态、表情时的多帧人脸融合问题，能够解决低成本深度采集设备造成的人脸采集时存在空洞、数据缺失等问题。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：包括如下步骤：
S1、获取视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云集合；
S2、以平均脸为模板、以Pi为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；
S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf，并且进行集合划分；
S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将
Figure FDA0002334020290000011
分别对P0通过ICP算法进行配准得到第二粗糙拟合分数；
S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到配准点云集合Palign＝{P0,Pj0}；
S6、对Palign进行转换得到平滑融合点云Pfusion；
S7、使用三维人脸可变模型对Palign中的对象Pk进行可变拟合，并且根据可变拟合结果生成可变模型人脸融合点云Mavg；
S8、对Pfusion和Mavg进行融合得到三维人脸超分辨率点云Poutput。
2.如权利要求1所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S2中，可变模型为
Figure FDA0002334020290000012
其中
Figure FDA0002334020290000013
为平均脸，ai为模型参数，mi为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵Ri、第一平移矩阵Ti和第一粗糙拟合分数Si。
3.如权利要求2所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S3的具体方法为：将满足Si＜Sth的点云Pi从P中去除，其中Sth为第一粗糙拟合检测阈值，得到检测成功点云集合Pf。
4.如权利要求3所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S4中，配准得到第二粗糙拟合分数Sj、第二旋转矩阵Rj和第二平移矩阵Tj。
5.如权利要求4所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S5的具体方法为：
S5.1、将所有满足Sj＜Sr的点云从Pr中去除，其中Sr为配准阈值；
S5.2、将Pr中余下的所有点云转换到P0所在的位置，具体的转换方法为：
Pj0＝RjPj+Tj；
其中Pj0为转换后的点云。
6.如权利要求5所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S6的具体方法为：
S6.1、设Palign中的所有点云对象聚合的总体三维人脸点云为Pall，遍历Pall计算：
Figure FDA0002334020290000021
其中Uall为点云质心，N为Pall的总点数；
S6.2、对Palign中的每个对象以及Pall中的每一个点Pcommon进行质心去除，即：
Pcommon＝Pcommon-Uall；
S6.3、对Pall求取法向量得到法向量集合Nall；
S6.4、通过MLS(移动最小二乘)算法对Pall与Nall进行平滑滤波融合得到Pfusion。
7.如权利要求6所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S7的具体方法为：
S7.1、对Palign中的每个对象PK使用可变模型M进行可变拟合得到可变拟合结果：
Mk＝M+∑iakmi；
其中Mk为对PK进行拟合得到的人脸点云，aK为对应的可变系数，所有aK系数构成可变系数集合A，A中所有对象的平均值为Aavg；
S7.2、计算平均可变模型结果：
Mavg＝M+∑iaavgmi。
8.如权利要求7所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S8中的融合方法为：
Poutput＝Mavg+Pfusion。
CN201911348343.6A 2019-12-24 2019-12-24 基于多帧点云融合与可变模型的三维人脸超分辨率方法 Active CN111160208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911348343.6A CN111160208B (zh) 2019-12-24 2019-12-24 基于多帧点云融合与可变模型的三维人脸超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348343.6A CN111160208B (zh) 2019-12-24 2019-12-24 基于多帧点云融合与可变模型的三维人脸超分辨率方法

Publications (2)

Publication Number Publication Date
CN111160208A true CN111160208A (zh) 2020-05-15
CN111160208B CN111160208B (zh) 2023-04-07

Family

ID=70558156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348343.6A Active CN111160208B (zh) 2019-12-24 2019-12-24 基于多帧点云融合与可变模型的三维人脸超分辨率方法

Country Status (1)

Country Link
CN (1) CN111160208B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184556A (zh) * 2020-10-28 2021-01-05 万申(北京)科技有限公司 一种基于口腔cbct重建点云的超分辨成像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
CN105719352A (zh) * 2016-01-26 2016-06-29 湖南拓视觉信息技术有限公司 人脸三维点云超分辨率融合方法及应用其的数据处理装置
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN106327571A (zh) * 2016-08-23 2017-01-11 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN109325994A (zh) * 2018-09-11 2019-02-12 合肥工业大学 一种基于三维人脸数据增强的方法
CN110060336A (zh) * 2019-04-24 2019-07-26 北京华捷艾米科技有限公司 三维人脸重建方法、装置、介质以及设备
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN105719352A (zh) * 2016-01-26 2016-06-29 湖南拓视觉信息技术有限公司 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN106327571A (zh) * 2016-08-23 2017-01-11 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN109325994A (zh) * 2018-09-11 2019-02-12 合肥工业大学 一种基于三维人脸数据增强的方法
CN110060336A (zh) * 2019-04-24 2019-07-26 北京华捷艾米科技有限公司 三维人脸重建方法、装置、介质以及设备
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨海清;王洋洋;: "基于多Kinect的三维人脸重建研究" *
谭红春;耿英保;杜炜;: "一种高效的人脸三维点云超分辨率融合方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184556A (zh) * 2020-10-28 2021-01-05 万申(北京)科技有限公司 一种基于口腔cbct重建点云的超分辨成像方法
CN112184556B (zh) * 2020-10-28 2021-10-29 万申(北京)科技有限公司 一种基于口腔cbct重建点云的超分辨成像方法

Also Published As

Publication number Publication date
CN111160208B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN107705333B (zh) 基于双目相机的空间定位方法及装置
JP4950787B2 (ja) 画像処理装置及びその方法
KR100653288B1 (ko) 비디오 화상으로부터의 얼굴 인식
CN110348330A (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
CN110766024B (zh) 基于深度学习的视觉里程计特征点提取方法及视觉里程计
JP2017016192A (ja) 立体物検知装置及び立体物認証装置
CN107622480B (zh) 一种Kinect深度图像增强方法
CN110096925A (zh) 人脸表情图像的增强方法、获取方法和装置
JP2009525543A (ja) 二次元画像からの三次元の顔の復元
CN103733226A (zh) 快速的有关节运动的跟踪
JP2005339288A (ja) 画像処理装置及びその方法
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN110120013A (zh) 一种点云拼接方法及装置
CN106683181A (zh) 一种三维人体稠密表面运动场重建方法
CN103268482A (zh) 一种低复杂度的手势提取和手势深度获取方法
CN109241822A (zh) 一种基于mtcnn的多方位人脸检测方法及系统
CN105654479A (zh) 多光谱图像配准方法和装置
CN113256789B (zh) 一种三维实时人体姿态重建方法
CN111160208B (zh) 基于多帧点云融合与可变模型的三维人脸超分辨率方法
CN118038547A (zh) 一种手势图像采集方法及装置
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法
Lefevre et al. Structure and appearance features for robust 3d facial actions tracking
Niese et al. A stereo and color-based method for face pose estimation and facial feature extraction
Nguyen et al. Non-planar infrared-visible registration for uncalibrated stereo pairs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211210

Address after: 712000 room 10201, building 4a, West Yungu phase II, Fengxi new town, Xixian new area, Xianyang City, Shaanxi Province

Applicant after: Shaanxi Xitu Digital Technology Co.,Ltd.

Address before: 471000 Room 201, building 1, Chuangzhi Plaza, No. 32, changxiamen street, Luolong District, Luoyang City, Henan Province

Applicant before: Henan Zhongyuan big data Research Institute Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240616

Address after: Room 10207, Building 4A, West Yungu Phase II, Fengxi New City, Xixian New District, Xianyang City, Shaanxi Province, 712000

Patentee after: Xi'an Xitu Zhiguang Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 712000 room 10201, building 4a, West Yungu phase II, Fengxi new town, Xixian new area, Xianyang City, Shaanxi Province

Patentee before: Shaanxi Xitu Digital Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right