CN108564041B - 一种基于rgbd相机的人脸检测和修复方法 - Google Patents

一种基于rgbd相机的人脸检测和修复方法 Download PDF

Info

Publication number
CN108564041B
CN108564041B CN201810342618.4A CN201810342618A CN108564041B CN 108564041 B CN108564041 B CN 108564041B CN 201810342618 A CN201810342618 A CN 201810342618A CN 108564041 B CN108564041 B CN 108564041B
Authority
CN
China
Prior art keywords
data
image
face
point cloud
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810342618.4A
Other languages
English (en)
Other versions
CN108564041A (zh
Inventor
程子翰
周曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuncong Technology Group Co Ltd
Original Assignee
Yuncong Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuncong Technology Group Co Ltd filed Critical Yuncong Technology Group Co Ltd
Priority to CN201810342618.4A priority Critical patent/CN108564041B/zh
Publication of CN108564041A publication Critical patent/CN108564041A/zh
Application granted granted Critical
Publication of CN108564041B publication Critical patent/CN108564041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于RGBD相机的人脸检测和修复方法，采用如下步骤，步骤1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；步骤2：在两个图像数据上分别进行人脸检测；步骤3：确定图像数据中的人脸特征向量；步骤4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果；因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系，所以深度图像人脸和红外图像人脸有相同的位置；通过对RGB相机图像和深度图像的联合处理,可以在采集RGBD数据的同时完成在两种数据上的人脸检测与匹配。这让基于RGBD的人脸图像处理领域的高层应用变得可能。

Description

一种基于RGBD相机的人脸检测和修复方法
技术领域
本发明涉及人脸识别领域，具体涉及一种基于RGBD相机的人脸检测和修复方法。
背景技术
人脸识别在安防领域发挥着重要作用,而在目前的人脸识别系统以及相关应用中,绝大部分使用的都是RGB图像数据,RGB图像数据有一些固有缺陷,作为二维数据,它在将三维信息投影到二维空间的过程中,丢失了深度信息,我们无法从二维图像中获取物体或者人脸的立体信息。高精度的三维重建方案能重建场景中不同物体的三维信息,但是高成本和低速率导致此类产品无法在目前的普通场景中得到大量应用。深度相机相对来说价格便宜,数据帧率高,可以实时反馈数据,它除了提供RGB图像之外还能提供红外图像和深度图像,其中深度图像提供场景中物体的立体信息。但是深度相机的缺点是精度稍低,而且利用算法产生的深度数据可能是不完整的。
在使用深度相机完成人脸识别以及相关应用的时候,我们不能只获取深度图像,因为深度图像虽然包含立体信息,但是它并不包含物体的纹理信息,而纹理信息是RGB图像提供的,所以我们需要同时采集包含人脸信息的RGB图像和深度图像。但是一般来说RGB图像和深度图像上的点并不是一一对应的,所以当我们想要把RGB图像上的人脸与深度图像上的人脸关联起来的时候就会出现找不到深度图像上的人脸的问题,或者当RGB图像上同时出现几张人脸的时候,我们就没有办法在深度图像上找到RGB图像上对应的人脸。而且深度图像上的人脸信息有可能因为无法正常反射激光导致数据缺失。以上的问题都给基于RGBD的人脸识别以及相关应用带来了困难。
发明内容
本发明针对现有技术的不足，提出一种基于RGBD相机的人脸检测和修复方法，具体技术方案如下：
一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，
步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；
步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；
步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；
步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；
步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；
步骤6：对拟合完成的3D人脸进行点云修复；
步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。
进一步地：
所述步骤6包括以下步骤，
步骤61：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤62，否则，进入步骤63；
步骤62：利用深度图像重建的点云数据作为该点的修复数据；
步骤63：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域上有数据，如果是，则进入步骤64，否则进入步骤65；
步骤64：则使用基于3DMM模型的点云数据结合基于深度图像重建的点云上该点领域内的所有点数据来估计修复数据；
步骤65：判断拟合后缺失的点云数据是否在基于3DMM模型的点云上是否有数据，如果是，则使用基于3DMM模型的点数据作为修复数据，否则跳过该点。
进一步地：
所述步骤1包括如下步骤：
所述步骤1包括如下步骤：
步骤1-1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；
步骤1-2：在两个图像数据上分别进行人脸检测,因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系；
步骤1-3：确定图像数据中的人脸特征向量；
步骤1-4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果。
本发明的有益效果为：本发明在目前国内外市场上的主流深度相机的基础上完成了基于RGBD图像的人脸检测与匹配系统,通过对RGB相机图像和深度图像的联合处理,可以在采集RGBD数据的同时完成在两种数据上的人脸检测与匹配。这让基于RGBD的人脸图像处理领域的高层应用变得可能,比如基于RGBD的活体检测,3D人脸识别,3D人脸重建等。同时基于RGBD的人脸修复可以让活体检测和3D人脸识别在原来的基础上提高准确度。
附图说明
图1为本发明的工作流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示：一种基于RGBD相机的人脸检测和修复方法，采用如下步骤，
步骤1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；
步骤2：在两个图像数据上分别进行人脸检测因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系；
步骤3：确定图像数据中的人脸特征向量；
步骤4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果；
步骤5：利用RGB图像人脸数据，基于3DMM技术，该3DMM技术为3D MorphableModel，建立3D人脸点云模型；
步骤6：使用深度图像数据重建人脸点云，该具体方式为该步骤只需要利用已经得到的深度图像人脸数据搭配摄像机内参，将深度图像数据转换为由现实坐标中的三维坐标(x，y，z)组成的点云，具体的转换方法如下，其中Zc是深度图像上点(u，v)的深度值，u0和v0是摄像机主点在图像上的坐标，f为摄像机焦距：
xw＝zc*(u-u0)*dx/f
yw＝zc*(v-v0)*dy/f
zw＝zc；
步骤7：将步骤5和步骤6得到的两个人脸点云进行拟合，该拟合方法具体为采用最近迭代点算法或者其改进算法，可以将两个点云经过不断的迭代，不断地缩小两个点云之间的距离，达到点云数据配准拟合的效果；
步骤8：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；
步骤9：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤10，否则，进入步骤11；
步骤10：利用深度图像重建的点云数据作为该点的修复数据
步骤11：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域点上有数据，如果是，则进入步骤12，否则进入步骤13；
步骤12：则使用基于3DMM模型的点云数据结合基于深度图像重建的点云上该点领域内的所有点数据来估计修复数据；
步骤13：判断拟合后缺失的点云数据是否在基于3DMM模型的点云上是否有数据，如果是，则使用基于3DMM模型的点数据作为修复数据，否则跳过该点；
步骤14：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。

Claims (2)

1.一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，
步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；
步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；
步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；
步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；
步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；
步骤6：对拟合完成的3D人脸进行点云修复；
所述步骤6包括以下步骤，
步骤61：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤62，否则，进入步骤63；
步骤62：利用深度图像重建的点云数据作为该点的修复数据；
步骤63：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域上有数据，如果是，则进入步骤64，否则进入步骤65；
步骤64：则使用基于3DMM模型的点云数据结合基于深度图像重建的点云上该点领域内的所有点数据来估计修复数据；
步骤65：判断拟合后缺失的点云数据是否在基于3DMM模型的点云上是否有数据，如果是，则使用基于3DMM模型的点数据作为修复数据，否则跳过该点；
步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。
2.根据权利要求1所述一种基于RGBD相机的人脸检测和修复方法，其特征在于：所述步骤1包括如下步骤：
步骤1-1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；
步骤1-2：在两个图像数据上分别进行人脸检测,因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系；
步骤1-3：确定图像数据中的人脸特征向量；
步骤1-4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果。
CN201810342618.4A 2018-04-17 2018-04-17 一种基于rgbd相机的人脸检测和修复方法 Active CN108564041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810342618.4A CN108564041B (zh) 2018-04-17 2018-04-17 一种基于rgbd相机的人脸检测和修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810342618.4A CN108564041B (zh) 2018-04-17 2018-04-17 一种基于rgbd相机的人脸检测和修复方法

Publications (2)

Publication Number Publication Date
CN108564041A CN108564041A (zh) 2018-09-21
CN108564041B true CN108564041B (zh) 2020-07-24

Family

ID=63535594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810342618.4A Active CN108564041B (zh) 2018-04-17 2018-04-17 一种基于rgbd相机的人脸检测和修复方法

Country Status (1)

Country Link
CN (1) CN108564041B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备
CN109614910B (zh) * 2018-12-04 2020-11-20 青岛小鸟看看科技有限公司 一种人脸识别方法和装置
CN109934112B (zh) * 2019-02-14 2021-07-13 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机
CN110059537A (zh) * 2019-02-27 2019-07-26 视缘(上海)智能科技有限公司 一种基于Kinect传感器的三维人脸数据获取方法及装置
CN109961062A (zh) * 2019-04-16 2019-07-02 北京迈格威科技有限公司 图像识别方法、装置、终端和可读存储介质
CN110348524B (zh) * 2019-07-15 2022-03-04 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
CN112711968A (zh) * 2019-10-24 2021-04-27 浙江舜宇智能光学技术有限公司 人脸活体检测方法及其系统
CN111126246B (zh) * 2019-12-20 2023-04-07 陕西西图数联科技有限公司 基于3d点云几何特征的人脸活体检测方法
CN111160278B (zh) * 2019-12-31 2023-04-07 陕西西图数联科技有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111582197A (zh) * 2020-05-07 2020-08-25 贵州省邮电规划设计院有限公司 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN111780673B (zh) * 2020-06-17 2022-05-31 杭州海康威视数字技术股份有限公司 一种测距方法、装置及设备
CN111784885B (zh) * 2020-06-17 2023-06-27 杭州海康威视数字技术股份有限公司 通行控制方法、装置、闸机设备及多闸机系统
CN114004880B (zh) * 2021-04-08 2023-04-25 四川大学华西医院 双目相机的点云和强反光目标实时定位方法
CN113392763B (zh) * 2021-06-15 2022-11-11 支付宝(杭州)信息技术有限公司 一种人脸识别方法、装置以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956582A (zh) * 2016-06-24 2016-09-21 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN106384106A (zh) * 2016-10-24 2017-02-08 杭州非白三维科技有限公司 一种基于三维扫描的反欺诈人脸识别系统
CN107169475A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种基于kinect相机的人脸三维点云优化处理方法
CN107194964A (zh) * 2017-05-24 2017-09-22 电子科技大学 一种基于实时人体三维重建的vr社交系统及其方法
CN107292921A (zh) * 2017-06-19 2017-10-24 电子科技大学 一种基于kinect相机的快速三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870902B1 (ko) * 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956582A (zh) * 2016-06-24 2016-09-21 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN106384106A (zh) * 2016-10-24 2017-02-08 杭州非白三维科技有限公司 一种基于三维扫描的反欺诈人脸识别系统
CN107194964A (zh) * 2017-05-24 2017-09-22 电子科技大学 一种基于实时人体三维重建的vr社交系统及其方法
CN107169475A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种基于kinect相机的人脸三维点云优化处理方法
CN107292921A (zh) * 2017-06-19 2017-10-24 电子科技大学 一种基于kinect相机的快速三维重建方法

Also Published As

Publication number Publication date
CN108564041A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
Fusiello et al. Efficient stereo with multiple windowing
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建系统
KR20180054487A (ko) Dvs 이벤트 처리 방법 및 장치
Muratov et al. 3DCapture: 3D Reconstruction for a Smartphone
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN111354077B (zh) 一种基于双目视觉的三维人脸重建方法
CN111524233A (zh) 一种静态场景动态目标的三维重建方法
CN110889868B (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
KR101896941B1 (ko) 스테레오 매칭 장치 및 그 방법
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
KR102327304B1 (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
CN110514140B (zh) 一种三维成像方法、装置、设备以及存储介质
TWI393070B (zh) 建立人臉模型的方法
Matias et al. Veigan: Vectorial inpainting generative adversarial network for depth maps object removal
CN113920270A (zh) 一种基于多视角全景的布局重建方法及其系统
CN115063524A (zh) 一种3d人脸识别的重建方法及装置
Liu et al. Binocular depth estimation using convolutional neural network with Siamese branches
Rzeszutek et al. Efficient automatic depth estimation for video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 511457 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306 (only for office use)

Applicant after: Yuncong Technology Group Co., Ltd

Address before: 518000 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306

Applicant before: GUANGZHOU YUNCONG INFORMATION TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant