CN108510583A - 人脸图像的生成方法和人脸图像的生成装置 - Google Patents
人脸图像的生成方法和人脸图像的生成装置 Download PDFInfo
- Publication number
- CN108510583A CN108510583A CN201810293754.9A CN201810293754A CN108510583A CN 108510583 A CN108510583 A CN 108510583A CN 201810293754 A CN201810293754 A CN 201810293754A CN 108510583 A CN108510583 A CN 108510583A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- pca
- parameters
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000001815 facial effect Effects 0.000 title claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 239000000463 material Substances 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 26
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000000513 principal component analysis Methods 0.000 claims description 100
- 238000005070 sampling Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 27
- 238000005286 illumination Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000004040 coloring Methods 0.000 abstract 2
- 238000012549 training Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人脸图像的生成方法和装置，方法包括：获取真实人脸的RGB三通道彩色图像，并根据其生成人脸位置矩形框和面部特征点坐标；根据两者获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到RGB三通道彩色图像的仿射变换矩阵，以重建人脸三维模型；根据RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息；基于颜色信息、PCA相貌参数、PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；根据预先采集的标记有人脸位置的一般场景图片和四通道RGBA人脸图像，生成人脸图像。可以将现有的彩色图像转化为近红外图像，降低了近红外图像采集成本。
Description
技术领域
本发明涉及人脸检测和人脸识别技术领域，特别涉及一种人脸图像的生成方法和一种人脸图像的生成装置。
背景技术
人脸检测和人脸识别是计算机视觉领域备受关注的课题，随着深度学习算法的日益进步，基于深度神经网络的人脸检测和识别算法的性能和效果远优于传统方法。但由于人脸图像信息维度高，训练深度神经网络需要较大数量的图片样本，很多情形下需要有标记的图片样本，从真实世界采集样本和进行标记往往需要很大的人力物力投入，尤其是在近红外图像这一类别里，所能获得的公开样本非常有限。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种人脸图像的生成方法和一种人脸图像的生成装置。
为了实现上述目的，本发明的第一方面，提供了一种人脸图像的生成方法，包括：
步骤S110、获取真实人脸的RGB三通道彩色图像，并根据所述RGB三通道彩色图像生成人脸位置矩形框和面部特征点坐标；
步骤S120、根据所述人脸位置矩形框和面部特征点坐标，获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵，并根据所述PCA相貌参数、所述PCA表情参数以及所述仿射变换矩阵重建人脸三维模型；
步骤S130、根据所述RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息，所述颜色信息包括RGB色值和透明度；
步骤S140、基于所述人脸三维点阵各采样点的颜色信息、PCA相貌参数、PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；
步骤S150、根据预先采集的标记有人脸位置的一般场景图片和所述四通道RGBA人脸图像，生成人脸图像。
可选地，所述步骤S120包括：
计算投影矩阵；
计算PCA相貌参数；
计算PCA表情参数；
根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，迭代完成重建人脸三维模型。
可选地，所述计算投影矩阵的方法包括：
基于三维点阵向量和特征点坐标向量，利用最小二乘法得到仿射变换和平移，所述仿射变换和所述平移构成所述投影矩阵；其中，
面部特征点基于水平坐标和竖直坐标交替的方式排列形成所述特征点坐标向量；
三维点阵基于空间坐标交替的方式排列形成所述三维点阵向量。
可选地，所述计算PCA相貌参数的步骤包括：
固定投影矩阵和PCA表情参数，并采用最小二乘法显式求解；并且，
在求解的过程中，控制预设的三个约束目标，所述预设的三个约束目标包括：
缩小三维点阵向量投影到二维之后和特征点坐标向量之间的距离；
控制PCA相貌参数绝对值的大小；
控制三维点阵中一些预定的特定点到另外一些预定的特定点之间的距离。
可选地，所述计算PCA表情参数的步骤包括：
固定投影矩阵和PCA相貌参数，并采用最小二乘法显式求解；并且，
在求解的过程中，控制预设的三个约束目标，所述预设的三个约束目标包括：
缩小三维点阵向量投影到二维之后和特征点坐标向量之间的距离；
控制PCA表情参数绝对值的大小；
控制三维点阵中一些预定的特定点到另外一些预定的特定点之间的距离。
可选地，所述根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，迭代完成重建人脸三维模型的步骤包括：
根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，更新点阵参数，并将更新后的点阵参数作为下次迭代参数求解的初始值；
根据所述下次迭代参数求解的初始值进行迭代计算，并当迭代次数达到预设值或者投影矩阵目标函数小于预定阈值时，迭代终止并完成重建人脸三维模型。
可选地，所述步骤S130包括：
对三维点阵中的每一个三维点，将其通过投影矩阵映射为二维图像坐标点；
基于差值的方式从对应的二维人脸RGB图像中该二维坐标点相邻的四个点的RGB色值中获得该二维坐标点位置的色值和透明度；其中，透明度反比于对应位置人脸表面和水平面的夹角。
可选地，所述步骤S140包括：
采用预定的红外光照模型，照射所述人脸三维模型；其中，所述红外光照模型为漫反射、镜面反射和环境光的线性组合，并且，所述红外光照模型配置有衰减模型，以模拟近距离光照产生的阴影效果；
所述红外光照模型中的光源包含点光源和平行光源；其中，所述点光源由OpenGL中的预设光源模型产生；所述平行光源由OpenGL中的预设的顶点着色器产生，所述顶点着色器能够将光线材质以平行光的方式投射到所述人脸三维模型上的各采样点处；
根据各采样点上的光线、各采样点的颜色信息、PCA相貌参数、PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；其中，
所述人脸角度信息由欧拉角表示，其为随机生成的角度，根据该角度计算OpenGL中人脸在世界坐标系下的坐标变换；人脸角度信息作为输出结果之一；
所述人脸定位点坐标由三维点阵上对应位置的三维坐标点经过投影变换获得；
所述三维点阵可以用相应地3DMM模型中的基本点阵在PCA系统下的线性组合经过所述人脸角度信息投影变换来获得；
所述光线材质通过下述步骤获得：
选取预定面积大小的白色墙面；
红外摄像机镜头平行于所述白色墙面架设；
选取距离所述白色墙面为20cm-120cm处，利用所述红外摄像机镜头拍摄多张红外图像；
将多张红外图像转化成灰度图，并记录拍摄时所述红外摄像机镜头与所述白色墙面的距离。
可选地，所述步骤S150包括：
灰度化所述标记有人脸位置的一般场景图片，并且，在有人脸的位置处执行高斯模糊，以获得背景图片；
对所述背景图片进行随机缩放和/或剪裁和/或旋转；
将所述光线材质通过带阈值的线性组合方式融合到所述背景图片中；
将所述四通道RGBA人脸图像随机贴在渲染好的所述背景图片上，生成人脸图像。
本发明的第二方面，提供了一种人脸图像的生成装置，包括：
人脸特征点检测模块，用于获取真实人脸的RGB三通道彩色图像，并根据所述RGB三通道彩色图像生成人脸位置矩形框和面部特征点坐标；
人脸三维重建模块，用于根据所述人脸位置矩形框和面部特征点坐标，获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵，并根据所述PCA相貌参数、所述PCA表情参数以及所述仿射变换矩阵重建人脸三维模型；
人脸材质生成模块，用于根据所述RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息，所述颜色信息包括RGB色值和透明度；
人脸渲染模块，用于基于所述人脸三维点阵各采样点的颜色信息、所述PCA相貌参数、所述PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；
背景渲染模块，用于根据预先采集的标记有人脸位置的一般场景图片和所述四通道RGBA人脸图像，生成人脸图像。
本发明的人脸图像的生成方法，可以快速获取近红外图像样本并生成准确标记的方法，该方法可以将现有的彩色图像转化为近红外图像，降低了近红外图像采集成本。此外，本发明中的人脸图像的生成方法，在根据各采样点颜色信息和光线材质等生成四通道RGBA人脸图像时，可以通过红外光线模拟和红外光照贴图，制造出了近似红外效果的图像。并通过颜色信息提取，成功将彩色人脸图像信息引入到红外图中。最后，由于采用了三维重建的方式，所以可以准确的获得生成的人脸图片的定位点和角度信息。同一张彩色人脸，经过不同的红外光照和贴图参数，表情参数微调，以及角度参数改变，可以生成丰富的样本。本方法对人脸原始数据和背景图片数据要求并不严格，可以方便快捷的生成大量模拟红外人脸图像，扩充红外人脸训练集。
本发明的人脸图像的生成装置，可以快速获取近红外图像样本并生成准确标记的方法，该装置可以将现有的彩色图像转化为近红外图像，降低了近红外图像采集成本。此外，本发明的人脸图像的生成装置，在根据采样点颜色信息和光线材质等生成四通道RGBA人脸图像时，可以通过红外光线模拟和红外光照贴图，制造出了近似红外效果的图像。并通过采样点颜色信息的提取，成功将彩色人脸图像信息引入到红外图中。最后，由于采用了三维重建的方式，所以可以准确的获得生成的人脸图片的定位点和角度信息。同一张彩色人脸，经过不同的红外光照和贴图参数，表情参数微调，以及角度参数改变，可以生成丰富的样本。本装置对人脸原始数据和背景图片数据要求并不严格，可以方便快捷的生成大量模拟红外人脸图像，扩充红外人脸训练集。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明第一实施例中人脸图像的生成方法的流程图；
图2为本发明第二实施例中人脸图像的生成装置的结构示意图。
附图标记说明
100：人脸图像的生成装置；
110：人脸特征点检测模块；
120：人脸三维重建模块；
130：人脸材质生成模块；
140：人脸渲染模块；
150：背景渲染模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
名词解释：
OpenGL(Open Graphics Library)一个专业的计算机图形程序接口。
PCA(Principal Component Analysis)主成分分析法，一种高维数据降维方法。
3DMM(3-Dimentional Morphable Model)一类基于统计模型的三维可延拓人脸模型。
NIR(Near Infra-red)近红外图像。
OpenCV(Open Computer Vision Library)一个计算机视觉开源工具库。
如图1所示，本发明的第一方面，涉及一种人脸图像的生成方法S100，包括：
S110、获取真实人脸的RGB三通道彩色图像，并根据所述RGB三通道彩色图像生成人脸位置矩形框和面部特征点坐标。
具体地，在本步骤中，可以从现有数据集中，获取真实人脸的RGB三通道彩色图像。本步骤中，人脸位置矩形框，一般包括左上角坐标和矩形框的宽高等尺寸信息，面部特征点坐标一般包括68个。人脸位置矩形框和面部特征点坐标的单位均为像素，人脸检测和特征点的提取目前均采用Dlib(一个计算机视觉开源库)中所提供之方法，在此不再赘述。
S120、根据所述人脸位置矩形框和面部特征点坐标，获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵，并根据所述PCA相貌参数、PCA表情参数以及所述仿射变换矩阵重建人脸三维模型。
具体地，可以根据步骤S110中所获取的人脸位置矩形框和68个面部特征点坐标，获得3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵。人脸三维点阵可以用相应地3DMM模型中的基本点阵的在PCA系统下的线性组合来表示。
步骤S130、根据所述RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息，所述颜色信息包括RGB色值和透明度。
步骤S140、基于所述人脸三维点阵各采样点的颜色信息、所述PCA相貌参数、所述PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标。
步骤S150、根据预先采集的标记有人脸位置的一般场景图片和所述四通道RGBA人脸图像，生成人脸图像。
本实施例中的人脸图像的生成方法S100，可以快速获取近红外图像样本并生成准确标记的方法，该方法可以将现有的彩色图像转化为近红外图像，降低了近红外图像采集成本。此外，本实施例中的人脸图像的生成方法S100，在根据各采样点的颜色信息和光线材质等生成四通道RGBA人脸图像时，可以通过红外光线模拟和红外光照贴图，制造出了近似红外效果的图像。并通过人脸各采样点的颜色信息的提取，成功将彩色人脸图像信息引入到红外图中。最后，由于采用了三维重建的方式，所以可以准确的获得生成的人脸图片的定位点和角度信息。同一张彩色人脸，经过不同的红外光照和贴图参数，表情参数微调，以及角度参数改变，可以生成丰富的样本。本方法对人脸原始数据和背景图片数据要求并不严格，可以方便快捷的生成大量模拟红外人脸图像，扩充红外人脸训练集。
可选地，所述步骤S120包括：
计算投影矩阵；
计算PCA相貌参数；
计算PCA表情参数；
根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，迭代完成重建人脸三维模型。
具体地，所述计算投影矩阵的方法包括：
基于三维点阵向量和特征点坐标向量，利用最小二乘法得到仿射变换和平移，所述仿射变换和所述平移构成所述投影矩阵；其中，
面部特征点基于水平坐标和竖直坐标交替的方式排列形成所述特征点坐标向量。
三维点阵基于空间坐标交替的方式排列形成所述三维点阵向量，该三维点阵向量可以表示为PCA基向量的线性组合，这里PCA基向量是由3DMM模型基本点阵按照空间坐标交替排列生成的。
需要说明的是，3DMM模型中基本点阵由两部分组成：相貌点阵和表情点阵。在计算PCA相貌参数时，需要固定投影矩阵和下述的PCA表情参数。反之，当需要计算PCA表情参数时，需要固定投影矩阵和相貌点阵。
具体地，所述计算PCA相貌参数的步骤包括：
固定投影矩阵和PCA表情参数，并采用最小二乘法显式求解；并且，
在求解的过程中，控制预设的三个约束目标，所述预设的三个约束目标包括：
缩小三维点阵向量投影到二维之后和特征点坐标向量之间的距离；
控制PCA相貌参数绝对值的大小；
控制三维点阵中一些预定的特定点到另外一些预定的特定点之间的距离，也即采用相貌约束，这样，可以让算法在求解过程中生成符合我们期望的脸型的解，比如中国人的脸。
具体地，所述计算PCA表情参数的步骤包括：
固定投影矩阵和PCA相貌参数，并采用最小二乘法显式求解；并且，
在求解的过程中，控制预设的三个约束目标，所述预设的三个约束目标包括：
缩小三维点阵向量投影到二维之后和特征点坐标向量之间的距离；
控制PCA表情参数绝对值的大小；
控制三维点阵中一些预定的特定点到另外一些预定的特定点之间的距离。
需要说明的是，计算表情点阵和计算相貌点阵的三个约束目标的权重可以不同。
具体地，所述根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，迭代完成重建人脸三维模型的步骤包括：
根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，更新点阵参数，并将更新后的点阵参数作为下次迭代参数求解的初始值；
根据所述下次迭代参数求解的初始值进行迭代计算，并当迭代次数达到预设值或者投影矩阵目标函数小于预定阈值时，迭代终止并完成重建人脸三维模型。
具体地，所述步骤S130包括：
对三维点阵中的每一个三维点，将其通过投影矩阵映射为二维图像坐标点；
基于差值的方式从对应的二维人脸RGB图像中该二维坐标点相邻的四个点的RGB色值中获得该二维坐标点位置的色值和透明度；其中，透明度反比于对应位置人脸表面和水平面的夹角。
具体地，所述步骤S140包括：
采用预定的红外光照模型，照射所述人脸三维模型；其中，所述红外光照模型为漫反射、镜面反射和环境光的线性组合，并且，所述红外光照模型配置有衰减模型，以模拟近距离红外光照产生的阴影效果；
红外光照模型的光源包含点光源和平行光源；其中，所述点光源由OpenGL中的预设的光源模型产生；所述平行光源由OpenGL中的预设的顶点着色器产生，所述顶点着色器能够将光线材质以平行光的方式投射到三维人脸模型的各采样点(例如，顶点)上。此外，由于光照为红外光照模型，对不同物体有着不同的反射度，可以通过对光源RGB比例进行调整，来模拟反射度不同带来的影响。
根据各采样点上的光线、各采样点的颜色信息、PCA相貌参数、PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标。
所输出的四通道RGBA人脸图像为带透明度的灰度图像，图像中人脸部分透明度为255，非人脸部分透明度为0，人脸边缘对透明度进行插值。
所述人脸角度信息由欧拉角表示，其为随机生成的角度，根据该角度计算OpenGL中人脸在世界坐标系下的坐标变换；人脸角度信息作为输出结果之一；
所述人脸定位点坐标由三维点阵上对应位置的三维坐标点经过投影变换获得；
所述三维点阵可以用相应地3DMM模型中的基本点阵在PCA系统下的线性组合经过所述人脸角度信息坐标变换来获得；
所述光线材质通过下述步骤获得：
选取预定面积大小的白色墙面；
红外摄像机镜头平行于所述白色墙面架设；
选取距离所述白色墙面为20cm-120cm处，利用所述红外摄像机镜头拍摄多张红外图像；
将多张红外图像转化成灰度图，并记录拍摄时所述红外摄像机镜头与所述白色墙面的距离。
对于任意距离，可通过如下带有透视关系的差值方式获得：
假设距离为零是得到的图片是纯白图片，距离为无穷远时得到的图片是纯黑图片。对任意指定的距离，可以找到两个相邻的拍摄距离使得指定的距离落在该相邻拍摄距离之间。将这这两个拍摄距离下的图片按照正比于拍摄距离的方式缩放到指定距离的大小，然后对这两张缩放后的图片进行加权平均便得到所指定距离下的光纤材质图片。
具体地，所述步骤S150包括：
灰度化所述标记有人脸位置的一般场景图片，并且，在有人脸的位置处执行高斯模糊，以获得背景图片；
对所述背景图片进行随机缩放和/或剪裁和/或旋转；
将所述光线材质通过带阈值的线性组合方式融合到所述背景图片中，其中原背景图片灰度值大于所述阈值的像素点在融合时背景颜色的比例会比较小，这将模拟红外图像中的高光效果。
将所述四通道RGBA人脸图像随机贴在渲染好的所述背景图片上，生成人脸图像。
本实施例中的人脸图像的生成方法，通过红外光线模拟和红外光照贴图，制造出了近似红外效果的图像。并通过各采样点的颜色信息的提取，成功将彩色人脸图像信息引入到红外图中。此外由于采用了三维重建的方式，所以可以准确的获得生成的人脸图片的定位点和角度信息。同一张彩色人脸，经过不同的红外光照和贴图参数，表情参数微调，以及角度参数改变，可以生成丰富的样本。本方法对人脸原始数据和背景图片数据要求并不严格，可以方便快捷的生成大量模拟红外人脸图像，扩充红外人脸训练集。
本发明的第二方面，如图2所示，提供了一种人脸图像的生成装置100，包括：
人脸特征点检测模块110，用于获取真实人脸的RGB三通道彩色图像，并根据所述RGB三通道彩色图像生成人脸位置矩形框和面部特征点坐标；
人脸三维重建模块120，用于根据所述人脸位置矩形框和面部特征点坐标，获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵，并根据所述PCA相貌参数、所述PCA表情参数以及所述仿射变换矩阵重建人脸三维模型；
人脸材质生成模块130，用于根据所述RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息，所述颜色信息包括RGB色值和透明度；
人脸渲染模块140，用于基于所述人脸三维点阵各采样点的颜色信息、所述PCA相貌参数、所述PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；
背景渲染模块150，用于根据预先采集的标记有人脸位置的一般场景图片和所述四通道RGBA人脸图像，生成人脸图像。
本实施例中的人脸图像的生成装置100，可以快速获取近红外图像样本并生成准确标记的方法，该装置可以将现有的彩色图像转化为近红外图像，降低了近红外图像采集成本。此外，本实施例中的人脸图像的生成装置100，在根据采样点的颜色信息和光线材质等生成四通道RGBA人脸图像时，可以通过红外光线模拟和红外光照贴图，制造出了近似红外效果的图像。并通过各采样点颜色信息的提取，成功将彩色人脸图像信息引入到红外图中。最后，由于采用了三维重建的方式，所以可以准确的获得生成的人脸图片的定位点和角度信息。同一张彩色人脸，经过不同的红外光照和贴图参数，表情参数微调，以及角度参数改变，可以生成丰富的样本。本装置对人脸原始数据和背景图片数据要求并不严格，可以方便快捷的生成大量模拟红外人脸图像，扩充红外人脸训练集。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种人脸图像的生成方法，其特征在于，包括：
步骤S110、获取真实人脸的RGB三通道彩色图像，并根据所述RGB三通道彩色图像生成人脸位置矩形框和面部特征点坐标；
步骤S120、根据所述人脸位置矩形框和面部特征点坐标，获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵，并根据所述PCA相貌参数、所述PCA表情参数以及所述仿射变换矩阵重建人脸三维模型；
步骤S130、根据所述RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息，所述颜色信息包括RGB色值和透明度；
步骤S140、基于所述人脸三维点阵各采样点的颜色信息、所述PCA相貌参数、所述PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；
步骤S150、根据预先采集的标记有人脸位置的一般场景图片和所述四通道RGBA人脸图像，生成人脸图像。
2.根据权利要求1所述的人脸图像的生成方法，其特征在于，所述步骤S120包括：
计算投影矩阵；
计算PCA相貌参数；
计算PCA表情参数；
根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，迭代完成重建人脸三维模型。
3.根据权利要求2所述的人脸图像的生成方法，其特征在于，所述计算投影矩阵的方法包括：
基于三维点阵向量和特征点坐标向量，利用最小二乘法得到仿射变换和平移，所述仿射变换和所述平移构成所述投影矩阵；其中，
面部特征点基于水平坐标和竖直坐标交替的方式排列形成所述特征点坐标向量；
三维点阵基于空间坐标交替的方式排列形成所述三维点阵向量。
4.根据权利要求2所述的人脸图像的生成方法，其特征在于，所述计算PCA相貌参数的步骤包括：
固定投影矩阵和PCA表情参数，并采用最小二乘法显式求解；并且，
在求解的过程中，控制预设的三个约束目标，所述预设的三个约束目标包括：
缩小三维点阵向量投影到二维之后和特征点坐标向量之间的距离；
控制PCA相貌参数绝对值的大小；
控制三维点阵中一些预定的特定点到另外一些预定的特定点之间的距离。
5.根据权利要求2所述的人脸图像的生成方法，其特征在于，所述计算PCA表情参数的步骤包括：
固定投影矩阵和PCA相貌参数，并采用最小二乘法显式求解；并且，
在求解的过程中，控制预设的三个约束目标，所述预设的三个约束目标包括：
缩小三维点阵向量投影到二维之后和特征点坐标向量之间的距离；
控制PCA表情参数绝对值的大小；
控制三维点阵中一些预定的特定点到另外一些预定的特定点之间的距离。
6.根据权利要求2所述的人脸图像的生成方法，其特征在于，所述根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，迭代完成重建人脸三维模型的步骤包括：
根据所述投影矩阵、所述PCA相貌参数和所述PCA表情参数，更新点阵参数，并将更新后的点阵参数作为下次迭代参数求解的初始值；
根据所述下次迭代参数求解的初始值进行迭代计算，并当迭代次数达到预设值或者投影矩阵目标函数小于预定阈值时，迭代终止并完成重建人脸三维模型。
7.根据权利要求1至6中任意一项所述的人脸图像的生成方法，其特征在于，所述步骤S130包括：
对三维点阵中的每一个三维点，将其通过投影矩阵映射为二维图像坐标点；
基于差值的方式从对应的二维人脸RGB图像中该二维坐标点相邻的四个点的RGB色值中获得该二维坐标点位置的色值和透明度；其中，透明度反比于对应位置人脸表面和水平面的夹角。
8.根据权利要求1至6中任意一项所述的人脸图像的生成方法，其特征在于，所述步骤S140包括：
采用预定的红外光照模型，照射所述人脸三维模型；其中，所述红外光照模型为漫反射、镜面反射和环境光的线性组合，并且，所述红外光照模型配置有衰减模型，以模拟近距离红外光照产生的阴影效果；
所述红外光照模型中的光源包含点光源和平行光源；其中，所述点光源由OpenGL中的预设光源模型产生；所述平行光源由OpenGL中的预设的顶点着色器产生，所述顶点着色器能够将光线材质以平行光的方式投射到所述人脸三维模型上的各采样点处。
根据各采样点上的光线、各采样点的颜色信息、PCA相貌参数、PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；其中，
所述人脸角度信息由欧拉角表示，其为随机生成的角度，根据该角度计算OpenGL中人脸在世界坐标系下的坐标变换；人脸角度信息作为输出结果之一；
所述人脸定位点坐标由三维点阵上对应位置的三维坐标点经过投影变换获得；
所述三维点阵可以用相应地3DMM模型中的基本点阵在PCA系统下的线性组合经过所述人脸角度信息投影变换来获得；
所述光线材质通过下述步骤获得：
选取预定面积大小的白色墙面；
红外摄像机镜头平行于所述白色墙面架设；
选取距离所述白色墙面为20cm-120cm处，利用所述红外摄像机镜头拍摄多张红外图像；
将多张红外图像转化成灰度图，并记录拍摄时所述红外摄像机镜头与所述白色墙面的距离。
9.根据权利要求1至6中任意一项所述的人脸图像的生成方法，其特征在于，所述步骤S150包括：
灰度化所述标记有人脸位置的一般场景图片，并且，在有人脸的位置处执行高斯模糊，以获得背景图片；
对所述背景图片进行随机缩放和/或剪裁和/或旋转；
将所述光线材质通过带阈值的线性组合方式融合到所述背景图片中；
将所述四通道RGBA人脸图像随机贴在渲染好的所述背景图片上，生成人脸图像。
10.一种人脸图像的生成装置，其特征在于，包括：
人脸特征点检测模块，用于获取真实人脸的RGB三通道彩色图像，并根据所述RGB三通道彩色图像生成人脸位置矩形框和面部特征点坐标；
人脸三维重建模块，用于根据所述人脸位置矩形框和面部特征点坐标，获取3DMM人脸模型的PCA相貌参数、PCA表情参数以及三维人脸投影到所述RGB三通道彩色图像的仿射变换矩阵，并根据所述PCA相貌参数、所述PCA表情参数以及所述仿射变换矩阵重建人脸三维模型；
人脸材质生成模块，用于根据所述RGB三通道彩色图像和重建的人脸三维模型，生成三维重建所得人脸三维点阵中各采样点对应的颜色信息，所述颜色信息包括RGB色值和透明度；
人脸渲染模块，用于基于所述人脸三维点阵各采样点的颜色信息、所述PCA相貌参数、所述PCA表情参数、光线材质和人脸角度信息，生成四通道RGBA人脸图像和人脸定位点坐标；
背景渲染模块，用于根据预先采集的标记有人脸位置的一般场景图片和所述四通道RGBA人脸图像，生成人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810293754.9A CN108510583B (zh) | 2018-04-03 | 2018-04-03 | 人脸图像的生成方法和人脸图像的生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810293754.9A CN108510583B (zh) | 2018-04-03 | 2018-04-03 | 人脸图像的生成方法和人脸图像的生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108510583A true CN108510583A (zh) | 2018-09-07 |
| CN108510583B CN108510583B (zh) | 2019-10-11 |
Family
ID=63380361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810293754.9A Active CN108510583B (zh) | 2018-04-03 | 2018-04-03 | 人脸图像的生成方法和人脸图像的生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108510583B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325994A (zh) * | 2018-09-11 | 2019-02-12 | 合肥工业大学 | 一种基于三维人脸数据增强的方法 |
| CN109376593A (zh) * | 2018-09-10 | 2019-02-22 | 杭州格像科技有限公司 | 人脸特征点定位方法及系统 |
| CN109508702A (zh) * | 2018-12-29 | 2019-03-22 | 安徽云森物联网科技有限公司 | 一种基于单一图像采集设备的三维人脸活体检测方法 |
| CN109615688A (zh) * | 2018-10-23 | 2019-04-12 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| CN109829434A (zh) * | 2019-01-31 | 2019-05-31 | 杭州创匠信息科技有限公司 | 基于活体纹理的防伪方法和装置 |
| CN109886195A (zh) * | 2019-02-21 | 2019-06-14 | 江苏苏宁银行股份有限公司 | 基于深度相机近红外单色灰度图的皮肤识别方法 |
| CN110400369A (zh) * | 2019-06-21 | 2019-11-01 | 苏州狗尾草智能科技有限公司 | 一种人脸重建的方法、系统平台及存储介质 |
| CN110415333A (zh) * | 2019-06-21 | 2019-11-05 | 上海瓦歌智能科技有限公司 | 一种重构人脸模型的方法、系统平台及存储介质 |
| CN110533760A (zh) * | 2019-08-01 | 2019-12-03 | 北京达佳互联信息技术有限公司 | 环境光信息确定方法、装置、电子设备和存储介质 |
| CN110555815A (zh) * | 2019-08-30 | 2019-12-10 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110705432A (zh) * | 2019-09-26 | 2020-01-17 | 长安大学 | 一种基于彩色和深度摄像头的行人检测装置及方法 |
| CN110889892A (zh) * | 2018-09-11 | 2020-03-17 | 财团法人资讯工业策进会 | 影像处理方法与影像处理装置 |
| CN111047678A (zh) * | 2018-10-12 | 2020-04-21 | 杭州海康威视数字技术股份有限公司 | 一种三维人脸采集装置和方法 |
| CN111445582A (zh) * | 2019-01-16 | 2020-07-24 | 南京大学 | 一种基于光照先验的单张图像人脸三维重建方法 |
| CN112002014A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
| CN112507766A (zh) * | 2019-09-16 | 2021-03-16 | 珠海格力电器股份有限公司 | 人脸图像提取方法、存储介质及终端设备 |
| CN112740264A (zh) * | 2018-09-28 | 2021-04-30 | 大众汽车股份公司 | 用于处理红外图像的设计 |
| CN112954205A (zh) * | 2021-02-04 | 2021-06-11 | 重庆第二师范学院 | 一种应用于行人再识别系统的图像采集装置 |
| CN116778076A (zh) * | 2022-03-11 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 一种人脸样本构建方法和相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000686A (zh) * | 2007-01-15 | 2007-07-18 | 浙江大学 | 一种基于主成分分析的颜色调整方法 |
| CN101510317A (zh) * | 2009-03-17 | 2009-08-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸生成方法及装置 |
| CN102214299A (zh) * | 2011-06-21 | 2011-10-12 | 电子科技大学 | 一种基于改进的asm算法的人脸特征定位方法 |
| CN103824059A (zh) * | 2014-02-28 | 2014-05-28 | 东南大学 | 一种基于视频图像序列的人脸表情识别方法 |
| CN104574432A (zh) * | 2015-02-15 | 2015-04-29 | 四川川大智胜软件股份有限公司 | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 |
| CN104851123A (zh) * | 2014-02-13 | 2015-08-19 | 北京师范大学 | 一种三维人脸变化模拟方法 |
| CN106157372A (zh) * | 2016-07-25 | 2016-11-23 | 深圳市唯特视科技有限公司 | 一种基于视频图像的3d人脸网格重构方法 |
| CN107045631A (zh) * | 2017-05-25 | 2017-08-15 | 北京华捷艾米科技有限公司 | 人脸特征点检测方法、装置及设备 |
| CN107423712A (zh) * | 2017-07-28 | 2017-12-01 | 南京华捷艾米软件科技有限公司 | 一种3d人脸识别方法 |
-
2018
- 2018-04-03 CN CN201810293754.9A patent/CN108510583B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000686A (zh) * | 2007-01-15 | 2007-07-18 | 浙江大学 | 一种基于主成分分析的颜色调整方法 |
| CN101510317A (zh) * | 2009-03-17 | 2009-08-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸生成方法及装置 |
| CN102214299A (zh) * | 2011-06-21 | 2011-10-12 | 电子科技大学 | 一种基于改进的asm算法的人脸特征定位方法 |
| CN104851123A (zh) * | 2014-02-13 | 2015-08-19 | 北京师范大学 | 一种三维人脸变化模拟方法 |
| CN103824059A (zh) * | 2014-02-28 | 2014-05-28 | 东南大学 | 一种基于视频图像序列的人脸表情识别方法 |
| CN104574432A (zh) * | 2015-02-15 | 2015-04-29 | 四川川大智胜软件股份有限公司 | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 |
| CN106157372A (zh) * | 2016-07-25 | 2016-11-23 | 深圳市唯特视科技有限公司 | 一种基于视频图像的3d人脸网格重构方法 |
| CN107045631A (zh) * | 2017-05-25 | 2017-08-15 | 北京华捷艾米科技有限公司 | 人脸特征点检测方法、装置及设备 |
| CN107423712A (zh) * | 2017-07-28 | 2017-12-01 | 南京华捷艾米软件科技有限公司 | 一种3d人脸识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| FENG LIU等: "On 3D face reconstruction via cascaded regression in shape space", 《FRONT INFORM TECHNOL ELECTRON ENG》 * |
| 帅霞等: "基于 3DMM 的视频流立体人脸识别算法研究", 《仪表技术》 * |
| 朱新山等: "基于单个深度相机的带纹理人脸实时重建算法", 《传感器与微系统》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376593A (zh) * | 2018-09-10 | 2019-02-22 | 杭州格像科技有限公司 | 人脸特征点定位方法及系统 |
| CN109376593B (zh) * | 2018-09-10 | 2020-12-29 | 杭州格像科技有限公司 | 人脸特征点定位方法及系统 |
| TWI699731B (zh) * | 2018-09-11 | 2020-07-21 | 財團法人資訊工業策進會 | 影像處理方法與影像處理裝置 |
| CN110889892A (zh) * | 2018-09-11 | 2020-03-17 | 财团法人资讯工业策进会 | 影像处理方法与影像处理装置 |
| CN110889892B (zh) * | 2018-09-11 | 2023-06-13 | 财团法人资讯工业策进会 | 影像处理方法与影像处理装置 |
| CN109325994B (zh) * | 2018-09-11 | 2023-03-24 | 合肥工业大学 | 一种基于三维人脸数据增强的方法 |
| CN109325994A (zh) * | 2018-09-11 | 2019-02-12 | 合肥工业大学 | 一种基于三维人脸数据增强的方法 |
| CN112740264A (zh) * | 2018-09-28 | 2021-04-30 | 大众汽车股份公司 | 用于处理红外图像的设计 |
| CN111047678A (zh) * | 2018-10-12 | 2020-04-21 | 杭州海康威视数字技术股份有限公司 | 一种三维人脸采集装置和方法 |
| CN111047678B (zh) * | 2018-10-12 | 2024-01-23 | 杭州海康威视数字技术股份有限公司 | 一种三维人脸采集装置和方法 |
| CN109615688A (zh) * | 2018-10-23 | 2019-04-12 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| CN109615688B (zh) * | 2018-10-23 | 2023-06-23 | 杭州小影创新科技股份有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| CN109508702A (zh) * | 2018-12-29 | 2019-03-22 | 安徽云森物联网科技有限公司 | 一种基于单一图像采集设备的三维人脸活体检测方法 |
| CN111445582A (zh) * | 2019-01-16 | 2020-07-24 | 南京大学 | 一种基于光照先验的单张图像人脸三维重建方法 |
| CN109829434A (zh) * | 2019-01-31 | 2019-05-31 | 杭州创匠信息科技有限公司 | 基于活体纹理的防伪方法和装置 |
| CN109886195B (zh) * | 2019-02-21 | 2022-07-22 | 江苏苏宁银行股份有限公司 | 基于深度相机近红外单色灰度图的皮肤识别方法 |
| CN109886195A (zh) * | 2019-02-21 | 2019-06-14 | 江苏苏宁银行股份有限公司 | 基于深度相机近红外单色灰度图的皮肤识别方法 |
| CN110415333A (zh) * | 2019-06-21 | 2019-11-05 | 上海瓦歌智能科技有限公司 | 一种重构人脸模型的方法、系统平台及存储介质 |
| CN110400369A (zh) * | 2019-06-21 | 2019-11-01 | 苏州狗尾草智能科技有限公司 | 一种人脸重建的方法、系统平台及存储介质 |
| CN110533760A (zh) * | 2019-08-01 | 2019-12-03 | 北京达佳互联信息技术有限公司 | 环境光信息确定方法、装置、电子设备和存储介质 |
| CN110533760B (zh) * | 2019-08-01 | 2023-05-30 | 北京达佳互联信息技术有限公司 | 环境光信息确定方法、装置、电子设备和存储介质 |
| CN110555815B (zh) * | 2019-08-30 | 2022-05-20 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110555815A (zh) * | 2019-08-30 | 2019-12-10 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN112507766A (zh) * | 2019-09-16 | 2021-03-16 | 珠海格力电器股份有限公司 | 人脸图像提取方法、存储介质及终端设备 |
| CN112507766B (zh) * | 2019-09-16 | 2023-11-24 | 珠海格力电器股份有限公司 | 人脸图像提取方法、存储介质及终端设备 |
| CN110705432B (zh) * | 2019-09-26 | 2022-10-25 | 长安大学 | 一种基于彩色和深度摄像头的行人检测装置及方法 |
| CN110705432A (zh) * | 2019-09-26 | 2020-01-17 | 长安大学 | 一种基于彩色和深度摄像头的行人检测装置及方法 |
| CN112002014A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
| CN112002014B (zh) * | 2020-08-31 | 2023-12-15 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
| CN112954205A (zh) * | 2021-02-04 | 2021-06-11 | 重庆第二师范学院 | 一种应用于行人再识别系统的图像采集装置 |
| CN116778076A (zh) * | 2022-03-11 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 一种人脸样本构建方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108510583B (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510583B (zh) | 人脸图像的生成方法和人脸图像的生成装置 | |
| US11182961B2 (en) | Method and system for representing a virtual object in a view of a real environment | |
| US10133171B2 (en) | Augmenting physical appearance using illumination | |
| US9569890B2 (en) | Method and device for generating a simplified model of a real pair of spectacles | |
| US10380802B2 (en) | Projecting augmentation images onto moving objects | |
| JP7526412B2 (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| US20180357819A1 (en) | Method for generating a set of annotated images | |
| KR20170019779A (ko) | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 | |
| KR101829733B1 (ko) | 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 | |
| EP2933781A2 (en) | Method and system for representing a virtual object in a view of a real environment | |
| KR102291162B1 (ko) | 인공 지능 학습용 가상 데이터 생성 장치 및 방법 | |
| CN109064533B (zh) | 一种3d漫游方法及系统 | |
| Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
| Štampfl et al. | Shadow Segmentation with Image Thresholding for Describing the Harshness of Light Sources | |
| CN109309827A (zh) | 用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法 | |
| JP4436101B2 (ja) | ロボット | |
| CN117939100B (zh) | 一种折幕视频处理方法以及相关装置 | |
| US20240338893A1 (en) | Face relighting of avatars with high-quality scan and mobile capture | |
| RU2778288C1 (ru) | Способ и устройство для определения освещенности изображения лица, устройство и носитель данных | |
| CN118570424A (zh) | 虚拟现实导游系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method for generating face image and device for generating face image Effective date of registration: 20210311 Granted publication date: 20191011 Pledgee: Beijing Yizhuang International Financing Guarantee Co.,Ltd. Pledgor: BeiJing Hjimi Technology Co.,Ltd. Registration number: Y2021990000228 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230330 Granted publication date: 20191011 Pledgee: Beijing Yizhuang International Financing Guarantee Co.,Ltd. Pledgor: BeiJing Hjimi Technology Co.,Ltd. Registration number: Y2021990000228 |