CN112819841B - 人脸区域分割方法、装置、计算机设备及存储介质 - Google Patents
人脸区域分割方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112819841B CN112819841B CN202110298488.0A CN202110298488A CN112819841B CN 112819841 B CN112819841 B CN 112819841B CN 202110298488 A CN202110298488 A CN 202110298488A CN 112819841 B CN112819841 B CN 112819841B
- Authority
- CN
- China
- Prior art keywords
- face
- region
- face image
- boundary
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸区域分割方法、装置、计算机设备及存储介质。该方法包括:获取平均人脸模板,获取图像质量需求描述图谱;获取多幅高分辨率人脸图像,构建当前人脸图像的边界域多维数据体;对每个边界域多维数据体进行像素级手工标注;选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练;获取待分割的高分辨率人脸图像,构建当前人脸图像的边界域多维数据体;利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割。本发明使人脸区域分割更具有针对性、分割结果更加准确,并最大可能保留感兴趣子区域的局部丰富的细节信息。
Description
技术领域
本发明实施例涉及人脸识别技术领域,尤其涉及一种人脸区域分割方法、装置、计算机设备及存储介质。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
通常提到人脸感兴趣区域(Region Of Interest,ROI),只得是人脸区域。近年来越来越多的工作不仅要求分割出精确的人脸ROI,还要求对面部部件做精细化分割,分割出人脸图像上的感兴趣子区域(也称为“面部部件ROI”),或直接成为分割人脸部件。精细化分割人脸感兴趣子区域在人脸识别、微表情识别、美颜(自动美化修图)、动态视频换脸技术、虚拟现实、增强现实技术中,有重要应用价值。
在人脸识别系统中,当测试人脸图像被大幅降噪时,会出现分辨率低的问题。一种可能的结果就是抹掉了面部图像中一些特殊局部(如眼睛周围、或某个微表情涉及的发生微小肌肉形变的区域)包含的重要信息。这个问题会影响到人脸识别系统,尤其是在诸如监控视频的应用中。
图像局部质量越好,才能进行越精细化的分割。如果图像质量不好,则无法进行精细化分割。图像局部质量比较好的情况下,细节会比较丰富,但这些细节又特别容易被常规的滤波或者平滑操作抹掉。相关技术中的人脸图像分析处理方法往往不能兼顾去除噪声和保留必要的细节。同时,基于人脸图像的各种分析处理方法(如人脸识别、微表情识别、美颜、等等)对于人脸不同局部区域的图像质量要求并不相同。在相关技术中,也不能同时考虑人脸图像质量分布以及人脸图像处理需求来进行图像处理。
发明内容
本发明提供一种人脸区域分割方法、装置、计算机设备及存储介质,以解决现有技术中存在的上述问题。
第一方面,本发明实施例提供了一种人脸区域分割方法。该方法包括:
S10:获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱;
S20:获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量;
S30:对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注;
S40:选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分;
S50:获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体;
S60:利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界。
在一实施例中,步骤S20和S50中,所述基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,包括:
S210:获取所述当前人脸图像的质量图谱;
S220:根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,并将所述粗略边界扩展为连通区域;基于所述连通区域,得到所述当前人脸图像的边界掩模;
S230:将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱以一定方式融合,得到所述当前人脸图像的人脸多维数据体;
S240:利用所述边界掩模对所述人脸多维数据体进行处理,得到所述边界域多维数据体。
在一实施例中,步骤S10包括:
S110:手工对所述平均人脸模板进行区域划分,得到所述平均人脸模板的感兴趣区域和感兴趣子区域;
S120:手工对所述平均人脸模板的感兴趣区域和感兴趣子区域标注不同的图像质量需求,将标注后的人脸模板作为所述图像质量需求描述图谱。
在一实施例中,步骤S220中,所述根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,包括:
对所述当前人脸图像进行滤波降噪、亮度均衡化,再通过阈值分割方法、梯度算子方法或者边缘算子方法,计算得到所述粗略边界。
在一实施例中,步骤S230包括:
根据以下公式,使用线性组合模型将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱进行融合,得到所述当前人脸图像的人脸多维数据体:
其中,I f 表示所述当前人脸图像的人脸多维数据体,I b 表示所述图像质量需求描述图谱,w b 表示I b 的线性加权系数;I c 表示所述当前人脸图像,w c 表示I c 的线性加权系数;I d 表示所述当前人脸图像的质量图谱,w d 表示I d 的线性加权系数。
在一实施例中,步骤S240中,所述利用所述边界掩模对所述人脸多维数据体进行处理,包括:
S241:在所述边界掩模中像素(i, j)值为0的情况下,表明像素(i, j)位于所述当前人脸图像的边界域,则所述边界域多维数据体中像素(i, j, :)的值等于所述人脸多维数据体中像素(i, j, :)的值;
S242:在所述边界掩模中像素(i, j)值为1的情况下,表明像素(i, j)位于所述当前人脸图像的非边界域,则所述边界域多维数据体中像素(i, j, :)的值为0。
在一实施例中,步骤S40中,所述分类器模型为支持向量机(Support VectorMachines,SVM)模型、集成分类器模型或卷积神经网络模型。
第二方面,本发明实施例还提供了一种人脸区域分割装置。该装置包括:
质量需求获取模块,用于获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱;
多维体获取模块,用于获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量;
标注模块,用于对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注;
模型训练模块,用于选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分;
所述多维体获取模块,还用于获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体;
区域分割模块,用于利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界。
第三方面,本发明实施例还提供了一种计算机设备。该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明实施例提供的任一人脸区域分割方法。
第四方面,本发明实施例还提供了一种存储介质,其上存储有计算机可读的程序,该程序被执行时实现本发明实施例提供的任一人脸区域分割方法。
本发明的有益效果为:
1. 基于高分辨率人脸图像的质量分布,结合人脸图像关于感兴趣子区域分割的需求,来进行人脸感兴趣区域以及感兴趣子区域(面部部件)的分割,使人脸区域分割更具有针对性、分割结果更加准确,并最大可能保留感兴趣子区域的局部丰富的细节信息;
2. 结合平均人脸模板,分析人脸图像的不同子区域(人脸部件)的不同精细程度的需求,以数据结构的形式对不同区域的精细程度需求进行形式化或者结构化描述;
3. 后续对图像进行预处理、特征提取时,可以对不同的局部区域设置不同的参数甚至使用不同的处理方法,避免对整幅图像进行滤波去噪等操作或使用滑动窗口逐区域使用相同参数进行处理,为人脸图像其他处理分析奠定基础。
附图说明
图1为现有技术中使用人脸中的63个点描述人脸形状的示意图。
图2为本发明实施例提供的一种人脸区域分割方法的流程图。
图3为本发明实施例提供的另一种人脸区域分割方法的流程图。
图4为本发明实施例提供的构建人脸图像的边界域多维数据体的示意图。
图5为本发明实施例提供的一种人脸区域分割装置的结构示意图。
图6为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在人脸识别系统中,当测试人脸图像被大幅降噪时,会出现分辨率低的问题。一种可能的结果就是抹掉了面部图像中一些特殊局部(如眼睛周围、或某个微表情涉及的发生微小肌肉形变的区域)包含的重要信息。这个问题会影响到人脸识别系统,尤其是在诸如监控视频的应用中。
单样本的低分辨率人脸识别提出了一种基于聚类的正则化同时判别分析技术,利用簇间矩阵和簇内矩阵,正则化了类间矩阵和类内矩阵。
高分辨率图像精细化分割一般是通过手工方式,操作一些基础性软件,通过鼠标或者带有触摸笔的数位绘图板人工描边获得;也可以将人脸进行配准,然后按照人工设计好的掩模与人脸图像对照,获得粗略的面部感兴趣区域的子区域。
降低图像分辨率再进行分割时,分割边界不够精细。高分辨率人脸图像上人工精细化分割的办法费时费力、效率低下,而且需要特定训练过的人工,疲惫状态下效果会非常差,容易出错且不易被发现。使用掩模获取粗略感兴趣区域的方法效果非常差,在早期的人脸身份识别中够用,但是远远不能满足其他一些新型应用。
换言之,图像局部质量越好,才能进行越精细化的分割。如果图像质量不好,无法进行精细化分割。本发明中的人脸图像均为高分辨率图像,单幅人脸尺寸在1000x1500像素以上。在图像局部质量比较好的情况下,细节会比较丰富,但这些细节又特别容易被常规的滤波或者平滑操作(本来是为了降噪采取的常规操作)抹掉。相关技术中的人脸图像分析处理方法往往不能兼顾去除噪声和保留必要的细节。
同时,基于人脸图像的各种分析处理方法(人脸识别、微表情识别、美颜、等等)对于人脸不同局部区域的图像质量要求并不相同。例如,可以使用若干点组成的点云来描述人脸形状。图1为现有技术中使用点云技术描述人脸形状的示意图(图1引自Caunce,Angela & Taylor, Christopher & Cootes, Timothy. (2010). Improved 3D ModelSearch for Facial Feature Location and Pose Estimation in 2D images. 1-10.10.5244/C.24.81.)。如图1所示,这些点的分布并不均匀,而是集中在某些特定部位。用该方法进行人脸识别时,所有的人脸图像都是对这点云密集之处及其邻域的图像质量有较高要求,而对其余区域的图像质量几乎不作要求。
实施例一
鉴于以上内容,本实施例提出一种人脸区域分割方法,用于对高分辨率人脸图像中的各局部区域(面部部件或者器官)进行精细化分割,例如给定高分辨率人脸图像,对面部轮廓、发际线、眼睛、鼻子、耳朵、眉毛、嘴巴、甚至饰品如眼镜、耳环、等进行像素级的精细化分割。图1为本发明实施例提供的一种人脸区域分割方法的流程图。该方法包括步骤S10-S60。
S10:获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱。
S20:获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量。
S30:对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注。
S40:选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分。
S50:获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体。
S60:利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界。
基于以上发明构思,图3显示了本发明实施例提供的另一种人脸区域分割方法的流程图。如图3所示,上面的方框内为模型训练过程,下面的方框内为分割预测过程(即ROI提取和面部部件ROI提取过程)。
从人脸图像获得边界域多维人脸数据体的方法将在下面的实施例中详细描述。在本实施例中,机器学习模型可以根据训练数据标注进行设计。比如,ROI提取模型可以选用分类器模型,如SVM或某种集成分类器或者卷积神经网络模型或者其他模型。
训练集图像标注可以达到像素级。例如,人脸区域以外的像素标注为0,人脸内部但不属于眼睛、鼻子、嘴巴等区域的像素标注为1,眼睛区域像素标注为2,鼻子区域像素标注为3,嘴巴区域像素标注为4。如果关注其他面部区域,同样可以继续增加类别进行标注。
通过以上步骤,对多幅高分辨率人脸图像构建出边界域多维数据体,并对人脸ROI和面部部件ROI的边界进行手工像素级标注;选择分类器模型进行训练,使得该模型学习到相应的人脸ROI和面部部件ROI边界的区别;最后,利用训练好的模型对待分割的人脸图像对应的边界域多维数据体进行分割,分割边界即为待分割的人脸图像的ROI及面部部件ROI的精细化边界。
在一实施例中,步骤S20和S50中,所述基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,包括步骤S210-S240。
S210:获取所述当前人脸图像的质量图谱。
S220:根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,并将所述粗略边界扩展为连通区域;基于所述连通区域,得到所述当前人脸图像的边界掩模。
S230:将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱以一定方式融合,得到所述当前人脸图像的人脸多维数据体。
S240:利用所述边界掩模对所述人脸多维数据体进行处理,得到所述边界域多维数据体。
在一实施例中,步骤S10包括步骤S110和S120。
S110:手工对所述平均人脸模板进行区域划分,得到所述平均人脸模板的感兴趣区域和感兴趣子区域。
S120:手工对所述平均人脸模板的感兴趣区域和感兴趣子区域标注不同的图像质量需求,将标注后的人脸模板作为所述图像质量需求描述图谱。
在一实施例中,步骤S220中,所述根据所述当前人脸图像,计算得到的所述当前人脸图像的人脸感兴趣区域和感兴趣子区域的粗略边界,包括:对所述当前人脸图像进行滤波降噪、亮度均衡化,再通过阈值分割方法、梯度算子方法或者边缘算子方法,计算得到所述粗略边界。
在一实施例中,步骤S230包括:根据以下公式,使用线性组合模型将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱进行融合,得到所述当前人脸图像的人脸多维数据体:
其中,I f 表示所述当前人脸图像的人脸多维数据体;I b 表示所述图像质量需求描述图谱,w b 表示I b 的线性加权系数;I c 表示所述当前人脸图像,w c 表示I c 的线性加权系数;I d 表示所述当前人脸图像的质量图谱,w d 表示I d 的线性加权系数。
在一实施例中,步骤S240中,所述利用所述边界掩模对所述人脸多维数据体进行处理,包括步骤S241和S242。
S241:在所述边界掩模中像素(i, j)值为0的情况下,表明像素(i, j)位于所述当前人脸图像的边界域,则所述边界域多维数据体中像素(i, j, :)的值等于所述人脸多维数据体中像素(i, j, :)的值。
S242:在所述边界掩模中像素(i, j)值为1的情况下,表明像素(i, j)位于所述当前人脸图像的非边界域,则所述边界域多维数据体中像素(i, j, :)的值为0。
在一实施例中,步骤S40中,所述分类器模型为SVM模型、集成分类器或卷积神经网络模型。
具体地,图4为本发明实施例提供的构建人脸图像的边界域多维数据体的示意图,以图像的方式显示了从人脸图像获得边界域多维人脸数据体的具体过程。下面对图4中每个子图的含义进行说明。
图4(a)为平均人脸模板。平均人脸模板由大量人脸图像配准后叠加得到。在人脸图像区域分割中,图4(a)相当于一定的先验知识。
图4(b)为图像质量需求描述图谱。通过对图4(a)所示的平均人脸模板进行手工划分区域,并手工对平均人脸模板的不同区域标注不同的图像质量要求,得到图像质量需求描述图谱。例如,图4(b) 是一幅标注人脸配准模板,其中,黑色区域标注出在“提取人脸ROI及面部部件ROI精细化边界”任务中,对图像质量要求比较高的区域,即该区域要保证图像细节信息,才能更好的提取精细边界;对于非黑色标注区域,可以通过滤波去噪等常规操作进行处理。
图4(c)为待分割的人脸图像。
图4(d)为待分割的人脸图像4(c)的质量图谱。图4(d)可以是像素级的人脸质量图谱,即对应图4(d)上每个像素I(i, j),有一个向量值q(I(i, j))描述其质量状况。
图4(e)为待分割的人脸图像图4(c)的区域粗略边界的示意图。对待分割的人脸图像图4(c),计算得到的人脸ROI及面部部件ROI的粗略边界。例如,对待分割的人脸图像图4(c)进行滤波降噪、亮度均衡化,再通过阈值分割、梯度或者边缘算子等方法计算得到的大致边界。图4(e)是二值灰度图。
图4(f)为待分割的人脸图像图4(c)的人脸多维数据体的示意图。将图4(b)、4(c)和4(d)以一定方式融合合并,使得待分割的人脸图像的每个像素由原来的色彩信息向量扩展为包含色彩、图像质量需求、质量状况属性的多维向量。整幅图像就扩展为一个高维数据体,称为“图像多维数据体”。对于图4(b)、4(c)和4(d)的融合,可以使用线性组合模型:
其中,I i 表示图4(i)(i = b, c, d, f),w i 表示图4(i)的系数。在实际应用中,w i 可以根据需要设置,简单到用一维标量或者三维标量(分别对应红绿蓝三个通道)表示,也可以复杂到用多维向量/张量表示。在分类器模型的学习过程中,可以学习到各维度具体的值。
图4(g)为待分割的人脸图像图4(c)的边界连通区域的示意图。将粗略边界图4(e)扩展而成的边界连通区域。对图4(e)中边界线上的每个像素点,沿其法向量方向向两侧按一定尺度扩展成连通区域,达到覆盖真实边界的目的。图4(g)也是是二值灰度图。由于前面计算的人脸轮廓图4(e)仍然是包含误差的,因此对图4(e)稍作扩展,得到的图4(g)是实际的精细轮廓应该存在的区域,是轮廓线的进一步精准化。
图4(h)为待分割的人脸图像图4(c)的边界域多维数据体的示意图。将边界连通区域图4(g)作为掩模,对人脸多维数据体图4(f)进行处理得到的边界多维数据体图4(h)。具体来说,如果图4(g)中像素(i, j)值为0,表明为边界所在区域,则人脸多维数据体图4(c)的多维向量(i, j, :)保持不变;如果图4(g)中像素(i, j)值为1,表明为ROI边界不会出现的区域,则人脸多维数据体图4(c)的多维向量(i, j, :)置0。
需要进一步说明的是,本申请中的“图像质量”除了指图像的成像质量外,还指图像的细节丰富程度。对于相同的被拍摄对象,图像成像质量取决于拍摄时的环境影响、相机参数等。而对于不同的被拍摄对象,或者相同对象的不同区域(人脸上的不同局部区域),被拍摄对象的不同局部的实际结构包含的信息(线条、色彩)丰富程度不同。例如,细节丰富的眼角和像素值差异极小的腮部,成像后的质量实际也会形成差异,再因为图像压缩或者转换算法的误差放大作用(物理溴化银在玻璃片/胶片成像,单反数码相机raw格式输出图像、数码相机jpg格式输出图像),会造成的图像质量显示出巨大差异。因此,当被拍摄对象不同时,或者对于相同对象的不同区域(人脸上的不同局部区域),图像质量的含义还包括:对于某个像素I(i, j),以其为中心的适当邻域(比如以I(i, j)为中心的20x20像素大小邻域)内细节丰富程度。细节丰富的区域,对图像质量的需求就高,图像质量就要比细节不丰富的区域等比例高才能计算出精细的轮廓。因此,待分割图像的图像质量状况对于分类器模型的训练也是非常重要的。
综上所述,本发明实施例提出的人脸区域分割方法具有以下有益效果:
1. 基于高分辨率人脸图像的质量分布,结合人脸图像关于感兴趣子区域分割的需求,来进行人脸感兴趣区域以及感兴趣子区域(面部部件)的分割,使人脸区域分割更具有针对性、分割结果更加准确,并最大可能保留感兴趣子区域的局部丰富的细节信息;
2. 结合平均人脸模板,分析人脸图像的不同子区域(人脸部件)的不同精细程度的需求,以数据结构的形式对不同区域的精细程度需求进行形式化或者结构化描述;
3. 后续对图像进行预处理、特征提取时,可以对不同的局部区域设置不同的参数甚至使用不同的处理方法,避免对整幅图像进行滤波去噪等操作或使用滑动窗口逐区域使用相同参数进行处理,为人脸图像其他处理分析奠定基础。
实施例二
图5是本发明实施例提供的一种人脸区域分割装置的结构示意图。该装置用于实现实施例一提供的人脸区域分割方法,包括质量需求获取模块510、多维体获取模块520、标注模块530,模型训练模块540和区域分割模块550。
质量需求获取模块510用于获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱。
多维体获取模块520用于获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量。
标注模块530用于对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注。
模型训练模块540用于选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分。
所述多维体获取模块520还用于获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体。
区域分割模块550用于利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界。
在一实施例中,所述多维体获取模块520是设置为通过执行以下步骤,实现所述基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体的功能:
S210:获取所述当前人脸图像的质量图谱;
S220:根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,并将所述粗略边界扩展为连通区域;基于所述连通区域,得到所述当前人脸图像的边界掩模;
S230:将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱以一定方式融合,得到所述当前人脸图像的人脸多维数据体;
S240:利用所述边界掩模对所述人脸多维数据体进行处理,得到所述边界域多维数据体。
在一实施例中,所述质量需求获取模块510是设置为执行以下步骤:
S110:手工对所述平均人脸模板进行区域划分,得到所述平均人脸模板的感兴趣区域和感兴趣子区域;
S120:手工对所述平均人脸模板的感兴趣区域和感兴趣子区域标注不同的图像质量需求,将标注后的人脸模板作为所述图像质量需求描述图谱。
在一实施例中,所述多维体获取模块520是设置为通过执行以下步骤,实现所述根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界的功能:对所述当前人脸图像进行滤波降噪、亮度均衡化,再通过阈值分割方法、梯度算子方法或者边缘算子方法,计算得到所述粗略边界。
在一实施例中,所述多维体获取模块520是设置为通过执行以下步骤,实现将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱以一定方式融合,得到所述当前人脸图像的人脸多维数据体的功能:根据以下公式,使用线性组合模型将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱进行融合,得到所述当前人脸图像的人脸多维数据体:
其中,I f 表示所述当前人脸图像的人脸多维数据体,I b 表示所述图像质量需求描述图谱,w b 表示I b 的线性加权系数;I c 表示所述当前人脸图像,w c 表示I c 的线性加权系数;I d 表示所述当前人脸图像的质量图谱,w d 表示I d 的线性加权系数。
在一实施例中,所述多维体获取模块520是设置为通过执行以下步骤,实现所述利用所述边界掩模对所述人脸多维数据体进行处理的功能:
S241:在所述边界掩模中像素(i, j)值为0的情况下,表明像素(i, j)位于所述当前人脸图像的边界域,则所述边界域多维数据体中像素(i, j, :)的值等于所述人脸多维数据体中像素(i, j, :)的值;
S242:在所述边界掩模中像素(i, j)值为1的情况下,表明像素(i, j)位于所述当前人脸图像的非边界域,则所述边界域多维数据体中像素(i, j, :)的值为0。
在一实施例中,所述区域分割模块550采用的分类器模型为SVM模型、集成分类器模型或卷积神经网络模型。
综上所述,本发明实施例提出的人脸区域分割装置具有以下有益效果:
1. 基于高分辨率人脸图像的质量分布,结合人脸图像关于感兴趣子区域分割的需求,来进行人脸感兴趣区域以及感兴趣子区域(面部部件)的分割,使人脸区域分割更具有针对性、分割结果更加准确,并最大可能保留感兴趣子区域的局部丰富的细节信息;
2. 结合平均人脸模板,分析人脸图像的不同子区域(人脸部件)的不同精细程度的需求,以数据结构的形式对不同区域的精细程度需求进行形式化或者结构化描述;
3. 后续对图像进行预处理、特征提取时,可以对不同的局部区域设置不同的参数甚至使用不同的处理方法,避免对整幅图像进行滤波去噪等操作或使用滑动窗口逐区域使用相同参数进行处理,为人脸图像其他处理分析奠定基础。
本发明实施例的人脸区域分割装置与实施例一中的人脸区域分割方法具有相同的技术原理和有益效果。未在本实施例中详尽描述的技术细节,请参照实施例一中的人脸区域分割方法。
值得注意的是,上述装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例三
图6为本发明实施例提供的一种计算机设备的结构示意图。如图6所示,该设备包括处理器610和存储器620。处理器610的数量可以是一个或多个,图6中以一个处理器610为例。
存储器620作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的人脸区域分割方法的程序指令/模块。处理器610通过运行存储在存储器620中的软件程序、指令以及模块,实现上述人脸区域分割方法。
存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器620可进一步包括相对于处理器610远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例四
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序:
S10:获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱;
S20:获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量;
S30:对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注;
S40:选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分;
S50:获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体;
S60:利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界。
当然,本发明实施例所提供的存储介质,其存储的计算机可读程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人脸区域分割方法中的相关操作。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种人脸区域分割方法,其特征在于,包括:
S10:获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱;
S20:获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量;
S30:对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注;
S40:选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分;
S50:获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体;
S60:利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界;
其中,步骤S10中,所述基于所述平均人脸模板,获取图像质量需求描述图谱,包括:
S110:手工对所述平均人脸模板进行区域划分,得到所述平均人脸模板的感兴趣区域和感兴趣子区域;
S120:手工对所述平均人脸模板的感兴趣区域和感兴趣子区域标注不同的图像质量需求,将标注后的人脸模板作为所述图像质量需求描述图谱;
在步骤S20和S50中,所述基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,包括:
S210:获取所述当前人脸图像的质量图谱;
S220:根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,并将所述粗略边界扩展为连通区域;基于所述连通区域,得到所述当前人脸图像的边界掩模;
S230:将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱以一定方式融合,得到所述当前人脸图像的人脸多维数据体;
S240:利用所述边界掩模对所述人脸多维数据体进行处理,得到所述边界域多维数据体。
2.如权利要求1所述的人脸区域分割方法,其特征在于,在步骤S220中,所述根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,包括:
对所述当前人脸图像进行滤波降噪、亮度均衡化,再通过阈值分割方法、梯度算子方法或者边缘算子方法,计算得到所述粗略边界。
3.如权利要求2所述的人脸区域分割方法,其特征在于,步骤S230包括:
根据以下公式,使用线性组合模型将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱进行融合,得到所述当前人脸图像的人脸多维数据体:
I f = w b ·I b + w c ·I c + w d ·I d
其中,I f 表示所述当前人脸图像的人脸多维数据体,I b 表示所述图像质量需求描述图谱,w b 表示I b 的线性加权系数;I c 表示所述当前人脸图像,w c 表示I c 的线性加权系数;I d 表示所述当前人脸图像的质量图谱,w d 表示I d 的线性加权系数。
4.如权利要求3所述的人脸区域分割方法,其特征在于,在步骤S240中,所述利用所述边界掩模对所述人脸多维数据体进行处理,包括:
S241:在所述边界掩模中像素(i, j)值为0的情况下,表明像素(i, j)位于所述当前人脸图像的边界域,则所述边界域多维数据体中像素(i, j, :)的值等于所述人脸多维数据体中像素(i, j, :)的值;
S242:在所述边界掩模中像素(i, j)值为1的情况下,表明像素(i, j)位于所述当前人脸图像的非边界域,则所述边界域多维数据体中像素(i, j, :)的值为0。
5.如权利要求4所述的人脸区域分割方法,其特征在于,在步骤S40中,所述分类器模型为支持向量机SVM模型、集成分类器模型或卷积神经网络模型。
6.一种人脸区域分割装置,其特征在于,包括:
质量需求获取模块,用于获取平均人脸模板;基于所述平均人脸模板,获取图像质量需求描述图谱;其中,所述基于所述平均人脸模板,获取图像质量需求描述图谱,包括:手工对所述平均人脸模板进行区域划分,得到所述平均人脸模板的感兴趣区域和感兴趣子区域;手工对所述平均人脸模板的感兴趣区域和感兴趣子区域标注不同的图像质量需求,将标注后的人脸模板作为所述图像质量需求描述图谱;
多维体获取模块,用于获取多幅高分辨率人脸图像;对于每幅高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,其中,所述边界域多维数据体为包括所述当前人脸图像的色彩、图像质量需求、图像质量状况和边界域信息的多维向量;
标注模块,用于对每个边界域多维数据体进行像素级手工标注,其中,所述手工标注包括:人脸感兴趣区域和感兴趣子区域标注;
模型训练模块,用于选择分类器模型,以标注后的多个边界域多维数据体为数据集,对所述分类器模型进行训练,使训练好的分类器模型学习到人脸感兴趣区域和感兴趣子区域的划分;
所述多维体获取模块,还用于获取待分割的高分辨率人脸图像;对于所述待分割的高分辨率人脸图像,基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体;
区域分割模块,用于利用所述训练好的分类器模型,对所述待分割的高分辨率人脸图像的边界域多维数据体进行分割,得到所述待分割的高分辨率人脸图像的感兴趣区域和感兴趣子区域的边界;
其中,在所述多维体获取模块中,所述基于所述图像质量需求描述图谱,构建当前人脸图像的边界域多维数据体,包括:获取所述当前人脸图像的质量图谱;根据所述当前人脸图像,计算所述当前人脸图像的感兴趣区域和感兴趣子区域的粗略边界,并将所述粗略边界扩展为连通区域;基于所述连通区域,得到所述当前人脸图像的边界掩模;将所述图像质量需求描述图谱、所述当前人脸图像和所述当前人脸图像的质量图谱以一定方式融合,得到所述当前人脸图像的人脸多维数据体;利用所述边界掩模对所述人脸多维数据体进行处理,得到所述边界域多维数据体。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任意一项所述的人脸区域分割方法。
8.一种存储介质,其上存储有计算机可读的程序,其特征在于,该程序被执行时实现如权利要求1-5中任意一项所述的人脸区域分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110298488.0A CN112819841B (zh) | 2021-03-19 | 2021-03-19 | 人脸区域分割方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110298488.0A CN112819841B (zh) | 2021-03-19 | 2021-03-19 | 人脸区域分割方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819841A CN112819841A (zh) | 2021-05-18 |
CN112819841B true CN112819841B (zh) | 2021-09-28 |
Family
ID=75863459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110298488.0A Active CN112819841B (zh) | 2021-03-19 | 2021-03-19 | 人脸区域分割方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819841B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839250A (zh) * | 2012-11-23 | 2014-06-04 | 诺基亚公司 | 用于面部图像处理的方法和设备 |
CN104809457A (zh) * | 2015-05-26 | 2015-07-29 | 牟永敏 | 一种基于区域化隐函数特征的三维人脸识别方法及系统 |
CN107305622A (zh) * | 2016-04-15 | 2017-10-31 | 北京市商汤科技开发有限公司 | 一种人脸五官识别方法、装置及系统 |
EP3276942A1 (en) * | 2016-07-28 | 2018-01-31 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the same |
CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓(北京)科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
US10751548B2 (en) * | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
CN112330696A (zh) * | 2020-12-02 | 2021-02-05 | 青岛大学 | 人脸分割方法、装置及计算机可读存储介质 |
CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046565B (zh) * | 2019-04-09 | 2023-07-14 | 东南大学 | 一种基于Adaboost算法的人脸检测方法 |
CN111666846B (zh) * | 2020-05-27 | 2023-05-30 | 厦门大学 | 一种人脸属性识别方法和装置 |
-
2021
- 2021-03-19 CN CN202110298488.0A patent/CN112819841B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839250A (zh) * | 2012-11-23 | 2014-06-04 | 诺基亚公司 | 用于面部图像处理的方法和设备 |
CN104809457A (zh) * | 2015-05-26 | 2015-07-29 | 牟永敏 | 一种基于区域化隐函数特征的三维人脸识别方法及系统 |
CN107305622A (zh) * | 2016-04-15 | 2017-10-31 | 北京市商汤科技开发有限公司 | 一种人脸五官识别方法、装置及系统 |
EP3276942A1 (en) * | 2016-07-28 | 2018-01-31 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the same |
US10751548B2 (en) * | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓(北京)科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
CN112330696A (zh) * | 2020-12-02 | 2021-02-05 | 青岛大学 | 人脸分割方法、装置及计算机可读存储介质 |
CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
An Efficient Liver Tumor Detection using Machine Learning;Anum Kalsoom等;《2020 International Conference on Computational Science and Computational Intelligence》;20201218;第706-711页 * |
人脸识别系统相关问题的研究;秦磊;《中国优秀硕士学位论文全文数据库》;20150115(第1期);第I138-1264页 * |
基于心脏电影磁共振图像的右心室自动分割研究进展;李亚 等;《生物医学工程学杂志》;20161225;第33卷(第6期);第1203-1208页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112819841A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | A closed-form solution to photorealistic image stylization | |
Paris et al. | A topological approach to hierarchical segmentation using mean shift | |
US9607391B2 (en) | Image object segmentation using examples | |
US8175384B1 (en) | Method and apparatus for discriminative alpha matting | |
US9449253B2 (en) | Learning painting styles for painterly rendering | |
CN108986132B (zh) | 一种使用全卷积神经网络生成证件照Trimap图的方法 | |
CN109712145A (zh) | 一种图像抠图方法及系统 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
WO2017181892A1 (zh) | 前景分割方法及装置 | |
CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
CN113902913A (zh) | 图片语义分割方法及装置 | |
CN109710788A (zh) | 图像样本标注和管理方法及设备 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
JP2017102622A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Kim et al. | Robust facial landmark extraction scheme using multiple convolutional neural networks | |
CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
CN108647605B (zh) | 一种结合全局颜色与局部结构特征的人眼凝视点提取方法 | |
Chiu et al. | See the difference: Direct pre-image reconstruction and pose estimation by differentiating hog | |
CN113705579A (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
Schulz et al. | Object-class segmentation using deep convolutional neural networks | |
CN112070181A (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
CN112819841B (zh) | 人脸区域分割方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220401 Address after: 250101 room 1602, 16 / F, building 2, Xinsheng building, northwest corner of the intersection of Xinluo street and Yingxiu Road, high tech Zone, Jinan, Shandong Province Patentee after: Jinan Safety Technology Co.,Ltd. Address before: Room 156-8, No.5 Lingbin Road, Dangan Town, Xiangzhou District, Zhuhai City, Guangdong Province 510000 Patentee before: Guangdong Zhongju Artificial Intelligence Technology Co.,Ltd. |