CN111325108A - 一种多任务网络模型及使用方法、装置、和存储介质 - Google Patents

一种多任务网络模型及使用方法、装置、和存储介质 Download PDF

Info

Publication number
CN111325108A
CN111325108A CN202010074726.5A CN202010074726A CN111325108A CN 111325108 A CN111325108 A CN 111325108A CN 202010074726 A CN202010074726 A CN 202010074726A CN 111325108 A CN111325108 A CN 111325108A
Authority
CN
China
Prior art keywords
pipeline
convolution
face
network
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010074726.5A
Other languages
English (en)
Other versions
CN111325108B (zh
Inventor
梁延研
林旭新
于晓渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boyan Technology Zhuhai Co ltd
Original Assignee
China Energy International Construction Investment Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Energy International Construction Investment Group Co ltd filed Critical China Energy International Construction Investment Group Co ltd
Priority to CN202010074726.5A priority Critical patent/CN111325108B/zh
Publication of CN111325108A publication Critical patent/CN111325108A/zh
Application granted granted Critical
Publication of CN111325108B publication Critical patent/CN111325108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单次激发的多任务网络模型，及使用所述模型对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法、装置及存储介质。该模型包括特征共享模块和多任务网络模块，可以通过特征共享模块共用不同语义的特征图，从而减少特征的冗余计算；其次，在每个所述子任务网络中引入多层级注意力机制，能够强化与任务关联的特征通道和特征区域；再次，多个并联的所述子任务网络同时接接收输入的图像，并进行并行处理，因此，该模型更加简单高效，其在不需要执行前置任务的前提下能够同时进行人脸检测、关键点定位和属性分析，即可以直接对输入的图像进行多人脸属性分析。本发明广泛应用于图像处理技术领域。

Description

一种多任务网络模型及使用方法、装置、和存储介质
技术领域
本发明涉及图像处理技术领域，尤其是一种基于单次激发的多任务网络模型，及使用所述模型对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法、装置及存储介质。
背景技术
传统的人脸图像分析技术往往只针对单个任务，如年龄估算、性别识别、种族分类等，针对人脸多属性分析时，需要分多次计算，非常消耗时间，很难达到实际需求。此外，单任务的人脸图像分析技术忽视了各个信息之间的联系，不能充分利用人脸图像中所蕴含的信息。人脸的面部特征在不同性别、不同种族之间是不一样的，如男女之间、黑白人种之间皮肤细腻程度、肤色、皮肤光亮程度等存在差异，并且皮肤的光亮程度、色泽、皱纹纹理等会随着年龄增长而发生相应的变化，其变化速度也随性别、种族而异。由此可见，各个人脸信息之间是紧密联系的，将各个任务进行独立学习在一定程度上会丢失很多有用的信息，从而降低模型的泛化能力。
公开号为CN106529402A的专利文件公开了一种基于多任务学习的卷积神经网络(CNN)的人脸属性分析方法。该方法主要是以卷积神经网络为基础，采用多任务学习的方法对人脸图像同时进行年龄估算、性别识别和种族分类；该专利文件通过对三个单任务网络分别进行训练，然后选用收敛最慢网络的权值初始化多任务网络的共享部分，随机初始化多任务网络的独立部分；接下来对多任务网络进行训练，得到多任务CNN网络模型；最后，就可以利用训练好的多任务CNN网络模型对输入的人脸图像同时进行年龄、性别和种族三个属性的分析，既节约了时间又获得了较高的准确度。但是，其存在的缺点在于：(1)该专利文件所述方法没有包含人脸检测步骤，所以不适用于多人脸的属性分析场景，在实际应用中，还需要一个外部的人脸检测器用于辅助；(2)所述多任务CNN网络模型为管道式推理模型，其包含了大量的级联操作，它们之间不能并行处理，影响了推理速度；(3)该专利文件所述方法设计的三个属性分析网络是独立存在的，它们之间没有共享网络特征，在训练过程中独立优化，这种方式将会造成冗余的特征计算，不利于模型扩展。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种基于单次激发的多任务网络模型，及使用所述模型对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法、装置及存储介质。
本发明所采取的技术方案是：一方面，本发明实施例包括一种基于单次激发的多任务网络模型，用于对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析，包括特征共享模块和多任务网络模块；
所述特征共享模块包含多个级联的卷积栈，每个所述卷积栈由多个卷积层和多个激活层组成；
所述特征共享模块用于对输入图像进行预处理得到第一融合特征图；
所述多任务网络模块包括多个并联的子任务网络，每个所述子任务网络通过所述特征共享模块被连接在一起；
在每个所述子任务网络中引入多层级注意力机制，以同时对多个不同语义的特征图进行特征重加权处理；
各所述子任务网络分别为目标检测网络、关键点定位网络和属性分析网络；
所述目标检测网络用于检测得到所述输入图像中人脸目标边界框的位置；
所述关键点定位网络用于定位所述输入图像中人脸关键点的坐标；
所述属性分析网络用于对所述输入图像进行人脸属性分析。
进一步地，所述特征共享模块对输入图像进行预处理得到第一融合特征图这一过程，具体包括：
获取输入图像；
利用多个级联的卷积栈将所述输入图像生成多幅不同分辨率大小且包含不同语义信息的特征图；
对高层卷积栈生成的特征图进行反卷积上采样操作，以使高层卷积栈生成的特征图的分辨率大小和低层卷积栈生成的特征图的分辨率大小保持一致，所述高层卷积栈为生成特征图的分辨率小于第一阈值的卷积栈，所述底层卷积栈为生成特征图的分辨率大于第一阈值的卷积栈；
采用L2正则化对每一幅特征图进行量纲标准化；
融合所有特征图以生成第一融合特征图。
进一步地，所述多层级注意力机制包括多层级管道注意力机制和多层级空间注意力机制；其中，所述多层级管道注意力机制是通过以下步骤执行的：
利用多个卷积栈对所述第一融合特征图进行处理，并根据多个所述卷积栈的管道数比例，将所述第一融合特征图划分为多个第一管道特征图，各所述第一管道特征图的管道数互不相同，所述管道数代表相应层级的语义信息；
将多个所述第一管道特征图分别输入到分离式卷积过滤器；
每个所述分离式卷积过滤器分别从水平方向和垂直方向对第一管道特征图进行全局编码；
分别对编码后的第一管道特征图进行卷积操作，以使不同管道数的第一管道特征图的管道维度一致；
分别通过sigmoid操作归一化相应管道的特征值；
利用Broadcast操作复制每一个管道的特征值，并根据所述管道的特征值对所述第一融合特征图进行管道加权处理得到第二融合特征图。
进一步地，所述多层级空间注意力机制是通过以下步骤执行的：
利用多个卷积栈对所述第二融合特征图进行处理，并根据多个所述卷积栈的管道数比例，将所述第二融合特征图划分为多个第二管道特征图，各所述第二管道特征图的管道数互不相同，所述管道数代表相应层级的语义信息；
利用分离式卷积过滤器分别对多个第二管道特征图进行级联编码处理；
分别对编码后的第二管道特征图进行反卷积操作，以使不同管道数的第二管道特征图的空间维度一致；
分别通过sigmoid操作归一化相应管道空间的特征值；
利用Broadcast操作复制每一个管道空间的特征值，并根据所述管道空间的特征值对所述第二融合特征图进行空间维度加权处理得到第三融合特征图。
进一步地，多个并联的所述子任务网络同时接收所述第三融合特征图，并进行并行处理，每个所述子任务网络分别采用卷积操作以对接收到的的所述第三融合特征图进行跨通道融合和降维处理，得到一个相同的第一特征图。
进一步地，属性分析网络对输入图像进行人脸属性分析这一操作，具体包括：
根据需要预测人脸属性类别的个数，引入相应个数的决策分支，所述决策分支为输出通道数为相应个数的1x1卷积操作；
通过相应个数的决策分支，生成相应个数的属性掩码图，每一个所述属性掩码图显示相应属性类别的概率分布。
进一步地，所述属性掩码图中的每一个像素点对应一个相应的子分类器，通过多项式交叉熵损失函数对不同的所述子分类器进行联合训练，以输出各个相应属性类别的预测分数，其中，所述多项式交叉熵损失函数的公式为：
Figure BDA0002378194220000041
式中，x和y表示属性掩码图的坐标，m和k表示当前某一属性类别，
Figure BDA0002378194220000042
表示在(x,y)坐标下的真实标签，Im表示指示函数，
Figure BDA0002378194220000043
表示在(x,y)坐标下第k种属性类别的预测分数，
Figure BDA0002378194220000044
表示在(x,y)坐标下第m种属性类别的预测分数。
另一方面，本发明实施例还包括一种对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法，包括：
获取人脸图像作为输入图像；
利用实施例所述基于单次激发的多任务网络模型接收所述输入图像并进行处理；
获取所述基于单次激发的多任务网络模型输出的人脸边界框的位置、人脸关键点坐标及人脸属性分析结果。
另一方面，本发明实施例还包括一种对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行所述对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如所述对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法。
本发明的有益效果是：本发明提供一种基于单次激发的多任务网络模型，该模型是一种端到端的基于单次激发的多任务推理模型。该模型包括特征共享模块和多任务网络模块，其中多任务网络模块包括多个并联的子任务网络，每个所述子任务网络通过所述特征共享模块被连接在一起，因此，可以通过特征共享模块共用不同语义的特征图，从而减少特征的冗余计算；其次，在每个所述子任务网络中引入多层级注意力机制，能够强化与任务关联的特征通道和特征区域；再次，多个并联的所述子任务网络同时接接收输入的图像，并进行并行处理，因此，该模型相较于传统的管道式推理模型和基于级联的多任务模型，更加简单高效，其在不需要执行前置任务的前提下能够同时进行人脸检测、关键点定位和属性分析，即可以直接对输入的图像进行多人脸属性分析。
附图说明
图1为发明实施例中所述基于单次激发的多任务网络模型框架图；
图2为发明实施例中所述多层级管道注意力机制的原理图；
图3为发明实施例中所述多层级空间注意力机制的原理图。
具体实施方式
本实施例中，主要使用基于单次激发的多任务网络模型来对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析，其中，每个任务是并联关系，模型通过一次前向传播运算就可以实现所有任务的特征计算和结果推理。参照图1，所述基于单次激发的多任务网络模型包括特征共享模块和多任务网络模块；
所述特征共享模块包含多个级联的卷积栈，每个所述卷积栈由多个卷积层和多个激活层组成；
所述特征共享模块用于对输入图像进行预处理得到第一融合特征图；
所述多任务网络模块包括多个并联的子任务网络，每个所述子任务网络通过所述特征共享模块被连接在一起；
在每个所述子任务网络中引入多层级注意力机制，以同时对多个不同语义的特征图进行特征重加权处理；
各所述子任务网络分别为目标检测网络、关键点定位网络和属性分析网络；
所述目标检测网络用于检测得到所述输入图像中人脸目标边界框的位置；
所述关键点定位网络用于定位所述输入图像中人脸关键点的坐标；
所述属性分析网络用于对所述输入图像进行人脸属性分析。
其中，所述特征共享模块对输入图像进行预处理得到第一融合特征图这一过程，具体包括：
获取输入图像；
利用多个级联的卷积栈将所述输入图像生成多幅不同分辨率大小且包含不同语义信息的特征图；
对高层卷积栈生成的特征图进行反卷积上采样操作，以使高层卷积栈生成的特征图的分辨率大小和低层卷积栈生成的特征图的分辨率大小保持一致，所述高层卷积栈为生成特征图的分辨率小于第一阈值的卷积栈，所述底层卷积栈为生成特征图的分辨率大于第一阈值的卷积栈；
采用L2正则化对每一幅特征图进行量纲标准化；
融合所有特征图以生成第一融合特征图。
本实施例中，特征共享模块的设计主要借鉴了VGG16模型，采用了一种单调设计模式，即级联了多个卷积栈，每个卷积栈包含了若干个卷积层和激活操作。本实施例中，特征共享模块设计了4个卷积栈，分别为conv1、conv2、conv3和conv4，conv1和conv2设定为底层的卷积栈，而conv3和conv4设定为高层的卷积栈；特征共享模块对输入图像进行预处理的具体过程为：输入一张图像，所述4个卷积栈将生成不同分辨率大小且包含不同语义信息的4幅特征图，比如conv1卷积栈将生成一幅下采样率为1的低级语义特征图，conv2卷积栈将生成一幅下采样率为2的低级语义特征图，而conv3卷积栈将生成一幅下采样率为3的高级语义特征图，conv4卷积栈将生成一幅下采样率为4的高级语义特征图；本实施例为了构建一个高分辨率且语义丰富的特征图，首先对高层的卷积栈(比如conv3和conv4)生成的2幅特征图分别进行2倍和4倍的反卷积上采样操作，即对conv3卷积层生成的特征图进行2倍的反卷积上采样操作，对conv4卷积层生成的特征图进行4倍的反卷积上采样操作，使它们的分辨率大小和低层的卷积栈(比如conv2)生成的特征图保持一致，然后通过采用L2正则化对每一层的特征图进行量纲标准化，最后合并所有特征图生成一个通道数为2560且下采样率为2的特征图，此处所述的特征图为所述第一融合特征图。
在多任务网络模块设计中，为了考虑不同任务对不同层级特征依赖的差异性，在多任务网络模块中的每个所述子任务网络中引入多层级注意力机制，所述多层级注意力机制包括多层级管道注意力机制和多层级空间注意力机制；其中，所述多层级管道注意力机制是通过以下步骤执行的：
利用多个卷积栈对所述第一融合特征图进行处理，并根据多个所述卷积栈的管道数比例，将所述第一融合特征图划分为多个第一管道特征图，各所述第一管道特征图的管道数互不相同，所述管道数代表相应层级的语义信息；
将多个所述第一管道特征图分别输入到分离式卷积过滤器；
每个所述分离式卷积过滤器分别从水平方向和垂直方向对第一管道特征图进行全局编码；
分别对编码后的第一管道特征图进行卷积操作，以使不同管道数的第一管道特征图的管道维度一致；
分别通过sigmoid操作归一化相应管道的特征值；
利用Broadcast操作复制每一个管道的特征值，并根据所述管道的特征值对所述第一融合特征图进行管道加权处理得到第二融合特征图。
本实施例中，多层级管道注意力机制的原理如图2所示，设置输入图像的维度为3×2W×2H，经过特征共享模块之后，输入特征图，也就是所述第一融合特征图的维度变换为2560×W×H；根据特征共享模块中后三个卷积栈(也就是conv2、conv3和conv4)的管道数比例，特征图被划分为管道数为1536、768和256的三个特征图，即得到了管道数为1536的第一管道特征图、管道数为768的第一管道特征图和管道数为256的第一管道特征图；所述管道数代表了不同层级的语义信息；然后，将这三幅第一管道特征图分别输入到一个分离式卷积过滤器，该过滤器包含了两个卷积操作，该过滤器分别从水平方向和垂直方向对输入的第一管道特征图进行全局编码，本实施例中，设定卷积核大小为W×1或1×H，在编码过程中，管道维度减少为原来的一半，空间维度由W×H缩小到1×1，变成了一个特征向量；为了匹配不同层级的输入特征图的管道维度，本实施例引入了一个卷积核大小为1×1的卷积操作来恢复这三幅经过编码后的第一管道特征图的管道维度，并分别通过sigmoid操作归一化相应管道的特征值；最后，利用Broadcast操作拷贝每一个管道的特征值并生成维度为2560×W×H的管道权重图，它将用于第一融合特征图的每一个管道，进行管道加权处理得到第二融合特征图，从而强化与任务关联的特征通道。
同样地，所述多层级空间注意力机制是通过以下步骤执行的：
利用多个卷积栈对所述第二融合特征图进行处理，并根据多个所述卷积栈的管道数比例，将所述第二融合特征图划分为多个第二管道特征图，各所述第二管道特征图的管道数互不相同，所述管道数代表相应层级的语义信息；
利用分离式卷积过滤器分别对多个第二管道特征图进行级联编码处理；
分别对编码后的第二管道特征图进行反卷积操作，以使不同管道数的第二管道特征图的空间维度一致；
分别通过sigmoid操作归一化相应管道空间的特征值；
利用Broadcast操作复制每一个管道空间的特征值，并根据所述管道空间的特征值对所述第二融合特征图进行空间维度加权处理得到第三融合特征图。
本实施例中，多层级空间注意力机制的原理如图3所示，对经过多层级管道注意力机制处理，也就是对经过管道加权后的第二融合特征图进行多层级空间注意力机制处理，即进行进行空间维度加权处理，得到第三融合特征图。其具体过程为：按照同样的方式，将输入的第二融合特征图的维度变换为2560×W×H；根据特征共享模块后三个卷积栈(也就是conv2、conv3和conv4)的管道数比例，特征图被划分为管道数为1536、768和256的三个特征图，即得到了管道数为1536的第二管道特征图、管道数为768的第二管道特征图和管道数为256的第二管道特征图；所述管道数代表了不同层级的语义信息；然后，将这三幅第二管道特征图分别输入到一个分离式卷积过滤器，为了在编码第二管道特征图中捕捉到充分的上下文空间信息，本实施例在多层级空间注意力机制中引入了两个步长为2和卷积核大小为2×2的卷积过滤器来分别对3幅第二管道特征图进行级联编码，通过级联编码，管道维度减少为原来的一半，空间维度缩小为原来的四分之一，第二管道特征图中的每个像素保留了更大的感受野信息；为了匹配不同层级的第二管道特征图的空间维度，本实施例采用了一个步长为4和卷积核大小为4×4的一个反卷积操作来恢复它们的空间维度。此外，在反卷积过程中，将所述第二管道特征图的管道维度缩小到1维，并分别通过sigmoid操作归一化相应管道空间的特征值；最后，利用Broadcast操作拷贝管道空间里的每一个特征值并生成维度为2560×W×H的空间权重图，它将用于第二融合特征图的不同管道空间，从而强化与任务关联的特征区域。
多个并联的子任务网络同时接收所述第三融合特征图，并进行并行处理，每个所述子任务网络分别采用卷积操作以对接收到的的所述第三融合特征图进行跨通道融合和降维处理，得到一个相同的第一特征图。各所述子任务网络分别为目标检测网络、关键点定位网络和属性分析网络，本实施例中，每个子任务网络包含了一个输出通道数为256的3x3卷积操作，用于对输入的第三融合特征图进行跨通道融合和特征降维处理，得到一个相同的第一特征图。在目标检测网络中，对所述第一特征图采用了一个输出通道数为2的1x1卷积操作，以生成图像中人脸的目标中心点热度图，目标中心点热度图里的每一个像素值代表了当前位置属于目标中心点的概率，为了获得人脸目标边界框的位置，进一步使用了另一个输出通道数为2的1x1卷积操作，以生成人脸目标尺度回归图，它可以预测中心热度图里每个人脸目标的长宽值，通过目标检测网络，我们可以得到图片中所有人脸的位置。在关键点定位网络中，对得到的第一特征图采用输出通道数为5的1x1卷积操作，以生成5个关键点位置热度图，关键点位置热度图里的每一个像素值代表了当前位置属于某类关键点的概率，通过获取每个关键点位置热度图的最大峰值，可以得到所有关键点的2D坐标，也可采用一种位置重加权方案，即对每个关键点热度图里预测概率大于0.5的像素点坐标进行加权平均计算，从而得到最终的关键点坐标。具体做法如下：当预测到某一关键点，如果相应热度图里符合要求的像素点有三个，它们的预测值分别为0.6，0.7和0.9，坐标分别为(10,10)，(20,20)和(30,30)，那么最终的关键点坐标为：[0.6×(10,10)+0.7×(20,20)+0.9×(30,30)]/(0.6+0.7+0.9)≈(21.36,21.36)。在属性分析网络中，根据需要预测属性类别的个数，我们可以引入一个或多个决策分支，每一个决策分支是一个输出通道数为n的1x1卷积操作，它可以生成n个属性掩码图，代表n种属性的概率分布，例如要判断图像中的人脸是否微笑，则需预测的属性类别个数是2个，此时，引入2个决策分支，每一个决策分支是一个输出通道数为2的1x1卷积操作，可以生成2个属性掩码图，代表2种属性(微笑和没有微笑)的概率分布；同样地，如果要判断图像中的人脸的性别，则需预测的属性类别个数是2个，此时，引入2个决策分支，每一个决策分支是一个输出通道数为2的1x1卷积操作，可以生成2个属性掩码图，代表2种属性(男和女)的概率分布。在所有的子任务网络里，我们采用全卷积层代替传统的全连接层，并把每一个任务看成是一种像素级分类问题。预测图中的每一个像素点对应一个特定的子分类器，它们接收不同区域感受野的特征信息，然后输出特定位置的预测结果。比如，在属性分析网络中，属性掩码图中的每一个像素点对应一个相应的子分类器，通过多项式交叉熵损失函数对不同的所述子分类器进行联合训练，以输出各个相应属性类别的预测分数，因此，整个预测过程也是不同子分类器共同决策的过程，这些子分类器通过多项式交叉熵损失函数(multinomial cross-entropy loss)进行联合训练，具体公式如下：
Figure BDA0002378194220000091
式中，x和y表示属性掩码图的坐标，m和k表示当前某一属性类别，
Figure BDA0002378194220000092
表示在(x,y)坐标下的真实标签，Im表示指示函数，
Figure BDA0002378194220000093
表示在(x,y)坐标下第k种属性类别的预测分数，
Figure BDA0002378194220000094
表示在(x,y)坐标下第m种属性类别的预测分数，当
Figure BDA0002378194220000095
等于m时，结果为1，否则为0。
本实施例中，在模型推理阶段，在获取一张输入图像后，可以首先通过目标检测网络中的目标中心点热度图和目标尺度回归图得到图像中每一个人脸的目标边界框的位置，然后根据人脸的目标边界框的位置，可以直接映射到关键点位置热度图和属性掩码图中相应的人脸区域，最后通过提取每一个区域内像素点的概率峰值得到每个目标所有关键点和不同属性的预测结果。
综上所述，本发明实施例中所述使用基于单次激发的多任务网络模型对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法具有以下优点：
本发明实施例提供一种基于单次激发的多任务网络模型，该模型是一种端到端的基于单次激发的多任务推理模型。该模型包括特征共享模块和多任务网络模块，其中多任务网络模块包括多个并联的子任务网络，每个所述子任务网络通过所述特征共享模块被连接在一起，因此，可以通过特征共享模块共用不同语义的特征图，从而减少特征的冗余计算；其次，在每个所述子任务网络中引入多层级注意力机制，能够强化与任务关联的特征通道和特征区域；再次，多个并联的所述子任务网络同时接接收输入的图像，并进行并行处理，因此，该模型相较于传统的管道式推理模型和基于级联的多任务模型，更加简单高效，其在不需要执行前置任务的前提下能够同时进行人脸检测、关键点定位和属性分析，即可以直接对输入的图像进行多人脸属性分析。
本实施例还包括一种对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的装置，该装置可以包括处理器和存储器。其中，
存储器用于存储程序指令；
处理器用于读取存储器中的程序指令，并根据存储器中的程序指令执行实施例所示的对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法。
所述存储器还可以单独生产出来，并用于存储与所述对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法相应的计算机程序。当这个存储器与处理器连接时，其存储的计算机程序将被处理器读取出来并执行，从而实施所述对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法，达到实施例中所述的技术效果。
本实施例还包括一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行实施例所示对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于单次激发的多任务网络模型，用于对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析，其特征在于，包括特征共享模块和多任务网络模块；
所述特征共享模块包含多个级联的卷积栈，每个所述卷积栈由多个卷积层和多个激活层组成；
所述特征共享模块用于对输入图像进行预处理得到第一融合特征图；
所述多任务网络模块包括多个并联的子任务网络，每个所述子任务网络通过所述特征共享模块被连接在一起；
在每个所述子任务网络中引入多层级注意力机制，以同时对多个不同语义的特征图进行特征重加权处理；
各所述子任务网络分别为目标检测网络、关键点定位网络和属性分析网络；
所述目标检测网络用于检测得到所述输入图像中人脸目标边界框的位置；
所述关键点定位网络用于定位所述输入图像中人脸关键点的坐标；
所述属性分析网络用于对所述输入图像进行人脸属性分析。
2.根据权利要求1所述的一种基于单次激发的多任务网络模型，其特征在于，所述特征共享模块对输入图像进行预处理得到第一融合特征图这一过程，具体包括：
获取输入图像；
利用多个级联的卷积栈将所述输入图像生成多幅不同分辨率大小且包含不同语义信息的特征图；
对高层卷积栈生成的特征图进行反卷积上采样操作，以使高层卷积栈生成的特征图的分辨率大小和低层卷积栈生成的特征图的分辨率大小保持一致，所述高层卷积栈为生成特征图的分辨率小于第一阈值的卷积栈，所述底层卷积栈为生成特征图的分辨率大于第一阈值的卷积栈；
采用L2正则化对每一幅特征图进行量纲标准化；
融合所有特征图以生成第一融合特征图。
3.根据权利要求2所述的一种基于单次激发的多任务网络模型，其特征在于，所述多层级注意力机制包括多层级管道注意力机制和多层级空间注意力机制；其中，所述多层级管道注意力机制是通过以下步骤执行的：
利用多个卷积栈对所述第一融合特征图进行处理，并根据多个所述卷积栈的管道数比例，将所述第一融合特征图划分为多个第一管道特征图，各所述第一管道特征图的管道数互不相同，所述管道数代表相应层级的语义信息；
将多个所述第一管道特征图分别输入到分离式卷积过滤器；
每个所述分离式卷积过滤器分别从水平方向和垂直方向对第一管道特征图进行全局编码；
分别对编码后的第一管道特征图进行卷积操作，以使不同管道数的第一管道特征图的管道维度一致；
分别通过sigmoid操作归一化相应管道的特征值；
利用Broadcast操作复制每一个管道的特征值，并根据所述管道的特征值对所述第一融合特征图进行管道加权处理得到第二融合特征图。
4.根据权利要求3所述的一种基于单次激发的多任务网络模型，其特征在于，所述多层级空间注意力机制是通过以下步骤执行的：
利用多个卷积栈对所述第二融合特征图进行处理，并根据多个所述卷积栈的管道数比例，将所述第二融合特征图划分为多个第二管道特征图，各所述第二管道特征图的管道数互不相同，所述管道数代表相应层级的语义信息；
利用分离式卷积过滤器分别对多个第二管道特征图进行级联编码处理；
分别对编码后的第二管道特征图进行反卷积操作，以使不同管道数的第二管道特征图的空间维度一致；
分别通过sigmoid操作归一化相应管道空间的特征值；
利用Broadcast操作复制每一个管道空间的特征值，并根据所述管道空间的特征值对所述第二融合特征图进行空间维度加权处理得到第三融合特征图。
5.根据权利要求4所述的一种基于单次激发的多任务网络模型，其特征在于，多个并联的所述子任务网络同时接收所述第三融合特征图，并进行并行处理，每个所述子任务网络分别采用卷积操作以对接收到的的所述第三融合特征图进行跨通道融合和降维处理，得到一个相同的第一特征图。
6.根据权利要求5所述的一种基于单次激发的多任务网络模型，其特征在于，属性分析网络对输入图像进行人脸属性分析这一操作，具体包括：
根据需要预测人脸属性类别的个数，引入相应个数的决策分支，所述决策分支为输出通道数为相应个数的1x1卷积操作；
通过相应个数的决策分支，生成相应个数的属性掩码图，每一个所述属性掩码图显示相应属性类别的概率分布。
7.根据权利要求6所述的一种基于单次激发的多任务网络模型，其特征在于，所述属性掩码图中的每一个像素点对应一个相应的子分类器，通过多项式交叉熵损失函数对不同的所述子分类器进行联合训练，以输出各个相应属性类别的预测分数，其中，所述多项式交叉熵损失函数的公式为：
Figure FDA0002378194210000031
式中，x和y表示属性掩码图的坐标，m和k表示当前某一属性类别，
Figure FDA0002378194210000032
表示在(x,y)坐标下的真实标签，Im表示指示函数，
Figure FDA0002378194210000033
表示在(x,y)坐标下第k种属性类别的预测分数，
Figure FDA0002378194210000034
表示在(x,y)坐标下第m种属性类别的预测分数。
8.一种对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的方法，其特征在于，包括：
获取人脸图像作为输入图像；
利用权利要求1-7任一项所述基于单次激发的多任务网络模型接收所述输入图像并进行处理；
获取所述基于单次激发的多任务网络模型输出的人脸边界框的位置、人脸关键点坐标及人脸属性分析结果。
9.一种对输入图像同时进行人脸检测、人脸关键点定位以及人脸属性分析的装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求8所述的方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求8所述的方法。
CN202010074726.5A 2020-01-22 2020-01-22 一种多任务网络模型及使用方法、装置、和存储介质 Active CN111325108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074726.5A CN111325108B (zh) 2020-01-22 2020-01-22 一种多任务网络模型及使用方法、装置、和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074726.5A CN111325108B (zh) 2020-01-22 2020-01-22 一种多任务网络模型及使用方法、装置、和存储介质

Publications (2)

Publication Number Publication Date
CN111325108A true CN111325108A (zh) 2020-06-23
CN111325108B CN111325108B (zh) 2023-05-26

Family

ID=71172829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074726.5A Active CN111325108B (zh) 2020-01-22 2020-01-22 一种多任务网络模型及使用方法、装置、和存储介质

Country Status (1)

Country Link
CN (1) CN111325108B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783621A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
CN112488003A (zh) * 2020-12-03 2021-03-12 深圳市捷顺科技实业股份有限公司 一种人脸检测方法、模型创建方法、装置、设备及介质
CN112597837A (zh) * 2020-12-11 2021-04-02 北京百度网讯科技有限公司 图像检测方法、装置、设备、存储介质和计算机程序产品
CN113011356A (zh) * 2021-03-26 2021-06-22 杭州朗和科技有限公司 人脸特征检测方法、装置、介质及电子设备
CN113076850A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 多任务预测方法、多任务预测装置及电子设备
CN113128345A (zh) * 2021-03-22 2021-07-16 深圳云天励飞技术股份有限公司 多任务属性识别方法及设备、计算机可读存储介质
CN113327203A (zh) * 2021-05-28 2021-08-31 北京百度网讯科技有限公司 图像处理网络模型、方法、设备和介质
CN113435390A (zh) * 2021-07-09 2021-09-24 上海商汤智能科技有限公司 人群定位方法及装置、电子设备和存储介质
CN114529731A (zh) * 2020-10-30 2022-05-24 北京眼神智能科技有限公司 人脸特征点定位及属性分析方法、装置、存储介质及设备
CN114581706A (zh) * 2022-03-02 2022-06-03 平安科技（深圳）有限公司 证件识别模型的配置方法、装置、电子设备、存储介质
CN114694211A (zh) * 2022-02-24 2022-07-01 合肥工业大学 非接触式多生理参数的同步检测方法和系统
CN114827666A (zh) * 2021-01-27 2022-07-29 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
WO2022252635A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质
WO2023185243A1 (zh) * 2022-03-29 2023-10-05 河南工业大学 基于注意力调制上下文空间信息的表情识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN109558862A (zh) * 2018-06-15 2019-04-02 广州深域信息科技有限公司 基于空间感知的注意力细化框架的人群计数方法及系统
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN109558862A (zh) * 2018-06-15 2019-04-02 广州深域信息科技有限公司 基于空间感知的注意力细化框架的人群计数方法及系统
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111462130A (zh) * 2019-01-22 2020-07-28 斯特拉德视觉公司 使用车道掩码检测包含于输入图像的车道线的方法及装置
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783621A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
CN111783621B (zh) * 2020-06-29 2024-01-23 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
CN114529731B (zh) * 2020-10-30 2024-07-12 北京眼神智能科技有限公司 人脸特征点定位及属性分析方法、装置、存储介质及设备
CN114529731A (zh) * 2020-10-30 2022-05-24 北京眼神智能科技有限公司 人脸特征点定位及属性分析方法、装置、存储介质及设备
CN112488003A (zh) * 2020-12-03 2021-03-12 深圳市捷顺科技实业股份有限公司 一种人脸检测方法、模型创建方法、装置、设备及介质
CN112597837A (zh) * 2020-12-11 2021-04-02 北京百度网讯科技有限公司 图像检测方法、装置、设备、存储介质和计算机程序产品
CN112597837B (zh) * 2020-12-11 2024-05-28 北京百度网讯科技有限公司 图像检测方法、装置、设备、存储介质和计算机程序产品
US11810319B2 (en) 2020-12-11 2023-11-07 Beijing Baidu Netcom Science & Technology Co., Ltd Image detection method, device, storage medium and computer program product
CN114827666A (zh) * 2021-01-27 2022-07-29 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
CN113128345A (zh) * 2021-03-22 2021-07-16 深圳云天励飞技术股份有限公司 多任务属性识别方法及设备、计算机可读存储介质
CN113011356A (zh) * 2021-03-26 2021-06-22 杭州朗和科技有限公司 人脸特征检测方法、装置、介质及电子设备
CN113011356B (zh) * 2021-03-26 2024-08-06 杭州网易智企科技有限公司 人脸特征检测方法、装置、介质及电子设备
CN113076850A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 多任务预测方法、多任务预测装置及电子设备
CN113327203A (zh) * 2021-05-28 2021-08-31 北京百度网讯科技有限公司 图像处理网络模型、方法、设备和介质
WO2022252635A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质
CN113435390A (zh) * 2021-07-09 2021-09-24 上海商汤智能科技有限公司 人群定位方法及装置、电子设备和存储介质
CN114694211A (zh) * 2022-02-24 2022-07-01 合肥工业大学 非接触式多生理参数的同步检测方法和系统
CN114694211B (zh) * 2022-02-24 2024-04-19 合肥工业大学 非接触式多生理参数的同步检测方法和系统
CN114581706A (zh) * 2022-03-02 2022-06-03 平安科技（深圳）有限公司 证件识别模型的配置方法、装置、电子设备、存储介质
CN114581706B (zh) * 2022-03-02 2024-03-08 平安科技（深圳）有限公司 证件识别模型的配置方法、装置、电子设备、存储介质
WO2023185243A1 (zh) * 2022-03-29 2023-10-05 河南工业大学 基于注意力调制上下文空间信息的表情识别方法

Also Published As

Publication number Publication date
CN111325108B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111325108A (zh) 一种多任务网络模型及使用方法、装置、和存储介质
US11367271B2 (en) Similarity propagation for one-shot and few-shot image segmentation
Zhu et al. Residual spectral–spatial attention network for hyperspectral image classification
Kulhánek et al. Viewformer: Nerf-free neural rendering from few images using transformers
CN110555481B (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN112446398B (zh) 图像分类方法以及装置
CN111563502B (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
Basly et al. CNN-SVM learning approach based human activity recognition
CN111782840B (zh) 图像问答方法、装置、计算机设备和介质
JP2022505775A (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
US20210216874A1 (en) Radioactive data generation
Zhu et al. Object-oriented dynamics predictor
Zhao et al. Joint face alignment and segmentation via deep multi-task learning
US20220270341A1 (en) Method and device of inputting annotation of object boundary information
Teimouri et al. A real-time ball detection approach using convolutional neural networks
Xiao et al. CFNet: Facial expression recognition via constraint fusion under multi-task joint learning network
CN115050045A (zh) 一种基于Vision MLP的行人重识别方法
CN113011320A (zh) 视频处理方法、装置、电子设备及存储介质
Panda et al. Modified ResNet-152 network with hybrid pyramidal pooling for local change detection
Liu et al. Lightweight monocular depth estimation on edge devices
Zhang et al. An anchor-free object detector based on soften optimized bi-directional FPN
Melício et al. Object detection and localization with artificial foveal visual attention
Wang et al. Self-attention deep saliency network for fabric defect detection
Alhijaj et al. Techniques and Applications for Deep Learning: A Review
CN117036658A (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liang Yanyan

Inventor after: Lin Xuxin

Inventor after: Yu Xiaoyuan

Inventor after: Yu Chuntao

Inventor after: Yang Linlin

Inventor before: Liang Yanyan

Inventor before: Lin Xuxin

Inventor before: Yu Xiaoyuan

CB03 Change of inventor or designer information
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tower C, 7 / F, Jinlong center, 105 xianxinghai Road, new port, Macau, China

Applicant after: China Energy International Development Investment Group Co.,Ltd.

Address before: Tower C, 7 / F, Jinlong center, 105 xianxinghai Road, new port, Macau, China

Applicant before: China Energy International Construction Investment Group Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230515

Address after: A18, Jinlong Center, 105 Xianxinghai Road, New Port, Macau, China

Applicant after: China Energy International High tech Research Institute Co.,Ltd.

Address before: Tower C, 7 / F, Jinlong center, 105 xianxinghai Road, new port, Macau, China

Applicant before: China Energy International Development Investment Group Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20240409

Address after: Room 4202, Building 2, No. 522 Duhui Road, Hengqin New District, Zhuhai City, Guangdong Province

Patentee after: Boyan Technology (Zhuhai) Co.,Ltd.

Country or region after: China

Address before: A18, Jinlong Center, 105 Xianxinghai Road, New Port, Macau, China

Patentee before: China Energy International High tech Research Institute Co.,Ltd.

Country or region before: ????

TR01 Transfer of patent right