CN110909665B - 一种多任务的图像处理方法、装置、电子设备及存储介质 - Google Patents

一种多任务的图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110909665B
CN110909665B CN201911142761.XA CN201911142761A CN110909665B CN 110909665 B CN110909665 B CN 110909665B CN 201911142761 A CN201911142761 A CN 201911142761A CN 110909665 B CN110909665 B CN 110909665B
Authority
CN
China
Prior art keywords
sample image
heat map
image
human body
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911142761.XA
Other languages
English (en)
Other versions
CN110909665A (zh
Inventor
刘思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911142761.XA priority Critical patent/CN110909665B/zh
Publication of CN110909665A publication Critical patent/CN110909665A/zh
Application granted granted Critical
Publication of CN110909665B publication Critical patent/CN110909665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种多任务的图像处理方法、装置、电子设备及存储介质，涉及图像处理领域。该方法包括：获得待处理的目标图像；将目标图像输入至预先训练的神经网络模型，得到目标图像的人像蒙版和每个人体关键点的热度图；所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；根据目标图像中每个人体关键点的热度图，确定目标图像中每个人体关键点的坐标；根据目标图像的人像蒙版，对目标图像进行人像分割，得到分割结果。通过本方案可实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。

Description

一种多任务的图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种多任务的图像处理方法、装置、电子设备及存储介质。
背景技术
人体关键点识别和人像分割是图像处理领域中较为重要的两类图像处理任务。其中，人体关键点是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。而人像分割是指将图像中的人像和背景进行分离，分成不同的区域。并且，人像分割主要应用于图像前景背景替换和背景虚化等美化操作。
现有技术中，人体关键点识别和人像分割是独立实现的两个任务。并且，人体关键点识别和人像分割的处理流程均为利用预先训练的相应的神经网络模型，来得到的相应的图像处理结果。
发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
在同时存在人体关键点识别和人像分割的任务需求时，按照现有技术中独立完成每一任务的方式，会存在整体计算量较大的问题。
发明内容
本发明实施例的目的在于提供一种多任务的图像处理方法、装置、电子设备及存储介质，以实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种多任务的图像处理方法，包括：
获得待处理的目标图像；
将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；
根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；
根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
可选地，所述神经网络模型的训练过程包括：
获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图，并且，使得所述人像蒙版生成网络基于所接收到的特征矩阵，生成该样本图像的预测人像蒙版；
基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，并将所述样本图像的人像蒙版输入至所述热度图生成网络；相应的，所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵以及所述人像蒙版生成网络所输出的人像蒙版，生成所述样本图像中每个人体关键点的热度图；
或者，
所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，并将所述样本图像中每个人体关键点的热度图输入至所述人像蒙版生成网络；相应的，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵以及所述热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成所述样本图像的人像蒙版。
可选地，所述针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤之前，所述训练过程还包括：
针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；
针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤，包括：
针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型；
所述将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤之前，所述方法还包括：
对所述目标图像的图像矩阵中的每一元素进行归一化处理，得到所述目标图像的归一化后的图像矩阵；
所述将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤，包括：
将所述目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图。
第二方面，本发明实施例提供了一种多任务的图像处理装置，包括：
图像获得模块，用于获得待处理的目标图像；
图像处理模块，用于将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；
关键点识别模块，用于根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；
图像分割模块，用于根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
可选地，所述神经网络模型通过模型训练模块训练得到；其中，所述模型训练模块包括：
图像获得子模块，用于获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
热度图生成子模块，用于针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
数据处理子模块，用于针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述人像蒙版生成网络基于所接收到的特征矩阵生成该样本图像的预测人像蒙版，并且，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图；
损失值计算子模块，用于基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，并将所述样本图像的人像蒙版输入至所述热度图生成网络；相应的，所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵以及所述人像蒙版生成网络所输出的人像蒙版，生成所述样本图像中每个人体关键点的热度图；
或者，
所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，并将所述样本图像中每个人体关键点的热度图输入至所述人像蒙版生成网络；相应的，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵以及所述热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成所述样本图像的人像蒙版。
可选地，所述模型训练模块还包括：
预处理子模块，用于在针对每个样本图像，将该样本图像输入至训练中的神经网络模型之前，针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；
所述数据处理子模块，具体用于针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型；
所述装置还包括：
归一化模块，用于所述图像处理模块将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤之前，对所述目标图像的图像矩阵中的每一元素进行归一化处理，得到所述目标图像的归一化后的图像矩阵；
所述图像处理模块将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图，包括：
将所述目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一多任务的图像处理方法的步骤。
第四方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一多任务的图像处理方法的步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一多任务的图像处理方法的步骤。
本发明实施例所提供方案中，通过同一神经网络模型同时提取目标图像的人像蒙版和每一人体关键点的热度图，并且，神经网络模型生成人像蒙版和热度图所需的特征矩阵为经过同一网络结构所提取的同一特征矩阵，也就是说目标图像的特征矩阵仅仅提取一次即可。可见，由于多任务的图像处理通过整合后的神经网络模型完成，而整合后的神经网络模型中不存在重复的数据计算，因此，相对于现有技术，通过本方案可以实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。另外，由于整体计算量得到降低，因此，多任务的图像处理所需的功耗得到降低，以及图像处理的整体速度得到提升。并且，相对于现有技术中的两个神经网络模型，本发明实施例中利用整合后的一个神经网络模型，这样，可以使得整体网络结构得到很大简化。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种多任务的图像处理方法的流程图；
图2为本发明实施例所提供的一种神经网络模型的训练过程的流程图；
图3(a)为本发明实施例示例性给出的一种人像蒙版的示意图；
图3(b)为本发明实施例示例性给出的一种神经网络模型的结构示意图；
图3(c)为图3(b)所示神经网络模型的训练过程的原理图；
图3(d)为本发明实施例示例性给出的一种神经网络模型的另一结构示意图；
图3(e)为图3(d)所示神经网络模型的训练过程的原理图；
图3(f)为本发明实施例示例性给出的一种神经网络模型的另一结构示意图；
图3(g)为图3(f)所示神经网络模型的训练过程的原理图；
图3(h)为示例性给出的标注有人体关键点的图像的示意图；
图3(I)为示例性给出的图3(h)所示图像对应的分布图的示意图；
图4为本发明实施例所提供的一种多任务的图像处理装置的结构示意图；
图5为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的，本发明实施例提供了一种多任务的图像处理方法。
其中，本发明实施例所提供的一种多任务的图像处理方法可以为一种多任务的图像处理装置。该图像处理装置可以应用于电子设备中。在具体应用中，该电子设备可以为终端设备或者服务器，这都是合理的。并且，该图像处理装置可以为专门的应用软件或者现有应用软件中的插件。
并且，任一图像中的人体关键点用于定位该图像中人体的身体关键部位，例如：头部、颈部、肩部、手部、腿部和/或脚部等部位；并且，针对任一身体关键部位，在定位该身体关键部位时，所需要的关键点可以为一个或多个。另外，所谓的人像蒙版为：选区为人像区域的蒙版；并且，人像蒙版的选区的像素点为白色，而非选区的像素点为黑色，如图3(a)所示的人像蒙版。并且，在具体应用中，为了降低模型复杂度，神经网络模型所输出的人像蒙版的尺寸可以小于神经网络模型的输入内容的尺寸；当然，该神经网络模型所输出的人像蒙版的尺寸也可以不小于神经网络模型的输入图像的尺寸。
如图1所示，本发明实施例所提供的一种多任务的图像处理方法，可以包括如下步骤：
S101，获得待处理的目标图像；
其中，待人像分割的目标图像可以为视频中的视频帧，也可以为任意的存在人像分割需求的图像，本发明实施例对此不做限定。
并且，该待人像分割的目标图像的获得方式可以包括：人工手动上传的方式，也可以为从视频中或者多张图像中自动抽取的方式，这都是合理的。
S102，将该目标图像输入至预先训练的神经网络模型，得到该目标图像的人像蒙版，以及该目标图像中每个人体关键点的热度图；
在同时存在人体关键点识别和人像分割的任务需求时，本实施例中，并非将目标图像分别输入至相应的模型从而独立完成每一任务，而是，将目标图像输入至预先训练的同一神经网络模型，通过该同一神经网络模型的处理，得到该目标图像的人像蒙版，以及该目标图像中每个人体关键点的热度图。
其中，该神经网络模型为基于样本图像、该样本图像的真值人像蒙版以及该样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；具体的，该神经网络模型可以包括：顺次连接的特征提取网络和分支网络组，该分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；该特征提取网络用于提取该样本图像的特征矩阵；该人像蒙版生成网络用于基于该样本图像的特征矩阵，生成该样本图像的人像蒙版；该热度图生成网络用于基于该样本图像的特征矩阵，生成该样本图像中每个人体关键点的热度图。
基于该种神经网络模型的结构，在训练过程中，该神经网络模型生成人像蒙版和热度图所需的该样本图像的特征矩阵为经过同一网络结构所提取的同一特征矩阵。可以理解的是，由于该神经网络模型生成人像蒙版和热度图所需的特征矩阵为经过同一网络结构所提取的同一特征矩阵，这样使得多个任务处理过程中，仅仅需要提取一次特征矩阵即可。基于上述的神经网络模型的描述可知，该神经网络模型在生成人像蒙版和热度图时所需的该目标图像的特征矩阵为经过同一网络结构所提取的同一特征矩阵。
为了方便理解，如图3(b)给出了神经网络模型的结构示意图。如图3(b)所示，该神经网络模型可以包括：顺次连接的特征提取网络和分支网络组，该分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；该特征提取网络用于提取该样本图像的特征矩阵；该人像蒙版生成网络用于基于该样本图像的特征矩阵，生成该样本图像的人像蒙版；该热度图生成网络用于基于该样本图像的特征矩阵，生成该样本图像中每个人体关键点的热度图。
其中，该特征提取网络可以包括但不局限于如下网络：LeNet、AlexNet、VGG、GoogLeNet、ResNet、MobileNet等特征提取网络。另外，该人像蒙版生成网络和该热度图生成网络通过卷积组实现，其中，卷积组中的卷积网络的数量，以及卷积网络的Stride步长和卷积核，可以根据实际情况设定，在此不做赘述。
示例性的，人像蒙版生成网络由γ个卷积网络组成，γ个卷积网络中，第一个卷积网络可以为一个步长Stride为s1，卷积核为3*3的卷积，其余的卷积网络为Stride为1，卷积核为3*3的卷积。其中，s1为人像蒙版生成网络的输入内容的横向尺寸与输出内容的横向尺寸的比值，示例性的，假设特征矩阵的尺寸为wf×hf，而人像蒙版的尺寸为wo×ho，那么，s1＝wf/wo
示例性的，热度图生成网络由δ个卷积网络组成，δ个卷积网络中，第一个卷积网络可以为一个步长Stride为s2，卷积核为3*3的卷积，其余的卷积网络为Stride为1，卷积核为3*3的卷积。s2为热度图生成网络的输入内容的尺寸与输出内容的尺寸的比值。其中，s2为热度图生成网络的输入内容的横向尺寸与输出内容的横向尺寸的比值，示例性的，假设特征矩阵的尺寸为wf×hf，而热度图的尺寸为wo×ho，那么，s2＝wf/wo
可以理解的是，对于实时性要求较高的场景，上述的γ和δ可以均设置为1，而对于实时性要求不高而准确性要求高的场景，γ和δ的值可以为大于1的值，具体可以根据实际需求设定。
另外，可以理解的是，如果目标图像的尺寸与神经网络模型的输入内容的尺寸不一致，可以将目标图像的尺寸调整为该神经网络模型的输入内容的尺寸后，将调整尺寸的该目标图像输入至预先训练的神经网络模型，得到该目标图像的人像蒙版，以及该目标图像中每个人体关键点的热度图。
为了方案清楚及布局清晰，下文对本发明实施例中所涉及的神经网络模型的训练过程进行介绍。
S103，根据该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标；
在获得该目标图像中每个人体关键点的热度图后，可以基于预设的识别方式，根据该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标。
根据该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标的具体实现方式存在多种。示例性的，在一种实现方式中，根据该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标，可以包括如下步骤：
按照预定的第一计算公式，基于该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标；
其中，该预定的第一计算公式可以包括：
Ix＝hx×s1；
Iy＝hy×s2；
其中，Ix和Iy分别为关键点I的横坐标和纵坐标，hx和hy分别为关键点I的热度图中取值最大的像素点的横坐标和纵坐标；s1为x轴方向上该神经网络模型所输出热度图相对于该神经网络模型的输入图像的缩小系数，s2为y轴方向上该神经网络模型所输出的热度图相对于该神经网络模型的输入图像的缩小系数。
示例性的，在另一种实现方式中，还可以按照预定的第二计算公式，根据该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标。其中，该第二计算公式为基于第一计算公式所改进的公式，具体可以为：Ix＝hx×s1+R1；Iy＝hy×s2+R2；其中，R1和R2为预设的修正因子。
上述的关于所述根据该目标图像中每个人体关键点的热度图，确定该目标图像中每个人体关键点的坐标的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定，任一种能够基于人体关键点的热度图来得到人体关键点的坐标的实现方式，均可以应用于本发明实施例。
S104，根据该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果。
在获得该目标图像的人像蒙版后，可以利用该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果。
由于目标图像的人像蒙版可以与目标图像的尺寸相同或不同，因为，为了实现有效的人像分割，在一种实现方式中，所述根据该目标图像的人像蒙版，对该目标图像进行人像分割，得到分割结果，可以包括：
将该目标图像的人像蒙版的尺寸调整为目标图像的尺寸，得到调整后的人像蒙版；
利用调整后的人像蒙版，分割该目标图像中的人像，得到分割结果。
其中，对目标图像的人像蒙版进行尺寸调整时所利用的调整方式可以为任一种能够实现尺寸调整的方式。例如：可以通过双线性插值方式，将目标图像的人像蒙版的尺寸调整为该目标图像的尺寸，当然并不局限于此。
另外，利用调整后的人像蒙版，分割目标图像中的人像的方式可以为：将目标图像中，与调整后的人像蒙版的选区相对应的图像区域，作为人像区域。
本发明实施例所提供方案中，通过同一神经网络模型同时提取目标图像的人像蒙版和每一人体关键点的热度图，并且，神经网络模型生成人像蒙版和热度图所需的特征矩阵为经过同一网络结构所提取的同一特征矩阵，也就是说目标图像的特征矩阵仅仅提取一次即可。可见，由于多任务的图像处理通过整合后的神经网络模型完成，而整合后的神经网络模型中不存在重复的数据计算，因此，相对于现有技术，通过本方案可以实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。另外，由于整体计算量得到降低，因此，多任务的图像处理所需的功耗得到降低，以及图像处理的整体速度得到提升。并且，相对于现有技术中的两个神经网络模型，本发明实施例中利用整合后的一个神经网络模型，这样，可以使得整体网络结构得到很大简化。
为了方案清楚及布局清晰，下文对本发明实施例中所涉及的神经网络模型的训练过程进行介绍。
以图3(b)所示的神经网络模型的结构为例，对本发明实施例所提供的神经网络模型的训练过程进行介绍。如图2所示，该神经网络模型的训练过程包括：
S201，获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
其中，样本图像的尺寸可以为神经网络模型的输入内容所具有的尺寸，也可以不为神经网络模型的输入内容所具有的尺寸，这都是合理的。并且，本实施例中，每个样本图像的真值人像蒙版为：用于与神经网络模型所输出的人像蒙版计算差异的蒙版，其中，真值人像蒙版的的尺寸与神经网络模型所输出的人像蒙版尺寸相同。需要强调的是，该神经网络模型的输入内容所具有的尺寸为用于提取图像特征的输入内容的尺寸；并且，在从样本图像中所提取的人像蒙版与神经网络模型所输出的人像蒙版尺寸不一致时，可以调整从样本图像中所提取的人像蒙版的尺寸，从而得到样本图像的真值人像蒙版。
另外，每个样本图像的真值人像蒙版的生成方式可以为任一种能够生成人像蒙版的方式，例如：可以通过人工标注人像轮廓的方式，生成样本图像的人像蒙版，进而，对所生成的人像蒙版进行尺寸调整，得到真值人像蒙版，当然并不局限于此。而每个样本图像中每个人体关键点的坐标可以通过人工标注方式获得，或者，任一种能够识别关键点的方式所获得，当然并不局限于此。
S202，针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
其中，所生成的每个人体关键点的真值热度图的尺寸与该神经网络模型所输出的热度图的尺寸相同。
为了方案清楚，下面举例介绍样本图像中任一人体关键点的真值热度图的生成方式。
示例性的，在一种实现方式中，样本图像中任一人体关键点的真值热度图的生成方式，可以包括：
生成一个矩阵M，矩阵M的尺寸与待生成真值热度图的尺寸相同，且矩阵M中每个点具有预定的初始值；
遍历该矩阵M中的每一点，在遍历到每一点时，按照预定的第一公式，计算该点的取值参考值，如果该点的取值参考值大于预定阈值，将该点在该矩阵M中的取值设置为0，否则，按照预定的第二公式，计算该点的取值，将该点在该矩阵M中的取值设置为所计算的取值；
在遍历完毕该矩阵M中所有点后，将当前的该矩阵M，作为该人体关键点的真值热度图；
所述第一公式可以为：
Figure BDA0002281395390000131
其中，dab为该矩阵M中点P(b,a)的取值参考值，a为点P所在行的序号，b为该点P所在列的序号，
Figure BDA0002281395390000141
(xi′,yi′)为待生成真值热度图的关键点i在样本图像中的坐标；α1为x轴方向上该矩阵M相对于该人体关键点所在的该样本图像的缩小系数，α2为y轴方向上该矩阵M相对于该人体关键点所在样本图像的缩小系数；
该第二公式为：
Figure BDA0002281395390000142
其中，M[a][b]该点P的取值。
其中，该矩阵M的尺寸与真值热度图的尺寸相同。并且，该矩阵M中每个点的初始值可以为0，当然并不局限于此，例如：初始值可以为1、10、100等等，这都是合理的。另外，x轴方向上该矩阵M相对于该人体关键点所在的该样本图像的缩小系数即为：该人体关键点所在的该样本图像的横向尺寸/该矩阵M的横向尺寸；y轴方向上该矩阵M相对于该人体关键点所在样本图像的缩小系数即为：该人体关键点所在样本图像的纵向尺寸/该矩阵M的纵向尺寸。在具体应用中，α1和α2可以取值相同或不同。
S203，针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使该神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至该人像蒙版生成网络和该热度图生成模型，使得该人像蒙版生成网络基于所接收到的特征矩阵生成该样本图像的预测人像蒙版，并且，使得该热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图；
可以理解的是，样本图像的尺寸与神经网络模型的输入内容的尺寸不同时，可以将样本图像的尺寸调整为神经网络模型的输入内容的尺寸，然后，将调整尺寸后的样本图像输入至训练中的该神经网络模型。
S204，基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；
示例性的，基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值，包括：
针对每个样本图像，计算该样本图像的预测人像蒙版和真值人像蒙版的差异，得到该样本图像的第一损失值；
针对每个样本图像，计算该样本图像的每个人体关键点的真值热度图和预测热度图的差异，得到该样本图像的第二损失值；
将所计算得到的第一损失值和第二损失值加权或求平均，得到综合损失值。
其中，计算第一损失值和第二损失值所利用的损失函数可以包括但不局限于：平方损失函数、对数损失函数或指数损失函数，等等。另外，各个第一损失值对应的权重和各个第二损失值的权重可以根据实际情况设定，例如：根据人体关键点和人像蒙版各自的精准度要求设定，精准度要求高的，权重设置大些，在此不做限定。
S205，基于该综合损失值，判断训练中的该神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整该神经网络模型的网络参数，继续训练该神经网络模型。
其中，基于该综合损失值，判断训练中的该神经网络模型是否收敛具体可以为：判断该综合损失值是否小于预设阈值，如果小于，判定训练中的该神经网络模型收敛，否则，判定训练中的该神经网络模型未收敛。当判定训练中的该神经网络模型未收敛时，可以调整该神经网络模型的网络参数，继续训练该神经网络模型。所谓继续训练该神经网络模型，即返回S203。
针对上述过程，为了方便理解方案，对上述的训练过程中所涉及的各个图像和矩阵的大小关系进行说明：
假设样本图像的图像尺寸为wimage×himage，样本图像的人像蒙版的图像尺寸为：wimage×himage；并且，神经网络模型的输入内容尺寸为wi×hi，神经网络模型所输出的人像蒙版和热度图的尺寸为：wo×ho；样本图像的真值人像蒙版的图像尺寸为wimage×himage；
那么，在将样本图像输入至训练中的神经网络之前，将样本图像的尺寸调整为wi×hi，此时，调整后的样本图像作为待输入至神经网络模型的内容，且调整后的样本图像的矩阵的维度为：wi×hi×3。并且，根据样本图像中每个人体关键点的坐标所生成的真值热度图的尺寸为wo×ho，且真值热度图的矩阵的维度为wo×ho×1。另外，将样本图像的人像蒙版的尺寸调整为wo×ho，得到样本图像的真值人像蒙版，且真值人像蒙版的矩阵的维度为：wo×ho×1。
为了进一步理解训练过程，图3(c)给出了训练过程的原理示意图。其中，在图3(c)中，预处理1用于：将样本图像的人像蒙版进行尺寸调整，得到真值人像蒙版；预处理2用于：根据样本图像中每个人体关键点的坐标生成真值热度图；预处理3用于：将样本图像的进行尺寸调整，得到待输入至神经网络模型的样本图像；而α,β为加权计算时第一损失值和第二损失值对应的权重。另外，从综合损失值处所引出的带有箭头的虚线所指向的对象为：模型参数需要调整的对象，即特征提取网络、人像蒙版生成网络和热度图生成网络。
可选地，为了进一步提高处理速率，在基于图3(b)上述的实现方式的基础上，如图3(d)所示，该神经网络模型中，所述人像蒙版生成网络具体用于基于样本图像的特征矩阵，生成样本图像的人像蒙版，并将样本图像的人像蒙版输入至热度图生成网络；热度图生成网络具体用于基于样本图像的特征矩阵以及人像蒙版生成网络所输出的人像蒙版，生成样本图像中每个人体关键点的热度图。也就是说，该人像蒙版生成网络基于该样本图像的特征矩阵，生成该样本图像的人像蒙版，包括：基于样本图像的特征矩阵，生成样本图像的人像蒙版，并将样本图像的人像蒙版输入至热度图生成网络；相应的，热度图生成网络基于所述样本图像的特征矩阵，生成样本图像中每个人体关键点的热度图，包括：基于样本图像的特征矩阵以及人像蒙版生成网络所输出的人像蒙版，生成样本图像中每个人体关键点的热度图。
相应的，如图3(d)所示的神经网络模型的训练过程可以包括：
步骤A1，获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
步骤A2，针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
步骤A3，针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使该神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至该人像蒙版生成网络和该热度图生成模型，使得该人像蒙版生成网络基于所接收到的特征矩阵生成该样本图像的预测人像蒙版，并将所生成的人像蒙版输入至该热度图生成网络，并且，使得该热度图生成网络基于所接收到的特征矩阵和预测人像蒙版，生成该样本图像中每个人体关键点的预测热度图。
步骤A4，基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；
步骤A5，基于该综合损失值，判断训练中的该神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整该神经网络模型的网络参数，继续训练该神经网络模型。
上述的步骤A1-步骤A2，与上述的步骤S201-S202相同，在此不做赘述；并且，上述的步骤A4-步骤A5与上述的步骤S204-步骤S205相同，在此不做赘述。
在步骤A3中，样本图像的尺寸与神经网络模型的输入内容的尺寸不同时，可以将样本图像的尺寸调整为神经网络模型的输入内容的尺寸，然后，将调整尺寸后的样本图像输入至训练中的该神经网络模型。
并且，该热度图生成网络基于所接收到的特征矩阵和预测人像蒙版，生成该样本图像中每个人体关键点的预测热度图的过程可以包括：将特征矩阵与预测人像蒙版的图像矩阵进行数据拼接，得到拼接矩阵，进而利用该拼接矩阵生成该样本图像中每个人体关键点的预测热度图。其中，关于特征矩阵与预测人像蒙版的图像矩阵进行数据拼接为在第三轴的拼接，即关于图像尺寸的两轴不变，在关于通道尺寸的一轴进行拼接。
为了进一步理解图3(d)所示的神经网络模型的训练过程，图3(e)给出了训练过程的原理示意图。其中，在图3(e)中，预处理1用于：将样本图像的人像蒙版进行尺寸调整，得到真值人像蒙版；预处理2用于：根据样本图像中每个人体关键点的坐标生成真值热度图；预处理3用于：将样本图像的进行尺寸调整，得到待输入至神经网络模型的样本图像；而α,β为加权计算时第一损失值和第二损失值对应的权重。另外，从综合损失值处所引出的带有箭头的虚线所指向的对象为：模型参数需要调整的对象，即特征提取网络、人像蒙版生成网络和热度图生成网络。
可选地，为了进一步提高处理速率，在基于图3(b)上述的实现方式的基础上，如图3(f)所示，该神经网络模型中，该热度图生成网络具体用于基于样本图像的特征矩阵，生成样本图像中每个人体关键点的热度图，并将样本图像中每个人体关键点的热度图输入至人像蒙版生成网络；人像蒙版生成网络具体用于基于样本图像的特征矩阵以及热度图生成网络所生成的该样本图像中每个人体关键点的热度图，生成该样本图像的人像蒙版。也就是说，热度图生成网络基于样本图像的特征矩阵，生成样本图像中每个人体关键点的热度图，包括：基于样本图像的特征矩阵，生成样本图像中每个人体关键点的热度图，并将样本图像中每个人体关键点的热度图输入至人像蒙版生成网络；相应的，人像蒙版生成网络基于所述样本图像的特征矩阵，生成样本图像的人像蒙版，包括：基于样本图像的特征矩阵以及热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成样本图像的人像蒙版。
相应的，如图3(f)所示的神经网络模型的训练过程可以包括：
步骤B1，获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
步骤B2，针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
步骤B3，针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使该神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至该人像蒙版生成网络和该热度图生成模型，使得该热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图，并将该样本图像中每个人体关键点的预测热度图输入至人像蒙版生成网络，并且，使得该人像蒙版生成网络基于所接收到的特征矩阵，以及，该样本图像中每个人体关键点的预测热度图，生成该样本图像的预测人像蒙版。
步骤B4，基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；
步骤B5，基于该综合损失值，判断训练中的该神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整该神经网络模型的网络参数，继续训练该神经网络模型。
上述的步骤B1-步骤B2，与上述的步骤S201-S202相同，在此不做赘述；并且，上述的步骤B4-步骤B5与上述的步骤S204-步骤S205相同，在此不做赘述。
在步骤B3中，样本图像的尺寸与神经网络模型的输入内容的尺寸不同时，可以将样本图像的尺寸调整为神经网络模型的输入内容的尺寸，然后，将调整尺寸后的样本图像输入至训练中的该神经网络模型。
并且，该人像蒙版生成网络基于所接收到的特征矩阵，以及，该样本图像中每个人体关键点的预测热度图，生成该样本图像的预测人像蒙版的实现方式存在多种。
示例性的，在一种实现方式中，该人像蒙版生成网络基于所接收到的特征矩阵，以及，该样本图像中每个人体关键点的预测热度图，生成该样本图像的预测人像蒙版，可以包括：
该人像蒙版生成网络将所接收到的特征矩阵与该样本图像中每个人体关键点的预测热度图的图像矩阵进行数据拼接，得到一个拼接矩阵，进而利用该拼接矩阵生成该样本图像的预测人像蒙版。其中，关于特征矩阵与各个预测热度图的图像矩阵的数据拼接为在第三轴的拼接，即关于图像尺寸的两轴不变，在关于通道尺寸的一轴进行拼接。
示例性的，在另一种实现方式中，该人像蒙版生成网络基于所接收到的特征矩阵，以及，该样本图像中每个人体关键点的预测热度图，生成该样本图像的预测人像蒙版，可以包括：
该人像蒙版生成网络根据该样本图像中每个人体关键点的预测热度图，确定该样本图像中每个人体关键点的坐标，利用该样本图像中每个人体关键点的坐标，生成该样本图像中人像躯干的概率分布图；并将所接收到的特征矩阵与该概率分布图的图像矩阵进行数据拼接，得到一个拼接矩阵，进而利用该拼接矩阵生成该样本图像的预测人像蒙版。其中，关于特征矩阵与概率分布图的图像矩阵的数据拼接为在第三轴的拼接，即关于图像尺寸的两轴不变，在关于通道尺寸的一轴进行拼接。
其中，样本图像中人像躯干的概率分布图为一图像，该图像中每个像素点的取值为该像素点属于目标躯干的概率，该目标躯干为该样本图像中人像躯干映射到该图像中的躯干。下面对生成样本图像中人像躯干的概率分布图的方式进行举例介绍。
示例性的，生成样本图像中人像躯干的概率分布图的方式，包括：
生成一个具有第一尺寸的初始矩阵；第一尺寸为特征矩阵所具有的尺寸；
从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合；其中，该坐标组合包含两个坐标；
将该坐标组合包含的两个坐标映射到该初始矩阵中，得到第一映射坐标和第二映射坐标；
确定该初始矩阵中的搜索区域，该搜索区域为包含该第一映射坐标对应元素和该第二映射坐标对应元素的区域；计算该搜索区域内各个元素到该搜索区域内目标直线的距离，根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值，并返回从该样本图像的人体关键点的坐标中，选取未被映射处理的坐标组合的步骤；其中，该目标直线为该第一映射坐标对应元素和第二映射坐标对应元素构成的直线；
在该样本图像的人体关键点的坐标中，不存在未被映射处理的坐标组合时，针对该矩阵中的每一元素，将该元素属于人像躯干中的点的各个概率值进行累加，得到累加值，将该累加值作为该元素的取值。
上述的“第一映射坐标”中的“第一”和“第二映射坐标”中的“第二”仅仅用于从命名上区分：将坐标组合包含的两个坐标映射到初始矩阵所得到的两个映射坐标，并不具有任何限定性意义。
示例性的，确定初始矩阵中的搜索区域所利用的公式包括：
x_max＝min(max(a.x,b.x)+PD,W)；
x_min＝max(0,min(a.x,b.x)-PD)；
y_max＝min(max(a.y,b.y)+PD,H)；
y_min＝max(0,min(a.y,b.y)-PD)；
其中，(x_max，y_max)为搜索区域的右上角的元素的坐标，(x_min，y_min)为搜索区域的左下角的元素的坐标，(a.x,a.y)为第一映射坐标，(b.x,b.y)为第二映射坐标，max()为从给定参数中选取最大值的函数，min()为用于从给定参数中选取最小值的函数，W和H分别为该样本图像对应的概率分布图的宽度和高度，PD为预设的外扩参数。
其中，该预设的外扩参数的取值可以根据实际情况设定，在此不做限定。上述的确定初始矩阵中包含两个映射坐标对应元素的搜索区域所利用的公式中，第一个公式用于确定搜索区域的右上角的横坐标，第二个公式用于确定搜索区域的左下角的横坐标，第三个公式用于确定搜索区域的右上角的纵坐标，第四个公式用于确定搜索区域的左下角的纵坐标。由于搜索区域的右上角的坐标和左下角的坐标被确定出，因此，该搜索区域被确定得到。
另外，计算该搜索区域内各个元素到该搜索区域内目标直线的距离所利用的公式包括：
Figure BDA0002281395390000211
其中，di为待计算距离的元素i到目标直线的距离，(x,y)为该元素i的坐标，A＝b.y-a.y，B＝a.x-b.x，C＝b.x×a.y-a.x×b.y，(a.x,a.y)为第一映射坐标，(b.x,b.y)为第二映射坐标映射坐标；
所述根据所计算得到的距离，确定各个元素属于人像躯干中的点的概率值所利用的公式为：
Figure BDA0002281395390000212
其中，pi为待计算概率的元素i属于人像躯干中的点的概率值，α为预设的调节参数。并且，α的取值为1～20中的任一整数数值。
另外，该样本图像的人体关键点的坐标为多个，可以存在多种包含两个坐标的坐标组合。如果一坐标组合中存在一个坐标未被映射处理，则可认为该坐标组合为未被映射处理的坐标组合。并且，所谓的将该坐标组合包含的一坐标(x,y)映射到初始矩阵所利用的公式为：xi≈x/S1，yi≈y/s2，(xi，yi)为该坐标对应的映射坐标，s1为x轴方向上初始矩阵相对于该坐标所属图像的缩放系数，s2为y轴方向上初始矩阵相对于该坐标所属图像的缩放系数。
为了方便理解样本图像的人体关键点、样本图像中人像躯干的概率分布图的图像关系，图3(h)和图3(I)示例性的给出了标注有人体关键点的一图像、该图像中人像躯干的概率分布图的示意图。其中，图3(h)中各个人体关键点进行了从1-11的标号；图3(I)中通过白色像素点表征取值超过预定概率阈值的像素点，通过黑色像素点为取值未超过预定概率阈值的像素点。其中，预定概率阈值为用于区分是否属于躯干的判定标准。
为了进一步理解图3(f)所示的神经网络模型的训练过程，图3(g)给出了训练过程的原理示意图。在图3(g)中，预处理1用于：将样本图像的人像蒙版进行尺寸调整，得到真值人像蒙版；预处理2用于：根据样本图像中每个人体关键点的坐标生成真值热度图；预处理3用于：将样本图像的进行尺寸调整，得到待输入至神经网络模型的样本图像；而α,β为加权计算时第一损失值和第二损失值对应的权重。另外，从综合损失值处所引出的带有箭头的虚线所指向的对象为：模型参数需要调整的对象，即特征提取网络、人像蒙版生成网络和热度图生成网络。
另外，可以理解的是，为了进一步简化计算，上述的每一训练过程中，所述针对每个样本图像，将该样本图像输入至训练中的神经网络模型，得到该样本图像的预测人像蒙版和该样本图像中每个人体关键点的预测热度图的步骤之前，还包括：
针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；
针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤，包括：
针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型，得到该样本图像的预测人像蒙版和该样本图像中每个人体关键点的预测热度图；
相应的，将该目标图像输入至预先训练的神经网络模型，得到该目标图像的人像蒙版，以及该目标图像中每个人体关键点的热度图的步骤之前，本发明实施例所提供的方法还可以包括：
对该目标图像的图像矩阵中的每一元素进行归一化处理，得到该目标图像的归一化后的图像矩阵；
所述将该目标图像输入至预先训练的神经网络模型，得到该目标图像的人像蒙版，以及该目标图像中每个人体关键点的热度图的步骤，包括：
将该目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到该目标图像的人像蒙版，以及该目标图像中每个人体关键点的热度图。
其中，上述的归一化处理为将数据简化到(0,1)内，或者，(-1,1)内。
示例性的，针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵，可以包括：
针对每个样本图像，将该样本图像的图像矩阵中的每一元素i执行如下操作，得到归一化后的图像矩阵：
i＝(i/255.0-0.5)*2.0。
通过上述的操作，该样本图像的图像矩阵中的每一元素i，被映射到(-1,1)之间，从而达到了简化计算的目的。
相应于上述方法实施例，本发明实施例提供了一种多任务的图像处理装置。如图4所示，本发明实施例所提供的一种多任务的图像处理装置，可以包括：
图像获得模块410，用于获得待处理的目标图像；
图像处理模块420，用于将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；
关键点识别模块430，用于根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；
图像分割模块440，用于根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。
本发明实施例所提供方案中，通过同一神经网络模型同时提取目标图像的人像蒙版和每一人体关键点的热度图，并且，神经网络模型生成人像蒙版和热度图所需的特征矩阵为经过同一网络结构所提取的同一特征矩阵，也就是说目标图像的特征矩阵仅仅提取一次即可。可见，由于多任务的图像处理通过整合后的神经网络模型完成，而整合后的神经网络模型中不存在重复的数据计算，因此，相对于现有技术，通过本方案可以实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。另外，由于整体计算量得到降低，因此，多任务的图像处理所需的功耗得到降低，以及图像处理的整体速度得到提升。并且，相对于现有技术中的两个神经网络模型，本发明实施例中利用整合后的一个神经网络模型，这样，可以使得整体网络结构得到很大简化。
可选地，所述神经网络模型通过模型训练模块训练得到；其中，所述模型训练模块包括：
图像获得子模块，用于获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
热度图生成子模块，用于针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
数据处理子模块，用于针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述人像蒙版生成网络基于所接收到的特征矩阵生成该样本图像的预测人像蒙版，并且，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图；
损失值计算子模块，用于基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，并将所述样本图像的人像蒙版输入至所述热度图生成网络；相应的，所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵以及所述人像蒙版生成网络所输出的人像蒙版，生成所述样本图像中每个人体关键点的热度图；
或者，
所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，并将所述样本图像中每个人体关键点的热度图输入至所述人像蒙版生成网络；相应的，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵以及所述热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成所述样本图像的人像蒙版。
可选地，所述模型训练模块还包括：
预处理子模块，用于在针对每个样本图像，将该样本图像输入至训练中的神经网络模型之前，针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；
所述数据处理子模块，具体用于针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型；
所述装置还包括：
归一化模块，用于所述图像处理模块将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤之前，对所述目标图像的图像矩阵中的每一元素进行归一化处理，得到所述目标图像的归一化后的图像矩阵；
所述图像处理模块将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图，包括：
将所述目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图。
另外，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例所提供的任一多任务的图像处理方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一多任务的图像处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一多任务的图像处理方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种多任务的图像处理方法，其特征在于，包括：
获得待处理的目标图像；
将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；
根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；
根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果；
所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，并将所述样本图像的人像蒙版输入至所述热度图生成网络；相应的，所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵以及所述人像蒙版生成网络所输出的人像蒙版，生成所述样本图像中每个人体关键点的热度图；
或者，
所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，并将所述样本图像中每个人体关键点的热度图输入至所述人像蒙版生成网络；相应的，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵以及所述热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成所述样本图像的人像蒙版。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：
获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图，并且，使得所述人像蒙版生成网络基于所接收到的特征矩阵，生成该样本图像的预测人像蒙版；
基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤之前，所述训练过程还包括：
针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；
针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤，包括：
针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型；
所述将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤之前，所述方法还包括：
对所述目标图像的图像矩阵中的每一元素进行归一化处理，得到所述目标图像的归一化后的图像矩阵；
所述将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤，包括：
将所述目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图。
4.一种多任务的图像处理装置，其特征在于，包括：
图像获得模块，用于获得待处理的目标图像；
图像处理模块，用于将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；
关键点识别模块，用于根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；
图像分割模块，用于根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果；
所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，并将所述样本图像的人像蒙版输入至所述热度图生成网络；相应的，所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵以及所述人像蒙版生成网络所输出的人像蒙版，生成所述样本图像中每个人体关键点的热度图；
或者，
所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，并将所述样本图像中每个人体关键点的热度图输入至所述人像蒙版生成网络；相应的，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵以及所述热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成所述样本图像的人像蒙版。
5.根据权利要求4所述的装置，其特征在于，所述神经网络模型通过模型训练模块训练得到；其中，所述模型训练模块包括：
图像获得子模块，用于获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；
热度图生成子模块，用于针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；
数据处理子模块，用于针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述人像蒙版生成网络基于所接收到的特征矩阵生成该样本图像的预测人像蒙版，并且，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图；
损失值计算子模块，用于基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
6.根据权利要求5所述的装置，其特征在于，所述模型训练模块还包括：
预处理子模块，用于在针对每个样本图像，将该样本图像输入至训练中的神经网络模型之前，针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；
所述数据处理子模块，具体用于针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型；
所述装置还包括：
归一化模块，用于所述图像处理模块将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤之前，对所述目标图像的图像矩阵中的每一元素进行归一化处理，得到所述目标图像的归一化后的图像矩阵；
所述图像处理模块将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图，包括：
将所述目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一项所述的方法步骤。
CN201911142761.XA 2019-11-20 2019-11-20 一种多任务的图像处理方法、装置、电子设备及存储介质 Active CN110909665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911142761.XA CN110909665B (zh) 2019-11-20 2019-11-20 一种多任务的图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911142761.XA CN110909665B (zh) 2019-11-20 2019-11-20 一种多任务的图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110909665A CN110909665A (zh) 2020-03-24
CN110909665B true CN110909665B (zh) 2022-09-02

Family

ID=69816789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911142761.XA Active CN110909665B (zh) 2019-11-20 2019-11-20 一种多任务的图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110909665B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523468B (zh) * 2020-04-23 2023-08-08 北京百度网讯科技有限公司 人体关键点识别方法和装置
CN111724901A (zh) * 2020-06-19 2020-09-29 中山大学 一种基于视觉的结构体参数预测方法、系统、装置及存储介质
CN112749609B (zh) * 2020-07-23 2024-03-19 腾讯科技（深圳）有限公司 人体图像分割方法、装置、计算机设备及存储介质
CN113902827B (zh) * 2021-12-02 2022-03-22 北京鹰瞳科技发展股份有限公司 一种针对皮肤病的愈后效果预测系统、方法以及电子设备
CN114615520B (zh) * 2022-03-08 2024-01-02 北京达佳互联信息技术有限公司 字幕定位方法、装置、计算机设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术（北京）有限公司 对图像中人体进行分析的方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术（北京）有限公司 对图像中人体进行分析的方法、装置及电子设备
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multi-Scale Structure-Aware Network for;Lipeng Ke等;《arXiv》;20180916;全文 *

Also Published As

Publication number Publication date
CN110909665A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909665B (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
US10936911B2 (en) Logo detection
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
CN111027504A (zh) 人脸关键点检测方法、装置、设备及存储介质
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN113343982B (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
Wang et al. Multiscale deep alternative neural network for large-scale video classification
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN110929638A (zh) 一种人体关键点识别方法、装置及电子设备
CN111292334B (zh) 一种全景图像分割方法、装置及电子设备
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN113469989A (zh) 遥感影像中输电导线的提取方法、系统、设备及介质
CN110852351A (zh) 基于图像的垃圾分类方法、装置、终端设备和存储介质
CN112464860A (zh) 手势识别方法、装置、计算机设备及存储介质
CN110992371B (zh) 一种基于先验信息的人像分割方法、装置及电子设备
CN112465847A (zh) 一种基于预测清晰边界的边缘检测方法、装置及设备
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN115660969A (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN113014928B (zh) 一种补偿帧生成方法及装置
CN114639004A (zh) 多聚焦图像融合方法及装置
RU2773232C1 (ru) Способ и устройство для определения позы человека, устройство и носитель данных
CN111079624B (zh) 一种样本信息采集的方法、装置、电子设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant