CN116630362A - 模型训练、图像处理方法、设备及存储介质 - Google Patents

模型训练、图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN116630362A
CN116630362A CN202310526275.8A CN202310526275A CN116630362A CN 116630362 A CN116630362 A CN 116630362A CN 202310526275 A CN202310526275 A CN 202310526275A CN 116630362 A CN116630362 A CN 116630362A
Authority
CN
China
Prior art keywords
feature
foreground
correlation
feature map
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310526275.8A
Other languages
English (en)
Inventor
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310526275.8A priority Critical patent/CN116630362A/zh
Publication of CN116630362A publication Critical patent/CN116630362A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种模型训练、图像处理方法、设备及存储介质。在基于知识蒸馏的训练方法进行模型训练的过程中，获取老师模型和学生模型根据人像图像输出的特征图之后，可利用人像图像的结构特征，通过人像图像中前景区域和/或背景区域的结构相关性，确定学生模型与老师模型的特征相关性损失，该特征相关性损失，可用于表达学生模型与老师模型在特征表达方面的差距。从而，促使学生模型在老师模型的指导下不断学习不同区域的结构相关性以及对不同区域的特征表达能力，从而提高学生模型对前景与背景区域的区分能力，进一步提高学生模型的图像分割精度。

Description

模型训练、图像处理方法、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种模型训练、图像处理方法、设备及存储介质。
背景技术
随着人工智能技术的广泛普及，在移动端上部署神经网络模型成为一个强需求。例如，在教育、会议、直播等应用场景中，人像背景分割功能渐渐成为一个必备的功能。若将待分割的图像或者视频上传至服务器进行人像分割，则将增大处理耗时,并增加了网络传输成本性。但是，部分移动端和不带独立显存的个人电脑具有有限的算力，无法满足大模型实时处理的需求。
目前，存在一种基于知识蒸馏的神经网络模型训练方法。知识蒸馏能够在训练过程中，将复杂神经网络(老师网络)的一部分表征能力迁移到复杂度低的神经网络(学生网络)中，从而在不改变学生网络耗时的情况下，提高学生网络的预测效果。但是，现有的基于知识蒸馏方法训练出的学生网络的分割精度较差，有待提出一种新的解决方案。
发明内容
本申请的多个方面提供一种模型训练、图像处理方法、设备及存储介质，用以提高学生网络的图像分割精度。
本申请实施例提供一种图像处理方法，包括：获取待处理的人像图像；将所述待处理的人像图像输入图像分割模型，得到所述人像图像的分割结果；其中，所述图像分割模型基于所述图像分割模型与老师模型之间的特征相关性损失训练得到；所述特征相关性损失，包括：前景相关性误差，和/或，背景相关性误差；其中，所述前景相关性误差，根据人像图像样本中的前景区域的结构相关性，从所述老师模型提取到的第一特征图以及所述图像分割模型提取到的第二特征图中确定；所述背景相关性误差，根据人像图像样本中的背景区域的结构相关性，从所述第一特征图以及所述第二特征图中确定。
本申请实施例还提供一种模型训练方法，包括：将人像图像分别输入老师模型以及学生模型，得到第一特征图以及第二特征图；根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差；和/或，根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差；根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失；根据所述特征相关性损失，对所述学生模型进行训练，并在所述学生模型满足预设收敛条件时，输出训练完成的所述学生模型作为图像分割模型。
可选地，根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差，包括：根据所述人像图像上标注的分割真值，确定所述人像图像中的前景区域；分别确定所述人像图像中的前景区域在第一特征图中的第一前景特征相关度以及在所述前景区域在第二特征图中的第二前景特征相关度；根据所述第一前景特征相关度以及所述第二前景特征相关度的差值，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差。
可选地，确定所述人像图像中的前景区域在第一特征图中的第一前景特征相关度，包括：针对所述人像图像中的任意第一前景位置点以及第二前景位置点，分别确定所述第一前景位置点和所述第二前景位置点在第一特征图中对应的特征值，得到所述第一前景位置点的特征向量以及所述第二前景位置点的特征向量；根据所述第一前景位置点的特征向量以及所述第二前景位置点的特征向量的相似度，确定所述第一前景位置点以及所述第二前景位置点的前景特征相关度。
可选地，根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差，包括：根据所述人像图像上标注的分割真值，确定所述人像图像中的背景区域；分别确定所述人像图像中的背景区域在第一特征图中的第一背景特征相关度以及在第二特征图中的第二背景特征相关度；根据所述第一背景特征相关度以及所述第二背景特征相关度的差值，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差。
可选地，根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失，包括：计算所述第一特征图的全局特征关联度以及第二特征图的全局特征关联度；根据所述第一特征图的全局特征关联度以及所述第二特征图全局特征关联度的差值，确定全局空域损失；根据所述前景相关性误差、所述背景相关性误差以及所述全局空域损失的加权结果，确定所述老师模型以及所述学生模型的特征相关性损失。
可选地，计算所述第一特征图的全局特征关联度，包括：针对所述第一特征图中的任一通道的特征图，对所述人像图像中的像素点在所述特征图中对应的特征值进行均值归一化处理，得到所述特征图的全局特征关联度。
本申请实施例还提供一种终端设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的图像处理方法中的步骤。
本申请实施例还提供一种服务器，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的模型训练方法中的步骤。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本申请实施例提供的方法中的步骤。
本申请实施例中，在基于知识蒸馏的训练方法进行模型训练的过程中，获取老师模型和学生模型根据人像图像输出的特征图之后，可利用人像图像的结构特征，通过人像图像中前景区域和/或背景区域的结构相关性，确定学生模型与老师模型的特征相关性损失，该特征相关性损失，可用于表达学生模型与老师模型在特征表达方面的差距。从而，促使学生模型在老师模型的指导下不断学习不同区域的结构相关性以及对不同区域的特征表达能力，从而提高学生模型对前景与背景区域的区分能力，进一步提高学生模型的图像分割精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一示例性实施例提供的模型训练的流程示意图；
图2为本申请另一示例性实施例提供的模型训练的流程示意图；
图3为本申请一示例性实施例提供的图像处理方法的流程示意图；
图4为本申请一示例性实施例提供的终端设备的结构示意图；
图5为本申请一示例性实施例提供的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
针对现有技术中的基于知识蒸馏方法训练分割模型存在分割精度较低的技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。
图1是本申请一示例性实施例提供的模型训练方法的流程示意图，该方法可包括如图1所示的步骤：
步骤101、将人像图像分别输入老师模型以及学生模型，得到第一特征图以及第二特征图。
步骤102、根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差；和/或，根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差。
步骤103、根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失。
步骤104、根据所述特征相关性损失，对所述学生模型进行训练，并在所述学生模型满足预设收敛条件时，输出训练完成的所述学生模型作为图像分割模型。
本实施例中，采用知识蒸馏的方法对学生模型进行训练。知识蒸馏采取老师-学生模式，采用老师模型来辅助学生模型的训练。其中，老师模型，是指计算复杂度较大的神经网络模型。学生模型，是指计算复杂度较低的、轻量的神经网络模型。老师模型的学习能力较强，可以将它学到的知识迁移给学习能力相对弱的学生模型，以此来增强学生模型的泛化能力。学生模型通常具有较小的数据量以及计算量，因而更适用于运行在终端侧。学生模型在训练完成后，可灵活地部署在各类终端侧设备上，并轻量化运行。
其中，第一特征图是老师模型对人像图像进行特征提取得到的特征图，第二特征图是学生模型对人像图像进行特征提取得到的特征图。第一特征图和第二特征图具有相同尺寸。
人像图像包含前景区域以及背景区域，其中，前景区域是指图像中包含主体对象的像素集合，背景区域是指图像中不包含主体对象的像素集合。例如，人像图像中包含人体的像素集合为前景区域，不包含人体的像素集合为背景区域。
其中，人像图像标上标注有不同区域的真值(ground truth)。例如，在人像分割场景中，可在真值中将人像所属区域标注为1，将没有人像的背景区域标注为0；在人像抠图场景中，可将人体内部所属区域标注为1，将没有人像的区域标注为0，并将眼镜、头发丝或者运动模糊的区域标注为0到1之间的数值。基于标注的真值，可确定图像中的不同区域，并利用不同区域的结构相关性进行模型训练。
其中，人像图像中的前景区域的结构相关性，是指不同人像图像中的人像前景在结构上的共通性。人像图像中的背景区域的结构相关性，是指人像图像中背景区域在结构上的共通性。从宏观角度来看，当人像图像的数据集较大时，不同人像图像中的人像前景通常具有头部、四肢、躯干、五官等结构特征。而人像图像中背景区域通常是杂乱的，并不具备上述结构特征。人像前景中的上述结构特征使得人像前景区别于人像图像中的背景区域，因而位于人像前景中的像素具有一定的结构相关性。相应地，人像图像中位于背景区域的像素，也具有一定的结构相关性。
其中，老师模型在进行特征提取时，可使得提取出的特征能够表达人像前景中的像素的相关性。学生模型可通过知识迁移的方式，在老师模型的指导下学习特征表达能力，以使得提取出的特征能够表达人像前景中的像素的相关性。相应地，老师模型在进行特征提取时，可使得提取出的特征能够表达背景区域中的像素的相关性。学生模型可通过知识迁移的方式，在老师模型的指导下学习特征表达能力，以使得提取出的特征能够表达背景区域中的像素的相关性。
在一些实施例中，在训练的过程中，获取第一特征图以及第二特征图后，可根据人像图像中的前景区域的结构相关性，确定第一特征图和第二特征图在前景区域上的前景相关性误差。前景相关性误差，用于表达老师模型和学生模型在前景特征提取能力上的差异。基于前景相关性误差，可确定老师模型以及学生模型的特征相关性损失，并基于该相关性损失对学生模型进行训练。进而，老师模型学习到的前景特征表达能力可迁移到学生模型中，提高学生模型在前景特征提取方面的能力，从而提高学生模型的前景识别能力。
在另一些实施例中，在训练的过程中，获取第一特征图以及第二特征图后，可根据人像图像中的背景区域的结构相关性，确定第一特征图和第二特征图在背景区域上的背景相关性误差。前景相关性误差，用于表达老师模型和学生模型在背景特征提取能力上的差异。基于背景相关性误差，可确定老师模型以及学生模型的特征相关性损失，并基于该相关性损失对学生模型进行训练。进而，老师模型学习到的背景特征表达能力可迁移到学生模型中，提高学生模型在背景特征提取方面的能力，从而提高学生模型的背景识别能力。
在又一些实施例中，在训练的过程中，可获取上述前景相关性误差以及背景相关性误差，并根据前景相关性误差以及背景相关性误差，确定老师模型以及学生模型的特征相关性损失，并基于该相关性损失对学生模型进行训练。进而，老师模型学习到的前景特征表达能力以及背景特征表达能力可迁移到学生模型中，提高学生模型在前景特征以及背景特征提取方面的能力，从而提高学生模型前景与背景的识别、区分能力。
根据前景相关性误差和/或背景相关性误差对学生模型进行训练的过程中，可在每一轮训练结束后，判断学生模型是否满足预设的收敛条件。其中，该收敛条件可以包括：学生模型的总损失小于某一设定阈值，或者学生模型的总损失在某一范围内浮动。在学生模型满足该预设收敛条件时，输出训练完成的学生模型作为图像分割模型。
在基于知识蒸馏的训练方法进行模型训练的过程中，获取老师模型和学生模型根据人像图像输出的特征图之后，可利用人像图像的结构特征，通过人像图像中前景区域和/或背景区域的结构相关性，确定学生模型与老师模型的特征相关性损失，该特征相关性损失，可用于表达学生模型与老师模型在特征表达方面的差距。从而，促使学生模型在老师模型的指导下不断学习不同区域的结构相关性以及对不同区域的特征表达能力，从而提高学生模型对前景与背景区域的区分能力，进一步提高学生模型的图像分割精度。
以下将结合图2，对本申请实施例提供的模型训练方法进行进一步示例性说明。
在一些可选的实施例中，在确定第一特征图和第二特征图在前景区域上的前景相关性误差时，可根据人像图像标注的前景真值确定人像图像中的前景区域，并分别确定人像图像中的前景区域在第一特征图中的前景相关度(以下称为第一前景相关度)以及在第二特征图中的前景相关度(以下称为第二前景相关度)。根据第一前景相关度以及第二前景相关度，确定第一特征图和第二特征图在前景区域上的前景相关性误差，如图2所示。
其中，前景区域的特征相关度，可通过计算前景区域中任意两两位置点(即像素点)的特征相关度确定。其中，任意两两位置点的特征相关度，用于表示两两位置点的特征值之间的相关性。例如，若人像图像上的两个像素同属于像素同属于人体躯干部分，那么这两个像素的特征相关度较高；若人像图像中的两个像素分别属于人体躯干部分以及背景部分，则这两个像素的特征相关度较低。基于老师模型提取出的第一特征图，可计算前景中两两像素的特征相关度，并构成相关度图；基于学生模型提取出的第二特征图，可计算前景中两两像素的特征相关度，并构成相关度图，以用于后续进行知识蒸馏。
其中，两两像素的特征相关度，可由两两像素间的特征值计算得到。以下将进行示例性说明。
可选地，确定人像图像中的前景区域在第一特征图中的第一前景相关度时，可计算前景区域中的两两像素点在第一特征图中的相似性。以人像图像中的任意第一前景位置点以及第二前景位置点为例，可确定第一前景位置点在第一特征图中对应的特征值，得到第一前景位置点的特征向量，并可确定第二前景位置点在第一特征图中对应的特征值，得到第二前景位置点的特征向量。当第一特征图为多通道特征图时，第一前景位置点的特征向量可包含多个特征值，多个特征值按照通道顺序进行排列。同理，第二前景位置点的特征向量也可包含多个特征值，多个特征值按照通道顺序进行排列。
根据第一前景位置点的特征向量以及第二前景位置点的特征向量的相似度，确定第一前景位置点以及第二前景位置点的前景相关度。其中，该相似度可基于余弦距离、欧几里得距离(Euclidean Distance)以及杰卡德距离(Jaccard Distance)中的至少一种算法计算得到，本实施例不做限制。在一些示例性的实施例中，在老师模型提取到的第一特征图中，第一前景位置点的特征向量以及第二前景位置点的特征向量的相似度可采用以下公式进行表达：
其中，表示老师模型在前景位置点i处的特提取到的征向量，/>表示老师模型在前景位置点j处的特提取到的征向量；Rtea-fg(Φ)i，j表示在老师模型提取到的特征图中，前景位置点i以及前景位置点j的特征向量的相似度。
在学生模型提取到的第二特征图中，第一前景位置点的特征向量以及第二前景位置点的特征向量的相似度可采用以下公式进行表达：
其中，表示学生模型在前景位置点i处的特提取到的征向量，/>表示学生模型在前景位置点j处的特提取到的征向量；Rstu_fg(Φ)i，j表示在学生模型提取到的特征图中，前景位置点i以及前景位置点j的特征向量的相似度。
基于上述实施方式，可计算得到人像图像中任意的两两前景位置点在第一特征图中的特征向量的相似度，以及任意两两前景位置点在第二特征图中的特征向量的相似度；之后，可根据人像图像中任意的两两前景位置点的特征向量的相似度，确定第一前景特征相关度，并根据人像图像中任意的两两前景位置点的特征向量的相似度，确定第二前景特征相关度。接下来，可根据第一前景特征相关度以及第二前景特征相关度，计算第一特征图和第二特征图在前景区域上的前景相关性误差，如图2所示。其中，前景相关性误差，用于描述老师模型和学生模型提取的前景特征在特征相关度方面的误差。基于前景相关性误差进行知识蒸馏，可将老师模型在前景特征提取方面学习到的知识迁移到学生模型，进而提高学生模型在前景特征提取方面的能力。
可选地，前景相关性误差，可根据第一前景特征相关度和第二前景特征相关度的差值确定。第一前景特征相关度和第二前景特征相关度的差值越大，则前景相关性误差越大。在一些实施例中，可采用L2范数对第一前景特征相关度以及第二前景特征相关度进行计算，得到前景相关性误差。在L2范数的计算过程中，可对第一前景特征相关度和第二前景特征相关度的差值的平方根进行求和，并对求和结果开平方根，从而得到结果为正值的相关性误差。可选地，基于L2范数计算前景相关性误差具体公式如下所示：
Lossfg(i，j)＝|Rtea_fg(Φ)i，j-Rstu_fg(Φ)i，j||2，i，j∈前景区域
其中，Lossfg(i，j)表示前景位置点i以及前景位置点j的前景相关性误差。
上述前景相关性误差越大，则意味着老师模型和学生模型在前景特征表达能力上的差别越大。因而，在对学生模型进行训练的过程中，可以收敛前景相关性误差为优化目标，不断调整学生模型的参数，直至前景相关性误差收敛到目标范围。进而，可在人像图像中学习前景区域的结构特征，有利于更加准确地从人像图像中识别出前景区域的像素。
在一些可选的实施例中，确定第一特征图和第二特征图在背景区域上的背景相关性误差时，可根据人像图像标注的背景真值确定人像图像中的背景区域，并分别确定人像图像中的背景区域在第一特征图中的背景特征相关度(以下称第一背景特征相关度)以及在第二特征图中的背景特征相关度(以下称第二背景特征相关度)，如图2所示。根据第一背景特征相关度以及第二背景特征相关度，确定第一特征图和第二特征图在背景区域上的背景相关性误差。
以人像图像中的任意第一背景位置点以及第二背景位置点为例，可确定第一背景位置点在所述第一特征图中对应的特征值，得到第一背景位置点的特征向量，并可确定第二背景位置点在第一特征图中对应的特征值，得到第二背景位置点的特征向量。当第一特征图为多通道特征图时，第一背景位置点的特征向量可包含多个特征值，多个特征值按照通道顺序进行排列。同理，第二背景位置点的特征向量也可包含多个特征值，多个特征值按照通道顺序进行排列。
根据第一背景位置点的特征向量以及第二背景位置点的特征向量的相似度，可确定第一背景位置点以及第二背景位置点的背景特征相关度。在一些示例性的实施例中，在老师模型提取到的第一特征图中，第一背景位置点的特征向量以及第二背景位置点的特征向量的相似度可采用以下公式进行表达：
其中，表示老师模型在背景位置点i处的特提取到的征向量，/>表示老师模型在背景位置点j处的特提取到的征向量；/>表示在老师模型提取到的特征图中，背景位置点i以及背景位置点j的特征向量的相似度。
在学生模型提取到的第二特征图中，第一背景位置点的特征向量以及第二背景位置点的特征向量的相似度可采用以下公式进行表达：
其中，表示学生模型在背景位置点i处的特提取到的征向量，/>表示学生模型在背景位置点j处的特提取到的征向量；Rstu_bg(Φ)i，j表示在学生模型提取到的特征图中，背景位置点i以及背景位置点j的特征向量的相似度。
基于上述实施方式，可计算得到人像图像中任意的两两背景位置点在第一特征图中的特征向量的相似度以及任意两两背景位置点在第二特征图中的特征向量的相似度；之后，可根据人像图像中任意的两两背景位置点的特征向量的相似度，确定第一背景特征相关度，并根据人像图像中任意的两两背景位置点的特征向量的相似度，确定第二背景特征相关度。接下来，可根据第一背景特征相关度以及第二背景特征相关度，可计算第一特征图和第二特征图在背景区域上的前景相关性误差。其中，背景相关性误差，用于描述老师模型和学生模型提取的背景特征在特征相关度方面的误差。基于背景相关性误差进行知识蒸馏，可将老师模型在背景特征提取方面学习到的知识迁移到学生模型，进而提高学生模型在背景特征提取方面的能力。
可选地，背景相关性误差，可根据第一背景特征相关度和第二背景特征相关度的差值确定。第一背景特征相关度和第二背景特征相关度的差值越大，则背景相关性误差越大。在一些实施例中，可采用L2范数对第一背景特征相关度以及第二背景特征相关度进行计算，得到背景相关性误差。在L2范数的计算过程中，可对第一背景特征相关度和第二背景特征相关度的差值的平方根进行求和，并对求和结果开平方根，从而得到结果为正值的相关性误差。可选地，基于L2范数计算背景相关性误差具体公式如下所示：
Lossbg(i，j)＝||Rtea_bg(Φ)i，j-Rstu_bg(Φ)i，j||2，i，j∈背景区域
其中，Lossbg(i，j)表示背景位置点i以及背景位置点j的背景相关性误差。
上述背景相关性误差越大，则意味着老师模型和学生模型在背景特征表达能力上的差别越大。因而，在对学生模型进行训练的过程中，可以收敛背景相关性误差为优化目标，不断调整学生模型的参数，直至背景相关性误差收敛到目标范围。进而，可在人像图像中学习背景区域的结构特征，有利于更加准确地对从人像图像中识别出背景区域的像素。
值得说明的是，在一些可选的实施例中，在确定老师模型以及学生模型的特征相关性损失时，可进一步考虑第一特征图和第二特征图的全局差异。其中，全局差异，用于描述老师模型和学生模型在全局特征的提取能力上表现出的差异。在采用前景知识蒸馏以及背景知识蒸馏的基础上，进一步增加全局差异作为优化目标，可降低全局关联性信息的损失，从而进一步提高学生模型的特征提取能力。以下将进行示例性说明。
可选地，如图2所示，可计算第一特征图的全局特征关联度以及第二特征图的全局特征关联度，并根据所述第一特征图的全局特征关联度以及所述第二特征图全局特征关联度的差值，确定全局空域损失。其中，全局特征关联度，是针对单个通道的特征图进行计算的，用于反映单通道特征图的全局特征之间的关联关系。进而，以下将以任一通道的特征图为例，对确定全局特征关联度的可选实施方式进行示例性说明。
针对第一特征图中的任一通道的特征图，可对人像图像中的像素点在该特征图中对应的特征值进行均值归一化处理，得到该特征图的全局特征关联度。可选地，假设第一特征图为h×w×C的矩阵，其中，h为特征图的高、w为第一特征图的宽、C为特征图的通道数。第一特征图中，通道c的特征图中的全局特征关联度，可采用如下公式进行计算：
其中，表示在老师网络提取到的通道c的特征图中，位置点i的对应的特征值。
相应地，针对学生模型提取到的第二特征图中的任一通道的特征图，可对人像图像中的像素点在该特征图中对应的特征值进行均值归一化处理，得到该特征图的全局特征关联度。第二特征图与第一特征图的尺寸相同，即第二特征图也是h×w×C的矩阵。第二特征图中，通道c的特征图中的全局特征关联度，可采用如下公式进行计算：
其中，表示在学生网络提取到的通道c的特征图中，位置点i的对应的特征值。
基于前述实施例确定第一特征图中的多个通道的特征图的全局特征关联度以及第二特征图中的多个通道的特征图的全局特征关联度后，可根据第一特征图中的多个通道的特征图的全局特征关联度以及第二特征图中的多个通道的特征图的全局特征关联度，确定学生模型以及老师模型的全局空域损失。
在一些可选的实施例中，可采用KL散度(Kullback-Leibler，又称相对熵)计算全局空域损失，具体公式如下：
其中，Lossglobal表示全局空域损失，C为特征图的总通道数。在一些可选的实施例中，可根据前景相关性误差、背景相关性误差以及全局空域损失的加权结果，确定老师模型以及学生模型的特征相关性损失。
可选地，针对不同的图像处理任务，可结合任务类型对应的损失函数(如图2所示的任务损失)，确定学生模型的最终训练损失。例如，对图像分割任务而言，可计算前景相关性误差、背景相关性误差、全局空域损失以及分割损失的加权结果，作为最终训练损失。例如，对图像抠图任务而言，可计算前景相关性误差、背景相关性误差、全局空域损失以及抠图损失的加权结果，作为最终训练损失。又例如，对图像风格化任务而言，可计算前景相关性误差、背景相关性误差、全局空域损失以及风格化损失的加权结果，作为最终训练损失。即，最终训练损失Losstotal可采用如下公式进行表达：
Losstotal＝α1·Lossfg+α2·Lossbg+α3·Lossglobal+Loss
其中，α1、α2、α3为加权系数，用于控制图像处理任务以及知识蒸馏任务的权重值。Loss为图像处理任务的损失函数,例如,Loss可以是图像分割任务对应的交叉熵损失，可以是抠图任务的L1损失，可以是超分辨率任务的L2损失，可以是风格化任务的风格损失(style loss)，本实施例不做限制。
基于这种实施方式，在学生模型的训练过程中，引入全局空域损失进行知识蒸馏，可使得学生模型学习对像素进行前景或者背景分类的同时，学习提取人像图像上的全局关联性信息，从而提高学生模型的整体特征提取能力，以便于学生模型在对像素进行前景或者背景的分类后在其他图像处理任务(例如图像分割、抠图)上具有更优秀的表现。
图3是本申请一示例性实施例提供的图像处理方法的流程示意图，该方法可包括：
步骤301、获取待处理的人像图像。
步骤302、将所述待处理的人像图像输入图像分割模型，得到所述人像图像的分割结果；其中，所述图像分割模型基于所述图像分割模型与老师模型之间的特征相关性损失训练得到；所述特征相关性损失，包括：前景相关性误差，和/或，背景相关性误差；其中，所述前景相关性误差，根据人像图像样本中的前景区域的结构相关性，从所述老师模型提取到的第一特征图以及所述图像分割模型提取到的第二特征图中确定；所述背景相关性误差，根据人像图像样本中的背景区域的结构相关性，从所述第一特征图以及所述第二特征图中确定。
其中，图像分割模型可运行在终端设备侧，该终端设备可包括用户侧的手机、平板电脑或者智能穿戴设备，本实施例不做限制。其中，图像分割模型基于知识蒸馏的训练方法训练得到，图像分割模型作为学生模型，可在老师模型的指导下进行知识迁移，从而学习更优的特征表达。具体训练方法可参考前述实施例的记载，此处不赘述。本实施例中，终端设备上运行的图像分割模型基于知识蒸馏的训练方法训练得到。分割模型作为学生模型，可以是参数量较小的轻模型，占用计算量以及数据量较小，从而可以流畅地运行在终端设备上，以减少图像处理时的网络成本以及耗时成本。在图像分割模型的训练过程中，获取老师模型和学生模型根据人像图像输出的特征图之后，可利用人像图像的结构特征，通过人像图像中前景区域和/或背景区域的结构相关性，确定学生模型与老师模型的特征相关性损失，该特征相关性损失，可用于表达学生模型与老师模型在特征表达方面的差距。从而，促使学生模型在老师模型的指导下不断学习不同区域的结构相关性以及对不同区域的特征表达能力，从而提高学生模型对前景与背景区域的区分能力，使得图像分割模型在满足轻量化要求的同事，具有较高的图像分割精度。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤104的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
图4示意了本申请一示例性实施例提供的终端设备的结构示意图，该终端设备适用于前述实施例提供的图像处理方法。如图4所示，该终端设备包括：存储器401、处理器402以及通信组件403。
存储器401，用于存储计算机程序，并可被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令。
处理器402，与存储器401耦合，用于执行存储器401中的计算机程序，以用于：获取待处理的人像图像；将所述待处理的人像图像输入图像分割模型，得到所述人像图像的分割结果；其中，所述图像分割模型基于所述图像分割模型与老师模型之间的特征相关性损失训练得到；所述特征相关性损失，包括：前景相关性误差，和/或，背景相关性误差；其中，所述前景相关性误差，根据人像图像样本中的前景区域的结构相关性，从所述老师模型提取到的第一特征图以及所述图像分割模型提取到的第二特征图中确定；所述背景相关性误差，根据人像图像样本中的背景区域的结构相关性，从所述第一特征图以及所述第二特征图中确定。
进一步，如图4所示，该终端设备还包括：电源组件404、显示组件405以及音频组件406等其它组件。图4中仅示意性给出部分组件，并不意味着终端设备只包括图4所示组件。
显示组件405包括屏幕，其屏幕可以包括液晶显示器(Liquid Crystal Display,LCD)和触摸面板(Touch panel，TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件405，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(Microphone，MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本实施例中，终端设备上运行的图像分割模型基于知识蒸馏的训练方法训练得到。分割模型作为学生模型，可以是参数量较小的轻模型，占用计算量以及数据量较小，从而可以流畅地运行在终端设备上，以减少图像处理时的网络成本以及耗时成本。在图像分割模型的训练过程中，获取老师模型和学生模型根据人像图像输出的特征图之后，可利用人像图像的结构特征，通过人像图像中前景区域和/或背景区域的结构相关性，确定学生模型与老师模型的特征相关性损失，该特征相关性损失，可用于表达学生模型与老师模型在特征表达方面的差距。从而，促使学生模型在老师模型的指导下不断学习不同区域的结构相关性以及对不同区域的特征表达能力，从而提高学生模型对前景与背景区域的区分能力，使得图像分割模型在满足轻量化要求的同事，具有较高的图像分割精度。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由终端设备执行的各步骤。
图5示意了本申请一示例性实施例提供的服务器的结构示意图，该服务器适用于前述实施例提供的模型训练方法。如图5所示，该服务器包括：存储器501、处理器502以及通信组件503。
存储器501，用于存储计算机程序，并可被配置为存储其它各种数据以支持在服务器上的操作。这些数据的示例包括用于在服务器上操作的任何应用程序或方法的指令。
处理器502，与存储器501耦合，用于执行存储器501中的计算机程序，以用于：将人像图像分别输入老师模型以及学生模型，得到第一特征图以及第二特征图；根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差；和/或，根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差；根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失；根据所述特征相关性损失，对所述学生模型进行训练，并在所述学生模型满足预设收敛条件时，输出训练完成的所述学生模型作为图像分割模型。
可选地，处理器502在根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差时，具体用于：根据所述人像图像上标注的分割真值，确定所述人像图像中的前景区域；分别确定所述人像图像中的前景区域在第一特征图中的第一前景特征相关度以及在所述前景区域在第二特征图中的第二前景特征相关度；根据所述第一前景特征相关度以及所述第二前景特征相关度的差值，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差。
可选地，处理器502在确定所述人像图像中的前景区域在第一特征图中的第一前景特征相关度时，具体用于：针对所述人像图像中的任意第一前景位置点以及第二前景位置点，分别确定所述第一前景位置点和所述第二前景位置点在第一特征图中对应的特征值，得到所述第一前景位置点的特征向量以及所述第二前景位置点的特征向量；根据所述第一前景位置点的特征向量以及所述第二前景位置点的特征向量的相似度，确定所述第一前景位置点以及所述第二前景位置点的前景特征相关度。
可选地，处理器502在根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差时，具体用于：根据所述人像图像上标注的分割真值，确定所述人像图像中的背景区域；分别确定所述人像图像中的背景区域在第一特征图中的第一背景特征相关度以及在第二特征图中的第二背景特征相关度；根据所述第一背景特征相关度以及所述第二背景特征相关度的差值，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差。
可选地，处理器502在根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失时，具体用于：计算所述第一特征图的全局特征关联度以及第二特征图的全局特征关联度；根据所述第一特征图的全局特征关联度以及所述第二特征图全局特征关联度的差值，确定全局空域损失；根据所述前景相关性误差、所述背景相关性误差以及所述全局空域损失的加权结果，确定所述老师模型以及所述学生模型的特征相关性损失。
可选地，处理器502在计算所述第一特征图的全局特征关联度时，具体用于：针对所述第一特征图中的任一通道的特征图，对所述人像图像中的像素点在所述特征图中对应的特征值进行均值归一化处理，得到所述特征图的全局特征关联度。
进一步，如图5所示，该服务器还包括：电源组件504等其它组件。图5中仅示意性给出部分组件，并不意味着服务器只包括图5所示组件。
本实施例中，在图像分割模型的训练过程中，服务器获取老师模型和学生模型根据人像图像输出的特征图之后，可利用人像图像的结构特征，通过人像图像中前景区域和/或背景区域的结构相关性，确定学生模型与老师模型的特征相关性损失，该特征相关性损失，可用于表达学生模型与老师模型在特征表达方面的差距。从而，促使学生模型在老师模型的指导下不断学习不同区域的结构相关性以及对不同区域的特征表达能力，从而提高学生模型对前景与背景区域的区分能力，使得图像分割模型在满足轻量化要求的同事，具有较高的图像分割精度。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由服务器执行的各步骤。
在图4以及图5中，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，只读存储器(Read-Only Memory，ROM)，磁存储器，快闪存储器，磁盘或光盘。
在图4以及图5中，通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如Wi-Fi(无线网络通信技术)，2G(如全球移动通信系统(Global System for Mobile Communications，GSM)等)、3G(如宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G(如长期演进(Long Term Evolution，LTE)等)、4G+(如升级版长期演进(LTE-Advanced，LTE-A)等)或5G(第五代移动通信技术(5th Generation Mobile Communication Technology))，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NearField Communication,NFC)技术、射频识别(Radio Frequency Identification,RFID)技术、红外数据协会(Infrared Data Association,IrDA)技术、超宽带(Ultra Wide Band，UWB)技术、蓝牙(Bluetooth,BT)技术和其他技术来实现。
在图4以及图5中，电源组件，用于为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM(Compact Disc Read-Only Memory，只读光盘只读存储器)、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(Central ProcessingUnit，CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Parallel Random Access Machine，PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(Digital Video Disc，DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理的人像图像；
将所述待处理的人像图像输入图像分割模型，得到所述人像图像的分割结果；
其中，所述图像分割模型基于所述图像分割模型与老师模型之间的特征相关性损失训练得到；所述特征相关性损失，包括：前景相关性误差，和/或，背景相关性误差；
其中，所述前景相关性误差，根据人像图像样本中的前景区域的结构相关性，从所述老师模型提取到的第一特征图以及所述图像分割模型提取到的第二特征图中确定；所述背景相关性误差，根据人像图像样本中的背景区域的结构相关性，从所述第一特征图以及所述第二特征图中确定。
2.一种模型训练方法，其特征在于，包括：
将人像图像分别输入老师模型以及学生模型，得到第一特征图以及第二特征图；
根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差；和/或，根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差；
根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失；
根据所述特征相关性损失，对所述学生模型进行训练，并在所述学生模型满足预设收敛条件时，输出训练完成的所述学生模型作为图像分割模型。
3.根据权利要求2所述的方法，其特征在于，根据人像图像中的前景区域的结构相关性，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差，包括：
根据所述人像图像上标注的分割真值，确定所述人像图像中的前景区域；
分别确定所述人像图像中的前景区域在第一特征图中的第一前景特征相关度以及在所述前景区域在第二特征图中的第二前景特征相关度；
根据所述第一前景特征相关度以及所述第二前景特征相关度的差值，确定人像图像中的前景区域在所述第一特征图和所述第二特征图上的前景相关性误差。
4.根据权利要求3所述的方法，其特征在于，确定所述人像图像中的前景区域在第一特征图中的第一前景特征相关度，包括：
针对所述人像图像中的任意第一前景位置点以及第二前景位置点，分别确定所述第一前景位置点和所述第二前景位置点在第一特征图中对应的特征值，得到所述第一前景位置点的特征向量以及所述第二前景位置点的特征向量；
根据所述第一前景位置点的特征向量以及所述第二前景位置点的特征向量的相似度，确定所述第一前景位置点以及所述第二前景位置点的前景特征相关度。
5.根据权利要求2所述的方法，其特征在于，根据人像图像中的背景区域的结构相关性，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差，包括：
根据所述人像图像上标注的分割真值，确定所述人像图像中的背景区域；
分别确定所述人像图像中的背景区域在第一特征图中的第一背景特征相关度以及在第二特征图中的第二背景特征相关度；
根据所述第一背景特征相关度以及所述第二背景特征相关度的差值，确定所述人像图像中的背景区域在所述第一特征图和所述第二特征图上的背景相关性误差。
6.根据权利要求2-5任一项所述的方法，其特征在于，根据所述前景相关性误差和/或所述背景相关性误差，确定所述老师模型以及所述学生模型的特征相关性损失，包括：
计算所述第一特征图的全局特征关联度以及第二特征图的全局特征关联度；
根据所述第一特征图的全局特征关联度以及所述第二特征图全局特征关联度的差值，确定全局空域损失；
根据所述前景相关性误差、所述背景相关性误差以及所述全局空域损失的加权结果，确定所述老师模型以及所述学生模型的特征相关性损失。
7.根据权利要求6所述的方法，其特征在于，计算所述第一特征图的全局特征关联度，包括：
针对所述第一特征图中的任一通道的特征图，对所述人像图像中的像素点在所述特征图中对应的特征值进行均值归一化处理，得到所述特征图的全局特征关联度。
8.一种终端设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1所述的方法中的步骤。
9.一种服务器，其特征在于，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求2-7任一项所述的方法中的步骤。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被处理器执行时能够实现权利要求1-8任一项所述的模型训练、图像处理方法。
CN202310526275.8A 2023-05-10 2023-05-10 模型训练、图像处理方法、设备及存储介质 Pending CN116630362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310526275.8A CN116630362A (zh) 2023-05-10 2023-05-10 模型训练、图像处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310526275.8A CN116630362A (zh) 2023-05-10 2023-05-10 模型训练、图像处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116630362A true CN116630362A (zh) 2023-08-22

Family

ID=87620536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310526275.8A Pending CN116630362A (zh) 2023-05-10 2023-05-10 模型训练、图像处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116630362A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015431A (zh) * 2024-04-03 2024-05-10 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质和程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015431A (zh) * 2024-04-03 2024-05-10 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
KR102591961B1 (ko) 모델 트레이닝 방법 및 장치, 및 이를 위한 단말 및 저장 매체
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN109543714B (zh) 数据特征的获取方法、装置、电子设备及存储介质
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN112507898A (zh) 一种基于轻量3d残差网络和tcn的多模态动态手势识别方法
US11887215B2 (en) Image processing apparatus and method for style transformation
CN110349190B (zh) 自适应学习的目标跟踪方法、装置、设备及可读存储介质
US20210056357A1 (en) Systems and methods for implementing flexible, input-adaptive deep learning neural networks
CN111914782A (zh) 人脸及其特征点的检测方法、装置、电子设备和存储介质
CN111382616B (zh) 视频分类方法、装置及存储介质、计算机设备
US11417096B2 (en) Video format classification and metadata injection using machine learning
CN109902588B (zh) 一种手势识别方法、装置及计算机可读存储介质
CN113408554A (zh) 数据处理方法、模型训练方法、装置及设备
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN116630362A (zh) 模型训练、图像处理方法、设备及存储介质
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN112053366A (zh) 模型训练、样本生成方法、电子设备及存储介质
CN114170425A (zh) 模型训练、图像分类方法、服务器及存储介质
CN111008992A (zh) 目标跟踪方法、装置和系统及存储介质
CN115620054A (zh) 一种缺陷分类方法、装置、电子设备及存储介质
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质
CN114677623A (zh) 模型训练方法、视频处理方法、计算机设备及介质
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination