CN110378961A

CN110378961A - 模型的优化方法、关键点检测方法、装置及存储介质

Info

Publication number: CN110378961A
Application number: CN201910855311.9A
Authority: CN
Inventors: 詹皓云; 卢毅; 廖家聪
Original assignee: Atlas Future (nanjing) Artificial Intelligence Research Institute Co Ltd
Current assignee: Atlas Future (nanjing) Artificial Intelligence Research Institute Co Ltd
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2019-10-25

Abstract

本申请实施例提供了一种模型的优化方法、关键点检测方法、装置及存储介质。方法包括：将原图像分别通过多种预处理，获得经每种预处理处理得到的图像；通过预设的关键点检测模型处理多张图像，获得每张图像上关键点的坐标；利用预设的损失函数，确定出每张图像上的关键点的坐标与对应预设的标准坐标之间的损失值，以及确定出与多个所述损失值相关的优化值；通过所述优化值优化所述关键点检测模型。通过损失函数处理对应的多个损失值而生成与多个损失值相关的优化值，并利用该优化值优化关键点检测模型，使得多种预处理同时对模型产生影响，进而使得训练出的模型在处理一批环境发生变化或突变的图像时，能够稳定确定出各图像上关键点的坐标。

Description

模型的优化方法、关键点检测方法、装置及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种模型的优化方法、关键点检测方法、装置及存储介质。

背景技术

运用深度学习技术实现关键点检测模型通常需要对图片集中的所有样本进行多次训练优化后得到。由于图片集的样本数量有限，无法包含实际环境中的所有变化，为实现关键点检测模型在处理不同环境（例如强光、暗光、强比对度等环境）下采集的图像时，也能够准确的检测各图像上关键点的坐标，在对关键点检测模型训练优化时，会对图像集中的每一张图像做随机变换，如通过改变图像的亮度、对比度、颜色等，模拟实际环境中的环境光喂强光或暗光下才采集的图像，通过对图片作变换如仿射变换或投射变换模拟在不同空间位置采集得到的图像，通过增加图像噪声模拟相机噪声等，上述的预处理方式处理图像集用以训练该关键点模型。

通过上述训练方式，使得关键点检测模型在处理不同环境下的单张图像时，能够较为准确的确定出每张图像上关键点的坐标。但若该关键点检测模型处理一批环境发生变化的图像或者视频时，例如环境由强光变化为弱光，或相机和目标对象的相对位置发生持续变化时，该关键点检测模型得到的各图像上关键点的坐标则会产生波动，在环境发生突变时甚至无法准确地确定出关键点的位置。

发明内容

本申请在于提供一种模型的优化方法、关键点检测方法、装置及存储介质，以实现关键点检测模型在处理一批环境发生变化或突变的图像时，关键点检测模型也能够稳定确定出各图像上关键点的坐标。

第一方面，本申请实施例提供了一种模型的优化方法，所述方法包括：

将原图像分别通过多种预处理，获得经每种所述预处理处理得到的图像；

通过预设的关键点检测模型处理多张所述图像，获得每张所述图像上关键点的坐标；

利用预设的损失函数，确定出每张所述图像上的关键点的坐标与对应预设的标准坐标之间的损失值，以及根据多个所述损失值确定出优化值；

通过所述优化值优化所述关键点检测模型。

在本申请实施例中，通过损失函数处理多种预处理对应的多个损失值而生成与多个损失值相关的优化值，并利用该优化值优化关键点检测模型，使得多种预处理同时对模型的优化产生影响，进而使得训练出的模型在处理一批环境环境发生变化或突变的图像时，可具有很好的鲁棒性，能够稳定确定出各图像上关键点的坐标。

结合第一方面，在第一种可能的实现方式中，将原图像分别通过多种预处理，获得经每种所述预处理处理得到的图像，包括：

将所述原图像分别通过第一种所述预处理、第二种所述预处理和第三种所述预处理中的至少一种，获得经每种所述预处理处理得到的图像；

其中，第一种所述预处理为在所述原图像中增加高斯噪声，第二种所述预处理为调节所述原图像的亮度、对比度和饱和度中的至少一个，以及第三种所述预处理为对所述原图像进行仿射变换或透视变换。

在本申请实施例中，由于各种预处理包括增加高斯噪声、调节亮度、对比度和饱和度中的至少一个、以及进行了仿射变换或透视变换，使得各种预处理基本包含了实际环境的各种变化，使得训练能够更加贴近真实环境，进一步提高训练出的模型在处理一批环境发生变化的图像时的鲁棒性。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，通过预设的关键点检测模型处理多张所述图像，获得每张所述图像上关键点的坐标，包括：

将经每种所述预处理处理得到的图像和所述原图像输入所述关键点检测模型进行处理，获得所述关键点检测模型输出的每张所述图像上关键点的坐标。

在本申请实施例中，由于还利用原图像进行训练，使得多个损失值中还包含原图像对应的损失值，进而使得训练出的模型在处理原图像对应的环境发生环境发生变化或突变的一批图像时也可以具有很好的鲁棒性。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述损失函数包括：

其中，N和S为预设参数，表示所述优化值，表示所述原图像上关键点的坐标，表示所述原图像对应预设的所述标准坐标，表示经第一种所述预处理处理得到的图像上关键点的坐标，表示经第一种所述预处理处理得到的图像对应预设的所述标准坐标，表示经第二种所述预处理处理得到的图像上关键点的坐标，表示经第二种所述预处理处理得到的图像对应预设的所述标准坐标，表示经第三种所述预处理处理得到的图像上关键点的坐标，表示经第三种所述预处理处理得到的图像对应预设的所述标准坐标。

本实施例中，由于每个损失值在该损失函数中都参与了优化值的计算，提高了生成的优化值与每个损失值的相关度。

第二方面，本申请实施例提供了一种关键点检测方法，所述方法包括：

获得待检测的图像；

将所述图像输入基于第一方面或第一方面的任一种可能的实现方式优化得到的所述关键点检测模型，获得所述关键点检测模型输出的所述图像上关键点的坐标。

第三方面，本申请实施例提供了一种模型的优化装置，所述装置包括：

预处理模块，用于将原图像分别通过多种预处理，获得经每种所述预处理处理得到的图像；

图像处理模块，用于通过预设的关键点检测模型处理多张所述图像，获得每张所述图像上关键点的坐标；

模型优化模块，用于利用预设的损失函数，确定出每张所述图像上的关键点的坐标与对应预设的标准坐标之间的损失值，以及根据多个所述损失值确定出优化值；通过所述优化值优化所述关键点检测模型。

结合第三方面，在第一种可能的实现方式中，，

所述预处理模块，用于将所述原图像分别通过第一种所述预处理、第二种所述预处理和第三种所述预处理中的至少一种，获得经每种所述预处理处理得到的图像；

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，

所述图像处理模块，用于将经每种所述预处理处理得到的图像和所述原图像输入所述关键点检测模型进行处理，获得所述关键点检测模型输出的每张所述图像上关键点的坐标。

第四方面，本申请实施例提供了一种关键点检测装置，所述装置包括：

图像接收模块，用于获得待检测的图像；

图像处理模块，用于将所述图像输入基于第一方面或第一方面的任一种可能的实现方式优化得到的所述关键点检测模型，获得所述关键点检测模型输出的所述图像上关键点的坐标。

第五方面，本申请实施例提供了一种计算机可读储存介质，其特征在于，所述存储介质上存储有程序代码，当所述程序代码被所述计算机运行时，执行第一方面或第一方面的任一种可能的实现方式所述的模型的优化方法或执行如第二方面所述的关键点检测方法。

第六方面，本申请实施例提供了一种电子设备，包括：存储器、与所述通信接口和所述存储器连接的处理器；

所述存储器，用于存储程序；

所述处理器，用于调用并运行所述程序，以执行第一方面或第一方面的任一种可能的实现方式所述的模型的优化方法或执行如第二方面所述的关键点检测方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种模型的优化方法的流程图；

图2示出了本申请实施例提供的一种关键点检测方法的流程图；

图3示出了本申请实施例提供的一种电子设备的结构框图；

图4示出了本申请实施例提供的一种模型的优化装置的结构框图；

图5示出了本申请实施例提供的一种关键点检测装置的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，本申请实施例提供了一种模型的优化方法，该模型的优化方法可以由电子设备来执行，该电子设备可以是终端或者服务器，其中，终端可以是个人电脑（personal computer，PC）、平板电脑、智能手机、个人数字助理（personal digitalassistant，PDA）等；服务器可以为网络服务器、数据库服务器、云服务器或由多个子服务器构成的服务器集成等。

具体的，该模型的优化方法可以包括：步骤S100、步骤S200、步骤S300和步骤S400。

步骤S100：将原图像分别通过多种预处理，获得经每种所述预处理处理得到的图像。

步骤S200：通过预设的关键点检测模型处理多张所述图像，获得每张所述图像上关键点的坐标。

步骤S300：利用预设的损失函数，确定出每张所述图像上的关键点的坐标与对应预设的标准坐标之间的损失值，以及根据多个所述损失值确定出优化值。

步骤S400：通过所述优化值优化所述关键点检测模型。

在本实施例中，可利用多张原图像对关键点检测模型进行训练优化，由于利用每张原图像对关键点检测模型进行训练优化的流程大致相同，为便于理解，本实施例以利用某一张原图像对关键点检测模型进行训练优化为例，对本实施例的模型的优化方法的各流程进行详细地说明。

电子设备可以获取用于训练关键点检测模型的原图像。其中，电子设备获取原图像方式本实施例并不限定，例如电子设备可以从网络上爬取该原图像，或者可以从与电子设备对应的数据库中抽取出该原图像，或者还可以连接存储有原图像的存储介质例如移动硬盘或U盘，以从存储介质中获取该原图像。

可以理解到，为避免出现利用同一张原图像多次重复训练的情况，电子设备获取的原图像为首次用于训练的原图像，即电子设备在历史上并未利用该原图像训练过关键点检测模型。

电子设备获取到原图像后，电子设备可以利用预设的多种预处理，对该原图像分别进行多种预处理，从而获得经每种预处理处理得到的图像（以下简称经预处理处理得到的图像为预处理图像）。

作为示例性的方式，预设的多种预处理可以包括例如：第一种预处理、第二种预处理和第三种预处理。其中，第一种预处理可以为在原图像中增加高斯噪声，第二种预处理可以为调节原图像的亮度、对比度和饱和度中的至少一个，以及，第三种预处理则可以为对原图像进行仿射变换或透视变换。其中，对原图像进行仿射变换或透视变换可以用于模拟实际中对象和相机之间的相对位置或拍摄的角度的改变。

基于第一种预处理、第二种预处理和第三种预处理，电子设备可以在原图像中增加高斯噪声，获得第一种预处理图像，该第一种预处理图像则为增加了高斯噪声的图像；以及可以调节原图像的亮度、对比度和饱和度中的至少一个，获得第二种预处理图像，而该第二种预处理图像则为调节了原图像的亮度、对比度和饱和度中的至少一个的图像；以及还可以对原图像进行仿射变换或透视变换，获得第三种预处理图像，而该经第三种预处理图像则为仿射变换或透视变换了的图像。

需要说明的是，本实施例中所述的多种预处理并不限于第一种预处理、第二种预处理和第三种预处理，其可以根据实际情况进行选择。例如，多种预处理中除了第一种预处理、第二种预处理和第三种预处理之外，多种预处理还可以包括通过将第一种预处理、第二种预处理和第三种预处理中至少两种组合而得到新的预处理。比如，多种预处理还包含：将第一种预处理和第二种预处理组合得到的第四种预处理，将第一种预处理和第三种预处理组合得到的第五种预处理，将第二种预处理和第三种预处理组合得到的第六种预处理，以及将第一种预处理、第二种预处理和第三种预处理组合得到的第七种预处理。

在此基础上，若利用第四种预处理对原图像处理，则第四种预处理处理原图像的方式可以是：先在原图像上增加高斯噪声，再调节增加了高斯噪声的图像的亮度、对比度和饱和度中的至少一个，从而获得第四种预处理图像。若利用第五种预处理对原图像处理，则第五种预处理处理原图像的方式可以是：先在原图像上增加高斯噪声，再对增加了高斯噪声的图像进行仿射变换或透视变换，从而获得第五种预预处理图像。若利用第六种预处理对原图像处理，则第六种预处理处理原图像的方式可以是：先调节原图像的亮度、对比度和饱和度中的至少一个，再对调节了的亮度、对比度和饱和度中的至少一个的图像进行仿射变换或透视变换，从而获得第六种预处理图像。若利用第七种预处理对原图像处理，则第七种预处理处理原图像的方式可以是：先在原图像上增加高斯噪声，再调节增加了高斯噪声的图像的亮度、对比度和饱和度中的至少一个，最后再对增加高斯噪声且调节亮度、对比度和饱和度中的至少一个的图像进行仿射变换或透视变换，从而获得第七种预处理图像。

获得经每种预处理图像后，电子设备可以继续执行步骤S200。

本实施例中，电子设备中预设了关键点检测模型，该关键点检测模型可以是Stacked Hourglass（Stacked HG，堆叠沙漏）模型、CPM(convolutional pose machines，卷积姿势机)模型或CPN（cascaded pyramid network，级联金字塔网络）模型等。

基于步骤S100，电子设备可以将处理得到的多张图像输入该关键点检测模型进行处理。

示例性的，多张图像可以包括每种预处理图像，以及还可以包括原图像，从而电子设备便可以将原图像和每种预处理图像均输入到关键点检测模型进行处理。

需要说明的是，多张图像包括每种预处理图像和原图像为本实施例提供的一种示例性方式，其并不作为限定。例如，多张图像中可以包括每种预处理图像但不包括原图像。

本实施例中，由于原图像或每种预处理图像上均包含有被检测的对象，故关键点检测模型可以对每张图像上的对象的关键点进行检测。其中，对象可以是人、动物、植物或其他物体例如汽车、飞机、轮船等。对象的关键点可以是能够表示该对象的特征的点，例如对象为人或动物，那么对象的关键点可以是五官的中心点或者还可以是对象的关节点，又例如对象为汽车，那么对象的关键点可以是车牌的中心点或者还可以是车轮的中心点。

通过关键点检测模型的检测，电子设备可以获得关键点检测模型输出的每张图像上关键点的坐标。例如对象为人或动物且关键点为对象的关节点，那么关键点检测模型可以输出每张图像上对象的关节点在该图像中的坐标。

电子设备获得每张图像上关键点的坐标后，电子设备可以进一步执行步骤S300。

本实施例中，为便于训练优化关键点检测模型，电子设备可以预先获得原图像上关键点的标准坐标（以下简称原图像的标准坐标），以及获得每种预处理图像上关键点的标准坐标（以下简称预处理图像的标准坐标）。其中，该原图像的标准坐标用于表示原图像上的关键点实际所在的位置，而每种预处理图像的标准坐标则用于表示该预处理图像上的关键点实际所在的位置。

作为获得标准坐标的示例性方式，电子设备在获取该原图像的同时，还可以获取原图像上关键点的标准坐标。可以理解到，获取原图像的标准坐标的方式可以参考前述获取原图像的方式进行理解，在此就不再累述。

电子设备在利用多种预处理分别处理原图像时，电子设备还可以按照每种预处理调整原图像的方式，在原图像的标准坐标的基础上对应生成每种预处理图像上关键点的标准坐标，其中，每种预处理图像的标准坐标可以与原图像的标准准备相同或者不同。

例如，在多种预处理包括第一种预处理、第二种预处理和第三种预处理的基础上。针对第一种预处理，由于第一种预处理为增加原图像的高斯噪声，而原图像的尺寸并未变化，故基于原图像的标准坐标而生成的第一种预处理图像的标准坐标与该原图像的标准坐标相同。针对第二种预处理，由于第二种预处理为调节原图像的亮度、对比度和饱和度中的至少一个，而原图像的尺寸也未变化，故基于原图像的标准坐标而生成的第二种预处理图像的标准坐标也与该原图像的标准坐标相同。针对第三种预处理，由于第三种预处理为对原图像进行仿射变换或透视变换，因此，电子设备可以按仿射变换或透视变换，对应调整原图像的标准坐标，从而生成的第三种预处理图像的标准坐标，那么该第三种预处理图像的标准坐标则与该原图像的标准坐标不相同。

进一步的，电子设备利用预先获得的原图像的标准坐标和每种预处理图像的标准坐标，可以确定出用于优化该关键点检测模型的优化值。

作为确定出优化值的示例性方式，电子设备中还预设了损失函数，电子设备可以利用该损失函数计算每张图像上的关键点的坐标与对应预设的标准坐标之间的损失值，以及再将多个损失值拟合生成优化值。

例如，在多种预处理包括第一种预处理、第二种预处理和第三种预处理的基础上，该损失函数可以包括：

电子设备确定出优化值后，电子设备可以继续执行步骤S400。

步骤S400：通过所述优化值优化所述关键点检测模型。

本实施例中，电子设备可以利用优化值反向的优化调整关键点检测模型的网络参数。例如，电子设备可以采用反向传播将该优化值映射到关键点检测模型的神经网络上，以调节神经网络中各神经元的权值，从而实现对关键点检测模型训练优化。

请参阅图2，本申请实施例提供了一种关键点检测方法，关键点检测方法可以由电子设备执行而对视频进行处理，以实现稳定且准确的检测视频中关键点。具体的，该关键点检测方法可以包括：步骤S101和步骤S201。

步骤S101：获得待检测的图像。

电子设备可以从其它客户端、其它终端或网络上获得一段需要检测关键点的视频。电子设备可以获取构成该视频的每一帧图像或者分帧获取构成该视频的部分帧图像，其中，获取的每一帧图像可以作为待检测的图像。这样，电子设备便获得了待检测的图像。

步骤S201：将所述图像输入基于前述实施例优化得到的所述关键点检测模型，获得所述关键点检测模型输出的所述图像上关键点的坐标。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，在此不再赘述。

请参阅图3，基于同一发明构思，本申请实施例提供了一种电子设备10，该电子设备10可以包括连接到外部设备或者网络的通信接口11、用于执行程序指令的一个或多个处理器12、总线13、和不同形式的存储器14，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。

通信接口11，用于获取用于原图像或待检测的图像

存储器14用于存储程序，处理器12用于调用并运行存储器14中的程序以执行前述的模型的优化方法或关键点检测方法。

请参阅图4，本申请实施例提供了一种模型的优化装置100，该模型的优化装置100应用于电子设备，该模型的优化装置100包括：

预处理模块110，用于将原图像分别通过多种预处理，获得经每种所述预处理处理得到的图像。

图像处理模块120，用于通过预设的关键点检测模型处理多张所述图像，获得每张所述图像上关键点的坐标。

模型优化模块130，用于利用预设的损失函数，确定出每张所述图像上的关键点的坐标与对应预设的标准坐标之间的损失值，以及根据多个所述损失值确定出优化值；通过所述优化值优化所述关键点检测模型。

可选的，所述预处理模块110，用于将所述原图像分别通过第一种所述预处理、第二种所述预处理和第三种所述预处理中的至少一种，获得经每种所述预处理处理得到的图像。

可选的，所述图像处理模块120，用于将经每种所述预处理处理得到的图像和所述原图像输入所述关键点检测模型进行处理，获得所述关键点检测模型输出的每张所述图像上关键点的坐标。

请参阅图5，本申请实施例提供了一种关键点检测装置200，该关键点检测装置200应用于电子设备，该关键点检测装置200包括：

图像接收模块210，用于获得待检测的图像。

图像处理模块220，用于将所述图像输入基于前述实施例优化得到的所述关键点检测模型，获得所述关键点检测模型输出的所述图像上关键点的坐标。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等。该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施例的模型的优化方法或关键点检测方法的步骤。

详细地，本申请实施例所提供的模型的优化方法或关键点检测方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

综上所述，本申请实施例提供了一种模型的优化方法、关键点检测方法、装置及存储介质。通过损失函数处理多种预处理对应多个损失值而生成与多个损失值相关的优化值，并利用该优化值优化关键点检测模型，使得多种预处理同时对模型的优化产生影响，进而使得训练出的模型在处理一批环境发生变化或突变的图像时，可具有很好的鲁棒性，能够稳定确定出各图像上关键点的坐标。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种模型的优化方法，其特征在于，所述方法包括：

通过所述优化值优化所述关键点检测模型。

2.根据权利要求1所述的模型的优化方法，其特征在于，将原图像分别通过多种预处理，获得经每种所述预处理处理得到的图像，包括：

3.根据权利要求2所述的模型的优化方法，其特征在于，通过预设的关键点检测模型处理多张所述图像，获得每张所述图像上关键点的坐标，包括：

4.根据权利要求3所述的模型的优化方法，其特征在于，所述损失函数包括：

5.一种关键点检测方法，其特征在于，所述方法包括：

获得待检测的图像；

将所述图像输入基于权利要求1-4中任一权项优化得到的所述关键点检测模型，获得所述关键点检测模型输出的所述图像上关键点的坐标。

6.一种模型的优化装置，其特征在于，所述装置包括：

7.根据权利要求6所述的模型的优化装置，其特征在于，

8.根据权利要求7所述的模型的优化装置，其特征在于，

9.一种关键点检测装置，其特征在于，所述装置包括：

图像接收模块，用于获得待检测的图像；

图像处理模块，用于将所述图像输入基于权利要求1-4中任一权项优化得到的所述关键点检测模型，获得所述关键点检测模型输出的所述图像上关键点的坐标。

10.一种计算机可读储存介质，其特征在于，所述存储介质上存储有程序代码，当所述程序代码被所述计算机运行时，执行如权利要求1-4中任一权项所述的模型的优化方法。