CN109684991A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。方法包括：获得包含对象的至少两个身体部位的图像；根据图像，确定出至少两个身体部位中目标身体部位的一个参考采样框；根据参考采样框，以及根据每个身体部位与参考采样框之间的偏差参数，确定出每个身体部位的实际采样框。其实现了通过将对象和该对象的每个身体部位绑定的方式，确定出该对象的每个身体部位的实际采样框，无需将确定出采用框再归属到其所属的对象，从而就可以避免出现归类错误，进而就实现可以准确的提取出所属于每个对象的各身体部位。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

在目前的图像处理中，需要通过不同的采样框对图像中不同的身体部位分门别类的进行提取，然后再将每个身体部位对应的归类到其所属的每个对象。但这种方式很容易出现错误的归类，例如，将提取出的对象A的身体确定为对象B的身体，从而导致其实际应用的效果很差。

发明内容

本申请在于提供一种图像处理方法、装置、电子设备及存储介质，以实现可以准确的提取出所属于每个对象的各身体部位。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获得包含对象的至少两个身体部位的图像；

根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框；

根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

在本申请实施例中，由于可以针对对象的一个目标身体部位确定该目标身体部位的参考采样框，并再由该参考采样框到该对象的每个身体部位的偏差参数确定出该对象的每个身体部位的实际采样框，从而就实现了通过将对象和该对象的每个身体部位绑定的方式，确定出该对象的每个身体部位的实际采样框，无需将确定出采用框再归属到其所属的对象，从而就可以避免出现归类错误，进而就实现可以准确的提取出所属于每个对象的各身体部位。

结合第一方面，在第一种可能的实现方式中，根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框，包括：

利用身体识别模型处理所述图像，确定出多个初始采样框，以及确定出每个所述初始采样框的得分，其中，每个所述初始采样框的得分越高则表示每个所述初始采样框内的内容为所述至少两个身体部位中目标身体部位的概率越大；

根据每个所述初始采样框的得分和所述多个初始采样框中任意两个初始采样框之间的重合度，从所述多个初始采样框中确定出一个目标初始采样框为所述目标身体部位的一个参考采样框。

在本申请实施例中，由于可以根据初始采样框的得分和重合度来对多个初始采样框进行筛选，故可以使得确定出的目标初始采样框能够更加的与身体部位相关。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，根据每个所述初始采样框的得分和所述多个初始采样框中任意两个初始采样框之间的重合度，从所述多个初始采样框中确定出一个目标初始采样框为所述目标身体部位的一个参考采样框，包括：

根据所述多个初始采样框中得分满足阈值条件的目标初始采样框与所述多个初始采样框中除所述目标初始采样框外的每个其它初始采样框之间的重合度，将重合度高于第一重合度阈值的每个其它初始采样框删除，获得删除后的所述多个初始采样框；

在删除后的所述多个初始采样框中仅包括所述目标初始采样框或删除后的所述多个初始采样框中任意两个的初始采样框之间的重合度低于所述第一重合度阈值时，确定所述目标初始采样框为所述目标身体部位的一个参考采样框。

在本申请实施例中，通过设置的第一重合度阈值而将与得分高的初始采样框过度重合的其它初始采样框删除，可以删除不必要的采样框并留下得分高的初始采样框，实现了确定出的目标初始采样框是与目标身体部位最相关的一个采样框，提高了确定出的目标初始采样框准确性。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，利用身体识别模型处理所述图像，确定出多个初始采样框，以及确定出每个所述初始采样框的得分，包括：

利用身体识别模型对所述图像进行特征提取，获得特征图像；

利用所述身体识别模型对所述特征图像进行识别处理，获得所述身体识别模型输出的多个初始采样框和每个所述初始采样框的得分。

在本申请实施例中，通过模型对特征图像的处理的方式来确定出每个初始采样框的得分，其可以使得获得的每个初始采样框的得分的准确性比较好。

结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，在获得包含每个对象的至少两个身体部位的图像之后，所述方法还包括：

利用所述身体识别模型对所述图像进行偏差处理，确定出每个所述初始采样框与每个所述身体部位之间的偏差参数，其中，每个所述偏差参数包括：每个所述初始采样框的中心点到每个所述身体部位的中心点的距离偏差，以及每个所述初始采样框的尺寸大小偏差。

在本申请实施例中，通过模型处理该图像的方式来确定出偏差参数，其可以使得确定出的偏差参数准确性比较高。

结合第一方面，在第五种可能的实现方式中，根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框，包括：

根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，获得基于所述参考采样框按每个偏差参数移动而生成的每个偏差采样框；

根据每个所述身体部位与所述参考采样框的大小关系调整每个偏差采样框的大小，获得每个所述身体部位的实际采样框。

在本申请实施例中，由于可以基于偏差参数去生成实际采样框，故使得实际采样框可以更加的与身体部位相关，即实际采样框可以更好框选住身体部位。

结合第一方面的第一种至第五种中的任一种可能的实现方式，在第六种可能的实现方式中，对所述身体识别模型进行训练的步骤包括：

获得包含训练对象的至少两个身体部位的特征训练图像；

获得所述特征训练图像中所述训练对象的至少两个身体部位中目标身体部位的多个训练的初始采样框，利用所述身体识别模型中当前的分类神经网络参数为第一参数对所述特征训练图像进行识别处理，获得所述身体识别模型输出的每个所述训练的初始采样框的得分；以及根据所述训练对象的目标身体部位的标准采样框的得分与每个所述训练的初始采样框的得分之间的差值，将所述当前的分类神经网络参数由所述第一参数调整为第二参数；

利用所述身体识别模型中当前的位置神经网络参数为第三参数对所述特征训练图像进行偏差处理，确定出每个所述训练的初始采样框与所述训练对象的至少两个身体部位中所述训练对象的每个身体部位之间的偏差参数；根据每个所述训练的初始采样框与所述训练对象的每个身体部位之间的偏差参数，以及根据所述训练对象的每个身体部位之间的标准采样框，将所述当前的位置神经网络参数由所述第三参数调整为第四参数。

在本申请实施例中，由于可以通过预设的标准采样框的得分和模式实际确定出的每个训练的初始采样框的得分去反向优化模型中确定得分的参数，故可以通过训练使得模型确定出的得分的准确性越来越高。以及，也由于还可以通过预设的每个训练对象的每个身体部位的标准采样框和模型实际确定出的偏差参数去反向优化模型中确定偏差参数的参数，故也可以通过训练使得模型确定出的偏差参数的准确性越来越高。

结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，获得所述特征训练图像中所述训练对象的至少两个身体部位中目标身体部位的多个训练的初始采样框，包括：

获得以所述特征训练图像包含的P个采样点中每个所述采样点为采样框的中心，确定的与每个采样点相关且形状和/或尺寸不同的N个训练的初始采样框，共获得P*N个训练的初始采样框，P和N均为大于1的整数；

根据所述P*N个训练的初始采样框中每个所述训练的初始采样框与所述训练对象的目标身体部位的标准采样框之间的重合度，从所述P*N个训练的初始采样框中获得重合度大于第二重合度阈值的多个训练的初始采样框。

在本申请实施例中，由于可以对基于所有采样点确定从P*N个训练的初始采样框进行筛选，从而选择出与预设的标准采样框比较相关的多个训练的初始采样框来进行计算，在可以保证结果不受影响的同时，还缩小了运算量，降低了电子设备的运算负荷。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

图像获得模块，用于获得包含对象的至少两个身体部位的图像。

第一采样框确定模块，用于根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框。

第二采样框确定模块，用于根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

结合第二方面，在第一种可能的实现方式中，

所述第一采样框确定模块，还用于利用身体识别模型处理所述图像，确定出多个初始采样框，以及确定出每个所述初始采样框的得分，其中，每个所述初始采样框的得分越高则表示每个所述初始采样框内的内容为所述至少两个身体部位中目标身体部位的概率越大；根据每个所述初始采样框的得分和所述多个初始采样框中任意两个初始采样框之间的重合度，从所述多个初始采样框中确定出一个目标初始采样框为所述目标身体部位的一个参考采样框。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，

所述第一采样框确定模块，还用于根据所述多个初始采样框中得分满足阈值条件的目标初始采样框与所述多个初始采样框中除所述目标初始采样框外的每个其它初始采样框之间的重合度，将重合度高于第一重合度阈值的每个其它初始采样框删除，获得删除后的所述多个初始采样框；在删除后的所述多个初始采样框中仅包括所述目标初始采样框或删除后的所述多个初始采样框中任意两个的初始采样框之间的重合度低于所述第一重合度阈值时，确定所述目标初始采样框为所述目标身体部位的一个参考采样框。

结合第二方面的第一种可能的实现方式，在第三种可能的实现方式中，

所述第一采样框确定模块，还用于利用身体识别模型对所述图像进行特征提取，获得特征图像；利用所述身体识别模型对所述特征图像进行识别处理，获得所述身体识别模型输出的多个初始采样框和每个所述初始采样框的得分。

结合第二方面的第一种可能的实现方式，在第四种可能的实现方式中，所述装置还包括：

偏差参数确定模块，用于利用所述身体识别模型对所述图像进行偏差处理，确定出每个所述初始采样框与每个所述身体部位之间的偏差参数，其中，每个所述偏差参数包括：每个所述初始采样框的中心点到每个所述身体部位的中心点的距离偏差，以及每个所述初始采样框的尺寸大小偏差。

结合第二方面，在第五种可能的实现方式中，

所述第二采样框确定模块，还用于根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，获得基于所述参考采样框按每个偏差参数移动而生成的每个偏差采样框；根据每个所述身体部位与所述参考采样框的大小关系调整每个偏差采样框的大小，获得每个所述身体部位的实际采样框。

结合第二方面的第一种至第五种中的任一种可能的实现方式，在第六种可能的实现方式中，对所述身体识别模型进行训练的装置包括：

特征训练图像获得模块，用于获得包含训练对象的至少两个身体部位的特征训练图像；

第一模型训练模块，用于获得所述特征训练图像中所述训练对象的至少两个身体部位中目标身体部位的多个训练的初始采样框，利用所述身体识别模型中当前的分类神经网络参数为第一参数对所述特征训练图像进行识别处理，获得所述身体识别模型输出的每个所述训练的初始采样框的得分；以及根据所述训练对象的目标身体部位的标准采样框的得分与每个所述训练的初始采样框的得分之间的差值，将所述当前的分类神经网络参数由所述第一参数调整为第二参数；

第二模型训练模块，用于利用所述身体识别模型中当前的位置神经网络参数为第三参数对所述特征训练图像进行偏差处理，确定出每个所述训练的初始采样框与所述训练对象的至少两个身体部位中所述训练对象的每个身体部位之间的偏差参数；根据每个所述训练的初始采样框与所述训练对象的每个身体部位之间的偏差参数，以及根据所述训练对象的每个身体部位之间的标准采样框，将所述当前的位置神经网络参数由所述第三参数调整为第四参数。

结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，

所述第一模型训练模块，还用于获得以所述特征训练图像包含的P个采样点中每个所述采样点为采样框的中心，确定的与每个采样点相关且形状和/或尺寸不同的N个训练的初始采样框，共获得P*N个训练的初始采样框，P和N均为大于1的整数；根据所述P*N个训练的初始采样框中每个所述训练的初始采样框与所述训练对象的目标身体部位的标准采样框之间的重合度，从所述P*N个训练的初始采样框中获得重合度大于第二重合度阈值的多个训练的初始采样框。

第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：处理器，存储器，总线和通信模块。

所述处理器、所述通信模块和存储器通过所述总线连接。

所述存储器，用于存储程序。

所述处理器，用于通过调用存储在所述存储器中的程序以执行如第一方面、第一方面任一种可能实现方式所述的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行如第一方面、第一方面任一种可能实现方式所述的图像处理方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种电子设备的第一结构框图；

图2示出了本申请实施例提供的一种电子设备的第二结构框图；

图3示出了本申请实施例提供的一种图像处理方法的流程图；

图4示出了本申请实施例提供的一种图像处理方法的第一应用场景图；

图5示出了本申请实施例提供的一种图像处理方法的第二应用场景图；

图6示出了本申请实施例提供的一种图像处理方法的第三应用场景图；

图7示出了本申请实施例提供的一种图像处理装置的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部位的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

请参阅图1和图2，本申请一些实施例提供了一种电子设备10，该电子设备10可是终端或者服务器。

若电子设备10为终端，终端可以是具体图像或视频采集能力终端设备，例如可以是手机、个人电脑、平板电脑、个人数字助理(Personal Digital Assistant，PDA)或监控摄像头等。

若电子设备10为服务器，服务器则可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器20可以是分布式系统)。作为一示例，服务器存储的信息和/或数据可以被终端访问。在一些实施例中，服务器可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。

图1示出了根据本申请的电子设备10在为终端情况下的结构框图，电子设备10用于执行本申请中的功能。

电子设备10可以包括连接到网络的网络端口11、用于执行程序指令的一个或多个处理器12、通信总线13、摄像头14和不同形式的存储介质15例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备10还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口16。

在这种情况下，电子设备10的摄像头14可以采集图像或者视频，使得处理器12调用并运行存储在存储介质15中的程序来处理该图像或者视频，以执行本申请所述的图像处理方法。

图2示出了根据本申请的电子设备10在为服务器情况下的结构框图，电子设备10也用于执行本申请中的功能。

电子设备10也可以包括连接到网络的网络端口101、用于执行程序指令的一个或多个处理器102、通信总线103、不同形式的存储介质104和输入/输出接口105。

在这种情况下，电子设备10可以与摄像设备实现分布式设置，例如，摄像设备设置在被监控区域，而电子设备10则可以位于远程的后台。故电子设备10可以不用设置摄像头。电子设备10的输入/输出接口105可以获得外部位的摄像设备采集的图像或者视频，使得处理器102调用并运行存储在存储介质105中的程序来处理该图像或者视频，也执行本申请所述的图像处理方法。

为了便于说明，在电子设备10中仅描述了一个处理器。然而，应当注意，本申请中的电子设备10还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备10的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。

请参阅图3，本申请一些实施例提供了图像处理方法，该图像处理方法可以由电子设备执行，该图像处理方法可以包括：步骤S100、步骤S200和步骤S300。

步骤S100：获得包含对象的至少两个身体部位的图像。

步骤S200：根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框。

步骤S300：根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

下面将结合图3至图6，对本申请的图像处理方法进行详细的描述。

本申请实施例可以通过身体识别模型来对图像进行处理以从图像中确定出每个对象的每个身体部位的实际采样框。

作为一种可选地的方式，为便于在不同的应用场景也能够准确的确定出每个对象的每个身体部位的实际采样框，即不论对象的远近，即在对象比较远时，可以确定出比较小的实际采样框来框住对象的身体部位，以及在对象比较近时，可以确定出比较大的实际采样框来框住对象的身体部位。故身体识别模型中包含的至少一个处理通道，获得图像可以被至少一个处理通道中每个处理通道均进行流程大致相同处理。但由于每个处理通道的特征提取尺度不同，故可以使得每个处理通道处理后确定出的实际采样框的大小不一样。其中，特征提取尺度越大，则确定出的实际采样框的大小也会越大，这一点将在后续详细地的说明。故这样就可以实现无论对象是远还是近，经过至少一个通道的处理后，总可以有一个通道确定出的实际采样框能够恰当的框选住该对象的身体部位。

可也理解到，由于每个通道的处理流程大致一样，为避免累述，以及也便于理解本方案，本实施例将以其中某一个通道为例来对如何对该身体识别模型进行训练，以及实际中该身体识别模型如何运行进行详细地说明。

本实施例中，为保证身体识别模型在实际应用中的准确性，在身体识别模型实际应用之前，可以先对身体识别模型进行充分的训练。且在训练过程中身体识别模型的识别准确度已经达到了阈值准确度以上例如达到98％以上，便可以确定该身体识别模型的训练结束，可以投入正常使用。

本实施例中，可以利用大量的包含训练对象的至少两个身体部位且还预设置了框选住训练对象的每个身体部位的标准采样框的图像对身体识别模型进行训练。由于基于每张图像每一次进行训练的过程可以一样，为便于理解，本实施例将以某一次训练为例来对如何对身体识别模型进行训练予以详细地说明。

在对该身体识别模型进行某一次训练的过程中，电子设备先获得本次训练所需的训练图像，该训练图像中可以包含至少一个训练对象，以及包含至少一个训练对象中每个训练对象的至少两个身体部位，以及还包含每个身体的每个身体部位的标准采样框。

这样，电子设备便可以调用该身体识别模型，并将该图像输入到该身体识别模型中进行处理。

身体识别模型可以按预设尺度对该训练图像进行特征提取的处理，其中，预设尺度可以是将该训练图像进行预设次数的卷积，例如，卷积2次、3次或5次等。可以理解到的是，卷积的次数越多则特征提取的尺度越大，而训练图像所包含的信息则越是从平面转移到空间。这样，训练图像在平面维度上的关于分辨率的信息量就会减少，而在空间维度上关于图像中包含训练对象的特征信息则会增多。

基于此，电子设备便可以获得经特征提取处理后的特征训练图像，假设，训练图像是分辨率为400*800的图像，那么经过四次卷积的特征提取后得到的特征训练图像则可以是25*50*16的图像，即该训练图像在平面维度上的信息被转移到了空间维度上。

为便于对身体识别模型中的神经网络进行训练，可以先基于该特征训练图像生成很多个用于训练的训练的初始采样框。

作为生成训练的初始采样框的可选地方式，电子设备可以基于该特征训练图像上的每个采样点来确定训练的初始采样框。详细地，电子设备可以以特征训练图像上包含的P个采样点中每个采样点为采样框的中心，确定出与每个采样点相关且形状和尺寸中至少一个不同的N个训练的初始采样框，这样，P个采样点一共就可以确定出P*N个训练的初始采样框，其中，P和N均为大于1的整数。

需要说明的是，与每个采样点相关的N个训练的初始采样框的形状和/或尺寸不同，其原因可以是，若每个采样点相关就一个训练的初始采样框，那么该训练的初始采样框的形状尺寸可能很难满足训练的需要，故可以需要不同形状和/或尺寸的训练的初始采样框来进行训练，使得训练的效果更好。

继续前述假设，在特征训练图像可以是25*50*16的情况下，该特征训练图像所包含的P个采样点便可以是25*50共1250个。根据尺寸和大小的需求，以1为单位，那么N个形状和/或尺寸可以是1:1、2:1、1:2、2:3、3:2、2:2、3:3、4:3和3:4。这样，电子设备便可以一共确定出1250*9＝11250个位置、形状或尺寸都不同的训练的初始采样框。

可以理解到的是，对于一个训练对象来说，该训练对象在图像中的至少两个身体部位是比较靠近的，即至少两个身体部位之间的相关度都比较高。因此，在训练过程中可以不用将一个训练对象的每个身体部位都用于训练，而可以将至少两个身体部位中某一个身体部位作为目标身体部位，并以该目标身体部位来进行训练。而由于至少两个身体部位之间的相关度都比较高，故这样的方式并不影响训练的效果，且还可以降低训练过程的运算量。

还可以理解到的是，针对训练对象的一般行为姿态来说，训练对象比较容易出现埋头或偏头的情况且训练对象的躯干也容易被其它训练对象或物体遮挡，故以脸或躯干作为目标身体部位时，若出现上述情况便无法识别到，从而无法继续进行训练。而由于头部位的体积比较小，不容被遮挡，且埋头或偏头的情况也不影响对头部位的识别，因此，可以以头部作为目标身体部位进行训练。

那么基于上述分析，可以将P*N个训练的初始采样框中的每个训练的初始采样框作为与训练对象的头部相关的采样框，即每个训练的初始采样框内包含的内容应该是头部。

与本实施例中，由于图像中还预设了每个训练对象的目标身体部位的标准采样框，即每个标准采样框内包含的内容是每个训练对象的目标身体部位，即每个训练对象的头部。那么为了减少训练的数量，可以将P*N个训练的初始采样框与每个训练对象的标准采样框匹配，以将P*N个训练的初始采样框中完全不匹配的训练的初始采样框去掉，以留下与标准采样框匹配的且能够对训练产生效果的训练的初始采样框。

作为通过匹配来去掉P*N个训练的初始采样框无用的训练的初始采样框的可选地方式，电子设备可以计算P*N个训练的初始采样框中每个训练的初始采样框与每个训练对象的标准采样框之间的重合度。其中，计算重合度的方式可以是：将训练的初始采样框与标准采样框作为第一个新的图像，并计算出第一个新的图像的面积。再将训练的初始采样框与标准采样框重合的部分作为第二个新的图像，并也计算出第二个新的图像的面积。这样，将第二个新的图像的面积与第一个新的图像的面积相比而确定出的值便可以是重合度。

也就是说，若训练的初始采样框与标准采样框完全重合，那么重合度可以是1；而若训练的初始采样框与标准采样框完全不重合，则重合度可以是0；而若训练的初始采样框与标准采样框部分重合，则重合度可以是介于0和1之间。

电子设备中还预先设置了第一重合度阈值，例如，该第二重合度阈值可以是0.5，但并不作为限定。基于此第二重合度阈值，电子设备根据P*N个训练的初始采样框中每个训练的初始采样框与标准采样框之间的重合度，从便可以从P*N个训练的初始采样框中获得重合度大于第二重合度阈值的多个训练的初始采样框。这些重合度大于第二重合度阈值的多个训练的初始采样框可以作为正样本用于后续的训练；反之，重合度小于第二重合度阈值的训练的初始采样框则被作为负样本而删除掉了。

可以理解到的是，本实施例可以通过直接将重合度计算出来并用于匹配。但若还需要降低运算量，本实施例还可以先将P*N个训练的初始采样框中超过特征训练图像边界的部分训练的初始采样框去掉，然后再对去掉部分训练的初始采样框后所剩的训练的初始采样框进行匹配度计算。

获得多个训练的初始采样框后，电子设备可以通过身体识别模型对多个训练的初始采样框所包含的内容进行处理，以基于处理得到的结果来反向的对身体识别模型进行训练。

作为第一种模型训练的方式，身体识别模型基于身体识别模型中当前的分类神经网络参数为第一参数并采用分类损失函数对特征训练图像进行识别处理，即对多个训练的初始采样框中每个训练的初始采样框内包含的内容进行识别处理，身体识别模型便可以基于每个训练的初始采样框内包含的内容计算出每个训练的初始采样框的得分。其中，每个训练的初始采样框的得分可以表示每个训练的初始采样框内的内容为目标身体部位的概率，每个训练的初始采样框的得分越高则可以表示每个训练的初始采样框的内容为目标身体部位的概率越大。

但是，在身体识别模型的训练阶段，身体识别模型的准确度可能不太高，故每个训练的初始采样框的得分很高，但其实际上所包含的内容也不一定是目标身体部位；以及每个训练的初始采样框的得分很低但，其实际上所包含的内容也不一定不是目标身体部位。

故电子设备中还预设了包含目标身体部位的标准采样框的得分来组作为参照标准，以实现对身体识别模型的训练。可选地，电子设备可以根据标准采样框的得分与每个训练的初始采样框的得分之间的差值，反向的去优化身体识别模型中参数，从而将身体识别模型中当前的分类神经网络参数由第一参数调整为第二参数，继而就实现了对身体识别模型训练优化。

作为第二种模型训练的方式，身体识别模型基于身体识别模型中当前的位置神经网络参数为第三参数并采用回归损失函数对特征训练图像进行识别处理，即也是对多个训练的初始采样框中每个训练的初始采样框的位置进行偏差参数的分析处理，身体识别模型便可以计算出每个训练的初始采样框与一个训练对象的每个身体部位之间的偏差参数，其中，每个偏差参数可以包括：用于表示每个训练的初始采样框的中心点到一个训练对象的每个身体部位的中心点的距离偏差，以及每个训练的初始采样框的尺寸大小偏差。

但是，也是在身体识别模型的训练阶段，也由于身体识别模型的准确度可能不太高，故每个训练的初始采样框的偏差参数可能并不准确，即按每个训练的初始采样框的偏差参数移动到的位置，可能不一定是一个训练对象的身体部位实际所在的位置。

故电子设备可以基于预设的每个身体部位的标准采样框作为参照标准，以实现对身体识别模型的训练。可选地，电子设备可以基于每个训练的初始采样框的偏差参数中的距离偏差，确定出每个训练的初始采样框按对应的距离偏差移动，使得每个训练的初始采样框的中心点位于按距离偏差移动到新的中心点位置。以及，电子设备还可以基于每个训练的初始采样框的偏差参数中的尺寸大小偏差，将每个训练的初始采样框按对应的尺寸大小偏差调整形状尺寸，从而获得新的每个训练的初始采样框。这样，电子设备便可以基于每个训练的初始采样框的新的中心点位置与该训练对象的每个标准采样框的中心点位置之间的差值，以及基于新的每个训练的初始采样框的长和宽与该训练对象的每个标准采样框的长和宽的偏差，反向的去优化身体识别模型中参数，从而将身体识别模型中当前的位置神经网络参数由第三参数调整为第四参数，继而也实现了对身体识别模型训练优化。

这样，基于该图像对身体识别模型的本次训练便可以结束了。

需要说明的是，由于身体部位在躯干的情况下，由于躯干的尺寸一般是大于头部的尺寸的，故每个训练的初始采样框与为躯干的身体部位之间的偏差参数就比较大。若利用每个训练的初始采样框与为躯干之间的偏差参数对当前的位置神经网络参数进行调整，则会使得每个训练的初始采样框与为躯干之间的偏差参数在调整中占到很大比重，从而对身体识别模型训练优化产生不利。因此，可以将每个训练的初始采样框与为躯干的身体部位之间的偏差参数缩小后在利用缩小后的偏差参数进行调节。例如，与头部的偏差参数为2、与脸部的偏差参数为1.8、以及与躯干的偏差参数为5，那么电子设备可以按照头部的偏差参数：脸部的偏差参数：躯干的偏差参数的计算权重比为1:1:1/4对躯干的偏差参数为5进行缩小，从而获得缩小后的躯干的偏差参数为1.25。这样，电子设备便可以基于与头部的偏差参数为2、与脸部的偏差参数为1.8、以及与躯干的偏差参数为1.25对身体识别模型训练优化。

实际中，通过大量的图像对身体识别模型进行大量的训练后，例如，进行上百万次的训练后，身体识别模型的准确度基本上可以满足实际的使用需求，即准确度可以达到95％以上。

那么，在身体识别模型实际使用后，电子设备可以开始执行步骤S100。但需要说明的是，在训练过程中电子设备也可以执行步骤S100来开始每一次的训练。本实施例在此处所说的开始执行步骤S100，仅为表示电子设备在实际应用中开始对图像进行处理，并不作为对本实施例的限定。

步骤S100：获得包含对象的至少两个身体部位的图像。

电子设备可以获得自身的摄像头或外部的摄像设备采集的图像或者视频。

作为一种方式，若电子设备获得的是图像，那么电子设备可以直接对该包含了每个对象的至少两个身体部位的图像进行处理。

作为另一种方式，若电子设备获得的是视频，则由于视频所包含的帧数比较多，故电子设备可以对视频按间隔预设帧的方式进行抽帧，从而获得从视频抽出的一帧包含了每个对象的至少两个身体部位的图像，并也对该图像处理处理。其中，间隔预设帧的数量可以根据实际应用场景进行选择，例如，若需要对某个对象进行跟踪识别时，间隔预设帧的数量则可以比较少；若需要对某个对象进行单次识别时，间隔预设帧的数量则可以比较多。

在获得该图像后，电子设备便可以继续执行步骤S200。

步骤S200：根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框。

电子设备可以调用该训练好的身体识别模型，从而将该图像输入到身体识别模型进行处理。

本实施例中，身体识别模型对该图像也按预设的下采样尺度对该图像进行卷积，从而获得该图像的特征图像。基于此，电子设备则可以利用该身体识别模型以通过身体识别模型中训练好的当前的分类神经网络参数且基于分类损失函数对该特征图像进行识别处理，从而可以获得与图像中目标身体部位，即与头部相关的多个初始采样框，以及获得多个初始采样框中每个初始采样框的得分。

于此同时，该身体识别模型可以通过身体识别模型中训练好的当前的位置神经网络参数且基于回归损失函数对该特征图像进行识别处理，即对该特征图像中每个初始采样框进行偏差处理计算，从而可以获得每个初始采样框与对应的一个对象的每个身体部位之间的偏差参数。

本实施例中，多个初始采样框中可能一个对象的存在重复度比较高的采样框，例如，两个初始采样框大部分重合的框选住对象的头部。为避免冗余，可以将多个初始采样框中重复度较高的初始采样框去掉，使得图像中每个对象的头部对应一个初始采样框。

作为将重复度较高的初始采样框去掉的可选地方式，本实施例可以采用例如NMS方式(Non-Maximum Suppression，非极大值抑制)来实现，即电子设备通过NMS方式，并根据每个初始采样框的得分和多个初始采样框中任意两个初始采样框之间的重合度，便可以从多个初始采样框中确定出一个目标初始采样框为目标身体部位的一个参考采样框。

详细地，电子设备可以将多个初始采样框按照每个初始采样框的得分，由高至低或由低至高的进行排序形成队列。之后，电子设备可以将队列的多个初始采样框中得分满足阈值条件的初始采样框作为目标初始采样框，然后电子设备便可以按照队列的顺序依次计算该目标初始采样框与其它初始采样框之间的重合度。其中，其它初始采样框可以是多个初始采样框中除目标初始采样框外的采样框，而重合度的计算可以参考上述的描述，在此就不再累述。

再者，电子设备中还预先设置了第一重合度阈值，例如，第一重合度阈值可以是0.4，但并不限定。故电子设备便可以将基于该目标初始采样框计算出的重合度与第一重合度阈值匹配，并在确定基于该目标初始采样框计算出的重合度大于该第一重合度阈值时，电子设备可以认为其它初始采样框与该目标初始采样框过于重合，这样电子设备便可以将重合度大于该第一重合度阈值的其它初始采样框删除。

那么，在队列中所有的其它初始采样框都与该目标初始采样框进行重合计算并进行重合度匹配后，电子设备可以确定本次的计算结束。电子设备可以从删除了其它初始采样框所剩的初始采样框中确定出除该目标初始采样框外的得分最高的其它目标初始采样框，并再重复上述的计算和匹配删除流程。

因此，在删除后的多个初始采样框中仅包括目标初始采样框或删除后的多个初始采样框中任意两个的初始采样框之间的重合度低于第一重合度阈值时，电子设备便可以确定计算结束，并确定每个目标初始采样框为对应的每个对象的一个目标身体部位的一个参考采样框。且由于最后剩下的目标初始采样框是得分最高的采样框，故也使得最后得到参考采样框是最能够框选住目标身体部位的采样框。

结合图4至图6，下面将以一个示例来进行说明。

图4所示，图像中包含了对象1和对象2，确定出了A-J共10个初始采样框。若初始采样框A为得分最高的初始采样框，那么将初始采样框A作为目标初始采样框A去计算与其余B-J共9个初始采样框的重合度。基于计算可以确定，B-E这4个初始采样框与目标初始采样框A的重合度都比较高，且H-J这5个初始采样框与目标初始采样框A的重合度都是0，故可以将B-E这4个初始采样框删除，从而第一次计算结束，计算的结果呈现为图5所示。

如图5所示，若在初始采样框A外，得分最高的初始采样框是初始采样框F，那么将初始采样框F作为目标初始采样框F去计算与其余G-J共4个初始采样框的重合度。基于计算可以确定，G-J这4个初始采样框与目标初始采样框F的重合度都比较高，故可以将G-J这4个初始采样框删除。这样，剩下的目标初始采样框A和目标初始采样框F之间的重合度为0，故电子设备确定计算结束，计算的结果呈现为图6所示。

电子设备在获得参考采样框后，电子设备便可以继续执行步骤S300。

步骤S300：根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

由于参考采样框是基于采样点的位置生成的，其与一个对象的每个身体部位之间还是有偏差的，故电子设备可以基于参考采样框和偏差参数来确定出最能够框选住每个身体部位的实际采样框。

详细地，电子设备可以根据参考采样框，以及根据该参考采样框对应的一个对象的每个身体部位与该参考采样框之间的偏差参数，获得基于参考采样框按每个偏差参数移动并进行形状和尺寸的调整，从而生成的每个偏差采样框。那么，电子设备根据每个身体部位与参考采样框的大小关系调整每个偏差采样框的大小，例如，躯干比较大就将参考采样框调整放大一些，而脸比较小则将参考采样框调整缩小一些，从而就可以获得每个身体部位的实际采样框。

请参阅图7，本申请实施例提供了一种图像处理装置100，该图像处理装置100可以应用于电子设备，该图像处理装置100可以包括：

图像获得模块110，用于获得包含对象的至少两个身体部位的图像。

第一采样框确定模块120，用于根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框。

第二采样框确定模块130，用于根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施方式的图像处理方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的程序代码被运行时，能够执行上述施例的图像处理方法的步骤，以准确的提取出所属于每个对象的各身体部位。

本申请实施例所提供的图像处理方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。方法包括：获得包含每个对象的至少两个身体部位的图像；根据图像，确定出至少两个身体部位中目标身体部位的一个参考采样框；根据参考采样框，以及根据每个身体部位与参考采样框之间的偏差参数，确定出每个身体部位的实际采样框。

由于可以针对对象的一个目标身体部位确定该目标身体部位的参考采样框，并再由该参考采样框到该对象的每个身体部位的偏差参数确定出该对象的每个身体部位的实际采样框，从而就实现了在与通过将对象和该对象的每个身体部位绑定的方式确定出该对象的每个身体部位的实际采样框，无需将确定出采用框再归属到其所属的对象，从而就可以避免出现归类错误，进而就实现可以准确的提取出所属于每个对象的各身体部位。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获得包含对象的至少两个身体部位的图像；

根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框；

根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框，包括：

利用身体识别模型处理所述图像，确定出多个初始采样框，以及确定出每个所述初始采样框的得分，其中，每个所述初始采样框的得分越高则表示每个所述初始采样框内的内容为所述至少两个身体部位中目标身体部位的概率越大；

根据每个所述初始采样框的得分和所述多个初始采样框中任意两个初始采样框之间的重合度，从所述多个初始采样框中确定出一个目标初始采样框为所述目标身体部位的一个参考采样框。

3.根据权利要求2所述的图像处理方法，其特征在于，根据每个所述初始采样框的得分和所述多个初始采样框中任意两个初始采样框之间的重合度，从所述多个初始采样框中确定出一个目标初始采样框为所述目标身体部位的一个参考采样框，包括：

根据所述多个初始采样框中得分满足阈值条件的目标初始采样框与所述多个初始采样框中除所述目标初始采样框外的每个其它初始采样框之间的重合度，将重合度高于第一重合度阈值的每个其它初始采样框删除，获得删除后的所述多个初始采样框；

在删除后的所述多个初始采样框中仅包括所述目标初始采样框或删除后的所述多个初始采样框中任意两个的初始采样框之间的重合度低于所述第一重合度阈值时，确定所述目标初始采样框为所述目标身体部位的一个参考采样框。

4.根据权利要求2所述的图像处理方法，其特征在于，利用身体识别模型处理所述图像，确定出多个初始采样框，以及确定出每个所述初始采样框的得分，包括：

利用身体识别模型对所述图像进行特征提取，获得特征图像；

利用所述身体识别模型对所述特征图像进行识别处理，获得所述身体识别模型输出的多个初始采样框和每个所述初始采样框的得分。

5.根据权利要求2所述的图像处理方法，其特征在于，在获得包含对象的至少两个身体部位的图像之后，所述方法还包括：

利用所述身体识别模型对所述图像进行偏差处理，确定出每个所述初始采样框与每个所述身体部位之间的偏差参数，其中，每个所述偏差参数包括：每个所述初始采样框的中心点到每个所述身体部位的中心点的距离偏差，以及每个所述初始采样框的尺寸大小偏差。

6.根据权利要求1所述的图像处理方法，其特征在于，根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框，包括：

根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，获得基于所述参考采样框按每个偏差参数移动而生成的每个偏差采样框；

根据每个所述身体部位与所述参考采样框的大小关系调整每个偏差采样框的大小，获得每个所述身体部位的实际采样框。

7.根据权利要求2所述的图像处理方法，其特征在于，对所述身体识别模型进行训练的步骤包括：

获得包含训练对象的至少两个身体部位的特征训练图像；

获得所述特征训练图像中所述训练对象的至少两个身体部位中目标身体部位的多个训练的初始采样框，利用所述身体识别模型中当前的分类神经网络参数为第一参数对所述特征训练图像进行识别处理，获得所述身体识别模型输出的每个所述训练的初始采样框的得分；以及根据所述训练对象的目标身体部位的标准采样框的得分与每个所述训练的初始采样框的得分之间的差值，将所述当前的分类神经网络参数由所述第一参数调整为第二参数；

利用所述身体识别模型中当前的位置神经网络参数为第三参数对所述特征训练图像进行偏差处理，确定出每个所述训练的初始采样框与所述训练对象的至少两个身体部位中所述训练对象的每个身体部位之间的偏差参数；根据每个所述训练的初始采样框与所述训练对象的每个身体部位之间的偏差参数，以及根据所述训练对象的每个身体部位之间的标准采样框，将所述当前的位置神经网络参数由所述第三参数调整为第四参数。

8.根据权利要求7所述的图像处理方法，其特征在于，获得所述特征训练图像中所述训练对象的至少两个身体部位中目标身体部位的多个训练的初始采样框，包括：

获得以所述特征训练图像包含的P个采样点中每个所述采样点为采样框的中心，确定的与每个采样点相关且形状和/或尺寸不同的N个训练的初始采样框，共获得P*N个训练的初始采样框，P和N均为大于1的整数；

根据所述P*N个训练的初始采样框中每个所述训练的初始采样框与所述训练对象的目标身体部位的标准采样框之间的重合度，从所述P*N个训练的初始采样框中获得重合度大于第二重合度阈值的多个训练的初始采样框。

9.一种图像处理装置，其特征在于，所述装置包括：

图像获得模块，用于获得包含对象的至少两个身体部位的图像；

第一采样框确定模块，用于根据所述图像，确定出所述至少两个身体部位中目标身体部位的一个参考采样框；

第二采样框确定模块，用于根据所述参考采样框，以及根据每个所述身体部位与所述参考采样框之间的偏差参数，确定出每个所述身体部位的实际采样框。

10.一种电子设备，其特征在于，所述电子设备包括：处理器，存储器，总线和通信接口；所述处理器、所述通信接口和存储器通过所述总线连接；

所述存储器，用于存储程序；

所述处理器，用于通过调用存储在所述存储器中的程序以执行如权利要求1-8任一权项所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行如权利要求1-8任一权项所述的图像处理方法。