CN113192127B - 一种图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获得包含有目标对象的第一图像；检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息。

Description

一种图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。

背景技术

目标检测领域中，小物体检测的难度较大。手部对于人体来说属于小物体，尤其在远距离场景中，手部所占的比例较小，很难检测出手部。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种图像处理方法、装置、电子设备和存储介质。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像处理方法，所述方法包括：

获得包含有目标对象的第一图像；

检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息。

上述方案中，所述获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息，包括：

基于所述第一关键点信息确定所述目标对象的手部对应的第二关键点信息；

基于所述第二关键点信息确定所述目标对象的手部在所述第一图像中的第一检测框，将所述第一检测框所在的区域确定为所述目标对象的手部在所述第一图像中的第一位置信息。

上述方案中，所述方法还包括：基于所述第一位置信息对所述目标对象的手部进行跟踪，确定第二图像中的所述目标对象的所述手部的第二位置信息；所述第二图像为所述第一图像后的图像。

上述方案中，所述方法还包括：在对所述目标对象的手部进行跟踪过程中，若无法确定所述目标对象的所述手部的位置信息，重新检测包含有目标对象的部分肢体的图像，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述图像中的位置信息。

上述方案中，所述方法还包括：基于所述目标对象的所述手部在所述第一图像中的位置信息识别所述手部的状态，基于所述手部的状态确定手势类别信息。

上述方案中，所述方法还包括：基于所述目标对象的所述手部在所述第一图像和所述第二图像中的位置信息，或所述目标对象的所述手部在所述第二图像中的位置信息，识别所述手部的状态，基于所述手部的状态确定手势类别信息。

上述方案中，所述方法还包括：为所述目标对象的所述部分肢体分配第一标识，为所述目标对象的所述手部分配第二标识，建立所述第一标识和所述第二标识的映射关系。

上述方案中，所述目标对象包括多个对象，所述方法还包括：

在获得所述多个对象中每个对象的部分肢体的第一关键点信息以及所述每个对象的手部在所述第一图像中的第一位置后，针对每个对象执行如下步骤：

建立所述对象的第一关键点信息与第一位置信息之间的关联关系；

响应于所述对象属于操控对象，基于所述关联关系，利用所述对象的第一关键点信息与第一位置信息，控制电子设备展示相应输出内容和/或调整输出参数。

本发明实施例还提供了一种图像处理装置，所述装置包括：获取单元和检测单元；其中，

所述获取单元，用于获得包含有目标对象的第一图像；

所述检测单元，用于检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息。

上述方案中，所述检测单元，用于基于所述第一关键点信息确定所述目标对象的手部对应的第二关键点信息；基于所述第二关键点信息确定所述目标对象的手部在所述第一图像中的第一检测框，将所述第一检测框所在的区域确定为所述目标对象的手部在所述第一图像中的第一位置信息。

上述方案中，所述装置还包括跟踪单元，用于基于所述第一位置信息对所述目标对象的手部进行跟踪，确定第二图像中的所述目标对象的所述手部的第二位置信息；所述第二图像为所述第一图像后的图像。

上述方案中，所述检测单元，还用于在所述跟踪单元对所述目标对象的手部进行跟踪过程中，若无法确定所述目标对象的所述手部的位置信息，重新检测包含有目标对象的部分肢体的图像，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述图像中的位置信息。

上述方案中，所述装置还包括识别单元，用于基于所述目标对象的所述手部在所述第一图像中的位置信息识别所述手部的状态，基于所述手部的状态确定手势类别信息。

上述方案中，所述装置还包括识别单元，用于基于所述目标对象的所述手部在所述第一图像和所述第二图像中的位置信息，或所述目标对象的所述手部在所述第二图像中的位置信息，识别所述手部的状态，基于所述手部的状态确定手势类别信息。

上述方案中，所述装置还包括映射单元，用于为所述目标对象的所述部分肢体分配第一标识，为所述目标对象的所述手部分配第二标识，建立所述第一标识和所述第二标识的映射关系。

上述方案中，所述检测单元，用于检测所述第一图像中的多个目标对象的部分肢体，获得每个目标对象的部分肢体的第一关键点信息以及每个目标对象的手部在所述第一图像中的第一位置信息。

上述方案中，所述目标对象包括多个对象，所述装置还包括控制单元，用于所述检测单元在获得所述多个对象中每个对象的部分肢体的第一关键点信息以及所述每个对象的手部在所述第一图像中的第一位置后，针对每个对象执行如下步骤：建立所述对象的第一关键点信息与第一位置信息之间的关联关系；响应于所述对象属于操控对象，基于所述关联关系，利用所述对象的第一关键点信息与第一位置信息，控制电子设备展示相应输出内容和/或调整输出参数。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。

本发明实施例提供的图像处理方法、装置、电子设备和存储介质，所述方法包括：获得包含有目标对象的第一图像；检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息。采用本发明实施例的技术方案，借助目标对象的部分肢体的识别结果(可包括部分肢体的第一关键点信息)，可以得到手部在图像中的位置(可通过第一位置信息表示该位置)，实现了快速、准确的检测出图像中的目标对象的手部的位置，解决了远距离场景中，图像中的目标对象过小导致的手部检测难度大、甚至手部检测不到的问题。

附图说明

图1为本发明实施例的图像处理方法的流程示意图一；

图2为本发明实施例的图像处理方法的流程示意图二；

图3为本发明实施例的图像处理装置的组成结构示意图一；

图4为本发明实施例的图像处理装置的组成结构示意图二；

图5为本发明实施例的电子设备的硬件组成结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的流程示意图；如图1所示，所述方法包括：

步骤101：获得包含有目标对象的第一图像；

步骤102：检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息。

本实施例中的图像处理方法可应用于电子设备中，电子设备可以是用户设备。在一些可选的实现方式中，电子设备可包括手机、平板电脑、计算机、游戏机等设备，或者，电子设备还可以是智能电视、投影仪、智慧屏、户外展示机等显示设备。

在一些可选的实现方式中，电子设备中可包括图像采集组件(例如摄像头)，通过图像采集组件获得包含有目标对象的第一图像。在另一些可选的实现方式中，电子设备中可包括通信组件，通过通信组件获得其他摄像头(例如独立设置在图像采集区域的摄像头，或者其他电子设备中的摄像头)采集的包含有目标对象的第一图像。示例性的，以电子设备为手机为例，则可通过手机的前置摄像头采集包含有目标对象的第一图像。

本实施例中，目标对象具体可以是目标人物；目标人物具体可以是图像中位于前景的人物；或者，目标人物可以是图像中指定人物。可选地，第一图像中可包括一个或多个目标对象。

在一些可选的实现方式中，电子设备可通过目标检测网络识别所述第一图像中的目标对象的部分肢体。示例性的，目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部。示例性的，本实施例中目标对象的部分肢体为目标对象的上半身肢体。相应的，所述第一关键点信息对应的关键点可包括上述一个或多个部分肢体的至少一个关键点。

可选地，电子设备可通过目标检测网络识别所述第一图像中的目标对象的部分肢体，得到所述第一图像中对应于所述目标对象的部分肢体的检测框。示例性的，可通过目标检测网络对第一图像进行特征提取，基于提取到的特征确定第一图像中的各个目标对象的部分肢体的中心点以及对应于各个目标对象的部分肢体的检测框的高度和宽度，基于各个目标对象的部分肢体的中心点以及对应的高度和宽度，可确定各个目标对象的部分肢体的检测框。进而在检测框内对图像进行关键点检测，得到目标对象的部分肢体的第一关键点信息。

其中，目标检测网络采用样本图像训练获得，样本图像中标注有目标对象的检测框，检测框的标注范围包括目标对象的部分肢体所在区域；目标对象的部分肢体可以是目标对象的上半身肢体。其中，上述目标检测网络可采用任意一种能够检测目标对象肢体的网络结构，本实施例中对此不做限定。

本实施例中，目标检测网络可采用标注有目标对象的检测框的样本图像训练获得；其中，检测框的标注范围包括目标对象的部分肢体，可以理解，样本图像中可仅标注有目标对象的部分肢体(例如目标对象的上半身肢体)的检测框。示例性的，以检测框的标注范围为目标对象的部分肢体为例，可利用目标检测网络提取样本图像的特征数据，基于特征数据确定样本图像中各个目标对象的部分肢体的预测中心点以及对应部分肢体的预测检测框的高度和宽度，基于上述部分肢体的预测中心点以及对应的高度和宽度确定各个部分肢体对应的预测检测框；根据预测检测框以及标注的部分肢体的检测框确定损失，基于损失调整目标检测网络的网络参数，如此训练，得到满足条件的目标检测网络。

本实施例中，电子设备在确定目标对象的部分肢体的第一关键点信息后，例如确定目标对象的上半身肢体的第一关键点信息后，基于手部与上半身肢体之间的关联关系，确定出手部在第一图像中的第一位置信息。

在本发明的一些可选的实现方式中，所述获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息，包括：基于所述第一关键点信息确定所述目标对象的手部对应的第二关键点信息；基于所述第二关键点信息确定所述目标对象的手部在所述第一图像中的第一检测框，将所述第一检测框所在的区域确定为所述目标对象的手部在所述第一图像中的第一位置信息。

示例性的，上述第一关键点信息和第二关键点信息均可以为对应的关键点在第一图像中的坐标。

一些示例中，若第一关键点信息中包括手部的关键点信息，则可从第一关键点信息中确定出手部的第二关键点信息，进而根据手部的第二关键点信息确定手部的第一检测框。

另一些示例中，在远距离场景中，由于手部的面积较小，通过目标检测网络难以检测到手部的关键点，即第一关键点信息中通常不包括手部的关键点信息。由于手部与手臂连接，而手臂又与肩部连接，则可直接通过第一关键点信息中对应于手臂的关键点，确定出手部的关键点，进而得到手部对应的第二关键点信息(即手部的关键点坐标)。基于此，在基于第一图像获得的第一关键点信息中包括目标对象的手臂的关键点的坐标的情况下，可直接通过手臂的关键点的坐标得到该目标对象的手部的第二关键点信息。

考虑到手部与包含头部、颈部、肩部、胸部、腰部和髋部的目标对象的部分肢体之间满足特定相对位置关系。由于手部与手臂连接，而手臂又与肩部连接，以左手为例，左手仅会在以左肩的肩关节为圆心、以左臂长度为半径的圆形区域内移动，因此，左手与左肩的肩关节之间满足上述圆形区域的相对位置关系；相应的，右手与右肩的肩关节之间同样满足一个圆形区域的相对位置关系。基于此，本示例中可通过包含头部、颈部、肩部(可选地，还可包括胸部、腰部和髋部)和手臂中的至少一个目标对象的部分肢体的关键点的坐标，结合上述相对位置关系，得到该目标对象的手部的第二关键点信息。

示例性的，所述手部的第二关键点信息可以包括手部的中心点的坐标以及手部所在区域的顶点坐标。以手部所在区域为矩形区域为例，则手部所在区域的顶点坐标为手部所在的矩形区域的对角两个顶点或是四个顶点的坐标，也即手部的第二关键点信息包括手部的中心点、以及手部所在的矩形区域的对角两个顶点或四个顶点的坐标。

进一步地，电子设备根据目标对象的手部的第二关键点信息可确定出目标对象的手部在第一图像中的第一检测框。以手部的第二关键点信息包括手部的中心点、以及手部所在的矩形区域的四个顶点的坐标为例，则可根据手部所在的矩形区域的四个顶点的坐标确定手部在第一图像中的第一检测框。

采用本发明实施例的技术方案，通过对图像中的目标对象的部分肢体进行识别，得到部分肢体的第一关键点信息，以及根据手部与部分肢体之间的关联关系确定出手部在图像中的第一位置信息，实现了快速、准确的检测出图像中的目标对象的手部的位置，解决了远距离场景中，图像中的目标对象过小导致的手部检测难度大、甚至手部检测不到的问题。

在本发明的一些可选的实现方式中，如图2所示，在步骤101至步骤102的基础上，所述方法还可以包括：

步骤103：基于所述第一位置信息对所述目标对象的手部进行跟踪，确定第二图像中的所述目标对象的所述手部的第二位置信息；所述第二图像为所述第一图像后的图像。

本实施例中，电子设备可获得多帧图像，对多帧图像进行分析识别处理以得到目标对象的手部的位置信息。其中，上述第一图像可以是多帧图像中的首帧图像，而第二图像为多帧图像中、除首帧图像以外的其他一帧或多帧图像，即在首帧图像后的一帧图像。

本实施例中，在基于前述步骤101至步骤103的方法得到目标对象的手部在第一图像中的第一位置信息后，基于所述第一位置信息对所述目标对象的手部进行跟踪，确定在后的第二图像中所述目标对象的所述手部的第二位置信息。

在一些可选的实现方式中，基于第一位置信息对所述目标对象的手部进行跟踪，可包括：基于所述第一位置信息在所述第一图像中确定第一区域；所述第一区域大于所述目标对象的手部在第一图像中的第一检测框所在区域且所述第一区域包含所述第一检测框所在区域；确定所述第二图像中与所述第一区域的位置范围对应的第二区域，基于所述第二区域中的像素点确定目标对象的手部在第二图像中的第二位置信息。

对所述第二图像中的第二区域内的像素点进行关键点检测处理，得到目标对象的手部在第二图像中的第三关键点信息，基于第三关键点信息确定目标对象的所述手部在第二图像中的第二位置信息。

在一些可选的实现方式中，所述第一区域是对所述第一位置信息所在区域进行等幅度放大处理后得到的。例如，上述第一位置信息具体为手部在第一图像中的第一检测框对应的区域范围；示例性的，该第一位置信息(第一检测框)对应的区域为矩形区域。假设上述矩形区域的高度为H，宽度为W，则可以该矩形区域的中心点为中心、以该区域的四边朝向远离中心点的方向延伸，例如在高度方向上，分别向远离中心点的方向延伸H/4，在宽度方向上，分别向远离中心点的方向延伸W/4，则上述第一区域可通过第一图像中、以上述中心点为中心，高度为3H/2、宽度为3W/2的矩形区域表示。相应的，第二图像中的第二区域为与上述第一区域的区域范围对应的区域。

在另一些可选的实现方式中，所述第一区域是对所述第一位置信息所在区域进行非等幅度放大处理后得到的。例如，检测第三图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的关键点信息以及所述目标对象的手部在所述第三图像中的位置信息；所述第三图像为所述第二图像前的图像；基于所述第三图像中的手部的位置信息和所述第一图像中的手部的位置信息确定所述周补的移动趋势；基于所述移动趋势对所述第一位置信息在所述第一图像中的区域进行放大处理得到第一区域；所述第一区域中、对应于所述移动趋势的子区域的放大幅度大于除所述子区域以外的其他子区域的放大幅度，根据所述第一区域确定所述第二图像中与所述第一区域对应的第二区域，基于所述第二区域中的像素点确定目标对象的手部在第二图像中的第二位置信息。

本实施例中，由于手部可能是处于快速移动状态，例如在第一图像中的A区域检测到手部的初始检测框，在第二图像中的A区域可能只能检测到部分手部甚至检测不到手部。基于此，本实施例中先根据第三图像中的手部的位置和第一图像中的手部的位置确定手部的移动趋势，进而根据手部的移动趋势对所述第一位置信息在所述第一图像中的区域进行非等幅度的放大处理得到第一区域。

示例性的，若所述第三图像为所述第一图像后、所述第二图像前的一帧图像，则可根据手部在第三图像中的位置和手部在所述第一图像中的位置，确定两个位置之间的位移，位移的方向表示手部的移动方向，位移的大小表示手部在第三图像和第一图像之间对应的时长范围内移动的距离。进一步可根据该位移对所述第一位置信息在所述第一图像中的区域进行非等幅度放大处理得到第一区域。

示例性的，位移的方向对应于所述子区域。例如，以图像的中心点为原点建立平面坐标系，若位移的方向为x轴正方向，则对所述第一位置信息在所述第一图像中的区域进行放大处理得到第一区域的过程中，若第一位置信息的高度为H，宽度为W，则可以这个区域的中心点为中心，以该区域的四边朝向远离中心点的方向延伸，在朝向x轴正方向延伸的幅度大于其他方向延伸的幅度。例如在高度方向上，分别向远离中心点的方向延伸H/4，在宽度方向上，在x轴负方向延伸W/4，在x轴正方向延伸W/2，得到第一区域。当然，本实施例中，针对子区域的扩大参数可根据上述位移的大小确定，若手部的移动速度较大，则子区域的扩大参数可相应较大，若手部的移动速度较小，则子区域的扩大参数也可相应较小。这样降低了在第二图像中的第二区域检测不到手部的情况发生。

进一步地，一种实施方式中，电子设备可对第二图像中的第二区域内的像素点进行关键点检测处理，得到第二区域内包含肢体的关键点信息，将获得的关键点信息作为第二图像中、对应于目标对象的手部的关键点信息；基于该手部的关键点信息对应的坐标位置，得到所述手部在第二图像中的第二位置信息。另一种实施方式中，电子设备可对第二图像中的第二区域进行手部检测处理，得到所述第二区域中的手部的检测框，将所述手部的检测框对应的坐标位置作为手部在第二图像中的第二位置信息。

如此，通过对手部的跟踪，无需针对每一帧图像进行目标检测，大大减少了数据处理量，降低计算时延。

在本发明的一些可选的实现方式中，所述方法还包括：在对所述目标对象的手部进行跟踪过程中，若无法确定所述目标对象的所述手部的位置信息，重新检测包含有目标对象的部分肢体的图像，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述图像中的位置信息。

本实施例中，在对除首帧以外的其他图像进行手部的跟踪过程中，若跟踪不到手部的检测框，则重新调用目标检测网络检测目标对象的部分肢体，重新获得目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在图像中的位置信息。如此，在跟踪不到手部的检测框时，即手框跟踪丢失时，通过调用目标检测网络检测部分肢体，重新获得目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在图像中的位置信息，能够快速获得新的手部的检测框。

在本发明的一些可选的实现方式中，所述方法还包括：基于所述目标对象的所述手部在所述第一图像中的位置信息识别所述手部的状态，基于所述手部的状态确定手势类别信息。

本实施例中，电子设备在检测到第一图像(或第二图像)中的手部的检测框后，可针对检测框内的像素点进行分析识别，得到手部的状态。示例性的，手部的状态也即表示手势动作。例如，手部的状态可以是手掌状态，手掌状态具体可以是手部的五指张开、掌心朝向图像采集组件或是手背朝向图像采集组件的状态；又例如，手部的状态可以是握拳状态，握拳状态具体可以是手部握拳、掌心朝向图像采集组件或是手背朝向图像采集组件的状态。当然，本实施例中不限于上述列举的手部的状态，其他手部的状态也可在本发明实施例的保护范围之内。本实施例适用于静态手势场景。

在本发明的一些可选的实现方式中，基于所述目标对象的所述手部在所述第一图像和所述第二图像中的位置信息，或所述目标对象的所述手部在所述第二图像中的位置信息，识别所述手部的状态，基于所述手部的状态确定手势类别信息。

本实施例中，电子设备在检测到第一图像和第二图像中的手部的检测框后，可分别针对第一图像和第二图像中的手部的检测框内的像素点进行分析识别，或者对第二图像中的手部的检测框内的像素点进行分析识别，确定手部的状态。本实施例适用于动态手势场景。示例性的，电子设备可基于第一图像中的手部的检测框所在位置和第二图像中的手部的检测框所在位置确定手部的移动趋势，进而根据手部的移动趋势以及手部的状态(例如手指张开或是握拳的状态)，确定出手部的动态手势，动态手势例如可以包括滑动手势、

其中，不同的手部的状态可对应不同的手势类别信息，而各手势类别可对应不同的操作指令。

则在一些可选的实现方式中，所述方法还包括：所述电子设备基于所述手势类别信息执行相应的操作指令。

本实施例中，电子设备中可预先存储有多组操作指令和手势类别信息的映射关系，则电子设备检测到某手势类别信息后，通过查询该映射关系，确定对应的操作指令，进而可执行该操作指令。

在本发明的一些可选的实现方式中，所述方法还包括：为所述目标对象的所述部分肢体分配第一标识，为所述目标对象的所述手部分配第二标识，建立所述第一标识和所述第二标识的映射关系。

本实施例中，电子设备在识别出一个目标对象的部分肢体，便为该目标对象的所述部分肢体分配第一标识；在基于该目标对象的部分肢体确定出对应的手部后，便为所述手部分配第二标识，并建立所述第一标识和第二标识的映射关系。

在本发明的一些可选的实现方式中，所述检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息，包括：检测所述第一图像中的多个目标对象的部分肢体，获得每个目标对象的部分肢体的第一关键点信息以及每个目标对象的手部在所述第一图像中的第一位置信息。

本实施例中，若第一图像中包括多个目标对象，电子设备可通过上述目标检测方式识别第一图像中包含的每个目标对象的部分肢体，并且通过上述检测方式获得每个目标对象的部分肢体的第一关键点信息以及每个目标对象的手部在所述第一图像中的第一位置信息。

本实施例适用于图像中包括多个目标对象(或者包括多个手部)的场景，尤其适用于目标对象之间距离较近的情况，若目标对象之间距离较近，则可能成出现手部互相交叠的情况发生，例如目标人物A和目标人物B距离较近，目标人物A的右手可能出现在目标人物B的身体附近，而目标人物B的左手很可能出现在目标人物A的身体附近，则采用常规的对图像进行特征识别进而得到手部的检测框的方式，很有可能无法识别出哪个手部属于哪个目标人物。而通过本发明实施例的技术方案，可以根据目标对象的部分肢体与手部之间的关联，从而确定出每个目标对象的手部的关键点以及每个目标对象的手部在图像中的位置，避免出现图像中的手部与目标对象对应错误的情况，便于确定手部与目标对象的对应关系；进而通过建立对应于部分肢体的第一标识和手部的第二标识之间的映射关系，基于该映射关系可通过手部的检测框映射到对应的目标对象的部分肢体；另外，在手部的检测框跟踪丢失的情况下，可通过关联的目标对象的部分肢体再次重新检测识别，从而快速的从关联的目标对象的部分肢体重新确定手部在图像中的位置信息。

在本发明的一些可选的实现方式中，所述目标对象包括多个对象，所述方法还包括：在获得所述多个对象中每个对象的部分肢体的第一关键点信息以及所述每个对象的手部在所述第一图像中的第一位置后，针对每个对象执行如下步骤：建立所述对象的第一关键点信息与第一位置信息之间的关联关系；响应于所述对象属于操控对象，基于所述关联关系，利用所述对象的第一关键点信息与第一位置信息，控制电子设备展示相应输出内容和/或调整输出参数。

本实施方式中，目标对象包括多个对象，例如目标对象包括多个人物。电子设备可建立各个对象的第一关键点信息与各自的手部的第一位置信息之间的关联关系；进而在某对象为操控对象的情况下，电子设备可根据操控对象的手部的第一关键点信息与第一位置信息之间的关联关系，控制电子设备执行相应的操作，操作例如为展示相应输出内容和/或调整输出参数。其中，示例性的，所述展示相应输出内容例如可包括显示画面切换/跳转；所述调整输出参数例如可包括调整电子设备的音量、显示参数(例如分辨率、明暗度等)。

例如，若目标对象中包括多个对象，其中对象A属于操控对象。则电子设备建立对象A的手部的第一关键点信息与第一位置信息之间的关联关系。通过本发明实施例前述图像处理方法对对象A的手部进行追踪，进而可例如对象A的第一关键点信息与第一位置信息之间的关联关系，根据对象A的手部的第一关键点信息和手部在图像中的第一位置信息确定对象A的手部的动态手势，确定出动态手势对应的操作指令，根据操作指令控制展示相应的输出内容和/或调整输出参数。

本发明实施例还提供了一种图像处理装置。图3为本发明实施例的图像处理装置的组成结构示意图；如图3所示，所述装置包括：获取单元21和检测单元22；其中，

所述获取单元21，用于获得包含有目标对象的第一图像；

所述检测单元22，用于检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述第一图像中的第一位置信息。

在本发明的一些可选的实现方式中，所述检测单元22，用于基于所述第一关键点信息确定所述目标对象的手部对应的第二关键点信息；基于所述第二关键点信息确定所述目标对象的手部在所述第一图像中的第一检测框，将所述第一检测框所在的区域确定为所述目标对象的手部在所述第一图像中的第一位置信息。

在本发明的一些可选的实现方式中，如图4所示，所述装置还包括跟踪单元23，用于基于所述第一位置信息对所述目标对象的手部进行跟踪，确定第二图像中的所述目标对象的所述手部的第二位置信息；所述第二图像为所述第一图像后的图像。

在本发明的一些可选的实现方式中，所述检测单元22，还用于在所述跟踪单元23对所述目标对象的手部进行跟踪过程中，若无法确定所述目标对象的所述手部的位置信息，重新检测包含有目标对象的部分肢体的图像，获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述图像中的位置信息。

在本发明的一些可选的实现方式中，所述装置还包括识别单元，用于基于所述目标对象的所述手部在所述第一图像中的位置信息识别所述手部的状态，基于所述手部的状态确定手势类别信息。

在本发明的一些可选的实现方式中，所述装置还包括识别单元，用于基于所述目标对象的所述手部在所述第一图像和所述第二图像中的位置信息，或所述目标对象的所述手部在所述第二图像中的位置信息，识别所述手部的状态，基于所述手部的状态确定手势类别信息。

在本发明的一些可选的实现方式中，所述装置还包括映射单元，用于为所述目标对象的所述部分肢体分配第一标识，为所述目标对象的所述手部分配第二标识，建立所述第一标识和所述第二标识的映射关系。

在本发明的一些可选的实现方式中，所述目标对象包括多个对象，所述装置还包括控制单元，用于所述检测单元22在获得所述多个对象中每个对象的部分肢体的第一关键点信息以及所述每个对象的手部在所述第一图像中的第一位置后，针对每个对象执行如下步骤：建立所述对象的第一关键点信息与第一位置信息之间的关联关系；响应于所述对象属于操控对象，基于所述关联关系，利用所述对象的第一关键点信息与第一位置信息，控制电子设备展示相应输出内容和/或调整输出参数。

本发明实施例中，所述装置中的获取单元21、检测单元22、跟踪单元23、识别单元、映射单元和控制单元，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，MicrocontrollerUnit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种电子设备。图5为本发明实施例的电子设备的硬件组成结构示意图，如图5所示，所述电子设备包括存储器32、处理器31及存储在存储器32上并可在处理器31上运行的计算机程序，所述处理器31执行所述程序时实现本发明实施例所述图像处理方法的步骤。

可选地，电子设备中的各个组件通过总线系统33耦合在一起。可理解，总线系统33用于实现这些组件之间的连接通信。总线系统33除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统33。

可以理解，存储器32可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器32旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器31中，或者由处理器31实现。处理器31可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器31可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器31可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器32，处理器31读取存储器32中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器32，上述计算机程序可由电子设备的处理器31执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述图像处理方法的步骤。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种图像处理方法，其特征在于，所述方法包括：

获得包含有目标对象的第一图像；

检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息；其中，所述第一关键点信息不包括所述目标对象的手部的关键信息；

基于所述第一关键点信息确定所述目标对象的手部对应的第二关键点信息；

基于所述第二关键点信息确定所述目标对象的手部在所述第一图像中的第一检测框，将所述第一检测框所在的区域确定为所述目标对象的手部在所述第一图像中的第一位置信息；

为所述目标对象的所述部分肢体分配第一标识，为所述目标对象的所述手部分配第二标识，建立所述第一标识和所述第二标识的映射关系；

基于所述第一位置信息对所述目标对象的手部进行跟踪，确定第二图像中的所述目标对象的所述手部的第二位置信息；所述第二图像为所述第一图像后的图像；

在对所述目标对象的手部进行跟踪过程中，若无法确定所述目标对象的所述手部的位置信息，重新检测包含有目标对象的部分肢体的图像，并基于所述映射关系获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述图像中的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标对象的所述手部在所述第一图像中的位置信息识别所述手部的状态，基于所述手部的状态确定手势类别信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标对象的所述手部在所述第一图像和所述第二图像中的位置信息，或所述目标对象的所述手部在所述第二图像中的位置信息，识别所述手部的状态，基于所述手部的状态确定手势类别信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述目标对象包括多个对象，所述方法还包括：

在获得所述多个对象中每个对象的部分肢体的第一关键点信息以及所述每个对象的手部在所述第一图像中的第一位置后，针对每个对象执行如下步骤：

建立所述对象的第一关键点信息与第一位置信息之间的关联关系；

响应于所述对象属于操控对象，基于所述关联关系，利用所述对象的第一关键点信息与第一位置信息，控制电子设备展示相应输出内容和/或调整输出参数。

5.一种图像处理装置，其特征在于，所述装置包括：获取单元、检测单元、映射单元和跟踪单元；其中，

所述获取单元，用于获得包含有目标对象的第一图像；

所述检测单元，用于基于目标检测网络检测所述第一图像中所述目标对象的部分肢体，获得所述目标对象的部分肢体的第一关键点信息；其中，所述第一关键点信息不包括所述目标对象的手部的关键信息；基于所述第一关键点信息确定所述目标对象的手部对应的第二关键点信息；基于所述第二关键点信息确定所述目标对象的手部在所述第一图像中的第一检测框，将所述第一检测框所在的区域确定为所述目标对象的手部在所述第一图像中的第一位置信息；

所述映射单元，用于为所述目标对象的所述部分肢体分配第一标识，为所述目标对象的所述手部分配第二标识，建立所述第一标识和所述第二标识的映射关系；

所述跟踪单元，用于基于所述第一位置信息对所述目标对象的手部进行跟踪，确定第二图像中的所述目标对象的所述手部的第二位置信息；所述第二图像为所述第一图像后的图像；

所述检测单元，还用于在对所述目标对象的手部进行跟踪过程中，若无法确定所述目标对象的所述手部的位置信息，重新检测包含有目标对象的部分肢体的图像，并基于所述映射关系获得所述目标对象的部分肢体的第一关键点信息以及所述目标对象的手部在所述图像中的位置信息。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述方法的步骤。