CN111767768A - 图像处理方法、装置及设备 - Google Patents

Abstract

本发明实施例提供一种图像处理方法、装置及设备，该方法包括：获取终端设备显示的参考图像和终端设备拍摄的第一图像，参考图像包括参考对象的参考动作，第一图像包括第一对象的第一动作；在参考图像中确定参考对象的N个参考关键点，以及在第一图像中确定第一对象的N个第一关键点，N为大于1的整数；确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，M为小于N‑1的正整数；根据M个参考向量和M个第一向量，确定第一动作和参考动作的动作相似度。提高了确定动作相似度的准确性。

Description

图像处理方法、装置及设备

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

在很多应用场景(例如跳舞机等)中，用户可以模仿模特的动作，并获取用户的动作与模特的动作的相似度。

在现有技术中，通常获取模特执行动作时的模特图像，以及用户执行动作时的用户图像，根据模特图像估计模特的各肢体的动作，并根据用户图像估计用户的各肢体的动作，根据模特的各肢体的动作和用户的各肢体的动作，确定用户的动作与模特的动作的相似度。例如，可以根据模特图像估计模特的胳膊动作、腿动作等，以及根据用户图像估计用户的胳膊动作、腿动作等，并根据模特的胳膊动作与用户的胳膊动作的相似度、模特的腿动作与用户的腿动作的相似度，确定用户的动作与模特的动作的相似度。然而，在上述过程中，由于模特图像和用户图像都是二维的图像，使得估计得到的各肢体的动作的准确性较差，导致确定得到的用户动作与模特动作的相似度的准确度较低。

发明内容

本发明实施例提供一种图像处理方法、装置及设备，提高了确定动作相似度的准确性。

第一方面，本发明实施例提供一种图像处理方法，包括：

获取终端设备显示的参考图像和所述终端设备拍摄的第一图像，所述参考图像包括参考对象的参考动作，所述第一图像包括第一对象的第一动作；

在所述参考图像中确定所述参考对象的N个参考关键点，以及在所述第一图像中确定所述第一对象的N个第一关键点，所述N为大于1的整数；

确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，所述M为小于N-1的正整数；

根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度，包括：

确定每个第一向量对应的参考向量；

获取每个第一向量和对应的参考向量之间的夹角；

根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度，包括：

根据每个第一向量和对应的参考向量之间的夹角，确定每个第一向量与对应的参考向量之间的相似度；

根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，针对所述M个第一向量中的任意的第一向量，根据所述第一向量和对应的参考向量之间的夹角，确定所述第一向量与对应的参考向量之间的相似度，包括：

判断所述第一向量和对应的参考向量之间的夹角是否大于180度；

若是，则确定所述第一向量与对应的参考向量之间的相似度为零；

若否，则将所述第一向量和对应的参考向量之间的夹角的余弦值确定为所述第一向量与对应的参考向量之间的相似度。

在一种可能的实施方式中，所述根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度，包括：

通过预设模型对每个第一向量对应的参考向量之间的相似度进行处理，得到所述第一动作和所述参考动作的动作相似度；

其中，所述预设模型为对多组样本学习得到的，每组样本包括一组样本图像和样本相似度，所述一组样本图像中包括样本参考图像和样本第一图像，所述样本相似度为用户根据所述一组样本图像标注得到的。

在一种可能的实施方式中，针对所述M个第一向量中的任意的第一向量，确定所述第一向量对应的参考向量，包括：

获取所述第一向量的起始关键点和终止关键点；

根据所述第一向量的起始关键点和终止关键点，确定所述第一向量对应的参考向量，所述第一向量的起始关键点的标识与所述第一向量对应的参考向量的起始关键点的标识相同，所述第一向量的终止关键点的标识与所述第一向量对应的参考向量的终止关键点的标识相同。

在一种可能的实施方式中，所述确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，包括：

获取所述N个参考关键点中每个参考关键点的坐标；

根据每个参考关键点的坐标，确定每个参考关键点与其它参考关键点之间的距离；

根据每个参考关键点与其它参考关键点之间的距离，确定每个参考关键点对应的与其距离最近的M个参考关键点；

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。

在一种可能的实施方式中，所述确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，包括：

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的M个第一关键点；

根据每个第一关键点对应的与其距离最近的M个第一关键点，确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

在一种可能的实施方式中，当一个参考关键点的标识与一个第一关键点的标识相同时，所述一个参考关键点对应的与其距离最近的M个参考关键点的标识，与所述一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

第二方面，本发明实施例提供一种图像处理装置，包括：获取模块、第一确定模块、第二确定模块和第三确定模块，其中，

所述获取模块用于，获取终端设备显示的参考图像和所述终端设备拍摄的第一图像，所述参考图像包括参考对象的参考动作，所述第一图像包括第一对象的第一动作；

所述第一确定模块用于，在所述参考图像中确定所述参考对象的N个参考关键点，以及在所述第一图像中确定所述第一对象的N个第一关键点，所述N为大于1的整数；

所述第二确定模块用于，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，所述M为小于N-1的正整数；

所述第三确定模块用于，根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述第三确定模块具体用于：

确定每个第一向量对应的参考向量；

获取每个第一向量和对应的参考向量之间的夹角；

根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述第三确定模块具体用于：

根据每个第一向量和对应的参考向量之间的夹角，确定每个第一向量与对应的参考向量之间的相似度；

根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述第三确定模块具体用于：

针对所述M个第一向量中的任意的第一向量，判断所述第一向量和对应的参考向量之间的夹角是否大于180度；

若是，则确定所述第一向量与对应的参考向量之间的相似度为零；

若否，则将所述第一向量和对应的参考向量之间的夹角的余弦值确定为所述第一向量与对应的参考向量之间的相似度。

在一种可能的实施方式中，所述第三确定模块具体用于：

通过预设模型对每个第一向量对应的参考向量之间的相似度进行处理，得到所述第一动作和所述参考动作的动作相似度；

其中，所述预设模型为对多组样本学习得到的，每组样本包括一组样本图像和样本相似度，所述一组样本图像中包括样本参考图像和样本第一图像，所述样本相似度为用户根据所述一组样本图像标注得到的。

在一种可能的实施方式中，所述第三确定模块具体用于：

针对所述M个第一向量中的任意的第一向量，获取所述第一向量的起始关键点和终止关键点；

根据所述第一向量的起始关键点和终止关键点，确定所述第一向量对应的参考向量，所述第一向量的起始关键点的标识与所述第一向量对应的参考向量的起始关键点的标识相同，所述第一向量的终止关键点的标识与所述第一向量对应的参考向量的终止关键点的标识相同。

在一种可能的实施方式中，所述第二确定模块具体用于：

获取所述N个参考关键点中每个参考关键点的坐标；

根据每个参考关键点的坐标，确定每个参考关键点与其它参考关键点之间的距离；

根据每个参考关键点与其它参考关键点之间的距离，确定每个参考关键点对应的与其距离最近的M个参考关键点；

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。

在一种可能的实施方式中，所述第二确定模块具体用于：

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的M个第一关键点；

根据每个第一关键点对应的与其距离最近的M个第一关键点，确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

在一种可能的实施方式中，当一个参考关键点的标识与一个第一关键点的标识相同时，所述一个参考关键点对应的与其距离最近的M个参考关键点的标识，与所述一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

第三方面，本发明实施例提供一种图像处理装置，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的图像处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的图像处理方法。

本发明实施例提供的图像处理方法、装置及设备，每一个参考向量均可以准确的表示出参考对象的两个相邻的关键部位之间的位置关系，使得该M个参考向量可以准确的表示参考对象的参考动作，每一个第一向量均可以准确的表示出第一对象的两个相邻的关键部位之间的位置关系，使得该M个第一向量可以准确的表示第一对象的第一动作，根据M个参考向量和M个第一向量，可以准确的确定得到第一动作和参考动作的动作相似度，提高了确定动作相似度的准确性。进一步的，参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，与参考对象的身高、身材比例、拍摄角度的相关度较小，每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，与参考对象的身高、身材比例、拍摄角度的相关度较小，因此，通过上述方法还可以减小由于参考对象和第一对象之间的身高差异、身材比例差异、图像拍摄角度差异而导致的相似度误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本发明实施例提供的图像处理方法的流程示意图；

图3为本发明实施例提供的关键点的示意图；

图4为本发明实施例提供的图像处理方法的架构示意图；

图5为本发明实施例提供的另一种图像处理方法的流程示意图；

图6为本发明实施例提供的向量夹角示意图；

图7为本发明实施例提供的参考图像和第一图像的示意图；

图8为本发明实施例提供的图像处理装置的结构示意图；

图9为本发明实施例提供的图像处理装置的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本申请实施例提供的一种应用场景示意图。请参见图1，终端设备中设备中设置有摄像装置P，终端设备可以通过摄像装置P进行拍摄。终端设备可以为手机、电脑、电视等设备。例如，用户对终端界面101中的“启动拍摄”图标进行点击操作之后，终端设备显示终端界面102，终端界面102中包括模特的参考动作。用户可以参考模特的参考动作执行相应的动作，终端设备可以通过摄像装置P对用户进行拍摄。在终端设备拍摄得到的用户的图像之后，终端设备可以根据模特的参考动作和用户执行的动作确定动作相似度，例如，终端设备可以在终端界面103中显示动作相似度。

图1只是以示例的形式示一种应用场景，当然，本申请实施例所适用的应用场景还可以为其它，本申请实施例对此不作具体限定。例如，应用场景可以为跳舞机场景，跳舞机中的一个模特在跳舞，用户可以根据模特的动作进行跳舞。跳舞机可以通过本申请所示的方法获取用户的动作与模特的动作之间的相似度，并为用户的跳舞动作打分。

在本申请中，终端设备可以显示参考图像，以及拍摄获取第一图像，参考图像中包括参考对象的参考动作，第一图像中包括第一对象的第一动作，终端设备可以在参考图像中确定参考对应的N个参考关键点，以及在第一图像中确定第一对象的N个第一关键点，关键点可以指示对象中的关键部位。终端设备还获取每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，并根据M个参考向量和M个第一向量，确定第一动作和参考动作的动作相似度。每一个参考向量均可以准确的表示出参考对象的两个相邻的关键部位之间的位置关系，进而使得该M个参考向量可以准确的表示参考对象的参考动作，每一个第一向量均可以准确的表示出第一对象的两个相邻的关键部位之间的位置关系，进而使得该M个第一向量可以准确的表示第一对象的第一动作，因此，根据M个参考向量和M个第一向量，可以准确的确定得到第一动作和参考动作的动作相似度。

下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图2为本发明实施例提供的图像处理方法的流程示意图。请参见图2，该方法可以包括：

S201、获取终端设备显示的参考图像和终端设备拍摄的第一图像。

本发明实施例的执行主体可以为终端设备或服务器，也可以为设置在终端设备或者服务器中的图像处理装置。可选的，终端设备设备可以为手机、电脑、电视、游戏设备等。图像处理装置可以通过软件实现，也可以通过软件和硬件的结合实现。为了便于描述，下面为执行主体为终端设备为例进行说明。

其中，参考图像包括参考对象的参考动作，第一图像包括第一对象的第一动作。

终端设备显示的参考图像可以为终端设备中预设的图像，或者终端设备从网络中下载的图像。当执行主体为服务器时，则服务器可以接收终端设备发送的参考图像。参考图像中包括参考对象，参考对象可以为模特、虚拟人物、虚拟动物、虚拟玩偶等。参考动作是指参考图像中的参考对象的动作，例如，当参考对象为人或动物时，参考动作是指参考对象的肢体动作。

第一图像为终端设备拍摄得到的图像，当执行主体为服务器时，则服务器可以接收终端设备发送的第一图像。第一图像中包括第一对象，第一对象可以为真实的人、动物等。第一动作是指第一图像中的第一对象的动作，例如，当第一对象为人或动物时，第一动作是指第一对象的肢体动作。

S202、在参考图像中确定参考对象的N个参考关键点，以及在第一图像中确定第一对象的N个第一关键点。

参考关键点用于指示参考对象的关键部位。第一关键点用于指示第一对象的关键部位。

其中，N为大于1的整数。例如，N可以为14等，当然，在实际应用过程中，可以根据实际需要设置N的大小。

当参考对象为人时，参考关键点所指示的人体的关键部位可以包括：头、脖子、左肩膀、右肩膀、左手腕、右手腕、左手肘、右手肘、左胯、右胯、左脚踝、右脚踝、左膝盖和右膝盖。可选的，上述人体的关键部位还可以称为参考关键点的标识。

当第一对象为人时，第一关键点所指示的人体的关键部位可以包括：头、脖子、左肩膀、右肩膀、左手腕、右手腕、左手肘、右手肘、左胯、右胯、左脚踝、右脚踝、左膝盖和右膝盖。可选的，上述人体的关键部位还可以称为第一关键点的标识。

下面，结合图3，对关键点(参考关键点或者第一关键点)进行说明。

图3为本发明实施例提供的关键点的示意图。请参见图3，假设对象为人，则该对象的关键点可以包括14个关键点，该14个关键点分别如A、B、C、D、E、F、G、H、I、J、K、L、M、N所示。

可选的，可以对参考图像进行对象识别，以在参考图像中确定N个参考关键点。可以对第一图像进行对象识别，以在第一图像中确定N个第一关键点。

可以将参考图像输入至第一识别模型，第一识别模型对参考图像进行对象识别处理，并输出参考图像中参考对象的N个参考关键点，第一识别模型输出的N个参考关键点可以为N个参考关键点在参考图像中的坐标。可以将第一图像输入至第一识别模型，第一识别模型对第一图像进行对象识别处理，并输出第一图像中第一对象的N个第一关键点，第一识别模型输出的N个第一关键点可以为N个第一关键点在第一图像中的坐标。

第一识别模型可以为对多组样本进行学习得到的，每组样本包括样本图像和样本关键点，样本关键点可以为人工在样本图像中标注的关键点。

S203、获取每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

其中，M为小于N-1的正整数。例如，当N为14时，M可以为2、3、4等，在实际应用过程中，可以根据实际需要设置M的大小。

一个参考关键点和与其距离最近的M个参考点之间的M个参考向量是指，以该一个参考关键点为起点，以与该一个参考关键点距离最近的M个参考关键点为终点的M个向量。

例如，请参见图3，假设M等于2，对于参考关键点D，假设距离该参考关键点D最近的2个参考关键点为参考关键点A和参考关键点B，则参考关键点D和与其距离最近的2个参考关键点之间的2个参考向量为向量1和向量2，向量1的起始关键点为关键点D，终止关键点为关键点A，向量2的起始关键点为关键点D，终止关键点为关键点B。

可选的，可以根据每个参考关键点的坐标，确定每个参考关键点对应的与其距离最近的M个参考关键点，再获取每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。即，一个参考关键点对应M个参考向量。

可选的，可以根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的N个参考关键点。其中，当一个参考关键点的标识与一个第一关键点的标识相同时，该一个参考关键点对应的与其距离最近的M个参考关键点的标识，与该一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

例如，对于参考关键点，假设参考关键点左手肘对应的与其距离最近的两个参考关键点为左手腕和右手腕，则对于第一参考点，第一参考点左手肘对应的与其距离最近的两个第一关键点为左手腕和右手腕。

S204、根据M个参考向量和M个第一向量，确定第一动作和参考动作的动作相似度。

可选的，可以确定每个第一向量对应的参考向量，根据每个第一向量和对应的参考向量之间的夹角，确定每个第一向量和对应的参考向量之间的相似度，并根据每个第一向量和对应的参考向量之间的相似度，确定第一动作和参考动作的动作相似度。其中，第一向量的起始关键点的标识与第一向量对应的参考向量的起始关键点的标识相同，第一向量的终止关键点的标识与第一向量对应的参考向量的终止关键点的标识相同。

若第一向量和对应的参考向量之间的夹角小于或等于180度，则将第一向量和对应的参考向量之间的夹角的余弦值确定为第一向量和对应的参考向量之间的相似度。若第一向量和对应的参考向量之间的夹角大于180度，则确定第一向量和对应的参考向量之间的相似度为0。

本发明实施例提供的图像处理方法，每一个参考向量均可以准确的表示出参考对象的两个相邻的关键部位之间的位置关系，使得该M个参考向量可以准确的表示参考对象的参考动作，每一个第一向量均可以准确的表示出第一对象的两个相邻的关键部位之间的位置关系，使得该M个第一向量可以准确的表示第一对象的第一动作，根据M个参考向量和M个第一向量，可以准确的确定得到第一动作和参考动作的动作相似度，提高了确定动作相似度的准确性。进一步的，参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，与参考对象的身高、身材比例、拍摄角度的相关度较小，每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，与参考对象的身高、身材比例、拍摄角度的相关度较小，因此，通过上述方法还可以减小由于参考对象和第一对象之间的身高差异、身材比例差异、图像拍摄角度差异而导致的相似度误差。

下面，结合图4，对本发明实施例所示的图像处理方法的架构进行说明。

图4为本发明实施例提供的图像处理方法的架构示意图。请参见图4，终端设备先获取参考图像和第一图像。对参考图像进行关键点识别处理，可以得到参考图像中参考对象的参考关键点，对第一图像进行关键点识别处理，可以得到第一图像中第一对象的第一关键点。根据参考关键点可以确定得到参考向量，根据第一关键点可以确定得到第一向量，根据参考向量和第一向量之间的向量夹角，可以确定得到向量相似度。通过预设模型对向量相似度进行处理，可以得到动作相似度，其中，预设模型为根据多组样本学习得到的。

在上述任意一个实施例的基础上，下面，结合图5，对上述方法进行详细说明。

图5为本发明实施例提供的另一种图像处理方法的流程示意图。请参见图5，该方法可以包括：

S501、获取终端设备显示的参考图像和终端设备拍摄的第一图像。

S502、在参考图像中确定参考对象的N个参考关键点，以及在第一图像中确定第一对象的N个第一关键点。

需要说明的是，S501-S502的执行过程可以参见S201-S202的执行过程，此处不再进行赘述。

S503、获取N个参考关键点中每个参考关键点的坐标。

可选的，参考关键点的坐标可以为参考关键点在参考图像中的像素坐标。

例如，假设参考关键点的个数为14，则可以获取得到14个参考关键点的坐标。

S504、根据每个参考关键点的坐标，确定每个参考关键点与其它参考关键点之间的距离。

例如，假设参考关键点的个数为14，则针对每个参考关键点，可以确定该参考关键点与其它13个参考关键点之间的距离。

S505、根据每个参考关键点与其它参考关键点之间的距离，确定每个参考关键点对应的与其距离最近的M个参考关键点。

可选的，针对任意一个参考关键点，可以按照该参考关键点与其它参考关键点之间的距离由小到大的顺序，对其它参考关键点进行排序，并将排序后的其它参考关键点中前M个参考关键点确定为与该参考关键点距离最近的M个参考关键点。

S506、根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。

针对每个参考关键点，可以确定得到M个参考向量，则对于N个参考关键点，一共可以确定得到M*N个参考向量。

S507、根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的M个第一关键点。

其中，当一个参考关键点的标识与一个第一关键点的标识相同时，该一个参考关键点对应的与其距离最近的M个参考关键点的标识，与该一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

例如，对于参考关键点，假设参考关键点左手肘对应的与其距离最近的两个参考关键点为左手腕和右手腕，则对于第一参考点，第一参考点左手肘对应的与其距离最近的两个第一关键点为左手腕和右手腕。

S508、根据每个第一关键点对应的与其距离最近的M个第一关键点，确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

针对每个第一关键点，可以确定得到M个第一向量，则对于N个第一关键点，一共可以确定得到M*N个第一向量。

S509、确定每个第一向量对应的参考向量。

针对M个第一向量中的任意的第一向量，可以获取第一向量的起始关键点和终止关键点；根据第一向量的起始关键点和终止关键点，确定第一向量对应的参考向量，第一向量的起始关键点的标识与第一向量对应的参考向量的起始关键点的标识相同，第一向量的终止关键点的标识与第一向量对应的参考向量的终止关键点的标识相同。

例如，假设第一向量的起始关键点的标识为右手肘、终止关键点的标识为右手腕，则第一向量对应的参考向量的起始关键点的标识为右手肘、终止关键点的标识为右手腕。

S510、获取每个第一向量和对应的参考向量之间的夹角。

下面，结合图6，对第一向量和对应的参考向量之间的夹角进行说明。

图6为本发明实施例提供的向量夹角示意图。请参见图6，包括参考图像和第一图像，参考图像中的参考关键点如参考图像的A至N所示，第一图像中的第一关键点如第一图像中的A至N所示。

假设在参考图像中确定得到的一个参考向量为向量1，在第一图像中确定得到的一个第一向量为向量2，向量1和向量2为对应的向量，则向量1和向量2之间的夹角如图6中的θ所示。

S511、根据每个第一向量和对应的参考向量之间的夹角，确定第一动作和参考动作的动作相似度。

可选的，可以判断第一向量和对应的参考向量之间的夹角是否大于180度；若是，则确定第一向量与对应的参考向量之间的相似度为零；若否，则将第一向量和对应的参考向量之间的夹角的余弦值确定为第一向量与对应的参考向量之间的相似度。

S512、根据每个第一向量与对应的参考向量之间的相似度，确定第一动作和参考动作的动作相似度。

可选的，可以获取每个第一向量与对应的参考向量之间的相似度的平均相似度，可以将平均相似度确定为动作相似度。

可选的，还可以通过预设模型对每个第一向量对应的参考向量之间的相似度进行处理，得到所述第一动作和所述参考动作的动作相似度；其中，预设模型为对多组样本学习得到的，每组样本包括一组样本图像和样本相似度，所述一组样本图像中包括样本参考图像和样本第一图像，样本相似度为用户根据所述一组样本图像标注得到的。

例如，用户可以根据实际需要标注一组样本图像的样本相似度，例如，假设实际需要确定得到动作相似度为0或1，则人工标注的样本相似度为0或1，这样，通过预设模型输出的动作相似度也可以0或1。例如，假设实际需要确定得到的动作相似度为0、0.3、0.5、0.8、1中的一种，则人工标注的样本相似度为0、0.3、0.5、0.8、1中的一种，这样，预设输出的动作相似度也为0、0.3、0.5、0.8、1中的一种。

下面，结合图7，对第一动作和参考动作的动作相似度进行说明。

图7为本发明实施例提供的参考图像和第一图像的示意图。请参见图7，包括参考图像和多个第一图像(分别记为图像1、图像2和图像3)。

假设在学习预设模型时，人工标注的样本相似度为0至1之间的任意数字，则通过预设模型确定得到的图像1、图像2和图像3中第一动作与参考图像中参考动作之间的相似度分别为：0.77、0.54和0。

假设在学习预设模型时，人工标注的样本相似度为0或1，则通过预设模型确定得到的图像1、图像2和图像3中第一动作与参考图像中参考动作之间的相似度分别为：1、1和0。

假设在学习预设模型时，人工标注的样本相似度为0或0.5或1，则通过预设模型确定得到的图像1、图像2和图像3中第一动作与参考图像中参考动作之间的相似度分别为：1、0.5和0。

在图5所示的实施例中，每一个参考向量均可以准确的表示出参考对象的两个相邻的关键部位之间的位置关系，使得该M个参考向量可以准确的表示参考对象的参考动作，每一个第一向量均可以准确的表示出第一对象的两个相邻的关键部位之间的位置关系，使得该M个第一向量可以准确的表示第一对象的第一动作，根据M个参考向量和M个第一向量，可以准确的确定得到第一动作和参考动作的动作相似度，提高了确定动作相似度的准确性。进一步的，参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，与参考对象的身高、身材比例、拍摄角度的相关度较小，每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，与参考对象的身高、身材比例、拍摄角度的相关度较小，因此，通过上述方法还可以减小由于参考对象和第一对象之间的身高差异、身材比例差异、图像拍摄角度差异而导致的相似度误差。

图8为本发明实施例提供的图像处理装置的结构示意图。请参见图8，该图像处理装置10可以包括：获取模块11、第一确定模块12、第二确定模块13和第三确定模块14，其中，

所述获取模块11用于，获取终端设备显示的参考图像和所述终端设备拍摄的第一图像，所述参考图像包括参考对象的参考动作，所述第一图像包括第一对象的第一动作；

所述第一确定模块12用于，在所述参考图像中确定所述参考对象的N个参考关键点，以及在所述第一图像中确定所述第一对象的N个第一关键点，所述N为大于1的整数；

所述第二确定模块13用于，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，所述M为小于N-1的正整数；

所述第三确定模块14用于，根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度。

本发明实施例提供的图像处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述第三确定模块14具体用于：

确定每个第一向量对应的参考向量；

获取每个第一向量和对应的参考向量之间的夹角；

根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述第三确定模块14具体用于：

根据每个第一向量和对应的参考向量之间的夹角，确定每个第一向量与对应的参考向量之间的相似度；

根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度。

在一种可能的实施方式中，所述第三确定模块14具体用于：

针对所述M个第一向量中的任意的第一向量，判断所述第一向量和对应的参考向量之间的夹角是否大于180度；

若是，则确定所述第一向量与对应的参考向量之间的相似度为零；

若否，则将所述第一向量和对应的参考向量之间的夹角的余弦值确定为所述第一向量与对应的参考向量之间的相似度。

在一种可能的实施方式中，所述第三确定模块14具体用于：

通过预设模型对每个第一向量对应的参考向量之间的相似度进行处理，得到所述第一动作和所述参考动作的动作相似度；

其中，所述预设模型为对多组样本学习得到的，每组样本包括一组样本图像和样本相似度，所述一组样本图像中包括样本参考图像和样本第一图像，所述样本相似度为用户根据所述一组样本图像标注得到的。

在一种可能的实施方式中，所述第三确定模块14具体用于：

针对所述M个第一向量中的任意的第一向量，获取所述第一向量的起始关键点和终止关键点；

根据所述第一向量的起始关键点和终止关键点，确定所述第一向量对应的参考向量，所述第一向量的起始关键点的标识与所述第一向量对应的参考向量的起始关键点的标识相同，所述第一向量的终止关键点的标识与所述第一向量对应的参考向量的终止关键点的标识相同。

在一种可能的实施方式中，所述第二确定模块13具体用于：

获取所述N个参考关键点中每个参考关键点的坐标；

根据每个参考关键点的坐标，确定每个参考关键点与其它参考关键点之间的距离；

根据每个参考关键点与其它参考关键点之间的距离，确定每个参考关键点对应的与其距离最近的M个参考关键点；

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。

在一种可能的实施方式中，所述第二确定模块13具体用于：

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的M个第一关键点；

根据每个第一关键点对应的与其距离最近的M个第一关键点，确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

在一种可能的实施方式中，当一个参考关键点的标识与一个第一关键点的标识相同时，所述一个参考关键点对应的与其距离最近的M个参考关键点的标识，与所述一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

本发明实施例提供的图像处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图9为本发明实施例提供的图像处理装置的硬件结构示意图，如图9所示，该图像处理装置20包括：至少一个处理器21和存储器22。其中，处理器21和存储器22通过总线23连接。

在具体实现过程中，至少一个处理器21执行所述存储器22存储的计算机执行指令，使得至少一个处理器21执行如上的图像处理方法。

处理器21的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述图8所示的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像处理方法。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

获取终端设备显示的参考图像和所述终端设备拍摄的第一图像，所述参考图像包括参考对象的参考动作，所述第一图像包括第一对象的第一动作；

在所述参考图像中确定所述参考对象的N个参考关键点，以及在所述第一图像中确定所述第一对象的N个第一关键点，所述N为大于1的整数；

确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，所述M为小于N-1的正整数；

根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度，包括：

确定每个第一向量对应的参考向量；

获取每个第一向量和对应的参考向量之间的夹角；

根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度。

3.根据权利要求2所述的方法，其特征在于，所述根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度，包括：

根据每个第一向量和对应的参考向量之间的夹角，确定每个第一向量与对应的参考向量之间的相似度；

根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度。

4.根据权利要求3所述的方法，其特征在于，针对所述M个第一向量中的任意的第一向量，根据所述第一向量和对应的参考向量之间的夹角，确定所述第一向量与对应的参考向量之间的相似度，包括：

判断所述第一向量和对应的参考向量之间的夹角是否大于180度；

若是，则确定所述第一向量与对应的参考向量之间的相似度为零；

若否，则将所述第一向量和对应的参考向量之间的夹角的余弦值确定为所述第一向量与对应的参考向量之间的相似度。

5.根据权利要求3或4所述的方法，其特征在于，所述根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度，包括：

通过预设模型对每个第一向量对应的参考向量之间的相似度进行处理，得到所述第一动作和所述参考动作的动作相似度；

其中，所述预设模型为对多组样本学习得到的，每组样本包括一组样本图像和样本相似度，所述一组样本图像中包括样本参考图像和样本第一图像，所述样本相似度为用户根据所述一组样本图像标注得到的。

6.根据权利要求2-5任一项所述的方法，其特征在于，针对所述M个第一向量中的任意的第一向量，确定所述第一向量对应的参考向量，包括：

获取所述第一向量的起始关键点和终止关键点；

根据所述第一向量的起始关键点和终止关键点，确定所述第一向量对应的参考向量，所述第一向量的起始关键点的标识与所述第一向量对应的参考向量的起始关键点的标识相同，所述第一向量的终止关键点的标识与所述第一向量对应的参考向量的终止关键点的标识相同。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，包括：

获取所述N个参考关键点中每个参考关键点的坐标；

根据每个参考关键点的坐标，确定每个参考关键点与其它参考关键点之间的距离；

根据每个参考关键点与其它参考关键点之间的距离，确定每个参考关键点对应的与其距离最近的M个参考关键点；

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。

8.根据权利要求7所述的方法，其特征在于，所述确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，包括：

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的M个第一关键点；

根据每个第一关键点对应的与其距离最近的M个第一关键点，确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

9.根据权利要求8所述的方法，其特征在于，当一个参考关键点的标识与一个第一关键点的标识相同时，所述一个参考关键点对应的与其距离最近的M个参考关键点的标识，与所述一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

10.一种图像处理装置，其特征在于，包括：获取模块、第一确定模块、第二确定模块和第三确定模块，其中，

所述获取模块用于，获取终端设备显示的参考图像和所述终端设备拍摄的第一图像，所述参考图像包括参考对象的参考动作，所述第一图像包括第一对象的第一动作；

所述第一确定模块用于，在所述参考图像中确定所述参考对象的N个参考关键点，以及在所述第一图像中确定所述第一对象的N个第一关键点，所述N为大于1的整数；

所述第二确定模块用于，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量，以及每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量，所述M为小于N-1的正整数；

所述第三确定模块用于，根据所述M个参考向量和所述M个第一向量，确定所述第一动作和所述参考动作的动作相似度。

11.根据权利要求10所述的装置，其特征在于，所述第三确定模块具体用于：

确定每个第一向量对应的参考向量；

获取每个第一向量和对应的参考向量之间的夹角；

根据每个第一向量和对应的参考向量之间的夹角，确定所述第一动作和所述参考动作的动作相似度。

12.根据权利要求11所述的装置，其特征在于，所述第三确定模块具体用于：

根据每个第一向量和对应的参考向量之间的夹角，确定每个第一向量与对应的参考向量之间的相似度；

根据每个第一向量与对应的参考向量之间的相似度，确定所述第一动作和所述参考动作的动作相似度。

13.根据权利要求12所述的装置，其特征在于，所述第三确定模块具体用于：

针对所述M个第一向量中的任意的第一向量，判断所述第一向量和对应的参考向量之间的夹角是否大于180度；

若是，则确定所述第一向量与对应的参考向量之间的相似度为零；

若否，则将所述第一向量和对应的参考向量之间的夹角的余弦值确定为所述第一向量与对应的参考向量之间的相似度。

14.根据权利要求12或13所述的装置，其特征在于，所述第三确定模块具体用于：

通过预设模型对每个第一向量对应的参考向量之间的相似度进行处理，得到所述第一动作和所述参考动作的动作相似度；

其中，所述预设模型为对多组样本学习得到的，每组样本包括一组样本图像和样本相似度，所述一组样本图像中包括样本参考图像和样本第一图像，所述样本相似度为用户根据所述一组样本图像标注得到的。

15.根据权利要求11-14任一项所述的装置，其特征在于，所述第三确定模块具体用于：

针对所述M个第一向量中的任意的第一向量，获取所述第一向量的起始关键点和终止关键点；

根据所述第一向量的起始关键点和终止关键点，确定所述第一向量对应的参考向量，所述第一向量的起始关键点的标识与所述第一向量对应的参考向量的起始关键点的标识相同，所述第一向量的终止关键点的标识与所述第一向量对应的参考向量的终止关键点的标识相同。

16.根据权利要求10-15任一项所述的装置，其特征在于，所述第二确定模块具体用于：

获取所述N个参考关键点中每个参考关键点的坐标；

根据每个参考关键点的坐标，确定每个参考关键点与其它参考关键点之间的距离；

根据每个参考关键点与其它参考关键点之间的距离，确定每个参考关键点对应的与其距离最近的M个参考关键点；

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个参考关键点和与其距离最近的M个参考关键点之间的M个参考向量。

17.根据权利要求16所述的装置，其特征在于，所述第二确定模块具体用于：

根据每个参考关键点对应的与其距离最近的M个参考关键点，确定每个第一关键点对应的与其距离最近的M个第一关键点；

根据每个第一关键点对应的与其距离最近的M个第一关键点，确定每个第一关键点和与其距离最近的M个第一关键点之间的M个第一向量。

18.根据权利要求17所述的装置，其特征在于，当一个参考关键点的标识与一个第一关键点的标识相同时，所述一个参考关键点对应的与其距离最近的M个参考关键点的标识，与所述一个第一关键点对应的与其距离最近的M个第一参考关键点的标识相同。

19.一种图像处理装置，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至9任一项所述的图像处理方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的图像处理方法。

Images