CN109376581B - 对象关系识别方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种对象关系识别方法和装置、存储介质及电子装置。其中，该方法包括：提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；将图像中全部对象的脸部特征按照第一格式转化为脸部特征队列，并将图像中全部对象的姿势特征按照第二格式转化为姿势特征队列；将脸部特征队列和姿势特征队列输入关系识别模型，其中，关系识别模型为多个样本特征向量进行机器训练后得到；根据关系识别模型输出的输出结果，确定在图像中对象之间的对象关系。本发明解决了相关技术中识别图像中对象的对象关系准确率低的技术问题。

Description

对象关系识别方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种对象关系识别方法和装置、存储介质及电子装置。

背景技术

如今，有很多终端应用所提供的功能往往需要基于图像中所显示的各个对象之间的关系实现。例如，具有关联关系的对象可能关注相同或相似的话题，则终端应用的客户端可以向上述具有关联关系的对象推送相同或相似的消息。

目前，识别图像中具有关联关系的对象的常用的方式是：直接将出现在同一张图像的对象标记为关联对象。然而，实际上出现在同一张图像中的对象可能一部分是关联对象，而另一部分大多仅是背景中的无关联对象。也就是说，采用现有方法从图像中识别出的对象关系，存在识别准确性较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种对象关系识别方法和装置、存储介质及电子装置，以至少解决相关技术中识别图像中对象的对象关系准确率低的技术问题。

根据本发明实施例的一个方面，提供了一种对象关系识别方法，包括：提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；将上述图像中全部对象的上述脸部特征按照第一格式转化为脸部特征队列，并将上述图像中全部对象的上述姿势特征按照第二格式转化为姿势特征队列；将上述脸部特征队列和上述姿势特征队列输入关系识别模型，其中，上述关系识别模型为多个样本特征向量进行机器训练后得到；根据上述关系识别模型输出的输出结果，确定在上述图像中对象之间的对象关系。

根据本发明实施例的另一方面，还提供了一种对象关系识别装置，包括：提取单元，用于提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；转化单元，用于将上述图像中全部对象的上述脸部特征按照第一格式转化为脸部特征队列，并将上述图像中全部对象的上述姿势特征按照第二格式转化为姿势特征队列；输入单元，用于将上述脸部特征队列和上述姿势特征队列输入关系识别模型，其中，上述关系识别模型为多个样本特征向量进行机器训练后得到；确定单元，用于根据上述关系识别模型输出的输出结果，确定在上述图像中对象之间的对象关系。

作为一种可选的示例，上述输入单元包括：合成模块，用于合成上述脸部特征队列与上述姿势特征队列，得到目标队列，其中，上述目标队列中包括与每个对象分别匹配的关系识别特征，上述对象的上述关系识别特征中包含与上述对象匹配的上述脸部特征，及与上述对象匹配的上述姿势特征；第一获取模块，用于从上述目标队列中依次获取两个对象的关系识别特征，并将上述两个对象的关系识别特征输入上述关系识别模型，以得到上述两个对象的对象关系。

作为一种可选的示例，上述合成模块包括：获取子模块，用于遍历上述脸部特征队列与上述姿势特征队列，依次从上述脸部特征队列中获取第一对象的脸部特征，从上述姿势特征队列中获取第二对象的姿势特征中所包含的头部姿势特征；比对子模块，用于比对上述第一对象的上述脸部特征及上述第二对象的上述头部姿势特征；合成子模块，用于在比对的结果指示上述第一对象的上述脸部特征与上述第二对象的上述头部姿势特征相匹配的情况下，合成上述第一对象的上述脸部特征及上述第二对象的上述姿势特征，得到上述目标队列中一个对象的关系识别特征。

作为一种可选的示例，上述比对子模块还用于执行以下步骤：比对上述第一对象的上述脸部特征所指示的第一图像位置，与上述第二对象的上述头部姿势特征所指示的第二图像位置；在上述第一图像位置与上述第二图像位置相匹配的情况下，确定上述第一对象的上述脸部特征与上述第二对象的上述头部姿势特征匹配。

作为一种可选的示例，上述提取单元包括：第二确定模块，用于确定上述图像中所显示的上述对象；第一提取模块，用于通过人脸识别技术提取出上述对象的上述脸部特征；第二提取模块，用于通过姿势估计技术提取出上述对象的上述姿势特征。

根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述对象关系识别方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的对象关系识别方法。

在本发明实施例中，采用了提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；将上述图像中全部对象的上述脸部特征按照第一格式转化为脸部特征队列，并将上述图像中全部对象的上述姿势特征按照第二格式转化为姿势特征队列；将上述脸部特征队列和上述姿势特征队列输入关系识别模型；根据上述关系识别模型输出的输出结果，确定在上述图像中对象之间的对象关系的方法。在上述方法中，在获取到待识别的图像中的对象的脸部特征与姿势特征后，将上述特征转化得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而可以根据关系识别模型输出的输出结果决定图像中的全部对象之间的关系，达到了利用待识别图像中的每个对象的脸部特征与姿势特征确定待识别图像中对象的对象关系的效果。进而解决了相关技术中识别图像中对象的对象关系准确率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的对象关系识别方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的对象关系识别方法的流程示意图；

图3是根据本发明实施例的一种可选的对象关系识别方法的示意图；

图4是根据本发明实施例的另一种可选的对象关系识别方法的示意图；

图5是根据本发明实施例的又一种可选的对象关系识别方法的示意图；

图6是根据本发明实施例的又一种可选的对象关系识别方法的示意图；

图7是根据本发明实施例的又一种可选的对象关系识别方法的示意图；

图8是根据本发明实施例的又一种可选的对象关系识别方法的示意图；

图9是根据本发明实施例的一种可选的对象关系识别装置的结构示意图；

图10是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种对象关系识别方法，可选地，作为一种可选的实施方式，上述对象关系识别方法可以但不限于应用于如图1所示的环境中。用户102可以与用户设备104之间可以进行数据交互，用户设备104中可以但不限于包括存储器106和处理器108。用户设备104提取待识别图像中的显示的每个对象的脸部特征和姿势特征，并通过步骤S102，通过网络110将上述脸部特征与姿势特征发送给服务器112。服务器112中包含有数据库114和识别引擎116。服务器112在获取到上述脸部特征与姿势特征后，对上述脸部特征与姿势特征进行格式的转化，将脸部特征按照第一个是转化为脸部特征队列，将姿势特征按照第二格式转化为姿势特征队列，并将上述队列输入到识别引擎116中，使用关系识别模型进行识别，得到输出结果。服务器112通过步骤S104，通过网络110将输出结果返回给用户设备104，用户设备104根据输出结果确定出图像中的对象之间的对象关系。

需要说明的是，相关技术中，在识别图像中对象的对象关系时，采用的方法通常是将出现在同一张图像上的对象标记为关联对象。然而，采用上述方法，识别关联对象的准确度低，识别结果并不准确。而本实施例中，在获取到待识别的图像中的对象的脸部特征与姿势特征后，将上述特征转化得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而可以根据关系识别模型输出的输出结果决定图像中的全部对象之间的关系，达到了利用待识别图像中的每个对象的脸部特征与姿势特征确定待识别图像中对象的对象关系的效果。

可选地，上述对象关系识别方法可以但不限于应用于可以计算数据的终端上，例如手机、平板电脑、笔记本电脑、PC机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器可以包括但不限于任何可以进行计算的硬件设备。

可选地，作为一种可选的实施方式，如图2所示，上述对象关系识别方法包括：

S202，提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；

S204，将图像中全部对象的脸部特征按照第一格式转化为脸部特征队列，并将图像中全部对象的姿势特征按照第二格式转化为姿势特征队列；

S206，将脸部特征队列和姿势特征队列输入关系识别模型，其中，关系识别模型为多个样本特征向量进行机器训练后得到；

S208，根据关系识别模型输出的输出结果，确定在图像中对象之间的对象关系。

可选地，上述对象关系识别方法可以但不限于应用于安检识别领域，或者赛场阵营识别领域，或者相机美颜拍照领域等等。通过获取到待识别图像中的每个对象的脸部特征和姿势特征，并将上述特征转化后得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而根据关系识别模型输出的输出结果确定图像中的各个对象之间的关系。

例如，结合图3进行说明。如图3所示，通过步骤S302获取到待识别图像，并通过步骤S304-1从待识别图像中获取到的脸部特征得到脸部特征队列，以及根据步骤S304-2从待识别图像中获取到的姿势特征得到姿势特征队列，将上述两个队列通过步骤S306输入到关系识别模型中，使用关系识别模型对上述两个队列进行识别，得到输出结果。并通过步骤S308根据输出结果确定出对象之间的对象关系。

需要说明的是，在本实施例中，通过获取待识别的图像中的对象的脸部特征与姿势特征；将上述特征转化得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而可以根据关系识别模型输出的输出结果决定图像中的全部对象之间的关系，达到了利用待识别图像中的每个对象的脸部特征与姿势特征确定待识别图像中对象的对象关系的效果，进而解决了相关技术中识别图像中对象的对象关系准确率低的问题。

可选地，上述待识别图像可以但不限于通过以下方法获取：

(1)显示多张不同的图像，接收选择指令，将选择指令指示的图像作为待识别图像；

可选地，上述待识别图像可以为一张也可以为多张。

例如，以待识别图像为1张为例，如图4所示，图4为一种可选的终端显示界面。在图4中显示有图像1到图像6共6张图片。在接收到对图像6的点选指令并接收到确定指令后，则将图6作为待识别图像。

(2)调用拍摄设备拍摄图像，将拍摄得到的图像作为待识别图像。

可选地，上述获取到每个对象的脸部特征可以但不限于为获取以下至少之一：肤色、瞳孔颜色、五官大小、五官位置、头发颜色、头发长短、脸部处于待识别图像中的位置。

可选地，以获取脸部特征为获取脸部处于待识别图像中的位置为例，将脸部特征按照第一格式转化为脸部特征队列包括：依次获取每个对象的脸部特征所指示的脸部图像位置，其中，脸部图像位置用于指示对象的脸部在图像中的位置；生成与脸部图像位置相匹配的脸部位置索引；将对象的脸部位置索引记录在脸部特征队列中。

可选地，上述获取每个对象的脸部特征所指示的脸部图像位置可以但不限于为：获取上述脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到脸部图像位置。

可选地，上述获取到脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到脸部位于待识别图像中的上述四个点的坐标。如表1所示，上述四个数据类型可以但不限于为定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录脸部位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。可选地，上述脸部位置索引可以为用于标识脸部位置的标识信息。可选地，可以但不限于定义用于表示脸部特征的position类型的pos参数，pos参数用于指向position中的上述Top、Left、Right、Bottom参数。可选地，可以但不限于定义脸部特征队列，上述脸部特征队列中可以但不限于包含脸部特征标识、脸部特征姓名等。例如，定义persons队列，persons队列中包含有多个脸部特征的位置信息。每一个脸部特征的位置信息包含有一个位置索引，用于指向每一个脸部特征的位置坐标信息。

表1

例如，在获取到待识别图像之后，待识别图像所在的平面上建立直角坐标系。则待识别图像上的每一个点都可以用直角坐标系中的坐标来表示。以获取脸部特征的位置为例，如图5所示，获取脸部特征与虚线框相接触的点的坐标，则获取到的脸部特征的最上方、最左方、最下方、最右方的四个点的坐标。在获取到上述坐标之后，将上述坐标对应的脸部特征所对应的对象的身份信息与上述坐标添加到脸部特征队列中。

可选地，上述获取每个对象的姿态特征可以但不限于获取以下至少之一：每个身体部位的位置(例如头的位置)、每个身体部位的朝向(例如头的方向)、每个身体部位间的距离(例如头到手的距离)、每个身体部位的状态(例如颜色、表面附着物的信息等)。可选地，上述每个身体部位可以但不限于包括以下任意之一：头、脖子、左手、右手、左肘、右肘、左肩、右肩、腰、左膝、右膝、左脚、右脚。

需要说明的是，在获取上述头、脖子、…、等其他身体部位的坐标时，可以使用上述获取脸部的坐标的方法，在此不做赘述。

例如，以获取对象的姿态特征为获取每个身体部位的图像位置为例，将对象的姿势特征按照第二格式转化为姿势特征队列包括：

依次获取每个对象的姿势特征所指示的图像位置集合，其中，图像位置集合中包括对象的每个身体部位在图像中的图像位置；分别生成与每个身体部位的图像位置相匹配的姿势位置索引；将对象的每个身体部位的姿势位置索引记录在姿势特征队列中。

可选地，上述获取每个对象的姿势特征所指示的图像位置集合可以但不限于为：获取上述姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到图像位置集合。

可选地，上述获取到姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到每个身体部位位于待识别图像中的上述四个点的坐标。上述四个数据类型可以但不限于为在Position中定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录每个身体部位位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。

例如定义一个姿势队列Gestures，用于记录姿势特征中的每个身体部位的位置坐标。具体如表2所示。

表2

通过将每个对象的每个身体部位的坐标记录到姿势队列Gestures中，从而得到gestures：ArrayList<Gesture>。

可选地，在获取到脸部特征队列与姿势特征队列后，还可以对上述脸部特征队列与姿势特征队列进行合成，得到目标队列，目标队列中存储有每个对象的关系识别特征，上述关系识别特征中包括有与上述对象匹配的脸部特征与姿势特征。

可选地，上述合成脸部特征队列与姿势特征队列得到目标队列可以但不限于定义一个目标队列，目标队列中存储有上述脸部特征队列与上述姿势特征队列中保存的对象的脸部特征的位置信息与对象的姿势特征的位置信息。可选地，上述定义的目标队列可以但不限于为：persongestures：ArrayList<PersonGesture>。

可选地，在将脸部特征队列与姿势特征队列合并得到目标队列时，可以但不限于采用如下方法：遍历脸部特征队列与姿势特征队列，依次从脸部特征队列中获取第一对象的脸部特征，从姿势特征队列中获取第二对象的姿势特征中所包含的头部姿势特征；比对第一对象的脸部特征及第二对象的头部姿势特征；在比对的结果指示第一对象的脸部特征与第二对象的头部姿势特征相匹配的情况下，合成第一对象的脸部特征及第二对象的姿势特征，得到目标队列中一个对象的关系识别特征。

例如，以上述脸部特征队列为persons：ArrayList<Person>；上述姿势特征队列为gestures：ArrayList<Gesture>；目标队列为persongestures：ArrayList<PersonGesture>为例，如图6所示，图6中的persons：ArrayList<Person>队列中记录有五个对象的脸部特征的位置坐标，分别为Person1、Person2、Person3、Person4、Person5，gestures：ArrayList<Gesture>队列中记录有五个对象的姿势特征的每个身体特征的位置坐标，分别为gesture1、gesture2、gesture3、gesture4、gesture5。将上述脸部特征的位置坐标与上述姿势特征中的头部姿势特征的位置坐标进行对比，若脸部特征的位置坐标与姿势特征中的头部姿势特征的位置坐标重合，则将上述脸部特征与上述姿势特征合并，得到PersonGesture1、PersonGesture2、PersonGesture3、PersonGesture4、PersonGesture5。从而得到目标队列。目标队列中包含有与该对象匹配的脸部特征，及与该对象匹配的姿势特征。

可选地，上述比对第一对象的脸部特征及第二对象的头部姿势特征包括：比对第一对象的脸部特征所指示的第一图像位置，与第二对象的头部姿势特征所指示的第二图像位置；在第一图像位置与第二图像位置相匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配。

可选地，上述第一图像位置与第二图像位置相匹配可以但不限于代表第一图像位置的坐标与代表第二图像位置的坐标重合。

可选地，在获取到上述目标队列后，可以但不限于从目标队列中依次获取两个对象的关系识别特征，并将两个对象的关系识别特征输入关系识别模型，以得到两个对象的对象关系。

例如，如图7所示，在通过步骤S702获取到待识别图像后，通过步骤S704-1获取对象的脸部特征，并生成脸部特征队列，通过步骤S704-2获取对象的姿势特征，并生成姿势特征队列，以及通过步骤S706获取到待识别图片中对象间的关系。。将通过步骤S708获取到的目标队列与通过步骤S706获取到的对象间的关系通过步骤S710输入到关系识别模型中，并通过步骤S712对关系识别模型进行训练。得到成熟的关系识别模型。在获取到成熟的关系识别模型后，将根据对待识别图像进行识别得到的目标队列输入到成熟的关系识别模型中，从而可以得到准确的结果。

上述获取待识别图片中对象间的关系可以但不限于获取人工对待识别图像进行标注得到的对象间的关系，或者获取数据库中保存的待识别图像中对象间的关系。

可选地，在将根据关系识别模型输出的输出结果，确定图像中对象之间的对象关系包括：获取关系识别模型每一次输出的输出结果，其中，每一次输出的输出结果中包括用于指示两个对象隶属不同的对象关系的概率值；将每一次输出的输出结果中最大概率值对应的目标对象关系，作为两个对象的对象关系。

以下结合图8进行说明。图8为一张可选的待识别图像，图像中包含有三个对象，分别为小红、小华与小明。小华与小明正在交谈，而小红在马路另一侧。此时，获取小明小华与小红的脸部特征队列，脸部特征队列中包含了小明、小华与小红的脸部的坐标。同时，脸部特征队列中还记录有用于表示对象身份的内容。如姓名。此外，获取小明、小华与小红的姿势特征队列，姿势特征队列中包含有小明、小华与小红的姿势特征，姿势特征中包含有小明、小华与小红的头、脖子、左手、右手、左肘、右肘、左肩、右肩、腰、左膝、右膝、左脚、右脚等每一个身体部位的四个坐标。在获取到上述脸部特征队列与姿势特征队列后，从脸部特征队列中的小明开始，获取每一个对象的脸部特征信息。例如，获取到的脸部特征信息为“(小明)，(3,5)，(2,4,)，(3,3)，(4,4)”。则在获取到上述脸部特征信息后，将上述脸部特征信息中所包含的坐标信息“(3,5)，(2,4,)，(3,3)，(4,4)”与姿势特征队列中小红、小明、小华的头部的坐标进行比对。从而比对得到上述坐标与小明的头部的坐标相重合。在此情况下，将小明的脸部特征队列与姿势特征队列融合，获取到新的队列。新的队列中包含有用于表明小明的身份与小明的头、脖子、左手、右手、左肘、右肘、左肩、右肩、腰、左膝、右膝、左脚、右脚等每一个身体部位的四个坐标。在将小明、小红与小华都比对完成之后，从新的队列中取出小明的姓名与身体的坐标信息和小华的姓名与身体的坐标信息输入到关系识别模型中，通过已经训练好的关系模型即可识别得出小明与小华的关系为朋友关系，而小明与小红之间为陌生人关系。小华与小红也为陌生人关系。通过本实施例，由于在获取到待识别的图像中的对象的脸部特征与姿势特征后，将上述特征转化得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而可以根据关系识别模型输出的输出结果决定图像中的全部对象之间的关系，达到了利用待识别图像中的每个对象的脸部特征与姿势特征确定待识别图像中对象的对象关系的效果。

作为一种可选的实施方案，将脸部特征队列和姿势特征队列输入关系识别模型包括：

S1，合成脸部特征队列与姿势特征队列，得到目标队列，其中，目标队列中包括与每个对象分别匹配的关系识别特征，对象的关系识别特征中包含与对象匹配的脸部特征，及与对象匹配的姿势特征；

S2，从目标队列中依次获取两个对象的关系识别特征，并将两个对象的关系识别特征输入关系识别模型，以得到两个对象的对象关系。

通过本实施例，通过将获取到的目标队列中的两个对象的关系识别特征输入到关系识别模型中，从而可以对两个对象的关系进行识别，得到识别结果，达到了自动准确地识别待识别图片中的对象之间的关系的效果。提高了识别效率。

作为一种可选的实施方案，合成脸部特征队列与姿势特征队列，得到目标队列包括：

S1，遍历脸部特征队列与姿势特征队列，依次从脸部特征队列中获取第一对象的脸部特征，从姿势特征队列中获取第二对象的姿势特征中所包含的头部姿势特征；

S2，比对第一对象的脸部特征及第二对象的头部姿势特征；

S3，在比对的结果指示第一对象的脸部特征与第二对象的头部姿势特征相匹配的情况下，合成第一对象的脸部特征及第二对象的姿势特征，得到目标队列中一个对象的关系识别特征。

例如，以上述脸部特征队列为persons：ArrayList<Person>；上述姿势特征队列为gestures：ArrayList<Gesture>；目标队列为persongestures：ArrayList<PersonGesture>为例，在获取到脸部特征队列与姿势特征队列后，将脸部特征队列中的一个队列成员与姿势特征队列中的所有队列成员的头部姿势特征进行比对，在上述脸部特征队列与上述头部姿势特征一致的情况下，将两个队列合并到关系识别特征。

通过本实施例，通过比对脸部特征队列中的第一对象的脸部特征与姿势特征队列中的第二对象的姿势特征中的头部姿势特征，从而可以遍历脸部特征队列与姿势特征队列，确保了数据的完整性，提高了判断对象关系的准确度。

作为一种可选的实施方案，比对第一对象的脸部特征及第二对象的头部姿势特征包括：

S1，比对第一对象的脸部特征所指示的第一图像位置，与第二对象的头部姿势特征所指示的第二图像位置；

S2，在第一图像位置与第二图像位置相匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配。

通过本实施例，通过比对第一对象的脸部特征所指示的第一图像位置以及第二对象的头部姿势特征指示的第二图像位置，在上述第一图像位置与第二图像位置匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配，从而提高了匹配第一对象的脸部特征与第二对象的头部姿势特征的准确度。

作为一种可选的实施方案，将图像中全部对象的脸部特征按照第一格式转化为脸部特征队列包括：

S1，依次获取每个对象的脸部特征所指示的脸部图像位置，其中，脸部图像位置用于指示对象的脸部在图像中的位置；

S2，生成与脸部图像位置相匹配的脸部位置索引；

S3，将对象的脸部位置索引记录在脸部特征队列中。

可选地，上述获取每个对象的脸部特征所指示的脸部图像位置可以但不限于为：获取上述脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到脸部图像位置。

可选地，上述获取到脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到脸部位于待识别图像中的上述四个点的坐标。如表1所示，上述四个数据类型可以但不限于为定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录脸部位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。可选地，上述脸部位置索引可以为用于标识脸部位置的标识信息。可选地，可以但不限于定义用于表示脸部特征的position类型的pos参数，pos参数用于指向position中的上述Top、Left、Right、Bottom参数。可选地，可以但不限于定义脸部特征队列，上述脸部特征队列中可以但不限于包含脸部特征标识、脸部特征姓名等。例如，定义persons队列，persons队列中包含有多个脸部特征的位置信息。每一个脸部特征的位置信息包含有一个位置索引，用于指向每一个脸部特征的位置坐标信息。

通过本实施例，通过获取每个对象的脸部特征所指示的脸部图像位置，生成与脸部图像位置匹配的脸部位置索引，并将脸部位置索引记录在脸部特征队列中，从而保证了脸部特征队列的准确性与简洁性。

作为一种可选的实施方案，将图像中全部对象的姿势特征按照第二格式转化为姿势特征队列包括：

S1，依次获取每个对象的姿势特征所指示的图像位置集合，其中，图像位置集合中包括对象的每个身体部位在图像中的图像位置；

S2，分别生成与每个身体部位的图像位置相匹配的姿势位置索引；

S3，将对象的每个身体部位的姿势位置索引记录在姿势特征队列中。

可选地，上述获取每个对象的姿势特征所指示的图像位置集合可以但不限于为：获取上述姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到图像位置集合。

可选地，上述获取到姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到每个身体部位位于待识别图像中的上述四个点的坐标。上述四个数据类型可以但不限于为在Position中定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录每个身体部位位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。

例如定义一个姿势队列Gestures，用于记录姿势特征中的每个身体部位的位置坐标。具体如表2所示。通过将每个对象的每个身体部位的坐标记录到姿势队列Gestures中，从而得到gestures：ArrayList<Gesture>。

通过本实施例，通过获取每个对象的姿势特征中的每个身体部位的图像位置，生成与每个身体部位匹配的每个身体部位的图像位置信息，并将每个身体部位的图像位置信息记录在姿势特征队列中，从而保证了姿势特征队列的准确性与简洁性。

作为一种可选的实施方案，根据关系识别模型输出的输出结果，确定图像中对象之间的对象关系包括：

S1，获取关系识别模型每一次输出的输出结果，其中，每一次输出的输出结果中包括用于指示两个对象隶属不同的对象关系的概率值；

S2，将每一次输出的输出结果中最大概率值对应的目标对象关系，作为两个对象的对象关系。

可选地，目标对象关系可以但不限于为队友关系、对手关系、无关系等等。

例如，在将关系识别特征输入到关系识别模型中后，关系识别模型输出多个用于指示两个对象隶属不同的对象关系的概率值，例如输出三个概率值，分别为两个对象的关系为队友关系的概率为80％、两个对象的关系为无关系的概率为60％、两个对象的关系为对手关系的概率为90％，则取90％所对应的对手关系作为目标对象关系。

通过本实施例，通过获取关系识别模型每一次输出的输出结果，并取其中的最大值作为指示两个对象隶属不同的对象关系的概率值，从而可以提高识别两个对象之间关系类型的准确率。

作为一种可选的实施方案，提取待识别的图像中所显示的每个对象的脸部特征和姿势特征包括：

S1，确定图像中所显示的对象；

S2，通过人脸识别技术提取出对象的脸部特征；

S3，通过姿势估计技术提取出对象的姿势特征。

例如，在接收到待识别图像之后，提取出待识别图像中的对象信息，将其他背景信息删除，使用人脸识别技术提取出对象的脸部特征，并使用姿势估计技术提取出对象的姿势特征。

通过本实施例，通过上述方法获取对象的脸部特征与姿势特征，从而提高了获取对象的脸部特征与姿势特征的效率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述对象关系识别方法的对象关系识别装置。如图9所示，该装置包括：

(1)提取单元902，用于提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；

(2)转化单元904，用于将图像中全部对象的脸部特征按照第一格式转化为脸部特征队列，并将图像中全部对象的姿势特征按照第二格式转化为姿势特征队列；

(3)输入单元906，用于将脸部特征队列和姿势特征队列输入关系识别模型，其中，关系识别模型为多个样本特征向量进行机器训练后得到；

(4)确定单元908，用于根据关系识别模型输出的输出结果，确定在图像中对象之间的对象关系。

可选地，上述对象关系识别装置可以但不限于应用于安检识别领域，或者赛场阵营识别领域，或者相机美颜拍照领域等等。通过获取到待识别图像中的每个对象的脸部特征和姿势特征，并将上述特征转化后得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而根据关系识别模型输出的输出结果确定图像中的各个对象之间的关系。

例如，结合图3进行说明。如图3所示，通过步骤S302获取到待识别图像，并通过步骤S304-1从待识别图像中获取到的脸部特征得到脸部特征队列，以及根据步骤S304-2从待识别图像中获取到的姿势特征得到姿势特征队列，将上述两个队列通过步骤S306输入到关系识别模型中，使用关系识别模型对上述两个队列进行识别，得到输出结果。并通过步骤S308根据输出结果确定出对象之间的对象关系。

需要说明的是，在本实施例中，通过获取待识别的图像中的对象的脸部特征与姿势特征；将上述特征转化得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而可以根据关系识别模型输出的输出结果决定图像中的全部对象之间的关系，达到了利用待识别图像中的每个对象的脸部特征与姿势特征确定待识别图像中对象的对象关系的效果，进而解决了相关技术中识别图像中对象的对象关系准确率低的问题。

可选地，上述待识别图像可以但不限于通过以下方法获取：

(1)显示多张不同的图像，接收选择指令，将选择指令指示的图像作为待识别图像；

可选地，上述待识别图像可以为一张也可以为多张。

例如，以待识别图像为1张为例，如图4所示，图4为一种可选的终端显示界面。在图4中显示有图像1到图像6共6张图片。在接收到对图像6的点选指令并接收到确定指令后，则将图6作为待识别图像。(2)调用拍摄设备拍摄图像，将拍摄得到的图像作为待识别图像。

可选地，上述获取到每个对象的脸部特征可以但不限于为获取以下至少之一：肤色、瞳孔颜色、五官大小、五官位置、头发颜色、头发长短、脸部处于待识别图像中的位置。

可选地，以获取脸部特征为获取脸部处于待识别图像中的位置为例，将脸部特征按照第一格式转化为脸部特征队列包括：依次获取每个对象的脸部特征所指示的脸部图像位置，其中，脸部图像位置用于指示对象的脸部在图像中的位置；生成与脸部图像位置相匹配的脸部位置索引；将对象的脸部位置索引记录在脸部特征队列中。

可选地，上述获取每个对象的脸部特征所指示的脸部图像位置可以但不限于为：获取上述脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到脸部图像位置。

可选地，上述获取到脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到脸部位于待识别图像中的上述四个点的坐标。如表1所示，上述四个数据类型可以但不限于为定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录脸部位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。可选地，上述脸部位置索引可以为用于标识脸部位置的标识信息。可选地，可以但不限于定义用于表示脸部特征的position类型的pos参数，pos参数用于指向position中的上述Top、Left、Right、Bottom参数。可选地，可以但不限于定义脸部特征队列，上述脸部特征队列中可以但不限于包含脸部特征标识、脸部特征姓名等。例如，定义persons队列，persons队列中包含有多个脸部特征的位置信息。每一个脸部特征的位置信息包含有一个位置索引，用于指向每一个脸部特征的位置坐标信息。

例如，在获取到待识别图像之后，待识别图像所在的平面上建立直角坐标系。则待识别图像上的每一个点都可以用直角坐标系中的坐标来表示。以获取脸部特征的位置为例，如图5所示，获取脸部特征与虚线框相接触的点的坐标，则获取到的脸部特征的最上方、最左方、最下方、最右方的四个点的坐标。在获取到上述坐标之后，将上述坐标对应的脸部特征所对应的对象的身份信息与上述坐标添加到脸部特征队列中。

可选地，上述获取每个对象的姿态特征可以但不限于获取以下至少之一：每个身体部位的位置(例如头的位置)、每个身体部位的朝向(例如头的方向)、每个身体部位间的距离(例如头到手的距离)、每个身体部位的状态(例如颜色、表面附着物的信息等)。可选地，上述每个身体部位可以但不限于包括以下任意之一：头、脖子、左手、右手、左肘、右肘、左肩、右肩、腰、左膝、右膝、左脚、右脚。

例如，以获取对象的姿态特征为获取每个身体部位的图像位置为例，将对象的姿势特征按照第二格式转化为姿势特征队列包括：

依次获取每个对象的姿势特征所指示的图像位置集合，其中，图像位置集合中包括对象的每个身体部位在图像中的图像位置；分别生成与每个身体部位的图像位置相匹配的姿势位置索引；将对象的每个身体部位的姿势位置索引记录在姿势特征队列中。

可选地，上述获取每个对象的姿势特征所指示的图像位置集合可以但不限于为：获取上述姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到图像位置集合。

可选地，上述获取到姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到每个身体部位位于待识别图像中的上述四个点的坐标。上述四个数据类型可以但不限于为在Position中定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录每个身体部位位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。

例如定义一个姿势队列Gestures，用于记录姿势特征中的每个身体部位的位置坐标。具体如表2所示。

通过将每个对象的每个身体部位的坐标记录到姿势队列Gestures中，从而得到gestures：ArrayList<Gesture>。

可选地，在获取到脸部特征队列与姿势特征队列后，还可以对上述脸部特征队列与姿势特征队列进行合成，得到目标队列，目标队列中存储有每个对象的关系识别特征，上述关系识别特征中包括有与上述对象匹配的脸部特征与姿势特征。

可选地，上述合成脸部特征队列与姿势特征队列得到目标队列可以但不限于定义一个目标队列，目标队列中存储有上述脸部特征队列与上述姿势特征队列中保存的对象的脸部特征的位置信息与对象的姿势特征的位置信息。可选地，上述定义的目标队列可以但不限于为：persongestures：ArrayList<PersonGesture>。

可选地，在将脸部特征队列与姿势特征队列合并得到目标队列时，可以但不限于采用如下方法：遍历脸部特征队列与姿势特征队列，依次从脸部特征队列中获取第一对象的脸部特征，从姿势特征队列中获取第二对象的姿势特征中所包含的头部姿势特征；比对第一对象的脸部特征及第二对象的头部姿势特征；在比对的结果指示第一对象的脸部特征与第二对象的头部姿势特征相匹配的情况下，合成第一对象的脸部特征及第二对象的姿势特征，得到目标队列中一个对象的关系识别特征。

可选地，上述比对第一对象的脸部特征及第二对象的头部姿势特征包括：比对第一对象的脸部特征所指示的第一图像位置，与第二对象的头部姿势特征所指示的第二图像位置；在第一图像位置与第二图像位置相匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配。

可选地，上述第一图像位置与第二图像位置相匹配可以但不限于代表第一图像位置的坐标与代表第二图像位置的坐标重合。

可选地，在获取到上述目标队列后，可以但不限于从目标队列中依次获取两个对象的关系识别特征，并将两个对象的关系识别特征输入关系识别模型，以得到两个对象的对象关系。

例如，如图7所示，在通过步骤S702获取到待识别图像后，通过步骤S704-1获取对象的脸部特征，并生成脸部特征队列，通过步骤S704-2获取对象的姿势特征，并生成姿势特征队列，以及通过步骤S706获取到待识别图片中对象间的关系。。将通过步骤S708获取到的目标队列与通过步骤S706获取到的对象间的关系通过步骤S710输入到关系识别模型中，并通过步骤S712对关系识别模型进行训练。得到成熟的关系识别模型。在获取到成熟的关系识别模型后，将根据对待识别图像进行识别得到的目标队列输入到成熟的关系识别模型中，从而可以得到准确的结果。

上述获取待识别图片中对象间的关系可以但不限于获取人工对待识别图像进行标注得到的对象间的关系，或者获取数据库中保存的待识别图像中对象间的关系。

可选地，在将根据关系识别模型输出的输出结果，确定图像中对象之间的对象关系包括：获取关系识别模型每一次输出的输出结果，其中，每一次输出的输出结果中包括用于指示两个对象隶属不同的对象关系的概率值；将每一次输出的输出结果中最大概率值对应的目标对象关系，作为两个对象的对象关系。

以下结合图8进行说明。图8为一张可选的待识别图像，图像中包含有三个对象，分别为小红、小华与小明。小华与小明正在交谈，而小红在马路另一侧。此时，获取小明小华与小红的脸部特征队列，脸部特征队列中包含了小明、小华与小红的脸部的坐标。同时，脸部特征队列中还记录有用于表示对象身份的内容。如姓名。此外，获取小明、小华与小红的姿势特征队列，姿势特征队列中包含有小明、小华与小红的姿势特征，姿势特征中包含有小明、小华与小红的头、脖子、左手、右手、左肘、右肘、左肩、右肩、腰、左膝、右膝、左脚、右脚等每一个身体部位的四个坐标。在获取到上述脸部特征队列与姿势特征队列后，从脸部特征队列中的小明开始，获取每一个对象的脸部特征信息。例如，获取到的脸部特征信息为“(小明)，(3,5)，(2,4,)，(3,3)，(4,4)”。则在获取到上述脸部特征信息后，将上述脸部特征信息中所包含的坐标信息“(3,5)，(2,4,)，(3,3)，(4,4)”与姿势特征队列中小红、小明、小华的头部的坐标进行比对。从而比对得到上述坐标与小明的头部的坐标相重合。在此情况下，将小明的脸部特征队列与姿势特征队列融合，获取到新的队列。新的队列中包含有用于表明小明的身份与小明的头、脖子、左手、右手、左肘、右肘、左肩、右肩、腰、左膝、右膝、左脚、右脚等每一个身体部位的四个坐标。在将小明、小红与小华都比对完成之后，从新的队列中取出小明的姓名与身体的坐标信息和小华的姓名与身体的坐标信息输入到关系识别模型中，通过已经训练好的关系模型即可识别得出小明与小华的关系为朋友关系，而小明与小红之间为陌生人关系。小华与小红也为陌生人关系。通过本实施例，由于在获取到待识别的图像中的对象的脸部特征与姿势特征后，将上述特征转化得到的脸部特征队列与姿势特征队列输入到关系识别模型中，从而可以根据关系识别模型输出的输出结果决定图像中的全部对象之间的关系，达到了利用待识别图像中的每个对象的脸部特征与姿势特征确定待识别图像中对象的对象关系的效果。

作为一种可选的实施方案，上述输入单元包括：

(1)合成模块，用于合成脸部特征队列与姿势特征队列，得到目标队列，其中，目标队列中包括与每个对象分别匹配的关系识别特征，对象的关系识别特征中包含与对象匹配的脸部特征，及与对象匹配的姿势特征；

(2)第一获取模块，用于从目标队列中依次获取两个对象的关系识别特征，并将两个对象的关系识别特征输入关系识别模型，以得到两个对象的对象关系。

通过本实施例，通过将获取到的目标队列中的两个对象的关系识别特征输入到关系识别模型中，从而可以对两个对象的关系进行识别，得到识别结果，达到了自动准确地识别待识别图片中的对象之间的关系的效果。提高了识别效率。

作为一种可选的实施方案，上述合成模块包括：

(1)获取子模块，用于遍历脸部特征队列与姿势特征队列，依次从脸部特征队列中获取第一对象的脸部特征，从姿势特征队列中获取第二对象的姿势特征中所包含的头部姿势特征；

(2)比对子模块，用于比对第一对象的脸部特征及第二对象的头部姿势特征；

(3)合成子模块，用于在比对的结果指示第一对象的脸部特征与第二对象的头部姿势特征相匹配的情况下，合成第一对象的脸部特征及第二对象的姿势特征，得到目标队列中一个对象的关系识别特征。

例如，以上述脸部特征队列为persons：ArrayList<Person>；上述姿势特征队列为gestures：ArrayList<Gesture>；目标队列为persongestures：ArrayList<PersonGesture>为例，在获取到脸部特征队列与姿势特征队列后，将脸部特征队列中的一个队列成员与姿势特征队列中的所有队列成员的头部姿势特征进行比对，在上述脸部特征队列与上述头部姿势特征一致的情况下，将两个队列合并到关系识别特征。

通过本实施例，通过比对脸部特征队列中的第一对象的脸部特征与姿势特征队列中的第二对象的姿势特征中的头部姿势特征，从而可以遍历脸部特征队列与姿势特征队列，确保了数据的完整性，提高了判断对象关系的准确度。

作为一种可选的实施方案，上述比对子模块还用于执行以下步骤：

S1，比对第一对象的脸部特征所指示的第一图像位置，与第二对象的头部姿势特征所指示的第二图像位置；

S2，在第一图像位置与第二图像位置相匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配。

例如，以上述脸部特征队列为persons：ArrayList<Person>；上述姿势特征队列为gestures：ArrayList<Gesture>；目标队列为persongestures：ArrayList<PersonGesture>为例，如图6所示，图6中的persons：ArrayList<Person>队列中记录有五个对象的脸部特征的位置坐标，分别为Person1、Person2、Person3、Person4、Person5，gestures：ArrayList<Gesture>队列中记录有五个对象的姿势特征的每个身体特征的位置坐标，分别为gesture1、gesture2、gesture3、gesture4、gesture5。将上述脸部特征的位置坐标与上述姿势特征中的头部姿势特征的位置坐标进行对比，若脸部特征的位置坐标与姿势特征中的头部姿势特征的位置坐标重合，则将上述脸部特征与上述姿势特征合并，得到PersonGesture1、PersonGesture2、PersonGesture3、PersonGesture4、PersonGesture5。从而得到目标队列。目标队列中包含有与该对象匹配的脸部特征，及与该对象匹配的姿势特征。

通过本实施例，通过比对第一对象的脸部特征所指示的第一图像位置以及第二对象的头部姿势特征指示的第二图像位置，在上述第一图像位置与第二图像位置匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配，从而提高了匹配第一对象的脸部特征与第二对象的头部姿势特征的准确度。

作为一种可选的实施方案，上述转化单元包括：

(1)第二获取模块，用于依次获取每个对象的脸部特征所指示的脸部图像位置，其中，脸部图像位置用于指示对象的脸部在图像中的位置；

(2)第一生成模块，用于生成与脸部图像位置相匹配的脸部位置索引；

(3)第一记录模块，用于将对象的脸部位置索引记录在脸部特征队列中。

可选地，上述获取每个对象的脸部特征所指示的脸部图像位置可以但不限于为：获取上述脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到脸部图像位置。

可选地，上述获取到脸部特征所指示的脸部位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到脸部位于待识别图像中的上述四个点的坐标。如表1所示，上述四个数据类型可以但不限于为定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录脸部位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。可选地，上述脸部位置索引可以为用于标识脸部位置的标识信息。可选地，可以但不限于定义用于表示脸部特征的position类型的pos参数，pos参数用于指向position中的上述Top、Left、Right、Bottom参数。可选地，可以但不限于定义脸部特征队列，上述脸部特征队列中可以但不限于包含脸部特征标识、脸部特征姓名等。例如，定义persons队列，persons队列中包含有多个脸部特征的位置信息。每一个脸部特征的位置信息包含有一个位置索引，用于指向每一个脸部特征的位置坐标信息。

通过本实施例，通过获取每个对象的脸部特征所指示的脸部图像位置，生成与脸部图像位置匹配的脸部位置索引，并将脸部位置索引记录在脸部特征队列中，从而保证了脸部特征队列的准确性与简洁性。

作为一种可选的实施方案，上述转化单元包括：

(1)第三获取模块，用于依次获取每个对象的姿势特征所指示的图像位置集合，其中，图像位置集合中包括对象的每个身体部位在图像中的图像位置；

(2)第二生成模块，用于分别生成与每个身体部位的图像位置相匹配的姿势位置索引；

(3)第二记录模块，用于将对象的每个身体部位的姿势位置索引记录在姿势特征队列中。

可选地，上述获取每个对象的姿势特征所指示的图像位置集合可以但不限于为：获取上述姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标，从而获取到图像位置集合。

可选地，上述获取到姿势特征所指示的每个身体部位位于待识别图像中的最上方、最下方、最左侧、最右侧四个点的坐标可以但不限于为定义四个数据类型，得到每个身体部位位于待识别图像中的上述四个点的坐标。上述四个数据类型可以但不限于为在Position中定义四个整数类型，分别为：Top、Left、Right、Bottom，分别用于记录每个身体部位位于图像中的最上方的坐标、最下方的坐标、最左侧的坐标、最右侧的坐标。

例如定义一个姿势队列Gestures，用于记录姿势特征中的每个身体部位的位置坐标。具体如表2所示。通过将每个对象的每个身体部位的坐标记录到姿势队列Gestures中，从而得到gestures：ArrayList<Gesture>。

通过本实施例，通过获取每个对象的姿势特征中的每个身体部位的图像位置，生成与每个身体部位匹配的每个身体部位的图像位置信息，并将每个身体部位的图像位置信息记录在姿势特征队列中，从而保证了姿势特征队列的准确性与简洁性。

作为一种可选的实施方案，上述确定单元包括：

(1)第四获取模块，用于获取关系识别模型每一次输出的输出结果，其中，每一次输出的输出结果中包括用于指示两个对象隶属不同的对象关系的概率值；

(2)确定模块，用于将每一次输出的输出结果中最大概率值对应的目标对象关系，作为两个对象的对象关系。

可选地，目标对象关系可以但不限于为队友关系、对手关系、无关系等等。

例如，在将关系识别特征输入到关系识别模型中后，关系识别模型输出多个用于指示两个对象隶属不同的对象关系的概率值，例如输出三个概率值，分别为两个对象的关系为队友关系的概率为80％、两个对象的关系为无关系的概率为60％、两个对象的关系为对手关系的概率为90％，则取90％所对应的对手关系作为目标对象关系。

通过本实施例，通过获取关系识别模型每一次输出的输出结果，并取其中的最大值作为指示两个对象隶属不同的对象关系的概率值，从而可以提高识别两个对象之间关系类型的准确率。

作为一种可选的实施方案，上述提取单元包括：

(1)第二确定模块，用于确定图像中所显示的对象；

(2)第一提取模块，用于通过人脸识别技术提取出对象的脸部特征；

(3)第二提取模块，用于通过姿势估计技术提取出对象的姿势特征。

例如，在接收到待识别图像之后，提取出待识别图像中的对象信息，将其他背景信息删除，使用人脸识别技术提取出对象的脸部特征，并使用姿势估计技术提取出对象的姿势特征。

通过本实施例，通过上述方法获取对象的脸部特征与姿势特征，从而提高了获取对象的脸部特征与姿势特征的效率。

根据本发明实施例的又一个方面，还提供了一种用于实施上述对象关系识别方法的电子装置，如图10所示，该电子装置包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；

S2，将图像中全部对象的脸部特征按照第一格式转化为脸部特征队列，并将图像中全部对象的姿势特征按照第二格式转化为姿势特征队列；

S3，将脸部特征队列和姿势特征队列输入关系识别模型，其中，关系识别模型为多个样本特征向量进行机器训练后得到；

S4，根据关系识别模型输出的输出结果，确定在图像中对象之间的对象关系。

可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。

其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的对象关系识别方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的对象关系识别方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储提取的脸部特征与姿势特征等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述关系识别装置中的提取单元902、转化单元904、输入单元906及确定单元908。此外，还可以包括但不限于上述信息处理装置中的其他模块单元，本示例中不再赘述。

上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1008，用于显示上述对象关系；和连接总线1010，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，提取待识别的图像中所显示的每个对象的脸部特征和姿势特征；

S2，将图像中全部对象的脸部特征按照第一格式转化为脸部特征队列，并将图像中全部对象的姿势特征按照第二格式转化为姿势特征队列；

S3，将脸部特征队列和姿势特征队列输入关系识别模型，其中，关系识别模型为多个样本特征向量进行机器训练后得到；

S4，根据关系识别模型输出的输出结果，确定在图像中对象之间的对象关系。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，合成脸部特征队列与姿势特征队列，得到目标队列，其中，目标队列中包括与每个对象分别匹配的关系识别特征，对象的关系识别特征中包含与对象匹配的脸部特征，及与对象匹配的姿势特征；

S2，从目标队列中依次获取两个对象的关系识别特征，并将两个对象的关系识别特征输入关系识别模型，以得到两个对象的对象关系。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，遍历脸部特征队列与姿势特征队列，依次从脸部特征队列中获取第一对象的脸部特征，从姿势特征队列中获取第二对象的姿势特征中所包含的头部姿势特征；

S2，比对第一对象的脸部特征及第二对象的头部姿势特征；

S3，在比对的结果指示第一对象的脸部特征与第二对象的头部姿势特征相匹配的情况下，合成第一对象的脸部特征及第二对象的姿势特征，得到目标队列中一个对象的关系识别特征。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，比对第一对象的脸部特征所指示的第一图像位置，与第二对象的头部姿势特征所指示的第二图像位置；

S2，在第一图像位置与第二图像位置相匹配的情况下，确定第一对象的脸部特征与第二对象的头部姿势特征匹配。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，依次获取每个对象的脸部特征所指示的脸部图像位置，其中，脸部图像位置用于指示对象的脸部在图像中的位置；

S2，生成与脸部图像位置相匹配的脸部位置索引；

S3，将对象的脸部位置索引记录在脸部特征队列中。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，依次获取每个对象的姿势特征所指示的图像位置集合，其中，图像位置集合中包括对象的每个身体部位在图像中的图像位置；

S2，分别生成与每个身体部位的图像位置相匹配的姿势位置索引；

S3，将对象的每个身体部位的姿势位置索引记录在姿势特征队列中。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取关系识别模型每一次输出的输出结果，其中，每一次输出的输出结果中包括用于指示两个对象隶属不同的对象关系的概率值；

S2，将每一次输出的输出结果中最大概率值对应的目标对象关系，作为两个对象的对象关系。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，确定图像中所显示的对象；

S2，通过人脸识别技术提取出对象的脸部特征；

S3，通过姿势估计技术提取出对象的姿势特征。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种对象关系识别方法，其特征在于，包括：

提取待识别的图像中所显示的每个对象的脸部特征和姿势特征，其中，所述脸部特征用于指示所述对象的脸部在所述待识别的图像中对应的图像位置，所述姿势特征用于指示所述对象的身体部位在所述待识别的图像中对应的图像位置；

将所述图像中全部对象的所述脸部特征按照第一格式转化为脸部特征队列，并将所述图像中全部对象的所述姿势特征按照第二格式转化为姿势特征队列；

比对第一对象的所述脸部特征与第二对象的所述姿势特征；

在比对的结果指示所述第一对象的所述脸部特征与所述第二对象的所述姿势特征相匹配的情况下，合成所述第一对象的所述脸部特征及所述第二对象的所述姿势特征，得到关系识别特征；

将所述关系识别特征输入关系识别模型，其中，所述关系识别模型为多个样本特征向量进行机器训练后得到；

根据所述关系识别模型输出的输出结果，确定在所述图像中所述第一对象和所述第二对象之间的对象关系。

2.根据权利要求1所述的方法，其特征在于，所述合成所述第一对象的所述脸部特征及所述第二对象的所述姿势特征，得到关系识别特征包括：

合成所述脸部特征队列与所述姿势特征队列，得到目标队列，其中，所述目标队列中包括与每个对象分别匹配的关系识别特征，所述对象的所述关系识别特征中包含与所述对象匹配的所述脸部特征，及

与所述对象匹配的所述姿势特征；

从所述目标队列中依次获取两个对象的关系识别特征，并将所述两个对象的关系识别特征输入所述关系识别模型，以得到所述两个对象的对象关系。

3.根据权利要求2所述的方法，其特征在于，所述合成所述脸部特征队列与所述姿势特征队列，得到目标队列包括：

遍历所述脸部特征队列与所述姿势特征队列，依次从所述脸部特征队列中获取所述第一对象的脸部特征，从所述姿势特征队列中获取所述第二对象的姿势特征中所包含的头部姿势特征；

比对所述第一对象的所述脸部特征及所述第二对象的所述头部姿势特征；

在比对的结果指示所述第一对象的所述脸部特征与所述第二对象的所述头部姿势特征相匹配的情况下，合成所述第一对象的所述脸部特征及所述第二对象的所述头部姿势特征，得到所述目标队列中一个对象的关系识别特征。

4.根据权利要求3所述的方法，其特征在于，所述比对所述第一对象的所述脸部特征及所述第二对象的所述头部姿势特征包括：

比对所述第一对象的所述脸部特征所指示的第一图像位置，与所述第二对象的所述头部姿势特征所指示的第二图像位置；

在所述第一图像位置与所述第二图像位置相匹配的情况下，确定所述第一对象的所述脸部特征与所述第二对象的所述头部姿势特征匹配。

5.根据权利要求1所述的方法，其特征在于，所述将所述图像中全部对象的所述脸部特征按照第一格式转化为脸部特征队列包括：

依次获取每个对象的所述脸部特征所指示的脸部图像位置，其中，所述脸部图像位置用于指示所述对象的脸部在所述图像中的位置；

生成与所述脸部图像位置相匹配的脸部位置索引；

将所述对象的所述脸部位置索引记录在所述脸部特征队列中。

6.根据权利要求1所述的方法，其特征在于，所述将所述图像中全部对象的所述姿势特征按照第二格式转化为姿势特征队列包括：

依次获取每个对象的所述姿势特征所指示的图像位置集合，其中，所述图像位置集合中包括所述对象的每个身体部位在所述图像中的图像位置；

分别生成与所述每个身体部位的所述图像位置相匹配的姿势位置索引；

将所述对象的所述每个身体部位的所述姿势位置索引记录在所述姿势特征队列中。

7.根据权利要求2所述的方法，其特征在于，所述将所述两个对象的关系识别特征输入所述关系识别模型，以得到所述两个对象的对象关系包括：

获取所述关系识别模型每一次输出的所述输出结果，其中，每一次输出的所述输出结果中包括用于指示所述两个对象隶属不同的对象关系的概率值；

将每一次输出的所述输出结果中最大概率值对应的目标对象关系，作为所述两个对象的对象关系。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述提取待识别的图像中所显示的每个对象的脸部特征和姿势特征包括：

确定所述图像中所显示的所述对象；

通过人脸识别技术提取出所述对象的所述脸部特征；

通过姿势估计技术提取出所述对象的所述姿势特征。

9.一种对象关系识别装置，其特征在于，包括：

提取单元，用于提取待识别的图像中所显示的每个对象的脸部特征和姿势特征，其中，所述脸部特征用于指示所述对象的脸部在所述待识别的图像中对应的图像位置，所述姿势特征用于指示所述对象的身体部位在所述待识别的图像中对应的图像位置；

转化单元，用于将所述图像中全部对象的所述脸部特征按照第一格式转化为脸部特征队列，并将所述图像中全部对象的所述姿势特征按照第二格式转化为姿势特征队列；

输入单元，用于比对第一对象的所述脸部特征与第二对象的所述姿势特征，在比对的结果指示所述第一对象的所述脸部特征与所述第二对象的所述姿势特征相匹配的情况下，合成所述第一对象的所述脸部特征及所述第二对象的所述姿势特征，得到关系识别特征，将所述关系识别特征输入关系识别模型，其中，所述关系识别模型为多个样本特征向量进行机器训练后得到；

确定单元，用于根据所述关系识别模型输出的输出结果，确定在所述图像中所述第一对象和所述第二对象之间的对象关系。

10.根据权利要求9所述的装置，其特征在于，所述输入单元包括：

合成模块，用于合成所述脸部特征队列与所述姿势特征队列，得到目标队列，其中，所述目标队列中包括与每个对象分别匹配的关系识别特征，所述对象的所述关系识别特征中包含与所述对象匹配的所述脸部特征，及与所述对象匹配的所述姿势特征；

第一获取模块，用于从所述目标队列中依次获取两个对象的关系识别特征，并将所述两个对象的关系识别特征输入所述关系识别模型，以得到所述两个对象的对象关系。

11.根据权利要求9所述的装置，其特征在于，所述转化单元包括：

第二获取模块，用于依次获取每个对象的所述脸部特征所指示的脸部图像位置，其中，所述脸部图像位置用于指示所述对象的脸部在所述图像中的位置；

第一生成模块，用于生成与所述脸部图像位置相匹配的脸部位置索引；

第一记录模块，用于将所述对象的所述脸部位置索引记录在所述脸部特征队列中。

12.根据权利要求9所述的装置，其特征在于，所述转化单元包括：

第三获取模块，用于依次获取每个对象的所述姿势特征所指示的图像位置集合，其中，所述图像位置集合中包括所述对象的每个身体部位在所述图像中的图像位置；

第二生成模块，用于分别生成与所述每个身体部位的所述图像位置相匹配的姿势位置索引；

第二记录模块，用于将所述对象的所述每个身体部位的所述姿势位置索引记录在所述姿势特征队列中。

13.根据权利要求10所述的装置，其特征在于，所述确定单元包括：

第四获取模块，用于获取所述关系识别模型每一次输出的所述输出结果，其中，每一次输出的所述输出结果中包括用于指示所述两个对象隶属不同的对象关系的概率值；

确定模块，用于将每一次输出的所述输出结果中最大概率值对应的目标对象关系，作为所述两个对象的对象关系。

14.一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至8任一项中所述的方法。

15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。

Images