CN112633224A - 一种社交关系识别方法、装置、电子设备及存储介质 - Google Patents
一种社交关系识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112633224A CN112633224A CN202011617638.1A CN202011617638A CN112633224A CN 112633224 A CN112633224 A CN 112633224A CN 202011617638 A CN202011617638 A CN 202011617638A CN 112633224 A CN112633224 A CN 112633224A
- Authority
- CN
- China
- Prior art keywords
- key point
- target person
- skeleton
- point information
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000010586 diagram Methods 0.000 claims abstract description 148
- 230000003993 interaction Effects 0.000 claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims description 210
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 6
- 210000003414 extremity Anatomy 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001425800 Pipa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像关系识别技术领域，提供一种社交关系识别方法、装置、电子设备及存储介质，方法包括：获取待识别图像；提取所述待识别图像第一目标人员的第一人体关键点信息，所述第二目标人员的第二人体关键点信息；根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。本申请能够提高社交关系识别的准确率。
Description
技术领域
本发明涉及图像关系识别技术领域，尤其涉及一种社交关系识别方法、装置、电子设备及存储介质。
背景技术
社交关系(Social relation，SR)是人类社会的基础，所以掌握整个社会的社交关系无论对于国家治理还是科学研究而言都是极为重要的。现有的方法主要是基于一些独立的特征模块来进行分类，比如脸部表情、人与物体的关系、肢体关系和背景信息等等，这些技术是与数据集挂钩的。
在PIPA和PISC数据集中，背景信息常用于判断关系类型，但是在监控场景下，从数据上来看背景信息反而不是很重要，重要的是肢体之间的交互。现有技术考虑到通过肢体数据进行表示，将两个人的关键点作为图数据来考虑，并应用图卷积模型来对关键点图数据来进行建模。但是，这对关键点进行建模，对于关系类型的表达却不是最优图。且关键点作为图数据是固定的，所以每一层的图卷积都是用的同一个图数据，不利于每一层学习不同的语意信息，对社会关系识别时准确率影响较大。可见，现有技术中，存在社会关系识别准确率低的问题。
发明内容
本发明实施例提供一种社交关系识别方法，能够提高社会关系识别的准确率。
第一方面，本发明实施例提供一种社交关系识别方法，包括：
获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；
根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；
通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；
将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。
第二方面，本发明实施例提供一种社交关系识别装置，包括：
获取模块，用于获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
关键点提取模块，用于对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；
构建模块，用于根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；
特征提取模块，用于通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；
融合与分类模块，用于将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的一种社交关系识别方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的一种社交关系识别方法中的步骤。
在本发明实施例中，通过获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。本发明实施例通过获取两个目标人员，分别提取出两个目标人员的关键点信息以构建两目标人员的关键点图数据与骨架图数据，并将关键点图数据与骨架图数据通过图卷积模型(自适应图卷积模型)进行关键点交互特征与骨架交互特征提取及融合分类，这样，对于依赖通过肢体和行为来判断社会关系的图像数据集中，可以同时高效的利用关键点和骨架信息，而非单独运用关键点，从而提高在监控场景下对社会关系类型的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种社交关系识别方法的流程图；
图2为本发明实施例提供的另一种社交关系识别方法的流程图；
图3为本发明实施例提供的另一种社交关系识别方法的流程图；
图4为本发明实施例提供的一种社交关系识别装置的结构示意图；
图5为本发明实施例提供的另一种社交关系识别装置的结构示意图；
图6为本发明实施例提供的另一种社交关系识别装置的结构示意图；
图7为本发明实施例提供的另一种社交关系识别装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种社交关系识别方法的流程图，如图1所示，包括以下步骤：
101、获取待识别图像，待识别图像包括第一目标人员与第二目标人员。
在本发明实施例中，一种社交关系识别方法可以运用在视频监控场景中，根据获取到的人员图像进行社交关系识别，特别是对一些对国家及公共安全造成危害的群体进行社交关系识别。一种社交关系识别方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取待识别图像等。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMA(Worldwide Interoperabilityfor Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
上述获取待识别图像可以是通过图像采集设备进行实时采集，也可以是通过人工从终端主动上传的图像中获取等。上述的图像采集设备可以包括摄像头以及配置有摄像头并可以进行图像采集的电子设备。上述待识别图像可以指需要进行关系分析的图像，在图像中可以包括至少2人。待识别图像中还可以包括一些干扰物，如建筑物、其他不相关人员、树木等。上述的第一目标人员与第二目标人员可以指需要进行社会关系识别的两个人员。该第一目标人员与第二目标人员可以出现在同一个图像画面中。
需要知道的是，上述的终端可以包括但不限于手机、平板电脑(Tablet PersonalComputer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digitalassistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)、计算机或笔记本电脑等电子设备。
102、对待识别图像进行关键点信息提取，提取第一目标人员的第一人体关键点信息，提取第二目标人员的第二人体关键点信息，第一人体关键点信息与第二人体关键点信息为人体关节关键点信息。
其中，上述关键点信息可以是人体关键点信息，具体可以指人体关节关键点信息，人体关节关键点信息可以是指人体关节。上述人体关节包括但不限于肩关节、肘关节、髋关节、膝关节、踝关节、颈椎、腰椎、头部活动关节、手腕、脚腕等等。可以通过图像识别技术对人体关节关键点进行识别，提取出第一目标人员的第一人体关键点信息与第二目标人员的第二人体关键点信息。
103、根据第一人体关键点信息与第二人体关键点信息，分别构建第一目标人员与第二目标人员之间的关键点图数据和骨架图数据。
其中，可以基于第一目标人员的第一人体关键点与第二目标人员的第二人体关键点信息去构建第一目标人员与第二目标人员之间的关键点图数据。关键点图数据中可以对第一目标人员与第二目标人员在人体关节点上建立联系，有利于对第一目标人员与第二目标人员之间的行为动作进行数据分析。
此外，还可以根据第一人体关键点信息与第二人体关键点信息构建骨架图数据，其中，骨架图数据中建立了第一目标人员与第二目标人员在人体骨架数据之间的联系，例如：人员A与人员B手臂整个骨架所在的位置，根据所在的位置可以判断是否存在拥抱、牵手、打斗等行为。骨架图数据构造中，可以将人体骨架看成图中的节点，两个骨架通过一个节点相连接代表有边。通过获取到的第一目标人员与第二目标人员的人体关节关键点的坐标，便可以构建骨架数据，若根据第一目标人员与第二目标人员的多个人体关节关键点的坐标进行骨架数据的构建，便可以第一目标人员与第二目标人员之间的骨架图数据。
104、通过预设的第一图卷积模型，提取关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征。
其中，上述的第一图卷积模型和第二图卷积模型可以是预先训练得到的模型。在本发明实施例中，第一图卷积模型和第二图卷积模型中利用的卷积神经网络为自适应卷积神经网络，自适应卷积神经网络中包括有不固定的矩阵计算方式，可以适用不同动作的关键点图数据和骨架图数据。第一图卷积模型可以识别并提取关键点图数据中第一目标人员与第二目标人员存在的关键点交互特征，第二图卷积模型可以识别骨架图数据中第一目标人员与第二目标人员存在的骨架交互特征。
其中，关键点交互特征可以指第一目标人员与第二目标人员在关键点之间存在的交互特征，例如：目标人员A与目标人员B的头部挨在一起，对方的手壁环抱，则执行该动作时，双方的手部关节与头部都会存在关键点交互特征。骨架交互特征可以指第一目标人员与第二目标人员在骨架之间存在的交互特征，例如：目标人员A与目标人员B的头部挨在一起，对方的手壁环抱，则执行该动作时，双方在骨架之间便会存在部分骨架交互特征。所以，通过上述的第一图卷积模型可以对关键点图数据中的关键点交互特征进行提取，通过上述的第二图卷积模型可以对关键点图数据中的骨架交互特征进行提取。
105、将关键点交互特征与骨架交互特征进行融合并分类，得到第一目标人员与第二目标人员的社交关系。
其中，社交关系可以预先定义好关系类别，例如：关系类别包括朋友、家人、陌生人等。通过自适应卷积神经网络的全连接层进行分类。可以根据置信度进行分类，哪一类的置信度最大，则是哪种对应的社交关系。
因骨架图数据是根据关键点信息进行构造得到，因此得到的上述的关键点交互特征与骨架交互特征之间也存在联系，基于关键点信息与骨架图数据之间的联系可以将关键点交互特征与骨架交互特征进行特征融合，使得位置对应的关键点与骨架之间的交互特征可以更完整的表达。然后将表达出来的关系输入到全连接层，根据预设的关系类别进行分类，判断表达出的关系与预设的关系类别中的哪种关系之间的置信度更大，则判断表达出的关系为该社交关系类别，从而实现社交关系类别的识别。
具体的，参考图2所示，图2为本发明实施例中提供的另一种社交关系识别方法的流程图。图2中，通过获取待识别图像(图片)，然后提取待识别图像中的关键点信息(第一目标人员的第一人体关键点信息，第二目标人员的第二人体关键点信息)，关键点信息可以通过标注框对第一目标人员与第二目标人员进行标注，以初始标注框坐标作为关键点信息，然后分别构建关键点图数据和骨架图数据，并将关键点图数据和骨架图数据分别输入到自适应图卷积模型(第一图卷积模型与第二图卷积模型)中提取关键点图数据的关键点交互特征，以及提取骨架图数据的骨架交互特征，最后将关键点交互特征与骨架交互特征进行融合，通过全连接层进行分类，以判断第一目标人员与第二目标人员之间的社交关系属于预设的哪一类社交关系。
在本发明实施例中，通过获取待识别图像，待识别图像包括第一目标人员与第二目标人员；对待识别图像进行关键点信息提取，提取第一目标人员的第一人体关键点信息，提取第二目标人员的第二人体关键点信息，第一人体关键点信息与第二人体关键点信息为人体关节关键点信息；根据第一人体关键点信息与第二人体关键点信息，分别构建第一目标人员与第二目标人员之间的关键点图数据和骨架图数据；通过预设的第一图卷积模型，提取关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征；将关键点交互特征与骨架交互特征进行融合并分类，得到第一目标人员与第二目标人员的社交关系。本发明实施例通过获取两个目标人员，分别提取出两个目标人员的关键点信息以构建两目标人员的关键点图数据与骨架图数据，并将关键点图数据与骨架图数据通过自适应图卷积模型进行关键点交互特征与骨架交互特征提取及融合分类，这样，对于依赖通过肢体和行为来判断社会关系的图像数据集中，可以同时高效的利用关键点和骨架信息，而非单独运用关键点，从而提高在监控场景下对社会关系类型的识别准确率。
参见图3，图3是本发明实施例中提供的另一种社交关系识别方法的流程图，如图3所示，包括以下步骤：
301、获取待识别图像，待识别图像包括第一目标人员与第二目标人员。
302、对待识别图像进行关键点信息提取，提取第一目标人员的第一人体关键点信息，提取第二目标人员的第二人体关键点信息，第一人体关键点信息与第二人体关键点信息为人体关节关键点信息。
303、计算第一人体关键点信息与第二人体关键点信息的特征矩阵，将特征矩阵作为第一目标人员与第二目标人员之间的关键点图数据。
其中，第一人体关键点信息与第二人体关键点信息可以是坐标数据，以坐标数据的形式表达成矩阵，即得到第一目标人员与第二目标人员所有的对应关键点信息所形成的特征矩阵。该特征矩阵用于表示第一目标人员与第二目标人员之间的关键点图数据。在本实施例中，关键点图数据以fin表示，fin的构造方法为：(xi-xj，yi-yj)，(xj，yj)，分别表示第一人体关键点信息与第二人体关键点信息。
304、根据第一人体关键点信息与第二人体关键点信息，确定第一目标人员的骨架以及第二目标人员的骨架。
其中，骨架数据根据人体关键点数据进行构建，将第一人体关键点信息与第二人体关键点信息以坐标表示，根据获取到的第一目标人员以及第二目标人员所有关键点对应的坐标进行连线，此时关键点作为点，骨架即为线。
305、将第一目标人员的骨架两端的中心点作为第一骨架点，得到第一目标人员的第一骨架点信息，以及将第二目标人员的骨架两端的中心点作为第二骨架点，得到第二目标人员的第二骨架点信息。
其中，对于第一目标人员，骨架作为线，可以将线的两端的中心点作为第一骨架点。对于第二目标人员，可以将线的两端的中心点作为第二骨架点，这样更有利于准确表达第一目标人员与第二目标人员骨架点的位置关系。并且两个骨架点一端作为第一目标人员的第一骨架点信息，另一端作为第二目标人员的第二骨架点信息。
306、计算第一人体骨架点信息与第二人体骨架点信息的特征矩阵，将特征矩阵作为第一目标人员与第二目标人员之间的骨架图数据。
其中，第一人体骨架点信息与第二人体骨架点信息可以是坐标数据，以坐标数据的形式表达成矩阵，即得到第一目标人员与第二目标人员所有的对应关骨架点信息所形成的特征矩阵，该特征矩阵可以用于表达第一目标人员与第二目标人员之间的骨架点图数据。在本实施例中，骨架图数据同样以fin表示。
307、通过预设的第一图卷积模型，提取关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征。
308、将关键点交互特征与骨架交互特征进行融合并分类，得到第一目标人员与第二目标人员的社交关系。
可选的，上述步骤307中，预设的第一图卷积模型与第二图卷积模型基于自适应图卷积网络构建得到，自适应图卷积网络包括全局邻接矩阵、个体邻接矩阵以及参数矩阵。自适应图卷积网络可用于计算关键点交互特征和骨架交互特征。
具体的，上述自适应图卷积网络的公式如下式子(1)所示：
其中，fin为关键点图数据和骨架图数据，shape(神经元个数)为：(Cin，N)；fout为关键点交互特征和骨架交互特征，shape为(Cout，N)，N为图中人体关节点数。Bk，Ck分别为全局邻接矩阵与个体邻接矩阵，shape分别为(N，N),与(N，N)。Wk为参数矩阵，shape为(Cout,Cin)。α为控制个体邻接矩阵Ck的一个个体权重超参数，Kv为空间核的大小，在本实施例中，Kv＝3。上述的Cin为关键点图数据与骨架图数据的特征维度，Cout分别为关键点交互特征与骨架交互特征的维度。
具体的，在自适应图卷积神经网络中，邻接矩阵被划分为全局邻接矩阵Bk与个体邻接矩阵Ck，在整个图卷积神经网络中只需要学习一个全局邻接矩阵Bk，全局邻接矩阵Bk可以通过先验知识构造的数据Ak。Ak∈R2K×2K进行初始化以及训练，其中K表示一个人体的关键点数，而对于每一个样本都会学习一个独立的托扑结构，也即是每个样本都需要对上述的个体邻接矩阵Ck进行学习。
可选的，参数矩阵包括第一参数矩阵与第二参数矩阵，步骤307具体包括：
对关键点图数据进行卷积操作，使得关键点图数据中的多个关键点的特征映射到同一个第一特征空间。
其中，关键点图数据fin以特征矩阵进行表示，其包括有第一目标人员与第二目标人员的关键点坐标信息，通过卷积操作可以将特征矩阵中不同的关键点的坐标信息映射到同一个空间中，也即是上述的第一特征空间。具体的卷积操作为：fin TWθk T和Wφkfin，其中，fin即关键点图数据，Wθ，Wφ为卷积核矩阵，其卷积shape为：(Ce，Cin)。
在第一特征空间中，遍历计算任意两个关键点的相似度，并对计算得到的所有关键点的相似度进行归一化后得到第一个体邻接矩阵。
其中，将第一目标人员与第二目标人员获取到的关键点的坐标特征映射到第一特征空间后，可以遍历计算任意两个关键点的相似度。具体的，可以将任意两个关键点的坐标信息代入到欧氏距离(Euclidean Distance)公式中进行计算，计算得到的结果越大可以表示关键点差异越大，相似度越低。具体的，参考公式(1)，欧氏距离计算为：fin TWθk TWφkfin。当然，还可以通过其他方法计算相似度，例如：曼哈顿距离、闵可夫斯基距离等等。
上述对欧氏距离进行归一化(Softmax)处理也即是对计算得到的数据进行标准化处理，按照一定的比例缩放到一个特定的区间，通常进行Softmax后会将计算得到的数据映射到[0,1]的区间上。有利于加快求解速度，提高数据精度。Softmax可以包括Min-Max标准化、标准差标准化、非线性归一化等等。通过遍历计算任意两个关键点的相似度，并对计算得到的所有相似度进行便会得到所有任意两个关键点的相似度组成的矩阵，对该矩阵进行归一化后即得到上述的第一个体邻接矩阵Ck1。其计算公式如式子(2)所示：
Ck＝SoftMax(fin TWθk TWφkfin) (2)
根据关键点图数据、第一全局邻接矩阵、第一个体邻接矩阵以及第一参数矩阵，计算得到关键点图数据的关键点交互特征。
其中，因在整个模型中只需要对全局邻接矩阵进行一次学习，因此上述的第一全局邻接矩阵也即是上述的全局邻接矩阵Bk。只是为了在计算关键点交互特征与骨架交互特征时进行区分。同样上述第一参数矩阵即上述的参数矩阵Wk。
计算得到上述的关键点图数据、第一全局邻接矩阵、第一个体邻接矩阵后，结合上述公式(1)已知的参数，便可以根据公式(1)计算出关键点图数据的关键点交互特征fout。
可选的，通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征，包括：
对骨架图数据进行卷积操作，使得不同骨架点的特征映射到同一个第二特征空间。
其中，根据上述计算关键点图数据的关键点交互特征方式一样，可以提取出骨架图数据中的骨架交互特征。上述针对骨架图数据进行卷积操作同样为：fin TWθk T和Wφkfin，其中，fin即骨架图数据，Wθ，Wφ为卷积核矩阵，其卷积shape为：(Ce，Cin)。通过卷积操作可以将骨架图数据的特征矩阵中不同的关键点的坐标信息映射到同一个空间中。上述第二特征空间与第一特征空间性质相同，只是用于区别关键点与骨架。
在第二特征空间中，遍历计算任意两个骨架点的相似度，对计算得到的所有骨架点的相似度进行归一化后得到第二个体邻接矩阵。
其中，将第一目标人员与第二目标人员获取到的骨架点的坐标特征映射到第一特征空间后，可以遍历计算出任意两个骨架点的相似度。具体的，可以将任意两个骨架点的坐标信息代入到欧氏距离公式中进行计算。具体的，参考公式(1)，欧氏距离计算为：fin TWθ k TWφkfin。上述对欧氏距离进行Softmax处理也即是对计算得到的数据进行标准化处理，按照一定的比例将所有计算得到的相似度缩放到一个特定的区间，通过遍历计算任意两个关键点的相似度，并对计算得到的所有相似度进行便会得到所有任意两个关键点的相似度组成的矩阵，对该矩阵进行归一化后即得到上述的第二个体邻接矩阵Ck2，其计算公式参考式子(2)所示。
根据骨架图数据、第二全局邻接矩阵、第二个体邻接矩阵以及第二参数矩阵，计算得到骨架图数据的骨架交互特征。
其中，上述的第二全局邻接矩阵也即是上述的全局邻接矩阵Bk。只是为了在计算关键点交互特征与骨架交互特征时进行区分。同样第二参数矩阵即上述的参数矩阵Wk。计算得到上述的骨架图数据、第二全局邻接矩阵、第二个体邻接矩阵以及第二参数矩阵后，结合上述公式(1)已知的参数，便可以根据公式(1)计算出骨架点图数据的骨架交互特征fout。
可选的，自适应图卷积网络包括还包括个体权重超参数，个体权重超参数包括第一个体权重超参数与第二个体权重超参数，上述根据关键点图数据、第一全局邻接矩阵、第一个体邻接矩阵以及第一参数矩阵，计算得到关键点图数据的关键点交互特征的步骤具体包括：
通过第一个体权重超参数对第一个体邻接矩阵进行调整，得到第一加权个体邻接矩阵。
其中，个体权重超参数为α，用于控制个体邻接矩阵Ck。个体权重超参数α针对关键点交互特征与骨架交互特征包括第一个体权重超参数α1，对应第一个体邻接矩阵Ck1。得到第一个体邻接矩阵Ck1后，根据对矩阵中不同的数据所分配的权重不同，可以通过第一个体权重超参数α1对第一个体邻接矩阵Ck1，进行调整，得到第一加权个体邻接矩阵α1Ck1。这样，有利于提高识别的准确率。
将第一加权个体邻接矩阵与第一全局邻接矩阵进行求和，得到第一融合邻接矩阵。
其中，参考公式(1)所示，得到上述第一加权个体邻接矩阵α1Ck1与第一全局邻接矩阵Bk后，对其进行求和便可以得到上述的第一融合邻接矩阵(Bk+α1Ck1)，即公式(1)中的Bk+αCk。
通过第一参数矩阵、关键点图数据以及第一融合邻接矩阵，计算得到关键点图数据的关键点交互特征。
其中，通过第一参数矩阵Wk、关键点图数据fin以及第一融合邻接矩阵Bk+α1Ck1进行点积求和后，便可以得到关键点图数据的关键点交互特征。
可选的，根据骨架图数据、第二全局邻接矩阵、第二个体邻接矩阵以及第二参数矩阵，计算得到骨架图数据的骨架交互特征的步骤具体包括：
通过第二个体权重超参数对第二个体邻接矩阵进行调整，得到第二加权个体邻接矩阵。
其中，个体权重超参数为α还包括第二个体权重超参数α2，对应第二个体邻接矩阵Ck2。得到第二个体邻接矩阵Ck2后，根据对矩阵中不同的数据所分配的权重不同，可以通过第二个体权重超参数α2对第二个体邻接矩阵Ck2进行调整，得到第二加权个体邻接矩阵α2Ck2。这样，有利于提高识别的准确率。
将第二加权个体邻接矩阵与第二全局邻接矩阵进行求和，得到第二融合邻接矩阵。
其中，参考公式(1)所示，得到上述第二加权个体邻接矩阵α2Ck2与第二全局邻接矩阵Bk后，对其进行求和便可以得到上述的第二融合邻接矩阵(Bk+α2Ck2)，即公式(1)中的Bk+αCk。
通过第二参数矩阵、关键点图数据以及第二融合邻接矩阵，计算得到关键点图数据的关键点交互特征。
其中，通过第二参数矩阵Wk、骨架图数据fin以及第二融合邻接矩阵Bk+α2Ck2进行点积求和后，便可以得到骨架图数据的骨架交互特征。
在本发明实施例中，提出将自适应图神经网络和骨架数据应用于基于图像的社会关系识别中，并将关键点图数据与骨架图数据通过自适应图卷积模型进行关键点交互特征与骨架交互特征提取及融合分类。这样，对于依赖通过肢体和行为来判断社会关系的图像数据集中，可以同时高效的利用关键点和骨架信息，而非单独运用关键点，从而提高在监控场景下对社会关系类型的识别准确率。
请参见图4，图4是本发明实施例提供的一种社交关系识别装置的结构示意图，如图4所示，装置400包括：
获取模块401，用于获取待识别图像，待识别图像包括第一目标人员与第二目标人员；
关键点提取模块402，用于对待识别图像进行关键点信息提取，提取第一目标人员的第一人体关键点信息，提取第二目标人员的第二人体关键点信息，第一人体关键点信息与第二人体关键点信息为人体关节关键点信息；
构建模块403，用于根据第一人体关键点信息与第二人体关键点信息，分别构建第一目标人员与第二目标人员之间的关键点图数据和骨架图数据；
特征提取模块404，用于通过预设的第一图卷积模型，提取关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征；
融合与分类模块405，用于将关键点交互特征与骨架交互特征进行融合并分类，得到第一目标人员与第二目标人员的社交关系。
可选的，构建模块403还用于计算第一人体关键点信息与第二人体关键点信息的特征矩阵，将特征矩阵作为第一目标人员与第二目标人员之间的关键点图数据。
可选的，图5是本发明实施例提供的另一种社交关系识别装置的结构示意图，如图5所示，上述构建模块403包括：
确定子模块4031，用于根据第一人体关键点信息与第二人体关键点信息，确定第一目标人员的骨架以及第二目标人员的骨架；
选取子模块4032，用于将第一目标人员的骨架两端的中心点作为第一骨架点，得到第一目标人员的第一骨架点信息，以及将第二目标人员的骨架两端的中心点作为第二骨架点，得到第二目标人员的第二骨架点信息；
第一计算子模块4033，用于计算第一人体骨架点信息与第二人体骨架点信息的特征矩阵，将特征矩阵作为第一目标人员与第二目标人员之间的骨架图数据。
可选的，预设的第一图卷积模型与第二图卷积模型基于自适应图卷积网络构建得到，自适应图卷积网络包括全局邻接矩阵、个体邻接矩阵以及参数矩阵。
可选的，参数矩阵包括第一参数矩阵与第二参数矩阵，图6是本发明实施例提供的另一种社交关系识别装置的结构示意图，如图6所示，特征提取模块404包括：
第一卷积子模块4041，用于对关键点图数据进行卷积操作，使得关键点图数据中的多个关键点的特征映射到同一个第一特征空间；
第二计算子模块4042，用于在第一特征空间中，遍历计算任意两个关键点的相似度，并对计算得到的所有关键点的相似度进行归一化后得到第一个体邻接矩阵；
第三计算子模块4043，用于根据关键点图数据、第一全局邻接矩阵、第一个体邻接矩阵以及第一参数矩阵，计算得到关键点图数据的关键点交互特征；
通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征，包括：
第二卷积子模块4044，用于对骨架图数据进行卷积操作，使得不同骨架点的特征映射到同一个第二特征空间；
第四计算子模块4045，用于在第二特征空间中，遍历计算任意两个骨架点的相似度，对计算得到的所有骨架点的相似度进行归一化后得到第二个体邻接矩阵；
第五计算子模块4046，用于根据骨架图数据、第二全局邻接矩阵、第二个体邻接矩阵以及第二参数矩阵，计算得到骨架图数据的骨架交互特征。
可选的，自适应图卷积网络包括还包括个体权重超参数，个体权重超参数包括第一个体权重超参数与第二个体权重超参数，图7是本发明实施例提供的另一种社交关系识别装置的结构示意图，如图7所示，第三计算子模块4043包括：
调整子单元40431，用于通过第一个体权重超参数对第一个体邻接矩阵进行调整，得到第一加权个体邻接矩阵；
求和子单元40432，用于将第一加权个体邻接矩阵与第一全局邻接矩阵进行求和，得到第一融合邻接矩阵；
计算子单元40433，用于通过第一参数矩阵、关键点图数据以及第一融合邻接矩阵，计算得到关键点图数据的关键点交互特征。
上述调整子单元40431还用于通过第二个体权重超参数对第二个体邻接矩阵进行调整，得到第二加权个体邻接矩阵；
求和子单元40432还用于将第二加权个体邻接矩阵与第二全局邻接矩阵进行求和，得到第二融合邻接矩阵；
计算子单元40433还用于通过第二参数矩阵、关键点图数据以及第二融合邻接矩阵，计算得到关键点图数据的关键点交互特征。
本发明还提供一种电子设备800，且本发明实施例提供的电子设备800能够实现上述方法实施例中一种社交关系识别方法实现的各个过程，为避免重复，这里不再赘述。且可以达到相同的有益效果。
如图8所示，图8是本发明实施例提供的一种电子设备的结构示意图，该电子设备800包括：处理器801、存储器802、网络接口803及存储在存储器802上并可在处理器801上运行的计算机程序，处理器801执行计算机程序时实现实施例提供的一种社交关系识别方法中的步骤。具体的，处理器801用于调用存储器802存储的计算机程序，并执行如下步骤：
获取待识别图像，待识别图像包括第一目标人员与第二目标人员；
对待识别图像进行关键点信息提取，提取第一目标人员的第一人体关键点信息，提取第二目标人员的第二人体关键点信息，第一人体关键点信息与第二人体关键点信息为人体关节关键点信息；
根据第一人体关键点信息与第二人体关键点信息，分别构建第一目标人员与第二目标人员之间的关键点图数据和骨架图数据；
通过预设的第一图卷积模型，提取关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征；
将关键点交互特征与骨架交互特征进行融合并分类，得到第一目标人员与第二目标人员的社交关系。
可选的，处理器801执行的根据第一人体关键点信息与第二人体关键点信息，构建第一目标人员与第二目标人员之间的关键点图数据，包括：
计算第一人体关键点信息与第二人体关键点信息的特征矩阵，将特征矩阵作为第一目标人员与第二目标人员之间的关键点图数据。
可选的，处理器801执行的根据第一人体关键点信息与第二人体关键点信息，构建第一目标人员与第二目标人员之间的骨架图数据，包括：
根据第一人体关键点信息与第二人体关键点信息，确定第一目标人员的骨架以及第二目标人员的骨架；
将第一目标人员的骨架两端的中心点作为第一骨架点，得到第一目标人员的第一骨架点信息，以及将第二目标人员的骨架两端的中心点作为第二骨架点，得到第二目标人员的第二骨架点信息；
计算第一人体骨架点信息与第二人体骨架点信息的特征矩阵，将特征矩阵作为第一目标人员与第二目标人员之间的骨架图数据。
可选的，处理器801执行的预设的第一图卷积模型与第二图卷积模型基于自适应图卷积网络构建得到，自适应图卷积网络包括全局邻接矩阵、个体邻接矩阵以及参数矩阵。
可选的，参数矩阵包括第一参数矩阵与第二参数矩阵，处理器801执行的通过预设的第一图卷积模型，提取关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征，包括：
对关键点图数据进行卷积操作，使得关键点图数据中的多个关键点的特征映射到同一个第一特征空间；
在第一特征空间中，遍历计算任意两个关键点的相似度，并对计算得到的所有关键点的相似度进行归一化后得到第一个体邻接矩阵；
根据关键点图数据、第一全局邻接矩阵、第一个体邻接矩阵以及第一参数矩阵，计算得到关键点图数据的关键点交互特征；
通过预设的第二图卷积模型，提取骨架图数据的骨架交互特征，包括：
对骨架图数据进行卷积操作，使得不同骨架点的特征映射到同一个第二特征空间；
在第二特征空间中，遍历计算任意两个骨架点的相似度，对计算得到的所有骨架点的相似度进行归一化后得到第二个体邻接矩阵；
根据骨架图数据、第二全局邻接矩阵、第二个体邻接矩阵以及第二参数矩阵，计算得到骨架图数据的骨架交互特征。
可选的，自适应图卷积网络包括还包括个体权重超参数，个体权重超参数包括第一个体权重超参数与第二个体权重超参数，处理器801执行的根据关键点图数据、第一全局邻接矩阵、第一个体邻接矩阵以及第一参数矩阵，计算得到关键点图数据的关键点交互特征，包括：
通过第一个体权重超参数对第一个体邻接矩阵进行调整，得到第一加权个体邻接矩阵；
将第一加权个体邻接矩阵与第一全局邻接矩阵进行求和，得到第一融合邻接矩阵；
通过第一参数矩阵、关键点图数据以及第一融合邻接矩阵，计算得到关键点图数据的关键点交互特征；
根据骨架图数据、第二全局邻接矩阵、第二个体邻接矩阵以及第二参数矩阵，计算得到骨架图数据的骨架交互特征，包括：
通过第二个体权重超参数对第二个体邻接矩阵进行调整，得到第二加权个体邻接矩阵；
将第二加权个体邻接矩阵与第二全局邻接矩阵进行求和，得到第二融合邻接矩阵；
通过第二参数矩阵、关键点图数据以及第二融合邻接矩阵，计算得到关键点图数据的关键点交互特征。
本发明实施例提供的电子设备800能够实现一种社交关系识别方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
需要说明的是，图中仅示出了具有组件的801-803，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备800是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
电子设备800可以是桌上型计算机、笔记本及掌上电脑等计算设备。电子设备800可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器802至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器802可以是电子设备800的内部存储单元，例如该电子设备800的硬盘或内存。在另一些实施例中，存储器802也可以是电子设备800的外部存储设备，例如该电子设备800上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器802还可以既包括电子设备800的内部存储单元也包括其外部存储设备。本实施例中，存储器802通常用于存储安装于电子设备800的操作系统和各类应用软件，例如一种社交关系识别方法的程序代码等。此外，存储器802还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器801在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器801通常用于控制电子设备800的总体操作。本实施例中，处理器801用于运行存储器802中存储的程序代码或者处理数据，例如运行一种社交关系识别方法的程序代码。
网络接口803可包括无线网络接口或有线网络接口，该网络接口803通常用于在电子设备800与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器801执行时实现本发明实施例提供的一种社交关系识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，一种社交关系识别方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。且本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种社交关系识别方法，其特征在于，包括以下步骤：
获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；
根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；
通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；
将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。
2.如权利要求1所述的一种社交关系识别方法，其特征在于，所述根据所述第一人体关键点信息与所述第二人体关键点信息，构建所述第一目标人员与所述第二目标人员之间的关键点图数据，包括：
计算第一人体关键点信息与第二人体关键点信息的特征矩阵，将所述特征矩阵作为所述第一目标人员与所述第二目标人员之间的所述关键点图数据。
3.如权利要求2所述的一种社交关系识别方法，其特征在于，所述根据所述第一人体关键点信息与所述第二人体关键点信息，构建所述第一目标人员与所述第二目标人员之间的骨架图数据，包括：
根据所述第一人体关键点信息与所述第二人体关键点信息，确定所述第一目标人员的骨架以及所述第二目标人员的骨架；
将所述第一目标人员的骨架两端的中心点作为第一骨架点，得到所述第一目标人员的第一骨架点信息，以及将所述第二目标人员的骨架两端的中心点作为第二骨架点，得到所述第二目标人员的第二骨架点信息；
计算所述第一人体骨架点信息与所述第二人体骨架点信息的特征矩阵，将所述特征矩阵作为所述第一目标人员与所述第二目标人员之间的所述骨架图数据。
4.如权利要求3所述的一种社交关系识别方法，其特征在于，预设的所述第一图卷积模型与所述第二图卷积模型基于自适应图卷积网络构建得到，所述自适应图卷积网络包括全局邻接矩阵、个体邻接矩阵以及参数矩阵。
5.如权利要求4所述的一种社交关系识别方法，其特征在于，所述参数矩阵包括第一参数矩阵与第二参数矩阵，所述通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征，包括：
对所述关键点图数据进行卷积操作，使得所述关键点图数据中的多个关键点的特征映射到同一个第一特征空间；
在所述第一特征空间中，遍历计算任意两个关键点的相似度，并对计算得到的所有关键点的相似度进行归一化后得到第一个体邻接矩阵；
根据所述关键点图数据、第一全局邻接矩阵、所述第一个体邻接矩阵以及所述第一参数矩阵，计算得到所述关键点图数据的关键点交互特征；
所述通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征，包括：
对所述骨架图数据进行卷积操作，使得不同骨架点的特征映射到同一个第二特征空间；
在所述第二特征空间中，遍历计算任意两个骨架点的相似度，对计算得到的所有骨架点的相似度进行归一化后得到第二个体邻接矩阵；
根据所述骨架图数据、第二全局邻接矩阵、所述第二个体邻接矩阵以及所述第二参数矩阵，计算得到所述骨架图数据的骨架交互特征。
6.如权利要求5所述的一种社交关系识别方法，其特征在于，所述自适应图卷积网络包括还包括个体权重超参数，所述个体权重超参数包括第一个体权重超参数与第二个体权重超参数，所述根据所述关键点图数据、第一全局邻接矩阵、所述第一个体邻接矩阵以及第一参数矩阵，计算得到所述关键点图数据的关键点交互特征，包括：
通过所述第一个体权重超参数对所述第一个体邻接矩阵进行调整，得到第一加权个体邻接矩阵；
将所述第一加权个体邻接矩阵与所述第一全局邻接矩阵进行求和，得到第一融合邻接矩阵；
通过所述第一参数矩阵、关键点图数据以及所述第一融合邻接矩阵，计算得到所述关键点图数据的关键点交互特征；
所述根据所述骨架图数据、第二全局邻接矩阵、所述第二个体邻接矩阵以及所述第二参数矩阵，计算得到所述骨架图数据的骨架交互特征，包括：
通过所述第二个体权重超参数对所述第二个体邻接矩阵进行调整，得到第二加权个体邻接矩阵；
将所述第二加权个体邻接矩阵与所述第二全局邻接矩阵进行求和，得到第二融合邻接矩阵；
通过所述第二参数矩阵、关键点图数据以及所述第二融合邻接矩阵，计算得到所述关键点图数据的关键点交互特征。
7.一种社交关系识别装置，其特征在于，包括：
获取模块，用于获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
关键点提取模块，用于对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；
构建模块，用于根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；
特征提取模块，用于通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；
融合与分类模块，用于将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。
8.如权利要求7所述的社交关系识别装置，其特征在于，所述构建模块还用于计算第一人体关键点信息与第二人体关键点信息的特征矩阵，将所述特征矩阵作为所述第一目标人员与所述第二目标人员之间的所述关键点图数据。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的一种社交关系识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的一种社交关系识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617638.1A CN112633224B (zh) | 2020-12-30 | 2020-12-30 | 一种社交关系识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617638.1A CN112633224B (zh) | 2020-12-30 | 2020-12-30 | 一种社交关系识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633224A true CN112633224A (zh) | 2021-04-09 |
| CN112633224B CN112633224B (zh) | 2024-03-26 |
Family
ID=75287168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011617638.1A Active CN112633224B (zh) | 2020-12-30 | 2020-12-30 | 一种社交关系识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633224B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863352A (zh) * | 2022-07-07 | 2022-08-05 | 光谷技术有限公司 | 基于视频分析的人员群体行为监控方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101241601A (zh) * | 2008-02-19 | 2008-08-13 | 深圳先进技术研究院 | 一种图形处理的关节中心参数估计方法 |
| US20090037529A1 (en) * | 2007-07-31 | 2009-02-05 | Samsung Electronics Co., Ltd. | Data sharing in a group of peers with limited resources |
| JP2012048362A (ja) * | 2010-08-25 | 2012-03-08 | Kddi Corp | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム |
| US20120116804A1 (en) * | 2010-11-04 | 2012-05-10 | International Business Machines Corporation | Visualization of social medical data |
| US20180144193A1 (en) * | 2015-07-02 | 2018-05-24 | Beijing Sensetime Technology Development Co., Ltd. | Methods and systems for social relation identification |
| CN109543078A (zh) * | 2018-10-18 | 2019-03-29 | 深圳云天励飞技术有限公司 | 社会关系确定方法、装置、设备及计算机可读存储介质 |
| US20190139297A1 (en) * | 2017-11-07 | 2019-05-09 | Microsoft Technology Licensing, Llc | 3d skeletonization using truncated epipolar lines |
| US20190139438A1 (en) * | 2017-11-09 | 2019-05-09 | General Electric Company | System and method for guiding social interactions |
| US20190278985A1 (en) * | 2018-03-09 | 2019-09-12 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method, system and terminal for identity authentication, and computer readable storage medium |
| CN110378213A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 行为识别方法、装置、计算机设备和存储介质 |
| CN111553215A (zh) * | 2020-04-20 | 2020-08-18 | 深圳云天励飞技术有限公司 | 人员关联方法及其装置、图卷积网络训练方法及其装置 |
| WO2020248581A1 (zh) * | 2019-06-11 | 2020-12-17 | 中国科学院自动化研究所 | 图数据识别方法、装置、计算机设备和存储介质 |
| CN112131965A (zh) * | 2020-08-31 | 2020-12-25 | 深圳云天励飞技术股份有限公司 | 一种人体姿态估计方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-30 CN CN202011617638.1A patent/CN112633224B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090037529A1 (en) * | 2007-07-31 | 2009-02-05 | Samsung Electronics Co., Ltd. | Data sharing in a group of peers with limited resources |
| CN101241601A (zh) * | 2008-02-19 | 2008-08-13 | 深圳先进技术研究院 | 一种图形处理的关节中心参数估计方法 |
| JP2012048362A (ja) * | 2010-08-25 | 2012-03-08 | Kddi Corp | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム |
| US20120116804A1 (en) * | 2010-11-04 | 2012-05-10 | International Business Machines Corporation | Visualization of social medical data |
| US20180144193A1 (en) * | 2015-07-02 | 2018-05-24 | Beijing Sensetime Technology Development Co., Ltd. | Methods and systems for social relation identification |
| US20190139297A1 (en) * | 2017-11-07 | 2019-05-09 | Microsoft Technology Licensing, Llc | 3d skeletonization using truncated epipolar lines |
| US20190139438A1 (en) * | 2017-11-09 | 2019-05-09 | General Electric Company | System and method for guiding social interactions |
| CN109765991A (zh) * | 2017-11-09 | 2019-05-17 | 通用电气公司 | 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质 |
| US20190278985A1 (en) * | 2018-03-09 | 2019-09-12 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method, system and terminal for identity authentication, and computer readable storage medium |
| CN109543078A (zh) * | 2018-10-18 | 2019-03-29 | 深圳云天励飞技术有限公司 | 社会关系确定方法、装置、设备及计算机可读存储介质 |
| CN110378213A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 行为识别方法、装置、计算机设备和存储介质 |
| WO2020248581A1 (zh) * | 2019-06-11 | 2020-12-17 | 中国科学院自动化研究所 | 图数据识别方法、装置、计算机设备和存储介质 |
| CN111553215A (zh) * | 2020-04-20 | 2020-08-18 | 深圳云天励飞技术有限公司 | 人员关联方法及其装置、图卷积网络训练方法及其装置 |
| CN112131965A (zh) * | 2020-08-31 | 2020-12-25 | 深圳云天励飞技术股份有限公司 | 一种人体姿态估计方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MENG ZHANG: "Multi-Granularity Reasoning for Social Relation Recognition From Images", 2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), pages 1618 - 1623 * |
| 黄俊铭;沈华伟;程学旗;: "利用社交网络的影响力骨架探索信息传播", 中文信息学报, no. 02 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863352A (zh) * | 2022-07-07 | 2022-08-05 | 光谷技术有限公司 | 基于视频分析的人员群体行为监控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633224B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN110197099B (zh) | 跨年龄人脸识别及其模型训练的方法和装置 | |
| WO2020107847A1 (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
| CN112182166B (zh) | 一种文本匹配方法、装置、电子设备及存储介质 | |
| CN110135249B (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
| CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN111597955A (zh) | 基于深度学习的表情情绪识别的智能家居控制方法及装置 | |
| CN112131978A (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| CN110633004B (zh) | 基于人体姿态估计的交互方法、装置和系统 | |
| CN107911643B (zh) | 一种视频通信中展现场景特效的方法和装置 | |
| CN112699297A (zh) | 基于用户画像的服务推荐方法、装置、设备及存储介质 | |
| CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
| CN113516227B (zh) | 一种基于联邦学习的神经网络训练方法及设备 | |
| CN111723779B (zh) | 一种基于深度学习的中文手语识别系统 | |
| WO2021223738A1 (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| CN113343898B (zh) | 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备 | |
| CN114241459B (zh) | 一种驾驶员身份验证方法、装置、计算机设备及存储介质 | |
| CN113254491A (zh) | 一种信息推荐的方法、装置、计算机设备及存储介质 | |
| CN113420690A (zh) | 基于感兴趣区域的静脉识别方法、装置、设备及存储介质 | |
| CN111382655A (zh) | 一种举手行为识别方法及装置、电子设备 | |
| CN112906520A (zh) | 一种基于姿态编码的动作识别方法及装置 | |
| CN107273859B (zh) | 一种照片自动标记方法及其系统 | |
| CN113743362A (zh) | 基于深度学习的实时矫正训练动作的方法及其相关设备 | |
| CN112633224B (zh) | 一种社交关系识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |