CN106803056B - 一种肢体关系的估计方法及装置 - Google Patents

一种肢体关系的估计方法及装置 Download PDF

Info

Publication number
CN106803056B
CN106803056B CN201510845504.8A CN201510845504A CN106803056B CN 106803056 B CN106803056 B CN 106803056B CN 201510845504 A CN201510845504 A CN 201510845504A CN 106803056 B CN106803056 B CN 106803056B
Authority
CN
China
Prior art keywords
body part
persons
limb
person
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510845504.8A
Other languages
English (en)
Other versions
CN106803056A (zh
Inventor
初晓
欧阳万里
王晓刚
黎伟
刘健庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510845504.8A priority Critical patent/CN106803056B/zh
Priority to EP16192144.0A priority patent/EP3173972A1/en
Priority to US15/289,450 priority patent/US10115009B2/en
Publication of CN106803056A publication Critical patent/CN106803056A/zh
Application granted granted Critical
Publication of CN106803056B publication Critical patent/CN106803056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/04—Physical realisation
    • G06N7/046—Implementation by means of a neural network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种肢体关系的估计方法及装置，该方法包括：获取目标图片；根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；第一位置信息通过对每个人物进行单人姿态估计而获取得到，第二位置信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；根据第一肢体关系特征，确定两个人物的肢体关系。实施本发明实施例，可以提高肢体关系估计的准确性。

Description

一种肢体关系的估计方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种肢体关系的估计方法及装置。
背景技术
人际关系是一种资源。通过人际关系可以进一步推断出人们的生活圈子、消费水平、社会地位、甚至个人喜好，进而做有目的的推荐或者优质客户挽留等，这些对于商家来说无疑具有重要意义。人际关系的获取有多种方式，目前常通过大量数据的分析来推断人际关系。其中，照片提供了最为直观的视觉信息，随着照相成为手机的一种重要功能，照片的数量爆炸式增长，人们乐意将自己和亲朋好友的照片分享到Facebook等网络媒介，这些资源为通过照片进行人际关系估计提供了可行性。
人与人的肢体位置关系往往会反映人与人的亲密程度，进而可以推断出人际关系。对于让计算机自动判别照片中的两个人的肢体关系，现有技术中首先对图像做人体检测，然后对检测到的每一个人体做单人姿态估计，进而对姿态估计结果有重叠的两个人体做双人联合姿态估计，进而得到人体的肢体关系。
单人姿态估计或双人联合姿态估计因为容易受到遮挡等因素的影响，准确性不高，因此，由于缺乏对单人姿态估计或双人姿态估计结果的有效分析，直接根据单人姿态估计或双人联合姿态估计的结果估计出的肢体关系的准确性不高。
发明内容
本发明实施例公开一种肢体关系的估计方法及装置，用于提高肢体关系估计的准确性。
本发明实施例第一方面公开一种肢体关系的估计方法，包括：
获取目标图片，目标图片可以是存储在本地的图片，也可以是通过网络获取的图片；
根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；其中，第一位置信息可以是通过对每个人物进行单人姿态估计获取得到的，第二位置信息可以是当第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计获取得到的；其中，第一位置信息和第二位置信息是绝对位置信息；
利用第一肢体关系特征确定两个人物的肢体关系。
在一个实施例中，第一肢体关系特征可以包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度、两个人物的重叠比例以及两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离中的至少一种。
在一个实施例中，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域；两个人物的重叠比例可以包括：两个人物各自的第i个身体部位的重叠比例，i为大于或等于1的整数；
当第一肢体关系特征包括两个人物的重叠比例时，根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的重叠比例可以包括：
利用如下公式计算两个人物各自的第i个身体部位的重叠比例：
Figure BDA0000859300690000021
其中，Ψov表示两个人物各自的第i个身体部位的重叠比例，
Figure BDA0000859300690000022
表示两个人物中的第一个人物的第i个身体部位的位置的第一区域，
Figure BDA0000859300690000023
表示两个人物中的第二个人物的第i个身体部位的位置的第一区域。
在一个实施例中，两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离包括两个人物中每个人物的第j个身体部位到这两个人物的中心位置的相对距离，第一位置信息可以包括每个人物的身体部位在目标图片中的坐标，j为大于或等于1的整数；
当第一肢体关系特征包括两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离时，根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离包括：
利用如下公式计算两个人物中每个人物的第j个身体部位到这两个人物的中心位置的相对距离：
Figure BDA0000859300690000031
其中，ΨL表示两个人物中每个人物的第j个身体部位到这两个人物的中心位置的相对距离，
Figure BDA0000859300690000032
表示这两个人物中的第k个人物的第j个身体部位在目标图片中的坐标，n表示每个人物包括的身体部位的总数量，nscale为中心位置到这两个人物所有身体部位的距离的和，
Figure BDA0000859300690000033
表示中心位置的坐标，n为大于1的整数，k为1或2。
在一个实施例中，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域，第二位置信息可以包括用于表示每个人物的身体部位的位置的第二区域，第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度包括：用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，t为大于或等于1的整数；
当第一肢体关系特征包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度时，根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度包括：
利用如下公式计算用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度：
Figure BDA0000859300690000041
其中，Ψm表示用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，
Figure BDA0000859300690000042
表示用于表示每个人物的第t个身体部位的位置的第一区域，
Figure BDA0000859300690000043
表示用于表示每个人物的第t个身体部位的位置的第二区域，其中，第一(或二)区域可以是包括身体部位的正方形区域。
在一个实施例中，肢体关系可以包括：两个人物之间的肢体交互关系、两个人物之间的相对距离、两个人物之间的身体倾斜方向以及两个人物之间的身体朝向中的至少一种，其中，肢体交互关系可以包括手挽手、握手、拥抱、背抱、击掌、手搭肩、肩并肩等中的至少一种，相对距离可以是近、中、远，身体倾斜方向可以是左倾、右倾、直立，身体朝向可以是前、后、左、右。
在一个实施例中，该方法还可以包括：
获取两个人物的第二肢体关系特征，第二肢体关系特征可以包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；其中，第一可信度值以及第一方向信息是通过对每个人物进行单人姿态估计获取得到的，第二可信度值以及第二方向信息是在第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计获取得到的；其中，第一(或二)位置信息的第一可信度值是处于第一(二)位置信息对应位置的身体部位在第一(或二)位置信息对应位置的可信度；每个人物的身体部位的第一(或二)方向信息是每个人物的身体部位可以展现出来的各种姿势对应的方向的信息；
当获取有第二肢体关系特征时，根据第一肢体关系特征确定两个人物的肢体关系可以包括：
根据第一肢体关系特征以及第二肢体关系特征确定两个人物的肢体关系。可以根据第一肢体关系特征和第二肢体关系特征共同确定两个人物的肢体关系，可以进一步提高肢体关系估计的准确性。
在一个实施例中，根据第一肢体关系特征以及第二肢体关系特征，确定两个人物的肢体关系可以包括：
将第一肢体关系特征以及第二肢体关系特征作为第一层神经网络模型的输入；
将第g层神经网络模型的输出确定为第g+1层神经网络模型的输入，直到得到第N层神经网络模型的输出，N为大于或等于1的整数，g为大于或等于1且小于或等于N-1的整数；
将第N层神经网络模型的输出确定为第N+1层神经网络模型的第一次递归的输入；
将第N+1层神经网络模型的第q次递归的输出和第N层神经网络模型的输出确定为第N+1层神经网络模型的第q+1次递归的输入，直到得到第N+1层神经网络模型的第M次递归的输出，将第N+1层神经网络模型的第M次递归的输出确定为两个人物的肢体关系，M为大于1的整数，q为大于或等于1且小于或等于M-1的整数。其中，神经网络模型可以为深度神经网络算法。
在一个实施例中，神经网络模型的前N层可以表示为如下公式：
Figure BDA0000859300690000051
其中，hg+1,1表示第g+1层神经网络模型的输出，W1、b1、Wg+1和bg+1表示神经网络模型的参数，f(〃)表示非线性的激活函数，α表示第一肢体关系特征以及第二肢体关系特征；相应地，
M次递归可以表示为如下公式：
Figure BDA0000859300690000052
其中，Pq表示第N+1层神经网络模型的第q次递归的输出，在q为M时，Pq表示两个人物的肢体关系，hN+1,q+1表示第N+1层神经网络模型的第q+1次递归的中间变量，WN+1、Wb、bN+1、Wcls和bcls表示神经网络模型的参数。其中，神经网络模型中的所有参数都可以通过训练得到。其中，N和M是在训练过程中使输出结果误差小于预设值时的迭代次数和递归次数。
本发明实施例第二方面公开一种用于肢体关系估计的神经网络模型的生成方法，包括：
获取至少一张训练图片；
根据至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；其中，第一位置信息是通过对每个人物进行单人姿态估计得到的，第二位置信息是在第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计得到的；
根据第一肢体关系特征以及两个人物的预设的肢体关系确定神经网络模型。
在一个实施例中，该方法还可以包括：
获取两个人物的第二肢体关系特征，第二肢体关系特征可以包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；其中，第一可信度值以及第一方向信息是通过对每个人物进行单人姿态估计得到的，第二可信度值以及第二方向信息是在第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计得到的；其中，第一(或二)位置信息的第一可信度值是处于第一(二)位置信息对应位置的身体部位在第一(或二)位置信息对应位置的可信度；每个人物的身体部位的第一(或二)方向信息是每个人物的身体部位可以展现出来的各种姿势对应的方向的信息；
相应地，根据第一肢体关系特征以及两个人物的预设的肢体关系确定神经网络模型可以包括：
根据第一肢体关系特征、第二肢体关系特征以及两个人物的预设的肢体关系确定神经网络模型。可以根据第一肢体关系特征和第二肢体关系特征共同确定两个人物的神经网络模型，可以进一步提高神经网络模型的准确性。
本发明实施例第三方面公开一种肢体关系的估计装置，包括：
第一获取单元，用于获取目标图片，目标图片可以是存储在本地的图片，也可以是通过网络获取的图片；
计算单元，用于根据第一获取单元获取的目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；其中，第一位置信息可以是通过对每个人物进行单人姿态估计获取得到的，第二位置信息可以是当第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计获取得到的；其中，第一位置信息和第二位置信息是绝对位置信息；
确定单元，用于根据计算单元计算的第一肢体关系特征确定两个人物的肢体关系。
在一个实施例中，第一肢体关系特征可以包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度、两个人物的重叠比例以及两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离中的至少一种。
在一个实施例中，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域；两个人物的重叠比例可以包括：两个人物各自的第i个身体部位的重叠比例，i为大于或等于1的整数；
当第一肢体关系特征包括两个人物的重叠比例时，计算单元计算两个人物的重叠比例的方式具体为：
利用如下公式计算两个人物各自的第i个身体部位的重叠比例：
Figure BDA0000859300690000071
其中，Ψov表示两个人物各自的第i个身体部位的重叠比例，
Figure BDA0000859300690000072
表示两个人物中的第一个人物的第i个身体部位的位置的第一区域，
Figure BDA0000859300690000073
表示两个人物中的第二个人物的第i个身体部位的位置的第一区域。
在一个实施例中，两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离包括两个人物中每个人物的第j个身体部位到这两个人物的中心位置的相对距离，第一位置信息可以包括每个人物的身体部位在目标图片中的坐标，j为大于或等于1的整数；
当第一肢体关系特征包括两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离时，计算单元计算两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离的方式具体为：
利用如下公式计算每个人物的第j个身体部位到两个人物的中心位置的相对距离：
Figure BDA0000859300690000081
其中，ΨL表示两个人物中每个人物的第j个身体部位到这两个人物的中心位置的相对距离，
Figure BDA0000859300690000082
表示这两个人物中的第k个人物的第j个身体部位在目标图片中的坐标，n表示每个人物包括的身体部位的总数量，nscale为中心位置到这两个人物所有身体部位的距离的和，
Figure BDA0000859300690000083
表示中心位置的坐标，n为大于1的整数，k为1或2。
在一个实施例中，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域，第二位置信息可以包括用于表示每个人物的身体部位的位置的第二区域，第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度包括：用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，t为大于或等于1的整数；
当第一肢体关系特征包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度时，计算单元计算第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度的方式具体为：
利用如下公式计算用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度：
Figure BDA0000859300690000091
其中，Ψm表示用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，
Figure BDA0000859300690000092
表示用于表示每个人物的第t个身体部位的位置的第一区域，
Figure BDA0000859300690000093
表示用于表示每个人物的第t个身体部位的位置的第二区域，其中，第一(或二)区域可以是包括身体部位的正方形区域。
在一个实施例中，肢体关系可以包括：两个人物之间的肢体交互关系、两个人物之间的相对距离、两个人物之间的身体倾斜方向以及两个人物之间的身体朝向中的至少一种，其中，肢体交互关系可以包括手挽手、握手、拥抱、背抱、击掌、手搭肩、肩并肩等中的至少一种，相对距离可以是近、中、远，身体倾斜方向可以是左倾、右倾、直立，身体朝向可以是前、后、左、右。
在一个实施例中，该装置还可以包括：
第二获取单元，用于获取两个人物的第二肢体关系特征，第二肢体关系特征包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；其中，第一可信度值以及第一方向信息是通过对每个人物进行单人姿态估计获取得到的，第二可信度值以及第二方向信息是在第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计获取得到的；其中，第一(或二)位置信息的第一可信度值是处于第一(二)位置信息对应位置的身体部位在第一(或二)位置信息对应位置的可信度；每个人物的身体部位的第一(或二)方向信息是每个人物的身体部位可以展现出来的各种姿势对应的方向的信息；
相应地，确定单元，具体用于根据计算单元计算的第一肢体关系特征以及第二获取单元获取的第二肢体关系特征，确定两个人物的肢体关系。
在一个实施例中，确定单元根据第一肢体关系特征以及第二肢体关系特征，确定两个人物的肢体关系的方式具体为：
将第一肢体关系特征以及第二肢体关系特征作为第一层神经网络模型的输入；
将第g层神经网络模型的输出确定为第g+1层神经网络模型的输入，直到得到第N层神经网络模型的输出，N为大于或等于1的整数，g为大于或等于1且小于或等于N-1的整数；
将第N层神经网络模型的输出确定为第N+1层神经网络模型的第一次递归的输入；
将第N+1层神经网络模型的第q次递归的输出和第N层神经网络模型的输出确定为第N+1层神经网络模型的第q+1次递归的输入，直到得到第N+1层神经网络模型的第M次递归的输出，将第N+1层神经网络模型的第M次递归的输出确定为两个人物的肢体关系，M为大于1的整数，q为大于或等于1且小于或等于M-1的整数。其中，神经网络模型可以为深度神经网络算法。
在一个实施例中，神经网络模型的前N层表示为如下公式：
Figure BDA0000859300690000101
其中，hg+1,1表示第g+1层神经网络模型的输出，W1、b1、Wg+1和bg+1表示神经网络模型的参数，f(〃)表示非线性的激活函数，α表示第一肢体关系特征以及第二肢体关系特征；相应地，
M次递归表示为如下公式：
Figure BDA0000859300690000102
其中，Pq表示第N+1层神经网络模型的第q次递归的输出，在q为M时，Pq表示两个人物的肢体关系，hN+1,q+1表示第N+1层神经网络模型的第q+1次递归的中间变量，WN+1、Wb、bN+1、Wcls和bcls表示神经网络模型的参数。其中，神经网络模型中的参数可以通过训练得到。
本发明实施例第四方面公开一种用于肢体关系估计的神经网络模型的生成装置，包括：
第一获取单元，用于获取至少一张训练图片；
计算单元，用于根据第一获取单元获取的至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；其中，第一位置信息是通过对每个人物进行单人姿态估计得到的，第二位置信息是在第一位置信息指示述两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计得到的；
确定单元，用于根据计算单元计算的第一肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
在一个实施例中，该装置还可以包括：
第二获取单元，用于获取两个人物的第二肢体关系特征，第二肢体关系特征包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；其中，第一可信度值以及第一方向信息是通过对每个人物进行单人姿态估计得到的，第二可信度值以及第二方向信息是在第一位置信息指示两个人物之间的身体部位有重叠时，通过对两个人物进行双人联合姿态估计得到的；其中，第一(或二)位置信息的第一可信度值是处于第一(二)位置信息对应位置的身体部位在第一(或二)位置信息对应位置的可信度；每个人物的身体部位的第一(或二)方向信息是每个人物的身体部位可以展现出来的各种姿势对应的方向的信息；
相应地，确定单元，具体用于根据计算单元计算的第一肢体关系特征、第二获取单元获取的第二肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
本发明实施例中，先根据单人姿态估计和双人联合姿态估计得到身体部位的位置信息，进一步计算两个人物的肢体关系特征，之后根据肢体关系特征确定两个人物的肢体关系，可以提高肢体关系估计的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种肢体关系的估计方法的流程图；
图2是本发明实施例公开的一种用于肢体关系估计的神经网络模型的生成方法的流程图；
图3是本发明实施例公开的一种肢体关系的估计装置的结构图；
图4是本发明实施例公开的另一种肢体关系的估计装置的结构图；
图5是本发明实施例公开一种用于肢体关系估计的神经网络模型的生成装置的结构图；
图6是本发明实施例公开另一种用于肢体关系估计的神经网络模型的生成装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开一种肢体关系的估计方法及装置，用于提高肢体关系估计的准确性。以下分别进行详细说明。
请参阅图1，图1是本发明实施例公开的一种肢体关系的估计方法的流程图。其中，该肢体关系的估计方法适用于可以显示图片且可以运行深度神经网络算法的计算机等各种设备。如图1所示，该肢体关系的估计方法可以包括以下步骤。
101、获取目标图片。
本实施例中，当需要通过计算机等设备确定图片中两个人物的肢体关系时，用户可以向设备输入肢体关系确定指令，之后可以是设备自动从网络或本地获取目标图片，也可以是在用户的操作下使设备从网络或本地获取目标图片，本实施例不作限定。当图片只包括一个人物时，无法通过该图片确定这个人物与其它人物之间的肢体关系，因此，该肢体关系的估计方法适用于包括至少两个人物的图片。
102、根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征。
本实施例中，第一肢体关系特征可以包括第一位置信息所表示的人物的身体部位与第二位置信息所表示的两个人物中的任一人物的身体部位的匹配度、第一位置信息所表示的两个人物的重叠比例以及第一位置信息所表示的两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离中的至少一种，第一肢体关系特征包括的元素越多，估计的肢体关系的准确性越高，第一肢体关系特征包括的各个元素的计算公式与发明内容部分相同，在此不再赘述。其中，单人姿态估计是根据方向梯度直方图(Histogram ofOriented Gradient，HOG)特征和支持向量机(Support Vector Machine，SVM)分类器对图片中每个人物进行独立的估计，双人联合姿态估计是当图片中两个人物有重叠部分时，根据HOG特征和SVM对这两个人物进行联合估计。
103、获取两个人物的第二肢体关系特征。
本实施例中，第二肢体关系可以包括第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种。其中，第一(或二)位置信息的第一可信度值是处于第一(二)位置信息对应位置的身体部位在第一(或二)位置信息对应位置的可信度，其值越高表明其可信度越高。其中，每个人物的身体部位的第一(或二)方向信息是每个人物的身体部位可以展现出来的各种姿势对应的方向的信息，例如：当人站立时，手可以放置的方向。
104、根据第一肢体关系特征，或者根据第一肢体关系特征和第二肢体关系特征，确定两个人物的肢体关系。
本实施例中，肢体关系可以包括两个人物之间的肢体交互关系、两个人物之间的相对距离、两个人物之间的身体倾斜方向以及两个人物之间的身体朝向中的至少一种。肢体关系可以由第一肢体关系特征确定，也可以由第一肢体关系特征和第二肢体关系特征共同确定，但由第一肢体关系特征和第二肢体关系特征共同确定的准确性，要比由第一肢体关系特征确定的准确性要高。
在图1所描述的肢体关系的估计方法，先根据单人姿态估计和双人联合姿态估计的估计得到身体部位的位置信息，进一步计算两个人物的肢体关系特征，之后根据肢体关系特征确定两个人物的肢体关系，可以提高肢体关系估计的准确性。
请参阅图2，图2是本发明实施例公开一种用于肢体关系估计的神经网络模型的生成方法。其中，该用于肢体关系估计的神经网络模型的生成方法适用于可以显示图片且可以运行深度神经网络算法的计算机等各种设备。如图2所示，该用于肢体关系估计的神经网络模型的生成方法可以包括以下步骤。
201、获取至少一张训练图片。
本实施例中，为了得到实施例一所需要的神经网络模型，可以先获取至少一张训练图片进行训练。
202、根据至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征。
本实施例中，第一位置信息是通过对训练图片中的每个人物进行单人姿态估计得到的，第二位置信息是在第一位置信息指示目标图片中有两个人物之间的身体部位存在重叠时，通过对目标图片中有重叠的两个人物进行双人联合姿态估计得到的；其中，第一肢体关系特征可以包括第一位置信息所表示的人物的身体部位与第二位置信息所表示的两个人物中的任一人物的身体部位的匹配度、第一位置信息所表示的两个人物的重叠比例以及第一位置信息所表示的两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离中的至少一种。其中，单人姿态估计是根据HOG和SVM分类器对图片中每个人物进行独立的估计，双人联合姿态估计是当图片中两个人物有重叠部分时，根据HOG特征和SVM对这两个人物进行联合估计。
203、获取两个人物的第二肢体关系特征。
本实施例中，第二肢体关系可以包括第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种。其中，第一(或二)位置信息的第一可信度值是处于第一(二)位置信息对应位置的身体部位在第一(或二)位置信息对应位置的可信度，其值越高表明其可信度越高。其中，每个人物的身体部位的第一(或二)方向信息是每个人物的身体部位可以展现出来的各种姿势对应的方向的信息，例如：当人站立时，手可以放置的方向。
204、根据第一肢体关系特征以及两个人物的预设的肢体关系，或者根据第一肢体关系特征、第二肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
本实施例中，神经网络模型可以由第一肢体关系特征确定和两个人物的预设的肢体关系，也可以由第一肢体关系特征、第二肢体关系特征以及两个人物的预设的肢体关系共同确定，但由第一肢体关系特征、第二肢体关系特征以及两个人物的预设的肢体关系共同确定的准确性，要比由第一肢体关系特征确定和两个人物的预设的肢体关系确定的准确性要高。
在图2所描述的用于肢体关系估计的神经网络模型的生成方法，先根据单人姿态估计和双人联合姿态估计得到身体部位的位置信息，进一步计算训练图片中两个人物的肢体关系特征，之后根据肢体关系特征确定神经网络模型，可以提高神经网络模型的准确性。
请参阅图3，图3是本发明实施例公开的一种肢体关系的估计装置。其中，该肢体关系的估计装置是可以显示图片且可以运行深度神经网络算法的计算机等各种设备。如图3所示，该肢体关系的估计装置可以包括：
第一获取单元301，用于获取目标图片；
计算单元302，用于根据第一获取单元301获取的目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；
第一位置信息通过对每个人物进行单人姿态估计而获取得到，第二位置信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
确定单元303，用于根据计算单元302计算的第一肢体关系特征，确定两个人物的肢体关系。
作为一种可能的实施方式，第一肢体关系特征可以包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度、两个人物的重叠比例以及两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离中的至少一种。
作为一种可能的实施方式，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域，两个人物的重叠比例包括：两个人物各自的第i个身体部位的重叠比例，i为大于或等于1的整数；
当第一肢体关系特征包括两个人物的重叠比例时，计算单元302计算两个人物的重叠比例的方式具体为：
利用如下公式计算两个人物各自的第i个身体部位的重叠比例：
Figure BDA0000859300690000161
其中，Ψov表示两个人物各自的第i个身体部位的重叠比例，
Figure BDA0000859300690000162
表示两个人物中的第一个人物的第i个身体部位的位置的第一区域，
Figure BDA0000859300690000163
表示两个人物中的第二个人物的第i个身体部位的位置的第一区域。
作为一种可能的实施方式，两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离包括每个人物中的第j个身体部位到这两个人物的中心位置的相对距离，第一位置信息可以包括每个人物的身体部位在目标图片中的坐标，j为大于或等于1的整数；
当第一肢体关系特征包括两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离时，计算单元302计算两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离的方式具体为：
利用如下公式计算每个人物的第j个身体部位到这两个人物的中心位置的相对距离：
Figure BDA0000859300690000171
其中，ΨL表示每个人物的第j个身体部位到这两个人物的中心位置的相对距离，
Figure BDA0000859300690000172
表示这两个人物中的第k个人物的第j个身体部位在目标图片中的坐标，n表示每个人物包括的身体部位的总数量，nscale为中心位置到这两个人物所有身体部位的距离的和，
Figure BDA0000859300690000173
表示中心位置的坐标，n为大于1的整数，k为1或2。
作为一种可能的实施方式，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域，第二位置信息可以包括用于表示每个人物的身体部位的位置的第二区域，第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度包括：用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，t为大于或等于1的整数；
当第一肢体关系特征包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度时，计算单元302计算第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度的方式具体为：
利用如下公式计算用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度：
Figure BDA0000859300690000174
其中，Ψm表示用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，
Figure BDA0000859300690000175
表示用于表示每个人物的第t个身体部位的位置的第一区域，
Figure BDA0000859300690000176
表示用于表示每个人物的第t个身体部位的位置的第二区域。
作为一种可能的实施方式，肢体关系可以包括两个人物之间的肢体交互关系、两个人物之间的相对距离、两个人物之间的身体倾斜方向以及两个人物之间的身体朝向中的至少一种，肢体交互关系可以包括手挽手、握手以及拥抱中至少一种。
作为一种可能的实施，该肢体关系的估计装置300还可以包括：
第二获取单元304，用于获取两个人物的第二肢体关系特征，第二肢体关系特征可以包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；
第一可信度值以及第一方向信息为通过对每个人物进行单人姿态估计而获取得到，第二可信度值以及第二方向信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
相应地，确定单元303，具体用于根据计算单元302计算的第一肢体关系特征以及第二获取单元304获取的第二肢体关系特征，确定两个人物的肢体关系。
作为一种可能的实施方式，确定单元303根据第一肢体关系特征以及第二肢体关系特征，确定两个人物的肢体关系的方式具体为：
将第一肢体关系特征以及第二肢体关系特征作为第N+1层神经网络模型的输入，将神经网络模型的第N+1层的输出作为两个人物的肢体关系，第N+1层包括M次递归，第N+1层的输出包括第M次递归的输出，N为大于或等于1的整数，M为大于1的整数。
作为一种可能的实施方式，神经网络模型的前N层可以表示为如下公式：
Figure BDA0000859300690000181
其中，hg+1,1表示第g+1层神经网络模型的输出，W1、b1、Wg+1和bg+1表示神经网络模型的参数，f(〃)表示非线性的激活函数，α表示第一肢体关系特征以及第二肢体关系特征；相应地，
M次递归可以表示为如下公式：
Figure BDA0000859300690000182
其中，Pq表示第N+1层神经网络模型的第q次递归的输出，在q为M时，Pq表示两个人物的肢体关系，hN+1,q+1表示第N+1层神经网络模型的第q+1次递归的中间变量，WN+1、Wb、bN+1、Wcls和bcls表示神经网络模型的参数。
在图3所描述的肢体关系的估计装置中，先根据单人姿态估计和双人联合姿态估计得到身体部位的位置信息，进一步计算两个人物的肢体关系特征，之后根据肢体关系特征确定两个人物的肢体关系，可以提高肢体关系估计的准确性。
请参阅图4，图4是本发明实施例公开的另一种肢体关系的估计装置的结构图。其中，该肢体关系的估计装置是可以显示图片且可以运行深度神经网络算法的计算机等各种设备。如图4所示，该肢体关系的估计装置可以包括处理器401、存储器402，其中，处理器401和存储器402之间可以通过总线或其它方式连接，其中，本实施例中是以总线连接的方式为例。其中：
存储器402中存储有一组程序代码，处理器401用于调用存储器402中存储的程序代码执行以下操作：
获取目标图片；
根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；
第一位置信息通过对每个人物进行单人姿态估计而获取得到，第二位置信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
根据第一肢体关系特征，确定两个人物的肢体关系。
作为一种可能的实施方式，第一肢体关系特征包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度、两个人物的重叠比例以及每个人物的每个身体部位每个人物的每个身体部位到两个人物的中心位置的相对距离中的至少一种。
作为一种可能的实施方式，第一位置信息可以包括用于表示每个人物的身体部位的位置的第一区域，两个人物的重叠比例包括：两个人物各自的第i个身体部位的重叠比例，i为大于或等于1的整数；
当第一肢体关系特征包括两个人物的重叠比例时，根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的重叠比例的方式具体为：
利用如下公式计算两个人物各自的第i个身体部位的重叠比例：
Figure BDA0000859300690000201
其中，Ψov表示两个人物各自的第i个身体部位的重叠比例，
Figure BDA0000859300690000202
表示两个人物中的第一个人物的第i个身体部位的位置的第一区域，
Figure BDA0000859300690000203
表示两个人物中的第二个人物的第i个身体部位的位置的第一区域。
作为一种可能的实施方式，每个人物的每个身体部位每个人物的每个身体部位到两个人物的中心位置的相对距离包括每个人物中的第j个身体部位到两个人物的中心位置的相对距离，第一位置信息包括每个人物的身体部位在目标图片中的坐标，j为大于或等于1的整数；
当第一肢体关系特征包括两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离时，根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物中每个人物的每个身体部位到这两个人物的中心位置的相对距离的方式具体为：
利用如下公式计算每个人物的第j个身体部位到两个人物的中心位置的相对距离：
Figure BDA0000859300690000204
其中，ΨL表示每个人物的第j个身体部位到两个人物的中心位置的相对距离，
Figure BDA0000859300690000205
表示两个人物中的第k个人物的第j个身体部位在目标图片中的坐标，n表示每个人物包括的身体部位的总数量，nscale为中心位置到两个人物所有身体部位的距离的和，
Figure BDA0000859300690000211
表示中心位置的坐标，n为大于1的整数，k为1或2。
作为一种可能的实施方式，第一位置信息包括用于表示每个人物的身体部位的位置的第一区域，第二位置信息包括用于表示每个人物的身体部位的位置的第二区域，第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度包括：用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，t为大于或等于1的整数；
当第一肢体关系特征包括第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度时，根据目标图片中两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算第一位置信息所表示的身体部位与第二位置信息所表示的身体部位的匹配度的方式具体为：
利用如下公式计算用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度：
Figure BDA0000859300690000212
其中，Ψm表示用于表示每个人物的第t个身体部位的位置的第一区域与用于表示每个人物的第t个身体部位的位置的第二区域的匹配度，
Figure BDA0000859300690000213
表示用于表示每个人物的第t个身体部位的位置的第一区域，
Figure BDA0000859300690000214
表示用于表示每个人物的第t个身体部位的位置的第二区域。
作为一种可能的实施方式，肢体关系包括：两个人物之间的肢体交互关系、两个人物之间的相对距离、两个人物之间的身体倾斜方向以及两个人物之间的身体朝向中的至少一种，肢体交互关系包括手挽手、握手以及拥抱中至少一种。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序代码执行以下操作：
获取两个人物的第二肢体关系特征，第二肢体关系特征包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；
第一可信度值以及第一方向信息为通过对每个人物进行单人姿态估计而获取得到，第二可信度值以及第二方向信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
相应地，根据第一肢体关系特征，确定两个人物的肢体关系的方式具体为：
根据第一肢体关系特征以及第二肢体关系特征，确定两个人物的肢体关系。
作为一种可能的实施方式，根据第一肢体关系特征以及第二肢体关系特征，确定两个人物的肢体关系的方式具体为：
将第一肢体关系特征以及第二肢体关系特征作为第N+1层神经网络模型的输入，将神经网络模型的第N+1层的输出作为两个人物的肢体关系，第N+1层包括M次递归，第N+1层的输出包括第M次递归的输出，N为大于或等于1的整数，M为大于1的整数。
作为一种可能的实施方式，神经网络模型的前N层表示为如下公式：
Figure BDA0000859300690000221
其中，hg+1,1表示第g+1层神经网络模型的输出，W1、b1、Wg+1和bg+1表示神经网络模型的参数，f(〃)表示非线性的激活函数，α表示第一肢体关系特征以及第二肢体关系特征；相应地，
M次递归表示为如下公式：
Figure BDA0000859300690000222
其中，Pq表示第N+1层神经网络模型的第q次递归的输出，在q为M时，Pq表示两个人物的肢体关系，hN+1,q+1表示第N+1层神经网络模型的第q+1次递归的中间变量，WN+1、Wb、bN+1、Wcls和bcls表示神经网络模型的参数。
在图4所描述的肢体关系的估计装置中。先根据单人姿态估计和双人联合姿态估计得到身体部位的位置信息，进一步计算两个人物的肢体关系特征，之后根据肢体关系特征确定两个人物的肢体关系，可以提高肢体关系估计的准确性。
请参阅图5，图5是本发明实施例公开的一种用于肢体关系估计的神经网络模型的生成装置的结构图。其中，该生成装置是可以显示图片且可以运行深度神经网络算法的计算机等各种设备。如图5所示，该生成装置可以包括：
第一获取单元501，用于获取至少一张训练图片；
计算单元502，用于根据第一获取单元501获取的至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；
第一位置信息通过对每个人物进行单人姿态估计而获取得到，第二位置信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
确定单元503，用于根据计算单元502计算的第一肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
作为一种可能的实施方式，该生产装置500还可以包括：
第二获取单元504，用于获取两个人物的第二肢体关系特征，第二肢体关系特征包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；
第一可信度值以及第一方向信息为通过对每个人物进行单人姿态估计而获取得到，第二可信度值以及第二方向信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
相应地，确定单元503，具体用于根据计算单元502计算的第一肢体关系特征、第二获取单元504获取的第二肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
在图5所描述的用于肢体关系估计的神经网络模型的生成装置中，先根据单人姿态估计和双人联合姿态估计得到身体部位的位置信息，进一步计算训练图片中两个人物的肢体关系特征，之后根据肢体关系特征确定神经网络模型，可以提高神经网络模型的准确性。
请参阅图6，图6是本发明实施例公开的另一种用于肢体关系估计的神经网络模型的生成装置的结构图。其中，该生成装置是可以显示图片且可以运行深度神经网络算法的计算机等各种设备。如图6所示，该生成装置可以包括处理器601、存储器602，其中，处理器601和存储器602之间可以通过总线或其它方式连接，其中，本实施例中是以总线连接的方式为例。其中：
存储器602存储有一组程序代码，处理器601用于调用存储器602中存储的程序代码执行以下操作：
获取至少一张训练图片；
根据至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及两个人物的身体部位的第二位置信息中至少一种，计算两个人物的第一肢体关系特征；
第一位置信息通过对每个人物进行单人姿态估计而获取得到，第二位置信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
根据第一肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
作为一种可能的实施方式，处理器601还用于调用存储器602中存储的程序代码执行以下操作：
获取两个人物的第二肢体关系特征，第二肢体关系特征包括：第一位置信息的第一可信度值、每个人物的身体部位的第一方向信息、第二位置信息的第二可信度值以及每个人物的身体部位的第二方向信息中至少一种；
第一可信度值以及第一方向信息为通过对每个人物进行单人姿态估计而获取得到，第二可信度值以及第二方向信息通过在第一位置信息指示两个人物之间的身体部位有重叠时，对两个人物进行双人联合姿态估计而获取得到；
相应地，根据第一肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型包括：
根据第一肢体关系特征、第二肢体关系特征以及两个人物的预设的肢体关系，确定神经网络模型。
在图6所描述的用于肢体关系估计的神经网络模型的生成装置中，先根据单人姿态估计和双人联合姿态估计得到身体部位的位置信息，进一步计算训练图片中两个人物的肢体关系特征，之后根据肢体关系特征确定神经网络模型，可以提高神经网络模型的准确性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的肢体关系的估计方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (22)

1.一种肢体关系的估计方法，其特征在于，包括：
获取目标图片；
根据所述目标图片中两个人物中每个人物的身体部位的第一位置信息，以及所述两个人物的身体部位的第二位置信息，计算所述两个人物的第一肢体关系特征，所述第一位置信息通过对所述每个人物进行单人姿态估计而获取得到，所述第二位置信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到，所述单人姿态估计是根据方向梯度直方图HOG特征和支持向量机SVM分类器对所述目标图片中每个人物进行独立的估计，所述双人联合姿态估计是对所述目标图片中有重叠部分的两个人物根据HOG特征和SVM进行联合估计；
根据所述第一肢体关系特征，确定所述两个人物的肢体关系。
2.根据权利要求1所述的方法，其特征在于，所述第一肢体关系特征包括第一位置信息所表示的身体部位与所述第二位置信息所表示的身体部位的匹配度、所述两个人物的重叠比例以及所述每个人物的每个身体部位到所述两个人物的中心位置的相对距离中的至少一种。
3.根据权利要求2所述的方法，其特征在于，所述第一位置信息包括用于表示所述每个人物的身体部位的位置的第一区域，所述两个人物的重叠比例包括：所述两个人物各自的第i个身体部位的重叠比例，i为大于或等于1的整数；
其中，所述两个人物各自的第i个身体部位的重叠比例利用如下公式计算：
Figure FDA0002577730540000011
其中，Ψov表示所述两个人物各自的第i个身体部位的重叠比例，
Figure FDA0002577730540000012
表示所述两个人物中的第一个人物的第i个身体部位的位置的第一区域，
Figure FDA0002577730540000013
表示所述两个人物中的第二个人物的第i个身体部位的位置的第一区域。
4.根据权利要求2或3所述的方法，其特征在于，所述每个人物的每个身体部位到所述两个人物的中心位置的相对距离包括所述每个人物中的第j个身体部位到所述两个人物的中心位置的相对距离，所述第一位置信息包括所述每个人物的身体部位在所述目标图片中的坐标，j为大于或等于1的整数；
其中，所述每个人物的第j个身体部位到所述两个人物的中心位置的相对距离利用如下公式计算：
Figure FDA0002577730540000021
其中，ΨL表示所述每个人物的第j个身体部位到所述两个人物的中心位置的相对距离，
Figure FDA0002577730540000022
表示所述两个人物中的第k个人物的第j个身体部位在所述目标图片中的坐标，n表示所述每个人物包括的身体部位的总数量，nscale为所述中心位置到所述两个人物所有身体部位的距离的和，
Figure FDA0002577730540000023
表示所述中心位置的坐标，n为大于1的整数，k为1或2。
5.根据权利要求2或3所述的方法，其特征在于，所述第一位置信息包括用于表示所述每个人物的身体部位的位置的第一区域，所述第二位置信息包括用于表示所述每个人物的身体部位的位置的第二区域，所述第一位置信息所表示的身体部位与所述第二位置信息所表示的身体部位的匹配度包括：用于表示所述每个人物的第t个身体部位的位置的第一区域与用于表示所述每个人物的第t个身体部位的位置的第二区域的匹配度，t为大于或等于1的整数；
其中，用于表示所述每个人物的第t个身体部位的位置的第一区域与用于表示所述每个人物的第t个身体部位的位置的第二区域的匹配度利用如下公式计算：
Figure FDA0002577730540000024
其中，Ψm表示用于表示所述每个人物的第t个身体部位的位置的第一区域与用于表示所述每个人物的第t个身体部位的位置的第二区域的匹配度，
Figure FDA0002577730540000031
表示用于表示所述每个人物的第t个身体部位的位置的第一区域，
Figure FDA0002577730540000032
表示用于表示所述每个人物的第t个身体部位的位置的第二区域。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述肢体关系包括：所述两个人物之间的肢体交互关系、所述两个人物之间的相对距离、所述两个人物之间的身体倾斜方向以及所述两个人物之间的身体朝向中的至少一种，所述肢体交互关系包括手挽手、握手以及拥抱中至少一种。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
获取所述两个人物的第二肢体关系特征，所述第二肢体关系特征包括：所述第一位置信息的第一可信度值、所述每个人物的身体部位的第一方向信息、所述第二位置信息的第二可信度值以及所述每个人物的身体部位的第二方向信息中至少一种，所述第一可信度值以及所述第一方向信息为通过对所述每个人物进行单人姿态估计而获取得到，所述第二可信度值以及所述第二方向信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到；
相应地，所述根据所述第一肢体关系特征，确定所述两个人物的肢体关系包括：
根据所述第一肢体关系特征以及所述第二肢体关系特征，确定所述两个人物的肢体关系。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一肢体关系特征以及所述第二肢体关系特征，确定所述两个人物的肢体关系包括：
将所述第一肢体关系特征以及所述第二肢体关系特征作为第N+1层神经网络模型的输入，将所述神经网络模型的第N+1层的输出作为所述两个人物的肢体关系，所述第N+1层包括M次递归，所述第N+1层的输出包括第M次递归的输出，N为大于或等于1的整数，M为大于1的整数。
9.根据权利要求8所述的方法，其特征在于，所述神经网络模型的前N层表示为如下公式：
Figure FDA0002577730540000041
其中，hg+1,1表示第g+1层神经网络模型的输出，W1、b1、Wg+1和bg+1表示所述神经网络模型的参数，f(·)表示非线性的激活函数，α表示所述第一肢体关系特征以及所述第二肢体关系特征；相应地，
所述M次递归表示为如下公式：
Figure FDA0002577730540000042
其中，Pq表示第N+1层神经网络模型的第q次递归的输出，在q为M时，Pq表示所述两个人物的肢体关系，hN+1,q+1表示第N+1层神经网络模型的第q+1次递归的中间变量，WN+1、Wb、bN+1、Wcls和bcls表示所述神经网络模型的参数。
10.一种用于肢体关系估计的神经网络模型的生成方法，其特征在于，包括：
获取至少一张训练图片；
根据所述至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及所述两个人物的身体部位的第二位置信息，计算所述两个人物的第一肢体关系特征，所述第一位置信息通过对所述每个人物进行单人姿态估计而获取得到，所述第二位置信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到，所述单人姿态估计是根据方向梯度直方图HOG特征和支持向量机SVM分类器对所述每张图片中每个人物进行独立的估计，所述双人联合姿态估计是对所述每张图片中有重叠部分的两个人物根据HOG特征和SVM进行联合估计；
根据所述第一肢体关系特征以及所述两个人物的预设的肢体关系，确定所述神经网络模型。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取所述两个人物的第二肢体关系特征，所述第二肢体关系特征包括：所述第一位置信息的第一可信度值、所述每个人物的身体部位的第一方向信息、所述第二位置信息的第二可信度值以及所述每个人物的身体部位的第二方向信息中至少一种，所述第一可信度值以及所述第一方向信息为通过对所述每个人物进行单人姿态估计而获取得到，所述第二可信度值以及所述第二方向信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到；
相应地，所述根据所述第一肢体关系特征以及所述两个人物的预设的肢体关系，确定所述神经网络模型包括：
根据所述第一肢体关系特征、所述第二肢体关系特征以及所述两个人物的预设的肢体关系，确定所述神经网络模型。
12.一种肢体关系的估计装置，其特征在于，包括：
第一获取单元，用于获取目标图片；
计算单元，用于根据所述第一获取单元获取的目标图片中两个人物中每个人物的身体部位的第一位置信息，以及所述两个人物的身体部位的第二位置信息，计算所述两个人物的第一肢体关系特征，所述第一位置信息通过对所述每个人物进行单人姿态估计而获取得到，所述第二位置信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到，所述单人姿态估计是根据方向梯度直方图HOG特征和支持向量机SVM分类器对所述目标图片中每个人物进行独立的估计，所述双人联合姿态估计是对所述目标图片中有重叠部分的两个人物根据HOG特征和SVM进行联合估计；
确定单元，用于根据所述计算单元计算的第一肢体关系特征，确定所述两个人物的肢体关系。
13.根据权利要求12所述的装置，其特征在于，所述第一肢体关系特征包括第一位置信息所表示的身体部位与所述第二位置信息所表示的身体部位的匹配度、所述两个人物的重叠比例以及所述每个人物的每个身体部位到所述两个人物的中心位置的相对距离中的至少一种。
14.根据权利要求13所述的装置，其特征在于，所述第一位置信息包括用于表示所述每个人物的身体部位的位置的第一区域，所述两个人物的重叠比例包括：所述两个人物各自的第i个身体部位的重叠比例，i为大于或等于1的整数；
所述计算单元用于：
利用如下公式计算所述两个人物各自的第i个身体部位的重叠比例：
Figure FDA0002577730540000061
其中，Ψov表示所述两个人物各自的第i个身体部位的重叠比例，
Figure FDA0002577730540000062
表示所述两个人物中的第一个人物的第i个身体部位的位置的第一区域，
Figure FDA0002577730540000063
表示所述两个人物中的第二个人物的第i个身体部位的位置的第一区域。
15.根据权利要求13或14所述的装置，其特征在于，所述每个人物的每个身体部位每个人物的每个身体部位到所述两个人物的中心位置的相对距离包括所述每个人物中的第j个身体部位到所述两个人物的中心位置的相对距离，所述第一位置信息包括所述每个人物的身体部位在所述目标图片中的坐标，j为大于或等于1的整数；
所述计算单元用于：
利用如下公式计算所述每个人物的第j个身体部位到所述两个人物的中心位置的相对距离：
Figure FDA0002577730540000071
其中，ΨL表示所述每个人物的第j个身体部位到所述两个人物的中心位置的相对距离，
Figure FDA0002577730540000072
表示所述两个人物中的第k个人物的第j个身体部位在所述目标图片中的坐标，n表示所述每个人物包括的身体部位的总数量，nscale为所述中心位置到所述两个人物所有身体部位的距离的和，
Figure FDA0002577730540000073
表示所述中心位置的坐标，n为大于1的整数，k为1或2。
16.根据权利要求13或14所述的装置，其特征在于，所述第一位置信息包括用于表示所述每个人物的身体部位的位置的第一区域，所述第二位置信息包括用于表示所述每个人物的身体部位的位置的第二区域，所述第一位置信息所表示的身体部位与所述第二位置信息所表示的身体部位的匹配度包括：用于表示所述每个人物的第t个身体部位的位置的第一区域与用于表示所述每个人物的第t个身体部位的位置的第二区域的匹配度，t为大于或等于1的整数；
所述计算单元用于：
利用如下公式计算用于表示所述每个人物的第t个身体部位的位置的第一区域与用于表示所述每个人物的第t个身体部位的位置的第二区域的匹配度：
Figure FDA0002577730540000074
其中，Ψm表示用于表示所述每个人物的第t个身体部位的位置的第一区域与用于表示所述每个人物的第t个身体部位的位置的第二区域的匹配度，
Figure FDA0002577730540000075
表示用于表示所述每个人物的第t个身体部位的位置的第一区域，
Figure FDA0002577730540000076
表示用于表示所述每个人物的第t个身体部位的位置的第二区域。
17.根据权利要求12至14任一项所述的装置，其特征在于，所述肢体关系包括：所述两个人物之间的肢体交互关系、所述两个人物之间的相对距离、所述两个人物之间的身体倾斜方向以及所述两个人物之间的身体朝向中的至少一种，所述肢体交互关系包括手挽手、握手以及拥抱中至少一种。
18.根据权利要求12至14任一项所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取所述两个人物的第二肢体关系特征，所述第二肢体关系特征包括：所述第一位置信息的第一可信度值、所述每个人物的身体部位的第一方向信息、所述第二位置信息的第二可信度值以及所述每个人物的身体部位的第二方向信息中至少一种，所述第一可信度值以及所述第一方向信息为通过对所述每个人物进行单人姿态估计而获取得到，所述第二可信度值以及所述第二方向信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到；
相应地，所述确定单元，用于根据所述计算单元计算的第一肢体关系特征以及所述第二获取单元获取的第二肢体关系特征，确定所述两个人物的肢体关系。
19.根据权利要求18所述的装置，其特征在于，所述确定单元用于：
将所述第一肢体关系特征以及所述第二肢体关系特征作为第N+1层神经网络模型的输入，将所述神经网络模型的第N+1层的输出作为所述两个人物的肢体关系，所述第N+1层包括M次递归，所述第N+1层的输出包括第M次递归的输出，N为大于或等于1的整数，M为大于1的整数。
20.根据权利要求19所述的装置，其特征在于，所述神经网络模型的前N层表示为如下公式：
Figure FDA0002577730540000081
其中，hg+1,1表示第g+1层神经网络模型的输出，W1、b1、Wg+1和bg+1表示所述神经网络模型的参数，f(·)表示非线性的激活函数，α表示所述第一肢体关系特征以及所述第二肢体关系特征；相应地，
所述M次递归表示为如下公式：
Figure FDA0002577730540000091
其中，Pq表示第N+1层神经网络模型的第q次递归的输出，在q为M时，Pq表示所述两个人物的肢体关系，hN+1,q+1表示第N+1层神经网络模型的第q+1次递归的中间变量，WN+1、Wb、bN+1、Wcls和bcls表示所述神经网络模型的参数。
21.一种用于肢体关系估计的神经网络模型的生成装置，其特征在于，包括：
第一获取单元，用于获取至少一张训练图片；
计算单元，用于根据所述第一获取单元获取的至少一张训练图片中的每张图片中的两个人物中每个人物的身体部位的第一位置信息，以及所述两个人物的身体部位的第二位置信息，计算所述两个人物的第一肢体关系特征，所述第一位置信息通过对所述每个人物进行单人姿态估计而获取得到，所述第二位置信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到，所述单人姿态估计是根据方向梯度直方图HOG特征和支持向量机SVM分类器对所述每张图片中每个人物进行独立的估计，所述双人联合姿态估计是对所述每张图片中有重叠部分的两个人物根据HOG特征和SVM进行联合估计；
确定单元，用于根据所述计算单元计算的第一肢体关系特征以及所述两个人物的预设的肢体关系，确定所述神经网络模型。
22.根据权利要求21所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取所述两个人物的第二肢体关系特征，所述第二肢体关系特征包括：所述第一位置信息的第一可信度值、所述每个人物的身体部位的第一方向信息、所述第二位置信息的第二可信度值以及所述每个人物的身体部位的第二方向信息中至少一种，所述第一可信度值以及所述第一方向信息为通过对所述每个人物进行单人姿态估计而获取得到，所述第二可信度值以及所述第二方向信息通过在所述第一位置信息指示所述两个人物之间的身体部位有重叠时，对所述两个人物进行双人联合姿态估计而获取得到；
相应地，所述确定单元，用于根据所述计算单元计算的第一肢体关系特征、所述第二获取单元获取的第二肢体关系特征以及所述两个人物的预设的肢体关系，确定所述神经网络模型。
CN201510845504.8A 2015-11-26 2015-11-26 一种肢体关系的估计方法及装置 Active CN106803056B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510845504.8A CN106803056B (zh) 2015-11-26 2015-11-26 一种肢体关系的估计方法及装置
EP16192144.0A EP3173972A1 (en) 2015-11-26 2016-10-04 Body relationship estimation method and apparatus
US15/289,450 US10115009B2 (en) 2015-11-26 2016-10-10 Body relationship estimation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510845504.8A CN106803056B (zh) 2015-11-26 2015-11-26 一种肢体关系的估计方法及装置

Publications (2)

Publication Number Publication Date
CN106803056A CN106803056A (zh) 2017-06-06
CN106803056B true CN106803056B (zh) 2020-11-06

Family

ID=57184295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510845504.8A Active CN106803056B (zh) 2015-11-26 2015-11-26 一种肢体关系的估计方法及装置

Country Status (3)

Country Link
US (1) US10115009B2 (zh)
EP (1) EP3173972A1 (zh)
CN (1) CN106803056B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263765A (zh) * 2019-07-16 2019-09-20 图普科技（广州）有限公司 图像数据处理方法、装置及电子设备
US11106891B2 (en) * 2019-09-09 2021-08-31 Morgan Stanley Services Group Inc. Automated signature extraction and verification

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4709723B2 (ja) * 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8315965B2 (en) * 2008-04-22 2012-11-20 Siemens Corporation Method for object detection
JP5483961B2 (ja) * 2009-09-02 2014-05-07 キヤノン株式会社 画像処理装置、被写体判別方法、プログラム及び記憶媒体
JP5430428B2 (ja) * 2010-02-01 2014-02-26 オリンパスイメージング株式会社 撮影機器
EP2395452A1 (en) * 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
JP5907593B2 (ja) * 2011-09-13 2016-04-26 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP5498454B2 (ja) * 2011-09-15 2014-05-21 株式会社東芝 追跡装置、追跡方法およびプログラム
KR20140114832A (ko) * 2012-01-20 2014-09-29 톰슨 라이센싱 사용자 인식 방법 및 장치
US9058663B2 (en) * 2012-04-11 2015-06-16 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3D pose estimation
JP6192271B2 (ja) * 2012-08-22 2017-09-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9600711B2 (en) * 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
US9317531B2 (en) 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images
US9330296B2 (en) 2013-03-15 2016-05-03 Sri International Recognizing entity interactions in visual media
US9268994B2 (en) 2013-03-15 2016-02-23 Sri International 3D visual proxemics: recognizing human interactions in 3D from a single image
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
JP6433149B2 (ja) * 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
US9489570B2 (en) * 2013-12-31 2016-11-08 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
CN103984916A (zh) * 2014-03-28 2014-08-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于组合模板聚类采样匹配的人物比对方法
KR20150144179A (ko) * 2014-06-16 2015-12-24 삼성전자주식회사 영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치
AU2014240213B2 (en) * 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
EP3391290A4 (en) * 2015-12-16 2019-08-07 Intel Corporation PYRAMIDAL NETWORKS FULLY CONVOLVED FOR PEDESTRIAN DETECTION

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Recognizing Proxemics in personal photos;YIYANG等;《IEEE》;20120616;摘要、第3节，附图9 *
基于人体姿态序列提取和分析的行为识别;陈聪;《中国博士学位论文全文数据库信息科技辑》;20131115;第1章 *

Also Published As

Publication number Publication date
EP3173972A1 (en) 2017-05-31
CN106803056A (zh) 2017-06-06
US20170154213A1 (en) 2017-06-01
US10115009B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108062526B (zh) 一种人体姿态估计方法及移动终端
US9949697B2 (en) Imaging a body
CN107704838B (zh) 目标对象的属性识别方法及装置
WO2018090912A1 (zh) 目标对象检测方法、装置及系统和神经网络结构
CN107967693B (zh) 视频关键点处理方法、装置、计算设备及计算机存储介质
CN110349082B (zh) 图像区域的裁剪方法和装置、存储介质及电子装置
CN107920257B (zh) 视频关键点实时处理方法、装置及计算设备
CN111327828B (zh) 拍照方法、装置、电子设备及存储介质
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
US11430142B2 (en) Photometric-based 3D object modeling
CN112639876A (zh) 活动图像深度预测
CN110956131B (zh) 单目标追踪方法、装置及系统
KR101794399B1 (ko) 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템
CN105323420B (zh) 视频图像处理方法及装置
CN108875519B (zh) 对象检测方法、装置和系统及存储介质
WO2022072610A1 (en) Method, system and computer-readable storage medium for image animation
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN106803056B (zh) 一种肢体关系的估计方法及装置
JP2014238674A (ja) 情報処理システム、情報処理方法及びプログラム
CN109242031B (zh) 姿势优化模型的训练方法、使用方法、装置及处理设备
CN117457062A (zh) 分子位置确定方法、装置、电子设备及存储介质
CN110728172A (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
CN110348406B (zh) 参数推断方法及装置
CN111488778A (zh) 图像处理方法及装置、计算机系统和可读存储介质
CN118279371A (zh) 模型训练方法、深度估计方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant