CN111325141B - 交互关系识别方法、装置、设备及存储介质 - Google Patents

交互关系识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111325141B
CN111325141B CN202010099652.0A CN202010099652A CN111325141B CN 111325141 B CN111325141 B CN 111325141B CN 202010099652 A CN202010099652 A CN 202010099652A CN 111325141 B CN111325141 B CN 111325141B
Authority
CN
China
Prior art keywords
human body
node
characteristic information
body part
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010099652.0A
Other languages
English (en)
Other versions
CN111325141A (zh
Inventor
廖越
陈彦杰
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010099652.0A priority Critical patent/CN111325141B/zh
Publication of CN111325141A publication Critical patent/CN111325141A/zh
Priority to KR1020227010608A priority patent/KR20220054657A/ko
Priority to PCT/CN2021/076306 priority patent/WO2021164662A1/zh
Priority to JP2022549446A priority patent/JP2023514322A/ja
Application granted granted Critical
Publication of CN111325141B publication Critical patent/CN111325141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种交互关系识别方法、装置、设备及存储介质，所述方法包括：对待处理图像进行检测，获得人体检测结果和物体检测结果；根据所述人体检测结果，确定人体所对应的各个人体部件区域；根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点构建人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。

Description

交互关系识别方法、装置、设备及存储介质
技术领域
本公开属于计算机视觉领域，尤其涉及一种交互关系识别方法、装置、设备及存储介质。
背景技术
人和物体的交互关系识别在城市智能监控、家庭智能监护等领域具有广阔的应用前景。人与物体进行交互的过程中，人会产生形态各异的姿态并且人和物体之间也会具有不同的位置关系，因此进行人与物体的交互关系识别需要充分挖掘以上信息，全面地理解人和物体之间的关系交互。
近几年来，深度学习在单个物体理解上取得了非常大的进展，而对于人与物体之间的关系理解的研究还在起步阶段。
发明内容
本公开实施例提供一种交互关系识别方案。
根据本公开的一方面，提供一种交互关系识别方法，包括：对待处理图像进行检测，获得人体检测结果和物体检测结果；根据所述人体检测结果，确定人体所对应的各个人体部件区域；根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。
结合本公开提供的任一实施方式，所述根据所述人体检测结果，确定人体所对应的各个人体部件区域，包括：获取所述人体检测结果中的人体检测框所包含的特征信息；根据所述特征信息，获得所述人体的人体关键点；根据人体骨架信息连接所述人体关键点，并获得连接信息；根据所述人体关键点以及连接信息确定各个人体部件区域。
结合本公开提供的任一实施方式，所述根据所述人体关键点以及连接信息确定各个人体部件区域，包括：根据相连的两个人体关键点来确定一个人体部件区域，和/或以所述人体关键点为中心确定一个人体部件区域。
结合本公开提供的任一实施方式，所述根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图，包括：对所述人体部件区域的特征信息进行降维，获得所述人体部件节点的特征信息；对所述物体区域的特征信息进行降维，获得所述物体节点的特征信息；针对同一人体，根据人体骨架信息连接各个所述人体部件节点；将所述物体节点与所述人体部件节点相连，获得人体与物体的空间位置关系图，其中，一个物体节点与一个人体部件节点相连所形成的边的特征信息为边所连接的物体节点和人体部件节点位置关系信息。
结合本公开提供的任一实施方式，所述将所述物体节点与所述人体部件节点相连，包括：对于每个物体节点，将与所述物体节点距离最近的设定数目的人体部件节点与所述物体节点分别相连。
结合本公开提供的任一实施方式，在获得人体与物体的空间位置关系图之后，所述方法还包括：对于每个人体部件节点，利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息。
结合本公开提供的任一实施方式，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：根据所述人体部件节点的特征信息，获得所述人体对应的特征信息；根据所述物体节点的特征信息，获得所述物体对应的特征信息；根据所述人体对应的特征信息和所述物体对应的特征信息，确定所述人体与所述物体之间的交互关系。
结合本公开提供的任一实施方式，所述根据所述人体部件节点的特征信息，获得所述人体对应的特征信息，包括：针对同一人体，对各个人体部件节点的特征信息进行全局池化操作，获得所述人体对应的特征信息。
结合本公开提供的任一实施方式，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系所属的交互类别；所述方法还包括：响应于所述人体与所述物体之间的交互关系所属的交互类别的安全系数低于第一设定阈值，确定所述人体处于目标场景中。
结合本公开提供的任一实施方式，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：根据人体与物体的空间位置关系图，确定所述人体与不同类别的物体之间的交互关系所属的交互类别；所述方法还包括：确定所述人体与不同类别的物体之间的交互关系所属的交互类别的组合的安全系数；响应于所述组合的安全系数低于第二设定阈值，确定所述人体处于目标场景中。
根据本公开的一方面，提供一种交互关系识别装置，所述装置包括：获得单元，用于对待处理图像进行检测，获得人体检测结果和物体检测结果；第一确定单元，用于根据所述人体检测结果，确定人体所对应的各个人体部件区域；第二确定单元，用于根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；识别单元，用于根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。
结合本公开提供的任一实施方式，所述第一确定单元具体用于：获取所述人体检测结果中的人体检测框所包含的特征信息；根据所述特征信息，获得所述人体的人体关键点；根据人体骨架信息连接所述人体关键点，并获得连接信息；根据所述人体关键点以及连接信息确定各个人体部件区域，包括：根据相连的两个人体关键点来确定一个人体部件区域，和/或以所述人体关键点为中心确定一个人体部件区域。
结合本公开提供的任一实施方式，所述第二确定单元具体用于：对所述人体部件区域的特征信息进行降维，获得所述人体部件节点的特征信息；对所述物体区域的特征信息进行降维，获得所述物体节点的特征信息；针对同一人体，根据人体骨架信息连接各个所述人体部件节点；将所述物体节点与所述人体部件节点相连，获得人体与物体的空间位置关系图，包括：对于每个物体节点，将与所述物体节点距离最近的设定数目的人体部件节点与所述物体节点分别相连，其中，一个物体节点与一个人体部件节点相连所形成的边的特征信息为边所连接的物体节点和人体部件节点位置关系信息。
结合本公开提供的任一实施方式，所述装置还包括更新单元，用于对于每个人体部件节点，利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息。
结合本公开提供的任一实施方式，所述识别单元具体用于：根据所述人体部件节点的特征信息，获得所述人体对应的特征信息，包括：针对同一人体，对各个人体部件节点的特征信息进行全局池化操作，获得所述人体对应的特征信息；根据所述物体节点的特征信息，获得所述物体对应的特征信息；根据所述人体对应的特征信息和所述物体对应的特征信息，确定所述人体与所述物体之间的交互关系。
结合本公开提供的任一实施方式，所述识别单元具体用于：根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系所属的交互类别；所述装置还包括第三确定单元，用于响应于所述人体与所述物体之间的交互关系所属的交互类别的安全系数低于第一设定阈值，确定所述人体处于目标场景中。
结合本公开提供的任一实施方式，所述识别单元具体用于：根据人体与物体的空间位置关系图，确定所述人体与不同类别的物体之间的交互关系所属的交互类别；所述装置还包括第四确定单元，用于确定所述人体与不同类别的物体之间的交互关系所属的交互类别的组合的安全系数；响应于所述组合的安全系数低于第二设定阈值，确定所述人体处于目标场景中。
根据本公开的一方面，提供一种电子设备，设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的交互关系识别方法。
根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的交互关系识别方法。
本公开一个或多个实施方式的交互关系识别方法、装置、设备及存储介质，根据待处理图像的人体检测结果和物体检测结果，确定人体所对应的各个人体部件区域以及物体所对应的物体区域，并转换为对应的节点，根据所述节点来构造人与物体的空间位置关系图，所述空间位置关系图既包含了不同人体姿态所对应的特征，也包含了各个身体部件与物体的位置关系，通过利用所述空间位置获取人体对应的待征信息和物体对应的待征信息，由此确定所述人体与所述物体之间的交互关系，提高了交互关系识别的准确性和可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1示出根据本公开至少一个实施例的一种交互关系识别方法的流程图；
图2示出根据本公开至少一个实施例的一种目标检测方法的流程图；
图3A示出根据本公开至少一个实施例的目标检测方法得到的人体检测结果；
图3B示出根据图3A中的人体检测结果确定的人体关键点；
图4示出根据本公开至少一个实施例的一种交互关系识别装置的结构示意图；
图5示出根据本公开至少一个实施例的一种电子设备的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开至少一个实施例提供了一种交互关系识别方法，所述交互关系识别方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1示出根据本公开至少一个实施例的交互关系识别方法的流程图，如图1所示，所述方法包括步骤101～步骤104。
在步骤101中，对待处理图像进行检测，获得人体检测结果和物体检测结果。
在本公开实施例中，待处理图像为通过图像采集装置，例如摄像头，所获取的图像，其可以是视频流中的一帧，也可以是实时获取的图像；所述待处理图像可以是彩色图像(RGB图像)，也可以是红外/近光图像，并公开对此不作限制。
可以利用深度学习网络，对所述待处理图像进行检测，获得人体检测结果和物体检测结果。在检测到人体或物体的情况下，检测结果可以包括检测框、检测框的位置、检测框的类别等等。利用深度学习网络对待处理图像进行检测的具体方法容后详述。
在步骤102中，根据所述人体检测结果，确定人体所对应的各个人体部件区域。
由于人与物之间的交互在通常意义上是通过何种身体部件执行是确定的，例如打电话通常是电话与人的手部、头部进行交互来进行的。因此，在获得了人体检测结果的基础上，可以根据人体检测结果中的人体检测框所对应的区域来进一步确定该人体所对应的各个身体部件区域。其中，人体所包含的身体部件可以根据实际需要具体定义，本公开对此不进行限制。
在步骤103中，根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图。
其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息。
在一些实施例中，所述人体部件区域对应的人体部件节点，以及所述物体区域对应的物体节点，可以通过预先训练的神经网络来获得。例如，将所述人体部件区域的特征信息输入至所述神经网络进行降维，得到所述人体部件区域所对应的人体部件节点的特征信息，从而将人体部件区域转换为人体部件节点。同理，对于物体节点，也可以将所述物体区域的特征信息输入至所述神经网络进行降维，得到所述物体区域所对应的物体节点的特征信息，从而将物体区域转换为物体节点。为了与后续过程所使用的神经网络进行区分，此处不妨将获得人体部件节点和物体节点的神经网络称为第一神经网络。所述人体部件区域和所述物体区域的特征信息的获取方式容后详述。
对于待处理图像中所包含的一个或多个人体所对应的人体部件节点，以及一个或多个物体节点，可以通过首先将各个人体所对应的人体部件节点进行连接，以获得人体节点图；之后可以通过将各个物体节点与各个人体所对应的人体部件节点进行连接，以获得人体与物体的空间位置关系图。对于各个物体节点与各个人体部件节点之间的具体连接方式，本公开实施例不进行限定。
所述空间位置关系图既包含各个人体部件节点、物体节点之间的连接信息，也包含了各个人体部件节点、物体节点对应的特征信息，以及所述物体节点与人体部件节点连接所形成的“边”所对应的特征信息，其中，边的特征信息可以根据所连接的物体节点和人体部件节点的相对位置来获得。
在本公开实施例中，由于所述人体所对应的人体部件节点中的一部分或者全部，是通过“边”与物体节点连接的，在基于该空间位置关系图来确定所述人体对应的物征信息时，也带入了“边”的影响，也即带入了物体节点对所述人体部件节点的影响，从而使得人体的特征信息包含了与物体相关的空间位置信息，从而有利于后续对于人体与物体之间的交互关系的识别。
在步骤104中，根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。
在一些实施例中，可以利用预先训练的神经网络来确定所述人体与所述物体之间的交互关系。此处，为了与上述获得人体部件节点和物体节点的神经网络进行区分，将该用于确定人体与物体之间的交互关系的神经网络称为第二神经网络。所述第二神经网络用于对所述人体和所述物体之间的交互关系进行分类。通过将所述人体对应的待征信息和所述物体对应的特征信息作为特征信息对，输入至所述第二神经网络，则可以预测得到交互关系分类结果，从而确定所述特征信息对所属的物体与人体的交互关系。
在本公开实施例中，根据待处理图像的人体检测结果和物体检测结果，确定人体所对应的各个人体部件区域以及物体所对应的物体区域，并转换为对应的节点，根据所述节点来构造人与物体的空间位置关系图，所述空间位置关系图既包含了不同人体姿态所对应的特征，也包含了各个身体部件与物体的位置关系，通过利用所述空间位置获取人体对应的待征信息和物体对应的待征信息，由此确定所述人体与所述物体之间的交互关系，提高了交互关系识别的准确性和可靠性。
图2示出本公开至少一个实施例提出的目标检测方法的流程图，可以利用该目标检测方法对待处理图像进行检测，以获得人体检测结果和物体检测结果。
如图2所示，可以利用预先训练的目标检测网络200对所述待处理图像进行检测。其中，目标检测网络200包括特征提取模块210、候选框提取模块220、池化模块230、分类模块240、坐标拟合模块250。
待处理图像首先输入至特征提取模块210。特征提取模块210可以是卷积神经网络模块，其包括多个卷积层，用于提取所述待处理图像的视觉特征，也即提取所述待处理图像的特征图(feature maps)。
候选框提取模块220根据特征提取模块210输出的特征图，预测出一系列可能出现目标对象的区域，作为候选框。可以将候选框表示为 其中，表示第i个候选框的顶点的横坐标，/>表示顶点的纵坐标。
对于候选框提取模块220所预测的候选框，池化模块230通过池化层将原始图像上的候选框区域映射到部分特征图上，并通过池化操作生成固定大小的特征。该特征同时进入分类模块240和坐标拟合模块250，坐标拟合模块250在分类模块230提取的候选框的基础上，对候选框的坐标进行回归，得到更加准确的目标候选框；分类模块230对所述候选框进行重新分类，得到人或具体的物体类别，由此对于待处理图像获得了人体检测框和物体检测框。如图2所示，所目标检测网络200所输出的图像中，包含了人体检测框261，以及物体检测框262、263。
通过对待处理图像进行图像检测，得到人和物体在待处理图像中的空间位置信息以及视觉特征，可用于后续步骤中对于人与物之间的交互关系的预测。
在一些实施例中，通过以下方法构建身体部件区域。
首先，获取所述人体检测结果中的人体检测框所包含的特征信息。例如，可以利用人体检测框，采用ROI Align(Region of Interest Align，感兴趣区域对齐)在待处理图像的特征图上获取所述人体检测框所包含的特征信息，也即获取人物的特征信息。
接下来，根据所述特征信息，获得所述人体的人体关键点。例如，可以将所述人体检测框所包含的特征信息输入至姿态估计网络。姿态估计网络由一系列卷积层和非线性层构成，其将输出姿态类别数量的通道特征，每个通道对应一个置信度热力图，而每个热力图得分的最高点即为该类从体关键点的位置。
在得到人体关键点后，可以根据人体骨架信息连接所述人体关键点，并获得连接信息。针对于预设的或者预先获得的人体骨架信息，各个人体关键点之间的连接方式是确定的，也即，对于任一人体关键点，可以确定与其进行连接的关键点。所述人体关键点的连接信息包括与其进行连接的关键点以及位置信息。
图3A示出对待处理图像进行检测得到的人体检测结果，包括了人体检测框300以及人体检测框的位置。可以对于所述人体检测框所包含的图像部分进行后续的人体部件区域构建步骤，也可以将所述人体检测框所包含的图像裁剪出来，基于裁剪出来的图像进行后续的人体部件区域构建步骤。
根据如图3A所示的人体检测框所包含的特征信息，可以确定所检测到的人体所对应的人体关键点，如图3B所示。
在获得了人体关键点以及所述人体关键点的连接信息后，即可以根据所述人体关键点和所述连接信息确定人体部件区域。
在一个示例中，可以根据相连的两个人体关键点来确定所述人体部件区域。
以图3B中的相连接的人体关键点311和312为例，根据人体关键点311和312的类别(例如分别为膝部关键点和脚踝关键点)以及位置，即可以确定这两个人体关键点所形成的矩形区域为小腿区域，如框321所示。其他人体部件区域的确定与上述方法类似。
在一个示例中，还可以以所述人体关键点为中心确定所述人体部件区域。例如可以以膝部关键点为中心，根据预先设置的膝部区域的大小，从而确定膝部区域的具体位置。其他人体部件区域的确定与上述方法类似。
在一个示例中，一部分的人体部件区域根据相连的两个人体关键点来确定，另一部分的人体部件区域以人体关键点为中心确定。各个人体部件区域的具体确定方式可以根据实际情况来确定，本公开实施例对此不进行限制。
对所述待处理图像中所检测到的人体所包含的各个人体部件区域，可以将其转换成对应的人体部件节点，同时，将物体检测结果中的物体检测框所对应的区域，也即物体区域，也转换成对应的物体部件节点。根据各个人体部件节点和物体节点，来确定物处理图像中的人体与物体之间的交互关系。
在一些实施例中，可以通过以下方式将人体部件区域和物体区域，分别转换成人体部件节点和物体节点。
首先，获取人体部件区域和物体区域的特征信息。例如，可以根据人体部件区域和物体区域，采用ROI Align在待处理图像的特征图上获取所述人体部件区域的特征信息和物体区域的特征信息。
接下来，对于所述人体部件区域的特征信息以及物体区域的特征信息进行降维，得到人体部件区域对应的人体部件节点以及物体区域对应的物体节点的特征信息。例如，可以通过预先训练的神经网络对所述人体部件区域和物体区域的特征信息进行降维。为了与后续使用的神经网络进行区分，可以将该进行降维的神经网络称为第一神经网络。
在获得了人体部件节点和物体节点的特征信息之后，可以根据节点的类别以及空间位置关系进行建图，也即构建人体与物体的空间位置关系图。
在一些实施例中，可以通过以下方法构建人体与物体的空间位置关系图。
首先，针对同一人体，根据人体骨架信息连接各个人体部件节点。
与人体关键点的连接相似，根据预设的或者预先获得的人体骨架信息来连接各个人体部件节点。对于任一人体部件节点，可以确定与其进行连接的人体部件节点。
接下来，将所述物体节点与所述人体部件节点进行连边，获得人体与物体的空间位置关系图。可以根据物体节点与人体部件节点之间的空间距离进行连边，例如，对于每个物体节点，可以选取离其最近的设定数目的人体部件节点进行连边，比如与5个最近的人体部件节点进行连边，构成所述空间位置关系图中的边。
为了充分挖掘空间结构信息，对于空间位置关系图中的每条边也可以赋予特征，例如可以根据所连接的物体节点和人体部件节点的相对位置确定边的特征信息，也即将所连接的两个节点的相对位置坐标的编码作为边的特征信息。所得到的空间位置关系图包含了各个人体部件节点和物体节点的待征信息，也包含了各个边的特征信息。
在本公开实施例中，通过对人体部件节点和物体节点进行连边，并对边赋予特征，显式地构建人体与物体之间的空间位置信息，提高了对空间信息和人体结构信息的表示能力。
对于所构建的人体与物体的空间位置关系图，还可以通过以下方式获得所述人体对应的物征信息以及所述物体对应的特征信息。
对于每个人体部件节点，可以利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息。
在一个示例中，可以使用一种边敏感的图卷积神经网络来更新每一个人体部件节的特征信息，也即更新空间位置关系图的状态。图卷积神经网络包括多个图卷积层和非线性操作性，对于第l层图卷积层，可以用公式(1)表示每个人体部件节点xi的特征信息的更新：
其中，为第l+1层的输出，/>为第l层的输出，/>为与/>相邻的人体部件节点，N(i)表示/>的相邻人体部件节点标号的集合，Fji表示连接/>和/>的边的特征，W为对Fji进行全连接操作的函数，θ为调节特征维度的矩阵，σ为激活函数，例如sigmoid或者relu。
在经过多个图卷积层的操作后，每个人体部件节点都具有了一定的全局视野和提高的空间结构化表征能力。
在获得了每个人体部件节点的特征信息后，根据该特征信息，可以获得所述人体对应的特征信息。
在一个示例中，针对同一人体，对各个身体部件节点的特征信息进行全局池化操作，获得所述人体对应的特征信息。经过全局池化操作，对于待处理图像中检测出的每个人体均可以获得相应的特征信息。
对于待检测图像中检测出的物体，可以根据各个物体节点的特征信息，获得所述特体对应的特征信息。在通常情况下，一个物体对应一个物体节点，因此根据各个物体节点的特征信息即可以获得各个物体对应的特征信息。
通过获得待检测图像中检测出的各个物体以及各个人体的特征信息，可以用于所述人体与所述物体之间的交互关系的确定。
在一些实施例中，可以利用预先训练的神经网络确定所述人体与所述物体之间的交互关系，其中，所述神经网络用于对所述人体和所述物体之间的交互关系进行分类。为了与前述神经网络进行区分，可以将该用于确定交互关系的神经网络称为第二神经网络。
可以通过标注了人体与物体之间的交互图像的图像样本对第二神经网络进行训练，使得所述第二神经网络能够对待处理图像中人体与物体之间的交互关系进行分类，从而确定人体与物体之间的交互关系。例如，可以从现实生活场景中统计出常见且具有实用意义的十种人体与物体之间的交互关系，例如吸烟、喝水、喝酒、骑车、打电话等等，同时采集包含这十类日常生活场景的数据库，将该第二神经网络在该数据库进行训练，使得其能够快速、精确地对这十种交互关系进行分类。
在一些实施例中，可以对于各个类型的交互关系设置安全系数。例如，对于上述十种交互关系，可以根据安全程度设置相应的安全系数。为了于后续定义的安全系数进行区分，可以将此处的安全系数称为第一安全系数。例如，可以将与火接触的安全系数设置为0.2，将喝水的安全系统设置为0.6，等等。
响应于所述待处理图像中至少一对人体与物体的第一安全系数低于第一设定阈值，确定所述人体与物体的交互关系为目标交互关系。也即，如果在待处理图像中检测出安全系数低于第一设定阈值的交互关系，则可以确定所述人体处于目标场景中。例如，在第一设定阈值为0.3的情况下，针对上述例子，在确定人体与物体的交互关系属于与火接触时，则可以确定人体处于危险场景中。
以上方法可用于检测待处理图像中是否存在危险程度高的交互关系。例如对于监控图像，可以在检测出存在安全系数低于第一设定阈值的交互关系时，判断出图像中的人正处于危险场景中，则触发警报。
对于不同类型的交互关系之间的组合也可以设置安全系数，此处可以将其称为第二安全系数。例如，对于喝水和骑车，可以将第二安全系数设置为0.2，对于打电话和吸烟，可以将安全系数设置0.6，等等。本领域技术人员应当理解，此处的组合可以是两个交互关系之间的组合，也可以是三个，甚至更多交互关系之间的组合，本公开对此不进行限制。
针对同一人体，获取所述人体与各个物体之间的交互关系，并且相应的第二安全系数。也即，确定人体与所有物体所发生的交互关系，并确定其所对应的第二安全系数。
响应于所述第二安全系数低于第二设定阈值，确定所述人体处于目标场景中。也即，如果在待处理图像中检测出一人体与多个物体的交互关系组合所对应的第二安全系数低于第二设定阈值，则可以确定所述人体处于目标场景中。例如，在第二设定阈值为0.5的情况下，针对上述例子，则可以将同时喝水和骑车的人体确定为处于目标场景中。
以上方法可用于检测待处理图像中是否存在具有潜在危险的多个交互关系。例如，如果检测出待处理图像中一对像正在开车和打电话，也即所检测的第二安全系数低于第二设定阈值，则可以确定该对象处于危险场景中，则触发警报。
一些单独执行时安全系数较高的动作，在同时执行时其实是很危险的，本公开实施例可以识别出这些危险的场景，及时进行报警，以提高安全性。
图4为本公开至少一个实施例提供了一种交互关系识别装置，如图4所示，该装置可以包括：获得单元401，用于对待处理图像进行检测，获得人体检测结果和物体检测结果；第一确定单元402，用于根据所述人体检测结果，确定人体所对应的各个人体部件区域；第二确定单元403，用于根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；识别单元404，用于根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。
在一些实施例中，第一确定单元402具体用于：获取所述人体检测结果中的人体检测框所包含的特征信息；根据所述特征信息，获得所述人体的人体关键点；根据人体骨架信息连接所述人体关键点，并获得连接信息；根据所述人体关键点以及连接信息确定各个人体部件区域，包括：根据相连的两个人体关键点来确定一个人体部件区域，和/或以所述人体关键点为中心确定一个人体部件区域。
在一些实施例中，第二确定单元403具体用于：对所述人体部件区域的特征信息进行降维，获得所述人体部件节点的特征信息；对所述物体区域的特征信息进行降维，获得所述物体节点的特征信息；针对同一人体，根据人体骨架信息连接各个所述人体部件节点；将所述物体节点与所述人体部件节点相连，获得人体与物体的空间位置关系图，包括：对于每个物体节点，将与所述物体节点距离最近的设定数目的人体部件节点与所述物体节点分别相连，其中，一个物体节点与一个人体部件节点相连所形成的边的特征信息为边所连接的物体节点和人体部件节点位置关系信息。
在一些实施例中，所述装置还包括更新单元，用于对于每个人体部件节点，利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息。
在一些实施例中，识别单元404具体用于：根据所述人体部件节点的特征信息，获得所述人体对应的特征信息，包括：针对同一人体，对各个人体部件节点的特征信息进行全局池化操作，获得所述人体对应的特征信息；根据所述物体节点的特征信息，获得所述物体对应的特征信息；根据所述人体对应的特征信息和所述物体对应的特征信息，确定所述人体与所述物体之间的交互关系。
在一些实施例中，识别单元404具体用于：根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系所属的交互类别；所述装置还包括第三确定单元，用于响应于所述人体与所述物体之间的交互关系所属的交互类别的安全系数低于第一设定阈值，确定所述人体处于目标场景中。
在一些实施例中，识别单元404具体用于：根据人体与物体的空间位置关系图，确定所述人体与不同类别的物体之间的交互关系所属的交互类别；所述装置还包括第四确定单元，用于确定所述人体与不同类别的物体之间的交互关系所属的交互类别的组合的安全系数；响应于所述组合的安全系数低于第二设定阈值，确定所述人体处于目标场景中。
图5为本公开至少一个实施例提供的电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本说明书任一实施例所述的交互关系识别方法。
本说明书至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例所述的目标检测方法，和/或，实现本说明书任一实施例所述的交互关系识别方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例描述的交互关系识别方法的步骤，和/或，实现本说明书任一实施例描述的交互关系识别方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (14)

1.一种交互关系识别方法，其特征在于，包括：
对待处理图像进行检测，获得人体检测结果和物体检测结果；
根据所述人体检测结果，确定人体所对应的各个人体部件区域；
根据所述人体部件区域对应的人体部件节点以及物体区域对应的物体节点确定人体与物体的空间位置关系图，包括：对所述人体部件区域的特征信息进行降维，获得所述人体部件节点的特征信息；对所述物体区域的特征信息进行降维，获得所述物体节点的特征信息；针对同一人体，根据人体骨架信息连接各个所述人体部件节点；对于每个物体节点，将与所述物体节点距离最近的设定数目的人体部件节点与所述物体节点分别相连，获得人体与物体的空间位置关系图，并对于每个人体部件节点，利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息，一个物体节点与一个人体部件节点相连所形成的边的特征信息为边所连接的物体节点和人体部件节点位置关系信息；
根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人体检测结果，确定人体所对应的各个人体部件区域，包括：
获取所述人体检测结果中的人体检测框所包含的特征信息；
根据所述特征信息，获得所述人体的人体关键点；
根据人体骨架信息连接所述人体关键点，并获得连接信息；
根据所述人体关键点以及连接信息确定各个人体部件区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人体关键点以及连接信息确定各个人体部件区域，包括：
根据相连的两个人体关键点来确定一个人体部件区域，和/或
以所述人体关键点为中心确定一个人体部件区域。
4.根据权利要求1所述的方法，其特征在于，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：
根据所述人体部件节点的特征信息，获得所述人体对应的特征信息；
根据所述物体节点的特征信息，获得所述物体对应的特征信息；
根据所述人体对应的特征信息和所述物体对应的特征信息，确定所述人体与所述物体之间的交互关系。
5.根据权利要求4所述的方法，其特征在于，所述根据所述人体部件节点的特征信息，获得所述人体对应的特征信息，包括：
针对同一人体，对各个人体部件节点的特征信息进行全局池化操作，获得所述人体对应的特征信息。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：
根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系所属的交互类别；
所述方法还包括：
响应于所述人体与所述物体之间的交互关系所属的交互类别的安全系数低于第一设定阈值，确定所述人体处于目标场景中。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：
根据人体与物体的空间位置关系图，确定所述人体与不同类别的物体之间的交互关系所属的交互类别；
所述方法还包括：
确定所述人体与不同类别的物体之间的交互关系所属的交互类别的组合的安全系数；
响应于所述组合的安全系数低于第二设定阈值，确定所述人体处于目标场景中。
8.一种交互关系识别装置，其特征在于，所述装置包括：
获得单元，用于对待处理图像进行检测，获得人体检测结果和物体检测结果；
第一确定单元，用于根据所述人体检测结果，确定人体所对应的各个人体部件区域；
第二确定单元，用于根据所述人体部件区域对应的人体部件节点以及物体区域对应的物体节点确定人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；
识别单元，用于根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系；
所述第二确定单元具体用于：对所述人体部件区域的特征信息进行降维，获得所述人体部件节点的特征信息；对所述物体区域的特征信息进行降维，获得所述物体节点的特征信息；针对同一人体，根据人体骨架信息连接各个所述人体部件节点；对于每个物体节点，将与所述物体节点距离最近的设定数目的人体部件节点与所述物体节点分别相连，获得人体与物体的空间位置关系图，并对于每个人体部件节点，利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息，其中，一个物体节点与一个人体部件节点相连所形成的边的特征信息为边所连接的物体节点和人体部件节点位置关系信息。
9.根据权利要求8所述的装置，其特征在于，所述第一确定单元具体用于：
获取所述人体检测结果中的人体检测框所包含的特征信息；
根据所述特征信息，获得所述人体的人体关键点；
根据人体骨架信息连接所述人体关键点，并获得连接信息；
根据所述人体关键点以及连接信息确定各个人体部件区域，包括：根据相连的两个人体关键点来确定一个人体部件区域，和/或以所述人体关键点为中心确定一个人体部件区域。
10.根据权利要求8所述的装置，其特征在于，所述识别单元具体用于：
根据所述人体部件节点的特征信息，获得所述人体对应的特征信息，包括：针对同一人体，对各个人体部件节点的特征信息进行全局池化操作，获得所述人体对应的特征信息；
根据所述物体节点的特征信息，获得所述物体对应的特征信息；
根据所述人体对应的特征信息和所述物体对应的特征信息，确定所述人体与所述物体之间的交互关系。
11.根据权利要求8至10任一项所述的装置，其特征在于，所述识别单元具体用于：根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系所属的交互类别；
所述装置还包括第三确定单元，用于响应于所述人体与所述物体之间的交互关系所属的交互类别的安全系数低于第一设定阈值，确定所述人体处于目标场景中。
12.根据权利要求8至10任一项所述的装置，其特征在于，所述识别单元具体用于：根据人体与物体的空间位置关系图，确定所述人体与不同类别的物体之间的交互关系所属的交互类别；
所述装置还包括第四确定单元，用于确定所述人体与不同类别的物体之间的交互关系所属的交互类别的组合的安全系数；响应于所述组合的安全系数低于第二设定阈值，确定所述人体处于目标场景中。
13.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至7任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任一项所述的方法。
CN202010099652.0A 2020-02-18 2020-02-18 交互关系识别方法、装置、设备及存储介质 Active CN111325141B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010099652.0A CN111325141B (zh) 2020-02-18 2020-02-18 交互关系识别方法、装置、设备及存储介质
KR1020227010608A KR20220054657A (ko) 2020-02-18 2021-02-09 인터랙션 관계 인식 방법, 장치, 기기 및 저장 매체
PCT/CN2021/076306 WO2021164662A1 (zh) 2020-02-18 2021-02-09 交互关系识别方法、装置、设备及存储介质
JP2022549446A JP2023514322A (ja) 2020-02-18 2021-02-09 対話関係の識別方法、装置、機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010099652.0A CN111325141B (zh) 2020-02-18 2020-02-18 交互关系识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111325141A CN111325141A (zh) 2020-06-23
CN111325141B true CN111325141B (zh) 2024-03-26

Family

ID=71163491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010099652.0A Active CN111325141B (zh) 2020-02-18 2020-02-18 交互关系识别方法、装置、设备及存储介质

Country Status (4)

Country Link
JP (1) JP2023514322A (zh)
KR (1) KR20220054657A (zh)
CN (1) CN111325141B (zh)
WO (1) WO2021164662A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325141B (zh) * 2020-02-18 2024-03-26 上海商汤临港智能科技有限公司 交互关系识别方法、装置、设备及存储介质
CN111931703B (zh) * 2020-09-14 2021-01-05 中国科学院自动化研究所 基于人-物体交互弱监督标签的物体检测方法
CN113139483B (zh) * 2021-04-28 2023-09-29 北京百度网讯科技有限公司 人体行为识别方法、装置、设备、存储介质以及程序产品
CN113590857A (zh) * 2021-08-10 2021-11-02 北京有竹居网络技术有限公司 键值匹配方法、装置、可读介质及电子设备
CN113869202B (zh) * 2021-09-27 2023-11-24 北京百度网讯科技有限公司 图像识别方法、装置、设备、存储介质及程序产品
CN114005177B (zh) * 2021-10-29 2023-09-19 北京百度网讯科技有限公司 人物交互检测方法、神经网络及其训练方法、设备和介质
CN114005181A (zh) * 2021-10-29 2022-02-01 北京百度网讯科技有限公司 交互关系的识别方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709420A (zh) * 2016-11-21 2017-05-24 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
WO2017215669A1 (zh) * 2016-06-17 2017-12-21 北京市商汤科技开发有限公司 物体识别方法和装置、数据处理装置和计算设备
CN109241881A (zh) * 2018-08-22 2019-01-18 东北大学 一种人体姿态估计方法
CN109753859A (zh) * 2017-11-08 2019-05-14 佳能株式会社 在图像中检测人体部件的装置和方法及图像处理系统
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质
CN110363220A (zh) * 2019-06-11 2019-10-22 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110490035A (zh) * 2019-05-17 2019-11-22 上海交通大学 人体骨架动作识别方法、系统及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5247337B2 (ja) * 2008-10-02 2013-07-24 キヤノン株式会社 画像認識装置および画像認識方法
US8977005B2 (en) * 2010-09-17 2015-03-10 Nec Corporation Carried item region extraction device, carried item region extraction method, and computer readable medium
KR20140094284A (ko) * 2013-01-22 2014-07-30 한국전자통신연구원 물체특성의 계층화를 통한 원격 조작용 환경가시화 방법 및 그 장치
WO2015133206A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP6655727B2 (ja) * 2016-09-28 2020-02-26 株式会社日立国際電気 監視システム
WO2020152851A1 (ja) * 2019-01-25 2020-07-30 株式会社 テクノミライ デジタルサーチ・セキュリティシステム、方法及びプログラム
JP6579411B1 (ja) * 2019-05-30 2019-09-25 アースアイズ株式会社 介護設備又は病院用の監視システム及び監視方法
JP6583953B1 (ja) * 2019-06-27 2019-10-02 アースアイズ株式会社 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
CN110717449A (zh) * 2019-10-09 2020-01-21 上海眼控科技股份有限公司 车辆年检人员的行为检测方法、装置和计算机设备
CN111325141B (zh) * 2020-02-18 2024-03-26 上海商汤临港智能科技有限公司 交互关系识别方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215669A1 (zh) * 2016-06-17 2017-12-21 北京市商汤科技开发有限公司 物体识别方法和装置、数据处理装置和计算设备
CN106709420A (zh) * 2016-11-21 2017-05-24 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
CN109753859A (zh) * 2017-11-08 2019-05-14 佳能株式会社 在图像中检测人体部件的装置和方法及图像处理系统
CN109241881A (zh) * 2018-08-22 2019-01-18 东北大学 一种人体姿态估计方法
CN110490035A (zh) * 2019-05-17 2019-11-22 上海交通大学 人体骨架动作识别方法、系统及介质
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110363220A (zh) * 2019-06-11 2019-10-22 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Bangpeng Yao，Li Fei-Fei.Modeling Mutual Context of Object and Human Pose in Human-Object Interaction Activities.《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》.2010,第1节倒数第2段，第3节、图3. *
Siyuan Qi et al..Learning Human-Object Interactions by Graph Parsing Neural Networks.《Computer Vision Foundation》.2018,第1-17页. *
Yong-Lu Li et al..Transferable Interactiveness Knowledge for Human-Object Interaction Detection.《Computer Vision Foundation》.2019,第3585-3594页. *
Yue Liao et al..PPDM: Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection.《arXiv:1912.12898v1》.2019,第1-10页. *
周以重.人与物体交互行为算法研究与应用.《中国优秀硕士学位论文全文数据库 信息科技辑》.2020,I138-2073. *

Also Published As

Publication number Publication date
KR20220054657A (ko) 2022-05-03
CN111325141A (zh) 2020-06-23
JP2023514322A (ja) 2023-04-05
WO2021164662A1 (zh) 2021-08-26

Similar Documents

Publication Publication Date Title
CN111325141B (zh) 交互关系识别方法、装置、设备及存储介质
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN110765906A (zh) 一种基于关键点的行人检测算法
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
US11410327B2 (en) Location determination apparatus, location determination method and computer program
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
CN112800944B (zh) 人群行为检测方法及装置、电子设备和存储介质
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
US20140112545A1 (en) Information processing apparatus and information processing method
CN111881741B (zh) 车牌识别方法、装置、计算机设备和计算机可读存储介质
AU2021203821B2 (en) Methods, devices, apparatuses and storage media of detecting correlated objects involved in images
JP2012083855A (ja) 物体認識装置及び物体認識方法
CN112906484B (zh) 一种视频帧处理方法及装置、电子设备和存储介质
CN113962326A (zh) 聚类方法、装置、设备及计算机存储介质
CN113557546B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN113269307B (zh) 神经网络训练方法以及目标重识别方法
CN112241736A (zh) 一种文本检测的方法及装置
CN114663839B (zh) 一种遮挡行人重识别方法及系统
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
CN113763418B (zh) 一种基于头肩检测的多目标跟踪方法
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN116453194B (zh) 一种人脸属性判别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant