CN117546212A - 用于交互对象定位的网络 - Google Patents

Abstract

一种用于人类‑对象交互检测的方法，包括：接收图像。从该图像的多个位置提取特征集合。可基于所提取的特征集合来预测一个或多个人类‑对象对。可基于候选交互集合和所预测的人类‑对象对来确定人类‑对象交互。

Description

用于交互对象定位的网络

相关申请的交叉引用

本申请要求于2021年6月25日提交的题为“NETWORK FOR INTERACTED OBJECTLOCALIZATION(用于交互对象定位的网络)”的美国专利申请No.17/359,379的优先权，其公开内容通过援引全部明确纳入于此。

背景技术

领域

本公开的各方面一般涉及图像识别，尤其涉及人类-对象交互检测。

背景

人类每天与许多对象交互。人类能够成功定位并且甚至抓握未知对象。因此，人类-对象交互检测尝试从图像或视频中自动学习交互。人类-对象交互检测的一个目标是：给定图像，预测<人类,交互,对象>的三元组，其中人类(交互者)和对象(被交互者)由边界框表示，并且交互是<动词,名字>元组，诸如<骑,自行车>。

传统模型首先检测一组可能的人类位置并检测一组可能的对象位置。随后，所有可能的人类位置和所有可能的对象位置被穷尽地配对为候选交互者-被交互者对。这些候选交互者(例如，人类)-被交互者(例如，对象)对中的每一者被指派给交互类别或者背景无交互类别(在它们不交互的情况下)。可惜的是，N个人类和N个对象检测的穷尽配对将导致(M*N)个配对，并且由此可能在计算上是昂贵且繁重的。

另一常规办法尝试基于人类-对象对的全局外观来学习人类-对象对的评分函数。生成图像内所有人类和对象检测的无向图。随后，裁剪掉图中非交互的人类-对象对(节点)。然而，这种常规办法也评估O(M*N)对人类-对象配对以产生二元交互决策，并且由此在计算上昂贵且低效。附加地，此类办法对人类-对象边界框外观进行操作，并且由此限制了对图像的整体理解。此外，这些常规技术无法推广到看不见的交互对象，从而限制了可迁移性。

概述

本公开在独立权利要求中分别阐述。本公开的一些方面在从属权利要求中描述。

在本公开的一方面，提供了一种方法。该方法包括：接收图像。该方法还包括：从该图像的多个位置提取第一特征集合。附加地，该方法包括：基于所提取的第一特征集合来预测人类-对象对。此外，该方法包括：基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。

在本公开的一方面，提供了一种装置。该装置包括存储器以及耦合到该存储器的一个或多个处理器。(诸)处理器被配置成：接收图像。(诸)处理器还被配置成：从该图像的多个位置提取第一特征集合。另外，(诸)处理器被配置成：基于所提取的第一特征集合来预测人类-对象对。此外，(诸)处理器被配置成：基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。

在本公开的一方面，提供了一种设备。该设备包括：用于接收图像的装置。该设备还包括：用于从该图像的多个位置提取第一特征集合的装置。附加地，该设备包括：用于基于所提取的第一特征集合来预测人类-对象对的装置。此外，该设备包括：用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的装置。

在本公开的一方面，提供了一种非瞬态计算机可读介质。该计算机可读介质上编码有程序代码。该程序代码由处理器执行并包括用于接收图像的代码。该程序代码还包括：用于从该图像的多个位置提取第一特征集合的代码。附加地，该程序代码包括：用于基于所提取的第一特征集合来预测人类-对象对的代码。此外，该程序代码包括：用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的代码。

本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

附图简述

在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。

图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)的神经网络的示例实现。

图2A、2B和2C是解说根据本公开的各方面的神经网络的示图。

图2D是解说根据本公开的各方面的示例性深度卷积网络(DCN)的示图。

图3是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。

图4是解说根据本公开的各方面的可使人工智能(AI)功能模块化的示例性软件架构的框图。

图5是解说根据本公开的各个方面的用于人类-对象交互(HOI)检测的示例架构的框图。

图6是解说根据本公开的各方面的示例HOI对准层的示图。

图7是解说根据本公开的各方面的用于操作神经网络的方法的流程图。

详细描述

以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。

基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。

措辞“示例性”用于意指“用作示例、实例、或解说”。描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。

尽管描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。

人类每天与许多对象交互，这些对象可在单个图像中被捕获。人类能够成功定位并且甚至抓握未知对象。人类-对象交互(HOI)检测是计算机视觉中的基本任务，其旨在检测图像中的人类-对象对并对他们的交互进行分类。在这样做时，一个任务是在分类之前标识交互的人类-对象对。

常规模型尝试通过经由强实例监督训练深度卷积神经网络(CNN)来解决该问题。实例监督将人类与其交互的对象对准，并且随后将与每个人类-对象对的交互对准。可惜的是，收集此类实例监督是昂贵的。附加地，常规办法对感兴趣区域(RoI)池化区域进行操作，并且可能忽略有用的上下文信息。此外，一些常规办法可手工制作多个上下文流来计及上下文信息的丢失，但这种常规办法会增加模型复杂性，从而限制性能，并且破坏端到端训练范例。

相应地，本公开的各方面涉及人类-对象交互检测。在一些方面，可在没有对准监督的情况下检测人类-对象交互。根据本公开的各方面，图像级HOI监督列出图像内的现有HOI而不会将它们与人类-对象实例对准。基于视觉变换器的架构可学习通过图像级监督来对准人类-对象和交互。HOI对准层例如可基于几何和视觉先验来确定人类-对象交互的可能性。

在一些方面，可经由可以按端到端方式训练的单级、单流基于视觉变换器的架构来执行HOI检测。对准形成器技术的核心是HOI选择模块，该HOI选择模块判断所有潜在对中的<人类(h’),对象(o’),交互(y’)>三元组的可能性。它通过计算与图像内的交互列表的几何和视觉兼容性来实现这一点。对准形成器被训练以使用可微分的硬阈值函数来寻找具有最小成本/最大奖励的三元组。

图1解说了片上系统(SOC)100的示例实现，其可包括被配置成用于人类-对象交互检测(例如，神经端到端网络)的中央处理单元(CPU)102或多核CPU。变量(例如，神经信号和突触权重)、与计算设备(例如，带有权重的神经网络)相关联的系统参数、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块、与CPU 102相关联的存储器块、与图形处理单元(GPU)104相关联的存储器块、与数字信号处理器(DSP)106相关联的存储器块、存储器块118中，或可跨多个块分布。在CPU 102处执行的指令可从与CPU 102相关联的程序存储器加载或者可从存储器块118加载。

SOC 100还可包括为具体功能定制的附加处理块，诸如GPU 104、DSP 106、连通性块110(其可包括第五代(5G)连通性、第四代长期演进(4G LTE)连通性、Wi-Fi连通性、USB连通性、蓝牙连通性等)以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU108实现在CPU 102、DSP 106、和/或GPU 104中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)116、和/或导航模块120(其可包括全球定位系统)。

SOC 100可基于ARM指令集。在本公开的一方面，加载到通用处理器102中的指令可包括用于接收图像的代码。通用处理器102还可包括用于从图像的多个位置提取第一特征集合的代码。通用处理器102还可包括用于基于所提取的第一特征集合来预测人类-对象对的代码。通用处理器102可进一步包括用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的代码。

深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相比而言，深度学习架构可学习以表示与人类工程师可能会设计的相似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。

深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口述短语。

深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。

神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。

神经网络的各层之间的连接可以是全连通的或局部连通的。图2A解说了全连通神经网络202的示例。在全连通神经网络202中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。图2B解说了局部连通神经网络204的示例。在局部连通神经网络204中，第一层中的神经元可连接到第二层中有限数目的神经元。更一般化地，局部连通神经网络204的局部连通层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，210、212、214和216)。局部连通的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。

局部连通神经网络的一个示例是卷积神经网络。图2C解说了卷积神经网络206的示例。卷积神经网络206可被配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，208)。卷积神经网络可能非常适合于其中输入的空间位置有意义的问题。

一种类型的卷积神经网络是深度卷积网络(DCN)。图2D解说了被设计成从自图像捕获设备230(诸如车载相机)输入的图像226识别视觉特征的DCN 200的详细示例。可对当前示例的DCN 200进行训练以标识交通标志以及在交通标志上提供的数字。当然，DCN 200可被训练用于其他任务，诸如标识车道标记或标识交通信号灯。

可以用监督式学习来训练DCN 200。在训练期间，可向DCN 200呈递图像(诸如限速标志的图像226)，并且随后可计算“前向传递(forward pass)”以产生输出222。DCN 200可包括特征提取区段和分类区段。在接收到图像226之际，卷积层232可向图像226应用卷积核(未示出)，以生成第一组特征图218。作为示例，卷积层232的卷积核可以是生成28x28特征图的5x5内核。在本示例中，由于在第一组特征图218中生成四个不同的特征图，因此在卷积层232处四个不同的卷积核被应用于图像226。卷积核还可被称为过滤器或卷积过滤器。

第一组特征图218可由最大池化层(未示出)进行子采样以生成第二组特征图220。最大池化层减小了第一组特征图218的大小。即，第二组特征图220的大小(诸如14x14)小于第一组特征图218的大小(诸如28x28)。减小的大小向后续层提供类似的信息，同时降低存储器消耗。第二组特征图220可经由一个或多个后续卷积层(未示出)被进一步卷积，以生成后续的一组或多组特征图(未示出)。

在图2D的示例中，第二组特征图220被卷积以生成第一特征向量224。此外，第一特征向量224被进一步卷积以生成第二特征向量228。第二特征向量228的每个特征可包括与图像226的可能特征(诸如，“标志”、“60”和“100”)相对应的数字。softmax(软最大化)函数(未示出)可将第二特征向量228中的数字转换为概率。如此，DCN 200的输出222是图像226包括一个或多个特征的概率。

在本示例中，输出222中关于“标志”和“60”的概率高于输出222的其他特征(诸如“30”、“40”、“50”、“70”、“80”、“90”和“100”)的概率。在训练之前，由DCN 200产生的输出222很可能是不正确的。由此，可计算输出222与目标输出之间的误差。目标输出是图像226的真值(例如，“标志”和“60”)。DCN 200的权重可随后被调整以使得DCN 200的输出222与目标输出更紧密地对准。

为了调整权重，学习算法可针对权重计算梯度向量。梯度可指示在权重被调整情况下误差将增加或减少的量。在顶层，梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”，因为其涉及在神经网络中的反向传递(“backward pass”)。

在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。在学习之后，可以向DCN呈递新图像并且在网络中的前向传递可产生输出222，其可被认为是该DCN的推断或预测。

深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用在无监督式学习中。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。

深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可以使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。

DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的各神经元被共享。DCN的前馈和共享连接可被用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。

卷积网络的每一层的处理可被认为是空间不变模版或基投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，则在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕获颜色信息的第三维度。卷积连接的输出可被认为在后续层中形成特征图，该特征图(例如，220)中的每个元素从先前层(例如，特征图218)中一定范围的神经元以及从该多个通道中的每个通道接收输入。特征图中的值可以用非线性(诸如矫正，max(0,x))进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。

深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。

图3是解说深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3中示出的，深度卷积网络350包括卷积块354A、354B。卷积块354A、354B中的每一者可配置有卷积层(CONV)356、归一化层(LNorm)358、和最大池化层(MAX POOL)360。

卷积层356可包括一个或多个卷积过滤器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块354A、354B，但本公开不限于此，而是代之以根据设计偏好可将任何数目的卷积块354A、354B包括在深度卷积网络350中。归一化层358可对卷积过滤器的输出进行归一化。例如，归一化层358可提供白化或侧向抑制。最大池化层360可提供在空间上的降采样聚集以实现局部不变性以及维度缩减。

例如，深度卷积网络的并行过滤器组可被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中，并行过滤器组可被加载到SOC 100的DSP 106或ISP 116上。另外，深度卷积网络350可访问其他可存在于SOC 100上的处理块，诸如分别专用于传感器和导航的传感器处理器114和导航模块120。

深度卷积网络350还可包括一个或多个全连通层362(FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层364。深度卷积网络350的每一层356、358、360、362、364之间是要被更新的权重(未示出)。每一层(例如，356、358、360、362、364)的输出可以用作深度卷积网络350中一后续层(例如，356、358、360、362、364)的输入以从第一卷积块354A处供应的输入数据352(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。深度卷积网络350的输出是针对输入数据352的分类得分366。分类得分366可以是概率集，其中每个概率是输入数据包括来自特征集的特征的概率。

图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。根据本公开的各方面，通过使用该架构，可以设计可使得SOC 420的各种处理块(例如，CPU 422、DSP424、GPU 426和/或NPU 428)支持如所公开的用于针对AI应用402的后训练量化的自适应舍入的应用。

AI应用402可被配置成调用在用户空间404中定义的功能，例如，这些功能可提供对指示设备当前操作位置的场景的检测和识别。例如，AI应用402可以取决于所识别的场景是办公室、演讲厅、餐厅、还是诸如湖泊之类的室外环境来不同地配置话筒和相机。AI应用402可作出对与在AI功能应用编程接口(API)406中定义的库相关联的经编译程序代码的请求。该请求可最终依赖于被配置成基于例如视频和定位数据来提供推断响应的深度神经网络的输出。

运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如，AI应用402可使得运行时引擎按特定时间区间或由应用的用户接口检测到的事件触发地来请求推断。在使得运行时引擎提供推断响应时，运行时引擎可进而发送信号给在SOC 420上运行的操作系统(OS)空间410(诸如内核412)中的操作系统。操作系统进而可使得在CPU 422、DSP 424、GPU 426、NPU 428或其某种组合上执行连续量化松弛。CPU 422可由操作系统直接访问，而其他处理块可通过驱动器(诸如分别用于DSP 424、GPU 426或NPU428的驱动器414、416或418)来访问。在示例性示例中，深度神经网络可被配置成在处理块(诸如CPU 422、DSP 424和GPU 426)的组合上运行，或可在NPU 428上运行。

应用402(例如，AI应用)可被配置成调用在用户空间404中定义的功能，例如，这些功能可提供对指示设备当前操作位置的场景的检测和识别。例如，应用402可以取决于所识别的场景是办公室、演讲厅、餐厅、还是诸如湖泊之类的室外环境来不同地配置话筒和相机。应用402可作出对与在场景检测应用编程接口(API)406中定义的库相关联的经编译程序代码的请求以提供对当前场景的估计。该请求可最终依赖于被配置成基于例如视频和定位数据来提供场景估计的差分神经网络的输出。

运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由应用402访问。例如，应用402可使得运行时引擎按特定时间区间或由应用的用户接口检测到的事件触发地请求场景估计。在使得运行时引擎估计场景时，运行时引擎可进而发送信号给在SOC 420上运行的操作系统410(诸如内核412)。操作系统410进而可使得在CPU 422、DSP 424、GPU426、NPU 428或其某种组合上执行计算。CPU 422可由操作系统直接访问，而其他处理块可通过驱动器(诸如分别用于DSP 424、GPU 426或NPU 428的驱动器414-488)来访问。在示例性示例中，差分神经网络可被配置成在处理块(诸如CPU 422和GPU 426)的组合上运行，或可在NPU 428(若存在)上运行。

人类-对象交互(HOI)检测是对图像中的人类和对象的定位、以及对他们之间的交互的分类。HOI的一个目标是标识交互者(例如，人类)的位置、被交互者(例如，马)的位置、以及交互的类型(例如，骑、坐)。

本公开的各方面涉及经由图像级监督来从输入图像检测HOI。输入图像I可使用神经网络g_θ(·)被映射到HOI输出t′，如其中t′＝<h′,o′,y′>并且在三元组<h′,o′,y′>内，(h′,o′)是人类-对象边界框对，并且y′＝(y′_verb,y′_noun)是动词-名词对(verb-nounpair)交互预测。由于实例级人类-对象和人类-对象-交互对对准是不可访问的，因此目标可被表达如下：

其中是二进制对准矩阵A∈{0,1}，其中仅少数条目为非零，这将T个HOI目标T＝|t|与P个HOI预测P＝|t′|对准。在具有多个人类和对象的给定图像中，仅少数人类-对象对可能参与交互，而其余人类-对象对可能不交互。

为了创建大小为T的目标条目，可例如使用现成的检测器来对人类和对象检测进行采样。检测到的人类和对象实例可被穷尽地配对，同时跨所有人类和对象重复逐图像HOI注释。

图5是解说根据本公开的各方面的用于HOI检测的示例架构500的框图。参照图5，示例架构500可包括特征提取层502、分类器层504、HOI对准层506和损失层508。特征提取层502可接收输入510，诸如举例而言图像。特征提取层502可提取输入510(例如，图像)的特征。在一些示例中，特征提取层502可被配置为多层、多头视觉变换器架构，其针对由输入510(例如，图像)的D维表示的P个区域产生人类-对象特征视觉变换器(未示出)可以是卷积神经网络(例如，图3中所示的350)并且可通过将输入510(例如，图像)映射到较低分辨率(例如，经由神经网络的最后卷积层)来将输入510变换为/>

在示例架构500中，特征提取层502可包括例如编码器512和解码器514。在一些方面，编码器512和解码器514可被包括在视觉变换器架构之后，以使得编码器512的输入可以是x。如此，编码器512可经由1×1卷积将x的通道维度降至随后，该输入特征的空间维度可被折叠成/>其中图像I的每个像素变成表示D个特征的“令牌”。在一些方面，可经由(例如，多层感知器的)附加卷积层或残差操作和丢弃来进一步处理令牌。在一些方面，编码器可学习固定位置信息的嵌入。即，编码器512可学习将固定位置信息纳入到输入特征(例如，令牌)中。固定位置信息可以例如是像素位置(和特征图)的绝对x-y索引。

令牌可被提供给解码器514。解码器514可被应用于使用固定位置嵌入 来查询令牌。固定位置嵌入Q可使用自注意力操作来处理以对查询到查询关系进行编码、以及使用交叉注意力来处理以对查询到图像关系进行编码，最终将产生/>即，解码器514在特征图x和嵌入Q的固定位置信息之间的交叉注意力以及跨查询的自注意力之间交替。交叉注意力从全局特征图中提取特征，而自注意力表示用于HOI检测的对象-对象关系。在交叉注意力中，人类-对象特征聚集来自全局特征图像素的信息(例如，在人类-对象和全局特征图之间交叉)。另一方面，n自注意力，每个像素聚集来自全局图像特征图内的每个其他像素(自身)的信息。解码器514在每个位置(例如，图像的区域)中输出一组人类-对象特征(例如，x1,x2,x3)，这些特征被提供给分类器层504。

分类器层504包括分类器(C)516，其接收输入510(例如，图像)的每个位置处的人类-对象特征。在一些方面，分类器层504可包括用于预测人类和对象边界框的边界框分类器以及动词-名词分类器。例如，边界框分类器可以是三层多层感知器(MLP)，其生成表示边界框的左上角坐标和宽度-高度的四维输出。动词-名词分类器将输入特征分开地映射到动词和对象类别集合。在一些情形中，单个对象可能有多个交互动词。

可以处理相应位置(例如，x1,x2,x3)处的人类和对象特征以生成关于是否在每个位置处检测到人类和对象交互的预测P。尽管在该示例中使用了三个位置，但这仅是为了便于说明而非限制。HOI预测P可被提供给HOI对准层506。

HOI对准层506可包括多个子层。例如，HOI对准层506可包括对给定目标-预测对的交互匹配的可能性进行评分的先验层。HOI对准层506还可包括离散化层(未示出)，该离散化层将评分函数二值化以产生最终对准作为HOI对准层506的输出(为了便于解说，仅示出了HOI对准层的输出)，其中0可指示未对准(人类和对象未交互)，并且“1”可指示对准(例如，人类和对象交互)。进而，可确定经对准的人类和对象的动词-名词对或交互预测。

损失层508基于HOI预测P来计算HOI检测损失。示例架构500可被训练以优化以下复合目标：

其中动词-名词损失将人类-对象预测之间的L₁距离计算为/> 是典型的交叉熵损失。另外，经对准的目标和稀疏性损失/>通过最小化对准矩阵A的范数来确保对准矩阵A中仅少数条目为非零，以提供/>

相应地，示例架构500可实现具有以下形式的网络g(·)：

g(I)＝A^T(c(Dec(Enc(CNN(I)),Q))), (3)

其中Dec(Enc(CNN(I)),Q)是在输入图像I之上使用骨干CNN(·)的编码器-解码器人类-对象特征提取器，其中是固定位置查询集合，并且C(·)是边界框和交互分类器集合。

图6是解说根据本公开的各方面的示例HOI对准层600的示图。参照图6，HOI对准层600可在先验层602中接收针对图像中的一组目标T(例如，T1,T2,T3)或候选的一组预测P(例如，P1,P2,P3)。先验层602可计算并输出评分矩阵S，其可指示目标或候选交互是否与所预测的人类-对象对P对准或匹配。例如，评分矩阵是评分函数的连续值矩阵，其中S(i,j)指示第i个目标与第j个预测之间对准(例如，匹配)的可能性。

在一些方面，评分矩阵S可以使得仅少数成员将是非零。然而，这种离散化运算是不可微的。为此，可采用Gumbel-Softmax技术来允许训练。具体而言，给定S的原始值，可应用以下运算：

A＝σ(S+G)≥δ, (4)

其中δ是预定义阈值(例如，δ＝0.5)，G是添加到矩阵S的Gumbel噪声(例如，噪声604)，并且σ(·)是用于将评分矩阵S限定在[0,1]之间的sigmoid激活。该运算由此可产生二进制矩阵A∈{0,1}(例如，H-O对准606)，其中仅少数匹配条目为非零。基于非零条目，可检测到一个或多个人类-对象交互(608)。附加地，在一些方面，人类与对象之间的交互可以被分类成使得可以确定指示交互类型的动词-名词对的预测。

在一些示例中，先验层602可输出评分矩阵S，其是几何先验和视觉先验的凸组合：S＝α_g*GP+α_v*VP，其中GP是几何先验并且VP是视觉先验，并且(α_g,α_v)重新衡量其对整体评分矩阵S的贡献。凸组合是点的线性组合，其中所有系数非负且总和为1。

几何先验GP可计算目标与所预测的边界框之间的空间关系的兼容性。例如，所有人类-对象边界框对之间的L1距离可被确定为：

GP＝∑_ijL1(h_i′,h_j)+∑_ijL1(o_i′,o_j) (5)

GP＝exp(-GP/τ), (6)

其中i∈{0,1,…,P}对预测进行索引，而j∈{0,1,…,T}对目标值进行索引。几何先验GP可通过用τ归一化其负指数来被转换为相似度，如式6中所示。

另一方面，视觉先验VP可计算给定预测-目标对在外观方面的匹配程度。视觉先验可基于图像内的动词和名词分类来确定。针对目标交互类别具有最高置信度的(诸)预测对(经由图像级HOI注释可获得)可接收最高得分。例如，视觉先验VP可被确定如下：

其中，维，/>维，/>维，/>维，其中V是不同动词的数目，并且N是不同名词的数目。

图7是解说根据本公开的各方面的用于检测人类-对象交互的方法700的流程图。在框702，方法700接收图像。例如，如图5中所示，示例架构500接收输入510，诸如图像。

在框704，方法700从该图像的多个位置提取第一特征集合。例如，如参照图5所描述的，示例架构500包括特征提取层502，该特征提取层502提取输入510(例如，图像)的特征。在一些示例中，特征提取层502可被配置为多层、多头视觉变换器架构，其针对由输入510(例如，图像)的D维表示的P个区域产生人类-对象特征视觉变换器(未示出)可以是卷积神经网络(例如，图3中所示的350)并且可通过将输入(例如，图像)映射到较低分辨率(例如，经由神经网络的最后卷积层)来将输入510变换为/>

在706，方法700基于所提取的第一特征集合来预测人类-对象对。如参照图5所描述的，分类器层504包括分类器516，该分类器516接收输入510(例如，图像)的每个位置处的人类-对象特征。在一些方面，分类器层504可包括用于预测人类和对象边界框的边界框分类器以及动词-名词分类器。在一些示例中，边界框分类器可以是三层MLP，该三层MLP生成表示边界框的左上角坐标和宽度-高度的四维输出。动词-名词分类器将输入特征分开地映射到动词和对象类别集合。在一些情形中，单个对象可能有多个交互动词。

在框708，方法700基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。例如，如参照图5和6所描述的，HOI对准层506和600分别可包括对给定目标-预测对的交互匹配的可能性进行评分的先验层(例如，602)。HOI对准层506、600还可包括离散化层(未示出)，该离散化层将评分函数二值化以产生最终对准，其中“0”可指示未对准(人类和对象没有交互)，并且“1”可指示对准(例如，人类和对象交互)。在一些方面，还可确定针对经对准的人类和对象的动词-名词对或交互预测。

在一些方面，接收装置、提取装置、用于预测的装置和/或确定装置例如包括被配置成执行所叙述的功能的CPU 102、与CPU 102相关联的程序存储器、专用存储器块118、全连通层362、路由连接处理单元216和/或CPU 422。在其他配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装备。

在以下经编号条款中描述了各实现示例：

1.一种方法，包括：

接收图像；

从该图像的多个位置提取第一特征集合；

基于所提取的第一特征集合来预测人类-对象对；以及

基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。

2.如条款1的方法，其中，该人类-对象对是基于几何先验集合或视觉先验集合来确定的。

3.如条款1或2的方法，其中，该几何先验集合是基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定的。

4.如条款1至3中任一者的方法，其中，该视觉先验集合是通过计算将动词-名词分类与该图像进行比较的置信度度量来确定的。

5.如条款1至4中任一者的方法，其中，该人类-对象对是通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定的。

6.如条款1至5中任一者的方法，其中，人类-对象交互是在该得分高于该预定义阈值时检测到的。

7.如条款1至6中任一者的方法，进一步包括：确定该人类-对象交互的分类。

8.一种装置，包括：

存储器；以及

耦合到该存储器的至少一个处理器，该至少一个处理器被配置成：

接收图像；

从该图像的多个位置提取第一特征集合；

基于所提取的第一特征集合来预测人类-对象对；以及

基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。

9.如条款8的装置，其中，该至少一个处理器被进一步配置成：基于几何先验集合或视觉先验集合来确定该人类-对象对。

10.如条款8或9的装置，其中，该至少一个处理器被进一步配置成：基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定该几何先验集合。

11.如条款8至10中任一者的装置，其中，该至少一个处理器被进一步配置成：通过计算将动词-名词分类与该图像进行比较的置信度度量来确定该视觉先验集合。

12.如条款8至11中任一者的装置，其中，该至少一个处理器被进一步配置成：通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定该人类-对象对。

13.如条款8至12中任一者的装置，其中，该至少一个处理器被进一步配置成：在该得分高于该预定义阈值的情况下检测到人类-对象交互。

14.如条款8至13中任一者的装置，其中，该至少一个处理器被进一步配置成：确定该人类-对象交互的分类。

15.一种设备，包括：

用于接收图像的装置；

用于从该图像的多个位置提取第一特征集合的装置；

用于基于所提取的第一特征集合来预测人类-对象对的装置；以及

用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的装置。

16.如条款15的设备，进一步包括：用于基于几何先验集合或视觉先验集合来确定该人类-对象对的装置。

17.如条款15或16的设备，进一步包括：用于基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定该几何先验集合的装置。

18.如条款15至17中任一者的设备，进一步包括：用于通过计算将动词-名词分类与该图像进行比较的置信度度量来确定该视觉先验集合的装置。

19.如条款15至18中任一者的设备，进一步包括：用于通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定该人类-对象对的装置。

20.如条款15至19中任一者的设备，进一步包括：用于在该得分高于该预定义阈值的情况下检测到人类-对象交互的装置。

21.如条款15至20中任一者的设备，进一步包括：用于确定该人类-对象交互的分类的装置。

22.一种其上编码有程序代码的非瞬态计算机可读介质，该程序代码由处理器执行并且包括：

用于接收图像的程序代码；

用于从该图像的多个位置提取第一特征集合的程序代码；

用于基于所提取的第一特征集合来预测人类-对象对的程序代码；以及

用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的程序代码。

23.如条款22的非瞬态计算机可读介质，进一步包括：用于基于几何先验集合或视觉先验集合来确定该人类-对象对的程序代码。

24.如条款22或23的非瞬态计算机可读介质，进一步包括：用于基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定该几何先验集合的程序代码。

25.如条款22至24中任一者的非瞬态计算机可读介质，进一步包括：用于通过计算将动词-名词分类与该图像进行比较的置信度度量来确定该视觉先验集合的程序代码。

26.如条款22至25中任一者的非瞬态计算机可读介质，进一步包括：用于通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定该人类-对象对的程序代码。

27.如条款22至26中任一者的非瞬态计算机可读介质，进一步包括：用于在该得分高于该预定义阈值的情况下检测到人类-对象交互的程序代码。

28.如条款22至27中任一者的非瞬态计算机可读介质，进一步包括：用于确定该人类-对象交互的分类的程序代码。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。

如所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及类似动作。附加地，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。

如所使用的，引述一列项目“中的至少一者”的短语指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。

结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。

结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可被整合到处理器。

所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。

所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在硬件中实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。

处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。

在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或附加地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如本地组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。

处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现所描述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。

机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。

如果在软件中实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和蓝光碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。以上的组合应当也被包括在计算机可读介质的范围内。

由此，某些方面可包括用于执行给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行所描述的操作。对于某些方面，计算机程序产品可包括包装材料。

此外，应当领会，用于执行所描述的方法和技术的模块和/或其他恰适装置可由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合到服务器以促成用于执行所描述的方法的装置的转移。替换地，所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合到或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供所描述的方法和技术的任何其他合适的技术。

将理解，权利要求并不被限于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (28)

1.一种方法，包括：

接收图像；

从所述图像的多个位置提取第一特征集合；

基于所提取的第一特征集合来预测人类-对象对；以及

基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。

2.如权利要求1所述的方法，其中，所述人类-对象对是基于几何先验集合或视觉先验集合来确定的。

3.如权利要求2所述的方法，其中，所述几何先验集合是基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定的。

4.如权利要求2所述的方法，其中，所述视觉先验集合是通过计算将动词-名词分类与所述图像进行比较的置信度度量来确定的。

5.如权利要求2所述的方法，其中，所述人类-对象对是通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定的。

6.如权利要求5所述的方法，其中，人类-对象交互是在所述得分高于所述预定义阈值时检测到的。

7.如权利要求1所述的方法，进一步包括：确定所述人类-对象交互的分类。

8.一种装置，包括：

存储器；以及

耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置成：

接收图像；

从所述图像的多个位置提取第一特征集合；

基于所提取的第一特征集合来预测人类-对象对；以及

基于候选交互集合和所预测的人类-对象对来确定人类-对象交互。

9.如权利要求8所述的装置，其中，所述至少一个处理器被进一步配置成：基于几何先验集合或视觉先验集合来确定所述人类-对象对。

10.如权利要求9所述的装置，其中，所述至少一个处理器被进一步配置成：基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定所述几何先验集合。

11.如权利要求9所述的装置，其中，所述至少一个处理器被进一步配置成：通过计算将动词-名词分类与所述图像进行比较的置信度度量来确定所述视觉先验集合。

12.如权利要求9所述的装置，其中，所述至少一个处理器被进一步配置成：通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定所述人类-对象对。

13.如权利要求12所述的装置，其中，所述至少一个处理器被进一步配置成：在所述得分高于所述预定义阈值的情况下检测到人类-对象交互。

14.如权利要求8所述的装置，其中，所述至少一个处理器被进一步配置成：确定所述人类-对象交互的分类。

15.一种设备，包括：

用于接收图像的装置；

用于从所述图像的多个位置提取第一特征集合的装置；

用于基于所提取的第一特征集合来预测人类-对象对的装置；以及

用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的装置。

16.如权利要求15所述的设备，进一步包括：用于基于几何先验集合或视觉先验集合来确定所述人类-对象对的装置。

17.如权利要求16所述的设备，进一步包括：用于基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定所述几何先验集合的装置。

18.如权利要求16所述的设备，进一步包括：用于通过计算将动词-名词分类与所述图像进行比较的置信度度量来确定所述视觉先验集合的装置。

19.如权利要求16所述的设备，进一步包括：用于通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定所述人类-对象对的装置。

20.如权利要求19所述的设备，进一步包括：用于在所述得分高于所述预定义阈值的情况下检测到人类-对象交互的装置。

21.如权利要求15所述的设备，进一步包括：用于确定所述人类-对象交互的分类的装置。

22.一种其上编码有程序代码的非瞬态计算机可读介质，所述程序代码由处理器执行并且包括：

用于接收图像的程序代码；

用于从所述图像的多个位置提取第一特征集合的程序代码；

用于基于所提取的第一特征集合来预测人类-对象对的程序代码；以及

用于基于候选交互集合和所预测的人类-对象对来确定人类-对象交互的程序代码。

23.如权利要求22所述的非瞬态计算机可读介质，进一步包括：用于基于几何先验集合或视觉先验集合来确定所述人类-对象对的程序代码。

24.如权利要求23所述的非瞬态计算机可读介质，进一步包括：用于基于目标人类边界框和所预测的人类边界框之间以及目标对象边界框和所预测的对象边界框之间的空间关系来确定所述几何先验集合的程序代码。

25.如权利要求23所述的非瞬态计算机可读介质，进一步包括：用于通过计算将动词-名词分类与所述图像进行比较的置信度度量来确定所述视觉先验集合的程序代码。

26.如权利要求23所述的非瞬态计算机可读介质，进一步包括：用于通过将基于几何先验和视觉先验的总和所计算出的得分与预定义阈值进行比较来确定所述人类-对象对的程序代码。

27.如权利要求26所述的非瞬态计算机可读介质，进一步包括：用于在所述得分高于所述预定义阈值的情况下检测到人类-对象交互的程序代码。

28.如权利要求22所述的非瞬态计算机可读介质，进一步包括：用于确定所述人类-对象交互的分类的程序代码。