CN108734112A - 一种交互行为实时检测方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种交互行为实时检测方法及装置，该方法包括：获取人与物体的实时图像，对所述图像进行预处理；对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；通过所述特征图获得人与物体的交互检测结果；通过交互检测算法，能够实时检测人与物体的交互行为，降低了图像检测时间，提高了检测精度。

Description

一种交互行为实时检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种交互行为实时检测方法及装置。

背景技术

检测人与物体交互具有非常重要的意义，如在驾驶辅助系统中，检测系统观测到驾驶员在看手机，可以及时给其警告，进而减少交通事故的发生；又如，对服务类机器人来说，其视觉系统不仅需要检测到人和物体，更需要检测到人与物体交互的行为，进而可以在更高层次上理解人的活动，更好的与人交流。

在现有的人与物体交互的监测方法中，检测一帧图像需要130ms以上的时间，无法达到实时高效。

发明内容

本发明的主要目的在于提出一种交互行为实时检测方法及装置，通过交互检测算法，能够实时检测人与物体的交互行为，降低了图像检测时间，提高了检测精度。

为实现上述目的，本发明提供的一种交互行为实时检测方法，包括：

获取人与物体的实时图像，对所述图像进行预处理；

对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；

通过所述特征图获得人与物体的交互检测结果。

可选地，所述通过所述特征图获得人与物体的交互检测结果包括：

根据物体特征图获得物体检测结果；根据交互特征图获得交互检测结果；

利用所述物体检测结果修正所述交互检测结果；

得到修正后的人与物体的交互检测结果。

可选地，所述利用所述物体检测结果修正所述交互检测结果之前还包括：

对所述物体检测结果和所述交互检测结果进行筛选。

可选地，所述获取人与物体的实时图像，对所述图像进行预处理包括：

获取人与物体的实时图像，所述图像为RGB三通道图像；

将图像缩放，尺寸调整为N*N，作为交互检测算法的输入。

可选地，所述对预处理后的图像进行特征提取具体为：

采用卷积神经网络对所述图像进行特征提取。

作为本发明的另一方面，提供的一种交互行为实时检测装置，包括：

获取模块，用于获取人与物体的实时图像，对所述图像进行预处理；

提取模块，用于对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；

交互检测模块，用于通过所述特征图获得人与物体的交互检测结果。

可选地，所述交互检测模块包括：

检测单元，用于根据物体特征图获得物体检测结果；根据交互特征图获得交互检测结果；

修正单元，用于利用所述物体检测结果修正所述交互检测结果；

交互检测单元，用于得到修正后的人与物体的交互检测结果。

可选地，所述交互检测模块还包括：

筛选单元，用于对所述物体检测结果和所述交互检测结果进行筛选。

可选地，所述获取模块包括：

图像获取单元，用于获取人与物体的实时图像，所述图像为RGB三通道图像；

缩放单元，用于将图像缩放，尺寸调整为N*N，作为交互检测算法的输入。

可选地，所述提取模块具体为：

采用卷积神经网络对所述图像进行特征提取。

本发明提出的一种交互行为实时检测方法及装置，该方法包括：获取人与物体的实时图像，对所述图像进行预处理；对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；通过所述特征图获得人与物体的交互检测结果；通过交互检测算法，能够实时检测人与物体的交互行为，降低了图像检测时间，提高了检测精度。

附图说明

图1为本发明实施例一提供的一种交互行为实时检测方法流程图；

图2为图1中步骤S10的方法流程图；

图3为本发明实施例一提供的特征提取示意图；

图4为图1中步骤S30的方法流程图；

图5为本发明实施例一提供的物体检测结果计算示意图；

图6为本发明实施例一提供的交互检测结果计算示意图；

图7为本发明实施例二提供的一种交互行为实时检测装置示范性结构框图；

图8为图7中获取模块的示范性结构框图；

图9为图7中交互检测模块的一种示范性结构框图；

图10为图7中交互检测模块的另一种示范性结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

实施例一

如图1所示，在本实施例中，一种交互行为实时检测方法，包括：

S10、获取人与物体的实时图像，对所述图像进行预处理；

S20、对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；

S30、通过所述特征图获得人与物体的交互检测结果。

在本实施例中，通过交互检测算法(Detecting Human and Object Interaction,D-HOI)，能够实时检测人与物体的交互行为，降低了图像检测时间，提高了检测精度。

如图2所示，在本实施例中，所述步骤S10包括：

S11、获取人与物体的实时图像，所述图像为RGB三通道图像；

S12、将图像缩放，尺寸调整为N*N，作为交互检测算法的输入。

在本实施例中，人与物体的实时图像可以是一张任意尺寸大小的图像，该图像为RGB三通道，将该图像进行缩放，尺寸调整为N×N(如544×544)，然后作为D-HOI的输入。

D-HOI的特征提取部分，采用的是卷积神经网络(Convolution Neuron Networks,CNNs)。其不限于某一特定网络，可以是目前主流的网络如VGG，Resnet等。如图3所示，以输入图像尺寸N×N，经过多次卷积(convolution)、池化(pooling)后输出特征图为Fout，Fout为M×M×C的特征图，其中M为长(w)和宽(h)，C为通道数，M通常是奇数(如13,9等)，为了保证中心点是一个唯一确定的方格。

如图4所示，在本实施例中，所述步骤S30包括：

S31、根据物体特征图获得物体检测结果；根据交互特征图获得交互检测结果；

S32、利用所述物体检测结果修正所述交互检测结果；

S33、得到修正后的人与物体的交互检测结果。

在本实施例中，物体检测结果的具体算法为：Fout经过Co个卷积核为3×3的卷积和softmax，输出一个M×M×Co的张量，其中，M为输出张量的长和宽(格子数)，如图5所示，Co为通道数。每个Co由No个anchor组成，每个anchor的组成如下表1所示：

p1

p2

…

…

pk

w

h

x

y

p

表1

其中，每个anchor包含一个box，由(w,h,x,y,p)组成，其中，p为该box的概率(0～1之间)。如图5所示，总共有M×M格子。w,h分别为该box的宽高，x,y为距离该格子左上角点Q的偏移量；一组概率，prob由(p1,p2,...,pk组成)，即k种不同的物体，则总共有k种不同的概率。

在本实施例中，交互检测结果的具体算法为：Fout经过Cr个卷积核为3x3的卷积和softmax，输出一个M×M×Cr的张量，其中M为预测的宽高(格子数)，Cr为每个格子包含的Nr个anchor，每个anchor的组成如下表2所示：

p1

p2

…

…

pt

w1

h1

x1

y1

w2

h2

x2

y2

p

表2

其中，每个anchor包括一组box，其由(w1,h1,x1,y1,w2,h2,x2,y2,p)组成，可简化为(b_h,b_o,p)包括两个box，一个预测人，一个预测物体及一个概率p；一组概率prob,由(p1,p2,...,pt)组成，由于总共有t个不同的交互关系，所以有t个不同的概率，每个概率代表不同的交互关系存在的可能性。

如图6所示，w1,h1,x1,y1为关系anchor中人(Person)的位置和大小，其中w1,h1代表宽高，x1,y1代表距离该格子左上角点Q的偏移量。w2,h2,x2,y2为关系anchor中物体(Object)的位置和大小，其中w2,h2代表宽高，x2,y2代表距离Q点的偏移量。

在本实施例中，所述步骤S32之前还包括：

对所述物体检测结果和所述交互检测结果进行筛选。

在本实施例中，对物体检测结果筛选的具体算法为：已知物体检测输出M×M×Co，即总共有M×M个格子(grid)，每个格子有No个anchor,每个anchor包含(p1,...,pk,w,h,x,y,p)。对于物体检测的结果采用非极大值抑制(non-maximum suppression,NMS)算法进行筛选，具体步骤如下。

1)对于每个格子中的No个anchor，从中选择p最大的那个anchor作为每个格子唯一的负责预测物体的anchor。结果剩余M×M个anchor。

2)对于M×M个anchor，如果该anchor的p小于一定阈值T(如0.05)，则删除掉该anchor，然后按概率p将剩余的anchor从大到小的进行排序。对于每两个anchor，计算两者的IoU(面积的交集比并集)，如果IoU大于0.4，则删除p较小的anchor。经过筛选后，留下少部分的anchor。

在本实施例中，对交互检测结果筛选的具体算法为：已知交互检测输出M×M×Cr，即总共有M×M个格子(grid)，每个格子有Nr个anchor，每个候选anchor包含(p1,...,pt,w1,h1,x1,y1,w2,h2,x2,y2,p)。对于交互检测输出的结果，按如下步骤进行筛选。

1)对于每个格子中的Nr个anchor，从中选择p最大的那个anchor作为每个格子唯一负责预测交互关系的anchor。结果剩余M×M个anchor。

2)对于M×M个anchor，如果该anchor的p小于一定阈值T(如0.05)，则删除掉该anchor。然后将所有anchor按概率p从大到小的进行排序，并对每两个anchor，计算两者的IoU。由于每个anchor包括两个方框分别为人、物体，IoU的计算方式与物体检测IoU有所不同，具体如下：

式中IoUper为两个anchor中人的框的IoU,IoUobj为两个anchor中物体的框的IoU。

如果IoU大于0.4，则删除概率小的那个anchor，保留概率大的那个。经过筛选后，剩余下来少部分的anchor。

经过前两步的筛选后，需要利用物体检测结果对关系检测结果进行矫正。

每个物体检测anchor(记为Oa)包含<prob,bobj,p>，其中prob代表不同物体的概率p1,p2,…,pk；bobj代表物体的位置和大小，即w,h,x,y；p代表bobj的概率。

prob中概率最大的那个代表该anchor预测的物体。

每个交互检测anchor(记为Ia)，以Ia表示，包含人和物体所在的区域大小以及两者的交互关系，以<prob,bh,bo,p>来表示，其中prob代表交互概率p1,p2,...,pt；bh代表人的位置和大小，即w1,h1,x1,y1；bo代表物体的位置和大小，即w2,h2,x2,y2；p代表bh和bo的概率。prob中最大的那个概率代表该交互的种类，同时该交互也限定了交互的物体的种类，以踢球为例，踢的交互关系限定了物体为球类。

对于每个Ia，遍历所有Oa，查找与Ia预测交互中物体种类相同的Oa,计算So，取所有计算结果中最大的那个替换Ia中的p(如果没有找到，则p置为0)，计算方式如下：

So＝Sdis×Sprob

式中，Sprob是关系anchor的概率p，Sdis是两个分支中预测的物体的距离的得分，Sdis可用如下公式表示

式中，dxy是两个box的中心距离，dwh是两个box的宽高上的差别，a,b,k为常数。dwh采用如下公式进行定义：

对于每个交互anchor，即(p1,...,pt,w1,h1,x1,y1,w2,h2,x2,y2,p)，设pmax为p1,…,pt中值最大的那个。如果p*pmax大于T(如0.25)则输出最终的交互检测结果。

实施例二

如图7所示，在本实施例中，一种交互行为实时检测装置，包括：

获取模块10，用于获取人与物体的实时图像，对所述图像进行预处理；

提取模块20，用于对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；

交互检测模块30，用于通过所述特征图获得人与物体的交互检测结果。

在本实施例中，通过交互检测算法(Detecting Human and Object Interaction,D-HOI)，能够实时检测人与物体的交互行为，降低了图像检测时间，提高了检测精度。

如图8所示，在本实施例中，所述获取模块包括：

图像获取单元11，用于获取人与物体的实时图像，所述图像为RGB三通道图像；

缩放单元12，用于将图像缩放，尺寸调整为N*N，作为交互检测算法的输入。

在本实施例中，人与物体的实时图像可以是一张任意尺寸大小的图像，该图像为RGB三通道，将该图像进行缩放，尺寸调整为N×N(如544×544)，然后作为D-HOI的输入。

D-HOI的特征提取部分，采用的是卷积神经网络(Convolution Neuron Networks,CNNs)。其不限于某一特定网络，可以是目前主流的网络如VGG，Resnet等。如图3所示，以输入图像尺寸N×N，经过多次卷积(convolution)、池化(pooling)后输出特征图为Fout，Fout为M×M×C的特征图，其中M为长(w)和宽(h)，C为通道数，M通常是奇数(如13,9等)，为了保证中心点是一个唯一确定的方格。

在本实施例中，所述提取模块具体为：

采用卷积神经网络对所述图像进行特征提取。

如图9所示，在本实施例中，所述交互检测模块包括：

检测单元31，用于根据物体特征图获得物体检测结果；根据交互特征图获得交互检测结果；

修正单元32，用于利用所述物体检测结果修正所述交互检测结果；

交互检测单元33，用于得到修正后的人与物体的交互检测结果。

在本实施例中，物体检测结果的具体算法为：Fout经过Co个卷积核为3×3的卷积和softmax，输出一个M×M×Co的张量，其中，M为输出张量的长和宽(格子数)，如图5所示，Co为通道数。每个Co由No个anchor组成，每个anchor的组成如下表1所示：

p1

p2

…

…

pk

w

h

x

y

p

表1

其中，每个anchor包含一个box，由(w,h,x,y,p)组成，其中，p为该box的概率(0～1之间)。如图5所示，总共有M×M格子。w,h分别为该box的宽高，x,y为距离该格子左上角点Q的偏移量；一组概率，prob由(p1,p2,...,pk组成)，即k种不同的物体，则总共有k种不同的概率。

在本实施例中，交互检测结果的具体算法为：Fout经过Cr个卷积核为3x3的卷积和softmax，输出一个M×M×Cr的张量，其中M为预测的宽高(格子数)，Cr为每个格子包含的Nr个anchor，每个anchor的组成如下表2所示：

p1

p2

…

…

pt

w1

h1

x1

y1

w2

h2

x2

y2

p

表2

其中，每个anchor包括一组box，其由(w1,h1,x1,y1,w2,h2,x2,y2,p)组成，可简化为(b_h,b_o,p)包括两个box，一个预测人，一个预测物体及一个概率p；一组概率prob,由(p1,p2,...,pt)组成，由于总共有t个不同的交互关系，所以有t个不同的概率，每个概率代表不同的交互关系存在的可能性。

如图6所示，w1,h1,x1,y1为关系anchor中人(Person)的位置和大小，其中w1,h1代表宽高，x1,y1代表距离该格子左上角点Q的偏移量。w2,h2,x2,y2为关系anchor中物体(Object)的位置和大小，其中w2,h2代表宽高，x2,y2代表距离Q点的偏移量。

如图10所示，在本实施例中，所述交互检测模块还包括：

筛选单元34，用于对所述物体检测结果和所述交互检测结果进行筛选。

在本实施例中，对物体检测结果筛选的具体算法为：已知物体检测输出M×M×Co，即总共有M×M个格子(grid)，每个格子有No个anchor,每个anchor包含(p1,...,pk,w,h,x,y,p)。对于物体检测的结果采用非极大值抑制(non-maximum suppression,NMS)算法进行筛选，具体步骤如下。

1)对于每个格子中的No个anchor，从中选择p最大的那个anchor作为每个格子唯一的负责预测物体的anchor。结果剩余M×M个anchor。

2)对于M×M个anchor，如果该anchor的p小于一定阈值T(如0.05)，则删除掉该anchor，然后按概率p将剩余的anchor从大到小的进行排序。对于每两个anchor，计算两者的IoU(面积的交集比并集)，如果IoU大于0.4，则删除p较小的anchor。经过筛选后，留下少部分的anchor。

在本实施例中，对交互检测结果筛选的具体算法为：已知交互检测输出M×M×Cr，即总共有M×M个格子(grid)，每个格子有Nr个anchor，每个候选anchor包含(p1,...,pt,w1,h1,x1,y1,w2,h2,x2,y2,p)。对于交互检测输出的结果，按如下步骤进行筛选。

1)对于每个格子中的Nr个anchor，从中选择p最大的那个anchor作为每个格子唯一负责预测交互关系的anchor。结果剩余M×M个anchor。

2)对于M×M个anchor，如果该anchor的p小于一定阈值T(如0.05)，则删除掉该anchor。然后将所有anchor按概率p从大到小的进行排序，并对每两个anchor，计算两者的IoU。由于每个anchor包括两个方框分别为人、物体，IoU的计算方式与物体检测IoU有所不同，具体如下：

式中IoUper为两个anchor中人的框的IoU,IoUobj为两个anchor中物体的框的IoU。

如果IoU大于0.4，则删除概率小的那个anchor，保留概率大的那个。经过筛选后，剩余下来少部分的anchor。

经过前两步的筛选后，需要利用物体检测结果对关系检测结果进行矫正。

每个物体检测anchor(记为Oa)包含<prob,bobj,p>，其中prob代表不同物体的概率p1,p2,…,pk；bobj代表物体的位置和大小，即w,h,x,y；p代表bobj的概率。

prob中概率最大的那个代表该anchor预测的物体。

每个交互检测anchor(记为Ia)，以Ia表示，包含人和物体所在的区域大小以及两者的交互关系，以<prob,bh,bo,p>来表示，其中prob代表交互概率p1,p2,...,pt；bh代表人的位置和大小，即w1,h1,x1,y1；bo代表物体的位置和大小，即w2,h2,x2,y2；p代表bh和bo的概率。prob中最大的那个概率代表该交互的种类，同时该交互也限定了交互的物体的种类，以踢球为例，踢的交互关系限定了物体为球类。

对于每个Ia，遍历所有Oa，查找与Ia预测交互中物体种类相同的Oa,计算So，取所有计算结果中最大的那个替换Ia中的p(如果没有找到，则p置为0)，计算方式如下：

So＝Sdis×Sprob

式中，Sprob是关系anchor的概率p，Sdis是两个分支中预测的物体的距离的得分，Sdis可用如下公式表示

式中，dxy是两个box的中心距离，dwh是两个box的宽高上的差别，a,b,k为常数。dwh采用如下公式进行定义：

对于每个交互anchor，即(p1,...,pt,w1,h1,x1,y1,w2,h2,x2,y2,p)，设pmax为p1,…,pt中值最大的那个。如果p*pmax大于T(如0.25)则输出最终的交互检测结果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种交互行为实时检测方法，其特征在于，包括：

获取人与物体的实时图像，对所述图像进行预处理；

对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；

通过所述特征图获得人与物体的交互检测结果。

2.根据权利要求1所述的一种交互行为实时检测方法，其特征在于，所述通过所述特征图获得人与物体的交互检测结果包括：

根据物体特征图获得物体检测结果；根据交互特征图获得交互检测结果；

利用所述物体检测结果修正所述交互检测结果；

得到修正后的人与物体的交互检测结果。

3.根据权利要求2所述的一种交互行为实时检测方法，其特征在于，所述利用所述物体检测结果修正所述交互检测结果之前还包括：

对所述物体检测结果和所述交互检测结果进行筛选。

4.根据权利要求1所述的一种交互行为实时检测方法，其特征在于，所述获取人与物体的实时图像，对所述图像进行预处理包括：

获取人与物体的实时图像，所述图像为RGB三通道图像；

将图像缩放，尺寸调整为N*N，作为交互检测算法的输入。

5.根据权利要求4所述的一种交互行为实时检测方法，其特征在于，所述对预处理后的图像进行特征提取具体为：

采用卷积神经网络对所述图像进行特征提取。

6.一种交互行为实时检测装置，其特征在于，包括：

获取模块，用于获取人与物体的实时图像，对所述图像进行预处理；

提取模块，用于对预处理后的图像进行特征提取，获得特征图，所述特征图包括物体特征图和交互特征图；

交互检测模块，用于通过所述特征图获得人与物体的交互检测结果。

7.根据权利要求6所述的一种交互行为实时检测装置，其特征在于，所述交互检测模块包括：

检测单元，用于根据物体特征图获得物体检测结果；根据交互特征图获得交互检测结果；

修正单元，用于利用所述物体检测结果修正所述交互检测结果；

交互检测单元，用于得到修正后的人与物体的交互检测结果。

8.根据权利要求7所述的一种交互行为实时检测装置，其特征在于，所述交互检测模块还包括：

筛选单元，用于对所述物体检测结果和所述交互检测结果进行筛选。

9.根据权利要求6所述的一种交互行为实时检测装置，其特征在于，所述获取模块包括：

图像获取单元，用于获取人与物体的实时图像，所述图像为RGB三通道图像；

缩放单元，用于将图像缩放，尺寸调整为N*N，作为交互检测算法的输入。

10.根据权利要求9所述的一种交互行为实时检测装置，其特征在于，所述提取模块具体为：

采用卷积神经网络对所述图像进行特征提取。