CN111027510A - 行为检测方法及装置、存储介质 - Google Patents

Abstract

本公开提供了一种行为检测方法及装置、存储介质，其中，该方法包括：对获取的视频流进行人体检测，确定所述视频流中的至少一个对象；在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息；其中，所述目标信息至少用于指示每个所述对象的轮廓及其所在位置分别对应的信息；根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。本公开通过对视频流进行分析，自动确定该视频流中存在预定行为的目标对象，提高了行为分析的准确性。

Description

行为检测方法及装置、存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及行为检测方法及装置、存储介质。

背景技术

目前对于各种行为的检测，主要采用传感器检测和人工检测中的至少一种方式。以轨道交通中的逃票行为的判别为例，可以采用在闸机上增加行人传感器，当闸机通道同时检测到两个人时，进行报警，由附近的执法人员前往查看。但是，这种判别方式容易造成疏漏，如果出现其他的类似于翻越闸机等的逃票行为时，无法有效遏制，因而造成不良的社会影响，同时会给运营系统造成损失。

发明内容

本公开提供了一种行为检测方法及装置、存储介质。

根据本公开实施例的第一方面，提供一种行为检测方法，所述方法包括：对获取的视频流进行人体检测，确定所述视频流中的至少一个对象；在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息；其中，所述目标信息至少用于指示每个所述对象的轮廓对应的信息，以及每个所述对象的轮廓所在位置对应的信息；根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。

在一些可选实施例中，所述对获取的视频流进行人体检测，确定所述视频流中的至少一个对象，包括：对获取的视频流的连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象。

在一些可选实施例中，所述目标信息用于指示每个所述对象的轮廓对应的信息，所述目标信息包括：同一所述对象的轮廓之间的轮廓变化信息；和/或第一对象的轮廓相对于第二对象的轮廓重叠信息。

在一些可选实施例中，所述在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息，包括以下至少一项：确定所述视频流的连续多帧图像中任意连续两帧图像上每个所述对象对应的对象识别框的变化信息，将所述对象识别框的变化信息作为每个所述对象的轮廓的所述第一轮廓变化信息；在所述视频流的连续多帧图像中，确定每帧图像上所述第一对象对应的对象识别框与所述第二对象对应的对象识别框的重叠面积信息，将所述重叠面积信息作为所述第一对象的轮廓对应的所述轮廓重叠信息。

在一些可选实施例中，所述目标信息用于指示每个所述对象所在位置对应的信息，所述目标信息包括：每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。

在一些可选实施例中，所述在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息，包括：在所述视频流的所述连续多帧图像中，确定每帧图像上每个所述对象对应的对象识别框分别相对于所述通行设备对应的设备识别框的相对位置信息。

在一些可选实施例中，所述根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象，包括：响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为存在所述预定行为的所述目标对象。

在一些可选实施例中，所述根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象，包括：响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为可能存在所述预定行为的备选对象；在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像；对所述连续多帧备选图像中的所述备选对象分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果；根据所述动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果；将所述目标检测结果指示进行了所述预定行为所对应的动作的所述备选对象作为存在所述预定行为的所述目标对象。

在一些可选实施例中，所述在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像，包括：在所述连续多帧图像中，将最早确定所述备选对象的一帧图像、以及最早确定所述备选对象的一帧图像之前和/或之后相邻的至少一帧图像作为所述连续多帧备选图像。

在一些可选实施例中，所述预设位置条件包括：所述相对位置信息所指示的数值小于预设距离；所述预设轮廓条件包括：所述轮廓变化信息所指示的数值大于或等于相应的预设轮廓变化值，和/或所述轮廓重叠信息所指示的数值大于或等于预设轮廓重叠值。

在一些可选实施例中，所述在所述至少一个对象中确定存在预定行为的目标对象之后，所述方法还包括：将包括所述目标对象的连续多帧图像发送到预定终端；其中，所述预定终端用于显示包括所述目标对象的连续多帧图像。

在一些可选实施例中，所述在所述至少一个对象中确定存在预定行为的目标对象之后，所述方法还包括：从所述视频流中获取所述目标对象的目标人脸图像；将所述目标人脸图像与人脸识别数据库中的图像进行人脸匹配，获得所述目标人脸图像对应的目标身份信息；根据所述目标身份信息，建立与所述目标对象对应的且与所述预定行为关联的档案。

根据本公开实施例的第二方面，提供一种行为检测装置，包括：第一确定模块，用于对获取的视频流进行人体检测，确定所述视频流中的至少一个对象；第二确定模块，用于在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息；其中，所述目标信息至少用于指示每个所述对象的轮廓对应的信息，以及每个所述对象的轮廓所在位置对应的信息；第三确定模块，用于根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。

在一些可选实施例中，所述第一确定模块包括：标识子模块，用于对获取的视频流的连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象。

在一些可选实施例中，所述目标信息用于指示每个所述对象的轮廓对应的信息，所述目标信息包括：同一所述对象的轮廓之间的轮廓变化信息；和/或第一对象的轮廓相对于第二对象的轮廓重叠信息。

在一些可选实施例中，所述第二确定模块包括以下至少一项：第一确定子模块，用于确定所述视频流的连续多帧图像中任意连续两帧图像上每个所述对象对应的对象识别框的变化信息，将所述对象识别框的变化信息作为每个所述对象的轮廓的所述第一轮廓变化信息；第二确定子模块，用于在所述视频流的连续多帧图像中，确定每帧图像上所述第一对象对应的对象识别框与所述第二对象对应的对象识别框的重叠面积信息，将所述重叠面积信息作为所述第一对象的轮廓对应的所述轮廓重叠信息。

在一些可选实施例中，所述目标信息用于指示每个所述对象的轮廓所在位置对应的信息，所述目标信息包括：每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。

在一些可选实施例中，所述第二确定模块包括：第三确定子模块，用于在所述视频流的所述连续多帧图像中，确定每帧图像上每个所述对象对应的对象识别框分别相对于所述通行设备对应的设备识别框的相对位置信息。

在一些可选实施例中，所述第三确定模块包括：第四确定子模块，用于响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；第五确定子模块，用于将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为存在所述预定行为的所述目标对象。

在一些可选实施例中，所述第三确定模块包括：第六确定子模块，用于响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；第七确定子模块，用于将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为可能存在所述预定行为的备选对象；第八确定子模块，用于在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像；检测子模块，用于对所述连续多帧备选图像中的所述备选对象分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果；第九确定子模块，用于根据所述动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果；第十确定字模块，用于将所述目标检测结果指示进行了所述预定行为所对应的动作的所述备选对象作为存在所述预定行为的所述目标对象。

在一些可选实施例中，所述第八确定子模块包括：在所述连续多帧图像中，将最早确定所述备选对象的一帧图像、以及最早确定所述备选对象的一帧图像之前和/或之后相邻的至少一帧图像作为所述连续多帧备选图像。

在一些可选实施例中，所述预设位置条件包括：所述相对位置信息所指示的数值小于预设距离；所述预设轮廓条件包括：所述轮廓变化信息所指示的数值大于或等于相应的预设轮廓变化值，和/或所述轮廓重叠信息所指示的数值大于或等于预设轮廓重叠值。

在一些可选实施例中，所述装置还包括：发送模块，用于将包括所述目标对象的连续多帧图像发送到预定终端；其中，所述预定终端用于显示包括所述目标对象的连续多帧图像。

在一些可选实施例中，所述装置还包括：第一获取模块，用于从所述视频流中获取所述目标对象的目标人脸图像；第二获取模块，用于将所述目标人脸图像与人脸识别数据库中的图像进行人脸匹配，获得所述目标人脸图像对应的目标身份信息；行为档案建立模块，用于根据所述目标身份信息，建立与所述目标对象对应的且与所述预定行为关联的档案。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的行为检测方法。

根据本公开实施例的第四方面，提供一种行为检测装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面任一项所述的行为检测方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，可以先对采集到的视频流进行人体检测，确定出现在该视频流中的至少一个对象，在视频流的连续多帧图像中，可以确定每个对象的轮廓的目标信息。其中，目标信息至少用于指示每个对象的轮廓对应的信息，以及每个对象的轮廓所在位置对应的信息。进一步地，根据该目标信息，可以在至少一个对象中确定存在预定行为的目标对象。本公开通过对视频流进行分析，自动确定该视频流中存在预定行为的目标对象，提高了行为分析的准确性。

在本公开实施例中，可以对获取的视频流连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象，以便后续根据对象识别框确定相应的目标信息，可用性高。

在本公开实施例中，如果目标信息用于指示每个对象的轮廓所对应的信息，那么目标信息可以包括同一对象的轮廓之间的轮廓变化信息，和/或第一对象的轮廓相对于第二对象的轮廓重叠信息。后续可以根据轮廓变化信息和轮廓重叠信息中的至少一项，结合轮廓所在位置的位置信息自动进行行为分析，提高了行为分析的准确性。

在本公开实施例中，可以将每个对象的对象识别框的变化信息作为每个对象的轮廓所对应的轮廓变化信息。还可以将第一对象与第二对象分别对应的对象识别框的重叠面积信息，作为第一对象对应的轮廓重叠信息。实现简便，可用性高。

在本公开实施例中，如果目标信息用于指示每个所述对象的轮廓所在位置对应的信息，那么目标信息可以包括每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。相应地，可以将每个对象对应的对象识别框所在位置相对于通行设备对应的设备识别框所在位置的相对位置信息作为该对象对应的所述相对位置信息。结合上述轮廓变化信息和轮廓重叠信息中的至少一项，可以自动进行行为分析，提高了行为分析的准确性。

在本公开实施例中，在视频流的连续多帧图像中，可以将所述相对位置信息满足预设位置条件，且所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的对象作为存在预定行为的目标对象。实现了自动进行行为分析的目的，提高了行为分析的准确性。

在本公开实施例中，在视频流的连续多帧图像中，可以将所述相对位置信息满足预设位置条件，且所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的对象作为可能存在预定行为的备选对象。在确定了备选对象之后，还可以在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像。对连续多帧备选图像中的备选对象进一步分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果。结合动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果。将目标检测结果指示进行了所述预定行为的所述备选对象作为进行了所述预定行为的目标对象。进一步提高了行为分析的准确性。

在本公开实施例中，可以将视频流中包括目标对象的连续多帧图像发送到预定终端，由该预定终端进行显示，从而可以根据预定终端显示的包括该目标对象的连续多帧图像进一步确认行为分析结果是否准确，提高了行为分析的准确性。

本公开实施例中，还可以从视频流中获取目标对象的目标人脸图像，通过与人脸图像数据库中的图像进行人脸匹配，可以得到目标对象的目标身份信息。从而可以根据目标身份信息，建立与目标对象对应的且与该预定行为关联的档案，实现了建立精确的行为关联档案，供行为分析人员或监督该预定行为的工作人员进行参考的目的。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种行为检测方法流程图；

图2是本公开根据一示例性实施例示出的另一种行为检测方法流程图；

图3A是本公开根据一示例性实施例示出的一种轮廓变化所对应的场景示意图；

图3B是本公开根据一示例性实施例示出的另一种轮廓重叠所对应的场景示意图；

图4是本公开根据一示例性实施例示出的一种相对位置信息所对应的场景示意图；

图5是本公开根据一示例性实施例示出的另一种行为检测方法流程图；

图6A是本公开根据一示例性实施例示出的另一种轮廓变化所对应的场景示意图；

图6B是本公开根据一示例性实施例示出的另一种轮廓变化所对应的场景示意图；

图7是本公开根据一示例性实施例示出的另一种行为检测方法流程图；

图8是本公开根据一示例性实施例示出的另一种行为检测方法流程图；

图9是本公开根据一示例性实施例示出的另一种行为检测方法流程图；

图10是本公开根据一示例性实施例示出的一种行为检测装置框图；

图11是本公开根据一示例性实施例示出的一种用于行为检测装置的一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开实施例提供了一种行为检测方法及装置、存储介质，可以用于智慧城市中各种对预定行为进行检测的场景，预定行为包括但不限于在地铁站、渡轮、飞机场、车站等地点的逃票/尾随行为，在公园、游乐场等旅游景区的游客行为，例如随地吐痰、逃票、危险动作行为等，还可以包括在学校对校内人员的校内行为，例如是否存在逃学、是否存在其他危险性动作等。此外，预定行为还可以包括在看守所等地点的犯人监管行为。

在本公开实施例中，后续以地铁出闸逃票行为进行举例说明，其他可以通过本方案的行为检测方法得到的行为分析和监管方法均属于本公开的保护范围。

本公开实施例提供了一种行为检测方法，可以用于电子设备，该电子设备可以包括进行视频流采集的摄像头，通过该电子设备采集的视频流进行行为检测。

如图1所示，图1是根据一示例性实施例示出的一种行为检测方法，包括以下步骤：

在步骤101中，对获取的视频流进行人体检测，确定所述视频流中的至少一个对象。

通过摄像头可以采集到当前场景中的视频流，对视频流的连续多帧图像分别进行人体检测，可以获得该视频流中的至少一个对象，至少一个对象是可移动的对象，可以指人体。

在步骤102中，在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息。

本公开实施例中，目标信息至少用于指示每个所述对象的轮廓对应的信息，以及每个所述对象的轮廓所在位置对应的信息。其中，每个对象的轮廓对应的信息可以是同一个对象的轮廓之间的轮廓变化信息，或者还可以是第一对象的轮廓相对于第二对象的轮廓重叠信息。其中，第一对象是任意一个可移动的对象，第二对象是不同于第一对象的任一个可移动对象。

每个对象的轮廓所在位置对应的信息可以是该对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。

在步骤103中，根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。

在上述实施例中，可以先对采集到的视频流进行人体检测，确定出现在该视频流中的至少一个对象，在视频流的连续多帧图像中，可以确定每个对象的轮廓的目标信息。其中，目标信息至少用于指示每个对象的轮廓对应的信息，以及每个对象的轮廓所在位置对应的信息。进一步地，根据该目标信息，可以在至少一个对象中确定存在预定行为的目标对象。本公开通过对视频流进行分析，自动确定该视频流中存在预定行为的目标对象，提高了行为分析的准确性。

在一些可选实施例中，步骤101可以包括：

对获取的视频流的连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象。

在本公开实施例中，可以通过深度学习算法，包括但不限于YoloNet、CornerNet等方法对视频流包括的连续多帧图像分别进行人体检测，在每帧图像上用不同的人体标识框标识出至少一个对象，例如图2所示。

在一些可选实施例中，目标信息用于指示每个所述对象的轮廓对应的信息，所述目标信息可以包括：同一所述对象的轮廓之间的轮廓变化信息；和/或第一对象的轮廓相对于第二对象的轮廓重叠信息。

在本公开实施例中，同一对象的轮廓之间的轮廓变化信息可以包括该对象的轮廓发生了变高、变矮、变宽、变窄等任意一种变化时，该对象的对象识别框的变化信息。

第一对象是任意一个可移动的对象，第二对象是不同于第一对象的任一个可移动对象。第一对象的轮廓相对于第二对象的轮廓重叠信息可以指两个对象的对象识别框之间相互重叠的重叠面积信息。

相应地，步骤102可以包括以下至少一项：

在步骤201中，确定所述视频流的连续多帧图像中任意连续两帧图像上每个所述对象对应的对象识别框的变化信息，将所述对象识别框的变化信息作为每个所述对象的轮廓所对应的所述轮廓变化信息。

在本公开实施例中，轮廓变化信息可以指同一对象在任意连续两帧图像上所对应的对象识别框的变化信息。该对象识别框的变化信息可以包括但不限于变宽、变窄等，例如图3A所示，当然也可能会出现变矮、变高等任意一种变化，本公开对此不作限定。

在步骤202中，在所述视频流的连续多帧图像中，确定每帧图像上第一对象对应的对象识别框与第二对象对应的对象识别框的重叠面积信息，将所述重叠面积信息作为所述第一对象的轮廓对应的所述轮廓重叠信息。

其中，轮廓重叠信息可以指每帧图像上每个第一对象对应的对象识别框相对于第二对象对应的对象识别框的重叠面积信息，例如图3B所示。第一对象是任意一个可移动的对象，第二对象是不同于第一对象的任一个可移动对象。

在一些可选实施例中，目标信息还用于指示每个所述对象所在位置对应的信息，所述目标信息包括：每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。其中，该通信设备可以是闸机，相对位置信息可以指每个可移动的对象对应的对象识别框所在位置相对于闸机对应的设备识别框所在位置的相对位置信息。

相应地，步骤102可以包括：

在步骤203中，在所述视频流的所述连续多帧图像中，确定每帧图像上每个所述对象对应的对象识别框分别相对于所述通行设备对应的设备识别框的相对位置信息。

在本公开实施例中，可以预先通过用于进行设备检测的神经网络检测出每帧图像上通行设备所在的位置，并通过设备识别框标识出来。进一步地，可以将每帧图像上每个对象识别框相对于设备识别框之间的相对位置信息作为该对象的轮廓所在位置相对于通行设备所在位置的相对位置信息，例如图4所示。

在一些可选实施例中，例如图5所示，步骤103可以包括：

在步骤301中，响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件。

在本公开实施例中，所述预设位置条件包括：所述相对位置信息所指示的数值小于预设距离。即本公开实施例中，需要在同一对象距离通行设备的距离较近时，判断该对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件。其中，预设轮廓条件包括：所述轮廓变化信息所指示的数值大于或等于相应的预设轮廓变化值，和/或所述轮廓重叠信息所指示的数值大于或等于预设轮廓重叠值。

在步骤302中，将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为存在所述预定行为的所述目标对象。

在本公开实施例中，如果轮廓变宽，且轮廓变化信息所指示的数值大于或等于预设轮廓变化值，说明可能有两个对象并排通过通行设备。如果轮廓变窄，且轮廓变化信息所指示的数值大于或等于预设轮廓变化值，说明可能有对象侧身通过通行设备。如果轮廓变高，即该对象对应的对象识别框的底部相对于水平面向上方移动，例如图6A所示，且向上方移动的轮廓变化信息所指示的数值大于或等于预设轮廓变化值，说明可能有对象翻越通行设备。如果轮廓变低，即该对象对应的对象识别框的顶部相对于水平面向下方移动，例如图6B所示，且向下方移动的轮廓变化信息所指示的数值大于或等于预设轮廓变化值，说明可能有对象钻过该通信设备。因此，可以在轮廓变化信息所指示的数值大于或等于相应的预设轮廓变化值时，确定该对象是存在预定行为的目标对象。

或者轮廓重叠信息所指示的数值大于或等于预设轮廓重叠值，那么可能有对象紧挨/尾随其他对象通过通行设备，此时也可以认为该对象是存在预定行为的目标对象。

上述实施例中，在视频流的连续多帧图像中，可以将所述相对位置信息满足预设位置条件，且所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的对象作为存在预定行为的目标对象。实现了自动进行行为分析的目的，提高了行为分析的准确性。

在一些可选实施例中，例如图7所示，步骤103可以包括：

在步骤401中，响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件。

步骤401与步骤301相同，在此不再赘述。

在步骤402中，将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为可能存在所述预定行为的备选对象。

在本公开实施例中，不直接将轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为存在预定行为的目标对象，而是作为可能存在预定行为的备选对象，后续对备选对象的行为进行进一步分析，从而确定目标对象，提高了确定存在预定行为的目标对象的准确性。

在步骤403中，在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像。

连续多帧备选图像是在视频流的多帧连续图像中与存在预定行为的备选对象关联的连续多帧图像。

在步骤404中，对所述连续多帧备选图像中的所述备选对象分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果。

在本公开实施例中，可以采用双流法对连续多帧备选图像中的备选对象进行人体动作检测，可以将连续多帧备选图像输入预先训练好的动作检测模型，获得人体动作检测模型输出的人体动作检测结果，例如人体动作检测结果为跨越障碍物动作、贴近障碍物侧身动作、钻过障碍物动作等，障碍物可以是通行设备，例如闸机。

还可以将连续多帧备选图像输入预先训练好的人体关键点检测模型，获得人体关键点检测模型输出的关键点检测结果，在本公开实施例中，关键点检测结果可以包括但不限于头部、四肢、躯干等关键部位的姿态等。在本公开实施例中，对连续多帧备选图像再次进行人体关键点检测的目的也是为了更好地确定该备选对象所执行的动作，确定该动作是否属于预定行为对应的动作。

在步骤405中，根据所述动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果。

在本公开实施例中，可以通过预设的算法确定所述动作检测结果和所述关键点检测结果分别对应的可能性概率值。

例如可以预先训练一个可能性概率模型，训练过程中的样本图像可以采用带标签的动作检测样本图像和带标签的关键点检测样本图像，对该可能性概率模型进行训练，调整该模型的参数，从而在输入带标签的动作检测样本图像时，该模型输出动作检测结果的可能性概率值大于关键点检测结果的可能性概率值，以及在输入带标签的关键点检测样本图像时，该模型输出的关键点检测结果的可能性概率值大于动作检测结果的可能性概率值。

在本公开实施例中，可以在获得动作检测结果和关键点检测结果之后，将连续多帧目标图像输入可能性概率模型，获得该模型输出的所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，如果动作检测结果对应的可能性概率值大于关键点检测结果对应的可能性概率值，则可以根据动作检测结果确定目标检测结果，例如动作检测结果为钻过障碍物动作，则可以确定目标检测结果为备选对象进行了钻过障碍物的动作。

同样地，如果关键点检测结果对应的可能性概率值大于动作检测结果对应的可能性概率值，在可以根据关键点检测结果确定目标检测结果，例如关键点检测结果为腿部弯曲，躯干和头部前倾，则根据关键点检测结果可以确定目标检测结果为备选对象进行了跨越障碍物的动作。

在步骤406中，将所述目标检测结果指示进行了所述预定行为所对应的动作的所述备选对象作为存在所述预定行为的所述目标对象。

预定行为为逃票行为时，该预定行为对应的动作可以包括钻过障碍物动作、跨越障碍物动作、并行通过障碍物动作和紧贴其他对象通过障碍物等动作。

在本公开实施例中，如果目标检测结果指示备选对象进行了预定行为所对应的动作，那么可以确定该备选对象属于存在所述预定行为的目标对象。否则，可以认为该备选对象由于低头捡起掉落的物品、上台阶或其他原因造成的误判，不存在预定行为所对应的动作。

上述实施例中，在确定了备选对象之后，还可以在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像。对连续多帧备选图像中的备选对象进一步分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果。结合动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果。将目标检测结果指示进行了所述预定行为的所述备选对象作为进行了所述预定行为的目标对象。进一步提高了行为分析的准确性。

在一些可选实施例中，上述步骤403可以包括：

在所述连续多帧图像中，将最早确定所述备选对象的一帧图像、以及最早确定所述备选对象的一帧图像之前和/或之后相邻的至少一帧图像作为所述连续多帧备选图像。

在本公开实施例中，可以将视频流的多帧连续图像中最早确定出备选对象的一帧图像，以及最早确定所述备选对象的一帧图像之前和/或之后相邻的至少一帧图像作为与该备选对象关联的连续多帧备选图像。

在一些可选实施例中，例如图8所示，在完成步骤103之后，上述方法还可以包括：

在步骤104中，将包括所述目标对象的连续多帧图像发送到预定终端。

在确定出目标对象之后，可以将包括目标对象的连续多帧图像发送给预定终端进行显示。工作人员可以根据该预定终端上显示的图像再次确认是否存在预定行为，从而提高行为检测的准确性。

在一些可选实施例中，例如图9所示，在完成步骤103之后，上述方法还可以包括：

在步骤105中，从所述视频流中获取所述目标对象的目标人脸图像。

在本公开实施例中，可以对视频流包括的多帧图像进行人脸识别，获取目标对象的目标人脸图像。

在步骤106中，将所述目标人脸图像与人脸识别数据库中的图像进行人脸匹配，获得所述目标人脸图像对应的目标身份信息。

其中，所述人脸识别数据库可以为公安系统或第三方提供的人脸图像与身份信息对应的图像数据库，通过人脸匹配，可以确定出目标人脸图像对应的目标身份信息，例如姓名、身份证号等目标身份信息。

在步骤107中，根据所述目标身份信息，建立与所述目标对象对应的且与所述预定行为关联的档案。

根据目标身份信息，可以自动在运营系统、公安系统或个人信用系统中建立与所述目标对象对应的且与预定行为关联的档案。例如，姓名张三，身份证号为ABC，于2019年1月1日在某地存在预定行为，该预定行为为逃票行为。

上述实施例中，还可以从视频流中获取目标对象的目标人脸图像，通过与人脸图像数据库中的图像进行人脸匹配，可以得到目标对象的目标身份信息。从而可以根据目标身份信息，建立与目标对象对应的且与该预定行为关联的档案，实现了建立精确的行为关联档案，供行为分析人员或监督该预定行为的工作人员进行参考的目的。

与前述方法实施例相对应，本公开还提供了装置的实施例。

如图10所示，图10是本公开根据一示例性实施例示出的一种行为检测装置框图，装置包括：第一确定模块510，用于对获取的视频流进行人体检测，确定所述视频流中的至少一个对象；第二确定模块520，用于在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息；其中，所述目标信息至少用于指示每个所述对象的轮廓对应的信息，以及每个所述对象的轮廓所在位置对应的信息；第三确定模块530，用于根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。

在一些可选实施例中，所述第一确定模块包括：标识子模块，用于对获取的视频流的连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象。

在一些可选实施例中，所述目标信息用于指示每个所述对象的轮廓对应的信息，所述目标信息包括：同一所述对象的轮廓之间的轮廓变化信息；和/或第一对象的轮廓相对于第二对象的轮廓重叠信息。

在一些可选实施例中，所述第二确定模块包括以下至少一项：第一确定子模块，用于确定所述视频流的连续多帧图像中任意连续两帧图像上每个所述对象对应的对象识别框的变化信息，将所述对象识别框的变化信息作为每个所述对象的轮廓的所述第一轮廓变化信息；第二确定子模块，用于在所述视频流的连续多帧图像中，确定每帧图像上所述第一对象对应的对象识别框与所述第二对象对应的对象识别框的重叠面积信息，将所述重叠面积信息作为所述第一对象的轮廓对应的所述轮廓重叠信息。

在一些可选实施例中，所述目标信息用于指示每个所述对象的轮廓所在位置对应的信息，所述目标信息包括：每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。

在一些可选实施例中，所述第二确定模块包括：第三确定子模块，用于在所述视频流的所述连续多帧图像中，确定每帧图像上每个所述对象对应的对象识别框分别相对于所述通行设备对应的设备识别框的相对位置信息。

在一些可选实施例中，所述第三确定模块包括：第四确定子模块，用于响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；第五确定子模块，用于将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为存在所述预定行为的所述目标对象。

在一些可选实施例中，所述第三确定模块包括：第六确定子模块，用于响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；第七确定子模块，用于将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为可能存在所述预定行为的备选对象；第八确定子模块，用于在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像；检测子模块，用于对所述连续多帧备选图像中的所述备选对象分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果；第九确定子模块，用于根据所述动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果；第十确定子模块，用于将所述目标检测结果指示进行了所述预定行为所对应的动作的所述备选对象作为存在所述预定行为的所述目标对象。

在一些可选实施例中，所述第八确定子模块包括：在所述连续多帧图像中，将最早确定所述备选对象的一帧图像、以及最早确定所述备选对象的一帧图像之前和/或之后相邻的至少一帧图像作为所述连续多帧备选图像。

在一些可选实施例中，所述预设位置条件包括：所述相对位置信息所指示的数值小于预设距离；所述预设轮廓条件包括：所述轮廓变化信息所指示的数值大于或等于相应的预设轮廓变化值，和/或所述轮廓重叠信息所指示的数值大于或等于预设轮廓重叠值。

在一些可选实施例中，所述装置还包括：发送模块，用于将包括所述目标对象的连续多帧图像发送到预定终端；其中，所述预定终端用于显示包括所述目标对象的连续多帧图像。

在一些可选实施例中，所述装置还包括：第一获取模块，用于从所述视频流中获取所述目标对象的目标人脸图像；第二获取模块，用于将所述目标人脸图像与人脸识别数据库中的图像进行人脸匹配，获得所述目标人脸图像对应的目标身份信息；行为档案建立模块，用于根据所述目标身份信息，建立与所述目标对象对应的且与所述预定行为关联的档案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一项所述的行为检测方法。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的行为检测方法的指令。

在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的行为检测方法的操作。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开实施例还提供了一种行为检测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的行为检测方法。

图11为本公开实施例提供的一种行为检测装置的硬件结构示意图。该行为检测装置610包括处理器611，还可以包括输入装置612、输出装置613和存储器614。该输入装置612、输出装置613、存储器614和处理器611之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图11仅仅示出了一种行为检测装置的简化设计。在实际应用中，行为检测装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的行为检测装置都在本公开的保护范围之内。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (20)

1.一种行为检测方法，其特征在于，包括：

对获取的视频流进行人体检测，确定所述视频流中的至少一个对象；

在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息；其中，所述目标信息至少用于指示每个所述对象的轮廓对应的信息，以及每个所述对象的轮廓所在位置对应的信息；

根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。

2.根据权利要求1所述的方法，其特征在于，所述对获取的视频流进行人体检测，确定所述视频流中的至少一个对象，包括：

对获取的视频流的连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象。

3.根据权利要求1或2所述的方法，其特征在于，所述目标信息用于指示每个所述对象的轮廓对应的信息，所述目标信息包括：

同一所述对象的轮廓之间的轮廓变化信息；和/或

第一对象的轮廓相对于第二对象的轮廓重叠信息。

4.根据权利要求3所述的方法，其特征在于，所述在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息，包括以下至少一项：

确定所述视频流的连续多帧图像中任意连续两帧图像上每个所述对象对应的对象识别框的变化信息，将所述对象识别框的变化信息作为每个所述对象的轮廓所对应的所述轮廓变化信息；

在所述视频流的连续多帧图像中，确定每帧图像上所述第一对象对应的对象识别框与所述第二对象对应的对象识别框的重叠面积信息，将所述重叠面积信息作为所述第一对象的轮廓对应的所述轮廓重叠信息。

5.根据权利要求3或4所述的方法，其特征在于，所述目标信息用于指示每个所述对象的轮廓所在位置对应的信息，所述目标信息包括：

每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。

6.根据权利要求5所述的方法，其特征在于，所述在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息，包括：

在所述视频流的所述连续多帧图像中，确定每帧图像上每个所述对象对应的对象识别框分别相对于所述通行设备对应的设备识别框的相对位置信息。

7.根据权利要求5或6所述的方法，其特征在于，所述根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象，包括：

响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；

将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为存在所述预定行为的所述目标对象。

8.根据权利要求5或6所述的方法，其特征在于，所述根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象，包括：

响应于在所述连续多帧图像中，同一所述对象对应的所述相对位置信息满足预设位置条件，确定同一所述对象对应的所述轮廓变化信息和所述轮廓重叠信息中的至少一项是否满足预设轮廓条件；

将所述轮廓变化信息和所述轮廓重叠信息中的至少一项满足所述预设轮廓条件的所述对象作为可能存在所述预定行为的备选对象；

在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像；

对所述连续多帧备选图像中的所述备选对象分别进行人体动作检测和人体关键点检测，获得动作检测结果和关键点检测结果；

根据所述动作检测结果、所述关键点检测结果、以及所述动作检测结果和所述关键点检测结果分别对应的可能性概率值，确定目标检测结果；

将所述目标检测结果指示进行了所述预定行为所对应的动作的所述备选对象作为存在所述预定行为的所述目标对象。

9.根据权利要求8所述的方法，其特征在于，所述在所述连续多帧图像中确定与所述备选对象关联的连续多帧备选图像，包括：

在所述连续多帧图像中，将最早确定所述备选对象的一帧图像、以及最早确定所述备选对象的一帧图像之前和/或之后相邻的至少一帧图像作为所述连续多帧备选图像。

10.根据权利要求7-9任一项所述的方法，其特征在于，所述预设位置条件包括：所述相对位置信息所指示的数值小于预设距离；

所述预设轮廓条件包括：所述轮廓变化信息所指示的数值大于或等于相应的预设轮廓变化值，和/或所述轮廓重叠信息所指示的数值大于或等于预设轮廓重叠值。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述在所述至少一个对象中确定存在预定行为的目标对象之后，所述方法还包括：

将包括所述目标对象的连续多帧图像发送到预定终端；其中，所述预定终端用于显示包括所述目标对象的连续多帧图像。

12.根据权利要求1-11任一项所述的方法，其特征在于，所述在所述至少一个对象中确定存在预定行为的目标对象之后，所述方法还包括：

从所述视频流中获取所述目标对象的目标人脸图像；

将所述目标人脸图像与人脸识别数据库中的图像进行人脸匹配，获得所述目标人脸图像对应的目标身份信息；

根据所述目标身份信息，建立与所述目标对象对应的且与所述预定行为关联的档案。

13.一种行为检测装置，其特征在于，包括：

第一确定模块，用于对获取的视频流进行人体检测，确定所述视频流中的至少一个对象；

第二确定模块，用于在所述视频流的连续多帧图像中，确定属于每个所述对象的轮廓的目标信息；其中，所述目标信息至少用于指示每个所述对象的轮廓对应的信息，以及每个所述对象的轮廓所在位置对应的信息；

第三确定模块，用于根据每个所述对象的轮廓的所述目标信息，在所述至少一个对象中确定存在预定行为的目标对象。

14.根据权利要求13所述的装置，其特征在于，所述第一确定模块包括：

标识子模块，用于对获取的视频流的连续多帧图像分别进行人体检测，在每帧图像上通过不同的对象识别框分别标识出所述至少一个对象。

15.根据权利要求13或14所述的装置，其特征在于，所述目标信息用于指示每个所述对象的轮廓对应的信息，所述目标信息包括：

同一所述对象的轮廓之间的轮廓变化信息；和/或

第一对象的轮廓相对于第二对象的轮廓重叠信息。

16.根据权利要求15所述的装置，其特征在于，所述第二确定模块包括以下至少一项：

第一确定子模块，用于确定所述视频流的连续多帧图像中任意连续两帧图像上每个所述对象对应的对象识别框的变化信息，将所述对象识别框的变化信息作为每个所述对象的轮廓的所述第一轮廓变化信息；

第二确定子模块，用于在所述视频流的连续多帧图像中，确定每帧图像上所述第一对象对应的对象识别框与所述第二对象对应的对象识别框的重叠面积信息，将所述重叠面积信息作为所述第一对象的轮廓对应的所述轮廓重叠信息。

17.根据权利要求15或16所述的装置，其特征在于，所述目标信息用于指示每个所述对象的轮廓所在位置对应的信息，所述目标信息包括：

每个所述对象的轮廓所在位置相对于通行设备所在位置的相对位置信息。

18.根据权利要求17所述的装置，其特征在于，所述第二确定模块包括：

第三确定子模块，用于在所述视频流的所述连续多帧图像中，确定每帧图像上每个所述对象对应的对象识别框分别相对于所述通行设备对应的设备识别框的相对位置信息。

19.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12任一所述的行为检测方法。

20.一种行为检测装置，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-12中任一项所述的行为检测方法。

Images