CN112016528A - 行为识别方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种行为识别方法、装置、电子设备及可读存储介质，涉及计算机技术领域。该方法包括：获取待检测图像；对所述待检测图像中的行人区域进行分割，获得行人分割图像；对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。本方案实现了对行人行为的自动识别，在车站监控场景下，可便于及时发现行人的违规行为。

Description

行为识别方法、装置、电子设备及可读存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种行为识别方法、装置、电子设备及可读存储介质。

背景技术

随着监控摄像头的普及，智能安防技术的需求日益提高，尤其是对于地铁、车站、超市等场所。在这些场所中，一般是由巡逻人员对行人与一些物体之间的交互行为进行管控，而由于这些场所存在人流量大，仅通过人工观察，难以发现行人与这些物体之间的交互行为。

例如，在车站监控场景中，隔栏递物是车站中发生频率较高且风险较高的行为，如从栏杆外面递交未经过安检的物品到安检过后的区域。如果对这种行为不加以防范和警示，让未经过安检的物品进入到列车中，有较大的安全隐患。

传统的车站安防工作主要由安检员和巡逻员在车站对行人的这些行为进行检查，但是由于安检过后的区域和外部区域并没有完全隔离，而是用可以翻越的栏杆来隔离，使得行人可以绕过安检系统，对栏杆内的人隔栏递物。而栏杆的范围一般较大，由于人工观察的范围有限，所以，比较难以发现这些行为。

发明内容

本申请实施例的目的在于提供一种行为识别方法、装置、电子设备及可读存储介质，用以改善现有技术中难以发现行人与栏杆之间的交互行为。

第一方面，本申请实施例提供了一种行为识别方法，所述方法包括：获取待检测图像；对所述待检测图像中的行人区域进行分割，获得行人分割图像；对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

在上述实现过程中，通过检测行人分割图像中的人体关键点，然后将该人体关键点映射到待检测图像中，获得人体关键点在待检测图像中的坐标，然后可基于人体关键点在待检测图像中的坐标与目标物体的坐标识别行人与目标物体之间的交互行为，从而实现了对行人行为的自动识别，在车站监控场景下，可便于及时发现行人的违规行为。

可选地，所述对所述待检测图像中的行人区域进行分割，获得行人分割图像，包括：

通过神经网络模型对所述待检测图像中的行人进行检测，获得行人检测框，所述行人检测框所框选的区域内包括行人；

根据所述行人检测框对所述待检测图像进行分割，获得所述行人检测框对应的行人分割图像。

在上述实现过程中，通过对包含有行人的行人检测框分割出来作为行人分割图像，从而可有效从待检测图像中将行人区域分割出来。

可选地，所述将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标，包括：

获取所述行人检测框的坐标；

根据所述第一坐标与所述行人检测框的坐标，确定所述人体关键点在所述待检测图像中的第二坐标。

在上述实现过程中，由于行人检测框是从待检测图像中分割出来的，所以可以轻易获得行人检测框在待检测图像中的坐标，然后根据人体关键点的第一坐标与行人检测框的坐标即可快速获得人体关键点在待检测图像中的第二坐标。

可选地，所述人体关键点包括手腕关键点和手肘关键点，所述根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为，包括：

根据所述手腕关键点的第二坐标与所述手肘关键点的第二坐标，确定手腕与手肘之间的连线；

判断所述连线是否与目标物体所在的坐标相交，若是，则确定所述行人与所述目标物体发生交互行为。

在上述实现过程中，在识别行人隔栏递物的场景下，通过判断行人的手肘和手腕的连线是否与目标物体所在的坐标相交，则可以准确识别出行人是否存在隔栏递物的行为。

可选地，所述根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为，包括：

根据所述第二坐标与所述目标物体的坐标确定所述人体关键点与所述目标物体之间的距离；

在所述距离小于预设值时，确定所述行人与所述目标物体发生交互行为。

在上述实现过程中，在识别行人翻越栏杆的场景下，通过获取人体关键点与目标物体之间的距离，可以准确识别出行人是否存在翻越栏杆的行为。

可选地，所述根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为，包括：

根据所述行人在预设时间段内各个时间点的人体关键点的第二坐标，获取所述行人的移动轨迹；

若所述行人的移动轨迹中包括所述目标物体的坐标，则确定所述行人与所述目标物体发生交互行为。

在上述实现过程中，在识别行人翻越栏杆的场景下，通过获取行人的移动轨迹，可以更准确地知晓行人是否有翻越栏杆的行为。

可选地，所述目标物体为栏杆，所述行人与所述栏杆之间的交互行为包括隔栏递物和翻越栏杆。

可选地，还包括：

在确定所述行人与所述目标物体发生交互行为时，发出告警信息，从而使得工作人员可以及时知晓行人的违规行为，并及时采取相应措施进行制止。

第二方面，本申请实施例提供了一种行为识别装置，所述装置包括：

图像获取模块，用于获取待检测图像；

行人分割模块，用于对所述待检测图像中的行人区域进行分割，获得行人分割图像；

关键点检测模块，用于对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；

坐标映射模块，用于将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；

行为识别模块，用于根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

可选地，所述行人分割模块，用于通过神经网络模型对所述待检测图像中的行人进行检测，获得行人检测框，所述行人检测框所框选的区域内包括行人；根据所述行人检测框对所述待检测图像进行分割，获得所述行人检测框对应的行人分割图像。

可选地，所述行人分割模块，用于获取所述行人检测框的坐标；根据所述第一坐标与所述行人检测框的坐标，确定所述人体关键点在所述待检测图像中的第二坐标。

可选地，所述人体关键点包括手腕关键点和手肘关键点，所述行为识别模块，用于根据所述手腕关键点的第二坐标与所述手肘关键点的第二坐标，确定手腕与手肘之间的连线；判断所述连线是否与目标物体所在的坐标相交，若是，则确定所述行人与所述目标物体发生交互行为。

可选地，所述行为识别模块，用于根据所述第二坐标与所述目标物体的坐标确定所述人体关键点与所述目标物体之间的距离；在所述距离小于预设值时，确定所述行人与所述目标物体发生交互行为。

可选地，所述行为识别模块，用于：

根据所述行人在预设时间段内各个时间点的人体关键点的第二坐标，获取所述行人的移动轨迹；

若所述行人的移动轨迹中包括所述目标物体的坐标，则确定所述行人与所述目标物体发生交互行为。

可选地，所述目标物体为栏杆，所述行人与所述栏杆之间的交互行为包括隔栏递物和翻越栏杆。

可选地，所述装置还包括：

告警模块，用于在确定所述行人与所述目标物体发生交互行为时，发出告警信息。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种用于执行行为识别方法的电子设备的结构示意图；

图2为本申请实施例提供的一种行为识别方法的流程图；

图3为本申请实施例提供的一种图像分割过程的示意图；

图4为本申请实施例提供的一种行人行为识别装置的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种行为识别方法，通过检测行人分割图像中的人体关键点，然后将该人体关键点映射到待检测图像中，获得人体关键点在待检测图像中的坐标，然后可基于人体关键点在待检测图像中的坐标与目标物体的坐标识别行人与目标物体之间的交互行为，从而实现了对行人行为的自动识别，在车站监控场景下，可便于及时发现行人的违规行为。

请参照图1，图1为本申请实施例提供的一种用于执行行为识别方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非易失性的存储器（non-volatilememory），例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图2所示方法过程，例如，存储器130可用于存储待检测图像、人体关键点的坐标以及目标物体的坐标等信息，处理器110可用于对待检测图像进行分割，检测人体关键点等。

可以理解，图1所示的结构仅为示意，所述电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2为本申请实施例提供的一种行为识别方法的流程图，该方法包括如下步骤：

步骤S110：获取待检测图像。

本申请实施例可应用于各种监控场景下，如地铁、超市、街道等。如在地铁监控场景下，为了识别行人是否有隔栏递物，或者有翻阅栏杆等危险行为，可以通过对图像中行人的行为进行识别，从而来确定行人是否有上述的危险行为。

例如，在地铁监控场景下，待检测图像可以是用于拍摄栏杆处的摄像头采集的图像，摄像头可以将这些图像发送给电子设备，由电子设备对这些图像中的行人行为进行识别。

在具体实现过程中，为了减少识别的计算量，电子设备可以对获取的图像进行筛选，筛选出有行人的图像作为待检测图像，这样可无需对没有行人的图像再进行后续的行人行为识别，从而可节省对大量图像进行识别的时间。其中，图像筛选的方式可以是通过对每张图像中是否存在行人进行识别，然后将没有行人的图像丢弃掉，保留有行人的图像，作为进行行人行为识别的待检测图像。

其中，识别的方式可以是通过神经网络模型，如YOLO模型、卷积神经网络模型等模型来识别图像中是否存在行人，或者还可以通过其他图像识别方法来进行行人的检测，具体实现过程可参照现有技术中的实现过程，在此不过多赘述。

步骤S120：对所述待检测图像中的行人区域进行分割，获得行人分割图像。

在获得待检测图像后，为了避免检测出错误的人体关键点而造成对行人行为识别不准确的问题，还需要先对待检测图像中的行人区域进行分割，获得行人分割图像。

其中，对行人区域进行分割的方式可以是通过已训练的神经网络模型对行人图像进行分割，其分割的方式可以是以行人的外轮廓线作为分割线，然后将行人从待检测图像中分割出来，分割后的待检测图像可以包括行人分割图像和背景图像，背景图像中不包含有关于行人的任何特征，仅包含待检测图像中的背景部分。

或者，在一些实施方式中，还可以通过神经网络模型对待检测图像中的行人进行检测，获得行人检测框，该行人检测框所框选的区域内包括行人；然后根据行人检测框对待检测图像进行分割，获得行人检测框对应的行人分割图像。

如图3所示，图3中的行人检测框内包含有行人，在进行分割时可以按照行人检测框的边界线对行人区域进行裁剪，裁剪获得的图像即为行人分割图像。

其中，神经网络模型可以为上述的卷积神经网络模型、YOLO模型等，其神经网络模型预先经过训练，在训练的过程中，为训练图像中的行人区域添加行人检测框，从而可以利用训练后的神经网络模型对行人进行检测，输出行人检测框，以实现对行人区域的准确分割。

在其他实施方式中，行人区域的分割也可以采用其他图像分割方法，如语义分割、实例分割等方式，具体的实现过程可参照现有技术中的实现过程，在此不详细描述。

步骤S130：对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标。

在获得分割的行人分割图像后，可将行人分割图像输入神经网络模型中，通过神经网络模型对行人分割图像中的人体关键点进行检测，获得人体关键点在行人分割图像中的第一坐标。

具体实现过程中，人体关键点可包括头顶、五官、颈部、四肢（包括手肘、手腕、脚肘、脚腕等）等部位的关键点，其中的每个部位包括至少一个关键点。该神经网络模型也可以为卷积神经网络模型、循环神经网络模型等。在对模型进行训练的过程中，可以将训练图像中的行人的人体关键点进行标注，以及标注各个人体关键点在图像中的坐标，当然，此时的训练图像是指从原始图像中分割出来的行人分割图像，人体关键点的坐标为在行人分割图像中的坐标。

步骤S140：将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标。

上述获得的第一坐标为人体关键点在行人分割图像中的坐标，该人体关键点可以包括上述所列举的人体各个部位对应的关键点，则第一坐标也是包括各个人体关键点对应的坐标。为了识别待检测图像中行人与目标物体的交互行为，则还需将人体关键点的第一坐标映射到待检测图像中，获得人体关键点在待检测图像中的第二坐标。

在具体实现过程中，由于行人分割图像是从待检测图像中分割出来的，所以可以获得行人分割图像的四个角点的坐标，这样在映射时，可以人体关键点的第一坐标与行人分割图像的左下角的坐标相加，即可获得第二坐标。

在一些实施方式中，在上述行人分割图像为行人检测框时，则可获得行人检测框的坐标，该坐标即包括行人检测框四个角的坐标，然后根据第一坐标与行人检测框的坐标，确定人体关键点在待检测图像中的第二坐标。

例如，将第一坐标与行人检测框的左下角坐标相加即可获得人体关键点在待检测图像中的第二坐标。

步骤S150：根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

在上述获得第二坐标后，可以获得待检测图像中目标物体的坐标，在地铁监控场景下，目标物体可以是指隔离站台与行人通道之间的栏杆，也可以是指站台的隔离线（即用于隔离等候上车的行人和车辆的线），在超市监控场景下，目标物体可以是指货架之类的固定物体。可以理解地，在不同的场景下，目标物体可以不同。而实际应用中，可以针对不同的场景，选择不同的物体作为目标物体，而行人与不同物体之间的交互行为也不同，如在地铁监控场景下，目标物体为栏杆，行人与栏杆之间的交互行为包括隔栏递物和翻越栏杆等，而在超市监控场景下，行人与货架之间的交互行为主要有拿货、放货等。

为了便于理解，下述实施例中以目标物体为栏杆为例进行说明。由于地铁中安装的摄像头位置固定，且栏杆的位置也固定，则拍摄栏杆的摄像头采集的图像中栏杆的坐标也是固定的。所以，为了减少计算量，可以预先将栏杆的坐标存储在存储器中，在需要进行行人与栏杆的交互行为识别时，可以从存储器中直接读取存储器中存储的栏杆的坐标即可。当然，为了实时确定栏杆的坐标，也获得更准确的坐标，也可以对待检测图像中的栏杆进行识别，然后获取待检测图像中栏杆的坐标。

其中，在一些其他实施方式中，若目标物体为除行人外的其他物体时，则目标物体包含在上述分割出来的背景图像中，如背景图像中包含栏杆，为了获得更准确的栏杆的坐标，可以先获取背景图像中栏杆的坐标，然后再将栏杆的坐标映射到待检测图像中，从而可获得待检测图像中栏杆的坐标。

而为了排除背景图像中其他特征对获取栏杆的坐标造成干扰，可以将背景图像中除了栏杆外的其他冗余特征去掉后，再获取栏杆的坐标，从而为后续进行行人与目标物体的交互行为识别减少了噪音的影响。

在获得待检测图像中人体关键点的第二坐标和栏杆的坐标后，可以基于这两个坐标，识别行人与栏杆之间的交互行为，如行人是否隔栏递物、翻越栏杆等行为。

在上述实现过程中，通过检测行人分割图像中的人体关键点，然后将该人体关键点映射到待检测图像中，获得人体关键点在待检测图像中的坐标，然后可基于人体关键点在待检测图像中的坐标与目标物体的坐标识别行人与目标物体之间的交互行为，从而实现了对行人行为的自动识别，在车站监控场景下，可便于及时发现行人的违规行为。并且，相比于直接从待检测图像中检测关键点的方式，本方案可以将行人区域外的一些误检的关键点排除，提高了关键点检测的准确度，从而可更为准确地识别行人与目标物体之间的交互行为。

在一些实施方式中，识别行人与目标物体之间的交互行为的方式有如下几种方式：

方式1、人体关键点包括手腕关键点和手肘关键点，根据手腕关键点的第二坐标与手肘关键点的第二坐标，确定手腕与手肘之间的连线，然后判断连线是否与目标物体所在的坐标相交，若是，则确定行人与目标物体之间发生交互行为。

例如，在获得手腕关键点和手肘关键点的坐标后，可通过连接两个坐标点，形成一直线，在目标物体为栏杆时，由于栏杆在待检测图像中的像素点为多个，所以栏杆的坐标包括栏杆对应的各个像素点的坐标，判断手肘关键点与手腕关键点之间的连线是否与栏杆相交时，可以判断连线上的各个像素点的坐标是否包含有栏杆对应的像素点的坐标，若有，则证明连线与栏杆相交，此时可认为行人有隔栏递物的行为。

在一些实施方式中，为了更准确地识别行人是否有隔栏递物的行为，还可以检测待检测图像中栏杆的另一侧是否存在行人，如可对待检测图像中的行人均进行检测，然后判断各个行人与栏杆之间的位置关系，例如，栏杆一侧的行人疑似有隔栏递物的行为，而栏杆另一侧又存在与栏杆距离较近的行人时，则可确定一侧的行人确实有隔栏递物的行为。

在另一些实施方式中，为了确定栏杆另一侧的行人与栏杆一侧的行人存在交互，还可以获取栏杆另一侧的行人的人体关键点，然后判断另一侧的行人的朝向信息，如获取另一侧行人的左肩关键点和右肩关键点的坐标，然后将两个坐标相减，获得肩部向量，然后采用余弦函数计算肩部向量与栏杆的坐标向量之间的夹角，若夹角小于预设值，则认为行人与该栏杆平行。再判断行人的手腕关键点是否距离栏杆较近，若是，则认为该行人朝向栏杆，则确定该行人与一侧的行人有交互，存在隔离递物的行为。

在上述实现过程中，在识别行人隔栏递物的场景下，通过判断行人的手肘和手腕的连线是否与目标物体所在的坐标相交，则可以准确识别出行人是否存在隔栏递物的行为。

方式2、根据第二坐标与目标物体的坐标确定人体关键点与目标物体之间的距离，在距离小于预设值时，确定行人与目标物体发生交互行为。

例如，获取每个人体关键点与栏杆对应的每个像素点之间的距离，然后确定最小距离，若最小距离小于预设值，则认为行人存在隔栏递物或者翻越栏杆的行为。

其中，预设值可以根据实际需求设定。

在上述实现过程中，在识别行人翻越栏杆的场景下，通过获取人体关键点与目标物体之间的距离，可以准确识别出行人是否存在翻越栏杆的行为。

方式3、根据行人在预设时间段内各个时间点的人体关键点的第二坐标，获取行人的移动轨迹，若行人的移动轨迹中包括目标物体的坐标，则确定行人与目标物体发生交互行为。

例如，可以获取待检测图像的采集时间前一段时间内摄像头采集的其他图像，然后对其他图像中的该行人进行行人重识别，即识别出其他图像中的该行人，然后按照上述方法获取其他图像中该行人的人体关键点的坐标，例如以手腕关键点坐标为例，获取每张图像中该行人的手腕关键点坐标，然后基于这些手腕关键点坐标形成行人的移动轨迹，或者行人的手腕的移动轨迹，若行人的手腕的移动轨迹经过栏杆所在的坐标，则认为行人与目标物体发生交互行为。

在上述实现过程中，在识别行人翻越栏杆的场景下，通过获取行人的移动轨迹，可以更准确地知晓行人是否有翻越栏杆的行为。

需要说明的是，在实际应用中，在识别行人与目标物体之间的交互行为时，可以将上述几种方式进行任意组合，即可通过至少两种方式来对行人与目标物体之间的交互行为进行识别。

在一些实施方式中，为了便于管理人员及时知晓监控场景中行人与目标物体的交互行为，还可以在确定行人与目标物体发生交互行为时，发出告警信息，从而可提醒管理人员对行人的行为进行制止，或者提醒管理人员知晓该行人的相关行为，以使管理人员进一步判断该行人是否存在不合规行为。

请参照图4，图4为本申请实施例提供的一种行人行为识别装置200的结构框图，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选地，所述装置200包括：

图像获取模块210，用于获取待检测图像；

行人分割模块220，用于对所述待检测图像中的行人区域进行分割，获得行人分割图像；

关键点检测模块230，用于对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；

坐标映射模块240，用于将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；

行为识别模块250，用于根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

可选地，所述行人分割模块220，用于通过神经网络模型对所述待检测图像中的行人进行检测，获得行人检测框，所述行人检测框所框选的区域内包括行人；根据所述行人检测框对所述待检测图像进行分割，获得所述行人检测框对应的行人分割图像。

可选地，所述行人分割模块220，用于获取所述行人检测框的坐标；根据所述第一坐标与所述行人检测框的坐标，确定所述人体关键点在所述待检测图像中的第二坐标。

可选地，所述人体关键点包括手腕关键点和手肘关键点，所述行为识别模块250，用于根据所述手腕关键点的第二坐标与所述手肘关键点的第二坐标，确定手腕与手肘之间的连线；判断所述连线是否与目标物体所在的坐标相交，若是，则确定所述行人与所述目标物体发生交互行为。

可选地，所述行为识别模块250，用于根据所述第二坐标与所述目标物体的坐标确定所述人体关键点与所述目标物体之间的距离；在所述距离小于预设值时，确定所述行人与所述目标物体发生交互行为。

可选地，所述行为识别模块250，用于：

根据所述行人在预设时间段内各个时间点的人体关键点的第二坐标，获取所述行人的移动轨迹；

若所述行人的移动轨迹中包括所述目标物体的坐标，则确定所述行人与所述目标物体发生交互行为。

可选地，所述目标物体为栏杆，所述行人与所述栏杆之间的交互行为包括隔栏递物和翻越栏杆。

可选地，所述装置200还包括：

告警模块，用于在确定所述行人与所述目标物体发生交互行为时，发出告警信息。

需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。

本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，执行如图2所示方法实施例中电子设备所执行的方法过程。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取待检测图像；对所述待检测图像中的行人区域进行分割，获得行人分割图像；对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

综上所述，本申请实施例提供一种行为识别方法、装置、电子设备及可读存储介质，通过检测行人分割图像中的人体关键点，然后将该人体关键点映射到待检测图像中，获得人体关键点在待检测图像中的坐标，然后可基于人体关键点在待检测图像中的坐标与目标物体的坐标识别行人与目标物体之间的交互行为，从而实现了对行人行为的自动识别，在车站监控场景下，可便于及时发现行人的违规行为。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种行为识别方法，其特征在于，所述方法包括：

获取待检测图像；

对所述待检测图像中的行人区域进行分割，获得行人分割图像；

对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；

将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；

根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像中的行人区域进行分割，获得行人分割图像，包括：

通过神经网络模型对所述待检测图像中的行人进行检测，获得行人检测框，所述行人检测框所框选的区域内包括行人；

根据所述行人检测框对所述待检测图像进行分割，获得所述行人检测框对应的行人分割图像。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标，包括：

获取所述行人检测框的坐标；

根据所述第一坐标与所述行人检测框的坐标，确定所述人体关键点在所述待检测图像中的第二坐标。

4.根据权利要求1所述的方法，其特征在于，所述人体关键点包括手腕关键点和手肘关键点，所述根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为，包括：

根据所述手腕关键点的第二坐标与所述手肘关键点的第二坐标，确定手腕与手肘之间的连线；

判断所述连线是否与目标物体所在的坐标相交，若是，则确定所述行人与所述目标物体发生交互行为。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为，包括：

根据所述第二坐标与所述目标物体的坐标确定所述人体关键点与所述目标物体之间的距离；

在所述距离小于预设值时，确定所述行人与所述目标物体发生交互行为。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为，包括：

根据所述行人在预设时间段内各个时间点的人体关键点的第二坐标，获取所述行人的移动轨迹；

若所述行人的移动轨迹中包括所述目标物体的坐标，则确定所述行人与所述目标物体发生交互行为。

7.根据权利要求1-6任一所述的方法，其特征在于，所述目标物体为栏杆，所述行人与所述栏杆之间的交互行为包括隔栏递物和翻越栏杆。

8.根据权利要求1-6任一所述的方法，其特征在于，还包括：

在确定所述行人与所述目标物体发生交互行为时，发出告警信息。

9.一种行为识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像；

行人分割模块，用于对所述待检测图像中的行人区域进行分割，获得行人分割图像；

关键点检测模块，用于对所述行人分割图像中的人体关键点进行检测，获得所述人体关键点在所述行人分割图像中的第一坐标；

坐标映射模块，用于将所述第一坐标映射到所述待检测图像中，获取所述人体关键点在所述待检测图像中的第二坐标；

行为识别模块，用于根据所述第二坐标与所述待检测图像中目标物体的坐标，识别行人与所述目标物体之间的交互行为。

10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-8任一所述的方法。

11.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-8任一所述的方法。

Images