CN112818919A - 抽烟行为识别方法与装置 - Google Patents

Abstract

本申请公开了一种抽烟行为识别方法，包括以下步骤：获取至少两个视角的视频图像流；将所述视频图像流分解为图像；识别出所述图像中的烟制品图像和人像；根据人体行为算法判断人的行为为抽烟行为。这样，抽烟行为可以被相对精确的识别，可以提高抽烟行为识别的精度。

Description

抽烟行为识别方法与装置

技术领域

本申请涉及自动识别技术领域，尤其涉及一种抽烟行为识别方法与装置。

背景技术

在很多公开场所中，抽烟是被禁止的。公共场所中设有大量摄像头，基于摄像头的抽烟行为自动识别和实时预警是可以被实现。这样可以起到约束违规行为以及避免由抽烟不当处理而导致的火灾危害等。

在现有技术中，发明人发现：

基于2D的人体姿态的行为识别方法，在不同场景下，行为识别的结果受环境影响比较多。因为在二维平面中，不能很好地反应人与人之间以及人体各部位之间的距离。特别是从不同的摄像头角度拍的图像。人与人之间以及人体部位之间的距离变化也很大，就会导致对人体的行为识别结果相差较大，并进而导致抽烟行为识别准确性的降低。

因此，需要提供一种抽烟行为识别准确性高的技术方案。

发明内容

本申请实施例提供了一种抽烟行为的识别准确性高的技术方案。

具体的，一种抽烟行为识别方法，包括以下步骤：

获取至少两个视角的视频图像流；

将所述视频图像流分解为图片；

识别出所述图片中的烟制品图像和人像；

根据人体行为算法判断人的行为为抽烟行为。

进一步的，将所述视频图像流分解为图片，具体包括：

间隔预设帧数截取视频图像流中的图片，所述预设帧数至少为5帧。

进一步的，识别出所述图片中的烟制品图像和人像，具体包括：

利用特征提取算法，将图片根据灰度值进行分类，识别出图片中的烟制品图像和人像。

进一步的，根据人体行为算法判断人的行为为抽烟行为，具体包括：

采用CPN网络算法处理所述图片中的人像，生成人像部位关键点；

对所述人像部位关键点采用相似度加权拟合算法，得到的优化后人像部位关键点图；

将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片；

将同一人像不同视角的图片利用3D匹配算法，算出图片中人像的坐标；

根据图片中人像的坐标，得到图片中手的坐标值；

利用目标检测算法，得到图片中烟制品图像的坐标值；

计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

进一步的，将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片，具体包括：

获取优化后人像部位关键点图，比较第一人像部位关键点图和第二人像部位关键点图的灰度值，生成相似度值；

将相似度值与ReID预设阈值进行对比；

当相似度值大于ReID预设阈值，确定第一人像部位关键点图和第二点人像部位关键点图为同一人像不同视角的图片。

进一步的，计算两个坐标值的差值，根据差值判断人的行为为抽烟行为，包括：

当所述差值小于预设值，判断所述图像中人像的行为为抽烟行为。

进一步的，本申请一种抽烟行为识别装置，包括：

输入模块，用于获取待处理的多视角视频图像；

处理模块，用于将所述视频图像分解为图片；

识别模块，用于识别出所述图片中的人像和烟制品图像；

判断模块，用于判断所述图片中人的行为为抽烟行为。

进一步的，所述处理模块用于将所述视频图像分解为图片，具体用于：

间隔预设帧数截取视频图像流中的图片，所述预设帧数至少为5帧。

进一步的，所述识别模块还用于识别出所述图像中的人像和烟制品图像，具体用于：

利用特征提取算法，将图片根据灰度值进行分类，识别出图片中的烟制品图像和人像。

进一步的，所述判断模块用于确定所述图像中人的行为为抽烟行为，具体用于：

采用CPN网络算法处理所述图片中的人像，生成人像部位关键点；

对所述人像部位关键点采用相似度加权拟合算法，得到的优化后人像部位关键点图；

将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片；

将同一人像不同视角的图片利用3D匹配算法，算出图片中人像的坐标；

根据图片中人像的坐标，得到图片中手的坐标值；

利用目标检测算法，得到图片中烟制品图像的坐标值；

计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

进一步的，所述判断模块用于将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片，具体包括：

获取优化后人像部位关键点图，比较第一人像部位关键点图和第二人像部位关键点图的灰度值，生成相似度值；

将相似度值与ReID预设阈值进行对比；

当相似度值大于ReID预设阈值，确定第一人像部位关键点图和第二点人像部位关键点图为同一人像不同视角的图片。

进一步的，所述判断模块用于计算两个坐标值的差值，根据差值判断人的行为为抽烟行为，包括：

当所述差值小于预设值，判断所述图像中人像的行为为抽烟行为。

本申请实施例提供的技术方案，至少具有如下有益效果：

基于多视角的方式，再结合视频流的时序图像特征，可以更好地完成3D姿态的拟合生成。对于3D姿态的行为识别将提供更好的识别准确率从而可提高抽烟识别的精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施提供的抽烟识别方法的流程图。

图2为本申请实施例提供的识别装置的示意图。

11 识别装置

111 输入模块

112 处理模块

113 识别模块

114 判断模块

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图一介绍了抽烟识别装置的工作方法。一种抽烟识别方法，包括以下步骤：

S100：获取至少两个视角的视频图像流。

具体的，在公共场所安装多个摄像头，通过摄像头去获取视频图像流。设置每个摄像头拍摄的角度不同，通过摄像头拍摄角度的不同获取至少两个视角的视频图像流。其中，视频图像流是有若干图片组成的时序图片序列。通过视频流观察行人的行为，主要观察行人的抽烟行为。

S200：将所述视频图像流分解为图片。

具体的，将获取到的视频图像流设置截取连续至少5帧图像，形成至少两个视角的时序图像序列。将时序图像序列分解为图片。

S300：识别出所述图片中的烟制品图像和人像。

具体的，所述烟制品是以烟叶为原料制成的嗜好性消费品。例如烟制品可以是香烟、电子烟、雪茄等。通过目标检测算法识别出图片中的烟制品图像和人像。

S400：根据人体行为算法判断人的行为为抽烟行为。

具体的，人体行为算法有很多。其中一个是利用人体3D姿态点的坐标，得到手作为关键点的3D坐标值。再结合烟制品的坐标值进行拟合计算，判断烟制品离手的距离是否在给定的阈值范围内。如果烟制品和手的距离在给定的阈值范围内，就可以认定是抽烟行为。

进一步的，将所述视频图像流分解为图片，具体包括：

间隔预设帧数截取视频图像流中的连续图片，所述预设帧数至少为5帧。

可以理解的是，摄像头截取至少连续5帧的图片。每隔一段时间后再去取至少连续5帧图片。所述预设帧数被设置为至少为5帧，可以形成视频流的时序图像特征。再结合多视角的方式，可以更好地完成3D姿态的拟合生成，对于3D姿态的行为识别将提供更好的识别准确率。

进一步的，识别出所述图片中的烟制品图像和人像，具体包括：

利用特征提取算法，将图片根据灰度值进行分类，识别出图片中的烟制品图像和人像。

具体的，特征提取算法是通过影像分析和变换，以提取所需特征的方法。利用图片的灰度值这一特征识别出图片中的烟制品图像和人像。

进一步的，根据人体行为算法判断人的行为为抽烟行为，具体包括：

采用CPN网络算法处理所述图片中的人像，生成人像部位关键点；

对所述人像部位关键点采用相似度加权拟合算法，得到的优化后人像部位关键点图；

将优化后人像部位关键点图，利用行人重识别Re ID网络算法，得到同一人像不同视角的图片；

将同一人像不同视角的图片利用3D匹配算法，算出图片中人像的坐标；

根据图片中人像的坐标，得到图片中手的坐标值；

利用目标检测算法，得到图片中烟制品图像的坐标值；

计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

可以理解的是，首先使用行人检测框架，先检测出行人候选框。然后使用CPN网络算法对每一个检测出来的行人候选框进行人体关键点的检测，进而输出人像部位关键点。利用每个视角下的每个人体的至少5帧图像，生成连续的至少5帧人像部位关键点图。其中每个图像包含至少15个人像部位关键点。人像部位关键点包含头顶、五官、颈部、四肢主要关节部位。

相似度就是比较两个事物的相似性。通过比较姿态点对应点的相似度，排除相似度低的姿态点。先通过生成摄像头下的至少5个序列图像的人体姿态点值。同步拟合生成其他摄像头的至少5个序列图像的人体姿态点值。再利用相似度加权拟合算法，进行姿态点对应点的相似度比较，得到的优化后人像部位关键点图。

进一步，对于至少2个摄像头各截取的每个时间帧图像，利用CPN网络算法完成人体检测。然后利用行人重识别ReID网络算法，完成至少2个摄像头中共同的行人图像的匹配。

再利用至少2个摄像头获取到的图像，因为摄像机的内参数由摄像机本身决定，只与摄像机本身有关。摄像机的外参数是摄像机在世界坐标系中的位姿，由摄像机与世界坐标系的相对关系决定。根据像素坐标系与世界坐标系的关系，利用一定的约束条件，来求解相机的内外参数以及畸变系数的过程。然后利用3D匹配算法先拟合出每个时间帧的3D姿态点值。再利用连续图像，完成时序人体3D姿态拟合生成，算出图片中人像的坐标值。

最后，利用目标检测算法，得到图片中烟制品图像的坐标值。计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

进一步的，将优化后人像部位关键点图，利用行人重识别Re ID网络算法，得到同一人像不同视角的图片，具体包括：

获取优化后人像部位关键点图，比较第一人像部位关键点图和第二人像部位关键点图的灰度值，生成相似度值；

将相似度值与ReID预设阈值进行对比；

当相似度值大于ReID预设阈值，确定第一人像部位关键点图和第二点人像部位关键点图为同一人像。

可以理解的是，利用每个摄像头获取的至少连续5帧图像，将每个图像与拍摄角度不同的摄像头获取的图像进行灰度值比较，得到相似度值。设定ReID的阈值，相似度值超过阈值就认定这两个图像中的人像为同一人像。

进一步的，计算两个坐标值的差值，根据差值判断人的行为为抽烟行为，包括：

当所述差值小于预设值，判断所述图像中人像的行为为抽烟行为。

可以理解的是，根据人像中手的坐标值和烟制品图像中的坐标值之间的坐标差值，将其与预设值比较，只要差值小于预设值，则判断图像中人像的行为为抽烟行为。

本申请还提供一种抽烟行为识别装置，包括：

输入模块111，用于获取待处理的多视角视频图像；

处理模块112，用于将所述视频图像分解为图片；

识别模块113，用于识别出所述图片中的人像和烟制品图像；

判断模块114，用于判断所述图片中人的行为为抽烟行为。

输入模块111是具有拍摄功能的设备，例如摄像头、相机等。处理模块112是将输入的视频图像分解为图片。识别模块113是利用目标检测算法，识别出所述图像中的人像和烟制品图像。判断模块114，可以通过深度学习模型来进行确定所述图片中人的行为为抽烟行为。

进一步的，所述处理模块112用于将所述视频图像分解为图像，具体用于：

间隔预设帧数截取视频图像流中的图片，所述预设帧数至少为5帧。

可以理解的是，摄像头截取至少连续5帧的图片。每隔一段时间后再去取至少连续5帧图片。所述预设帧数被设置为至少为5帧，可以形成视频流的时序图像特征。再结合多视角的方式，可以更好地完成3D姿态的拟合生成，对于3D姿态的行为识别将提供更好的识别准确率。

进一步的，所述识别模块113还用于识别出所述图片中的人像和烟制品图像，具体用于：

利用特征提取算法，将图片根据灰度值进行分类，识别出图片中的烟制品图像和人像。

具体的，特征提取算法是通过影像分析和变换，以提取所需特征的方法。利用图片的灰度值这一特征识别出图片中的烟制品图像和人像。

进一步的，所述判断模块114用于确定所述图像中人的行为为抽烟行为，具体用于：

采用CPN网络算法处理所述图片中的人像，生成人像部位关键点；

对所述人像部位关键点采用相似度加权拟合算法，得到的优化后人像部位关键点图；

将优化后人像部位关键点图，利用行人重识别Re I D网络算法，得到同一人像不同视角的图片；

将同一人像不同视角的图片利用3D匹配算法，算出图片中人像的坐标；

根据图片中人像的坐标，得到图片中手的坐标值；

利用目标检测算法，得到图片中烟制品图像的坐标值；

计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

可以理解的是，首先使用行人检测框架，先检测出行人候选框。然后使用CPN网络算法对每一个检测出来的行人候选框进行人体关键点的检测，进而输出人像部位关键点。利用每个视角下的每个人体的至少5帧图像，生成连续的至少5帧人像部位关键点图。其中每个图像包含至少15个人像部位关键点。人像部位关键点包含头顶、五官、颈部、四肢主要关节部位。

相似度就是比较两个事物的相似性。通过比较姿态点对应点的相似度，排除相似度低的姿态点。先通过生成摄像头下的至少5个序列图像的人体姿态点值。同步拟合生成其他摄像头的至少5个序列图像的人体姿态点值。再利用相似度加权拟合算法，进行姿态点对应点的相似度比较，得到的优化后人像部位关键点图。

进一步，对于至少2个摄像头各截取的每个时间帧图像，利用CPN网络算法完成人体检测。然后利用行人重识别ReID网络算法，完成至少2个摄像头中共同的行人图像的匹配。

再利用至少2个摄像头获取到的图像，因为摄像机的内参数由摄像机本身决定，只与摄像机本身有关。摄像机的外参数是摄像机在世界坐标系中的位姿，由摄像机与世界坐标系的相对关系决定。根据像素坐标系与世界坐标系的关系，利用一定的约束条件，来求解相机的内外参数以及畸变系数的过程。然后利用3D匹配算法先拟合出每个时间帧的3D姿态点值。再利用连续图像，完成时序人体3D姿态拟合生成，算出图片中人像的坐标值。

最后，利用目标检测算法，得到图片中烟制品图像的坐标值。计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

进一步的，所述判断模块114用于将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片，具体包括：

获取优化后人像部位关键点图，比较第一人像部位关键点图和第二人像部位关键点图的灰度值，生成相似度值；

将相似度值与ReID预设阈值进行对比；

当相似度值大于ReID预设阈值，确定第一人像部位关键点图和第二点人像部位关键点图为同一人像不同视角的图片。

可以理解的是，利用每个摄像头获取的至少连续5帧图像，将每个图像与拍摄角度不同的摄像头获取的图像进行灰度值比较，得到相似度值。设定ReID的阈值，相似度值超过阈值就认定这两个图像中的人像为同一人像。

进一步的，所述判断模块114用于计算两个坐标值的差值，根据差值判断人的行为为抽烟行为，包括：

当所述差值小于预设值，判断所述图像中人像的行为为抽烟行为。

可以理解的是，根据人像中手的坐标值和烟制品图像中的坐标值之间的坐标差值，将其与预设值比较，只要差值小于预设值，则判断图像中人像的行为为抽烟行为。

需要说明的是，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种抽烟行为识别方法，其特征在于，包括以下步骤：

获取至少两个视角的视频图像流；

将所述视频图像流分解为图片；

识别出所述图片中的烟制品图像和人像；

根据人体行为算法判断人的行为为抽烟行为。

2.如权利要求1所述的抽烟行为识别方法，其特征在于，将所述视频图像流分解为图片，具体包括：

间隔预设帧数截取视频图像流中的图片，所述预设帧数至少为5帧。

3.如权利要求1所述的抽烟行为识别方法，其特征在于，识别出所述图片中的烟制品图像和人像，具体包括：

利用特征提取算法，将图片根据灰度值进行分类，识别出图片中的烟制品图像和人像。

4.如权利要求1所述的抽烟行为识别方法，其特征在于，根据人体行为算法判断人的行为为抽烟行为，具体包括：

采用CPN网络算法处理所述图片中的人像，生成人像部位关键点；

对所述人像部位关键点采用相似度加权拟合算法，得到的优化后人像部位关键点图；

将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片；

将同一人像不同视角的图片利用3D匹配算法，算出图片中人像的坐标；

根据图片中人像的坐标，得到图片中手的坐标值；

利用目标检测算法，得到图片中烟制品图像的坐标值；

计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

5.如权利要求4所述的抽烟行为识别方法，其特征在于，将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片，具体包括：

获取优化后人像部位关键点图，比较第一人像部位关键点图和第二人像部位关键点图的灰度值，生成相似度值；

将相似度值与ReID预设阈值进行对比；

当相似度值大于ReID预设阈值，确定第一人像部位关键点图和第二人像部位关键点图为同一人像不同视角的图片。

6.如权利要求4所述的抽烟行为识别方法，其特征在于，计算两个坐标值的差值，根据差值判断人的行为为抽烟行为，包括：

当所述差值小于预设值，判断所述图像中人像的行为为抽烟行为。

7.一种抽烟行为识别装置，其特征在于，包括：

输入模块，用于获取待处理的多视角视频图像；

处理模块，用于将所述视频图像分解为图片；

识别模块，用于识别出所述图片中的人像和烟制品图像；

判断模块，用于判断所述图片中人的行为为抽烟行为。

8.如权利要求7所述的抽烟行为识别装置，其特征在于，所述处理模块用于将所述视频图像分解为图片，具体用于：

间隔预设帧数截取视频图像流中的图片，所述预设帧数至少为5帧。

9.如权利要求7所述的抽烟行为识别装置，其特征在于，所述识别模块还用于识别出所述图像中的人像和烟制品图像，具体用于：

利用特征提取算法，将图片根据灰度值进行分类，识别出图片中的烟制品图像和人像。

10.如权利要求7所述抽烟行为识别装置，其特征在于，所述判断模块用于判断所述图像中人的行为为抽烟行为，具体用于：

采用CPN网络算法处理所述图片中的人像，生成人像部位关键点；

对所述人像部位关键点采用相似度加权拟合算法，得到的优化后人像部位关键点图；

将优化后人像部位关键点图，利用行人重识别ReID网络算法，得到同一人像不同视角的图片；

将同一人像不同视角的图片利用3D匹配算法，算出图片中人像的坐标；

根据图片中人像的坐标，得到图片中手的坐标值；

利用目标检测算法，得到图片中烟制品图像的坐标值；

计算两个坐标值的差值，根据差值判断人的行为为抽烟行为。

Images