CN110287906A - 基于图像视频检测人“玩手机”的方法及系统 - Google Patents

Abstract

本发明公开了基于图像视频检测人“玩手机”的方法及系统，通过对监控区域的图像视频进行采集，从采集的视频中提取出图片，并截取包含人体的周围区域，判断人是否拿着手机或者人体周围是否有手机，计算人脸的朝向，然后判断人的状态是否为“玩手机”选择性报警。本发明的方法，所述检测系统根据人体姿态和手机与人脸朝向的空间关系来判断当前场景中是否有人在进行“玩手机”行为，当检测到被检测场景有人“玩手机”行为情况下，精准的发出警报提示，同时具有监测方式非接触、不浸入和监测范围广，易于实施等特点。

Description

基于图像视频检测人“玩手机”的方法及系统

技术领域

本发明涉及计算机视频技术领域，尤其涉及基于图像视频检测人“玩手机”的方法及系统。

背景技术

随着信息技术的快速发展，手机的使用越来越普遍，人对于手机的依赖程度越来越严重。在实际场景中，由于玩手机造成的事故屡见不鲜。比如驾驶员在开车时因为玩手机而手离开方向盘，导致发生车祸。行人在过马路时因为玩手机与车辆相撞。一些特殊行业如铁路部门，需要对员工采用军事化的管理方式，对员工的一些违规行为要做到实时预警，其中就包括通过摄像头检测员工是否玩手机。在学校里面，需要监控课堂纪律，检测学生是否有玩手机的行为。

在现有的文献和专利中，只有关于打电话行为检测识别，并且大多是针对驾驶员打电话行为。而对于“玩手机”行为的检测识别几乎没有。对于打电话行为的检测方法，主要有基于计算机视觉和传感器两大类检测方法。其中基于计算机视觉的主流方法主要是利用分类器进行分类。如公开号为CN102567743A的中国发明专利就是基于SVM(Support VectorMachines)分类器进行分类的，公开号为CN104966059B的中国发明专利是基于Cascade级联分类器对人头两侧前景区域进行人打电话姿势分类。也有从人体姿态入手对打电话行为进行检测的方法。如公开号为CN105469073A就提出了一种基于Kinect的驾驶员接打电话监控方法。

上述方法都只对人打电话的行为进行了识别，而实际情况中更多地需要对玩手机的行为进行识别，上述方法难以满足需求。

发明内容

针对上述问题，本发明提出了基于图像视频检测人“玩手机”的方法及系统，随着深度学习等技术的发展，通过计算机视觉方法检测出手机，再对人的注意力进行检测，可以通过算法判断出人是否在“玩手机“。用于实现在被检测场景有人“玩手机”行为情况下，精准的发出警报提示，同时具有监测方式非接触、不浸入和监测范围广，易于实施等特点。

本发明通过以下技术方案来实现上述目的：

基于图像视频检测人“玩手机”的系统，包括信号采集子系统、人体检测子系统、手机检测子系统、人脸朝向判别子系统、“玩手机”判别子系统、以及状态输出及报警子系统；

所述信号采集子系统是安装于PC或高性能嵌入式开发板的摄像头，用于获取场景的视频图像；

所述人体检测子系统用于检测图像视频中的人体；

所述手机检测子系统用于检测场景中的手机；

所述人脸朝向判别子系统用于判断所检测人的人脸的朝向；

所述“玩手机”判别子系统用于判断所检测到的人是否在玩手机；

所述状态输出及报警子系统根据“玩手机”判别子系统的结果，进行状态判断及执行是否报警。

进一步的方案为，所述信号采集子系统包括摄像头和处理模块；

所述摄像头安装于PC或高性能嵌入式开发板，用于对监控区域的图像视频进行采集。

进一步的方案为，所述信号采集子系统的处理模块包括PC或高性能嵌入式开发板。

进一步的方案为，所述状态输出及报警子系统根据“玩手机”判别子系统的结果，进行光电声报警。

本申请另一方面提供了基于图像视频检测人“玩手机”的方法，步骤如下：

步骤1：系统初始化；

步骤2：通过摄像头采集图像视频信号；

步骤3：检测出步骤2采集的图像视频中所有的人；

步骤4：对于步骤3中检测出的每个人，判断每个手上是否拿着手机并且计算出人脸的朝向；

步骤5：对于步骤4中的结果，根据人拿着手机并且该人脸注视着手机或者人脸注视着手机的时间超过一定阈值判断每个人是否在玩“玩手机”；

步骤6：根据步骤5的判断结果，输出每个人的状态：“玩手机”或者“未玩手机”，如果有人在玩手机，系统发出警报。

进一步的方案为，所述步骤3包括：

S31：从所采集的视频中提取出图片；

S32：利用计算机视觉目标检测算法，检测出图片中的所有人，并截取出每个人所在的局部图像区域。

进一步的方案为，所述步骤4包括：

S41：对于截取出的每个人所在的图像区域，利用计算机视觉目标检测算法检测出该人的手上是否拿着手机以及人体周围是否有手机；

S42：对于截取出的每个人所在的图像区域，利用计算机视觉技术计算出人脸朝向。

进一步的方案为，所述步骤5包括：

S51：根据步骤4中的结果，如果一个人拿着手机并且脸注视着手机，则判断该人在“玩手机”；

S52：根据步骤4中的结果，如果一个人的脸注视着手机的时间超过一定时间阈值，则判断该人在玩“玩手机”。

进一步的方案为，所述步骤6包括：

S61：根据步骤5的判断结果，输出每个人的状态：“玩手机”或者“未玩手机”；

S62：如果有人在玩手机，系统发出警报。

本发明的有益效果在于：

本发明的方法，所述检测系统根据人体姿态和手机与人脸朝向的空间关系来判断当前场景中是否有人在进行“玩手机”行为，当检测到被检测场景有人“玩手机”行为情况下，精准的发出警报提示，同时具有监测方式非接触、不浸入和监测范围广，易于实施等特点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于图像视频检测人“玩手机”的系统流程图；

图2为实施例2中基于图像视频检测人“玩手机”的方法的基本步骤。

图3为实施例2中人体检测的基本流程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

实施例一：

一种基于图像视频检测人“玩手机”的系统，其系统流程如图1所示，包括信号采集子系统、人体检测子系统、手机检测子系统、人脸朝向判别子系统、“玩手机”判别子系统、以及状态输出及报警子系统；

信号采集子系统通过传感器(摄像头，PC或高性能嵌入式开发板)获取当前场景下的视频信号，然后从视频中提取出图片。

人体检测子系统主要检测出图片中的人体，利用提取出来的图片，采用计算机目标检测算法如YOLO，SSD等算法检测出图片中的人体区域。

手机检测子系统主要检测出人体区域中的手机，利用检测出来的人体区域，采用计算机目标检测算法如YOLO，SSD等算法检测出图片中人的是否拿着手机。

人脸朝向判别子系统主要用于判断人是否在注视着手机，利用检测出来的人体区域，采用人脸关键点算法估算出人脸的朝向，判断人脸是否注视着手机。

“玩手机”判别子系统主要判断人是否在”玩手机“，如果一个人拿着手机并且脸注视着手机，则判断为该人在“玩手机”；如果一个人的脸注视着手机的时间超过一定时间阈值，则判断为该人在玩“玩手机”。

状态输出及报警子系统主要用于输出每个人的状态以及当有人在“玩手机“时发出光电声报警。

实施例二

本发明实施例提供了一种基于图像视频检测人“玩手机”的方法。如图2所示，包括以下步骤S1～S6：

步骤S1：对系统进行初始化；

步骤S2：通过摄像头采集图像视频信号；

步骤S3：检测出步骤S2采集的图像视频中所有的人；

步骤S4：对于步骤S3中检测出的每个人，判断每个手上是否拿着手机并且计算出人脸的朝向；

步骤S5：对于步骤S4中的结果，判断每个人是否在玩“玩手机”；

步骤S6：根据步骤S5的判断结果，输出每个人的状态：“玩手机”或者“未玩手机”。如果有人在玩手机，系统发出警报。

如图3所示，本发明实施例中，步骤S2和步骤S3中采用yolo V3网络对人员和手机进行检测，具有检测精度高、对小目标检测敏感、实时性好和鲁棒性强的优点，其具体步骤为：

A1、将环境视频图像调整为统一大小，如，224*224或416*416，或618*618；

A2、将图片分成N*N个网格，例如N＝13，或N＝7。

A3、采用每个网格预测3个边框box，并用每个边框预测自身的(x，y，w，h，confidence)共五个值；其中(x，y)表示边框在图像上的二维坐标，w和h分别表示边框的宽度和高度，confidence值包括边框中含有目标的置信度和边框预测的准确度两重信息。

本发明实施例中，由于只需要预测是否有人，因此每个网格只有一个类别信息。每个网格要预测B＝3个边框，还要预测1个类别，输出张量的其中一个维度就是：3*(5+1)＝18。

A4、将每个网格预测的类别信息和边框预测的confidence信息相乘，得到每个边框的具体分类置信度。

A5、设置置信度阈值，将具体分类置信度小于置信度阈值的边框滤除，并对保留下来的边框进行非极大值抑制(NMS，Non Maximum Suppression)处理，得到最终的检测结果。

进一步地，所述检测系统根据人手持手机和人脸朝向空间关系而预设“玩手机”和“不玩手机”两种状态，监测系统若判断当前检测到的人是在“玩手机”，则发出警报报警。主要判据如下：

1：如果一个人拿着手机并且脸注视着手机，则判断该人在“玩手机”；

2：根据步骤4中的结果，如果一个人的脸注视着手机的时间超过一定时间阈值，则判断该人在玩“玩手机”。

其中，所述监控系统警报指令发出后，清除报警指令。

本发明的方法，所述检测系统根据人体姿态和手机与人脸朝向的空间关系来判断当前场景中是否有人在进行“玩手机”行为，当检测到被检测场景有人“玩手机”行为情况下，精准的发出警报提示，同时具有监测方式非接触、不浸入和监测范围广，易于实施等特点。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (9)

1.基于图像视频检测人“玩手机”的系统，其特征在于，

包括信号采集子系统、人体检测子系统、手机检测子系统、人脸朝向判别子系统、“玩手机”判别子系统、以及状态输出及报警子系统；

所述信号采集子系统是安装于PC或高性能嵌入式开发板的摄像头，用于获取场景的视频图像；

所述人体检测子系统用于检测图像视频中的人体；

所述手机检测子系统用于检测场景中的手机；

所述人脸朝向判别子系统用于判断所检测人的人脸的朝向；

所述“玩手机”判别子系统用于判断所检测到的人是否在玩手机；

所述状态输出及报警子系统根据“玩手机”判别子系统的结果，进行状态判断及执行是否报警。

2.如权利要求1所述基于图像视频检测人“玩手机”的系统，其特征在于，所述信号采集子系统包括摄像头和处理模块；

所述摄像头安装于PC或高性能嵌入式开发板，用于对监控区域的图像视频进行采集。

3.如权利要求2所述基于图像视频检测人“玩手机”的系统，其特征在于，所述信号采集子系统的处理模块包括PC或高性能嵌入式开发板。

4.如权利要求1所述基于图像视频检测人“玩手机”的系统，其特征在于，所述状态输出及报警子系统根据“玩手机”判别子系统的结果，进行光电声报警。

5.基于图像视频检测人“玩手机”的方法，其特征在于，步骤如下：

步骤1：系统初始化；

步骤2：通过摄像头采集图像视频信号；

步骤3：检测出步骤2采集的图像视频中所有的人；

步骤4：对于步骤3中检测出的每个人，判断每个手上是否拿着手机并且计算出人脸的朝向；

步骤5：对于步骤4中的结果，根据人拿着手机并且该人脸注视着手机或者人脸注视着手机的时间超过一定阈值判断每个人是否在玩“玩手机”；

步骤6：根据步骤5的判断结果，输出每个人的状态：“玩手机”或者“未玩手机”，如果有人在玩手机，系统发出警报。

6.如权利要求5所述基于图像视频检测人“玩手机”的方法，其特征在于，所述步骤3包括：

S31：从所采集的视频中提取出图片；

S32：利用计算机视觉目标检测算法，检测出图片中的所有人，并截取出每个人所在的局部图像区域。

7.如权利要求5所述基于图像视频检测人“玩手机”的方法，其特征在于，所述步骤4包括：

S41：对于截取出的每个人所在的图像区域，利用计算机视觉目标检测算法检测出该人的手上是否拿着手机以及人体周围是否有手机；

S42：对于截取出的每个人所在的图像区域，利用计算机视觉技术计算出人脸朝向。

8.如权利要求5所述基于图像视频检测人“玩手机”的方法，其特征在于，所述步骤5包括：

S51：根据步骤4中的结果，如果一个人拿着手机并且脸注视着手机，则判断该人在“玩手机”；

S52：根据步骤4中的结果，如果一个人的脸注视着手机的时间超过一定时间阈值，则判断该人在玩“玩手机”。

9.如权利要求5所述基于图像视频检测人“玩手机”的方法，其特征在于，所述步骤6包括：

S61：根据步骤5的判断结果，输出每个人的状态：“玩手机”或者“未玩手机”；

S62：如果有人在玩手机，系统发出警报。