CN111325119A - 一种安全生产的视频监控方法及系统 - Google Patents

Abstract

本申请公开了一种安全生产的视频监控方法，包括接收与安全生产有关的视频流图像。从视频流图像中，每间隔若干帧图像，选取一帧图像。将所选取的图像输入深度卷积神经网络模型，以识别以下至少一项或几项与安全生产有关的违规内容：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息。将识别出的违规内容对应的图像进行存储，以输入至深度卷积神经网络模型对深度卷积神经网络模型进行再次训练。本申请通过上述方法实现了对生产环境全方位的安全监控，同时实现了深度卷积神经网络模型的自动更新升级，保证了安全隐患检测的准确度。

Description

一种安全生产的视频监控方法及系统

技术领域

本申请涉及监控技术领域，尤其涉及一种安全生产的视频监控方法及系统。

背景技术

随着社会的发展和经济的进步，人们的安全意识不断增强，生产过程中的安全问题正在受到越来越多的关注与重视。为了更好的监控生产过程中出现的各种安全隐患及问题，视频监控系统被广泛部署在生产环境中。然而传统的视频监控系统只能做到录像功能，因此，越来越多的视频监控系统采用人工智能技术在一定程度上实现监控系统的智能化，可实现对生产过程中存在的安全隐患进行分析识别。

但目前大部分智能视频监控系统都具有一定的局限性，识别内容单一，识别结果不精确问题。

发明内容

本申请实施例提供了一种安全生产的视频监控方法及系统，用以解决现有的视频监控系统在对生产场景内存在的安全隐患内容进行识别时，容易出现识别结果不精确的技术问题。

一方面，本申请实施例提供了一种安全生产的视频监控方法，包括：接收与安全生产有关的视频流图像。从视频流图像中，每间隔若干帧图像，选取一帧图像。将所选取的图像输入深度卷积神经网络模型，以识别以下至少一项或几项与安全生产有关的违规内容：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息。将识别出的违规内容对应的图像进行存储，以输入至深度卷积神经网络模型对深度卷积神经网络模型进行再次训练。

在本申请的一种实现方式中，在将所选取的图像输入深度卷积神经网络模型之前，还包括：获取图像样本库。其中，图像样本库包含多种有关安全隐患场景的样本图像。标注图像样本库中每张样本图像所包含的与安全隐患相关的内容。使用图像样本库中的多张样本图像以及标注出的样本图像中包含的与安全隐患相关内容，通过机器学习训练得到深度卷积神经网络模型。

在本申请的一种实现方式中，待识别对象的违规外观信息包括：待识别对象未戴安全帽、待识别对象未穿规定工装、待识别对象未戴手套。待识别对象的违规行为信息包括：待识别对象使用手机、待识别对象吸烟。车辆种类或车辆驶入区域信息包括：外来车辆信息、车辆驶入违禁区。生产设备的异常状态包括：生产设备出现腐蚀、生产设备破损、生产设备漏油。烟火状态包括：监控区域出现烟火。遗留物信息包括：监控区域出现纸箱、监控区域出现衣物。

在本申请的一种实现方式中，在将所选取的图像输入深度卷积神经网络模型之前，还包括：获取图像样本库。其中，图像样本库包含多种有关安全隐患场景的样本图像。标注图像样本库中每张样本图像所包含的运动对象的至少一个部位点。使用图像样本库中的多张样本图像以及标注出的运动对象的至少一个部位点，通过机器学习训练得到深度卷积神经网络模型。其中，至少一个部位点包括以下任意一项或多项：头顶、左肩尾、右肩尾、左肘点、右肘点、左腕点、右腕点、左髋点、右髋点、左膝点、右膝点、左踝点、右踝点。

在本申请的一种实现方式中，在将所选取的图像输入深度卷积神经网络模型之前，还包括：根据深度卷积神经网络模型对输入图像格式的要求，对所选取的图像进行预处理。预处理至少包括以下任意一项或者几项：改变所选取的图像的颜色、调整所选取的图像的大小、对所选取的图像进行校正。

在本申请的一种实现方式中，方法还包括：基于角色访问控制方法确定视频流图像对应的访问权限。访问权限与账号进行关联。访问权限的级别与账号对应用户的级别有关。

在本申请的一种实现方式中，在将所选取的图像输入深度卷积神经网络模型，识别以下至少一项或几项与安全生产有关的违规内容之后，方法还包括：将与安全生产有关的视频流图像通过大于预设尺寸的屏幕进行展示。在屏幕的第一区域展示视频流图像，并通过预设方式在图像中对违规内容进行定位。在屏幕的第二区域以列表方式展示各项违规内容，以便基于触发展示与违规内容对应的视频流图像。以及在屏幕的第三区域展示对违规内容的统计信息。

在本申请的一种实现方式中，深度卷积神经网络模型识别待识别对象的违规行为信息具体包括：深度卷积神经网络模型根据待识别对象的至少两个部位点之间的相对位置变化信息，确定待识别对象的违规行为信息。

在本申请的一种实现方式中，深度卷积神经网络模型识别待识别对象的违规行为信息具体包括：深度卷积神经网络模型判断待识别对象，至少两个部位点之间的相对距离。在待识别对象至少两个部位点之间的相对距离在连续若干所选取的图像中均超过预设阈值的情况下，确定待识别对象的违规行为信息。

另一方面，本申请实施例还提供了一种安全生产的视频监控系统，系统包括：接收模块、选取模块、识别模块、存储模块。接收模块用于接收与安全生产有关的视频流图像。选取模块用于从视频流图像中，每间隔若干帧图像，选取一帧图像。识别模块，包括深度卷积神经网络模型，用以识别以下至少一项或几项与安全生产有关的违规内容：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息。存储模块用于将识别出的违规内容对应的图像进行存储，以输入至深度卷积神经网络模型对深度卷积神经网络模型进行再次训练。

本申请实施例提供的一种安全生产的视频监控方法及系统，能够对待识别对象的外观、行为、生产设备的状态、车辆种类或车辆驶入区域信息、烟火状态、遗留物信息等方面进行全方位的检测识别，实现了全方位的安全生产监控方法及系统。同时，本申请实施例提供的监控方法及系统中，所利用的深度卷积神经网络模型能够进行自动更新升级，实现了监控系统能够在使用过程中随着生产场景的变化而自动更新，保证了与安全生产相关的安全隐患检测的准确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种安全生产的视频监控方法流程示意图；

图2为本申请实施例提供的人体关键点示意图；

图3为本申请实施例提供的一种显示屏幕展示区域划分示意图；

图4为本申请实施例提供的一种安全生产的视频监控系统内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种安全生产的视频监控方法及系统，以实现对生产场景内的全方位检测，同时通过不断更新神经网络深度卷积模型，提高了对安全隐患检测的准确度。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种安全生产的视频监控方法流程示意图。如图1所示，视频监控方法包括以下步骤：

S101、服务器接收视频流图像。

服务器接收监控设备上传的生产场景的视频流图像。

在本申请的一个实施例中，生产场景的视频流图像，包括工业生产中生产车间的监控图像、建筑场景中的监控图像等等。。

在本申请的一个实施例中，监控设备将视频流图像上传到服务器，采用无线传输的方式。

需要说明的是，本申请实施例中的监控设备上传视频流图像的方式，既可以采用无线传输方式，也可以通过有线传输方式实现，本申请实施例对此不作限定。

S102、服务器提取图像。

在服务器接收到监控设备上传的视频流图像之后，每间隔若干帧图像，选取一帧图像，作为待识别图像。

一秒高清视频包括25或者以上帧数，由于对监控的实时性要求没有必要达到绝对实时，如果对所有帧数的图像都进行识别，就会浪费大量的计算资源。因此，每x帧中选取一帧图像。针对不同的实时性要求，x的取值为2、5、10。

如果安全生产监控方法中，对生产场景中存在的违规内容的监控的实时性要求越高，则选取x的值越小，例如x为2，即每2帧图像中选取一帧图像进行检测识别。如果对生产场景中存在的违规内容的监控的实时性要求不高，则可选取x的值为10，即每10帧图像中选取一帧图像进行检测识别。

S103、服务器将选取的图像输入神经网络卷积模型，以识别违规内容。

服务器将待识别的图像选取完成后，将所选取的图像首先按照深度卷积神经网络模型对输入图像的要求进行大小调整等预处理，然后将预处理后的图像输入训练过的深度卷积神经网络模型中，以识别所选取图像中与安全生产有关的违规内容。

在本申请的一个实施例中，预处理包括：改变所选取图像的颜色、调整所选取图像的大小、对所选取图像进行校正。

在本申请的一个实施例中，深度卷积神经网络模型要求输入的图像大小等于预设值，服务器在对所选取图像进行预处理时，调整所选取图像的大小，直至所选取图像的大小等于深度卷积神经网络模型设定的预设值。

在本申请的一个实施例中，与安全生产有关的违规内容包括以下任意一项或几项：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息。

在本申请的一个实施例中，待识别对象的违规外观信息包括：待识别对象未戴安全帽、待识别对象未穿规定工装、待识别对象未戴手套。待识别对象的违规行为信息包括：待识别对象使用手机、待识别对象吸烟、待识别对象攀高。车辆种类或车辆驶入的区域信息包括：外来车辆信息、车辆驶入违禁区。生产设备的异常状态包括：生产设备出现腐蚀、生产设备破损、生产设备漏油。烟火状态包括：监控区域出现烟火；所述遗留物信息包括：监控区域出现纸箱、监控区域出现衣物。

在本申请的一个实施例中，深度卷积神经网络模型在选取图像输入完成后，开始对所选取图像进行检测，通过深度学习的图像识别技术，识别所选取图像中的待识别对象的违规外观信息及设备异常状态信息等。

在本申请的一个实施例中，在深度卷积神经网络模型进行违规内容识别之前，服务器首先对深度卷积神经网络进行训练，具体地训练方式包括以下两种：

方式1：服务器首先获取预先存储的、包括多种安全隐患场景的图像样本库。然后对图像样本库中的每张图像都进行标注，以预设方式标注出每张样本图像中的存在的与安全隐患相关的内容。最后利用标注的内容及获取的图像样本库，完成对深度卷积神经网络模型的训练。

方式2；服务器首先获取包括多种待识别对象违规行为信息的图像样本库。然后对图像样本库中的每张样本图像进行标注，以预设方式标注出每张样本图像中的待识别对象的至少一个部位点。最后，根据标注出的待识别对象的至少一个部位点，以及图像样本库完成对深度卷积神经网络模型的训练。

在本申请的一个实施例中，服务器训练的深度卷积神经网络模型是相对现有模型进行压缩后得到的，它不仅可以支持多路监控视频，还减少了对大量计算资源的依赖。

在方式2中，标注的待识别对象的至少一个部位点为人体13个关键点中的一个或多个。人体13个关键点的具体位置，如图2所示。

图2为本申请实施例提供的人体关键点示意图。如图2所示，人体的13个关键点包括：头顶201、左肩尾202、右肩尾203、左肘点204、右肘点205、左腕点206、右腕点207、左髋点208、右髋点209、左膝点210、右膝点211、左踝点212、右踝点213。

在本申请的一个实施例中，深度卷积神经网络模型在识别待识别对象违规行为信息时，通过人体13个关键点中的一个或者几个关键点之间的相对距离变化幅度的大小，判断待识别对象的行为是否是违规的。例如：在连续帧数的所选取的图像中，可以通过左肘点204、右肘点205、以及左膝点210、右膝点211之间相对距离的变化，确定待识别对象是否有违规攀高动作。如果在连续帧数的图像中，待识别对象的左肘点204与左膝点210、右肘点205与右膝点211之间的相对距离均超过预设阈值，则确定待识别对象正在进行违规攀高动作。

在本申请的另一实施例中，深度卷积神经网络模型还可以通过人体13个关键点中的至少两个关键点的相对位置，判断待识别对象的违规行为信息。例如：可以通过左肘点204、左腕点206、左膝点210与左髋点208之间的相对位置，判断待识别对象是否有违规攀爬动作。在人体正常的体态下，左腕点206在左肘点204的下方，靠近左髋点208的位置。而在人体进行攀爬动作时，左腕点206在左肘点204的上方，远离左髋点208的位置，且左膝点210相比于人体正常体态的情况下，靠近左髋点208。

在本申请的一个实施例中，在深度卷积神经网络模型识别出含有违规内容的图像之后，将所选取出的视频流图像输入到显示屏幕进行展示。

图3为本申请实施例提供的一种显示屏幕展示区域划分示意图。如图3所示，显示屏幕划分为3个展示区域：第一区域301、第二区域302、第三区域303。

在本申请的一个实施例中，第一区域301用来展示视频流图像。第二区域302用来以列表的方式展示各项违规内容的选项：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息。第三区域303用来展示第一区域正在展示的视频流图像中的违规内容的统计信息。

在本申请的一个实施例中，第一区域301展示的视频流图像中，以预设方式圈出违规内容中的各项信息，并在第三区域303展示各项违规内容的统计结果。例如，第一区域301中正在展示视频流图像中的某一帧图像。第二区域中展示各项违规内容的选项，以列表方式由上到下依次设置为：待识别对象违规行为识别、车辆识别、生产设备异常状态识别、待识别对象违规行为识别、烟火状态识别、遗留物识别。当前所选的违规内容选项为待识别对象的违规外观。第一区域展示的图像中，待识别对象的违规外观信息的具体违规信息，被红色矩形框标注出来的。具体违规信息的统计结果在第三区域进行显示，例如：人员数(2)、未戴手套人数(0)、违规未穿工装人数(1)、违规安全帽人数(0)。

在本申请的一个实施例中，用户访问视频流图像时可以通过点击第二区域列表中的各项违规内容的选项，查看相对应的视频流图像及相对应的违规内容信息。

S104、存储识别出的违规内容对应的图像。

服务器在识别出违规内容之后，将含有违规内容的图像通过存储器进行存储，以输入至深度卷积神经网络模型，使其能够基于新的视频流图像数据进行自动更新。

在本申请的一个实施例中，视频流图像中含有的违规内容不仅可以被服务器自动识别，还可以通过人工被识别出来。

在本申请的一个实施例中，含有违规内容的图像在输入深度卷积神经网络之前，服务器或者监控人员会将图像中含有的违规内容标注出来。

在本申请的一个实施例中，违规内容对应图像的存储可以通过以下两种模式实现：

自动模式：深度卷积神经网络模型检测出与安全生产相关的违规内容后，服务器将违规内容对应的图像自动保存到存储器。

手动模式：监控人员发现视频流图像中含有违规内容后，手动将违规内容对应的图像存储到存储器。

需要说明的是，本申请实施例中的存储器可以通过硬盘等硬件结构实现，也可以通过软件存储介质实现。本申请实施例对此不作限定。

在本申请的一个实施例中，视频流图像还设置有访问权限。访问权限的控制采用基于角色的访问控制(Role-Based Access Control)方法。对每个访问用户分配一个访问账号，根据访问用户的级别，对访问用户的账号设置相应的级别，将访问权限与访问账号相关联。

在本申请的一个实施例中，访问权限与访问账号相关联，包括：访问账号的级别越高，对视频流图像的访问权限就越大，能够访问到的视频流图像就越多。

在本申请的另一实施例中，访问权限与访问账号相关联，还包括：访问账号分为不同的类型，例如：主管级账号、总监级账号、普通员工账号；不同类型对应不同的访问权限。

在本申请的一个实施例中，深度卷积神经网络模型识别出含有违规内容的视频流图像之后，还会启动预警处理，通过短信、微信、邮件、扩音器等方式将预警信息实时发送出去，供相关人员及时处理。

在本申请的一个实施例中，预警信息以json的形式，采用以下格式进行传输：

{

“监控设备地址”:

“rtsp://admin:nowvciji121226@192.168.1.64:554/Channels/1”,

“监控方面”：“待识别对象的违规外观信息”，

“截图存储地址”：“/data/snapshot/20191101105633.jpg”，

“检测结果”：{“人数”：2，“未戴手套人数”：1，“工装穿着不合格人数”：1，“未戴安全帽人数”：0}

}

基于同样的发明构思，本申请实施例还提供了一种安全生产的视频监控系统。

图4为本申请实施例提供的一种安全生产的视频监控系统内部结构示意图，如图4所示，监控系统包括接收模块401、选取模块402、识别模块403、存储模块404。

其中，接收模块401用于接收与安全生产有关的视频流图像。选取模块402用于从视频流图像中，每间隔若干帧图像，选取一帧图像。识别模块403包括深度卷积神经网络模型，用以识别以下至少一项或几项与安全生产有关的违规内容：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息。存储模块404用于将识别出的违规内容对应的图像进行存储，以输入至深度卷积神经网络模型对深度卷积神经网络模型进行再次训练。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种安全生产的视频监控方法，其特征在于，所述方法包括：

接收与安全生产有关的视频流图像；

从所述视频流图像中，每间隔若干帧图像，选取一帧图像；

将所选取的图像输入深度卷积神经网络模型，识别以下至少一项或几项与安全生产有关的违规内容：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息；

将识别出的所述违规内容对应的图像进行存储，以输入至所述深度卷积神经网络模型对所述深度卷积神经网络模型进行再次训练。

2.根据权利要求1所述的方法，其特征在于，在所述将所选取的图像输入深度卷积神经网络模型之前，所述方法还包括：

获取图像样本库；其中，所述图像样本库包含多种有关安全隐患场景的样本图像；

标注所述图像样本库中每张样本图像所包含的与安全隐患相关的内容；

使用所述图像样本库中的多张样本图像以及所述标注出的样本图像中包含的与安全隐患相关内容，通过机器学习训练得到所述深度卷积神经网络模型。

3.根据权利要求1所述的方法，其特征在于，所述待识别对象的违规外观信息包括：待识别对象未戴安全帽、待识别对象未穿规定工装、待识别对象未戴手套；

所述待识别对象的违规行为信息包括：待识别对象使用手机、待识别对象吸烟、待识别对象攀高；

所述车辆种类或车辆驶入的区域信息包括：外来车辆信息、车辆驶入违禁区；

所述生产设备的异常状态包括：生产设备出现腐蚀、生产设备破损、生产设备漏油；

所述烟火状态包括：监控区域出现烟火；

所述遗留物信息包括：监控区域出现纸箱、监控区域出现衣物。

4.根据权利要求1所述的方法，其特征在于，在所述将所选取的图像输入深度卷积神经网络模型之前，所述方法还包括：

获取图像样本库；其中，所述图像样本库包含多种有关安全隐患场景的样本图像；

标注所述图像样本库中每张样本图像所包含的运动对象的至少一个部位点；

使用所述图像样本库中的多张样本图像以及所述标注出的运动对象的至少一个部位点，通过机器学习训练得到所述深度卷积神经网络模型；

其中，所述至少一个部位点包括以下任意一项或多项：头顶、左肩尾、右肩尾、左肘点、右肘点、左腕点、右腕点、左髋点、右髋点、左膝点、右膝点、左踝点、右踝点。

5.根据权利要求1所述的方法，其特征在于，在所述将所选取的图像输入深度卷积神经网络模型之前，所述方法还包括：

根据所述深度卷积神经网络模型对输入图像格式的要求，对所选取的图像进行预处理；

所述预处理至少包括以下任意一项或者几项：改变所选取的图像的颜色、调整所选取的图像的大小、对所选取的图像进行校正。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于角色访问控制方法确定所述视频流图像对应的访问权限；

所述访问权限与账号进行关联；所述访问权限的级别与所述账号对应用户的级别有关。

7.根据权利要求1所述的方法，其特征在于，在所述将所选取的图像输入深度卷积神经网络模型，识别以下至少一项或几项与安全生产有关的违规内容之后，所述方法还包括：

将所述与安全生产有关的视频流图像通过大于预设尺寸的屏幕进行展示；

在所述屏幕的第一区域展示所述视频流图像，并通过预设方式在所述图像中对所述违规内容进行定位；在所述屏幕的第二区域以列表方式展示各项违规内容，以便基于触发展示与所述违规内容对应的视频流图像；以及在所述屏幕的第三区域展示对所述违规内容的统计信息。

8.根据权利要求3或4所述的方法，其特征在于，所述深度卷积神经网络模型识别待识别对象的违规行为信息具体包括：

所述深度卷积神经网络模型根据所述待识别对象，至少两个部位点之间的相对位置变化信息，确定所述待识别对象的违规行为信息。

9.根据权利要求8所述的方法，其特征在于，所述深度卷积神经网络模型识别待识别对象的违规行为信息具体包括：

确定所述待识别对象中至少两个部位点之间的相对距离；

在所述待识别对象至少两个部位点之间的相对距离在连续若干所选取的图像中均超过预设阈值的情况下，确定所述待识别对象的违规行为信息。

10.一种安全生产的视频监控系统，其特征在于，所述系统包括：接收模块、选取模块、识别模块、存储模块；

所述接收模块，用于接收与安全生产有关的视频流图像；

所述选取模块，用于从所述视频流图像中，每间隔若干帧图像，选取一帧图像；

所述识别模块，包括深度卷积神经网络模型，用以识别以下至少一项或几项与安全生产有关的违规内容：待识别对象的违规外观信息、待识别对象的违规行为信息、车辆种类或车辆驶入的区域信息、生产设备的异常状态、烟火状态、遗留物信息；

所述存储模块，用于将识别出的所述违规内容对应的图像进行存储，以输入至所述深度卷积神经网络模型对所述深度卷积神经网络模型进行再次训练。

Images