CN111080963A - 施工现场告警方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种施工现场告警方法、装置、计算机设备和存储介质。所述方法包括：当红外传感器感知到移动对象时，向摄像头发送拍摄指令，以供从摄像头接收施工现场的监控视频；监控视频包括监控图像帧；从监控图像帧中提取监控对象；识别监控对象在监控图像帧中所处的位置，得到监控对象位置；当监控对象位置处于施工现场的告警范围之内时，进行安全告警。采用本方法能够提高施工现场告警的实时性和可靠性。

Description

施工现场告警方法、装置、计算机设备和存储介质

技术领域

本申请涉及智能监控技术领域，特别是涉及一种施工现场告警方法、施工现场告警装置、计算机设备和存储介质。

背景技术

施工现场通常环境复杂多变，且存在较多的安全隐患，在施工现场对于施工人员存在安全隐患的行为予以及时、准确的告警，能够在一定程度上避免险情的发生，确保人们生命财产的安全。例如，当发现施工人员误入危险区域，或者发生跌倒、吸烟等危险行为时，及时给予告警，在收到告警信息时施工人员能够及时退出危险区域，或者及时通知相关人员赶往事发地点进行救援，在一定程度上确保施工人员的行为规范，消除安全隐患。传统的施工现场告警方法是将施工现场视频上传到云端，通过在云端进行云计算来保障施工现场的安全。

然而，基于云计算的施工现场告警方法难以及时发现施工现场违反行为规范、存在安全隐患的行为，告警信息容易存在滞后，可靠性较低。

因此，传统的施工现场告警方法存在告警信息滞后，可靠性较低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种施工现场告警方法、一种施工现场告警装置、一种计算机设备和一种计算机可读存储介质。

一种施工现场告警方法，所述施工现场告警方法应用于边缘计算设备，所述边缘计算设备连接有红外传感器和摄像头，所述方法包括：

当所述红外传感器感知到移动对象时，向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频；所述监控视频包括监控图像帧；

从所述监控图像帧中提取监控对象；

识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置；

当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警。

在其中一个实施例中，所述方法包括：

接收所述红外传感器所感知到的传感器数据；

当所述传感器数据超过预设阈值时，判定所述红外传感器感知到所述移动对象。

在其中一个实施例中，所述向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频，包括：

向所述摄像头发送视频拍摄指令，以供所述摄像头在接收到所述视频拍摄指令时拍摄所述施工现场的监控视频；

接收所述摄像头所拍摄的所述监控视频。

在其中一个实施例中，所述向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频，还包括：

向所述摄像头发送视频调用指令，以供所述摄像头在接收到所述视频调用指令时发送预先存储的施工现场监控视频；

接收所述摄像头所发送的所述监控视频。

在其中一个实施例中，所述从所述监控图像帧中提取监控对象，包括：

根据多个连续监控图像帧，从所述监控图像帧中提取所述移动对象的移动对象轮廓；

从所述监控图像帧中截取包含所述移动对象轮廓的区域，得到所述监控对象的监控对象图像。

在其中一个实施例中，所述识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置，包括：

从所述监控对象图像中选取至少一个像素点，得到监控对象标识点；

确定所述监控对象标识点在所述监控图像帧中的坐标，得到标识点坐标；

将所述标识点坐标作为所述监控对象位置。

在其中一个实施例中，所述当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警，包括：

当所述监控对象位置处于所述施工现场告警范围内时，获取相应的监控视频的视频信息；所述视频信息包括所述监控视频的拍摄时间和拍摄地点；

根据所述视频信息进行越界告警。

在其中一个实施例中，所述方法还包括：

通过深度学习行为识别器，识别所述监控对象的对象行为；所述对象行为包括所述监控对象发生越界行为、跌倒行为和吸烟行为；

根据所述对象行为，针对所述监控对象进行危险行为告警。

一种施工现场告警装置，所述施工现场告警装置为边缘计算设备，且连接有红外传感器和摄像头，所述装置包括：

通信模块，用于当所述红外传感器感知到移动对象时，向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频；所述监控视频包括监控图像帧；

提取模块，用于从所述监控图像帧中提取监控对象；

识别模块，用于识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置；

告警模块，用于当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

当所述红外传感器感知到移动对象时，向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频；所述监控视频包括监控图像帧；

从所述监控图像帧中提取监控对象；

识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置；

当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

当所述红外传感器感知到移动对象时，向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频；所述监控视频包括监控图像帧；

从所述监控图像帧中提取监控对象；

识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置；

当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警。

上述施工现场告警方法、施工现场告警装置、计算机设备和计算机可读存储介质，通过将边缘计算设备连接红外传感器和摄像头，可以及时获取红外传感器信息和监控视频，并将与施工现场告警相关的数据处理通过边缘端进行本地化处理，降低网络延迟，提高告警的实时性和可靠性；当红外传感器感知到移动对象时，向摄像头发送接收指令，可以使摄像头在得到接收指令时才发送施工现场的监控视频，从而在确保告警及时可靠的基础上降低摄像头能耗；从监控视频的监控图像帧中提取监控对象，便于后续仅对监控对象进行数据处理，降低处理复杂度和处理时间；识别监控对象在监控图像帧中所处的位置，得到监控对象位置，便于根据监控对象位置判断监控对象是否处于告警范围之内，提高告警可靠性；当监控对象位置处于施工现场的告警范围之内时，进行安全告警，可以在监控对象越界时进行安全告警，确保施工现场安全告警的实时性和可靠性。

附图说明

图1是一个实施例的一种施工现场告警方法的流程示意图；

图2是一个实施例的一种施工现场告警方法的应用环境图；

图3是一个实施例的一种深度学习行为识别器的示意图；

图4是一个实施例的另一种施工现场告警方法的流程示意图；

图5是一个实施例的一种施工现场告警方法的告警展示效果图；

图6是一个实施例的一种施工现场告警装置的结构框图；

图7是一个实施例的一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种施工现场告警方法。本实施例提供的施工现场告警方法，可以应用于如图2所示的应用环境中。在该应用环境中，包括红外传感器终端201、摄像头终端202和边缘计算服务器203，其中，红外传感器终端201可以但不限于是红外双鉴传感器；摄像头终端202可以但不限于是联动摄像头；边缘计算服务器203可以但不限于是各种具有边缘计算功能的个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

本实施例中的一种施工现场告警方法，以该方法应用于图2中的边缘计算服务器203为例进行说明，包括以下步骤：

步骤S110，当红外传感器感知到移动对象时，向摄像头发送接收指令，以供从摄像头接收施工现场的监控视频。

其中，移动对象为红外传感器感知区域内移动的人，可以为施工现场的施工人员。

其中，监控视频由多帧图像组成，每帧图像为一个监控图像帧。

具体实现中，红外传感器终端201可以采用红外双鉴传感器，红外双鉴传感器安装于施工现场的指定位置，输出当前监控区域的传感器数据。边缘计算服务器203接收到传感器数据，并根据传感器数据判断当前监控区域内是否存在移动对象，可以预先设置一个阈值T，当传感器数据超过阈值T时，判定当前监控区域内有移动对象经过，即红外传感器201感知到移动对象，否则，判定当前监控区域内无移动对象。

摄像头终端202可以采用一个或多个联动摄像头，并安装于红外传感器终端201附近，用以拍摄当前监控区域的监控视频。当红外传感器终端201感知到移动对象时，边缘计算服务器203向摄像头终端202发送接收指令，指示开始接收施工现场当前监控区域的监控视频。摄像头终端202可以采用两种工作模式：第一种工作模式下，摄像头终端202在接收到接收指令之前处于休眠状态，不执行拍摄任务，当接收到接收指令时，联动摄像头开启拍摄功能，拍摄当前监控区域的监控视频，并将监控视频上传至边缘计算服务器203。第二种工作模式下，摄像头终端202无休眠状态，时刻拍摄当前监控区域的监控视频，并将监控视频存储于自带的存储器或边缘计算服务器203的存储器中，当摄像头终端202接收到接收指令时，可以将存储的监控视频发送至边缘计算服务器203，或者由边缘计算服务器203直接调用摄像头或自身存储器中的监控视频。上述第一种工作模式可以降低摄像头能耗，第二种工作模式能够缩短监控视频拍摄的响应时间，减少边缘计算服务器获取监控视频的时间，降低告警时延。

进一步地，还可以用臭氧传感器、烟雾探测器、水浸传感器和噪声传感器等代替上述红外传感器，以对施工现场的多种潜在安全隐患进行感知和告警。

步骤S120，从监控图像帧中提取监控对象。

其中，监控对象为从监控图像帧中截取的包含监控对象的一个监控对象图像，可以为根据施工人员身形轮廓提取的施工人员图像，也可以为包含施工人员图像的一个矩形区域。

具体实现中，边缘计算服务器202可以根据监控视频的视频流速率设置视频图像帧的采集速率，按照采集速率从监控视频中采集多个连续监控图像帧，并对其中相邻的监控图像帧进行比较，当相比于前一监控图像帧，当前监控图像帧中的部分区域存在整体上的位置移动时，将位置移动区域作为移动对象，并提取移动对象的轮廓，得到移动对象轮廓。例如，根据前一监控图像帧和当前监控图像帧，检测到监控视频中存在一个人形区域存在位置移动，人形区域即为移动对象。对于当前监控图像帧，可以通过求梯度等方法提取其中人形区域的轮廓，得到人形区域轮廓在当前监控图像帧中所对应的像素位置，像素位置为一系列坐标点的集合，该坐标点集合即为移动对象轮廓。在得到移动对象轮廓后，根据移动对象轮廓提取监控对象，可以得到监控对象图像，监控对象图像可以为上述移动对象轮廓及其内部区域，还可以为包含上述移动对象轮廓及其内部区域的一个矩形图像。

步骤S130，识别监控对象在监控图像帧中所处的位置，得到监控对象位置。

其中，监控对象位置为监控对象在监控图像帧中的位置信息，可以为监控对象图像在监控图像帧中的坐标。

具体实现中，可以用一个或多个像素点来描述监控对象位置。边缘计算服务器202可以在监控对象图像中选取至少一个像素点，将像素点作为监控对象标识点，例如，当得到的监控对象图像为一个矩形区域时，边缘计算服务器202可以选取矩形区域的四个顶点在监控图像帧中的坐标(50像素，50像素)、(100像素，50像素)、(50像素，100像素)、(100像素，100像素)作为监控对象标识点，还可以选取矩形区域的中心点在监控图像帧中的坐标(75像素，75像素)作为监控对象标识点。

在得到监控对象标识点后，可以通过确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标，通过标识点坐标来定位监控对象位置。例如，当通过监控对象图像的四个顶点来定位监控对象位置时，可以得到监控对象位置为监控图像帧中坐标为(50像素，50像素)、(100像素，50像素)、(50像素，100像素)、(100像素，100像素)的位置；当通过监控对象图像的中心点来定位监控对象位置时，可以得到监控对象位置为监控图像帧中坐标为(75像素，75像素)的位置。

步骤S140，当监控对象位置处于施工现场的告警范围之内时，进行安全告警。

其中，告警范围为不允许施工人员非法闯入的施工现场区域。

具体实现中，边缘计算服务器202在得到监控对象位置时，通过将监控对象位置与预先知道的施工现场告警范围进行比较，可以判断监控对象是否处于告警范围内。当监控对象位置处于施工现场告警范围内时，获取相应监控视频的视频信息，包括拍摄时间、拍摄地点、摄像机名称和编号、场景类型和报警原因等，并在告警展示界面上展示上述视频信息。边缘计算服务器202还可以展示相应的监控视频和监控图像帧，以及对监控视频执行快进和慢放等操作。

进一步地，边缘计算服务器202还可以将监控图像帧或监控对象图像输入深度学习行为识别器，识别监控对象是否存在越界、跌倒和吸烟等危险行为。当识别结果超过预设阈值时，可以判定监控对象处于告警区域，或存在跌倒、吸烟等危险行为，此时边缘计算服务器202获取相应监控视频的视频信息，包括拍摄时间、拍摄地点、摄像机名称和编号、场景类型和报警原因等，并在告警展示界面上展示上述视频信息。边缘计算服务器202还可以展示相应的监控视频和监控图像帧，以及对监控视频执行快进和慢放等操作。

上述施工现场告警方法，通过将边缘计算设备连接红外传感器和摄像头，可以及时获取红外传感器信息和监控视频，并将与施工现场告警相关的数据处理通过边缘端进行本地化处理，降低网络延迟，提高告警的实时性和可靠性；当红外传感器感知到移动对象时，向摄像头发送接收指令，可以使摄像头在得到接收指令时才发送施工现场的监控视频，从而在确保告警及时可靠的基础上降低摄像头能耗；从监控视频的监控图像帧中提取监控对象，便于后续仅对监控对象进行数据处理，降低处理复杂度和处理时间；识别监控对象在监控图像帧中所处的位置，得到监控对象位置，便于根据监控对象位置判断监控对象是否处于告警范围之内，提高告警可靠性；当监控对象位置处于施工现场的告警范围之内时，进行安全告警，可以在监控对象越界时进行安全告警，确保施工现场安全告警的实时性和可靠性。

在一个实施例中，上述步骤S110，可以具体包括：向摄像头发送视频拍摄指令，以供摄像头在接收到视频拍摄指令时拍摄施工现场的监控视频；接收摄像头所拍摄的监控视频。

其中，视频拍摄指令为指示摄像头开始拍摄施工现场监控视频的指令。

具体实现中，摄像头终端可以采用一个或多个联动摄像头，并安装于红外传感器终端附近，用以拍摄当前监控区域的监控视频。当红外传感器终端感知到移动对象时，边缘计算服务器向摄像头终端发送视频拍摄指令，指示摄像头开始拍摄施工现场当前监控区域的监控视频。摄像头终端在接收到视频拍摄指令之前处于休眠状态，不执行拍摄任务，当接收到视频拍摄指令时，联动摄像头开启拍摄功能，拍摄当前监控区域的监控视频，并将监控视频上传至边缘计算服务器。边缘计算服务器接收摄像头所拍摄的监控视频。

上述方法通过边缘计算服务器向摄像头发送视频拍摄指令，摄像头在接收到视频拍摄指令时拍摄施工现场的监控视频，并将监控视频发送至边缘计算服务器，可以在确保施工现场安全告警实时性和可靠性的基础上降低摄像头能耗，起到节能的作用。

在一个实施例中，上述步骤S110，可以还具体包括：向摄像头发送视频调用指令，以供摄像头在接收到视频调用指令时发送预先存储的施工现场监控视频；接收预先存储的施工现场监控视频。

其中，视频调用指令为指示边缘计算服务器可以调用监控视频的指令。

具体实现中，摄像头终端可以采用一个或多个联动摄像头，并安装于红外传感器终端附近，用以拍摄当前监控区域的监控视频，摄像头终端不存在休眠状态，时刻拍摄当前监控区域的监控视频，并将监控视频存储于自带的存储器中。当红外传感器终端感知到移动对象时，边缘计算服务器向摄像头终端发送视频调用指令，指示开始调用施工现场当前监控区域的监控视频。当摄像头终端接收到视频调用指令时，可以调用存储器中的监控视频，并将其发送或上传至边缘计算服务器。

进一步地，摄像头拍摄的监控视频还可以存储于边缘计算服务器的存储器中，当红外传感器终端感知到移动对象时，边缘计算服务器可以生成视频调用指令，指示开始调用自身存储器中的监控视频。

上述方法通过边缘计算服务器向摄像头发送接收指令，摄像头在接收到接收指令时发送预先存储在摄像头中的施工现场监控视频，并将监控视频发送至边缘计算服务器，可以缩短监控视频拍摄的响应时间，减少边缘计算服务器获取监控视频的时间，提高施工现场安全告警的实时性和可靠性。

在一个实施例中，上述步骤S120，可以具体包括：根据多个连续监控图像帧，从监控图像帧中提取移动对象的移动对象轮廓；从监控图像帧中截取包含移动对象轮廓的区域，得到监控对象的监控对象图像。

其中，移动对象轮廓为移动对象的轮廓，可以为施工人员的轮廓。

具体实现中，边缘计算服务器可以根据监控视频的视频流速率设置视频图像帧的采集速率，按照采集速率从监控视频中采集多个连续监控图像帧，并对其中相邻的监控图像帧进行比较，当相比于前一监控图像帧，当前监控图像帧中的部分区域存在整体上的位置移动时，将位置移动区域作为移动对象，并提取移动对象的轮廓，得到移动对象轮廓。例如，根据前一监控图像帧和当前监控图像帧，检测到监控视频中存在一个人形区域存在位置移动，人形区域即为移动对象。对于当前监控图像帧，可以通过求梯度等方法提取其中人形区域的轮廓，得到人形区域轮廓在当前监控图像帧中所对应的像素位置，像素位置为一系列坐标点的集合，该坐标点集合即为移动对象轮廓。在得到移动对象轮廓后，根据移动对象轮廓提取监控对象，可以得到监控对象图像，监控对象图像可以为上述移动对象轮廓及其内部区域，还可以为包含上述移动对象轮廓及其内部区域的一个矩形图像。

上述方法根据多个连续监控图像帧，从监控图像帧中提取移动对象的移动对象轮廓，可以快速确定移动对象轮廓，确保施工现场安全告警的实时性；从监控图像帧中截取包含移动对象轮廓的区域，得到监控对象的监控对象图像，便于后续当监控对象处于告警范围时进行告警，确保施工现场安全告警的可靠性。

在一个实施例中，上述步骤S130，可以具体包括：从监控对象图像中选取至少一个像素点，得到监控对象标识点；确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标；将标识点坐标作为监控对象位置。

其中，监控对象位置为监控对象图像在监控图像帧中的位置。

具体实现中，可以用一个或多个像素点来描述监控对象位置。边缘计算服务器可以在监控对象图像中选取至少一个像素点，将像素点作为监控对象标识点，例如，当得到的监控对象图像为一个矩形区域时，边缘计算服务器可以选取矩形区域的四个顶点在监控图像帧中的坐标(50像素，50像素)、(100像素，50像素)、(50像素，100像素)、(100像素，100像素)作为监控对象标识点，还可以选取矩形区域的中心点在监控图像帧中的坐标(75像素，75像素)作为监控对象标识点。

在得到监控对象标识点后，可以通过确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标，通过标识点坐标来定位监控对象位置。例如，当通过监控对象图像的四个顶点来定位监控对象位置时，可以得到监控对象位置为监控图像帧中坐标为(50像素，50像素)、(100像素，50像素)、(50像素，100像素)、(100像素，100像素)的位置；当通过监控对象图像的中心点来定位监控对象位置时，可以得到监控对象位置为监控图像帧中坐标为(75像素，75像素)的位置。

上述方法从监控对象图像中选取至少一个像素点，得到监控对象标识点，确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标，将标识点坐标作为监控对象位置，可以快速确定监控对象位置，确保施工现场安全告警的实时性和可靠性。

在一个实施例中，上述步骤S140，可以具体包括：当监控对象位置处于施工现场告警范围内时，获取相应的监控视频的视频信息；根据视频信息进行越界告警。

其中，视频信息包括监控视频的拍摄时间和拍摄地点。

其中，越界告警为当监控对象进入告警范围内时产生的告警。

具体实现中，边缘计算服务器在得到监控对象位置时，通过将监控对象位置与预先知道的施工现场告警范围进行比较，可以判断监控对象是否处于告警范围内。当监控对象位置处于施工现场告警范围内时，获取相应监控视频的视频信息，包括拍摄时间、拍摄地点、摄像机名称和编号、场景类型和报警原因等，并在告警展示界面上展示上述视频信息。边缘计算服务器还可以展示相应的监控视频和监控图像帧，以及对监控视频执行快进和慢放等操作。

上述方法当监控对象位置处于施工现场告警范围内时，获取相应的监控视频的视频信息，并根据视频信息进行越界告警，可以在监控对象越界时进行安全告警，确保施工现场安全告警的实时性和可靠性。

在一个实施例中，上述施工现场告警方法，还可以具体包括：通过深度学习行为识别器，识别监控对象的对象行为；根据对象行为，针对监控对象进行危险行为告警。

其中，对象行为包括监控对象的越界行为、跌倒行为和吸烟行为。

其中，深度学习行为识别器为基于深度学习方法建立的识别器，用于识别监控图像帧中监控对象是否越界，或识别监控对象是否存在跌倒、吸烟等容易造成安全隐患的行为。

其中，危险行为告警为监控对象存在越界、跌倒和吸烟等危险行为时进行的告警。

具体实现中，边缘计算服务器可以将监控图像帧或监控对象图像输入深度学习行为识别器，识别监控对象是否存在越界、跌倒和吸烟等危险行为。当识别结果超过预设阈值时，可以判定监控对象处于告警区域，或存在跌倒、吸烟等危险行为，此时边缘计算服务器获取相应监控视频的视频信息，包括拍摄时间、拍摄地点、摄像机名称和编号、场景类型和报警原因等，并在告警展示界面上展示上述视频信息。边缘计算服务器还可以展示相应的监控视频和监控图像帧，以及对监控视频执行快进和慢放等操作。

上述方法通过深度学习行为识别器识别监控对象的对象行为，并根据对象行为，针对监控对象进行危险行为告警，可以确保施工现场安全告警的实时性和可靠性。

为了便于本领域技术人员深入理解本申请实施例，以下将结合图3、图4和图5的具体示例进行说明。

在一个实施例中，如图3所示，提供了一种深度学习行为识别器的示意图，该识别器可以根据监控图像帧识别施工人员是否误入危险区域，或者是否存在跌倒、吸烟等危险行为。深度学习行为识别器基于深度学习方法来实现，首先选取多个监控图像帧作为训练样本，从训练样本中提取样本特征，样本特征可以为监控对象在监控图像帧中所处的位置，还可以为监控对象正常行走或跌倒、吸烟等行为动作，在提取出样本特征后，根据样本特征为样本添加标签，并根据标签进行样本训练，得到分类因子，根据分类因子可以实现深度学习行为识别器的建立。通过将监控图像帧输入深度学习行为识别器，计算分类结果，可以根据分类结果识别监控图像帧中监控对象的行为。例如，设置分类阈值为0.5，当分类结果高于0.5时，表示施工人员误入危险区域，需要告警；当分类结果低于0.5时，表示施工人员处于安全区域，不需告警。

在一个实施例中，如图4所示，提供了另一种施工现场告警方法的流程示意图，该施工现场告警方法，主要包括如下步骤：

1)设备接入步骤：边缘计算设备与包括红外双鉴传感器和联动摄像头在内的多种设备相连接，且能够支持Modbus(Modbus protocol，Modbus通讯协议)、OPC-UA(OPCUnified Architecture，OPC统一架构)、RTSP(Real Time Streaming Protocol，实时流传输协议)、RTMP(Real Time Messaging Protocol，实时消息传输协议)等多种协议。边缘计算设备主动从人工智能管理主站获取算法及模型，并根据自身硬件等级获取相应配置，并通过采集现场实时数据进行预训练模型的现场适配，红外双鉴传感器和联动摄像头等设备在完成施工现场图像和视频的采集后，将采集结果上传至边缘计算设备。

2)模型识别步骤：该步骤基于深度学习方法对施工现场施工人员的行为进行识别，利用施工人员跌倒、吸烟及误入危险区域等图像进行样本训练，建立深度学习行为识别器，通过深度学习行为识别器对监控图像帧中施工人员进行越界检测和行为识别。传统上通过云端进行行为识别的算法对资源要求较高，实时响应慢，无法满足安全监管的实时性要求。本方法通过将云端部分功能根据实时性要求迁移到边缘端进行处理和分析，可以确保响应的实时性，由于将云端的算法模型作为预训练模型，并对算法网络进行调整，能够优化硬件响应、及时有效发现安全问题、实现快速响应。基于深度学习的施工现场行为识别方法，可以减少人工干预，运用前沿的深度学习技术准确、及时、全方位定位施工现场环境、设备和人员的安全问题，为施工工地的智能管理提供支撑。

3)告警上传步骤：在通过深度学习行为识别器对监控图像帧中施工人员的行为进行识别后，可以对存在安全隐患的行为进行告警，并将产生的告警信息以约定的标准形式进行发送上传。例如，当识别出施工现场存在安全隐患的行为时，可以将告警信息“1”上传至告警模块。

4)告警展示步骤：该步骤针对模型识别的告警信息进行解析，并进行图片的渲染，联动施工现场的告警设备及时地分级发出告警，报告存在安全隐患的施工现场位置等信息，有效防止发生重大生产安全事故的发生。

在一个实施例中，如图5所示，提供了一种施工现场告警方法的告警展示效果图。其中，阴影区域为告警范围内，A、B和C为截取的监控对象图像。通过将监控图像帧输入深度学习行为识别器，可以识别出不需对位于A和C的监控对象进行告警，但是需要对位于B的监控对象进行告警，告警界面如监控图像下方所示。还可以将A、B和C的监控对象图像输入深度学习行为识别器，通过深度学习行为识别器识别相应的监控对象是否存在跌倒、吸烟等危险行为，并对发生危险行为的监控对象以及危险行为类型进行告警。在告警时，告警界面可以展示监控图像帧的总数，并可以对监控图像帧进行前翻页、后翻页、连续播放等操作，以及对需要播放的监控视频进行选择，告警界面还可以展示报警原因、报警时间、报警组编号、摄像机名称、任务名称和场景类型等信息。

应该理解的是，虽然图1、图3和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种施工现场告警装置600，包括：通信模块601、提取模块602、识别模块603和告警模块604，其中：

通信模块601，用于当红外传感器感知到移动对象时，向摄像头发送接收指令，以供从摄像头接收施工现场的监控视频；监控视频包括监控图像帧；

提取模块602，用于从监控图像帧中提取监控对象；

识别模块603，用于识别监控对象在监控图像帧中所处的位置，得到监控对象位置；

告警模块604，用于当监控对象位置处于施工现场的告警范围之内时，进行安全告警。

在一个实施例中，通信模块601，还用于向摄像头发送视频拍摄指令，以供摄像头在接收到视频拍摄指令时拍摄施工现场的监控视频；接收摄像头所拍摄的监控视频。

在一个实施例中，通信模块601，还用于向摄像头发送视频调用指令，以供摄像头在接收到视频调用指令时发送预先存储的施工现场监控视频；接收预先存储的施工现场监控视频。

在一个实施例中，提取模块602，还用于根据多个连续监控图像帧，从监控图像帧中提取移动对象的移动对象轮廓；从监控图像帧中截取包含移动对象轮廓的区域，得到监控对象的监控对象图像。

在一个实施例中，识别模块603，还用于从监控对象图像中选取至少一个像素点，得到监控对象标识点；确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标；将标识点坐标作为监控对象位置。

在一个实施例中，告警模块604，还用于当监控对象位置处于施工现场告警范围内时，获取相应的监控视频的视频信息；视频信息包括监控视频的拍摄时间和拍摄地点；根据视频信息进行越界告警。

在一个实施例中，施工现场告警装置600，还用于通过深度学习行为识别器，识别监控对象的对象行为；对象行为包括监控对象发生越界行为、跌倒行为和吸烟行为；

根据对象行为，针对监控对象进行危险行为告警。

关于施工现场告警装置的具体限定可以参见上文中对于施工现场告警方法的限定，在此不再赘述。上述施工现场告警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

上述提供的施工现场告警装置可用于执行上述任意实施例提供的施工现场告警方法，具备相应的功能和有益效果。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种空气传感器的室内定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

当红外传感器感知到移动对象时，向摄像头发送接收指令，以供从摄像头接收施工现场的监控视频；监控视频包括监控图像帧；

从监控图像帧中提取监控对象；

识别监控对象在监控图像帧中所处的位置，得到监控对象位置；

当监控对象位置处于施工现场的告警范围之内时，进行安全告警。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：向摄像头发送视频拍摄指令，以供摄像头在接收到视频拍摄指令时拍摄施工现场的监控视频；接收摄像头所拍摄的监控视频。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：向摄像头发送视频调用指令，以供摄像头在接收到视频调用指令时发送预先存储的施工现场监控视频；接收预先存储的施工现场监控视频。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据多个连续监控图像帧，从监控图像帧中提取移动对象的移动对象轮廓；从监控图像帧中截取包含移动对象轮廓的区域，得到监控对象的监控对象图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：从监控对象图像中选取至少一个像素点，得到监控对象标识点；确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标；将标识点坐标作为监控对象位置。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当监控对象位置处于施工现场告警范围内时，获取相应的监控视频的视频信息；视频信息包括监控视频的拍摄时间和拍摄地点；根据视频信息进行越界告警。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过深度学习行为识别器，识别监控对象的对象行为；对象行为包括监控对象发生越界行为、跌倒行为和吸烟行为；根据对象行为，针对监控对象进行危险行为告警。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

当红外传感器感知到移动对象时，向摄像头发送接收指令，以供从摄像头接收施工现场的监控视频；监控视频包括监控图像帧；

从监控图像帧中提取监控对象；

识别监控对象在监控图像帧中所处的位置，得到监控对象位置；

当监控对象位置处于施工现场的告警范围之内时，进行安全告警。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：向摄像头发送视频拍摄指令，以供摄像头在接收到视频拍摄指令时拍摄施工现场的监控视频；接收摄像头所拍摄的监控视频。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：向摄像头发送视频调用指令，以供摄像头在接收到视频调用指令时发送预先存储的施工现场监控视频；接收预先存储的施工现场监控视频。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多个连续监控图像帧，从监控图像帧中提取移动对象的移动对象轮廓；从监控图像帧中截取包含移动对象轮廓的区域，得到监控对象的监控对象图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从监控对象图像中选取至少一个像素点，得到监控对象标识点；确定监控对象标识点在监控图像帧中的坐标，得到标识点坐标；将标识点坐标作为监控对象位置。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当监控对象位置处于施工现场告警范围内时，获取相应的监控视频的视频信息；视频信息包括监控视频的拍摄时间和拍摄地点；根据视频信息进行越界告警。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过深度学习行为识别器，识别监控对象的对象行为；对象行为包括监控对象发生越界行为、跌倒行为和吸烟行为；根据对象行为，针对监控对象进行危险行为告警。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种施工现场告警方法，其特征在于，所述施工现场告警方法应用于边缘计算设备，所述边缘计算设备连接有红外传感器和摄像头，所述方法包括：

当所述红外传感器感知到移动对象时，向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频；所述监控视频包括监控图像帧；

从所述监控图像帧中提取监控对象；

识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置；

当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警。

2.根据权利要求1所述的方法，其特征在于，所述向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频，包括：

向所述摄像头发送视频拍摄指令，以供所述摄像头在接收到所述视频拍摄指令时拍摄所述施工现场的监控视频；

接收所述摄像头所拍摄的所述监控视频。

3.根据权利要求1所述的方法，其特征在于，所述向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频，还包括：

向所述摄像头发送视频调用指令，以供所述摄像头在接收到所述视频调用指令时发送预先存储的施工现场监控视频；

接收所述预先存储的施工现场监控视频。

4.根据权利要求1所述的方法，其特征在于，所述从所述监控图像帧中提取监控对象，包括：

根据多个连续监控图像帧，从所述监控图像帧中提取所述移动对象的移动对象轮廓；

从所述监控图像帧中截取包含所述移动对象轮廓的区域，得到所述监控对象的监控对象图像。

5.根据权利要求4所述的方法，其特征在于，所述识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置，包括：

从所述监控对象图像中选取至少一个像素点，得到监控对象标识点；

确定所述监控对象标识点在所述监控图像帧中的坐标，得到标识点坐标；

将所述标识点坐标作为所述监控对象位置。

6.根据权利要求5所述的方法，其特征在于，所述当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警，包括：

当所述监控对象位置处于所述施工现场告警范围内时，获取相应的监控视频的视频信息；所述视频信息包括所述监控视频的拍摄时间和拍摄地点；

根据所述视频信息进行越界告警。

7.根据权利要求1所述的施工现场告警方法，其特征在于，所述方法还包括：

通过深度学习行为识别器，识别所述监控对象的对象行为；所述对象行为包括所述监控对象发生越界行为、跌倒行为和吸烟行为；

根据所述对象行为，针对所述监控对象进行危险行为告警。

8.一种施工现场告警装置，其特征在于，所述施工现场告警装置为边缘计算设备，且连接有红外传感器和摄像头，所述装置包括：

通信模块，用于当所述红外传感器感知到移动对象时，向所述摄像头发送接收指令，以供从所述摄像头接收所述施工现场的监控视频；所述监控视频包括监控图像帧；

提取模块，用于从所述监控图像帧中提取监控对象；

识别模块，用于识别所述监控对象在所述监控图像帧中所处的位置，得到监控对象位置；

告警模块，用于当所述监控对象位置处于所述施工现场的告警范围之内时，进行安全告警。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现1至7中任一项所述的施工现场告警方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的施工现场告警方法的步骤。

Images