CN114359842B - 协作机器人事故检测系统、方法、存储介质和电子设备 - Google Patents

Abstract

本申请涉及协作机器人事故检测技术领域，提供了一种协作机器人事故检测系统、方法、存储介质和电子设备，包括外观特征模块、人工特征模块、堆叠模块、事故判断模块；外观特征模块用于根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；人工特征模块用于从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；堆叠模块用于将外观特征图层信息和人工特征图层信息进行堆叠，并将堆叠后的特征图层信息按时间方向传输给事故判断模块；事故判断模块用于根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故；本发明的检测精度高、可靠性强。

Description

协作机器人事故检测系统、方法、存储介质和电子设备

技术领域

本申请涉及协作机器人事故检测技术领域，具体而言，涉及一种协作机器人事故检测系统、方法、存储介质和电子设备。

背景技术

协作机器人被广泛地应用于制造业等诸多部门，它可以代替或者辅助人们在具有危险性的场所从事繁重的工作。机器人在将人们从繁重的危险性、重复性劳动中解放出来的同时，也存在产生危险的因素。协作机器人的自由度比其他普通机械大得多，它的工作制造部件可以在较大空间内运行，具有高速运动的大功率手臂和复杂自主动作，一旦发生事故，极其容易危害到人或者其他产线上的设施。除了在协作机器人和产线上加装传感器，基于计算机视觉的视频监控分析是工业界常用的事故检测手段之一。

基于计算机视觉的视频监控分析原理是通过识别视频中的重要事故特征来实现对事故的自动监测，常见的事故检测方法有：

1）基于运动特征进行事故检测

如采用背景减除法或深度学习方法（目标检测等）实现机器人状态信息的提取（如移动机器人的位置、速度，固定的机器人的机械臂的运动状态等），接着根据提取的状态信息和设定的事故判别规则，实现事故的检测。该类方法仅使用了运动特征作为事故判别依据，并未考虑事故外观信息，因此事故检测精度有限。基于运动特征的检测模型通常利用目标检测和目标追踪模型来捕捉事故的运动特征，其在候选区域的选择和分类上耗费较多时间，导致检测速度无法很好地满足实时性要求。

2）基于事故判别相关的外观特征进行事故检测

通过特征提取网络，提取机器人、协作人的位置和轮廓等特征，分析机器人和人的行为，预先设置一定的规则并建立标准行为库，通过与行为库对比判断是否有事故发生。在协作机器人工作场景中，环境往往较为复杂，事故判别相关的外观特征如：碰撞、起火、机器人侧翻、漏电等等较多，导致特征提取网络模型参数较多，此类方法难以保证事故检测的速度和精度。

基于上述问题，目前尚未有有效的解决方法。

发明内容

本申请的目的在于提供一种协作机器人事故检测系统、方法、存储介质和电子设备，能够在事故外观特征和运动特征的基础上添加了人工特征进行判别参与，检测更加全面，提高事故检测的可靠性。

第一方面，本申请提供了一种协作机器人事故检测系统，包括外观特征模块、人工特征模块、堆叠模块、事故判断模块；所述堆叠模块的输入端分别与所述外观特征模块以及所述人工特征模块通讯连接，所述堆叠模块的输出端和所述事故判断模块通讯连接；

所述外观特征模块用于根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；

所述人工特征模块用于从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；

所述堆叠模块用于将所述外观特征图层信息和所述人工特征图层信息进行堆叠，并将堆叠后的特征图层信息按时间方向传输给所述事故判断模块；

所述事故判断模块用于根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故。

本申请提供的协作机器人事故检测系统，融合了协作机器人事故外观特征和人工特征，相对考虑单一特征的事故检测方法更加全面，保证了精度；并且可以有效利用人工判别的知识，有效提高事故检测的可靠性。

可选地，在本申请所述的协作机器人事故检测系统中，还包括特征筛选模块，所述特征筛选模块串接在所述外观特征模块和所述堆叠模块之间，所述特征筛选模块包括通道注意力模块，所述通道注意力模块用于分配所述外观特征图层信息中每个外观特征通道的权重。

通过设置通道注意力模块，可以方便特征筛选模块筛选出与外观特征更加接近的外观特征图层信息。

可选地，所述特征筛选模块包括空间注意力模块，所述空间注意力模块和所述通道注意力模块通讯连接，所述空间注意力模块用于定位所述外观特征图层信息中的外观特征的位置。

通过设置空间注意力模块，可以方便特征筛选模块从通过通道注意力模块筛选出的外观特征图层信息中，找出该外观特征图层信息中最能提现外观特征的区域，进一步提高精确性。

可选地，所述人工特征图层信息包括历史视频信息的各帧图像的每个像素点距离对应的最近协作机器人的第一距离；所述人工特征模块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

A101.以历史视频信息的各帧图像作为第一图像信息；

A102.利用预训练好的协作机器人目标检测模型得到所述第一图像信息上所有协作机器人的第一位置信息；

A103.根据所述第一图像信息上的每个像素点与所述第一位置信息获取所述第一距离。

可选地，所述人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近机器人密度；所述步骤A102之后包括：

C1.分别以所述第一图像信息的每个像素点为原点生成第一检测区域；

C2.根据所述第一位置信息和每个所述第一检测区域获取所述临近机器人密度。

可选地，所述人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近人员密度；所述人工特征模块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

B101. 以历史视频信息的各帧图像作为第二图像信息；

B102.利用预训练好的人体检测模型得到所述第二图像信息上人所在的第二位置信息；

B103.分别以所述第二图像信息中的每个像素点为原点生成第二检测区域；

B104.根据所述第二位置信息和每个所述第二检测区域获取所述临近人员密度。

可选地，所述人工特征图层信息包括历史视频信息的各帧图像的每个像素点的历史事故发生次数；所述人工特征模块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

D101.获取在预设时间段内发生的历史事故数据；

D102.根据所述历史事故数据对事故地点进行标记；

D103. 以历史视频信息的各帧图像作为第三图像信息；

D104.利用预训练好的事故标识检测模型对所述第三图像信息进行检测，以获取事故地点的第三位置信息；

D105.分别以所述第三图像信息的每个像素点为原点生成第三检测区域；

D106.根据所述第三位置信息和每个所述第三检测区域获取所述历史事故发生次数。

第二方面，协作机器人事故检测方法，应用于协作机器人事故检测系统，其中，包括以下步骤：

S1.根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；

S2.从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；

S3.将所述外观特征图层信息和所述人工特征图层信息进行堆叠；

S4.根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故。

本申请提供的协作机器人事故检测方法，融合了协作机器人事故外观特征和人工特征，相对考虑单一特征的事故检测方法更加全面，保证了精度；并且可以有效利用人工判别的知识，有效提高事故检测的可靠性。

第三方面，本申请提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第二方面提供的所述方法中的步骤。

第四方面，本申请提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第二方面提供的所述方法中的步骤。

由上可知，本申请提供的协作机器人事故检测系统、方法、电子设备及存储介质，先通过外观特征模块从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息，再通过人工特征模块从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息，接着通过堆叠模块将外观特征图层信息和人工特征图层信息进行堆叠，并按时间方向传输给事故判断模块，最后通过事故判断模块判断当前时刻是否发生事故，实现将协作机器人事故外观特征和人工特征融合，相对考虑单一特征的事故检测方法更加全面，保证了精度；并且可以有效利用人工判别的知识，有效提高事故检测的可靠性。

附图说明

图1为本申请提供的协作机器人事故检测系统的一种结构示意图。

图2为本申请提供的协作机器人事故检测方法的一种流程图。

图3为本申请提供的电子设备的结构示意图。

标号说明：

100、外观特征模块；200、人工特征模块；300、堆叠模块；400、事故判断模块；500、特征筛选模块；510、通道注意力模块；520、空间注意力模块；301、处理器；302、存储器；303、通信总线。

具体实施方式

下面将结合本申请实施方式中附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本申请实施方式的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施方式。基于本申请的实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在实际应用中，一些制造业生产部门以及实验室中，设置有协作机器人来替代人们从事繁重的工作。协作机器人一般设置在产线附近，并且协作机器人周围还可能设置有其他的工业设备或者是同样的协作机器人，因此协作机器人事故检测设备可以安装在厂房顶部，也可以固定在产线附近，方便拍摄到协作机器人的数量、动作和工作过程等。

请参照图1，图1是本申请一些实施方式中的协作机器人事故检测系统，其中，包括外观特征模块100、人工特征模块200、堆叠模块300、事故判断模块400；堆叠模块300的输入端分别与外观特征模块100以及人工特征模块200通讯连接，堆叠模块300的输出端和事故判断模块400通讯连接；

外观特征模块100用于根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；

人工特征模块200用于从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；

堆叠模块300用于将外观特征图层信息和人工特征图层信息进行堆叠，并将堆叠后的特征图层信息按时间方向传输给事故判断模块400；

事故判断模块400用于根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故。

其中，历史视频信息可以通过厂房的历史数据库进行获取。

其中，外观特征提取神经网络模型可以采用现有的对图像特征提取能力较好的深度神经网络模型，例如VGG、ResNet50、ResNet101等，并采用预训练的模型参数，目的是为了加快训练过程，让模型参数从一个接近理想状态的初始值开启后续的训练。

其中，外观特征可以是包含一些协作参与者（如协作机械臂、移动机器人、工艺站、人、产线等）的位置信息及状态信息（如机械臂/人的形状、姿态、是否受损等）。

其中，人工特征一般是包含人工先验知识的，人工特征模块200可以相当于预先定义好的一个人工特征函数，人工特征函数的细节根据具体的人工特征来决定，输入是一张历史图像，经过函数计算后给出一个结果（也是一张图像，每个图像的像素点有一个值，对应有实际的含义。其中，人工特征函数的设计属于现有技术，在此不在赘述。

其中，时间方向是指按时间轴的顺序方向。

其中，堆叠模块300就是将若干张外观特征图层和若干张人工特征图层进行叠加，形成一组堆叠图层，这组堆叠图层包括了外观特征图层信息和人工特征图层信息。其中，这些堆叠图层都是源自同样尺寸的图像经过各种处理得到的结果，直接堆叠在一起在数值上看，得到的其实就是一个三维的矩阵。另外，堆叠模块300可以采用现有的堆叠软件或者堆叠程序实现，在此不在赘述。

在一些实施方式中，事故检测模型可采用现有的网络结构如LSTM（长期短期记忆网络），具有学习长期依赖性的特点。

由上可知，本申请的协作机器人事故检测系统，先通过外观特征模块100从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息，再通过人工特征模块200从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息，接着通过堆叠模块300将外观特征图层信息和人工特征图层信息进行堆叠并按时间方向传输给事故判断模块400，最后通过事故判断模块400判断当前时刻是否发生事故，实现将协作机器人事故外观特征和人工特征融合，相对考虑单一特征的事故检测方法更加全面，保证了精度；并且可以有效利用人工判别的知识，有效提高事故检测的可靠性。

优选地，本申请的事故检测模型采用的是卷积长短时间记忆网络 Conv-LSTM，能够同时捕获外观特征和运动特征。Conv-LSTM是一种将CNN网络与LSTM网络在模型底层结合，专门为时空序列设计的深度学习模块。Conv-LSTM核心本质还是和LSTM一样，将上一层的输出作下一层的输入,不同的地方在于加上卷积操作之后，不仅能够得到时序关系，还能够像卷积层一样提取特征，提取空间特征,这样就能够得到时空特征。并且将状态与状态之间的切换也换成了卷积计算。因此，当本方案堆叠后的特征图层信息输入到Conv-LSTM网络之后，在外观特征的基础上，还增加了由Conv-LSTM网络提取的时空特征，而部分外观特征和时空特征融合之后，就能获得运动特征，实现进一步的融合特征（外观特征+运动特征+人工特征）提取，进一步提高了事故检测的精度，从而进一步提高了最终事故检测系统的检测能力。

在一些实施方式中，本申请的协作机器人事故检测系统还包括特征筛选模块500，特征筛选模块500串接在外观特征模块100和堆叠模块300之间，特征筛选模块500包括通道注意力模块510，通道注意力模块510用于分配外观特征图层信息中每个外观特征通道的权重。

其中，通道注意力模块510为现有技术。在实际应用中，图像的一个维度是图像的尺度空间，即长宽，另一个维度就是特征通道，通过通道注意力模块510得到了每一个特征通道的权重之后，就将该权重应用于原来的每个特征通道，基于特定的任务，就可以学习到不同通道的重要性，对经过外观特征模块100获取的外观特征图层信息进一步的筛选，筛选出更加合适的外观特征图层信息。

在进一步的实施方式中，特征筛选模块500包括空间注意力模块520，空间注意力模块520和通道注意力模块510通讯连接，空间注意力模块520用于定位外观特征图层信息中的外观特征的位置。

其中，空间注意力模块520为现有技术。在实际应用中，空间注意力模块520聚焦的是外观特征图层信息在“哪里”是最具信息量的部分，这是对通道注意力的补充。可以理解为，一张外观特征图像中，哪一部分是最能体现外观特征的区域。通过设置空间注意力模块520，可以提高筛选外观特征图层信息的准确性。

另外，从空间的角度来看，通道注意力模块510是全局的，而空间注意力模块520是局部的。并且研究发现，按顺序生成注意力图比并行生成注意力图更好。此外，通道注意力模块510在前面的性能略优于空间注意力模块520在前面，即应将通道注意力模块510的顺序设置在空间注意力模块520之前。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点距离对应的最近协作机器人的第一距离；人工特征模块200用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

A101.以历史视频信息的各帧图像作为第一图像信息；

A102.利用预训练好的协作机器人目标检测模型得到第一图像信息上所有协作机器人的第一位置信息；

A103.根据第一图像信息上的每个像素点与第一位置信息获取第一距离。

其中，协作机器人目标检测模型为现有技术。具体的，步骤A102中，利用预训练好的协作机器人目标检测模型得到第一图像信息上协作机器人的位置，将检测出的协作机器人区域的中心（在横坐标和纵坐标上取平均值）标记为协作机器人所在的第一位置信息，这样可以得到在图像坐标系下图像中所有协作机器人的第一位置信息。步骤A103中，遍历第一图像信息上所有的像素点，计算每个像素点与每个协作机器人的第一位置信息之间的距离，选择最小的距离作为每个像素点距离对应的最近协作机器人的第一距离；最后将所有第一距离归一化，将所有像素点的第一距离除以图像的对角线的长度。在实际应用中，协作机器人的距离也可能是事故发生的因素，例如协作机器人过于远离产线或者工作位置，通过上述方式，充分考虑了事故检测中协作机器人的距离因素，进一步提高了事故检测的能力和精确度。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近机器人密度；步骤A102之后包括：

C1.分别以第一图像信息的每个像素点为原点生成第一检测区域；

C2.根据第一位置信息和每个第一检测区域获取临近机器人密度。

具体的，步骤C1中，遍历第一图像信息上所有的像素点，以每个像素点为圆心生成半径为预设第一半径的圆形（或者其他几何形状）作为第一检测区域；由于上面已经介绍了第一位置信息的获得方法，所以步骤C2中，统计落入每个第一检测区域内协作机器人的个数；然后将每个第一检测区域内协作机器人的个数进行归一化，即将每个像素点形成的第一检测区域中的协作机器人个数除以100，得到每个像素点的临近机器人密度。在实际应用中，协作机器人的数量也可能是事故发生的因素，例如本来应该是五个协作机器人在某条产线或者某个工作位置，现在只剩下三个协作机器人，说明出现了故障事故；通过上述方式，充分考虑了事故检测中的重点对象协作机器人的数量因素，进一步提高了事故检测的能力和精确度。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近人员密度；人工特征模块200用于在从历史视频信息中提出出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

B101. 以历史视频信息的各帧图像作为第二图像信息；

B102.利用预训练好的人体检测模型得到第二图像信息上人所在的第二位置信息；

B103.分别以第二图像信息中的每个像素点为原点生成第二检测区域；

B104.根据第二位置信息和每个第二检测区域获取临近人员密度。

其中，人体检测模型为现有技术。步骤B102中，利用预训练好的人体检测模型得到第二图像上人的位置，将检测出的人体区域的中心（在横坐标和纵坐标上取平均值）标记为人所在的第二位置信息，这样可以得到在图像坐标系下图像中所有人的第二位置信息；步骤B103中，遍历第二图像上所有的像素点，以每个像素点为圆心生成半径为预设第一半径的圆形（或者其他几何形状）作为第二检测区域；步骤B104中，统计落入每个第二检测区域内人员的个数；然后将每个第二检测区域内人员的个数进行归一化，即将每个像素点形成的第二检测区域内人员的个数除以100，得到每个像素点的临近人员密度。在实际应用中，人员的数量也可能是事故发生的因素，例如本来应该是三个工人在某条产线或者某个协作机器人附近，现在没有工人或者工人的数量超过三个，说明该位置的协作机器人出现了故障事故；通过上述方式，充分考虑了事故检测中工人的数量因素，进一步提高了事故检测的能力和精确度。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点的历史事故发生次数；人工特征模块200用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

D101.获取在预设时间段内发生的历史事故数据；

D102.根据历史事故数据对事故地点进行标记；

D103. 以历史视频信息的各帧图像作为第三图像信息；

D104.利用预训练好的事故标识检测模型对第三图像信息进行检测，以获取事故地点的第三位置信息；

D105.分别以第三图像信息的每个像素点为原点生成第三检测区域；

D106.根据第三位置信息和每个第三检测区域获取历史事故发生次数。

其中，步骤D101-D104可以通过现有技术获取，事故标识检测模型也是现有技术。步骤D105中，第三检测区域的形成可参考上述的实现方式，在此不再赘述。步骤D106中，由于每个第三检测区域和第三位置信息为已知信息，因此统计落入每个第三检测区域内事故地点的个数；然后将每个第三检测区域内事故地点的个数进行归一化，即将每个像素点形成的第三检测区域中的事故地点的个数除以100，得到每个像素点的历史事故发生次数。在实际应用中，这部分历史事故数据属于统计数据，神经网络是无法从连续几帧图像进行获取的，而通过本申请的方式，充分考虑了历史事故因素，并且能减少神经网络的训练集，进一步提高了事故检测的能力和精确度。

以上人工特征的提取方式，都是神经网络无法直接提炼和获取的信息和特征，这些人工特征代表了人对事故的理解和总结，等于是在方案的数据源引入了在实际工作中的经验知识，使得输入的信息更全面，可以帮助做出更准确地判断。

由上可知，本申请提供的协作机器人事故检测系统，先通过外观特征模块100从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息，再通过人工特征模块200从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息，接着通过堆叠模块300将外观特征图层信息和人工特征图层信息进行堆叠并按时间方向传输给事故判断模块400，最后通过事故判断模块400判断当前时刻是否发生事故，实现将协作机器人事故外观特征和人工特征融合，相对考虑单一特征的事故检测方法更加全面，保证了精度；并且可以有效利用人工判别的知识，有效提高事故检测的可靠性。

请参照图2，图2是本申请一种协作机器人事故检测方法，应用于协作机器人事故检测系统，其中，包括以下步骤：

S1.根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；

S2.从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；

S3.将外观特征图层信息和人工特征图层信息进行堆叠；

S4.根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故。

其中，历史视频信息可以通过厂房的历史数据库进行获取；

其中，外观特征提取神经网络模型可以采用现有的对图像特征提取能力较好的深度神经网络模型例如VGG、ResNet50、ResNet101等，并采用预训练的模型参数，目的是为了加快训练过程，让模型参数从一个接近理想状态的初始值开启后续的训练。

其中，外观特征可以是包含一些协作参与者（如协作机械臂、移动机器人、工艺站、人、产线等）的位置信息及状态信息（如机械臂/人的形状、姿态、是否受损等）。

其中，人工特征一般是包含人工先验知识的，人工特征模块200可以相当于预先定义好的一个人工特征函数，人工特征函数的细节根据具体的人工特征来决定，输入是一张历史图像，经过函数计算后给出一个结果（也是一张图像，每个图像的像素点有一个值，对应有实际的含义。其中，人工特征函数的设计属于现有技术，在此不在赘述。

其中，步骤S3就是将若干张外观特征图层和若干张人工特征图层进行叠加，形成一组堆叠图层，这组堆叠图层包括了外观特征图层信息和人工特征图层信息。其中，这些堆叠图层都是源自同样尺寸的图像经过各种处理得到的结果，直接堆叠在一起在数值上看，得到的其实就是一个三维的矩阵。另外，步骤S3可以采用现有的堆叠软件或者堆叠程序实现，在此不在赘述。

在一些实施方式中，事故检测模型可采用现有的网络结构如LSTM（长期短期记忆网络），具有学习长期依赖性的特点。

优选地，本申请的事故检测模型采用的是卷积长短时间记忆网络 Conv-LSTM，能够同时捕获外观特征和运动特征。Conv-LSTM是一种将CNN网络与LSTM网络在模型底层结合，专门为时空序列设计的深度学习模块。Conv-LSTM核心本质还是和LSTM一样，将上一层的输出作下一层的输入,不同的地方在于加上卷积操作之后，不仅能够得到时序关系，还能够像卷积层一样提取特征，提取空间特征,这样就能够得到时空特征。并且将状态与状态之间的切换也换成了卷积计算。因此，当本方案堆叠后的特征图层信息输入到Conv-LSTM网络之后，在外观特征的基础上，还增加了由Conv-LSTM网络提取的时空特征，而部分外观特征和时空特征融合之后，就能获得运动特征，实现进一步的融合特征（外观特征+运动特征+人工特征）提取，进一步提高了事故检测的精度，从而进一步提高了最终事故检测系统的检测能力。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点距离对应的最近协作机器人的第一距离，步骤S2包括以下步骤：

A101.以历史视频信息的各帧图像作为第一图像信息；

A102.利用预训练好的协作机器人目标检测模型得到第一图像信息上所有协作机器人的第一位置信息；

A103.根据第一图像信息上的每个像素点与第一位置信息获取第一距离。

其中，协作机器人目标检测模型为现有技术。具体的，步骤A102中，利用预训练好的协作机器人目标检测模型得到第一图像信息上协作机器人的位置，将检测出的协作机器人区域的中心（在横坐标和纵坐标上取平均值）标记为协作机器人所在的第一位置信息，这样可以得到在图像坐标系下图像中所有协作机器人的第一位置信息。步骤A103中，遍历第一图像信息上所有的像素点，计算每个像素点与每个协作机器人的第一位置信息之间的距离，选择最小的距离作为每个像素点距离对应的最近协作机器人的第一距离；最后将所有第一距离归一化，将所有像素点的第一距离除以图像的对角线的长度。在实际应用中，协作机器人的距离也可能是事故发生的因素，例如协作机器人过于远离产线或者工作位置，通过上述方式，充分考虑了事故检测中协作机器人的距离因素，进一步提高了事故检测的能力和精确度。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近机器人密度；步骤A102之后包括：

C1.分别以第一图像信息的每个像素点为原点生成第一检测区域；

C2.根据第一位置信息和每个第一检测区域获取临近机器人密度。

具体的，步骤C1中，遍历第一图像信息上所有的像素点，以每个像素点为圆心生成半径为预设第一半径的圆形（或者其他几何形状）作为第一检测区域；由于上面已经介绍了第一位置信息的获得方法，所以步骤C2中，统计落入每个第一检测区域内协作机器人的个数；然后将每个第一检测区域内协作机器人的个数进行归一化，即将每个像素点形成的第一检测区域中的协作机器人个数除以100，得到每个像素点的临近机器人密度。在实际应用中，协作机器人的数量也可能是事故发生的因素，例如本来应该是五个协作机器人在某条产线或者某个工作位置，现在只剩下三个协作机器人，说明出现了故障事故；通过上述方式，充分考虑了事故检测中的重点对象协作机器人的数量因素，进一步提高了事故检测的能力和精确度。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近人员密度；步骤S2还包括以下步骤：

B101. 以历史视频信息的各帧图像作为第二图像信息；

B102.利用预训练好的人体检测模型得到第二图像信息上人所在的第二位置信息；

B103.分别以第二图像信息中的每个像素点为原点生成第二检测区域；

B104.根据第二位置信息和每个第二检测区域获取临近人员密度。

其中，人体检测模型为现有技术。步骤B102中，利用预训练好的人体检测模型得到第二图像上人的位置，将检测出的人体区域的中心（在横坐标和纵坐标上取平均值）标记为人所在的第二位置信息，这样可以得到在图像坐标系下图像中所有人的第二位置信息；步骤B103中，遍历第二图像上所有的像素点，以每个像素点为圆心生成半径为预设第一半径的圆形（或者其他几何形状）作为第二检测区域；步骤B104中，统计落入每个第二检测区域内人员的个数；然后将每个第二检测区域内人员的个数进行归一化，即将每个像素点形成的第二检测区域中人员的个数除以100，得到每个像素点的临近人员密度。在实际应用中，人员的数量也可能是事故发生的因素，例如本来应该是三个工人在某条产线或者某个协作机器人附近，现在没有工人或者工人的数量超过三个，说明该位置的协作机器人出现了故障事故；通过上述方式，充分考虑了事故检测中工人的数量因素，进一步提高了事故检测的能力和精确度。

在进一步的实施方式中，人工特征图层信息包括历史视频信息的各帧图像的每个像素点的历史事故发生次数；步骤S2还包括以下步骤：

D101.获取在预设时间段内发生的历史事故数据；

D102.根据历史事故数据对事故地点进行标记；

D103. 以历史视频信息的各帧图像作为第三图像信息；

D104.利用预训练好的事故标识检测模型对第三图像信息进行检测，以获取事故地点的第三位置信息；

D105.分别以第三图像信息的每个像素点为原点生成第三检测区域；

D106.根据第三位置信息和每个第三检测区域获取历史事故发生次数。

其中，步骤D101-D104可以通过现有技术获取，事故标识检测模型也是现有技术。步骤D105中，第三检测区域的形成可参考上述的实现方式，在此不再赘述。步骤D106中，由于每个第三检测区域和第三位置信息为已知信息，因此统计落入每个第三检测区域内事故地点的个数；然后将每个第三检测区域内事故地点的个数进行归一化，即将每个像素点形成的第三检测区域中的事故地点的个数除以100，得到每个像素点的历史事故发生次数。在实际应用中，这部分历史事故数据属于统计数据，神经网络是无法从连续几帧图像进行获取的，而通过本申请的方式，充分考虑了历史事故因素，并且能减少神经网络的训练集，进一步提高了事故检测的能力和精确度。

以上人工特征的提取方式，都是神经网络无法直接提炼和获取的信息和特征，这些人工特征代表了人对事故的理解和总结，等于是在方案的数据源引入了在实际工作中的经验知识，使得输入的信息更全面，可以帮助做出更准确地判断。

由上可知，本申请提供的协作机器人事故检测方法，融合了协作机器人事故外观特征和人工特征，相对考虑单一特征的事故检测方法更加全面，保证了精度；并且可以有效利用人工判别的知识，有效提高事故检测的可靠性。

请参照图3，图3为本申请实施方式提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以在执行时执行上述实施方式的任一可选的实现方式中的方法，以实现以下功能：根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；将外观特征图层信息和人工特征图层信息进行堆叠；根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故。

本申请实施方式提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施方式的任一可选的实现方式中的方法，以实现以下功能：根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；将外观特征图层信息和人工特征图层信息进行堆叠；根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（StaticRandom Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

在本申请所提供的实施方式中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

再者，在本申请各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施方式而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种协作机器人事故检测系统，用于检测协作机器人是否发生事故，其特征在于，包括外观特征模块、人工特征模块、堆叠模块、事故判断模块；所述堆叠模块的输入端分别与所述外观特征模块以及所述人工特征模块通讯连接，所述堆叠模块的输出端和所述事故判断模块通讯连接；

所述外观特征模块用于根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；

所述人工特征模块用于从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；

所述堆叠模块用于将所述外观特征图层信息和所述人工特征图层信息进行堆叠，并将堆叠后的特征图层信息按时间方向传输给所述事故判断模块；

所述事故判断模块用于根据所述堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故；

所述人工特征图层信息包括所述历史视频信息的各帧图像的每个像素点距离对应的最近协作机器人的第一距离；所述人工特征模块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

A101.以所述历史视频信息的各帧图像作为第一图像信息；

A102.利用预训练好的协作机器人目标检测模型得到所述第一图像信息上所有协作机器人的第一位置信息；

A103.根据所述第一图像信息上的每个像素点与所述第一位置信息获取所述第一距离；

所述人工特征图层信息包括所述历史视频信息的各帧图像的每个像素点的临近机器人密度；所述步骤A102之后包括：

C1.分别以所述第一图像信息的每个像素点为原点生成第一检测区域；

C2.根据所述第一位置信息和每个所述第一检测区域获取所述临近机器人密度。

2.根据权利要求1所述的协作机器人事故检测系统，其特征在于，还包括特征筛选模块，所述特征筛选模块串接在所述外观特征模块和所述堆叠模块之间，所述特征筛选模块包括通道注意力模块，所述通道注意力模块用于分配所述外观特征图层信息中每个外观特征通道的权重。

3.根据权利要求2所述的协作机器人事故检测系统，其特征在于，所述特征筛选模块包括空间注意力模块，所述空间注意力模块和所述通道注意力模块通讯连接，所述空间注意力模块用于定位所述外观特征图层信息中的外观特征的位置。

4.根据权利要求1所述的协作机器人事故检测系统，其特征在于，所述人工特征图层信息包括所述历史视频信息的各帧图像的每个像素点的临近人员密度；所述人工特征模块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

B101. 以所述历史视频信息的各帧图像作为第二图像信息；

B102.利用预训练好的人体检测模型得到所述第二图像信息上人所在的第二位置信息；

B103.分别以所述第二图像信息中的每个像素点为原点生成第二检测区域；

B104.根据所述第二位置信息和每个所述第二检测区域获取所述临近人员密度。

5.根据权利要求1所述的协作机器人事故检测系统，其特征在于，所述人工特征图层信息包括所述历史视频信息的各帧图像的每个像素点的历史事故发生次数；所述人工特征模块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候，执行以下步骤：

D101.获取在预设时间段内发生的历史事故数据；

D102.根据所述历史事故数据对事故地点进行标记；

D103. 以所述历史视频信息的各帧图像作为第三图像信息；

D104.利用预训练好的事故标识检测模型对所述第三图像信息进行检测，以获取事故地点的第三位置信息；

D105.分别以所述第三图像信息的每个像素点为原点生成第三检测区域；

D106.根据所述第三位置信息和每个所述第三检测区域获取所述历史事故发生次数。

6.一种协作机器人事故检测方法，应用于协作机器人事故检测系统，其特征在于，包括以下步骤：

S1.根据预先训练好的外观特征提取神经网络模型，从历史视频信息中提取出与协作机器人事故相关的外观特征图层信息；

S2.从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息；

S3.将所述外观特征图层信息和所述人工特征图层信息进行堆叠；

S4.根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发生事故；人工特征图层信息包括历史视频信息的各帧图像的每个像素点距离对应的最近协作机器人的第一距离，步骤S2包括以下步骤：

A101.以历史视频信息的各帧图像作为第一图像信息；

A102.利用预训练好的协作机器人目标检测模型得到第一图像信息上所有协作机器人的第一位置信息；

A103.根据第一图像信息上的每个像素点与第一位置信息获取第一距离；

人工特征图层信息包括历史视频信息的各帧图像的每个像素点的临近机器人密度；步骤A102之后包括：

C1.分别以第一图像信息的每个像素点为原点生成第一检测区域；

C2.根据第一位置信息和每个第一检测区域获取临近机器人密度。

7.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求6所述协作机器人事故检测方法。

8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求6所述协作机器人事故检测方法。

Images