CN111178145A - 违规操作识别的方法、装置、终端设备及计算机存储介质 - Google Patents

Abstract

本发明实施例涉及安全监管技术领域，公开了一种违规操作识别的方法，该方法首先获取包含有所述加油机的环境图像，然后提取该图像中的加油机的侧盖的第一侧盖图像，并获取预先存储的所述加油机的侧盖在关闭状态下的第二侧盖图像，接着，根据所述第一侧盖图像和第二侧盖图像，判断所述加油机的侧盖是否处于打开状态，若是，则根据所述环境图像，识别所述加油机旁是否存在工作人员，若没存在，则确定所述加油机存在违规操作，采用本发明实施例提供的违规操作识别的方法能够智能化识别违规操作，有效节省人力。

Description

违规操作识别的方法、装置、终端设备及计算机存储介质

技术领域

本发明实施例涉及安全监管技术领域，特别涉及一种违规操作识别 的方法、装置、终端设备及计算机存储介质。

背景技术

在加油站，加油机下方的侧盖是可以打开的，油站工作人员会定时 对加油机进行开盖检查，具体地，检查内部的开关、电磁阀、组合泵等 设备，如果在检查完完毕后，工作人员出现未将打开的侧盖及时关闭、 或者不在侧盖旁边等违规操作时，容易出现安全隐患。

在实现本发明实施例过程中，发明人发现以上相关技术中至少存在 如下问题：目前对于上述违规操作的监督，需要监控人员在监控中心的 显示屏前时刻盯着屏幕进行监督，需要耗费大量人力。

发明内容

针对现有技术的上述缺陷，本发明实施例的目的是提供一种智能化 的违规操作识别的方法、装置、终端设备及计算机存储介质。

本发明实施例的目的是通过如下技术方案实现的：

为解决上述技术问题，第一方面，本发明实施例中提供了一种违规 操作识别的方法，包括：

获取包含有所述加油机的环境图像；

从所述环境图像中提取所述加油机的侧盖的第一侧盖图像；

获取预先存储的所述加油机的侧盖在关闭状态下的第二侧盖图像；

根据所述第一侧盖图像和第二侧盖图像，判断所述加油机的侧盖是 否处于打开状态；

若是，则根据所述环境图像，识别所述加油机旁是否存在工作人员；

若没存在，则确定所述加油机存在违规操作。

在一些实施例中，所述根据所述第一侧盖图像和第二侧盖图像，判 断所述加油机的侧盖是否处于打开状态的步骤，进一步包括：

检测所述加油机的侧盖的定位标记在所述第一侧盖图像中的第一 形状及第一位置；

检测所述加油机的侧盖的定位标记在所述第二侧盖图像中的第二 形状及第二位置；

根据所述第一位置、第二位置、第一形状和第二形状，判断所述第 一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记是否重合；

若重合，则确定所述加油机的侧盖处于关闭状态；

若不重合，则确定所述加油机的侧盖处于打开状态。

在一些实施例中，所述定位标记包括至少一条设置于所述加油机的 侧盖的油枪插槽上的直线。

在一些实施例中，所述检测所述加油机的侧盖的定位标记在所述第 一侧盖图像中的第一形状及第一位置的步骤，进一步包括：

将所述第一侧盖图像转化为灰度图像；

采用预设高斯模糊算法对所述灰度图像进行滤波处理；

根据预设边缘检测算法，从滤波后的灰度图像进行处理，得到二值 图像；

根据霍夫变换算法，从所述二值图像中检测出所述至少一条直线。

在一些实施例中，所述根据所述环境图像，识别所述加油机旁是否 存在工作人员的步骤，进一步包括：

根据预设卷积神经网络，检测所述环境图像是否包含人体；

若包含，则检测所述人体的衣着是否与所述预设工作人员衣着相 同；

若相同，则确定所述加油机旁存在工作人员；

若不相同，或者，若没有包含人体，则确定所述加油机旁不存在工 作人员。

在一些实施例中，所述方法还包括：

在确定所述加油机存在违规操作时，向监控中心发送违规操作提示 信息及所述环境图像。

为解决上述技术问题，第二方面，本发明实施例中提供了一种违规 操作识别的装置，包括：

第一获取模块，用于获取包含有所述加油机的环境图像；

提取模块，用于从所述环境图像中提取所述加油机的侧盖的第一侧 盖图像；

第二获取模块，用于获取预先存储的所述加油机的侧盖在关闭状态 下的第二侧盖图像；

判断模块，用于根据所述第一侧盖图像和第二侧盖图像，判断所述 加油机的侧盖是否处于打开状态；

识别模块，用于在所述加油机的侧盖处于打开状态时，根据所述环 境图像，识别所述加油机旁是否存在工作人员；

确定模块，用于在所述加油机旁不存在工作人员时，确定所述加油 机存在违规操作。

在一些实施例中，所述判断模块还用于检测所述加油机的侧盖的定 位标记在所述第一侧盖图像中的第一形状及第一位置；

检测所述加油机的侧盖的定位标记在所述第二侧盖图像中的第二 形状及第二位置；

根据所述第一位置、第二位置、第一形状和第二形状，判断所述第 一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记是否重合；

若重合，则确定所述加油机的侧盖处于关闭状态；

若不重合，则确定所述加油机的侧盖处于打开状态。

在一些实施例中，所述定位标记包括至少一条设置于所述加油机的 侧盖的油枪插槽上的直线。

在一些实施例中，所述判断模块还用于将所述第一侧盖图像转化为 灰度图像；

采用预设高斯模糊算法对所述灰度图像进行滤波处理；

根据预设边缘检测算法，从滤波后的灰度图像进行处理，得到二值 图像；

根据霍夫变换算法，从所述二值图像中检测出所述至少一条直线。

在一些实施例中，所述识别模块还用于根据预设卷积神经网络，检 测所述环境图像是否包含人体；

若包含，则检测所述人体的衣着是否与所述预设工作人员衣着相 同；

若相同，则确定所述加油机旁存在工作人员；

若不相同，或者，若没有包含人体，则确定所述加油机旁不存在工 作人员。

在一些实施例中，所述确定模块还用于在确定所述加油机存在违规 操作时，向监控中心发送违规操作提示信息及所述环境图像。

为解决上述技术问题，第三方面，本发明实施例提供了一种服务器 终端设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令 被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第 一方面所述的方法。

为解决上述技术问题，第四方面，本发明实施例还提供了一种计算 机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令， 所述计算机可执行指令用于使计算机执行如上第一方面所述的方法。

为解决上述技术问题，第五方面，本发明实施例还提供了一种计算 机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的 计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机 执行时，使所述计算机执行如上第一方面所述的方法。

与现有技术相比，本发明的有益效果是：区别于现有技术的情况， 本发明实施例中提供了一种违规操作识别的方法，该方法首先获取包含 有所述加油机的环境图像，然后提取该图像中的加油机的侧盖的第一侧 盖图像，并获取预先存储的所述加油机的侧盖在关闭状态下的第二侧盖 图像，接着，根据所述第一侧盖图像和第二侧盖图像，判断所述加油机 的侧盖是否处于打开状态，若是，则根据所述环境图像，识别所述加油 机旁是否存在工作人员，若没存在，则确定所述加油机存在违规操作， 采用本发明实施例提供的违规操作识别的方法能够智能化、及时识别违 规操作，有效预防违规操作引起的危险发生，无需安排人力监控监控摄 像，有效节省人力。

附图说明

一个或多个实施例中通过与之对应的附图中的图片进行示例性说 明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数 字标号的元件/模块和步骤表示为类似的元件/模块和步骤，除非有特别 申明，附图中的图不构成比例限制。

图1是本发明实施例提供的违规操作识别的方法的其中一种应用环 境的示意图；

图2是本发明实施例提供的一种违规操作识别的方法的流程图；

图3是图2所示方法中步骤140的一子流程图；

图4是图3所示方法中步骤141的一子流程图；

图5是图2所示方法中步骤150的一子流程图；

图6是本发明实施例提供的一种违规操作识别的装置的结构示意 图；

图7是本发明实施例提供的执行上述违规操作识别的方法的终端设 备的硬件结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于 本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应 当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前 提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附 图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的 具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互 结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了 功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以 以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步 骤。此外，本文所采用的“第一”、“第二”等字样并不对数据和执行 次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区 分。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本 发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明 的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用 于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关 的所列项目的任意的和所有的组合。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只 要彼此之间未构成冲突就可以相互组合。

请参见图1，为本应用于发明实施例的违规操作识别的方法其中一 种应用环境的示意图，其中，该应用环境中包括：终端设备10、摄像头 20和监控中心30。

所述终端设备10分别与所述摄像头20和所述监控中心30通信连 接，所述摄像头20也可以与所述监控中心30通信连接，另外，终端设 备10与所述摄像头20也可以集成为一体化终端设备。所述通信连接可 以是网络连接，可以包括各种连接类型，比如有线、无线通信或者光纤 电缆等。

所述终端设备10能够获取所述摄像头20所拍摄的加油机的环境图 像并提取环境图像中包含加油机侧盖的第一侧盖图像，并结合预先存储 的加油机的侧盖在关闭状态下的第二侧盖图像来判断加油机侧盖是否 打开，若打开且在图像中没有识别到加油机旁边存在工作人员，则确定 加油机存在违规操作，此时终端设备10输出提示信号给所述监控中心 30。所述终端设备10为具有图像识别功能、计算分析功能、信息输出 功能的设备，其能够获取视频或照片等图像并对图像进行分析，并根据 分析结果判断是否要输出相应的提示信息。

在本发明实施例中，所述终端设备10可以是一种物理的具有计算 功能的终端设备，其设置于摄像头本地，通过网络以一定的通信协议与 监控中心30连接。或者，也可以是云服务器、云主机、云服务平台、 云计算平台等，同样的能够通过网络与摄像头20和监控中心30通过一 定的通信协议通信连接。所述网络可是以太网或者是局域网，所述通信 协议可以是TCP/IP、NETBEUI和IPX/SPX等通信协议，所述通信连接可 以是无线连接或者有线连接，具体地，可根据实际需要进行设置。

需要说明的是，本申请实施例所提供的违规操作识别的方法一般由 上述终端设备10执行，相应地，违规操作识别的装置一般设置于终端 设备10中。

所述摄像头20为能够采集图像的装置，所述图像可以是视频，也 可以是图片。所述摄像头20可以是照相机、拍摄手机、录像机、摄像 机或夜视仪等用于采集图像的装置，所述摄像头20能够分别与所述终 端设备10和所述监控中心30通信连接，将实时采集的图像信息发送至 所述终端设备10和所述监控中心30。所述摄像头20可以为若干个，如 1个、2个、3个、4个等。若干个图像摄像头20可以为相同的图像采 集设备，也可以为不相同的图像采集设备，以便满足不同的需求。

所述监控中心30为监控人员能够在所述终端设备10监控到违规操 作时接收来自所述终端设备10的提示信息并直观显示环境图像及违规 操作的监控设备。进一步地，所述监控中心30还可以是能够直观获取 摄像头20所实时拍摄的图像的监控设备。例如，可以是加油站监控室 的电脑，或者，也可以是手机、平板等便携式的移动终端。进一步地， 所述监控中心30和所述终端设备10可以是一体设置的装置。例如，所 述终端设备10为计算机系统，所述监控中心30为与所述终端设备10 一体连接的显示屏，请继续参见图1，所述终端设备10在分析得到加油 站的工作人员存在违规操作时，输出提示信息在显示屏上直观显示。

具体地，下面结合附图，对本发明实施例作进一步阐述。

本发明实施例提供了一种违规操作识别的方法，该方法可被上述终 端设备10执行，请参见图2，其示出了本发明实施例提供的一种违规操 作识别的方法的流程图，该方法包括但不限于以下步骤：

步骤110：获取包含有所述加油机的环境图像。

在本发明实施例中，可通过如图1所示的摄像头20获取包含加油 机的图像，其中，该摄像头20可以是一个，也可以是多个。所述环境 图像可以是视频图像、也可以是照片图像。所述环境图像为包含加油机 及该加油机周围预设距离内的环境图像，所述摄像头20可以假设在一 台或者多台加油机的正前方，采集包含加油机的视频流图像后传输给终 端设备，终端设备获取到视频流后将视频流还原成彩色图像，然后，从 彩色图像中识别出包含加油机及其预设距离范围内的环境图像。其中， 识别加油机时，可通过识别汽油或柴油标号的位置的方式，识别加油机 的大致位置，然后获取标号预设范围内的图像即为所述环境图像。

步骤120：从所述环境图像中提取所述加油机的侧盖的第一侧盖图 像。

在获取到所述环境图像后，进一步地，从所述环境图像中提取出所 述加油机的侧盖的第一侧盖图像，所述加油机的侧盖指的是加油机外壳 的一部分，用于保护加油机内部的开关、电磁阀、组合泵等设备，加油 站工作人员可以打开所述侧盖对加油机进行检修工作，而由于加油机的 侧盖上都有固定的油枪插槽，可通过检测油枪插槽的边缘的方式，间接 地判断侧盖是否打开。因此，首先，我们从环境图像中提取出所述加油 机的侧盖的第一侧盖图像。

步骤130：获取预先存储的所述加油机的侧盖在关闭状态下的第二 侧盖图像。

在提取出第一侧盖图像后，进一步地，获取终端设备预先存储有的 加油机侧盖在关闭状态下的第二侧盖图像，在其他的一些实施例中，该 第二侧盖图像也可以指的是加油机的侧盖处于打开状态时的图像，这两 种状态下的图像都可以预先存储在终端设备中，且皆可以作为第一侧盖 图像中的侧盖是否在开关状态的判断标准。

步骤140：根据所述第一侧盖图像和第二侧盖图像，判断所述加油 机的侧盖是否处于打开状态；若是，跳转至步骤150。

在获取到所述第二侧盖图像后，以该第二侧盖图像为标准，比对所 述第二侧盖图像和所述第一侧盖图像，以判断所述加油机的侧盖是否处 于打开状态。例如，当所述第二侧盖图像为加油机的侧盖处于关闭状态 时的图像时，如果所述第一侧盖图像和所述第二侧盖图像相似度较高， 则说明当前状态下，所述加油机的侧盖为关闭状态，而如果相似度较低， 则说明所述加油机的侧盖为打开状态。或者，还有一种情况是，当所述 第二侧盖图像为加油机的侧盖处于打开状态时的图像时，如果所述第一 侧盖图像和所述第二侧盖图像相似度较高，则说明当前状态下，所述加 油机的侧盖为打开状态，而如果相似度较低，则说明所述加油机的侧盖 为关闭状态。

步骤150：根据所述环境图像，识别所述加油机旁是否存在工作人 员；若不存在，跳转至步骤160。

在确定所述侧盖为打开状态后，为确定当前侧盖处于打开状态时是 否是有工作人员在进行检修工作，因此，进一步地，在所述环境图像内 识别所述加油机旁是否存在工作人员。由于上述获取的环境图像为所述 加油机预设距离范围内的图像，优选的，所述预设距离范围设置为所述 工作人员的工作范围，例如，三米内。此外，工作人员可能会出现暂时 离开加油机的所述预设距离范围的情况，如去取一些零件等情况，因此， 所述识别所述加油机旁是否存在工作人员的步骤，进一步地，可以设置 预设时间间隔，如果在预设时间间隔内都识别不到工作人员，则说明工 作人员不存在。

步骤160：确定所述加油机存在违规操作。

在识别到环境图像内不存在工作人员，且所述侧盖处于打开状态 时，则说明当前情况下，加油机的侧盖被打开且没有工作人员在附近看 守，存在安全隐患，加油站的工作人员为违规操作，进一步地，在确定 所述加油机存在违规操作时，向监控中心发送违规操作提示信息及所述 环境图像以对违规操作这种高风险进行警示。

本发明实施例中提供了一种违规操作识别的方法，该方法首先获取 包含有所述加油机的环境图像，然后提取该图像中的加油机的侧盖的第 一侧盖图像，并获取预先存储的所述加油机的侧盖在关闭状态下的第二 侧盖图像，接着，根据所述第一侧盖图像和第二侧盖图像，判断所述加 油机的侧盖是否处于打开状态，若是，则根据所述环境图像，识别所述 加油机旁是否存在工作人员，若没存在，则确定所述加油机存在违规操 作，采用本发明实施例提供的违规操作识别的方法能够智能化、及时识 别违规操作，有效预防违规操作引起的危险发生，无需安排人力监控监 控摄像，有效节省人力。

在一些实施例中，请参见图3，为图2所示方法中步骤140的一子 流程图，所述步骤140具体包括：

步骤141：检测所述加油机的侧盖的定位标记在所述第一侧盖图像 中的第一形状及第一位置。

其中，所述定位标记包括至少一条设置于所述加油机的侧盖的油枪 插槽上的直线。所述定位标记用于作为所述第一侧盖图像和第二侧盖图 像的相似度的比较标准，当定位标记在第一侧盖图像和第二侧盖图像中 的形状和位置皆相同时，说明侧盖在第一侧盖图像和第二侧盖图像中的 状态一致。

此外，在对第一侧盖图像进行定位标记的检测之前，进一步地，可 以先通过最近邻差值法合并像素点，将图像分辨率进行缩放，例如，缩 放至300*300个像素点，然后，对图像进行标准化处理，通过去均值实 现中心化的处理，提高图像的收敛精度，从而实现对所述第一侧盖图像 的预处理操作。进一步地，上述预处理操作也可以是对环境图像进行的预处理操作，以便于进一步对环境图像中是否存在工作人员进行识别。

具体地，在一些实施例中，请参见图4，为图3所示方法中步骤141 的一子流程图，所述步骤141进一步包括：

步骤1411：将所述第一侧盖图像转化为灰度图像。

在本发明实施例中，在判断所述加油机的侧盖是否处于打开状态 时，首先，需要检测第一侧盖图像上的定位标记，具体地，首先，将图 像转化为不带颜色信息，仅携带灰度信息的灰度图像，例如，通过将RGB 三个通道的像素值作平均，或者将图像进行二值化处理，以得到第一侧 盖图像的灰度图像。

步骤1412：采用预设高斯模糊算法对所述灰度图像进行滤波处理。

接着，通过高斯模糊算法对灰度图像进行滤波，使得图像看起来更 加平滑。具体地，将图像中的每一个像素都取周边像素的平均值，从而 将图像去中心化，得到一个模糊、且平滑的图像。

步骤1413：根据预设边缘检测算法，从滤波后的灰度图像进行处理， 得到二值图像。

在对灰度图像进行滤波，得到平滑且模糊的图像后，再通过预设边 缘检测算法，对图像进行边缘检测，以得到一个二值图像。具体地，所 述预设边缘检测算法可以是Canny方法，该方法利用高斯滤波器过滤噪 声，然后采用索贝尔(Sobel)算子对图像做微积分，得到图像的强度 梯度，得到候选的边缘图像，然后，利用非极大值抑制算法(Non-maximumsuppression)对候选的边缘图像进行处理，细化图像边缘，并将像素 值在预设阈值内的像素点标记为最终的边缘，以得到最终的二值图像， 该二值图像包含非常细(直线)的边缘信息。

步骤1414：根据霍夫变换算法，从所述二值图像中检测出所述至少 一条直线。

在得到所述二值图像后，通过霍夫变换算法，检测图像中的特征， 在本发明实施例中，所述图像中的特征指的是所述加油机的油枪插槽的 边缘，该边缘应为多条直线，因此，通过检测所述二值图像得到的所述 至少一条直线，可以作为所述定位标记。且进一步地，在第一侧盖图像 中确定该直线所在的第一位置和第一形状(长度和朝向等)。

步骤142：检测所述加油机的侧盖的定位标记在所述第二侧盖图像 中的第二形状及第二位置。

在获取到所述定位标记在第一侧盖图像中的第一形状和第一位置 后，进一步地，检测所述加油机的侧盖的定位标记在所述第二侧盖图像 中的第二形状及第二位置，具体地，可采用如上述步骤1411至步骤1414 所述的方法进行定位标记(所述至少一条直线)的第二形状及第二位置 的检测。

步骤143：根据所述第一位置、第二位置、第一形状和第二形状， 判断所述第一侧盖图像中的定位标记和所述第二侧盖图像中的定位标 记是否重合；若重合，跳转至步骤144；若不重合，跳转至步骤145。

在确定所述定位标记在第一侧盖图像中的第一位置及第一形状，以 及所述定位标记在第二侧盖图像中的第二位置及第二形状后，以所述定 位标记在所述第二侧盖图像中的第二位置及第二形状为标准，比对所述 定位标记在所述第一侧盖图像中的第一位置及第一形状是否重合，皆可 确定所述加油机的侧盖是否处于打开状态。其中，由于摄像头的机位通 常是不会改变的，因此，摄像头一开始获得的第二侧盖图像在形状和大 小上通常与所述摄像头当前获取的第一侧盖图像在形状和大小上是相 同的，仅需将上述经过处理后的第一侧盖图像和第二侧盖图像叠加在一 起，即可用于判断所述第一侧盖图像中的定位标记和所述第二侧盖图像 中的定位标记是否重合。

步骤144：确定所述加油机的侧盖处于关闭状态。

其中，当第二侧盖图像为加油机的侧盖处于关闭状态的图像时，若 所述第一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记重 合，则说明所述加油机的侧盖处于关闭状态。此外，当第二侧盖图像为 加油机的侧盖处于打开状态的图像时，若所述第一侧盖图像中的定位标 记和所述第二侧盖图像中的定位标记不重合，则说明所述加油机的侧盖 处于关闭状态。

步骤145：确定所述加油机的侧盖处于打开状态。

其中，当第二侧盖图像为加油机的侧盖处于关闭状态的图像时，若 所述第一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记不 重合，则说明所述加油机的侧盖处于关闭状态。此外，当第二侧盖图像 为加油机的侧盖处于打开状态的图像时，若所述第一侧盖图像中的定位 标记和所述第二侧盖图像中的定位标记重合，则说明所述加油机的侧盖 处于关闭状态。

在一些实施例中，请参见图5，为图2所示方法中步骤150的一子 流程图，所述步骤150具体包括：

步骤151：根据预设卷积神经网络，检测所述环境图像是否包含人 体；若包含，跳转至步骤152；若不包含，跳转至步骤154。

在本发明实施例中，在确定所述侧盖处于打开状态后，为确定所述 加油站的工作人员是否进行了违规操作，需要检测所述环境图像中是否 包含所述工作人员。具体地，首先，通过预设卷积神经网络，检测环境 图像中是否出现与系统存储的人体姿势或行为匹配的物体，若出现，则 说明所述环境图像中包含人体。

此外，在对环境图像进行人体检测之前，进一步地，可以先通过最 近邻差值法合并像素点，将图像分辨率进行缩放，例如，缩放至300*300 个像素点，然后，对图像进行标准化处理，通过去均值实现中心化的处 理，提高图像的收敛精度，从而实现对所述环境图像的预处理操作。

步骤152：检测所述人体的衣着是否与所述预设工作人员衣着相同； 若相同，跳转至步骤153；若不相同，跳转至步骤154。

在检测到所述环境图像中包含人体之后，进一步地，需要判断该人 体是否是加油站中的工作人员，具体地，由于工作人员通常会穿着工作 服上班，可以通过识别人体穿着的衣服的颜色是否与预设工作人员穿着 的衣服的颜色相同来判断，或者，如果工作人员穿戴着帽子，可以通过 识别人体是否带着帽子及帽子的特征来判断，或者，还可以通过衣着上 的编号等方式对人体进行识别。

可选地，也可以在所述工作人员身上设置特殊标志，例如，红外识 别标志，通过红外摄像头，在识别到该红外标志时，确定人体为工作人 员。

步骤153：确定所述加油机旁存在工作人员。

在检测所述人体的衣着与所述预设工作人员衣着相同时，可以确定 该人体为预设工作人员，此时，可以确定加油机的侧盖虽然处于被打开 的状态，但旁边有工作人员在对该加油机进行监督、或者进行检修工作， 此时，不需要发送提示信息。

步骤154：确定所述加油机旁不存在工作人员。

在检测所述人体的衣着与所述预设工作人员衣着不同，或者环境图 像中未出现人体时，说明当前加油机的侧盖处于被打开状态，且周围没 有工作人员在附近肩宽，此时需要先监控中心发送提示信息，提示监控 人员加油站的工作人员违规操作。进一步地，当加油机旁存在人体且该 人体为不为工作人员时，暴露的加油机内部结构可能会对该人体造成安 全隐患，或者，该人体会对加油机的内部结构造成损坏，优选地，发出 更高一级的提示信息提示监控中心的监控人员，同时也可以发出提示信 息提示加油站内的工作人员或者该人体。所述提示信息可以是声音、问 题、灯光等提示醒目的提示信息。

本发明实施例还提供了一种违规操作识别的装置，请参见图6，其 示出了本申请实施例提供的一种违规操作识别的装置的结构，该违规操 作识别的装置200包括：第一获取模块210、提取模块220、第二获取 模块230、判断模块240、识别模块250和确定模块260。其中，

所述第一获取模块210用于获取包含有所述加油机的环境图像；

所述提取模块220用于从所述环境图像中提取所述加油机的侧盖的 第一侧盖图像；

所述第二获取模块230用于获取预先存储的所述加油机的侧盖在关 闭状态下的第二侧盖图像；

所述判断模块240用于根据所述第一侧盖图像和第二侧盖图像，判 断所述加油机的侧盖是否处于打开状态；

所述识别模块250用于在所述加油机的侧盖处于打开状态时，根据 所述环境图像，识别所述加油机旁是否存在工作人员；

所述确定模块260用于在所述加油机旁不存在工作人员时，确定所 述加油机存在违规操作。

在一些实施例中，所述判断模块240还用于检测所述加油机的侧盖 的定位标记在所述第一侧盖图像中的第一形状及第一位置；

检测所述加油机的侧盖的定位标记在所述第二侧盖图像中的第二 形状及第二位置；

根据所述第一位置、第二位置、第一形状和第二形状，判断所述第 一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记是否重合；

若重合，则确定所述加油机的侧盖处于关闭状态；

若不重合，则确定所述加油机的侧盖处于打开状态。

在一些实施例中，所述定位标记包括至少一条设置于所述加油机的 侧盖的油枪插槽上的直线。

在一些实施例中，所述判断模块240还用于将所述第一侧盖图像转 化为灰度图像；

采用预设高斯模糊算法对所述灰度图像进行滤波处理；

根据预设边缘检测算法，从滤波后的灰度图像进行处理，得到二值 图像；

根据霍夫变换算法，从所述二值图像中检测出所述至少一条直线。

在一些实施例中，所述识别模块250还用于根据预设卷积神经网络， 检测所述环境图像是否包含人体；

若包含，则检测所述人体的衣着是否与所述预设工作人员衣着相 同；

若相同，则确定所述加油机旁存在工作人员；

若不相同，或者，若没有包含人体，则确定所述加油机旁不存在工 作人员。

在一些实施例中，所述确定模块260还用于在确定所述加油机存在 违规操作时，向监控中心发送违规操作提示信息及所述环境图像。

本发明实施例还提供了一种终端设备，请参见图7，其示出了能够 执行图2至图5所述违规操作识别的方法的终端设备的硬件结构。所述 终端设备10可以是图1所示的终端设备10。

所述终端设备10包括：至少一个处理器11；以及，与所述至少一 个处理器11通信连接的存储器12，图7中以其以一个处理器11为例。 所述存储器12存储有可被所述至少一个处理器11执行的指令，所述指 令被所述至少一个处理器11执行，以使所述至少一个处理器11能够执 行上述图2至图5所述的违规操作识别的方法。所述处理器11和所述 存储器12可以通过总线或者其他方式连接，图7中以通过总线连接为 例。

存储器12作为一种非易失性计算机可读存储介质，可用于存储非 易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施 例中的违规操作识别的方法对应的程序指令/模块，例如，附图6所示 的各个模块。处理器11通过运行存储在存储器12中的非易失性软件程 序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理， 即实现上述方法实施例违规操作识别的方法。

存储器12可以包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储 根据违规操作识别的装置的使用所创建的数据等。此外，存储器12可 以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一 个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器12可选包括相对于处理器11远程设置的存储器，这些 远程存储器可以通过网络连接至违规操作识别的装置。上述网络的实例 包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器12中，当被所述一个或 者多个处理器11执行时，执行上述任意方法实施例中的违规操作识别 的方法，例如，执行以上描述的图2至图5的方法步骤，实现图6中的 各模块和各单元的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的 功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本 申请实施例所提供的方法。

本申请实施例还提供了一种非易失性计算机可读存储介质，所述计 算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一 个或多个处理器执行，例如，执行以上描述的图2至图5的方法步骤， 实现图6中的各模块的功能。

本申请实施例还提供了一种计算机程序产品，包括存储在非易失性 计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当 所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施 例中的违规操作识别的方法，例如，执行以上描述的图2至图5的方法 步骤，实现图6中的各模块的功能。

本发明实施例中提供了一种违规操作识别的方法，该方法首先获取 包含有所述加油机的环境图像，然后提取该图像中的加油机的侧盖的第 一侧盖图像，并获取预先存储的所述加油机的侧盖在关闭状态下的第二 侧盖图像，接着，根据所述第一侧盖图像和第二侧盖图像，判断所述加 油机的侧盖是否处于打开状态，若是，则根据所述环境图像，识别所述 加油机旁是否存在工作人员，若没存在，则确定所述加油机存在违规操 作，采用本发明实施例提供的违规操作识别的方法能够智能化识别违规 操作，有效节省人力。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所 述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中 的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解 到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通 过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或 部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序 可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述 各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读 存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非 对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特 征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的 本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人 员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使 相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种违规操作识别的方法，其特征在于，包括：

获取包含有所述加油机的环境图像；

从所述环境图像中提取所述加油机的侧盖的第一侧盖图像；

获取预先存储的所述加油机的侧盖在关闭状态下的第二侧盖图像；

根据所述第一侧盖图像和第二侧盖图像，判断所述加油机的侧盖是否处于打开状态；

若是，则根据所述环境图像，识别所述加油机旁是否存在工作人员；

若没存在，则确定所述加油机存在违规操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一侧盖图像和第二侧盖图像，判断所述加油机的侧盖是否处于打开状态的步骤，进一步包括：

检测所述加油机的侧盖的定位标记在所述第一侧盖图像中的第一形状及第一位置；

检测所述加油机的侧盖的定位标记在所述第二侧盖图像中的第二形状及第二位置；

根据所述第一位置、第二位置、第一形状和第二形状，判断所述第一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记是否重合；

若重合，则确定所述加油机的侧盖处于关闭状态；

若不重合，则确定所述加油机的侧盖处于打开状态。

3.根据权利要求2所述的方法，其特征在于，所述定位标记包括至少一条设置于所述加油机的侧盖的油枪插槽上的直线。

4.根据权利要求3所述的方法，其特征在于，所述检测所述加油机的侧盖的定位标记在所述第一侧盖图像中的第一形状及第一位置的步骤，进一步包括：

将所述第一侧盖图像转化为灰度图像；

采用预设高斯模糊算法对所述灰度图像进行滤波处理；

根据预设边缘检测算法，从滤波后的灰度图像进行处理，得到二值图像；

根据霍夫变换算法，从所述二值图像中检测出所述至少一条直线。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述根据所述环境图像，识别所述加油机旁是否存在工作人员的步骤，进一步包括：

根据预设卷积神经网络，检测所述环境图像是否包含人体；

若包含，则检测所述人体的衣着是否与所述预设工作人员衣着相同；

若相同，则确定所述加油机旁存在工作人员；

若不相同，或者，若没有包含人体，则确定所述加油机旁不存在工作人员。

6.根据权利要求1-4中任意一项所述的方法，其特征在于，所述方法还包括：

在确定所述加油机存在违规操作时，向监控中心发送违规操作提示信息及所述环境图像。

7.一种违规操作识别的装置，其特征在于，包括：

第一获取模块，用于获取包含有所述加油机的环境图像；

提取模块，用于从所述环境图像中提取所述加油机的侧盖的第一侧盖图像；

第二获取模块，用于获取预先存储的所述加油机的侧盖在关闭状态下的第二侧盖图像；

判断模块，用于根据所述第一侧盖图像和第二侧盖图像，判断所述加油机的侧盖是否处于打开状态；

识别模块，用于在所述加油机的侧盖处于打开状态时，根据所述环境图像，识别所述加油机旁是否存在工作人员；

确定模块，用于在所述加油机旁不存在工作人员时，确定所述加油机存在违规操作。

8.根据权利要求7所述的装置，其特征在于，

所述判断模块还用于检测所述加油机的侧盖的定位标记在所述第一侧盖图像中的第一形状及第一位置；

检测所述加油机的侧盖的定位标记在所述第二侧盖图像中的第二形状及第二位置；

根据所述第一位置、第二位置、第一形状和第二形状，判断所述第一侧盖图像中的定位标记和所述第二侧盖图像中的定位标记是否重合；

若重合，则确定所述加油机的侧盖处于关闭状态；

若不重合，则确定所述加油机的侧盖处于打开状态。

9.一种终端设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1-6任一项所述的方法。

Images