CN115457457B - 航油油库周界区域安全检测方法、装置及安全运维系统 - Google Patents
航油油库周界区域安全检测方法、装置及安全运维系统 Download PDFInfo
- Publication number
- CN115457457B CN115457457B CN202211014436.7A CN202211014436A CN115457457B CN 115457457 B CN115457457 B CN 115457457B CN 202211014436 A CN202211014436 A CN 202211014436A CN 115457457 B CN115457457 B CN 115457457B
- Authority
- CN
- China
- Prior art keywords
- area
- personnel
- image
- target
- oil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种航油油库周界区域安全检测方法、装置及安全运维系统。其中,所述航油油库周界区域安全检测方法包括:获取航油油库周界区域的待测图像;检测所述待测图像,得到所述待测图像的人员目标;检测所述人员目标是否异常进入所述周界区域;在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。如此,有效提升航油油库周界区域安全巡检效率。
Description
技术领域
本发明涉及航油油库安全检测技术领域,尤其涉及一种航油油库周界区域安全检测方法、装置及安全运维系统。
背景技术
航空机场的航油油库是航空机场的重要设施,是保障机场能够顺利运转的基础,这些航油油库的安全运维管理是运维管理工作的重点之一。
相关技术中利用便携式检测仪器通过人工巡视的方式,对航空机场的航油油库等设施进行监测。然而,人工巡视逐步检测的任务量大,检测效率较低。
发明内容
本申请提供一种航油油库周界区域安全检测方法、装置及安全运维系统,以提升航油油库周界区域安全巡检效率。
本申请提供一种航油油库周界区域安全检测方法,所述方法包括:
获取航油油库周界区域的待测图像;
检测所述待测图像,得到所述待测图像的人员目标;
检测所述人员目标是否异常进入所述周界区域;
在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。
进一步的,所述检测所述待测图像,得到所述待测图像的人员目标,包括:
将所述待测图像输入人物对象检测模型,以输出所述待测图像的所述人员目标的区域。
进一步的,所述航油油库周界区域包括航油油库的工作检测区域;所述检测所述人员目标是否异常进入所述周界区域,包括:
检测所述人员目标的穿戴服饰;
根据所述穿戴服饰是否符合规范穿戴服饰要求,检测所述人员目标是否异常进入所述工作检测区域。
进一步的,所述航油油库周界区域包括航油油库的工作检测区域;所述获取航油油库周界区域的待测图像,包括:获取工作检测区域的智能感知终端采集的视频图像中的待测图像;所述检测所述人员目标的穿戴服饰,包括:在所述人员目标进入所述工作检测区域的情况下,检测所述人员目标的穿戴服饰,所述穿戴服饰包括头部佩戴信息及衣服穿戴信息;所述根据所述穿戴服饰是否符合规范穿戴服饰要求,检测所述人员目标是否异常进入所述周界区域,包括:确定所述头部佩戴信息和衣服穿戴信息均符合所述规范穿戴服饰要求,确定所述人员目标正常进入所述工作检测区域;确定所述头部佩戴信息和衣服穿戴信息中的任一者,不符合所述规范穿戴服饰要求,确定所述人员目标异常进入所述工作检测区域;
和/或,
所述检测所述人员目标的穿戴服饰,包括:将所述人员目标的区域输入人物穿戴服饰检测模型,以输出所述人员目标的穿戴服饰。
进一步的,所述航油油库周界区域包括航油油库的滞留区域;
所述检测所述人员目标是否异常进入所述周界区域,包括:
确定所述人员目标进入所述滞留区域是否达到预设时长;
在所述人员目标是进入所述滞留区域达到预设时长的情况下,确定所述人员目标异常进入所述滞留区域;
在所述人员目标是进入所述滞留区域未达到预设时长的情况下,确定所述人员目标正常进入所述滞留区域。
进一步的,所述获取航油油库周界区域的待测图像,包括:
从所述人员目标得到的时刻作为起始时刻,获取在所述起始时刻之后所述滞留区域的智能感知终端采集的多帧待测图像;
所述确定所述人员目标进入所述滞留区域是否达到预设时长,包括:
跟踪所述多帧待测图像中的所述人员目标的人员位置;
在所述多帧待测图像中的所述人员目标的人员位置存在未处于所述滞留区域的情况下,确定所述人员目标进入所述滞留区域未达到预设时长;
在所述多帧待测图像中的所述人员目标的人员位置均处于所述滞留区域的情况下,确定所述人员目标进入所述滞留区域达到所述预设时长。
进一步的,所述航油油库周界区域包括航油油库的围挡区域,所述围挡区域包括位于所述航油油库周界区域外侧的围挡外边线及位于所述航油油库周界区域内测的围挡内边线,所述围挡外边线与所述围挡内边线并排;
所述获取航油油库周界区域的待测图像,包括:
获取所述围挡区域的智能感知终端采集的视频图像中的待测图像;
所述检测所述人员目标是否异常进入所述周界区域,包括:
确定所述人员目标是否跨越所述围挡内边线及所述围挡外边线;
在所述人员目标是跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标异常翻越所述围挡区域;
在所述人员目标未跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标未翻越所述围挡区域。
本申请实施例提供一种航油油库周界区域安全检测装置,所述装置包括:
获取模块,用于获取航油油库周界区域的待测图像;
目标检测模块,用于检测所述待测图像,得到所述待测图像的人员目标;
异常检测模块,用于检测所述人员目标是否异常进入所述周界区域;
生成模块,用于在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。
本申请实施例提供一种航油安全运维系统,所述航油安全运维系统包括:中心服务器及与所述中心服务器连接的多个边缘处理子系统,所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备;
多个所述边缘处理子系统,用于通过航油数据采集终端采集的数据,并采用所述边缘计算设备处理所述数据,得到处理结果,并向所述中心服务器发送所述处理结果;
多个所述边缘处理子系统还包括航油油库的边缘处理子系统,所述航油油库的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括边缘计算服务器,所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端,所述智能感知终端与所述边缘计算服务器进行通信,所述边缘计算服务器包括如权上所述的航油油库周界区域安全检测装置。
进一步的,多个所述边缘处理子系统还包括航空加油车的边缘处理子系统,所述航空加油车的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括第一边缘计算终端,所述航油数据采集终端包括与所述第一边缘计算终端连接的视频监控终端;所述航空加油车的边缘处理子系统,用于通过视频监控终端采集与航空加油车相关的数据,并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据,得到第一处理结果,以及向所述中心服务器发送所述第一处理结果;
和/或,
所述航油油库的边缘处理子系统,用于通过所述智能感知终端获取与油库相关的数据,并使用所述边缘计算服务器处理所述与油库相关的数据,得到第二处理结果,以及向所述中心服务器发送所述第二处理结果;
和/或,
多个所述边缘处理子系统还包括航油管线的边缘处理子系统,所述航油数据采集终端包括飞行器,所述边缘计算设备包括第二边缘计算终端,所述飞行器与所述航油管线的边缘处理子系统进行通信,其中,所述航油油库的边缘处理子系统,用于通过所述飞行器获取与航油管线的相关的数据,并使用所述第一边缘计算终端处理所述与航油管线的相关的数据,得到第三处理结果,以及向所述中心服务器发送所述第三处理结果。
本申请实施例提供的一种航油油库周界区域安全检测方法,通过检测待测图像,得到待测图像的人员目标,检测所述人员目标是否异常进入所述周界区域,在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。如此对人员目标的自动检测,有效提升航油油库周界区域安全巡检效率。
附图说明
图1所示为本申请实施例的航油油库周界区域安全检测方法的应用实例的整体示意图;
图2所示为本申请实施例的航油油库周界区域安全检测方法的应用实例的具体示意图;
图3所示为图2所示的应用实例中的航油油库的边缘处理子系统的的结构示意图;
图4所示为图2所示的航油安全运维系统的后端部署的结构示意图;
图5所示为本申请实施例提供的航油油库周界区域安全检测方法的应用场景的示意图;
图6所示为本申请实施例提供的航油油库周界区域安全检测方法的流程示意图;
图7所示为图6所示的航油油库周界区域安全检测方法中的工作检测区域检测的具体流程图;
图8所示为图6所示的航油油库周界区域安全检测方法中的人物对象检测模型和人物穿戴服饰检测模型实现分级检测的具体检测流程图;
图9所示为图6所示的航油油库周界区域安全检测方法中的滞留区域检测的具体流程图;
图10所示为图6所示的航油油库周界区域安全检测方法中的围挡区域检测的具体流程图;
图11所示为本申请实施例提供的航油油库周界区域安全检测装置的模块示意图;
图12所示为本申请实施例的航油油库漏油检测系统的结构示意图;
图13所示为本申请实施例的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
为解决上述检测效率较低的技术问题,本申请实施例提供了一种航油油库周界区域安全检测方法、装置及安全运维系统,通过检测待测图像,得到待测图像的人员目标,检测所述人员目标是否异常进入所述周界区域,在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。如此对人员目标的自动检测,减少人工的任务量,解放低效人力,减少人为的遗漏出错,有效提升航油油库周界区域安全巡检效率。并且,对人员目标的检测目标相较于相关技术中的一次检测安全帽的目标而言,占比加大,像素占用多,更容易检测到人员目标,检测效率更高,准确率较高,误报较小。
图1所示为本申请实施例的航油油库周界区域安全检测方法的应用实例的整体示意图。
如图1所示,航油油库周界区域安全检测方法的应用系统可以包括但不限于为航油算法协助系统。航油算法协助系统包括航油安全运维系统10。航油安全运维系统10包括中心服务器11及与中心服务器11连接的多个边缘处理子系统12,边缘处理子系统12包括航油数据采集终端1211及与航油数据采集终端1211连接的边缘计算设备1212。边缘计算设备1212可以实现对航油数据采集终端1211的配置。
多个边缘处理子系统12,用于通过航油数据采集终端1211采集的数据,并采用边缘计算设备1212处理数据,得到处理结果,并向中心服务器发送处理结果。如此,通过边缘处理子系统12处理各航油数据采集终端1211的数据,向中心服务器11发送处理结果,数据来源多样,方便整合展示。
其中,上述中心服务器11可以但不限于包括报警设备13,该报警设备13用于发出警报。此警报可以是声光电等各种方式的警报。在此不一一举例。上述数据可以包括从航油数据采集终端1211采集的实时视频流。进一步的,上述数据可以包括报警信息,采用边缘计算设备1212处理数据中的报警信息,得到报警处理结果。在报警处理结果为需要上报报警的处理结果的情况下,向中心服务器11发送该处理结果,中心服务器11控制报警设备13进行报警。
图2所示为本申请实施例的航油油库周界区域安全检测方法的应用实例的具体示意图。
如图2所示,上述多个边缘处理子系统12相对于中心服务器11呈分布式设置。多个边缘处理子系统可以但不限于包括航油管线201的边缘处理子系统211、航空加油车202的边缘处理子系统212及航油油库203的边缘处理子系统213中的多种。如此,各边缘处理子系统12相对于中心服务器11分布式分布,并通过各边缘处理子系统12处理数据后,向中心服务器11发送处理结果,各边缘处理子系统12分担中心服务器11的处理量,降低中心服务器11的负担,并且,通过各边缘处理子系统12自动处理有效数据,数据的利用价值高,主动监控,避免人工观测遗漏。
其中,多个边缘处理子系统12包括航油管线201的边缘处理子系统211,航油数据采集终端1211包括飞行器2111,飞行器2111与航油管线201的边缘处理子系统211进行通信。其中,飞行器2111包括无人机,无人机可采集可见光图像及视频数据。边缘计算设备1212包括第二边缘计算终端2112,飞行器2111与航油管线201的边缘处理子系统211进行通信,其中,航油管线201的边缘处理子系统211,用于通过飞行器2111获取与航油管线201的相关的数据,并使用第二边缘计算终端2112处理与航油管线201的相关的数据,得到第三处理结果,以及向中心服务器11发送第三处理结果,以实现航油管线防外破无人机巡视。
航空加油车202的边缘处理子系统212与中心服务器11连接,航油数据采集终端1211包括与第一边缘计算终端2122连接的数据采集设备2121,边缘计算设备1212包括第一边缘计算终端2122。“第一边缘计算终端2122”中的“第一”和“第二边缘计算终端2112”中的“第二”,用来区分两个边缘计算终端。
航空加油车202的边缘处理子系统212,用于通过数据采集设备2121采集与航空加油车202相关的数据,并使用航空加油车202的第一边缘计算终端2122处理航空加油车202相关的数据,得到第一处理结果,以及向中心服务器11发送第一处理结果,以实现航空加油车202的安全运行。其中,数据采集设备2121可以包括视频监控终端。示例性的,视频监控终端包括摄像头及监控器中的一种或多种,在此不再一一举例。数据采集设备2121可以采集可见光图像及视频数据。视频监控终端比如为NVR(Network Video Recorder,网络视频录像机)。
图3所示为图2所示的应用实例中的航油油库的边缘处理子系统的的结构示意图。
继续如图3所示,边缘计算设备1212包括边缘计算服务器2132,航油数据采集终端1211包括与边缘计算服务器2132连接的智能感知终端2131。航油油库203的边缘处理子系统213,用于通过智能感知终端2131获取与油库相关的数据,并使用边缘计算服务器2132处理与油库相关的数据,得到第二处理结果,以及向中心服务器11发送第二处理结果,以实现航油油库203的安全运维。其中,智能感知终端2131可以包括防爆云台摄像机、防爆热成像筒型摄像机、热成像筒型摄像机、高清枪型摄像机及红外对射报警器中的一种或多种传感设备。
示例性的,传感设备可以为可见光的传感设备。可见光的传感设备可以采集单一/批量图像和视频流。
继续图2和图3所示,航油安全运维系统10包括航油安全运维系统10的前端网页端及云端服务器。通过航油安全运维系统10的前端网页端和/或移动端登录云端服务器,以访问云端服务集群。然后,通过防火墙,中心服务器11分别与多个边缘处理子系统12进行通信。如此,通过航油安全运维系统10的中心服务器11,实现云边端的联动系统,并且,通过第一边缘计算终端2122、边缘计算服务器2132、云端服务器等设备的计算结果,进行信息的整合和展示。
通过云、边、端结合的方式实现对航油管线201、航空加油车202、航油油库203的智能化安全运维,对不同场景使用不同的智能计算设备与算法,实现多种场景有效结合,云、边、端同步协作的航油算法协助系统。
在本申请实施例中,针对航空加油车的安全运行、航油油库安全运维管理、航油管线防外破无人机巡视进行了智能化的升级,实现了这些场景的算法与运维系统的结合,在不同场景根据需要部署了云、边、端设备协同技术方案,实现了多种设备协同作业的航油安全运维管理。
图4所示为图2所示的航油安全运维系统的后端部署的结构示意图。如图4所示,航油安全运维系统10部署在后端,实现对航油数据采集终端1211所采集的数据的存储与管理,并为航油数据采集终端1211提供智能推理服务,并对外提供规范化的接口定义方式。建立对不同服务能力和接口方式的管理界面。实现统一纳管、版本控制、统一授权、运行配置和应用统计。
在本申请实施例中,针对航空加油车的安全运行、航油油库安全运维管理、航油管线防外破无人机巡视进行了智能化的升级,实现了这些场景的算法与运维系统的结合,在不同场景根据需要部署了云、边、端设备协同技术方案,实现了多种设备协同作业的航油安全运维管理。
下面通过具体实施例对本申请提供的航油油库周界区域安全检测方法进行详细说明。
本申请实施例提供的航油油库周界区域安全检测方法,可以应用于航空机场的航油油库周界区域。该航油油库周界区域包括航油油库的工作检测区域、航油油库的滞留区域及航油油库的航油油库的围挡区域中的一者或多者。
图5所示为本申请实施例提供的航油油库周界区域安全检测方法的应用场景的示意图。如图5所示,工作检测区域31用于反映工作禁区的检测区域。工作检测区域31可以但不限于为禁区电子围栏。工作检测区域31可以是指机械设备32所的工作区域中的需配备安全防护措施的区域。滞留区域可以是指航油油库的边界以外预设区域范围内的安全区域。预设区域范围用于反映航油油库的边界以外的安全区域。示例性的,滞留区域可以为航油油库园区墙外的预设区域。围挡区域33可以作为工作检测区域31的边界。围挡区域33可以但不限于包括围栏及墙中的一种或多种。以下以边缘计算服务器2132为例进行说明,在此并不做限定。
图6所示为本申请实施例提供的航油油库周界区域安全检测方法的流程示意图。如图6所示的该方法可以包括如下步骤410至步骤440。
步骤410,获取航油油库周界区域的待测图像。
待测图像用于反映航油油库周界区域的情况。上述步骤410进一步可以包括获取通过航油油库周界区域的智能感知终端2131采集的视频图像中的待检测图像。智能感知终端2131,可以但不限于包括油库法兰盘检测IPC(Internet Protocol Camera,网络摄像头)设备,油库园区关键卡口IPC设备、油库园区围墙外围IPC设备以及油库工作检测区域监测IPC设备等,进而通过各个部署的IPC设备采集航油油库的图像。智能感知终端2131的具体采集的待检测图像详见下文。
步骤420,检测待测图像,得到待测图像的人员目标。
人员目标反映待测图像中的人员。本申请实施例的人员目标可以但不限于包括工作人员和非工作人员。
步骤430,检测人员目标是否异常进入周界区域。
步骤440,在人员目标异常进入周界区域的情况下,生成报警信息,以进行报警。其中,在上述步骤440之后,所述方法还包括:向航油安全运维系统中的中心服务器发送报警信息或者控制报警设备输出报警信息。
图7所示为图6所示的航油油库周界区域安全检测方法中的工作检测区域检测的具体流程图。
如图6和图7所示,航油油库周界区域安全检测方法中的上述步骤410进一步可以包括步骤411,获取工作检测区域的智能感知终端采集的视频图像中的待测图像。如此,这样采用各终端中的工作检测区域的智能感知终端感知关于工作检测区域的数据,采集数据少,计算量小,处理效率比较高。上述步骤420进一步可以包括步骤421,将待测图像输入人物对象检测模型,以输出待测图像的人员目标的区域。示例性的,如图5的方块虚框所示的待测图像的人员目标的区域35。其中,上述人物对象检测模型用于对待测图像中的人员物对象的检测。人物对象检测模型可以包括SSD(Single Shot MultiBox Detector,通用物体检测)模型,可以完成对不同物体尺寸进行适应。
以及,航油油库周界区域安全检测方法中的步骤430进一步可以包括如下步骤431和步骤432:步骤431,检测人员目标的穿戴服饰。步骤432,根据穿戴服饰是否符合规范穿戴服饰要求,检测人员目标是否异常进入工作检测区域。如此,对现场场景的人员目标进行分析,预先划定工作检测区域与电子围栏,实现对工作检测区域进入检测的识别。这样对工作检测区域的人员进行抓拍并识别,当识别到航油内部工作人员未佩戴黄色太阳帽、未穿航油内部工作服都将对抓拍到人员目标进行告警上传。结合上述步骤432,上述步骤440进一步可以包括步骤441,在检测到人员目标异常进入工作检测区域的情况下,生成报警信息,以进行报警。在检测人员目标未异常进入工作检测区域的情况下,继续返回步骤410继续执行。
上述步骤431进一步可以包括将人员目标的区域输入人物穿戴服饰检测模型,以输出人员目标的穿戴服饰。其中,上述人物穿戴服饰检测模型用于对人员目标的区域进行穿戴服饰的检测。人物穿戴服饰检测模型可以包括YOLOv3模型,以实现穿戴服饰的识别,穿戴服饰的定位和穿戴服饰的分类,用方框标注穿戴服饰。如此,基于人物对象检测模型及人物穿戴服饰检测模型,是实现多级检测,SSD模型实现大目标的检测,YOLOv3模型实现分类的检测,通过分级检测增大人员区域在图像中的占比,从而降低SSD模型和YOLOv3模型检测难度,实现SSD模型和YOLOv3模型检测精度提升。
其中,步骤431进一步可以包括在人员目标进入工作检测区域的情况下,检测人员目标的穿戴服饰,穿戴服饰包括头部佩戴信息及衣服穿戴信息。步骤432进一步可以包括确定头部佩戴信息和衣服穿戴信息均符合规范穿戴服饰要求,确定人员目标正常进入工作检测区域,以及,确定头部佩戴信息和衣服穿戴信息中的任一者,不符合规范穿戴服饰要求,确定人员目标异常进入工作检测区域。
在本申请实施例中,方法还包括采用如下第1个步骤至第6个步骤,训练人物对象检测模型和人物穿戴服饰检测模型:
第1个步骤,获取人员安全穿戴的图像样本集,其中,图像样本集包含样本人员目标的人员信息、样本人员目标的类别、样本人员目标的位置、样本穿戴服饰的类别以及样本穿戴服饰的位置。
第2个步骤,对图像样本集中的样本人员目标的人员信息、样本人员目标的类别、样本人员目标的位置、样本穿戴服饰的类别以及样本穿戴服饰的位置进行标记,得到标记清洗后的图像样本集。其中,样本穿戴服饰的类别可以包括但不限于工作服和头部区域的头盔。
结合图5所示,上述第2个步骤进一步可以包括利用标注工具,对图像样本集中的样本人员目标34和样本工作服37、样本头部区域36进行标注,标注的信息包含类别名称和位置信息Xmin(标注框左上脚X坐标)、Ymin(标注框左上脚Y坐标)、Xmax(标注框右下脚X坐标)、以及Ymax(标注框右下脚Y坐标),并以VOC(Creative Voice File,创造性语音文件)数据格式保存成xml标签文件。其中,图5所示的样本人员目标为工作人员。
第3个步骤,清洗标记清洗后的图像样本集的干扰数据,得到清洗图像样本集。
其中,本申请实施例的航油油库周界区域安全检测方法还包括按照预定比例,将清洗图像样本集,拆分为训练样本集和测试样本集。其中,预定比例可以但不限于为4:1的比例,也就是,将清洗图像样本集划分为80%测试样本集、20%测试样本集。
在步骤430中的得到清洗图像样本集之后,方法还包括:根据清洗图像样本集,确定测试样本集,测试样本集包含多个标记清洗后的第二图像样本以及第二图像样本的样本人员目标的人员信息、样本人员目标的类别、样本人员目标的位置、样本穿戴服饰的类别以及样本穿戴服饰的位置。
第4个步骤,根据清洗图像样本集,确定训练样本集,训练样本集包含多个标记清洗后的第一图像样本以及第一图像样本的样本人员目标的人员信息、样本人员目标的类别、样本人员目标的位置、样本穿戴服饰的类别以及样本穿戴服饰的位置。
利用上述第4个步骤中的训练样本集分别训练SSD和YOLOv3模型,模型训练采用自适应矩估计优化器作为网络的训练优化策略,共训练100轮次。学习率从0.001开始动态调整,每一轮次更新完成后,学习率乘以0.9。观察由损失函数计算得到的Loss值的变化,当Loss值连续5个轮次没有下降的时候,停止训练,获取收敛效果最好(最终Loss值最低)的模型。
第5个步骤,使用多个第一图像样本,得到已训练的人物对象检测模型;
第6个步骤,使用多个第一图像样本,得到已训练的人物穿戴服饰检测模型。
其中,上述第5个步骤中的已训练的人物对象检测模型的得到具体包括如下第1步骤至第3步骤:
第1步骤,将各第一图像样本输入人物对象检测模型,以输出第一图像样本的预测人员信息。
第2步骤,根据第一图像样本的预测人员信息,以及第一图像样本的人员信息,确定当前损失;当前损失包括人员信息的位置预测的损失及人员信息的置信度的损失。
其中,SSD模型的总损失函数L1为人员信息的置信度的损失Lconf和人员信息的位置预测的损失Lloc的加权和,其中置信度误差采用交叉熵损失函数计算,位置误差采用smoothL1损失函数计算,具体公式如下:
其中,L1为SSD模型的总损失函数,N为先验框的正样本数量,Lconf为人员信息的类别置信度的损失函数,conf为置信度,x为先验框雨GT匹配情况参数,c为类别置信度预测值,α参数为调整位置损失函数和置信度损失函数的权重参数,Lloc为位置损失函数,loc为英文单词位置的缩写,l为先验框所对应边界框的位置预测值,g为GT的位置参数,i为预测框序号,Pos为正样本(Positive),为第i个当前框匹配到第j个GT框(类别是p),j为GT框序号,p为类别序号,/>为第i个搜索框对应类别p的预测概率,/>为第i个搜索框对应类别0(背景)的预测概率,Neg为负样本(Negative),Lloc(x,l,g)为人员信息的位置预测的损失,m为遍历参数,cx为中心点x坐标,cy为中心点x坐标,w为宽度,h为高度,/>为指示参数,fsmooth L1为L1层光滑函数,L1为层编号,/>为预测对应第i个正样本回归参数,/>为正样本i匹配的第j个GT box的回归参数。
第3步骤,根据人员信息的置信度的损失及人员信息的置信度的损失,对人物对象检测模型的训练参数进行调整,直至满足预设结束条件,得到已训练的人物对象检测模型。
其中,上述第6个步骤已训练的人物穿戴服饰检测模型的具体得到包括如下第1步至第3步:
第1步,将各标记清洗后的第一图像样本输入人物穿戴服饰检测模型,以输出标记清洗后的第一图像样本的预测人物穿戴服饰。
第2步,根据标记清洗后的第一图像样本的预测人物穿戴服饰,以及标记清洗后的第一图像样本的样本人物穿戴服饰,确定当前损失;当前损失包括样本人物穿戴服饰的边框预测的损失、样本人物穿戴服饰的置信度的损失及样本人物穿戴服饰的分类的损失。
其中,YOLOv3模型的总损失函数L2是由样本人物穿戴服饰的边框预测的损失fcoord、样本人物穿戴服饰的置信度的损失fconf和样本人物穿戴服饰的分类的损失fcls这3各部分组成,其中边框误差采用真实值坐标与预测值坐标误差的平方计算得到,置信度误差和分类误差均使用交叉熵损失函数计算,具体公式如下:
L2=fcoord+fconf+fcls
其中,L2为YOLOv3模型的总损失函数,fcoord为样本人物穿戴服饰的边框预测的损失,fconf为样本人物穿戴服饰的置信度的损失,fcls为样本人物穿戴服饰的分类的损失,λcoord为协调不同大小矩形框对误差函数贡献不一致所设置的一个协调系数,S为网格尺寸,B为候选框数量,i为遍历参数,从0开始,j为遍历参数,从0开始,obj为有目标的情况,xi为第i个网络预测的矩形框中心坐标x坐标,为第i个标记矩形框的x坐标,yi为第i个网络预测的矩形框中心坐标y坐标,/>为第i个标记矩形框的y坐标,wi为第i个网络预测的矩形框宽度大小,/>为第i个标记的矩形框宽度大小,hi为第i个网络预测的矩形框高度大小,/>为第i个标记的矩形框高度大小/>为表示真实值,Ci为预测框内含有目标物体的概率得分,λconf为置信度协调系数,Classes为类别,/>为标记框所属类别真实值,pi为预测框属于类别c的概率。
第3步,根据样本人物穿戴服饰的边框预测的损失、样本人物穿戴服饰的置信度的损失及样本人物穿戴服饰的分类的损失,对人物穿戴服饰检测模型的训练参数进行调整,直至满足预设结束条件,得到已训练的人物穿戴服饰检测模型。
图8所示为图6所示的航油油库周界区域安全检测方法中的人物对象检测模型和人物穿戴服饰检测模型实现分级检测的具体检测流程图。
如图8所示,为有效地从图像中提取出人员安全穿戴特征,本专利设计一种采用分级检测的检测方法。首先,利用SSD模型定位图像中人员位置,完成第1级检测;之后,通过切割算法对人员区域进行分割得到多个人员子区域;最后,利用YOLOv3模型对人员子区域中人员工作服穿戴情况、人员安全帽佩戴情况进行检测,完成第2级检测。
第1级检测中的SSD模型定位人员安全穿戴的具体流程如下:
(1)、将图像大小缩放成为512×512后输入SSD模型。
(2)、VGG16网络对输入图像进行特征提取,抽取一些卷积层的特征图,分别在不同的特征图平面上的每个点获得不同个数的预测框,然后对人员进行定位,获得多个预测框。每个预测框中包含5个信息,前4个为预测框的位置信息,第5个为预测框的置信度。
(3)、对于每个预测框,首先过滤属于背景的预测框,然后根据设定的阈值过滤掉不符合条件的预测框。将置信度由大到小排列,保留前N个预测框,N的值根据样本的数量调整,最后进行非极大值抑制(non-maximum suppression,NMS),过滤掉重叠度较大的预测框,最终得到的预测框为航油油库区域人员的定位结果。
(4)、由于实际中视场范围内较远的区域也会出现人员,因此设计一种人员筛选策略,从定位结果中删除人员像素占比较小的位置信息,仅将满足人员占比大于10%的位置信息传递至下一步骤,减少检测过程中的无效计算。
第1级检测中的定义切割算法如下:
利用SSD模型给出的预测框的位置信息可直接切割出航油油库区域中的人员区域,但切割后的人员区域可能仍具有较高的分辨率,为保留其原始信息且进一步增大破损缺陷在图像中的占比,通过比较人员区域与YOLOv3模型的输入尺寸选择是否需要使用切割算法。若需要,在图像的宽和高上,遵循由上至下、由左至右的原则,每次移动对应像素进行切割。以设置像素416为例,当由上至下或者由左至右移动时,若最后一次移动不足416像素,从下侧或右侧边界反向选取416×416大小的图像进行切割,以确保人员区域信息没有遗漏。
第2级检测中的YOLOv3模型检测人员安全穿戴的具体流程如下:
(1)、将切割后的人员区域图像大小调整为416×416后输入YOLOv3模型。
(2)、网络采用3个不同尺度的特征图对连接部位螺栓进行检测,分别为13×13、26×26、52×52,每个不同尺度的特征图对应3种不同尺寸的预测框。每个预测框中包含6个参数,前4个为预测框的位置参数,第5个为预测框的置信度,第6个为人员的类别信息。
(3)、通过NMS算法对网络给出的预测框进行过滤。首先计算每个预测框的置信度,将置信度低于1%的预测框过滤掉,选择与真实框重合度较高的预测框,然后通过设定的阈值得到最后的预测框,实现人员安全穿戴的识别。
上述已训练的人物对象检测模型的测试过程中如下:
在上述第5个步骤中的使用多个标记清洗后的第一图像样本,得到已训练的人物对象检测模型之后,方法还包括:
将多个标记清洗后的第二图像样本输入已训练的人物对象检测模型,以输出标记清洗后的第二图像样本的测试样本人员目标的人员信息、测试样本人员目标的类别及测试样本人员目标的位置;
根据标记清洗后的第二图像样本的测试样本人员目标的人员信息、测试样本人员目标的类别及测试样本人员目标的位置,以及标记清洗后的第二图像样本的样本人员目标的人员信息、样本人员目标的类别及样本人员目标的位置,确定已训练的人物对象检测模型的准确率;
在已训练的人物对象检测模型的准确率满足预设阈值的情况下,得到训练好的人物对象检测模型。如此,测试样本集准确率提高,训练样本集和测试样本集损失均下降直到保持稳定,达到预设阈值,也就是说明达到迭代目标。
上述已训练的人物穿戴服饰检测模型测试过程中如下:
在第6个步骤中的使用多个标记清洗后的第一图像样本,得到已训练的人物穿戴服饰检测模型之后,所述方法还包括:
将多个标记清洗后的第二图像样本输入已训练的人物穿戴服饰检测模型,以输出标记清洗后的第二图像样本的测试样本穿戴服饰的类别以及测试样本穿戴服饰的位置;
根据标记清洗后的第二图像样本的测试样本穿戴服饰的类别以及测试样本穿戴服饰的位置,以及标记清洗后的第二图像样本的样本穿戴服饰的类别以及样本穿戴服饰的位置,确定已训练的人物穿戴服饰检测模型的准确率;
在已训练的人物穿戴服饰检测模型的准确率满足预设阈值的情况下,得到训练好的人物穿戴服饰检测模型。如此,测试样本集准确率提高,训练样本集和测试样本集损失均下降直到保持稳定,达到预设阈值,也就是说明达到迭代目标。
测试阶段使用测试集分别对SSD模型和YOLOv3模型进行测试,SSD模型和YOLOv3模型在测试集上输出的检测结果可定义为:
(1)正样本被正确预测为正样本(true positives,TP)(记为STP);
(2)负样本被正确预测为负样本(true negatives,TN)(记为STN);
(3)负样本被错误预测为正样本(false positives,FP)(记为SFP);
(4)正样本被错误预测为负样本(false negatives,FN)(记为SFN)。
根据上述定义,SSD模型和YOLOv3模型的准确率P和召回率R可用以下公式表达:
本申请实施例中使用准确率和召回率共同评估模型性能,准确率用于评估模型的准确性,召回率用于评估模型找出所有正样本的能力,经过多次实验,获取在人员安全穿戴数据集中检测效果最优的SSD和YOLOv3模型。这样基于SSD模型和yolov3模型的两级检测的安全穿戴智能识别,通过分级检测增大人员区域在图像中的占比,从而降低SSD模型和yolov3模型检测难度,实现SSD模型和yolov3模型检测精度提升。并且,基于SSD模型工作检测区域进入检测、滞留区域停留预设时长及翻墙检测,基于这些的检测结果结合场景的需要,得到进入工作检测区域、滞留区域停留预设时长及翻墙的识别结果,实现了航油油库航油油库周界区域安全运维的智能识别。
图9所示为图6所示的航油油库周界区域安全检测方法中的滞留区域检测的具体流程图。
如图6和图9所示,上述步骤430进一步可以包括步骤531,确定人员目标进入滞留区域是否达到预设时长。如果是,也就是在人员目标是进入滞留区域达到预设时长的情况下,执行步骤532。如果否,也就是在人员目标是进入滞留区域未达到预设时长的情况下,执行步骤533。
其中,预设时长可以根据用户需求设置。示例性的,预设时长可以以秒为单位。预设时长大于10秒。预设时长可以但不不限于为10秒、11秒、12秒、13秒、14秒、15秒、16秒、17秒、18秒、19秒、20秒。
步骤532,确定人员目标异常进入滞留区域。结合上述步骤532,上述步骤440进一步可以包括步骤543,在人员目标异常进入滞留区域的情况下,生成报警信息,以进行报警。在人员目标正常进入滞留区域的情况下,继续返回步骤410继续执行。
步骤533,确定人员目标正常进入滞留区域。人员目标正常进入滞留区域是指人员目标在滞留区域停留或者路过小于预设时长后便离开,属于短暂停留。
继续图8和图9所示,上述步骤410进一步可以包括步骤412,从人员目标得到的时刻作为起始时刻,获取在起始时刻之后滞留区域的智能感知终端采集的多帧待测图像。上述步骤531进一步可以包括如下三个步骤。第一个步骤,跟踪多帧待测图像中的人员目标的人员位置。本步骤可以使用跟踪算法,实现跟踪多帧待测图像中的人员目标的人员位置。第二个步骤,在多帧待测图像中的人员目标的人员位置存在未处于滞留区域的情况下,确定人员目标进入滞留区域未达到预设时长。第三个步骤,在多帧待测图像中的人员目标的人员位置均处于滞留区域的情况下,确定人员目标进入滞留区域达到预设时长。如此,对现场场景的人员目标进行分析,实现对园区墙外区域滞留的识别,这样对进入滞留区域的人员目标进行抓拍,当人员目标在滞留区域内停留超过15秒,将进行告警。这样采用各终端中的滞留区域的智能感知终端感知关于滞留区域的数据,采集数据少,计算量小,处理效率比较高。
图10所示为图6所示的航油油库周界区域安全检测方法中的围挡区域检测的具体流程图。
如图6和图10所示,围挡区域包括位于航油油库周界区域外侧的围挡外边线及位于航油油库周界区域内测的围挡内边线,围挡外边线与围挡内边线并排。其中,围挡外边线与围挡内边线是被预先设置好被监测场景内的围挡区域,画两条翻墙越界线,一条围挡内边线,属于内线,一条围挡外边线,属于外线。当人员目标从一条线跨越另一条线时,将对抓拍到的人员目标进行告警。
上述步骤410进一步可以包括步骤413,获取围挡区域的智能感知终端采集的视频图像中的待测图像。
上述步骤430进一步可以包括步骤631,确定人员目标是否跨越围挡内边线及围挡外边线。如果是,也就是在人员目标是跨越围挡内边线及围挡外边线的情况下,执行步骤632。如果否,也就是在人员目标未跨越围挡内边线及围挡外边线的情况下,执行步骤633。
步骤632,确定人员目标异常翻越围挡区域。结合上述步骤632,上述步骤440进一步可以包括步骤643,在人员目标异常进入滞留区域的情况下,生成报警信息,以进行报警。在人员目标正常进入滞留区域的情况下,继续返回步骤410继续执行。
步骤633,确定人员目标未翻越围挡区域。如此,对现场场景的人员目标进行分析,实现对园区入侵翻墙情况的识别。这样对围挡区域人员目标翻墙进行安全识别,
图11所示为本申请实施例提供的航油油库周界区域安全检测装置的模块示意图。
如图11所示,该航油油库周界区域安全检测装置可以包括如下模块:
获取模块71,用于获取航油油库周界区域的待测图像;
目标检测模块72,用于检测待测图像,得到待测图像的人员目标;
异常检测模块73,用于检测人员目标是否异常进入周界区域;
生成模块74,用于在人员目标异常进入周界区域的情况下,生成报警信息,以进行报警。
在一些实施例中,所述目标检测模块72进一步可以用于:将所述待测图像输入人物对象检测模型,以输出所述待测图像的所述人员目标的区域。
在一些实施例中,所述航油油库周界区域包括航油油库的工作检测区域;所述异常检测模块73进一步可以用于:检测所述人员目标的穿戴服饰;
根据所述穿戴服饰是否符合规范穿戴服饰要求,检测所述人员目标是否异常进入所述工作检测区域。
在一些实施例中,所述航油油库周界区域包括航油油库的滞留区域;所述异常检测模块73进一步可以用于:
确定所述人员目标进入所述滞留区域是否达到预设时长;
在所述人员目标是进入所述滞留区域达到预设时长的情况下,确定所述人员目标异常进入所述滞留区域;
在所述人员目标是进入所述滞留区域未达到预设时长的情况下,确定所述人员目标正常进入所述滞留区域。
在一些实施例中,所述航油油库周界区域包括航油油库的围挡区域,所述围挡区域包括位于所述航油油库周界区域外侧的围挡外边线及位于所述航油油库周界区域内测的围挡内边线,所述围挡外边线与所述围挡内边线并排;
所述获取模块71进一步的用于:获取所述围挡区域的智能感知终端采集的视频图像中的待测图像;
所述异常检测模块73进一步的用于:
确定所述人员目标是否跨越所述围挡内边线及所述围挡外边线;
在所述人员目标是跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标异常翻越所述围挡区域;
在所述人员目标未跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标未翻越所述围挡区域。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
结合图2和图11所示,所述边缘计算服务器包括如上所述的航油油库周界区域安全检测装置。
图12所示为本申请实施例提供的航油油库周界区域安全检测系统的结构示意图。
如图12所示,本申请实施例提供的航油油库周界区域安全检测系统,包括:图像采集设备1101,智能数据分析平台1102,以及智能管控系统1103;
所述图像采集设备1101,用于采集航油油库油料容器的待测图像,并将所述待测图像发生给所述智能数据分析平台1102;
所述智能数据分析平台1102,用于将所述待测图像输入法兰盘检测模型,以输出所述待测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;基于所述待测图像的法兰盘位置信息,确定所述待测图像的漏油检测区域;针对所述待测图像的漏油检测区域,基于所述待测图像的像素值与所述待测图像前一时刻检测图像的像素值的差值,提取所述待测图像的漏油检测区域中的油滴;在预设时间段内存在多个待测图像的漏油检测区域有油滴的情况下,确定所述待测图像的法兰盘位置处存在漏油;以及,基于所述待测图像的法兰盘位置信息,确定所述待测图像的喷油检测区域;对所述喷油检测区域进行划分,得到多个喷油检测子区域;将每一喷油检测子区域输入目标分类模型,以输出所述喷油检测子区域的类别信息;其中,所述目标分类模型是根据样本喷油检测区域,以及样本喷油检测区域的类别信息进行训练的,所述类别信息包括:未喷油,喷油以及下雨;基于各所述喷油检测子区域的类别信息,确定所述待测图像的喷油检测区域是否存在喷油;在预设时间段内存在多个待测图像的喷油检测区域喷油的情况下,确定所述待测图像的法兰盘位置处存在喷油;
所述智能管控系统1103,用于在所述待测图像的法兰盘位置处存在漏油的情况下,生成漏油告警信息,以及在所述待测图像的法兰盘位置处存在喷油的情况下,生成喷油告警信息。
图13所示为本申请实施例提供的电子设备1200的结构框图。
电子设备1200包括一个或多个处理器1201,用于实现如上所述的航油油库周界区域安全检测方法。
在一些实施例中,电子设备1200可以包括计算机可读存储介质1209,计算机可读存储介质1209可以存储有可被处理器1201调用的程序,可以包括非易失性存储介质。在一些实施例中,电子设备1200可以包括内存1208和接口1207。在一些实施例中,电子设备1200还可以根据实际应用包括其他硬件。
本申请实施例的计算机可读存储介质1209,其上存储有程序,该程序被处理器1201执行时,用于实现如上描述的航油油库周界区域安全检测方法。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质1209(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质1209包括永久性和非永久性、可移动和非可移动媒体,可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质1209的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
Claims (10)
1.一种航油油库周界区域安全检测方法,其特征在于,所述方法包括:
获取航油油库周界区域的待测图像;所述航油油库周界区域包括航油油库的围挡区域;所述围挡区域包括位于所述航油油库周界区域外侧的围挡外边线及位于所述航油油库周界区域内侧的围挡内边线;所述围挡外边线与所述围挡内边线并排;所述获取航油油库周界区域的待测图像,包括:获取所述围挡区域的智能感知终端采集的视频图像中的待测图像;
将所述待测图像输入人物对象检测模型,以输出所述待测图像的人员目标的区域;其包括利用SSD模型定位所述待测图像中人员位置,如下步骤:将大小缩放后的待测图像输入SSD模型;通过VGG16网络对输入待测图像进行特征提取,提取卷积层的特征图,并分别在不同的特征图上的每个点获得不同个数的预测框;并对所述人员目标进行定位,获得多个预测框;其中,每个预测框中包含预测框的位置信息及预测框的置信度;对于每个预测框,在过滤属于背景的预测框的情况下,将置信度由大到小排列,保留前N个预测框,得到的预测框作为航油油库区域人员目标的位置;其中,所述N用于表示序号编号;
检测所述人员目标是否异常进入所述周界区域;其中,所述检测所述人员目标是否异常进入所述周界区域,包括:确定所述人员目标是否跨越所述围挡内边线及所述围挡外边线;在所述人员目标是跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标异常翻越所述围挡区域;在所述人员目标未跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标未翻越所述围挡区域;
在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。
2.如权利要求1所述的航油油库周界区域安全检测方法,其特征在于,所述检测所述待测图像,得到所述待测图像的人员目标,包括:
将所述待测图像输入人物对象检测模型,以输出所述待测图像的所述人员目标的区域。
3.如权利要求1或2所述的航油油库周界区域安全检测方法,其特征在于,所述航油油库周界区域包括航油油库的工作检测区域;所述检测所述人员目标是否异常进入所述周界区域,包括:
检测所述人员目标的穿戴服饰;
根据所述穿戴服饰是否符合规范穿戴服饰要求,检测所述人员目标是否异常进入所述工作检测区域。
4.如权利要求3所述的航油油库周界区域安全检测方法,其特征在于,所述航油油库周界区域包括航油油库的工作检测区域;所述获取航油油库周界区域的待测图像,包括:获取工作检测区域的智能感知终端采集的视频图像中的待测图像;所述检测所述人员目标的穿戴服饰,包括:在所述人员目标进入所述工作检测区域的情况下,检测所述人员目标的穿戴服饰,所述穿戴服饰包括头部佩戴信息及衣服穿戴信息;所述根据所述穿戴服饰是否符合规范穿戴服饰要求,检测所述人员目标是否异常进入所述周界区域,包括:确定所述头部佩戴信息和衣服穿戴信息均符合所述规范穿戴服饰要求,确定所述人员目标正常进入所述工作检测区域;确定所述头部佩戴信息和衣服穿戴信息中的任一者,不符合所述规范穿戴服饰要求,确定所述人员目标异常进入所述工作检测区域。
5.如权利要求3所述的航油油库周界区域安全检测方法,其特征在于,所述检测所述人员目标的穿戴服饰,包括:将所述人员目标的区域输入人物穿戴服饰检测模型,以输出所述人员目标的穿戴服饰。
6.如权利要求3或4所述的航油油库周界区域安全检测方法,其特征在于,所述航油油库周界区域包括航油油库的滞留区域;
所述检测所述人员目标是否异常进入所述周界区域,包括:
确定所述人员目标进入所述滞留区域是否达到预设时长;
在所述人员目标是进入所述滞留区域达到预设时长的情况下,确定所述人员目标异常进入所述滞留区域;
在所述人员目标是进入所述滞留区域未达到预设时长的情况下,确定所述人员目标正常进入所述滞留区域。
7.如权利要求6所述的航油油库周界区域安全检测方法,其特征在于,所述获取航油油库周界区域的待测图像,包括:
从所述人员目标得到的时刻作为起始时刻,获取在所述起始时刻之后所述滞留区域的智能感知终端采集的多帧待测图像;
所述确定所述人员目标进入所述滞留区域是否达到预设时长,包括:
跟踪所述多帧待测图像中的所述人员目标的人员位置;
在所述多帧待测图像中的所述人员目标的人员位置存在未处于所述滞留区域的情况下,确定所述人员目标进入所述滞留区域未达到预设时长;
在所述多帧待测图像中的所述人员目标的人员位置均处于所述滞留区域的情况下,确定所述人员目标进入所述滞留区域达到所述预设时长。
8.一种航油油库周界区域安全检测装置,其特征在于,所述装置包括:
获取模块,用于获取航油油库周界区域的待测图像;所述航油油库周界区域包括航油油库的围挡区域;所述围挡区域包括位于所述航油油库周界区域外侧的围挡外边线及位于所述航油油库周界区域内侧的围挡内边线;所述围挡外边线与所述围挡内边线并排;所述获取航油油库周界区域的待测图像,包括:获取所述围挡区域的智能感知终端采集的视频图像中的待测图像;
目标检测模块,用于将所述待测图像输入人物对象检测模型,以输出所述待测图像的人员目标的区域;其包括利用SSD模型定位所述待测图像中人员位置,如下步骤:将大小缩放后的待测图像输入SSD模型;通过VGG16网络对输入待测图像进行特征提取,提取卷积层的特征图,并分别在不同的特征图上的每个点获得不同个数的预测框;并对所述人员目标进行定位,获得多个预测框;其中,每个预测框中包含预测框的位置信息及预测框的置信度;对于每个预测框,在过滤属于背景的预测框的情况下,将置信度由大到小排列,保留前N个预测框,得到的预测框作为航油油库区域人员目标的位置;其中,所述N用于表示序号编号;
异常检测模块,用于检测所述人员目标是否异常进入所述周界区域;其中,所述检测所述人员目标是否异常进入所述周界区域,包括:确定所述人员目标是否跨越所述围挡内边线及所述围挡外边线;在所述人员目标是跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标异常翻越所述围挡区域;在所述人员目标未跨越所述围挡内边线及所述围挡外边线的情况下,确定所述人员目标未翻越所述围挡区域;
生成模块,用于在所述人员目标异常进入所述周界区域的情况下,生成报警信息,以进行报警。
9.一种航油安全运维系统,其特征在于,所述航油安全运维系统包括:中心服务器及与所述中心服务器连接的多个边缘处理子系统,所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备;
多个所述边缘处理子系统,用于通过航油数据采集终端采集的数据,并采用所述边缘计算设备处理所述数据,得到处理结果,并向所述中心服务器发送所述处理结果;
多个所述边缘处理子系统还包括航油油库的边缘处理子系统,所述航油油库的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括边缘计算服务器,所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端,所述智能感知终端与所述边缘计算服务器进行通信,所述边缘计算服务器包括如权利要求8所述的航油油库周界区域安全检测装置。
10.如权利要求9所述的航油安全运维系统,其特征在于,多个所述边缘处理子系统还包括航空加油车的边缘处理子系统,所述航空加油车的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括第一边缘计算终端,所述航油数据采集终端包括与所述第一边缘计算终端连接的视频监控终端;所述航空加油车的边缘处理子系统,用于通过视频监控终端采集与航空加油车相关的数据,并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据,得到第一处理结果,以及向所述中心服务器发送所述第一处理结果;
和/或,
所述航油油库的边缘处理子系统,用于通过所述智能感知终端获取与油库相关的数据,并使用所述边缘计算服务器处理所述与油库相关的数据,得到第二处理结果,以及向所述中心服务器发送所述第二处理结果;
和/或,
多个所述边缘处理子系统还包括航油管线的边缘处理子系统,所述航油数据采集终端包括飞行器,所述边缘计算设备包括第二边缘计算终端,所述飞行器与所述航油管线的边缘处理子系统进行通信,其中,所述航油油库的边缘处理子系统,用于通过所述飞行器获取与航油管线的相关的数据,并使用所述第一边缘计算终端处理所述与航油管线的相关的数据,得到第三处理结果,以及向所述中心服务器发送所述第三处理结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211014436.7A CN115457457B (zh) | 2022-08-23 | 2022-08-23 | 航油油库周界区域安全检测方法、装置及安全运维系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211014436.7A CN115457457B (zh) | 2022-08-23 | 2022-08-23 | 航油油库周界区域安全检测方法、装置及安全运维系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115457457A CN115457457A (zh) | 2022-12-09 |
CN115457457B true CN115457457B (zh) | 2023-09-26 |
Family
ID=84298596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211014436.7A Active CN115457457B (zh) | 2022-08-23 | 2022-08-23 | 航油油库周界区域安全检测方法、装置及安全运维系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115457457B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241959A (zh) * | 2020-01-06 | 2020-06-05 | 重庆大学 | 一种通过工地视频流检测未佩戴安全帽人员的方法 |
CN111401314A (zh) * | 2020-04-10 | 2020-07-10 | 上海东普信息科技有限公司 | 着装信息检测方法、装置、设备及存储介质 |
CN111783744A (zh) * | 2020-07-31 | 2020-10-16 | 上海仁童电子科技有限公司 | 一种操作现场安全防护检测方法及装置 |
CN113673459A (zh) * | 2021-08-26 | 2021-11-19 | 中国科学院自动化研究所 | 基于视频的生产施工场所安全巡检方法、系统、设备 |
CN113762171A (zh) * | 2021-09-09 | 2021-12-07 | 赛思沃德(武汉)科技有限公司 | 铁路施工现场安全监测的方法及装置 |
-
2022
- 2022-08-23 CN CN202211014436.7A patent/CN115457457B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241959A (zh) * | 2020-01-06 | 2020-06-05 | 重庆大学 | 一种通过工地视频流检测未佩戴安全帽人员的方法 |
CN111401314A (zh) * | 2020-04-10 | 2020-07-10 | 上海东普信息科技有限公司 | 着装信息检测方法、装置、设备及存储介质 |
CN111783744A (zh) * | 2020-07-31 | 2020-10-16 | 上海仁童电子科技有限公司 | 一种操作现场安全防护检测方法及装置 |
CN113673459A (zh) * | 2021-08-26 | 2021-11-19 | 中国科学院自动化研究所 | 基于视频的生产施工场所安全巡检方法、系统、设备 |
CN113762171A (zh) * | 2021-09-09 | 2021-12-07 | 赛思沃德(武汉)科技有限公司 | 铁路施工现场安全监测的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115457457A (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022160413A1 (zh) | 电力生产异常监控方法、装置、计算机设备和存储介质 | |
US20210073573A1 (en) | Ship identity recognition method based on fusion of ais data and video data | |
AU2019201977B2 (en) | Aerial monitoring system and method for identifying and locating object features | |
CN109858367B (zh) | 工人通过支撑不安全行为的视觉自动化检测方法及系统 | |
CN107835997A (zh) | 使用计算机视觉的用于电力线走廊监测的植被管理 | |
CN107735794A (zh) | 使用图像处理的状况检测 | |
CN112738468B (zh) | 一种智慧园区安全预警方法 | |
CN111898486B (zh) | 监控画面异常的检测方法、装置及存储介质 | |
CN113076899B (zh) | 一种基于目标跟踪算法的高压输电线路异物检测方法 | |
CN110458794B (zh) | 用于轨道列车的配件质量检测方法及装置 | |
CN111753780B (zh) | 变电站违章检测系统及违章检测方法 | |
CN115457297B (zh) | 航油油库漏油检测方法、装置及航油安全运维系统 | |
CN115880598B (zh) | 一种基于无人机的地面图像检测方法及相关装置 | |
CN115393566A (zh) | 电力设备的故障识别与预警方法、装置、存储介质、设备 | |
CN112836683A (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
CN112541403A (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
CN117115728A (zh) | 一种应用于变电站现场作业的风险识别方法及系统 | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
CN111885349A (zh) | 一种管廊异常检测系统及方法 | |
De Venâncio et al. | Fire detection based on a two-dimensional convolutional neural network and temporal analysis | |
CN115457457B (zh) | 航油油库周界区域安全检测方法、装置及安全运维系统 | |
CN112686162A (zh) | 仓库环境整洁状态的检测方法、装置、设备和存储介质 | |
CN112785564A (zh) | 一种基于机械臂的行人检测跟踪系统与方法 | |
CN116311034A (zh) | 一种基于对比检测的机器人巡检系统 | |
CN116110127A (zh) | 一种多联动的加油站套现行为识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |