CN113723357A - 一种基于人工智能视频检测的安全工作流程管控系统 - Google Patents

一种基于人工智能视频检测的安全工作流程管控系统 Download PDF

Info

Publication number
CN113723357A
CN113723357A CN202111079796.0A CN202111079796A CN113723357A CN 113723357 A CN113723357 A CN 113723357A CN 202111079796 A CN202111079796 A CN 202111079796A CN 113723357 A CN113723357 A CN 113723357A
Authority
CN
China
Prior art keywords
control system
artificial intelligence
classification
target area
safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111079796.0A
Other languages
English (en)
Inventor
朱传瑞
王永平
姜晶
胡适
汪敏
李自茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shenhe Information Technology Co ltd
Original Assignee
Anhui Shenhe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shenhe Information Technology Co ltd filed Critical Anhui Shenhe Information Technology Co ltd
Priority to CN202111079796.0A priority Critical patent/CN113723357A/zh
Publication of CN113723357A publication Critical patent/CN113723357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及生产安全管控,具体涉及一种基于人工智能视频检测的安全工作流程管控系统,包括视频数据采集模块、中心处理系统和控制系统,视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像,中心处理系统对工作图像进行分析,并与存储的人物动作特征数据、图像场景特征数据对比进行分类识别,同时根据识别结果对工作流程安全状态进行判定,控制系统基于判定结果对现场设备进行自动化控制;本发明提供的技术方案能够有效克服现有技术所存在的无法将图像场景与人物动作结合对工作流程安全状态进行有效识别的缺陷。

Description

一种基于人工智能视频检测的安全工作流程管控系统
技术领域
本发明涉及生产安全管控,具体涉及一种基于人工智能视频检测的安全工作流程管控系统。
背景技术
随着社会的发展和城市智能化的推进,视频监控的应用也越来越广泛,逐渐被应用到家庭、商场、交通路口、银行、车站、学校,以及生产施工等场所,以保障监管区域中人员的人身、财产安全。
对监管区域进行视频监控的主要目的之一是利用相关视频对监管区域中发生的事件进行实时记录及事后追溯,确定监管区域中的人员是否存在异常行为。目前,对监管区域的视频监控基本还是通过人工值守的方式进行实时异常监管,并通过回溯查看来追溯异常,这样的监管方式效率极低,并且非常容易出现监管不到位的情况。
近年来,随着人工智能、计算机视觉、大数据、云计算、芯片等技术的迅速发展,人工智能图形识别技术取得了长足的进步,并且在众多场景中得以成功应用,得到大规模商业化普及,为经济社会发展以及人们日常生活带来便捷。
就市场发展趋势而言,视频图形识别的应用场景虽然渗透各个行业,但市场规模增长趋势出现较大分化,国内市场呈现从算法竞争到芯片全产业链激烈竞争的状态;就技术发展层面,由于视频图形识别属于非接触性辨识,所以受到相关技术领域的日益重视。但是,在实际应用过程中,受到光线、亮度等因素的影响,会大大增加识别难度。
现有技术中,主要还是集中在人体、人脸、表情等方面的识别,针对将场景与人形、动作等结合在一起,识别工作流程中的安全状态情况,并进行自动化管控的应用场景,还没有较为完善的技术方案,亟待改进突破。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点,本发明提供了一种基于人工智能视频检测的安全工作流程管控系统,能够有效克服现有技术所存在的无法将图像场景与人物动作结合对工作流程安全状态进行有效识别的缺陷。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一种基于人工智能视频检测的安全工作流程管控系统,包括视频数据采集模块、中心处理系统和控制系统,所述视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像,所述中心处理系统对工作图像进行分析,并与存储的人物动作特征数据、图像场景特征数据对比进行分类识别,同时根据识别结果对工作流程安全状态进行判定,所述控制系统基于判定结果对现场设备进行自动化控制。
优选地,所述视频采集设备设有多个,所述视频采集设备采集的工作图像中至少包含一个人物。
优选地,所述中心处理系统包括人工智能单元、业务逻辑层和数据存储模块;
人工智能单元,包括用于存储人物动作特征数据、图像场景特征数据的特征数据库,以及用于对工作图像中的人物动作、图像场景进行识别的分类识别模块;
业务逻辑层,根据分类识别模块的识别结果对工作流程安全状态进行判定;
数据存储模块,用于对业务逻辑层的判定结果进行存储。
优选地,所述分类识别模块对工作图像中的人物动作进行识别,包括:
对各工作图像中目标区域进行关键点提取,并基于各工作图像中对应目标区域提取的关键点构建运动模型,以运动模型作为该目标区域的全局特征;
采用基于注意力机制的特征热图,分别提取各工作图像中对应目标区域的局部特征,并对全局特征及对应的局部特征进行融合,得到融合特征;
利用分类器对各工作图像及融合特征进行动作序列分类,得到多组人物动作分类识别结果。
优选地,分别提取各工作图像中对应目标区域的局部特征,包括:
基于各工作图像中目标区域提取的关键点,采用基于注意力机制的特征热图,获取目标区域对应的特征热图;
通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理,得到目标区域的局部特征。
优选地,通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理,得到目标区域的局部特征,包括:
通过gabor滤波器分别在时间、空间维度对关键点及特征热图进行滤波,获取多个兴趣点;
基于各兴趣点的每一维低通、高通滤波响应,通过离散小波变换得到多个时空显著点,作为目标区域的局部特征。
优选地,所述利用分类器对各工作图像及融合特征进行动作序列分类,得到多组人物动作分类识别结果,包括:
第一神经网络基于特征数据库中的图像场景特征数据对工作图像进行分类,输出第一分类值;
第二神经网络基于特征数据库中的人物动作特征数据对融合特征进行分类,输出第二分类值;
分类融合网络对第一分类值、第二分类值进行融合,最终得到多组人物动作分类识别结果;
其中,所述分类器基于深度卷积神经网络模型构建,包括第一神经网络、第二神经网络和分类融合网络。
优选地,通过multi-stage目标检测方法对工作图像中的目标区域进行识别、定位,获取目标区域。
优选地,所述业务逻辑层将判定结果发送至控制系统、数据存储模块,所述控制系统基于判定结果进行声光提示预警、设备开关控制。
优选地,还包括与中心处理系统相连的客户端,所述客户端能够通过连接中心处理系统查看系统实时状态、查询历史记录,并基于授权权限进行远程控制。
(三)有益效果
与现有技术相比,本发明所提供的一种基于人工智能视频检测的安全工作流程管控系统,人工智能单元的分类识别模块利用深度学习算法,可以对来自多个场景的工作图像进行分析,分辨出图像场景特征以及人物形态,再依据人物形态对人物动作特征进行分类,反过来结合图像场景建立分类关系,依据人物动作分类识别结果对工作流程安全状态进行判定,以此实现对现场设备的自动化控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的系统示意图;
图2为本发明中分类识别模块对工作图像中的人物动作进行识别的流程示意图;
图3为本发明中安全工作流程管控系统具体应用场景的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于人工智能视频检测的安全工作流程管控系统,如图1所示,包括视频数据采集模块、中心处理系统和控制系统,视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像,中心处理系统对工作图像进行分析,并与存储的人物动作特征数据、图像场景特征数据对比进行分类识别,同时根据识别结果对工作流程安全状态进行判定,控制系统基于判定结果对现场设备进行自动化控制。
本申请技术方案中,视频采集设备设有多个,视频采集设备采集的工作图像中至少包含一个人物。视频数据采集模块是指通过视频输入设备采集具备视频流格式的数据,以及视频流数据中转分发设备,如NVR或NAS,该装置连接中心处理系统。
中心处理系统包括人工智能单元、业务逻辑层和数据存储模块;
人工智能单元,包括用于存储人物动作特征数据、图像场景特征数据的特征数据库,以及用于对工作图像中的人物动作、图像场景进行识别的分类识别模块;
业务逻辑层,根据分类识别模块的识别结果对工作流程安全状态进行判定;
数据存储模块,用于对业务逻辑层的判定结果进行存储。
如图2所示,分类识别模块对工作图像中的人物动作进行识别,包括:
对各工作图像中目标区域进行关键点提取,并基于各工作图像中对应目标区域提取的关键点构建运动模型,以运动模型作为该目标区域的全局特征;
采用基于注意力机制的特征热图,分别提取各工作图像中对应目标区域的局部特征,并对全局特征及对应的局部特征进行融合,得到融合特征;
利用分类器对各工作图像及融合特征进行动作序列分类,得到多组人物动作分类识别结果。
本申请技术方案中,需要对工作图像进行处理,识别工作图像中的任务目标,以及该人物目标在连续帧工作图像中所处的目标区域;可以通过multi-stage目标检测方法对工作图像中的目标区域进行识别、定位,获取目标区域。
分别提取各工作图像中对应目标区域的局部特征,包括:
基于各工作图像中目标区域提取的关键点,采用基于注意力机制的特征热图,获取目标区域对应的特征热图;
通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理,得到目标区域的局部特征。
其中,通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理,得到目标区域的局部特征,包括:
通过gabor滤波器分别在时间、空间维度对关键点及特征热图进行滤波,获取多个兴趣点;
基于各兴趣点的每一维低通、高通滤波响应,通过离散小波变换得到多个时空显著点,作为目标区域的局部特征。
利用分类器对各工作图像及融合特征进行动作序列分类,得到多组人物动作分类识别结果,包括:
第一神经网络基于特征数据库中的图像场景特征数据对工作图像进行分类,输出第一分类值;
第二神经网络基于特征数据库中的人物动作特征数据对融合特征进行分类,输出第二分类值;
分类融合网络对第一分类值、第二分类值进行融合,最终得到多组人物动作分类识别结果;
其中,分类器基于深度卷积神经网络模型构建,包括第一神经网络、第二神经网络和分类融合网络。
业务逻辑层将判定结果发送至控制系统、数据存储模块,控制系统基于判定结果对现场设备进行自动化控制(包括进行声光提示预警、设备开关控制等)。
本申请技术方案中,还包括与中心处理系统相连的客户端,客户端能够通过连接中心处理系统查看系统实时状态、查询历史记录,并基于授权权限进行远程控制。
如图3所示,为安全工作流程管控系统的具体应用场景,视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像,视频采集设备设有多个,视频采集设备采集的工作图像中至少包含一个人物。
通过视频数据采集模块将工作图像发送至中心处理系统,中心处理系统对对工作图像进行处理,识别工作图像中的任务目标,以及该人物目标在连续帧工作图像中所处的目标区域。人工智能单元的分类识别模块利用深度学习算法,可以对来自多个场景的工作图像进行分析,分辨出图像场景特征以及人物形态,再依据人物形态对人物动作特征进行分类,反过来结合图像场景建立分类关系,并得到人物动作分类识别结果。
业务逻辑层根据分类识别模块的识别结果对工作流程安全状态进行判定,并将判定结果发送至控制系统、数据存储模块,数据存储进行数据持久化操作,而控制系统基于判定结果对现场设备进行自动化控制(包括进行声光提示预警、设备开关控制等)。客户端能够通过连接中心处理系统查看系统实时状态、查询历史记录,并基于授权权限进行远程控制。
本申请技术方案中,分类识别模块对工作图像中的人物动作进行识别,可以应用的场景包括:
(1)人员倒地,人员在工作场景中长时间呈卧姿伏地状态;
(2)未佩戴安全装置设备,如识别人员是否未佩戴安全帽等;
(3)场景工作人员数目,对必需保证一定数量工作人员在工作场景中进行识别;
(4)人员特殊动作识别,主要用于判断工作流程的开始、节点和结束等;
(5)人员的主动告警,通过特殊动作判断人员的主动告警,如双手交叉挥舞五次以上等;
(6)禁区闯入,对移动物体进行工作场景内划定禁区的判断。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人工智能视频检测的安全工作流程管控系统,其特征在于:包括视频数据采集模块、中心处理系统和控制系统,所述视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像,所述中心处理系统对工作图像进行分析,并与存储的人物动作特征数据、图像场景特征数据对比进行分类识别,同时根据识别结果对工作流程安全状态进行判定,所述控制系统基于判定结果对现场设备进行自动化控制。
2.根据权利要求1所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:所述视频采集设备设有多个,所述视频采集设备采集的工作图像中至少包含一个人物。
3.根据权利要求1所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:所述中心处理系统包括人工智能单元、业务逻辑层和数据存储模块;
人工智能单元,包括用于存储人物动作特征数据、图像场景特征数据的特征数据库,以及用于对工作图像中的人物动作、图像场景进行识别的分类识别模块;
业务逻辑层,根据分类识别模块的识别结果对工作流程安全状态进行判定;
数据存储模块,用于对业务逻辑层的判定结果进行存储。
4.根据权利要求3所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:所述分类识别模块对工作图像中的人物动作进行识别,包括:
对各工作图像中目标区域进行关键点提取,并基于各工作图像中对应目标区域提取的关键点构建运动模型,以运动模型作为该目标区域的全局特征;
采用基于注意力机制的特征热图,分别提取各工作图像中对应目标区域的局部特征,并对全局特征及对应的局部特征进行融合,得到融合特征;
利用分类器对各工作图像及融合特征进行动作序列分类,得到多组人物动作分类识别结果。
5.根据权利要求4所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:分别提取各工作图像中对应目标区域的局部特征,包括:
基于各工作图像中目标区域提取的关键点,采用基于注意力机制的特征热图,获取目标区域对应的特征热图;
通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理,得到目标区域的局部特征。
6.根据权利要求5所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理,得到目标区域的局部特征,包括:
通过gabor滤波器分别在时间、空间维度对关键点及特征热图进行滤波,获取多个兴趣点;
基于各兴趣点的每一维低通、高通滤波响应,通过离散小波变换得到多个时空显著点,作为目标区域的局部特征。
7.根据权利要求4所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:所述利用分类器对各工作图像及融合特征进行动作序列分类,得到多组人物动作分类识别结果,包括:
第一神经网络基于特征数据库中的图像场景特征数据对工作图像进行分类,输出第一分类值;
第二神经网络基于特征数据库中的人物动作特征数据对融合特征进行分类,输出第二分类值;
分类融合网络对第一分类值、第二分类值进行融合,最终得到多组人物动作分类识别结果;
其中,所述分类器基于深度卷积神经网络模型构建,包括第一神经网络、第二神经网络和分类融合网络。
8.根据权利要求4-7中任意一项所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:通过multi-stage目标检测方法对工作图像中的目标区域进行识别、定位,获取目标区域。
9.根据权利要求3所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:所述业务逻辑层将判定结果发送至控制系统、数据存储模块,所述控制系统基于判定结果进行声光提示预警、设备开关控制。
10.根据权利要求9所述的基于人工智能视频检测的安全工作流程管控系统,其特征在于:还包括与中心处理系统相连的客户端,所述客户端能够通过连接中心处理系统查看系统实时状态、查询历史记录,并基于授权权限进行远程控制。
CN202111079796.0A 2021-09-15 2021-09-15 一种基于人工智能视频检测的安全工作流程管控系统 Pending CN113723357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079796.0A CN113723357A (zh) 2021-09-15 2021-09-15 一种基于人工智能视频检测的安全工作流程管控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079796.0A CN113723357A (zh) 2021-09-15 2021-09-15 一种基于人工智能视频检测的安全工作流程管控系统

Publications (1)

Publication Number Publication Date
CN113723357A true CN113723357A (zh) 2021-11-30

Family

ID=78683877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079796.0A Pending CN113723357A (zh) 2021-09-15 2021-09-15 一种基于人工智能视频检测的安全工作流程管控系统

Country Status (1)

Country Link
CN (1) CN113723357A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876969A (zh) * 2024-03-11 2024-04-12 贵州省公路建设养护集团有限公司 一种用于实现桥梁施工下的安全监测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929608A (zh) * 2019-11-12 2020-03-27 国网天津市电力公司 安全帽佩带检测方法及系统
CN111079658A (zh) * 2019-12-19 2020-04-28 夸氪思维(南京)智能技术有限公司 基于视频的多目标连续行为分析方法、系统、装置
CN113191252A (zh) * 2021-04-28 2021-07-30 北京东方国信科技股份有限公司 一种用于生产管控的视觉识别系统及生产管控方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929608A (zh) * 2019-11-12 2020-03-27 国网天津市电力公司 安全帽佩带检测方法及系统
CN111079658A (zh) * 2019-12-19 2020-04-28 夸氪思维(南京)智能技术有限公司 基于视频的多目标连续行为分析方法、系统、装置
CN113191252A (zh) * 2021-04-28 2021-07-30 北京东方国信科技股份有限公司 一种用于生产管控的视觉识别系统及生产管控方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876969A (zh) * 2024-03-11 2024-04-12 贵州省公路建设养护集团有限公司 一种用于实现桥梁施工下的安全监测方法及系统
CN117876969B (zh) * 2024-03-11 2024-06-04 贵州省公路建设养护集团有限公司 一种用于实现桥梁施工下的安全监测方法及系统

Similar Documents

Publication Publication Date Title
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN109271554B (zh) 一种智能视频识别系统及其应用
CN110689054B (zh) 一种工人违规行为监测方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN110309719A (zh) 一种电网作业人员安全帽佩戴管理控制方法和系统
CN106909882A (zh) 一种应用于保安机器人的人脸识别系统及方法
CN112434828B (zh) 一种5t运维中安全防护智能识别方法
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN112434827B (zh) 一种5t运维中安全防护识别单元
CN112530116A (zh) 一种基于人脸识别的校园越界自动预警方法
CN105488806A (zh) 一种工件位置追踪定位方法及定位系统
CN108583592A (zh) 一种地铁乘务作业信息采集智能检测方法
CN115527340A (zh) 一种基于无人机与监控摄像的智慧工地安全监测系统及方法
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN113723357A (zh) 一种基于人工智能视频检测的安全工作流程管控系统
CN105095891A (zh) 一种人脸捕捉的方法,装置及系统
CN114926778A (zh) 一种生产环境下的安全帽与人员身份识别系统
CN111931748B (zh) 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN111723725A (zh) 一种基于视频ai多维分析系统
CN115661766A (zh) 一种基于深度学习的智能船舶安全监控方法及系统
Peng et al. [Retracted] Helmet Wearing Recognition of Construction Workers Using Convolutional Neural Network
KR20130047131A (ko) 이동형 단말기를 이용한 영상감시 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211130

RJ01 Rejection of invention patent application after publication