CN116128847A - 一种基于语义网络的施工场景空间冲突检测与预警方法 - Google Patents
一种基于语义网络的施工场景空间冲突检测与预警方法 Download PDFInfo
- Publication number
- CN116128847A CN116128847A CN202310117034.8A CN202310117034A CN116128847A CN 116128847 A CN116128847 A CN 116128847A CN 202310117034 A CN202310117034 A CN 202310117034A CN 116128847 A CN116128847 A CN 116128847A
- Authority
- CN
- China
- Prior art keywords
- area
- image
- engineering machinery
- personnel
- loading vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种基于语义网络的施工场景空间冲突检测与预警方法,包括:施工场景图像的采集,图像中工程机械、车辆及人员目标的提取,危险源区域的提取,语义推理等步骤。本发明能够实现施工场景下各施工要素空间区域的动态监测,并对事故险兆做出预警。与现有技术相比,识别对象不局限于事故已发生后的危险元素特征识别;将识别结果与人类自然推理语言相结合,避免传统纯机器视觉检测方法误差大、准确率低的问题。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于语义网络的施工场景空间冲突检测与预警方法。
背景技术
建筑行业由于其自身的危险系数高、环境动态复杂和劳动密集型等特点,使得长久以来人员伤亡事故始终处于高位。为应对人员损伤,各类新的制度规范、防护装备、监控预警系统等安全措施被不断地提出和发展。其中对于监控预紧措施方面,当前主流的研究热点都在于简单的安全目标特征识别上,例如采用基于神经网络算法的图像识别技术对安全装备佩戴情况的检测、对人员危险动作的识别等。然而在工程场所,空间要素也是直接关乎安全状况的一项关键要素,但现有监控预警技术中却对此较少关注。
空间被认为是施工现场的一项重要资源。在施工要素多样、任务复杂的工地条件下,各方对空间的需求有可能导致相互之间工作空间产生冲突。近年来,有基于视觉检测的空间危险检测手段被研发并应用于施工安全监管中。但是这些方法通常仅针对特定识别任务来进行静态空间的定义,上述静态空间通常是围绕建筑物来构建,故对其他要素缺乏监测。
海因里希安全法则(Heinrich's Law)将碰撞事故致因分为三组,分别是设备因素、人为因素和环境因素。基于此,针对建筑业施工现场环境的安全预警,应综合考虑施工设备、工人以及环境之间的空间交互关系。这要求对于施工场景空间监管,不仅要能识别人和物体,还要能发现人与物体之间所潜藏的各项风险事件,例如人员未着安全装备活动在无护栏设施的区域。而这类风险事件是属于高层语义信息,仅仅通过深度学习算法是无法直接从图像源中获取。
发明内容
针对现有技术中存在的不足,本发明提供了一种基于语义网络的施工场景空间冲突检测与预警方法,在计算机视觉技术框架下融入语义推理,跨越底层图像特征与事件描述高层语义间的“语义鸿沟”,解决复杂动态环境下的施工场所安全预警问题。
本发明通过以下技术手段实现上述技术目的。
一种基于语义网络的施工场景空间冲突检测与预警方法,包括如下步骤:
步骤1,采集施工场景图像;
步骤2,提取图像中的目标,包括危险源主体及其状态、危险源客体及其状态;
步骤3,提取危险源区域;将危险源主体和危险源客体进行图像空间变换,使原摄像机视角下的图像位置变化到俯视角下的二维平面图中,并将危险源主体和危险源客体以图元化方式展示,之后根据图元信息,提取危险源主体与危险源客体之间的空间位置距离信息;
步骤4,语义推理;根据事先制定的语义规则,将步骤2和步骤3提取到的信息进行语义推理,判定识别出险兆信息。
进一步地,所述危险源主体为工程机械,工程机械的状态分为活动和静止;所述危险源客体为装载车和人员,其中装载车的状态分为活动和静止,人员的状态分为佩戴安全护具和未佩戴安全护具。
进一步地,步骤3包括:
步骤3.1,对施工场景图像进行平面变换,将图像平面转换到地面平面,其中图像坐标与地面坐标之间的变换公式为:
其中u和v为原图像的像素坐标,m为原图像宽度,n为原图像高度,X和Y为变化后的地面坐标,αr为1/2相机垂直视场角,αc为1/2相机水平视场角,θ0为相机的倾斜角,h为相机距地面高度;
步骤3.2,将目标转换为图元;首先将步骤3.1变换后的图像进行灰度化处理和二值化处理,之后根据步骤2提取的各目标的外形轮廓绘制图元,并以图元形式替换各目标;其中工程机械以其最小外包圆作为其图元,装载车以其最小外包矩形作为其图元,人员以其最小外包圆的圆心点作为其图元;
步骤3.3,根据图元信息,提取各目标之间的空间位置距离信息。
进一步地,所述步骤4采用Protege推理软件实现,其中在推理之前,先对软件进行本体构建和语义规则制定操作。
进一步地,所述语义规则根据空间冲突规则编写,所述空间冲突规则为:
对于工程机械:
以工程机械图元的圆心点作为基点划定各风险区域,其中半径a米范围内的区域划为危险区域,半径a至a+b米的区域划为警示区域,半径a+b至a+b+c米的区域划为戒备区域;
对于装载车:
装载车未处于风险区域,则判定为安全;
静止状态的装载车处于任意风险区域,均判定为安全;
活动状态的装载车处于戒备区域,且工程机械为活动状态,则判定为戒备;
活动状态的装载车处于警示区域,且工程机械为活动状态,则判定为警示;
对于人员:
人员未佩戴安全护具,则判定为危险;
佩戴安全护具的人员未处于风险区域,则判定为安全;
佩戴安全护具的人员处于任意风险区域,且工程机械为静止状态,则判定为安全;
佩戴安全护具的人员处于戒备区域,且工程机械为活动状态,则判定为戒备;
佩戴安全护具的人员处于警示区域,且工程机械为活动状态,则判定为警示。
进一步地,步骤2中利用Yolo X目标检测算法提取图像中的目标。
进一步地,步骤1中采用Mosiac数据增广手段扩充数据集,并通过匀光处理和去噪处理增强图像质量。
进一步地,工程机械的状态以及装载车的状态通过视频流中目标帧间差异进行识别判断。
本发明的有益效果为:
(1)本发明提供了一种基于语义网络的施工场景空间冲突检测与预警方法,能够实现施工场景下各施工要素空间区域的动态监测,并对事故险兆做出预警。与现有技术相比,识别对象不局限于事故已发生后的危险元素特征识别;将识别结果与人类自然推理语言相结合,避免传统纯机器视觉检测方法误差大、准确率低的问题。
(2)本发明中将采集到的图像由摄像机视角下的图像平面转换到俯视角下的二维平面,并以图元方式简化表征各目标,实现对施工现场空间情况的可视化、扁平化监测。
附图说明
图1为本发明基于语义网络的施工场景空间冲突检测与预警方法的流程图;
图2为本发明施工场景图元编码示意图;
图3为本发明施工场景空间冲突语义框架下的知识图谱要素构成示意图;
图4为本发明施工场景空间冲突语义框架下的知识图谱;
图5为本发明中危险源主体周边风险区域范围划定示意图;
图6a为图像中目标及其状态的识别示例;
图6b为二维空间关系可视化示例;
图6c为风险规则库与图像语义一致性映射图示;
图6d为场景推理结果示例。
具体实施方式
下面详细描述本发明的实施例,所示实施例的示例在附图中示出,其中自始至终相通或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
图1所示为本发明一种基于语义网络的施工场景空间冲突检测与预警方法的流程示意图,其中包括施工作业现场图像采集、危险源主体状态识别与分析、客体状态属性提取、危险源区域提取、语义规则制定(规则库)、语义推理。具体步骤如下:
步骤1,采集施工场景图像
利用现场监控设备采集施工作业现场图像。并采用Mosiac数据增广手段扩充数据集,再通过匀光处理和去噪处理增强所获得施工场地内的图像数据质量。
步骤2,目标提取
利用Yolo X目标检测算法,对步骤1中采集到的施工作业现场图像进行相应的目标提取,其中所要提取的目标包括危险源主体和危险源客体。
a、提取危险源主体及其运动状态
本实施例中,危险源主体设定为土方作业类工程机械(铲车、挖机等);危险源主体的运动状态分为①活动和②静止。其中危险源主体(工程机械)的运动状态通过视频流中目标帧间差异进行识别判断;具体而言,运动状态的判别通过设定识别框角点帧间坐标间差值阈值,之后以数帧内阈值溢出情况判定目标运动状态。所述判定阈值通过聚类方式获取,本实施例中阈值为≦100DPI。
b、提取危险源客体及其属性状态
本实施例中,危险源客体设有两类,其中客体1设定为装载车,客体2设定为人员;客体1装载车的属性状态分为①活动和②静止,客体2人员的属性状态分为①佩戴安全帽和②未佩戴安全帽(此处的安全帽也可以扩展为其他安全护具)。装载车的属性状态通过视频流中目标帧间差异进行识别判断。具体地,运动状态判别为通过设定识别框权重心点帧间坐标间差值阈值,之后以数帧内阈值溢出情况判定目标运动状态;所述判定阈值通过聚类方式获取,具体本实施例中阈值设为≦100DPI。
步骤3,危险源区域提取
根据采集到的施工作业现场图像,对提取到的危险源主体(工程机械)和危险源客体(装载车、人员)进行图像空间变换,将原本摄像机视角下的图像位置变换到俯视角下的二维平面图中,并将危险源主体和危险源客体以图元化方式展示。最后根据图元信息,提取工程机械、装载车、人员三者之间的空间位置距离信息。
步骤3.1,对采集到的图像进行平面变换,将图像平面转换到真实的地面平面。相应的图像坐标与地面坐标之间的变换公式为:
其中u和v为原图像的像素坐标,m为原图像宽度,n为原图像高度,X和Y为变化后的地面坐标,αr为1/2相机垂直视场角,αc为1/2相机水平视场角,θ0为相机的倾斜角,h为相机距地面高度。
步骤3.2,将目标转换为图元。首先将图像进行灰度化处理和二值化处理,使图像转化为“0-1像素值”的形式;之后根据步骤2中检测提取出来的各目标(工程机械、装载车、人员)轮廓绘制图元,并以图元的形式进行替代各目标。其中工程机械以圆形框表示、装载车以矩形框表示、人员以点表示。具体图元绘制中,以工程机械轮廓的最小外包圆作为其图元;以装载车轮廓的最小外包矩形作为其图元;以人员轮廓的最小外包圆的圆心点作为其图元。
步骤3.3,根据图元信息,提取工程机械、装载车、人员三者之间的空间位置距离信息,并对不同目标类型图元信息进行编码,其中Ti映射客体目标1装载车辆(矩形),Mi映射危险源主体(圆),Pi映射客体目标2人员(点)。图2所示为施工场景图元编码示意图。
步骤4,语义推理
步骤4.1,本体构建
为实现空间冲突风险推理,将采用Protege推理软件进行相关操作,推理过程依托本体描述语言(OWL)。首先构建本体总类(owl:thing),其中包含多项子类(subclass),即危险源主体类、危险源客体类,以此建立起本体类的架构。在Protege推理软件中的各子类Object Property创建相应对象属性,其中危险源主体类对象属性包括运动、静止;危险源客体类的装载车辆对象属性包括运动、静止,人员对象属性包括佩戴安全帽、未佩戴安全帽。在Protege软件中创建各子类数据属性Data Propert,声明各子类数据属性为空间距离(Distance)。在需考虑空间距离数值的个体里声明其具有Distance这一数据属性,同时对不同数值定义不同数据属性类别。具体由数值以从大到小的次序,分梯度定义属性类别,依次为“安全”、“戒备”、“警示”、“危险”四大类。
上述步骤共同构成主体类、属性类、客体类、空间数值类的语义推理要素,具体要素构成如图3所示。
步骤4.2,语义规则制定
制定空间冲突规则,并根据空间冲突规则构建SWRL(Semantic Web RuleLanguage由语义方式呈现规则的一种语言)风险规则库。图4所示为本发明施工场景空间冲突语义框架下的知识图谱。示例性地,所述空间冲突规则为:
(1)对于危险源主体工程机械
以工程机械图元圆心点为基点划定各风险区域,包括危险区域、警示区域、戒备区域。其中半径10m范围内的区域划为危险区域、半径10m~12m的区域划为警示区域、半径12m~13m的区域划为戒备区域。图5所示为围绕危险源主体的各风险区域范围示意图。
(2)对于客体1装载车
装载车未处于风险区域,则判定为安全;
静止状态的装载车处于任意风险区域,均判定为安全;
活动状态的装载车处于戒备区域,且工程机械为活动状态,则判定为戒备;
活动状态的装载车处于警示区域,且工程机械为活动状态,则判定为警示;
(3)对于客体2人员
人员未佩戴安全帽,则判定为危险;
佩戴安全帽的人员未处于风险区域,则判定为安全;
佩戴安全帽的人员处于任意风险区域,且工程机械为静止状态,则判定为安全;
佩戴安全帽的人员处于戒备区域,且工程机械为活动状态,则判定为戒备;
佩戴安全帽的人员处于警示区域,且工程机械为活动状态,则判定为警示。
注:上述规则中未对危险区域进行相关险兆信息判定,因本实施例中设定戒备区域和警示区域并以此进行识别判定的目的就是为了采取前摄性预警。
步骤4.3,推理
根据制定好的空间冲突规则,将步骤2和步骤3中提取到的信息进行语义推理。也即将提取到的危险源主体、客体的目标信息以及各自的属性状态信息、相互之间的空间位置关系信息,先进行结果语义化转码,之后作为空间冲突语义推理网络的输入进行预设险兆规则(空间冲突规则)下的推理,判定识别出各类险兆信息。具体操作如下:
使用OWL应用程序接口读取测试图像经语义化转码的图像语义并创建本体实例。将提取的图像语义映射到所构建的本体描述规则中的类、对象及数据属性,依据图像语义与本体描述映射关系,将图像语义映射到本体类的同时,建立对象类型(子类)间、类与属性间的推理要素关系结构,逻辑化整合本体实例中各语义信息,并以OWL文件写入。
采用Protege推理软件中Pellet作为实现空间冲突推理任务的推理引擎。推理过程是在引擎中通过SWRL规则库匹配图像语义所映射本体实例的OWL语义文件来实现的。应用Pellet引擎验证规则库公理约束与所映射本体实例OWL语义文件两者一致性,判断是否包含险兆因素。
图6a~图6d所示为利用上述方法所做的具体示例测试,其中图6a所示为对图像中各目标及其状态的识别,图6b所示为图6a中各目标之间对应的二维平面关系可视化示意图,图6c为风险规则库与图像语义一致性映射,图6d所示为最终输出的预警结果。
本发明并不限于上述实施方式,在不背离本发明的实质内容的情况下,本领域技术人员能够做出的任何显而易见的改进、替换或变形均属于本发明的保护范围。
Claims (8)
1.一种基于语义网络的施工场景空间冲突检测与预警方法,其特征在于,包括如下步骤:
步骤1,采集施工场景图像;
步骤2,提取图像中的目标,包括危险源主体及其状态、危险源客体及其状态;
步骤3,提取危险源区域;将危险源主体和危险源客体进行图像空间变换,使原摄像机视角下的图像位置变化到俯视角下的二维平面图中,并将危险源主体和危险源客体以图元化方式展示,之后根据图元信息,提取危险源主体与危险源客体之间的空间位置距离信息;
步骤4,语义推理;根据事先制定的语义规则,将步骤2和步骤3提取到的信息进行语义推理,判定识别出险兆信息。
2.根据权利要求1所述的预警方法,其特征在于:所述危险源主体为工程机械,工程机械的状态分为活动和静止;所述危险源客体为装载车和人员,其中装载车的状态分为活动和静止,人员的状态分为佩戴安全护具和未佩戴安全护具。
3.根据权利要求2所述的预警方法,其特征在于,步骤3包括:
步骤3.1,对施工场景图像进行平面变换,将图像平面转换到地面平面,其中图像坐标与地面坐标之间的变换公式为:
其中u和v为原图像的像素坐标,m为原图像宽度,n为原图像高度,X和Y为变化后的地面坐标,αr为1/2相机垂直视场角,αc为1/2相机水平视场角,θ0为相机的倾斜角,h为相机距地面高度;
步骤3.2,将目标转换为图元;首先将步骤3.1变换后的图像进行灰度化处理和二值化处理,之后根据步骤2提取的各目标的外形轮廓绘制图元,并以图元形式替换各目标;其中工程机械以其最小外包圆作为其图元,装载车以其最小外包矩形作为其图元,人员以其最小外包圆的圆心点作为其图元;
步骤3.3,根据图元信息,提取各目标之间的空间位置距离信息。
4.根据权利要求2所述的预警方法,其特征在于:所述步骤4采用Protege推理软件实现,其中在推理之前,先对软件进行本体构建和语义规则制定操作。
5.根据权利要求4所述的预警方法,其特征在于:所述语义规则根据空间冲突规则编写,所述空间冲突规则为:
对于工程机械:
以工程机械图元的圆心点作为基点划定各风险区域,其中半径a米范围内的区域划为危险区域,半径a至a+b米的区域划为警示区域,半径a+b至a+b+c米的区域划为戒备区域;
对于装载车:
装载车未处于风险区域,则判定为安全;
静止状态的装载车处于任意风险区域,均判定为安全;
活动状态的装载车处于戒备区域,且工程机械为活动状态,则判定为戒备;
活动状态的装载车处于警示区域,且工程机械为活动状态,则判定为警示;
对于人员:
人员未佩戴安全护具,则判定为危险;
佩戴安全护具的人员未处于风险区域,则判定为安全;
佩戴安全护具的人员处于任意风险区域,且工程机械为静止状态,则判定为安全;
佩戴安全护具的人员处于戒备区域,且工程机械为活动状态,则判定为戒备;
佩戴安全护具的人员处于警示区域,且工程机械为活动状态,则判定为警示。
6.根据权利要求1所述的预警方法,其特征在于:步骤2中利用Yolo X目标检测算法提取图像中的目标。
7.根据权利要求1所述的预警方法,其特征在于:步骤1中采用Mosiac数据增广手段扩充数据集,并通过匀光处理和去噪处理增强图像质量。
8.根据权利要求2所述的预警方法,其特征在于:工程机械的状态以及装载车的状态通过视频流中目标帧间差异进行识别判断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310117034.8A CN116128847A (zh) | 2023-02-15 | 2023-02-15 | 一种基于语义网络的施工场景空间冲突检测与预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310117034.8A CN116128847A (zh) | 2023-02-15 | 2023-02-15 | 一种基于语义网络的施工场景空间冲突检测与预警方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116128847A true CN116128847A (zh) | 2023-05-16 |
Family
ID=86300876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310117034.8A Pending CN116128847A (zh) | 2023-02-15 | 2023-02-15 | 一种基于语义网络的施工场景空间冲突检测与预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116128847A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252449A (zh) * | 2023-11-20 | 2023-12-19 | 水润天府新材料有限公司 | 一种全透式排水低噪路面施工工艺及系统 |
-
2023
- 2023-02-15 CN CN202310117034.8A patent/CN116128847A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252449A (zh) * | 2023-11-20 | 2023-12-19 | 水润天府新材料有限公司 | 一种全透式排水低噪路面施工工艺及系统 |
CN117252449B (zh) * | 2023-11-20 | 2024-01-30 | 水润天府新材料有限公司 | 一种全透式排水低噪路面施工工艺及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Detection algorithm of safety helmet wearing based on deep learning | |
Khan et al. | Utilizing safety rule correlation for mobile scaffolds monitoring leveraging deep convolution neural networks | |
Zhang | Safety management of civil engineering construction based on artificial intelligence and machine vision technology | |
CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及系统 | |
CN116128847A (zh) | 一种基于语义网络的施工场景空间冲突检测与预警方法 | |
CN111429698A (zh) | 一种地质灾害预警系统 | |
CN114998830A (zh) | 一种变电站人员安全帽佩戴检测方法及系统 | |
Joshi et al. | Damage identification and assessment using image processing on post-disaster satellite imagery | |
CN114898261A (zh) | 一种基于视频和生理数据融合的睡眠质量评估方法及系统 | |
WO2023104557A1 (en) | Machine-learning for safety rule violation determination | |
Li et al. | Recognizing workers' construction activities on a reinforcement processing area through the position relationship of objects detected by faster R-CNN | |
CN116110012A (zh) | 用于智慧工地的危险违规动作识别方法及系统 | |
Chang et al. | Safety risk assessment of electric power operation site based on variable precision rough set | |
CN116665305A (zh) | 基于计算机视觉和知识图谱的工人行为检测方法和系统 | |
Fang et al. | Design and development of the AI-assisted safety system for hazardous plant | |
CN115880641A (zh) | 一种基于机器视觉的工人不安全行为自动检测方法和装置 | |
CN116822929A (zh) | 一种告警方法、装置、电子设备及存储介质 | |
Shan et al. | Intelligent Identification of Violation of Rules in Construction Site Based on Artificial Intelligence Image Recognition Technology | |
Yang et al. | A real-time framework for dangerous behavior detection based on deep learning | |
Kim et al. | On-site safety management using image processing and fuzzy inference | |
CN115132368A (zh) | 一种基于大数据平台的传染病防控监测方法及系统 | |
CN114359831A (zh) | 一种面向险兆推理的工人临边坠落智能识别系统及方法 | |
CN117423062B (zh) | 一种基于改进的YOLOv5的建筑工地安全帽检测方法 | |
CN115082865B (zh) | 基于视觉图像识别的桥机入侵危险行为预警方法及系统 | |
LU501401B1 (en) | Action risk identification method for power system field operation based on graph convolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |