CN117830961A - 一种基于图像分析的环保设备运维行为分析方法及系统 - Google Patents

一种基于图像分析的环保设备运维行为分析方法及系统 Download PDF

Info

Publication number
CN117830961A
CN117830961A CN202410254712.XA CN202410254712A CN117830961A CN 117830961 A CN117830961 A CN 117830961A CN 202410254712 A CN202410254712 A CN 202410254712A CN 117830961 A CN117830961 A CN 117830961A
Authority
CN
China
Prior art keywords
maintenance
behavior
positioning coordinate
positioning
monitoring image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410254712.XA
Other languages
English (en)
Other versions
CN117830961B (zh
Inventor
吕超
李大帅
周勇
王明信
彭语瞳
彭一苇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Daste Information Technology Co ltd
Original Assignee
Shandong Daste Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Daste Information Technology Co ltd filed Critical Shandong Daste Information Technology Co ltd
Priority to CN202410254712.XA priority Critical patent/CN117830961B/zh
Priority claimed from CN202410254712.XA external-priority patent/CN117830961B/zh
Publication of CN117830961A publication Critical patent/CN117830961A/zh
Application granted granted Critical
Publication of CN117830961B publication Critical patent/CN117830961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分析的环保设备运维行为分析方法及系统,涉及环保设备运维技术领域,具体公开了基于运维流程和操作要求,构建若干运维行为参考拓展树,将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树,将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示,本发明通过上述技术方案实现了利用监控图像对运维人员的运维行为的判断,并通过评估参考拓展树的展示方式,高效的表达出了相关环保设备的运维异常等情况,相比较人工上门检查效率更高,且成本更低。

Description

一种基于图像分析的环保设备运维行为分析方法及系统
技术领域
本发明涉及环保设备运维技术领域,尤其涉及一种基于图像分析的环保设备运维行为分析方法及系统。
背景技术
企业应用环保设备的作用在当今社会变得愈发重要,这反映了企业对可持续经营和环境保护的责任感;环保设备的应用不仅有助于企业降低环境影响,同时也为其提供了多方面的益处。
随着环保设备在企业中的广泛应用,环保部门采用的传统上门来对设备运维状态进行检查的方式显得效率低下且成本较高,为了解决这一问题,亟需一种能够代替人工上门检查的环保设备运维情况检查方法和系统。
发明内容
本发明的目的是提供一种能够代替人工上门检查的环保设备运维情况检查方法和系统。
本发明公开了一种基于图像分析的环保设备运维行为分析方法,包括:
获取环保设备应用现场的监控图像,并针对监控图像中的环保设备的所处区域以及所占空间进行划定,得到若干设备映射区块;
基于运维流程和操作要求,构建若干运维行为参考拓展树,所述运维行为参考拓展树包括若干行为节点,且每一运维行为参考拓展树都映射着一种合理的运维流程和操作要求;
对监控图像进行视觉分析,实时确定运维人员的行进位置及操作行为,若识别到运维人员的行进位置进入到设备映射区块的预设范围区,则识别并提取运维人员的操作行为,并将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树;
对每一标记参考拓展树中的被标记的行为节点进行统计,分别得到每一标记参考拓展树的行为节点的被标记数量,并将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示。
在本发明公开的一些实施例中,基于图像分析的环保设备运维行为分析方法还包括:
对行为评估参考树产生的问题结果进行演化推测,并将问题结果与行为评估参考树进行标记后组合生成行为评估参考树集;
将展示的行为评估参考树代入行为评估参考树集,确定出运维人员运维行为带来的问题结果,并基于问题结果的严重程度进行报警。
在本发明公开的一些实施例中,实时确定运维人员的行进位置的方法包括:
利用深度学习目标检测模型确定监控图像中的存在的人员,并利用人脸识别模型识别运维人员的身份或基于运维工作登记的信息确定运维人员的身份;
针对监控图像建立定位坐标系,并基于定位坐标系对每一设备映射区块的预设关注点配置关注点定位坐标,并对每一设备映射区块的预设范围区配置第一区块定位坐标范围;
基于定位坐标系,对识别到的运维人员配置人员定位坐标,若人员定位坐标出现在第一区块定位坐标范围内,且在第一预设监控时间段内出现的时间大于等于第二预设监控时间段,则认定运维人员有效进入对应设备映射区块的作业范围区。
在本发明公开的一些实施例中,识别并提取运维人员的操作行为的方法包括:
针对每一设备映射区块上对应环保设备的操作部分进行划定,得到若干操作区块,并基于定位坐标系对每一操作区块配置第二区块定位坐标范围;
利用行为识别模型来对运维人员的手部进行运动定位,得到手部定位坐标,并将手部定位坐标与对应的第二定位坐标范围进行相对位置分析,确定出实时手部相对位置表现;
基于实时手部相对位置表现确定操作行为的可信度,若可信度大于等于预设值,则认定对应的操作行为有效。
在本发明公开的一些实施例中,确定出实时手部相对位置表现的方法包括:
基于对环保设备实际操作行为的特征,对第二定位坐标范围进行区块划分,得到若干第二子定位坐标范围,并针对每一第二子定位坐标范围配置标准持续时间;
确定手部定位坐标相对每一第二子定位坐标范围内的实际持续时间以及进入不同第二子定位坐标范围的实际进入次序;
依据不同第二定位坐标范围的实际进入次序,对手部定位坐标进入的第二定位坐标范围进行排序,得到第二定位坐标范围实际进入序列,并将第二定位坐标范围实际进入序列和第二定位坐标范围标准进入序列进行比对,确定出二者的顺序相符次数;
基于手持定位坐标相对每一第二子定位坐标范围的实际持续时间,以及第二定位坐标范围实际进入序列和第二定位坐标范围标准进入序列的顺序相符次数,得到实时手部相对位置表现。
在本发明公开的一些实施例中,计算可信度的表达式为:
其中,为可信度对应值,为第一可信度权重调整系数,为第二可信 度权重调整系数,为手部定位坐标进入第i个第二子定位坐标范围内的实际持续时间,为第i个第二子定位坐标范围对应的标准持续时间区间,表达了手部定 位坐标进入第i个第二子定位坐标范围内的实际持续时间属于标准持续时间区间,表达了手部定位坐标进入第i个第二子定位坐标范围内的实际持续时间不 属于标准持续时间区间,为持续时间判断函数,若手部定位坐标进入第i个第二子定 位坐标范围内的实际持续时间属于标准持续时间区间,则输出1,若手部定位坐标进 入第i个第二子定位坐标范围内的实际持续时间不属于标准持续时间区间,则输出 0,为第一可信度调整常数,为第二可信度调整常数,为第二定位坐标范围实际进 入序列和第二定位坐标范围标准进入序列的顺序相符次数。
在本发明公开的一些实施例中,确定监控图像中人员的方法还包括:
截取无人时期的监控图像进行灰度化,得到比对用灰度监控图像;
将实时采集的监控图像进行灰度化,得到实时灰度监控图像,并将实时灰度监控图像和比对用会灰度监控图像进行比对,得到灰度比对结果;
基于灰度比对结果,确定实时灰度监控图像上灰度差异大于等于预设值的人员映射区域,并基于定位坐标系,对人员映射区域进行坐标平均计算,得到人员定位坐标。
在本发明公开的一些实施例中,对监控图像中运维人员的进行运动定位的方法包括:
将人员映射区域中到达第二定位坐标范围的端头部分认定为手部映射区域,并对手部映射区域进行坐标平均计算,得到手部定位坐标。
在本发明公开的一些实施例中,将实时灰度监控图像和比对用会灰度监控图像进行比对的方法包括:
针对灰度监控图像均匀设定有若干灰度探点,并计算实时灰度监控图像和比对用灰度监控图像在等同灰度探点位置的灰度差异值,并将灰度差异值和灰度探点关联;
将灰度差异值大于等于预设值的灰度探点进行归总,得到用于表达人员映射区域的探点阵列。
在本发明公开的一些实施例中,还公开了一种基于图像分析的环保设备运维行为分析系统,包括:
第一模块,用于获取环保设备应用现场的监控图像,并针对监控图像中的环保设备的所处区域以及所占空间进行划定,得到若干设备映射区块;
第二模块,用于基于运维流程和操作要求,构建若干运维行为参考拓展树,所述运维行为参考拓展树包括若干行为节点,且每一运维行为参考拓展树都映射着一种合理的运维流程和操作要求;
第三模块,用于对监控图像进行视觉分析,实时确定运维人员的行进位置及操作行为,若识别到运维人员的行进位置进入到设备映射区块的预设范围区,则识别并提取运维人员的操作行为,并将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树;
第四模块,用于对每一标记参考拓展树中的被标记的行为节点进行统计,分别得到每一标记参考拓展树的行为节点的被标记数量,并将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示。
本发明公开了一种基于图像分析的环保设备运维行为分析方法及系统,涉及环保设备运维技术领域,具体公开了基于运维流程和操作要求,构建若干运维行为参考拓展树,将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树,将被标记数量大于或大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示,本发明通过上述技术方案实现了利用监控图像对运维人员的运维行为的判断,并通过评估参考拓展树的展示方式,高效的表达出了相关环保设备的运维异常等情况,相比较人工上门检查效率更高,且成本更低。
附图说明
图1为本发明实施例中公开的一种基于图像分析的环保设备运维行为分析方法的方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明的目的是提供一种能够代替人工上门检查的环保设备运维情况检查方法和系统。
本发明公开了一种基于图像分析的环保设备运维行为分析方法,参阅图1,包括:
步骤S100,获取环保设备应用现场的监控图像,并针对监控图像中的环保设备的所处区域以及所占空间进行划定,得到若干设备映射区块。
在这一步中,首先,需要收集环保设备应用现场的监控图像。这可以通过摄像头、监控设备等手段获取;然后,针对监控图像中的环保设备所处区域,进行区块划定,得到若干设备映射区块。
步骤S200,基于运维流程和操作要求,构建若干运维行为参考拓展树,所述运维行为参考拓展树包括若干行为节点,且每一运维行为参考拓展树都映射着一种合理的运维流程和操作要求。
在这一步中,基于环保设备的运维流程和操作要求,构建若干运维行为参考拓展树;这些树包括行为节点,每个树映射一种合理的运维流程和操作要求,形成一个参考框架。
步骤S300,对监控图像进行视觉分析,实时确定运维人员的行进位置及操作行为,若识别到运维人员的行进位置进入到设备映射区块的预设范围区,则识别并提取运维人员的操作行为,并将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树。
在这一步中,通过视觉分析技术对监控图像进行处理,实时确定运维人员的行进位置及操作行为;当运维人员的行进位置进入到设备映射区块的预设范围时,系统会识别并提取运维人员的操作行为。
在本发明公开的一些实施例中,实时确定运维人员的行进位置的方法包括:
步骤S301,利用深度学习目标检测模型确定监控图像中的存在的人员,并利用人脸识别模型识别运维人员的身份或基于运维工作登记的信息确定运维人员的身份。
利用深度学习目标检测模型对监控图像进行处理,确定图像中存在的人员;随后,通过人脸识别模型识别运维人员的身份,或者基于运维工作登记的信息来确定运维人员的身份。这一步骤确保了对运维人员身份的准确识别。
为了能够更加清楚的解释上述技术方案,对利用深度学习目标检测模型对监控图像进行处理做了如下公开:
数据准备:收集并准备用于训练目标检测模型的监控图像数据集,包含有运维人员和其他可能的目标。
选择目标检测模型:选择适当的深度学习目标检测模型,如YOLO (You Only LookOnce)、Faster R-CNN (Region-based Convolutional Neural Network) 或 SSD (SingleShot Multibox Detector)。这些模型以不同的方式实现目标检测,可以根据应用需求选择最合适的模型。
模型训练:使用准备好的数据集对选定的目标检测模型进行训练。训练模型时,要确保模型能够准确地检测监控图像中的人员目标。
模型集成:将训练好的目标检测模型集成到环境设备运维行为分析系统中,以便在实时监控图像中检测出人员。
为了能够更加清楚的解释上述技术方案,对利用人脸识别模型识别运维人员的身份进行确定的技术方案做了如下公开:
数据准备:准备包含运维人员的人脸图像数据集,并确保每个人脸图像都有相应的身份标签。
选择人脸识别模型:选择适当的人脸识别模型,如基于深度学习的 FaceNet、OpenFace 或 VGGFace;这些模型经过训练,能够将人脸嵌入(embedding)到高维空间。
模型训练:使用准备好的人脸图像数据集对选定的人脸识别模型进行训练;在训练过程中,模型会学习将每个运维人员的人脸映射到唯一的嵌入空间。
身份识别:集成训练好的人脸识别模型到系统中,通过检测到的人脸图像进行实时身份识别;系统会计算人脸的嵌入并与预先学习的运维人员身份进行比对。
身份确认:在比对阶段,如果检测到的人脸与训练数据中的运维人员身份匹配,系统确认运维人员的身份。
在本发明公开的一些实施例中,确定监控图像中人员的方法还包括:
步骤S3011,截取无人时期的监控图像进行灰度化,得到比对用灰度监控图像。
在这一步骤中,系统首先截取监控图像中无人时期的片段,以获得基准灰度图像;接着,对截取的图像进行灰度化处理,将彩色图像转换为灰度图像;这得到了一个用于比对的基准灰度监控图像。
步骤S3012,将实时采集的监控图像进行灰度化,得到实时灰度监控图像,并将实时灰度监控图像和比对用会灰度监控图像进行比对,得到灰度比对结果。
实时采集监控图像,将其灰度化,得到实时灰度监控图像。然后,将实时灰度监控图像与基准灰度监控图像进行比对;比对的过程可能涉及计算每个像素点的灰度值差异或应用其他图像相似性度量。结果是得到灰度比对结果,反映了实时监控图像与无人时期的基准图像之间的灰度差异。
步骤3013,基于灰度比对结果,确定实时灰度监控图像上灰度差异大于等于预设值的人员映射区域,并基于定位坐标系,对人员映射区域进行坐标平均计算,得到人员定位坐标。
基于灰度比对结果,系统确定实时灰度监控图像上灰度差异大于等于预设值的人员映射区域;这些区域被认为是有人活动的区域;接着,基于定位坐标系,对这些人员映射区域进行坐标平均计算,得到人员的定位坐标;这一步骤通过灰度变化检测来确定运维人员的位置,为后续的行为分析提供了准确的位置信息。
在本发明公开的一些实施例中,对监控图像中运维人员的进行运动定位的方法包括:
步骤S3051,将人员映射区域中到达第二定位坐标范围的端头部分认定为手部映射区域,并对手部映射区域进行坐标平均计算,得到手部定位坐标。
在本发明公开的一些实施例中,将实时灰度监控图像和比对用会灰度监控图像进行比对的方法包括:
步骤S30121,针对灰度监控图像均匀设定有若干灰度探点,并计算实时灰度监控图像和比对用灰度监控图像在等同灰度探点位置的灰度差异值,并将灰度差异值和灰度探点关联。
步骤S30122,将灰度差异值大于等于预设值的灰度探点进行归总,得到用于表达人员映射区域的探点阵列。
步骤S302,针对监控图像建立定位坐标系,并基于定位坐标系对每一设备映射区块的预设关注点配置关注点定位坐标,并对每一设备映射区块的预设范围区配置第一区块定位坐标范围。
针对监控图像,建立定位坐标系,并为每个设备映射区块配置关注点定位坐标;对每个设备映射区块的预设范围区配置第一区块定位坐标范围;这一步骤的目的是建立一个可操作的坐标系,使系统能够精准地关注到每个设备映射区块。
步骤S303,基于定位坐标系,对识别到的运维人员配置人员定位坐标,若人员定位坐标出现在第一区块定位坐标范围内,且在第一预设监控时间段内出现的时间大于或大于等于第二预设监控时间段,则认定运维人员有效进入对应设备映射区块的作业范围区。
在基于定位坐标系的基础上,对识别到的运维人员配置人员定位坐标;系统检查人员定位坐标是否出现在第一区块定位坐标范围内,并在第一预设监控时间段内出现的时间大于等于第二预设监控时间段;如果满足条件,系统认定运维人员有效进入对应设备映射区块的作业范围区。
这三个步骤共同确保了对监控图像中运维人员的准确定位和身份确认;通过利用深度学习目标检测和人脸识别模型,系统不仅能够识别人员,还能够确认其身份。建立定位坐标系和设备映射区块的关注点范围,有助于系统更精准地确定运维人员的作业范围,从而为后续的行为分析提供了准确的空间和时间参考。
在本发明公开的一些实施例中,识别并提取运维人员的操作行为的方法包括:
步骤304,针对每一设备映射区块上对应环保设备的操作部分进行划定,得到若干操作区块,并基于定位坐标系对每一操作区块配置第二区块定位坐标范围。
步骤S305,利用行为识别模型来对运维人员的手部进行运动定位,得到手部定位坐标,并将手部定位坐标与对应的第二定位坐标范围进行相对位置分析,确定出实时手部相对位置表现。
步骤S306,基于实时手部相对位置表现确定操作行为的可信度,若可信度大于等于预设值,则认定对应的操作行为有效。
在本发明公开的一些实施例中,确定出实时手部相对位置表现的方法包括:
步骤S3061,基于对环保设备实际操作行为的特征,对第二定位坐标范围进行区块划分,得到若干第二子定位坐标范围,并针对每一第二子定位坐标范围配置标准持续时间。
步骤S3062,确定手部定位坐标相对每一第二子定位坐标范围内的实际持续时间以及进入不同第二子定位坐标范围的实际进入次序。
步骤S3063,依据不同第二定位坐标范围的实际进入次序,对手部定位坐标进入的第二定位坐标范围进行排序,得到第二定位坐标范围实际进入序列,并将第二定位坐标范围实际进入序列和第二定位坐标范围标准进入序列进行比对,确定出二者的顺序相符次数。
步骤S3064,基于手持定位坐标相对每一第二子定位坐标范围的实际持续时间,以及第二定位坐标范围实际进入序列和第二定位坐标范围标准进入序列的顺序相符次数,得到实时手部相对位置表现。
在本发明公开的一些实施例中,计算可信度的表达式为:
其中,为可信度对应值,为第一可信度权重调整系数,为第二可信 度权重调整系数,为手部定位坐标进入第i个第二子定位坐标范围内的实际持续时间,为第i个第二子定位坐标范围对应的标准持续时间区间,表达了手部定 位坐标进入第i个第二子定位坐标范围内的实际持续时间属于标准持续时间区间,表达了手部定位坐标进入第i个第二子定位坐标范围内的实际持续时间不 属于标准持续时间区间,为持续时间判断函数,若手部定位坐标进入第i个第二子定 位坐标范围内的实际持续时间属于标准持续时间区间,则输出1,若手部定位坐标进 入第i个第二子定位坐标范围内的实际持续时间不属于标准持续时间区间,则输出 0,为第一可信度调整常数,为第二可信度调整常数,为第二定位坐标范围实际进 入序列和第二定位坐标范围标准进入序列的顺序相符次数。
步骤S400,对每一标记参考拓展树中的被标记的行为节点进行统计,分别得到每一标记参考拓展树的行为节点的被标记数量,并将被标记数量大于或大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示。
在这一步中,对提取的操作行为进行等同次序比对,若出现相符情况,则对应行为节点进行标记;随后,对每一标记参考拓展树中的被标记的行为节点进行统计,得到每一标记参考拓展树的行为节点的被标记数量;将被标记数量大于等于预设值的标记参考拓展树筛选出来,这被记为行为评估参考拓展树,并将其进行展示,以便直观地了解环保设备运维行为的合规性。
上述步骤S100-S400,通过结合图像分析和运维流程的参考拓展树,实现了对环保设备运维行为的自动监测和评估;其应用可以帮助环保部门更有效地进行运维行为的合规性检查,提高了环保设备运维管理的智能化水平。
在本发明公开的一些实施例中,基于图像分析的环保设备运维行为分析方法还包括:
步骤S500,对行为评估参考树产生的问题结果进行演化推测,并将问题结果与行为评估参考树进行标记后组合生成行为评估参考树集。
在该步骤中,对于从监控图像中提取的操作行为,系统进行演化推测,即推测这些行为可能导致的问题结果;将问题结果与行为评估参考树进行标记,形成带有问题结果标记的行为评估参考树;这一过程通过综合考虑运维行为和其可能的影响,使得系统能够更全面地评估环保设备的运维情况。
步骤S600,将展示的行为评估参考树代入行为评估参考树集,确定出运维人员运维行为带来的问题结果,并基于问题结果的严重程度进行报警。
在此步骤中,将展示的行为评估参考树代入行为评估参考树集,确定由运维人员运维行为带来的问题结果。系统基于问题结果的严重程度进行报警;这包括识别可能对环保设备造成损害或不合规操作的行为,并根据其威胁程度触发相应的报警机制。
通过S500和S600两个步骤,系统在进行环保设备运维行为的评估的同时,能够预测潜在的问题结果,并及时发出报警,以帮助环保部门和运维人员迅速采取行动,防范和解决可能的问题;这进一步提高了系统的智能化水平,使其不仅能够监测运维行为的合规性,还能够主动预测潜在的问题,有助于提高环保设备的稳定性和可靠性。
在本发明公开的一些实施例中,还公开了一种基于图像分析的环保设备运维行为分析系统,包括:
第一模块,用于获取环保设备应用现场的监控图像,并针对监控图像中的环保设备的所处区域以及所占空间进行划定,得到若干设备映射区块;
第二模块,用于基于运维流程和操作要求,构建若干运维行为参考拓展树,所述运维行为参考拓展树包括若干行为节点,且每一运维行为参考拓展树都映射着一种合理的运维流程和操作要求;
第三模块,用于对监控图像进行视觉分析,实时确定运维人员的行进位置及操作行为,若识别到运维人员的行进位置进入到设备映射区块的预设范围区,则识别并提取运维人员的操作行为,并将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树;
第四模块,用于对每一标记参考拓展树中的被标记的行为节点进行统计,分别得到每一标记参考拓展树的行为节点的被标记数量,并将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示。
本发明公开了一种基于图像分析的环保设备运维行为分析方法及系统,涉及环保设备运维技术领域,具体公开了基于运维流程和操作要求,构建若干运维行为参考拓展树,将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树,将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示,本发明通过上述技术方案实现了利用监控图像对运维人员的运维行为的判断,并通过评估参考拓展树的展示方式,高效的表达出了相关环保设备的运维异常等情况,相比较人工上门检查效率更高,且成本更低。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于图像分析的环保设备运维行为分析方法,其特征在于,包括:
获取环保设备应用现场的监控图像,并针对监控图像中的环保设备的所处区域以及所占空间进行划定,得到若干设备映射区块;
基于运维流程和操作要求,构建若干运维行为参考拓展树,所述运维行为参考拓展树包括若干行为节点,且每一运维行为参考拓展树都映射着一种合理的运维流程和操作要求;
对监控图像进行视觉分析,实时确定运维人员的行进位置及操作行为,若识别到运维人员的行进位置进入到设备映射区块的预设范围区,则识别并提取运维人员的操作行为,并将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树;
对每一标记参考拓展树中的被标记的行为节点进行统计,分别得到每一标记参考拓展树的行为节点的被标记数量,并将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示。
2.根据权利要求1所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,还包括:
对行为评估参考树产生的问题结果进行演化推测,并将问题结果与行为评估参考树进行标记后组合生成行为评估参考树集;
将展示的行为评估参考树代入行为评估参考树集,确定出运维人员运维行为带来的问题结果,并基于问题结果的严重程度进行报警。
3.根据权利要求1所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,实时确定运维人员的行进位置的方法包括:
利用深度学习目标检测模型确定监控图像中的存在的人员,并利用人脸识别模型识别运维人员的身份或基于运维工作登记的信息确定运维人员的身份;
针对监控图像建立定位坐标系,并基于定位坐标系对每一设备映射区块的预设关注点配置关注点定位坐标,并对每一设备映射区块的预设范围区配置第一区块定位坐标范围;
基于定位坐标系,对识别到的运维人员配置人员定位坐标,若人员定位坐标出现在第一区块定位坐标范围内,且在第一预设监控时间段内出现的时间大于等于第二预设监控时间段,则认定运维人员有效进入对应设备映射区块的作业范围区。
4.根据权利要求3所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,识别并提取运维人员的操作行为的方法包括:
针对每一设备映射区块上对应环保设备的操作部分进行划定,得到若干操作区块,并基于定位坐标系对每一操作区块配置第二区块定位坐标范围;
利用行为识别模型来对运维人员的手部进行运动定位,得到手部定位坐标,并将手部定位坐标与对应的第二定位坐标范围进行相对位置分析,确定出实时手部相对位置表现;
基于实时手部相对位置表现确定操作行为的可信度,若可信度大于等于预设值,则认定对应的操作行为有效。
5.根据权利要求4所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,确定出实时手部相对位置表现的方法包括:
基于对环保设备实际操作行为的特征,对第二定位坐标范围进行区块划分,得到若干第二子定位坐标范围,并针对每一第二子定位坐标范围配置标准持续时间;
确定手部定位坐标相对每一第二子定位坐标范围内的实际持续时间以及进入不同第二子定位坐标范围的实际进入次序;
依据不同第二定位坐标范围的实际进入次序,对手部定位坐标进入的第二定位坐标范围进行排序,得到第二定位坐标范围实际进入序列,并将第二定位坐标范围实际进入序列和第二定位坐标范围标准进入序列进行比对,确定出二者的顺序相符次数;
基于手持定位坐标相对每一第二子定位坐标范围的实际持续时间,以及第二定位坐标范围实际进入序列和第二定位坐标范围标准进入序列的顺序相符次数,得到实时手部相对位置表现。
6.根据权利要求5所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,计算可信度的表达式为:
其中,为可信度对应值,为第一可信度权重调整系数,为第二可信度权重 调整系数,为手部定位坐标进入第i个第二子定位坐标范围内的实际持续时间, 为第i个第二子定位坐标范围对应的标准持续时间区间,表达了手部定位坐标 进入第i个第二子定位坐标范围内的实际持续时间属于标准持续时间区间,表达了手部定位坐标进入第i个第二子定位坐标范围内的实际持续时间不 属于标准持续时间区间,为持续时间判断函数,若手部定位坐标进入第i个第二子定 位坐标范围内的实际持续时间属于标准持续时间区间,则输出1,若手部定位坐标进 入第i个第二子定位坐标范围内的实际持续时间不属于标准持续时间区间,则输出 0,为第一可信度调整常数,为第二可信度调整常数,为第二定位坐标范围实际进 入序列和第二定位坐标范围标准进入序列的顺序相符次数。
7.根据权利要求3所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,确定监控图像中人员的方法还包括:
截取无人时期的监控图像进行灰度化,得到比对用灰度监控图像;
将实时采集的监控图像进行灰度化,得到实时灰度监控图像,并将实时灰度监控图像和比对用会灰度监控图像进行比对,得到灰度比对结果;
基于灰度比对结果,确定实时灰度监控图像上灰度差异大于等于预设值的人员映射区域,并基于定位坐标系,对人员映射区域进行坐标平均计算,得到人员定位坐标。
8.根据权利要求7所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,对监控图像中运维人员的进行运动定位的方法包括:
将人员映射区域中到达第二定位坐标范围的端头部分认定为手部映射区域,并对手部映射区域进行坐标平均计算,得到手部定位坐标。
9.根据权利要求7所述的一种基于图像分析的环保设备运维行为分析方法,其特征在于,将实时灰度监控图像和比对用会灰度监控图像进行比对的方法包括:
针对灰度监控图像均匀设定有若干灰度探点,并计算实时灰度监控图像和比对用灰度监控图像在等同灰度探点位置的灰度差异值,并将灰度差异值和灰度探点关联;
将灰度差异值大于等于预设值的灰度探点进行归总,得到用于表达人员映射区域的探点阵列。
10.一种基于图像分析的环保设备运维行为分析系统,其特征在于,包括:
第一模块,用于获取环保设备应用现场的监控图像,并针对监控图像中的环保设备的所处区域以及所占空间进行划定,得到若干设备映射区块;
第二模块,用于基于运维流程和操作要求,构建若干运维行为参考拓展树,所述运维行为参考拓展树包括若干行为节点,且每一运维行为参考拓展树都映射着一种合理的运维流程和操作要求;
第三模块,用于对监控图像进行视觉分析,实时确定运维人员的行进位置及操作行为,若识别到运维人员的行进位置进入到设备映射区块的预设范围区,则识别并提取运维人员的操作行为,并将提取的操作行为在每一运维行为参考拓展树上的行为节点之间进行等同次序比对,若出现相符情况,则对对应行为节点进行标记,得到若干标记参考拓展树;
第四模块,用于对每一标记参考拓展树中的被标记的行为节点进行统计,分别得到每一标记参考拓展树的行为节点的被标记数量,并将被标记数量大于等于预设值的标记参考拓展树筛选出来,记为行为评估参考拓展树,并将行为评估参考树进行展示。
CN202410254712.XA 2024-03-06 一种基于图像分析的环保设备运维行为分析方法及系统 Active CN117830961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410254712.XA CN117830961B (zh) 2024-03-06 一种基于图像分析的环保设备运维行为分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410254712.XA CN117830961B (zh) 2024-03-06 一种基于图像分析的环保设备运维行为分析方法及系统

Publications (2)

Publication Number Publication Date
CN117830961A true CN117830961A (zh) 2024-04-05
CN117830961B CN117830961B (zh) 2024-05-10

Family

ID=

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298785A (zh) * 2018-09-06 2019-02-01 天津联图科技有限公司 一种监测设备的人机联控系统及方法
WO2020113773A1 (zh) * 2018-12-04 2020-06-11 深圳码隆科技有限公司 一种基于图像识别技术的纺丝机故障监测系统及方法
CN112149607A (zh) * 2020-10-08 2020-12-29 吉林大学 基于贝叶斯算法的远程智能运维方法
WO2021063068A1 (zh) * 2019-09-30 2021-04-08 全球能源互联网研究院有限公司 运维管控、运维分析方法、装置、系统及存储介质
CN112835999A (zh) * 2021-01-22 2021-05-25 上海高诚智能科技有限公司 用于水站远程运维的管理系统及方法
WO2021143164A1 (zh) * 2020-01-19 2021-07-22 广东卓维网络有限公司 一种杆塔图像监测系统
CN113341825A (zh) * 2021-06-17 2021-09-03 浙江凌镜智能有限公司 设备运维智能监测方法及系统
WO2021217859A1 (zh) * 2020-04-30 2021-11-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN114325573A (zh) * 2021-12-16 2022-04-12 武汉新电电气股份有限公司 变电站运维人员身份及位置信息快速检测方法
CN114373116A (zh) * 2021-12-29 2022-04-19 浪潮通信信息系统有限公司 一种运维现场图像的筛选方法、装置、设备及产品
CN115128990A (zh) * 2022-07-04 2022-09-30 福建远恩智能技术有限公司 一种泵房运维人员的安全预警方法
WO2023011160A1 (zh) * 2021-08-06 2023-02-09 北京百度网讯科技有限公司 一种故障处理方法、装置、设备及存储介质
CN116129467A (zh) * 2022-12-16 2023-05-16 北京信息科技大学 一种变电运维人员姿态与行为以及工器具姿态的识别方法
CN116151597A (zh) * 2023-04-20 2023-05-23 华能信息技术有限公司 一种基于私有云架构的快速插拔式流程管理方法及系统
CN116976721A (zh) * 2023-06-27 2023-10-31 国网山西省电力公司技能培训中心 一种配电作业行为规范性评价方法、系统、计算设备
CN117423199A (zh) * 2023-12-19 2024-01-19 长春市智源科技有限公司 一种基于多视频图像分析的安防预警系统
CN117492814A (zh) * 2023-10-31 2024-02-02 中国建设银行股份有限公司 生产运维变更方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298785A (zh) * 2018-09-06 2019-02-01 天津联图科技有限公司 一种监测设备的人机联控系统及方法
WO2020113773A1 (zh) * 2018-12-04 2020-06-11 深圳码隆科技有限公司 一种基于图像识别技术的纺丝机故障监测系统及方法
WO2021063068A1 (zh) * 2019-09-30 2021-04-08 全球能源互联网研究院有限公司 运维管控、运维分析方法、装置、系统及存储介质
WO2021143164A1 (zh) * 2020-01-19 2021-07-22 广东卓维网络有限公司 一种杆塔图像监测系统
WO2021217859A1 (zh) * 2020-04-30 2021-11-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN112149607A (zh) * 2020-10-08 2020-12-29 吉林大学 基于贝叶斯算法的远程智能运维方法
CN112835999A (zh) * 2021-01-22 2021-05-25 上海高诚智能科技有限公司 用于水站远程运维的管理系统及方法
CN113341825A (zh) * 2021-06-17 2021-09-03 浙江凌镜智能有限公司 设备运维智能监测方法及系统
WO2023011160A1 (zh) * 2021-08-06 2023-02-09 北京百度网讯科技有限公司 一种故障处理方法、装置、设备及存储介质
CN114325573A (zh) * 2021-12-16 2022-04-12 武汉新电电气股份有限公司 变电站运维人员身份及位置信息快速检测方法
CN114373116A (zh) * 2021-12-29 2022-04-19 浪潮通信信息系统有限公司 一种运维现场图像的筛选方法、装置、设备及产品
CN115128990A (zh) * 2022-07-04 2022-09-30 福建远恩智能技术有限公司 一种泵房运维人员的安全预警方法
CN116129467A (zh) * 2022-12-16 2023-05-16 北京信息科技大学 一种变电运维人员姿态与行为以及工器具姿态的识别方法
CN116151597A (zh) * 2023-04-20 2023-05-23 华能信息技术有限公司 一种基于私有云架构的快速插拔式流程管理方法及系统
CN116976721A (zh) * 2023-06-27 2023-10-31 国网山西省电力公司技能培训中心 一种配电作业行为规范性评价方法、系统、计算设备
CN117492814A (zh) * 2023-10-31 2024-02-02 中国建设银行股份有限公司 生产运维变更方法及装置
CN117423199A (zh) * 2023-12-19 2024-01-19 长春市智源科技有限公司 一种基于多视频图像分析的安防预警系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张春凤;徐文峰;刘进峰;: "基于机器视觉的变电站监控视频数据结构化方法研究", 电力信息与通信技术, no. 05, 15 May 2018 (2018-05-15) *
李建东;: "简述变电运维中隐患风险问题与应对措施", 山东工业技术, no. 04, 15 February 2018 (2018-02-15) *

Similar Documents

Publication Publication Date Title
CN110807429B (zh) 基于tiny-YOLOv3的施工安全检测方法及系统
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN206672041U (zh) 一种基于增强现实的矿用设备智能巡检和维护辅助系统
CN108596221B (zh) 标尺读数的图像识别方法及设备
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN112347916A (zh) 基于视频图像分析的电力现场作业安全监控方法及装置
CN113269142A (zh) 一种检察领域值班人员睡觉行为识别方法
CN111914667B (zh) 一种吸烟检测方法及装置
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN115393789A (zh) 建筑工地危险区域人群聚集预警方法、系统、设备及存储介质
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN117830961B (zh) 一种基于图像分析的环保设备运维行为分析方法及系统
CN115861364B (zh) 一种基于ai识别的现场人员管控方法和系统
CN117830961A (zh) 一种基于图像分析的环保设备运维行为分析方法及系统
CN116032602A (zh) 一种自动识别威胁数据的方法、装置、设备及存储介质
CN115116119A (zh) 一种基于数字图像处理技术的人脸识别系统
RU2694139C1 (ru) Способ определения девиантного поведения человека в режиме одновременной работы группы видеокамер
CN111126771A (zh) 基于区域关注度预测安检员识图质量监督保障系统及方法
CN113569637B (zh) 一种基于物联网的人员轨迹定位监管系统
CN116385975B (zh) 一种基于目标检测的配电房安全监控系统及方法
CN117291430B (zh) 一种基于机器视觉的安全生产检测方法及装置
CN113177452B (zh) 一种基于图像处理与射频技术的封样方法及装置
CN116630752B (zh) 基于ai算法的施工现场目标对象识别方法及装置
CN117636434A (zh) 一种变电站人员跟踪方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant