CN114007047A - 一种基于机器视觉的变电现场作业实时监控与报警系统 - Google Patents

一种基于机器视觉的变电现场作业实时监控与报警系统 Download PDF

Info

Publication number
CN114007047A
CN114007047A CN202111289674.4A CN202111289674A CN114007047A CN 114007047 A CN114007047 A CN 114007047A CN 202111289674 A CN202111289674 A CN 202111289674A CN 114007047 A CN114007047 A CN 114007047A
Authority
CN
China
Prior art keywords
icon
apriltag
time monitoring
machine vision
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111289674.4A
Other languages
English (en)
Other versions
CN114007047B (zh
Inventor
朱明增
胡凯博
黄新华
孙春日
覃剑永
岑建军
刘荣洲
黎华
梁兆庭
周承秀
覃秋勤
刘小兰
周虹妤
莫梓樱
陈少暖
黄承伟
蒙亮
李永栈
杨芳
韦妙香
罗小波
杨波
谢辉
张展声
吕鸣
胡清智
朱敦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guanxi Power Grid Corp Hezhou Power Supply Bureau
Original Assignee
Guanxi Power Grid Corp Hezhou Power Supply Bureau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guanxi Power Grid Corp Hezhou Power Supply Bureau filed Critical Guanxi Power Grid Corp Hezhou Power Supply Bureau
Priority to CN202111289674.4A priority Critical patent/CN114007047B/zh
Publication of CN114007047A publication Critical patent/CN114007047A/zh
Application granted granted Critical
Publication of CN114007047B publication Critical patent/CN114007047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于机器视觉的变电现场作业实时监控与报警系统,包括:穿戴装备,所述穿戴设备上设置有AprilTag图标,所述AprilTag图标具有唯一ID号;处理器,所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理,识别图标的ID号;摄像头,所述摄像头用于采集图像信息,捕捉穿戴设备上的AprilTag图标,并传送至处理器;语音系统:所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号;通讯系统:所述通信系统用于上传报警信息与视频,接受上位机指定。本发明可对采集的图像信息进行智能化分析和处理,进行电力作业人员作业空间定位,通过空间定位判定作业人员作业内容与相应的作业穿戴要求,减少安全隐患,监控系统可靠,判定结果准确。

Description

一种基于机器视觉的变电现场作业实时监控与报警系统
技术领域
本发明涉及安全监测技术领域,更具体地,涉及一种基于机器视觉的变电现场作业实时监控与报警系统。
背景技术
变电站作为电力系统的关键基础设施,承担着地区电压等级变换、使用及输电任务。为了保证变电站的可靠稳定运行,现场作业必须严格遵循安全规范,确保符合规范安全施工,避免违规施工造成的人员伤亡和经济损失。由于变电站作业具有地域广、施工位置不固定等特点,导致固定设置的摄像头无法覆盖各个场景,此外现有视频监控系统只具有采集、存储和回放功能,在智能分析和处理能力方面有所欠缺。
因此,传统的变电站现场作业还需要通过人工值班员现场巡检来保证安全,而人工方式无法实现全方位无死角管控,现场作业有短时违规行为不易察觉,存在现场作业安全隐患。由于工作场景点多面广,固定摄像头无法覆盖多个业务场景,因此需要研制多维度视觉智能终端弥补固定摄像头不足,实现可控、多维度视频采集与穿透。
发明内容
本发明的目的在于针对现有技术中的不足,提供一种基于机器视觉的变电现场作业实时监控与报警系统,利用AprilTag图像处理技术,通过定位确定电力作业人员作业位置与作业内容,实时监控作业人员的工位信息。
本发明的目的通过以下技术方案实现:
一种基于机器视觉的变电现场作业实时监控与报警系统,包括:
穿戴装备,所述穿戴设备上设置有AprilTag图标,所述AprilTag图标具有唯一ID号;
处理器,所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理,识别图标的ID号,;
摄像头,所述摄像头用于采集图像信息,捕捉穿戴设备上的AprilTag图标,并传送至处理器;
语音系统:所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号;
通讯系统:所述通信系统用于上传报警信息与视频,接受上位机指定。
进一步地,所述摄像头包括多个独立角度的摄像头,采集图像的范围覆盖工作区域所有工位。
进一步地,所述穿戴设备包括绝缘手套、绝缘靴、工作服和安全帽。
进一步地,所述穿戴装备上安装有多个AprilTag图标,分别设置在穿戴设备的正面、背面或左右两侧。
进一步地,所述处理器中包括AprilTag图标编码库。
进一步地,所述处理器根据摄像头采集的图像信息对作业人员的位置和工位进行判定,并根据判定情况控制语音系统做出相对响应。
进一步地,所述判定过程包括以下步骤:
S1.将摄像头捕捉的AprilTag图标的ID值与处理器中的AprilTag图标编码库相匹配;
S2.用矩形框将检测到的图像tag部分框出来,得到tag的角点在图像像素坐标系下的坐标,根据tag的实际大小,计算tag各角点的世界坐标系坐标,具体计算公式如下:
Figure BDA0003334218350000021
Figure BDA0003334218350000022
S3.将第三列去掉,使tag坐标系转化二维坐标系,补充平移矩阵得到E,具体计算公式如下:
Figure BDA0003334218350000023
Figure BDA0003334218350000024
式中,已知hij和fx,可以计算出Rij和Tk。s作为尺度因子是未知的,由于旋转矩阵的列必须是单位化的,所以可以根据Rij约束s的大小;旋转矩阵的列之间是正交的,第三列可以根据前两列的叉乘得到;得旋转矩阵和平移矩阵;所述平移矩阵Tx,Ty,Tz即为tag相对于摄像机中心的坐标值,TX为tag中心相对于摄像机中心的横向偏移量,Tz为tag中心距离摄像机的深度;
S5.利用TX、Tz值与数据库中工位坐标系比较,得到位置和作业工位信息。
进一步地,所述数据库中储存有不同工位对着装要求的装置的ID值,步骤S1中还包括对AprilTag图标的ID值与数据库中该工位着装需求的ID值进行比对,判断是否是规定的着装。
进一步地,步骤S1中可切换摄像头换个角度进行图像采样进行比对。
进一步地,步骤S1中多次比对失败后,所述语音系统发出语音报警信号,所述通信系统上传报警信息与视频图像。
与现有技术相比,本发明的有益效果如下:
本发明可对采集的图像信息进行智能化分析和处理,确定电力作业人员作业位置与作业内容,通过语音提示作业流程与作业注意事项,如果作业人员穿戴违规,可及时发出语音报警信号,减少安全隐患。本发明在判定过程中,可依据全方位的摄像头进行多次比对,监控系统可靠,判定结果准确。
附图说明
图1为设有AprilTag图标的穿戴装置;
图2为作业人员作业位置确定流程图;
图3为作业人员着装违规检测与自动报警流程图。
具体实施方式
为了便于理解本发明,下文将结合实施例对本发明作更全面、细致地描述,但本发明的保护范围并不限于以下具体的实施例。
除非另有定义,下文中所使用的所有专业术语与本领域技术人员通常理解的含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的,并不旨在限制本发明的保护范围。
除非另有特别说明,本发明中用到的各种原材料、试剂、仪器和设备等均可通过市场购买得到或者可通过现有方法制备得到。
实施例1
如图1~2所示,本实施例提供一种基于机器视觉的变电现场作业实时监控与报警系统,包括:
穿戴装备,所述穿戴设备上设置有AprilTag图标,所述AprilTag图标具有唯一ID号;
处理器,所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理,识别图标的ID号,;
摄像头,所述摄像头用于采集图像信息,捕捉穿戴设备上的AprilTag图标,并传送至处理器;
语音系统:所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号;
通讯系统:所述通信系统用于上传报警信息与视频,接受上位机指定。
本实施例中,在工作区域安装多个独立角度的摄像头,采集图像的范围覆盖工作区域所有工位,实现对工作区域的全覆盖。作业人员所用的穿戴设备包括绝缘手套、绝缘靴、工作服和安全帽,在上述穿戴装备上安装有多个AprilTag图标,分别设置在穿戴设备的正面、背面或左右两侧。在处理器中包括AprilTag图标编码库,根据摄像头采集的图像信息对作业人员的位置和工位进行判定,并根据判定情况控制语音系统做出相对响应。
具体地,本实施例中的判定过程包括以下步骤:
S1.将摄像头捕捉的AprilTag图标的ID值与处理器中的AprilTag图标编码库相匹配;
S2.用矩形框将检测到的图像tag部分框出来,得到tag的角点在图像像素坐标系下的坐标,根据tag的实际大小,计算tag各角点的世界坐标系坐标,具体计算公式如下:
Figure BDA0003334218350000041
Figure BDA0003334218350000042
S3.将第三列去掉,使tag坐标系转化二维坐标系,补充平移矩阵得到E,具体计算公式如下:
Figure BDA0003334218350000043
Figure BDA0003334218350000051
式中,已知hij和fx,可以计算出Rij和Tk。s作为尺度因子是未知的,由于旋转矩阵的列必须是单位化的,所以可以根据Rij约束s的大小;旋转矩阵的列之间是正交的,第三列可以根据前两列的叉乘得到;得旋转矩阵和平移矩阵;所述平移矩阵Tx,Ty,Tz即为tag相对于摄像机中心的坐标值,TX为tag中心相对于摄像机中心的横向偏移量,Tz为tag中心距离摄像机的深度;
S5.利用TX、Tz值与数据库中工位坐标系比较,得到位置和作业工位信息,监测现场作业的情况。
实施例2
本实施例参照实施例1,提供一种作业人员作业位置的确定方法,在数据库中储存有不同工位对着装要求的装置的ID值,步骤S1中还包括对AprilTag图标的ID值与数据库中该工位着装需求的ID值进行比对,判断是否是规定的着装。本实施例中,在判定过程中可切换摄像头换个角度进行图像采样进行比对;步骤S1中多次比对失败后,所述语音系统发出语音报警信号,所述通信系统上传报警信息与视频图像。
显然,上述实施例仅仅是为清楚地说明本发明的技术方案所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,包括:
穿戴装备,所述穿戴设备上设置有AprilTag图标,所述AprilTag图标具有唯一ID号;
处理器,所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理,识别图标的ID号;
摄像头,所述摄像头用于采集图像信息,捕捉穿戴设备上的AprilTag图标,并传送至处理器;
语音系统:所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号;
通讯系统:所述通信系统用于上传报警信息与视频,接受上位机指定。
2.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述摄像头包括多个独立角度的摄像头,采集图像的范围覆盖工作区域所有工位。
3.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述穿戴设备包括绝缘手套、绝缘靴、工作服和安全帽。
4.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述穿戴装备上安装有多个AprilTag图标,分别设置在穿戴设备的正面、背面或左右两侧。
5.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述处理器中包括AprilTag图标编码库。
6.根据权利要求5所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述处理器根据摄像头采集的图像信息对作业人员的位置和工位进行判定,并根据判定情况控制语音系统做出相对响应。
7.根据权利要求6所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述判定过程包括以下步骤:
S1.将摄像头捕捉的AprilTag图标的ID值与处理器中的AprilTag图标编码库相匹配;
S2.用矩形框将检测到的图像tag部分框出来,得到tag的角点在图像像素坐标系下的坐标,根据tag的实际大小,计算tag各角点的世界坐标系坐标,具体计算公式如下:
Figure FDA0003334218340000021
Figure FDA0003334218340000022
S3.将第三列去掉,使tag坐标系转化二维坐标系,补充平移矩阵得到E,具体计算公式如下:
Figure FDA0003334218340000023
Figure FDA0003334218340000024
式中,已知hij和fx,可以计算出Rij和Tk。s作为尺度因子是未知的,由于旋转矩阵的列必须是单位化的,所以可以根据Rij约束s的大小;旋转矩阵的列之间是正交的,第三列可以根据前两列的叉乘得到;得旋转矩阵和平移矩阵;所述平移矩阵Tx,Ty,Tz即为tag相对于摄像机中心的坐标值,TX为tag中心相对于摄像机中心的横向偏移量,Tz为tag中心距离摄像机的深度;
S5.利用TX、Tz值与数据库中工位坐标系比较,得到位置和作业工位信息。
8.根据权利要求7所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,所述数据库中储存有不同工位对着装要求的装置的ID值,步骤S1中还包括对AprilTag图标的ID值与数据库中该工位着装需求的ID值进行比对,判断是否是规定的着装。
9.根据权利要求8所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,步骤S1中可切换摄像头换个角度进行图像采样进行比对。
10.根据权利要求9所述的基于机器视觉的变电现场作业实时监控与报警系统,其特征在于,步骤S1中多次比对失败后,所述语音系统发出语音报警信号,所述通信系统上传报警信息与视频图像。
CN202111289674.4A 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统 Active CN114007047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111289674.4A CN114007047B (zh) 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111289674.4A CN114007047B (zh) 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统

Publications (2)

Publication Number Publication Date
CN114007047A true CN114007047A (zh) 2022-02-01
CN114007047B CN114007047B (zh) 2024-03-15

Family

ID=79926615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111289674.4A Active CN114007047B (zh) 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统

Country Status (1)

Country Link
CN (1) CN114007047B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463181A (zh) * 2017-08-30 2017-12-12 南京邮电大学 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN107680220A (zh) * 2017-09-28 2018-02-09 朱明增 一种基于机器视觉技术的作业违规行为智能识别方法
CN108819943A (zh) * 2018-05-13 2018-11-16 上海交通大学 一种基于二维码的自主跟车系统及方法
US20190014310A1 (en) * 2017-07-06 2019-01-10 Arraiy, Inc. Hardware system for inverse graphics capture
CN109398302A (zh) * 2018-10-30 2019-03-01 四川长虹电器股份有限公司 基于AprilTag标签的车内儿童状态监测系统
CN109794422A (zh) * 2019-04-04 2019-05-24 溧阳市新力机械铸造有限公司 一种基于apriltag的车间零件定位系统
CN111479089A (zh) * 2020-04-15 2020-07-31 云南电网有限责任公司曲靖供电局 一种基于北斗定位的电网施工监控方法及系统
JP2020119550A (ja) * 2019-01-15 2020-08-06 エヌビディア コーポレーション 拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別
CN112184812A (zh) * 2020-09-23 2021-01-05 广东海洋大学 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN112364766A (zh) * 2020-11-11 2021-02-12 南京音飞储存设备(集团)股份有限公司 一种基于结构光与AprilTag的位姿识别方法及系统
CN113237478A (zh) * 2021-05-27 2021-08-10 哈尔滨工业大学 一种无人机的姿态和位置估计方法及无人机

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190014310A1 (en) * 2017-07-06 2019-01-10 Arraiy, Inc. Hardware system for inverse graphics capture
CN107463181A (zh) * 2017-08-30 2017-12-12 南京邮电大学 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN107680220A (zh) * 2017-09-28 2018-02-09 朱明增 一种基于机器视觉技术的作业违规行为智能识别方法
CN108819943A (zh) * 2018-05-13 2018-11-16 上海交通大学 一种基于二维码的自主跟车系统及方法
CN109398302A (zh) * 2018-10-30 2019-03-01 四川长虹电器股份有限公司 基于AprilTag标签的车内儿童状态监测系统
JP2020119550A (ja) * 2019-01-15 2020-08-06 エヌビディア コーポレーション 拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別
CN109794422A (zh) * 2019-04-04 2019-05-24 溧阳市新力机械铸造有限公司 一种基于apriltag的车间零件定位系统
CN111479089A (zh) * 2020-04-15 2020-07-31 云南电网有限责任公司曲靖供电局 一种基于北斗定位的电网施工监控方法及系统
CN112184812A (zh) * 2020-09-23 2021-01-05 广东海洋大学 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN112364766A (zh) * 2020-11-11 2021-02-12 南京音飞储存设备(集团)股份有限公司 一种基于结构光与AprilTag的位姿识别方法及系统
CN113237478A (zh) * 2021-05-27 2021-08-10 哈尔滨工业大学 一种无人机的姿态和位置估计方法及无人机

Also Published As

Publication number Publication date
CN114007047B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
WO2022037281A1 (zh) 一种基于机器视觉的变电现场作业实时监控与报警系统
CN110850723B (zh) 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN109271844A (zh) 基于OpenCV的电气柜电气符号识别方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN110874866B (zh) 一种基于视频的变电站三维监控方法及系统
CN109117764A (zh) 在电力监控中采用颜色阈值法识别目标物体区域电气符号的方法
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
CN109409395A (zh) 在电力监控中采用模板匹配法识别目标物体区域电气符号的方法
CN113989711B (zh) 一种配电施工安全工器具使用识别方法及系统
CN111695512B (zh) 一种无人值守文物监测方法及装置
CN210222962U (zh) 一种智能电子围栏系统
CN103152558B (zh) 基于场景识别的入侵检测方法
CN109063634A (zh) 在电力监控中采用霍夫圆变换识别目标物体区域电气符号的方法
CN115100813B (zh) 基于数字孪生的智慧社区系统
CN112532927A (zh) 一种施工现场智能安全管控系统
CN115880722A (zh) 一种配电作业人员穿戴的智能识别方法、系统和介质
CN109579934A (zh) 水浸多重监测方法及系统
CN118348526A (zh) 一种基于雷视融合算法的实时数据融合分析方法
CN108460357B (zh) 一种基于图像识别的开窗报警检测系统及方法
CN113596408A (zh) 基于ai智能分析的辅助监控系统
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警系统及方法
CN117876950A (zh) 一种基于3d周界分析的变电站作业行为管控方法及装置
CN117768610A (zh) 基于多目标识别的高速铁路周界入侵风险监测方法及系统
CN114007047B (zh) 一种基于机器视觉的变电现场作业实时监控与报警系统
CN113780224B (zh) 一种变电站无人化巡视方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant