CN114007047B - 一种基于机器视觉的变电现场作业实时监控与报警系统 - Google Patents

一种基于机器视觉的变电现场作业实时监控与报警系统 Download PDF

Info

Publication number
CN114007047B
CN114007047B CN202111289674.4A CN202111289674A CN114007047B CN 114007047 B CN114007047 B CN 114007047B CN 202111289674 A CN202111289674 A CN 202111289674A CN 114007047 B CN114007047 B CN 114007047B
Authority
CN
China
Prior art keywords
tag
april
icon
machine vision
time monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111289674.4A
Other languages
English (en)
Other versions
CN114007047A (zh
Inventor
朱明增
胡凯博
黄新华
孙春日
覃剑永
岑建军
刘荣洲
黎华
梁兆庭
周承秀
覃秋勤
刘小兰
周虹妤
莫梓樱
陈少暖
黄承伟
蒙亮
李永栈
杨芳
韦妙香
罗小波
杨波
谢辉
张展声
吕鸣
胡清智
朱敦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guanxi Power Grid Corp Hezhou Power Supply Bureau
Original Assignee
Guanxi Power Grid Corp Hezhou Power Supply Bureau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guanxi Power Grid Corp Hezhou Power Supply Bureau filed Critical Guanxi Power Grid Corp Hezhou Power Supply Bureau
Priority to CN202111289674.4A priority Critical patent/CN114007047B/zh
Publication of CN114007047A publication Critical patent/CN114007047A/zh
Application granted granted Critical
Publication of CN114007047B publication Critical patent/CN114007047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Abstract

本发明公开了一种基于机器视觉的变电现场作业实时监控与报警系统，包括：穿戴装备，所述穿戴设备上设置有AprilTag图标，所述AprilTag图标具有唯一ID号；处理器，所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理，识别图标的ID号；摄像头，所述摄像头用于采集图像信息，捕捉穿戴设备上的AprilTag图标，并传送至处理器；语音系统：所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号；通讯系统：所述通信系统用于上传报警信息与视频，接受上位机指定。本发明可对采集的图像信息进行智能化分析和处理，进行电力作业人员作业空间定位，通过空间定位判定作业人员作业内容与相应的作业穿戴要求，减少安全隐患，监控系统可靠，判定结果准确。

Description

一种基于机器视觉的变电现场作业实时监控与报警系统
技术领域
本发明涉及安全监测技术领域，更具体地，涉及一种基于机器视觉的变电现场作业实时监控与报警系统。
背景技术
变电站作为电力系统的关键基础设施，承担着地区电压等级变换、使用及输电任务。为了保证变电站的可靠稳定运行，现场作业必须严格遵循安全规范，确保符合规范安全施工，避免违规施工造成的人员伤亡和经济损失。由于变电站作业具有地域广、施工位置不固定等特点，导致固定设置的摄像头无法覆盖各个场景，此外现有视频监控系统只具有采集、存储和回放功能，在智能分析和处理能力方面有所欠缺。
因此，传统的变电站现场作业还需要通过人工值班员现场巡检来保证安全，而人工方式无法实现全方位无死角管控，现场作业有短时违规行为不易察觉，存在现场作业安全隐患。由于工作场景点多面广，固定摄像头无法覆盖多个业务场景，因此需要研制多维度视觉智能终端弥补固定摄像头不足，实现可控、多维度视频采集与穿透。
发明内容
本发明的目的在于针对现有技术中的不足，提供一种基于机器视觉的变电现场作业实时监控与报警系统，利用AprilTag图像处理技术，通过定位确定电力作业人员作业位置与作业内容，实时监控作业人员的工位信息。
本发明的目的通过以下技术方案实现：
一种基于机器视觉的变电现场作业实时监控与报警系统，包括：
穿戴装备，所述穿戴设备上设置有AprilTag图标，所述AprilTag图标具有唯一ID号；
处理器，所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理，识别图标的ID号，；
摄像头，所述摄像头用于采集图像信息，捕捉穿戴设备上的AprilTag图标，并传送至处理器；
语音系统：所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号；
通讯系统：所述通信系统用于上传报警信息与视频，接受上位机指定。
进一步地，所述摄像头包括多个独立角度的摄像头，采集图像的范围覆盖工作区域所有工位。
进一步地，所述穿戴设备包括绝缘手套、绝缘靴、工作服和安全帽。
进一步地，所述穿戴装备上安装有多个AprilTag图标，分别设置在穿戴设备的正面、背面或左右两侧。
进一步地，所述处理器中包括AprilTag图标编码库。
进一步地，所述处理器根据摄像头采集的图像信息对作业人员的位置和工位进行判定，并根据判定情况控制语音系统做出相对响应。
进一步地，所述判定过程包括以下步骤：
S1.将摄像头捕捉的AprilTag图标的ID值与处理器中的AprilTag图标编码库相匹配；
S2.用矩形框将检测到的图像tag部分框出来，得到tag的角点在图像像素坐标系下的坐标，根据tag的实际大小，计算tag各角点的世界坐标系坐标，具体计算公式如下：
S3.将第三列去掉，使tag坐标系转化二维坐标系，补充平移矩阵得到E，具体计算公式如下：
式中，已知hij和fx，可以计算出Rij和Tk。s作为尺度因子是未知的，由于旋转矩阵的列必须是单位化的，所以可以根据Rij约束s的大小；旋转矩阵的列之间是正交的，第三列可以根据前两列的叉乘得到；得旋转矩阵和平移矩阵；所述平移矩阵Tx,Ty,Tz即为tag相对于摄像机中心的坐标值，TX为tag中心相对于摄像机中心的横向偏移量，Tz为tag中心距离摄像机的深度；
S5.利用TX、Tz值与数据库中工位坐标系比较，得到位置和作业工位信息。
进一步地，所述数据库中储存有不同工位对着装要求的装置的ID值，步骤S1中还包括对AprilTag图标的ID值与数据库中该工位着装需求的ID值进行比对，判断是否是规定的着装。
进一步地，步骤S1中可切换摄像头换个角度进行图像采样进行比对。
进一步地，步骤S1中多次比对失败后，所述语音系统发出语音报警信号，所述通信系统上传报警信息与视频图像。
与现有技术相比，本发明的有益效果如下：
本发明可对采集的图像信息进行智能化分析和处理，确定电力作业人员作业位置与作业内容，通过语音提示作业流程与作业注意事项，如果作业人员穿戴违规，可及时发出语音报警信号，减少安全隐患。本发明在判定过程中，可依据全方位的摄像头进行多次比对，监控系统可靠，判定结果准确。
附图说明
图1为设有AprilTag图标的穿戴装置；
图2为作业人员作业位置确定流程图；
图3为作业人员着装违规检测与自动报警流程图。
具体实施方式
为了便于理解本发明，下文将结合实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解的含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不旨在限制本发明的保护范围。
除非另有特别说明，本发明中用到的各种原材料、试剂、仪器和设备等均可通过市场购买得到或者可通过现有方法制备得到。
实施例1
如图1～2所示，本实施例提供一种基于机器视觉的变电现场作业实时监控与报警系统，包括：
穿戴装备，所述穿戴设备上设置有AprilTag图标，所述AprilTag图标具有唯一ID号；
处理器，所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理，识别图标的ID号，；
摄像头，所述摄像头用于采集图像信息，捕捉穿戴设备上的AprilTag图标，并传送至处理器；
语音系统：所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号；
通讯系统：所述通信系统用于上传报警信息与视频，接受上位机指定。
本实施例中，在工作区域安装多个独立角度的摄像头，采集图像的范围覆盖工作区域所有工位，实现对工作区域的全覆盖。作业人员所用的穿戴设备包括绝缘手套、绝缘靴、工作服和安全帽，在上述穿戴装备上安装有多个AprilTag图标，分别设置在穿戴设备的正面、背面或左右两侧。在处理器中包括AprilTag图标编码库，根据摄像头采集的图像信息对作业人员的位置和工位进行判定，并根据判定情况控制语音系统做出相对响应。
具体地，本实施例中的判定过程包括以下步骤：
S1.将摄像头捕捉的AprilTag图标的ID值与处理器中的AprilTag图标编码库相匹配；
S2.用矩形框将检测到的图像tag部分框出来，得到tag的角点在图像像素坐标系下的坐标，根据tag的实际大小，计算tag各角点的世界坐标系坐标，具体计算公式如下：
S3.将第三列去掉，使tag坐标系转化二维坐标系，补充平移矩阵得到E，具体计算公式如下：
式中，已知hij和fx，可以计算出Rij和Tk。s作为尺度因子是未知的，由于旋转矩阵的列必须是单位化的，所以可以根据Rij约束s的大小；旋转矩阵的列之间是正交的，第三列可以根据前两列的叉乘得到；得旋转矩阵和平移矩阵；所述平移矩阵Tx,Ty,Tz即为tag相对于摄像机中心的坐标值，TX为tag中心相对于摄像机中心的横向偏移量，Tz为tag中心距离摄像机的深度；
S5.利用TX、Tz值与数据库中工位坐标系比较，得到位置和作业工位信息，监测现场作业的情况。
实施例2
本实施例参照实施例1，提供一种作业人员作业位置的确定方法，在数据库中储存有不同工位对着装要求的装置的ID值，步骤S1中还包括对AprilTag图标的ID值与数据库中该工位着装需求的ID值进行比对，判断是否是规定的着装。本实施例中，在判定过程中可切换摄像头换个角度进行图像采样进行比对；步骤S1中多次比对失败后，所述语音系统发出语音报警信号，所述通信系统上传报警信息与视频图像。
显然，上述实施例仅仅是为清楚地说明本发明的技术方案所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，包括：
穿戴装备，所述穿戴装备上设置有AprilTag图标，所述AprilTag图标具有唯一ID号；
处理器，所述处理器基于AprilTag图像处理技术对穿戴设备上的AprilTag图标进行处理，识别图标的ID号；
摄像头，所述摄像头用于采集图像信息，捕捉穿戴设备上的AprilTag图标，并传送至处理器；
语音系统：所述语音系统用于语音提示作业流程与作业注意事项或发出语音报警信号；
通讯系统：所述通讯系统用于上传报警信息与视频，接受上位机指定；
所述处理器中包括AprilTag图标编码库；所述处理器根据摄像头采集的图像信息对作业人员的位置和工位进行判定，并根据判定情况控制语音系统做出相对响应；
所述判定过程包括以下步骤：
S1.将摄像头捕捉的AprilTag图标的ID值与处理器中的AprilTag图标编码库相匹配；
S2.用矩形框将检测到的图像tag部分框出来，得到tag的角点在图像像素坐标系下的坐标，根据tag的实际大小，计算tag各角点的世界坐标系坐标，
S3. 使tag 坐标系转化二维坐标系，补充平移矩阵；
S4.利用tag中心相对于摄像机中心的横向偏移量、tag中心距离摄像机的深度与数据库中工位坐标系比较，得到位置和作业工位信息。
2.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，所述摄像头包括多个独立角度的摄像头，采集图像的范围覆盖工作区域所有工位。
3.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，所述穿戴设备包括绝缘手套、绝缘靴、工作服和安全帽。
4.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，所述穿戴装备上安装有多个AprilTag图标，分别设置在穿戴设备的正面、背面或左右两侧。
5.根据权利要求1所述的基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，所述数据库中储存有不同工位对着装要求的装置的ID值，步骤S1中还包括对AprilTag图标的ID值与数据库中该工位对着装要求的装置的ID值进行比对，判断是否是规定的着装。
6.根据权利要求5所述的基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，步骤S1中可切换摄像头换个角度进行图像采样进行比对。
7.根据权利要求6所述的基于机器视觉的变电现场作业实时监控与报警系统，其特征在于，步骤S1中多次比对失败后，所述语音系统发出语音报警信号，所述通讯系统上传报警信息与视频图像。
CN202111289674.4A 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统 Active CN114007047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111289674.4A CN114007047B (zh) 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111289674.4A CN114007047B (zh) 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统

Publications (2)

Publication Number Publication Date
CN114007047A CN114007047A (zh) 2022-02-01
CN114007047B true CN114007047B (zh) 2024-03-15

Family

ID=79926615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111289674.4A Active CN114007047B (zh) 2021-11-02 2021-11-02 一种基于机器视觉的变电现场作业实时监控与报警系统

Country Status (1)

Country Link
CN (1) CN114007047B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463181A (zh) * 2017-08-30 2017-12-12 南京邮电大学 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN107680220A (zh) * 2017-09-28 2018-02-09 朱明增 一种基于机器视觉技术的作业违规行为智能识别方法
CN108819943A (zh) * 2018-05-13 2018-11-16 上海交通大学 一种基于二维码的自主跟车系统及方法
CN109398302A (zh) * 2018-10-30 2019-03-01 四川长虹电器股份有限公司 基于AprilTag标签的车内儿童状态监测系统
CN109794422A (zh) * 2019-04-04 2019-05-24 溧阳市新力机械铸造有限公司 一种基于apriltag的车间零件定位系统
CN111479089A (zh) * 2020-04-15 2020-07-31 云南电网有限责任公司曲靖供电局 一种基于北斗定位的电网施工监控方法及系统
JP2020119550A (ja) * 2019-01-15 2020-08-06 エヌビディア コーポレーション 拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別
CN112184812A (zh) * 2020-09-23 2021-01-05 广东海洋大学 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN112364766A (zh) * 2020-11-11 2021-02-12 南京音飞储存设备（集团）股份有限公司 一种基于结构光与AprilTag的位姿识别方法及系统
CN113237478A (zh) * 2021-05-27 2021-08-10 哈尔滨工业大学 一种无人机的姿态和位置估计方法及无人机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666929B2 (en) * 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463181A (zh) * 2017-08-30 2017-12-12 南京邮电大学 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN107680220A (zh) * 2017-09-28 2018-02-09 朱明增 一种基于机器视觉技术的作业违规行为智能识别方法
CN108819943A (zh) * 2018-05-13 2018-11-16 上海交通大学 一种基于二维码的自主跟车系统及方法
CN109398302A (zh) * 2018-10-30 2019-03-01 四川长虹电器股份有限公司 基于AprilTag标签的车内儿童状态监测系统
JP2020119550A (ja) * 2019-01-15 2020-08-06 エヌビディア コーポレーション 拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別
CN109794422A (zh) * 2019-04-04 2019-05-24 溧阳市新力机械铸造有限公司 一种基于apriltag的车间零件定位系统
CN111479089A (zh) * 2020-04-15 2020-07-31 云南电网有限责任公司曲靖供电局 一种基于北斗定位的电网施工监控方法及系统
CN112184812A (zh) * 2020-09-23 2021-01-05 广东海洋大学 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN112364766A (zh) * 2020-11-11 2021-02-12 南京音飞储存设备（集团）股份有限公司 一种基于结构光与AprilTag的位姿识别方法及系统
CN113237478A (zh) * 2021-05-27 2021-08-10 哈尔滨工业大学 一种无人机的姿态和位置估计方法及无人机

Also Published As

Publication number Publication date
CN114007047A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN109271844B (zh) 基于OpenCV的电气柜电气符号识别方法
WO2022037281A1 (zh) 一种基于机器视觉的变电现场作业实时监控与报警系统
CN110874866B (zh) 一种基于视频的变电站三维监控方法及系统
CN109409395A (zh) 在电力监控中采用模板匹配法识别目标物体区域电气符号的方法
CN110579191A (zh) 目标对象的巡检方法、装置及设备
US20140355828A1 (en) Setting apparatus, setting method, and storage medium
CN110738289A (zh) 电力作业标准化的多维联动综合研判装置及其使用方法
CN112784821A (zh) 基于YOLOv5的工地行为安全检测识别方法及系统
CN115880722A (zh) 一种配电作业人员穿戴的智能识别方法、系统和介质
CN111416960B (zh) 一种基于云服务的视频监控系统
CN210222962U (zh) 一种智能电子围栏系统
WO2016143976A1 (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
CN114007047B (zh) 一种基于机器视觉的变电现场作业实时监控与报警系统
KR20180072466A (ko) 영상 감시 영역 설정 시스템 및 방법
CN113469150B (zh) 一种用于对风险行为进行识别的方法及系统
CN113435433B (zh) 一种基于作业现场的音视频数据提取处理系统
CN214896722U (zh) 一种毫米波雷达融合视频分析的变电站作业轨迹管控装置
CN115953815A (zh) 基建现场的监测方法及装置
CN115690687A (zh) 一种基于深度学习技术的安全穿戴规范检测系统
CN113920535A (zh) 一种基于YOLOv5的电子区域检测方法
CN114549822A (zh) 基于预置位摄像头的隔离开关闭合状态检测方法
CN110619626B (zh) 图像处理设备、系统、方法以及装置
CN113627321A (zh) 基于人工智能的图像识别方法、装置及计算机设备
CN112001296A (zh) 变电站立体化安全监控方法、装置，服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant