CN109409289A - 一种电力作业安全监督机器人安全作业识别方法及系统 - Google Patents

一种电力作业安全监督机器人安全作业识别方法及系统 Download PDF

Info

Publication number
CN109409289A
CN109409289A CN201811258475.5A CN201811258475A CN109409289A CN 109409289 A CN109409289 A CN 109409289A CN 201811258475 A CN201811258475 A CN 201811258475A CN 109409289 A CN109409289 A CN 109409289A
Authority
CN
China
Prior art keywords
target
feature
safety supervision
electric operating
moving target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811258475.5A
Other languages
English (en)
Inventor
陈缨
常政威
彭倩
王大兴
郑凯
彭倍
刘静
葛森
包杨川
何明
郑翔
杨枭
刘海龙
何玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority to CN201811258475.5A priority Critical patent/CN109409289A/zh
Publication of CN109409289A publication Critical patent/CN109409289A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Abstract

本发明公开了一种电力作业安全监督机器人安全作业识别方法及系统,包括智能机器人、图像采集模块及图像分析处理模块，图像采集模块设置在所述智能机器人上，方法包括以下步骤：通过图像采集模块获取图像数据；提取图像数据中的特征，判断监测区域和运动目标；通过多特征融合算法判断所述监测区域或运动目标是否异常；本发明通过HOG特征提取和LBP特征提取的串联融合，有效提高了设备及作业人员的状态识别精度，通过图像采集进行设备和作业人员的状态识别、判断，有效提高了电力生产过程的安全监督效率，降低了安全监督成本。

Description

一种电力作业安全监督机器人安全作业识别方法及系统
技术领域
本发明涉及电力安监识别技术领域，尤其是涉及一种电力作业安全监督机器人安全作业识别方法及系统。
背景技术
电力行业与人们的生活以及企业的生产息息相关，电力设备的正常工作时确保正常供电的必要条件，所以对电力作业的安全监督十分重要，通过安监来掌握线路和电力设备的运行状况、周围环境的变化等等，发现电力作业过程的隐患以及电力设备安全的隐患，及时消除隐患。
传统的电力安监主要依靠人工在现场完成，在电力安监中劳动力耗费大，人工巡检容易出现巡检不到位、巡检不完善等情况，导致工作效率低下。
而传统的单一图像识别，特征提取算法无法满足电力安监作业中的识别精度和速度需求。
发明内容
为了解决上述问题，本发明提出了一种电力作业安全监督机器人安全作业识别方法及系统，通过多种特征提取融合实现安全监督的异常判断。
本发明提出的一种电力作业安全监督机器人安全作业识别方法，包括以下步骤：
步骤S1，将图像采集模块设置在智能机器人上，通过图像采集模块获取图像数据；
步骤S2，对所述图像数据进行特征提取，确定监测区域和运动目标；
步骤S3，采用多特征融合算法判断所述监测区域和/或运动目标是否异常。
优选的，所述步骤S2具体包括：
步骤S21，基于SIFT特征进行背景建模；
步骤S22，通过SIFT算法提取图像数据的特征点，建立特征点的KD-TREE，通过两点间的欧式距离获取相邻两幅图像中的对应点，进行匹配拼接；
步骤S23，通过RANSAC算法剔除步骤S22中的异常匹配点；
步骤S24，通过背景差分法进行运动目标检测；
步骤S25，并对获得的运动目标进行阴影和鬼影去除。
优选的，所述步骤S3具体包括：
步骤S31，将所述图像数据分别进行HOG特征提取和LBP特征提取；
步骤S32，将提取到的HOG特征和LBP特征进行串联融合，并将融合后的特征数据送入分类器；
步骤S33，通过分类器对所述监测区域和运动目标进行异常判断。
优选的，所述HOG特征提取具体包括以下步骤：
步骤S311，将所述图像数据分割为多个连通单元；
步骤S312，获取各单元中像素点的梯度直方图；
步骤S313，将所述梯度直方图的向量串联构成特征算子。
优选的，所述步骤S32具体包括：
步骤S321，通过HOG特征提取获取各单元像素点的梯度直方图，依次进行梯度计算、三线插值和梯度积分；通过LBP特征提取获取的LBP特征依次进行LBP计算和LBP积分；
步骤S322，将梯度积分与LBP积分进行串联融合，送入分类器。
优选的，所述分类器为SVM分类器。
进一步，所述步骤S3还包括运动目标跟踪。
优选的，所述运动目标跟踪具体包括：以已获取到的所述监测区域为输入，确定运动目标区域大小，对当前帧，通过加权核函数的颜色直方图对运动目标建模，通过相似度度量函数计算下一帧中运动目标模型与设定的候选模型的相似度，直至满足收敛条件时确定运动目标在当前帧的位置。
本发明还提出了一种电力作业安全监督机器人安全作业识别系统，包括智能机器人、图像采集模块和图像处理分析模块；
所述图像采集模块设置在所述智能机器人上，所述图像采集模块用于获取电力作业图像数据并将其传送给图像处理分析模块；
所述图像处理分析模块包括目标检测单元和异常判断单元；所述目标检测单元提取所述图像数据中的特征，判断监测区域和运动目标；所述异常判断单元通过多特征融合算法判断所述监测区域和运动目标是否异常。
进一步，所述图像处理分析模块还包括运动目标跟踪单元，所述运动目标跟踪单元以已获取到的所述监测区域为输入，确定运动目标区域大小，对当前帧，通过加权核函数的颜色直方图对运动目标建模，通过相似度度量函数计算下一帧中运动目标模型与设定的候选模型的相似度，直至满足收敛条件时确定运动目标在当前帧的位置。
本发明具有如下的优点和有益效果：
本发明通过HOG特征提取和LBP特征提取的串联融合，有效提高了设备及作业人员的状态识别精度，通过图像采集进行设备和作业人员的状态识别、判断，有效提高了电力生产过程的安全监督效率，降低了安全监督成本。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明的方法流程图；
图2为本发明的HOG特征提取流程图；
图3为本发明的特征融合流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“平行”、“垂直”等并不表示要求部件绝对平行或垂直，而是可以稍微倾斜。如“平行”仅仅是指其方向相对“垂直”而言更加平行，并不是表示该结构一定要完全平行，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，一种电力作业安全监督机器人安全作业识别方法,包括智能机器人及图像采集模块，所述图像采集模块设置在所述智能机器人上，所述方法包括以下步骤：
S1.通过图像采集模块获取图像数据；
S2.提取所述图像数据中的特征，判断监测区域和作业人员；
S3.通过多特征融合算法判断所述监测区域或作业人员是否异常。
进一步的，所述步骤S2还包括：
S21.基于SIFT特征进行背景建模；
S22.通过SIFT算法提取图像数据的特征点，建立特征点的KD-TREE，通过两点间的欧式距离获取相邻两幅图像中的对应点，进行匹配拼接；
S23.通过RANSAC算法剔除步骤S22中的异常匹配点；
S24.通过背景差分法进行目标检测判断；
S25.进行阴影和鬼影去除。
传统的背景差检测方法不适合用来检测运动目标，必须对运动背景进行补偿，再补偿后的视频图像进行处理。背景运动估计是电力作业安全监督整个目标检测系统的重点，背景运动矢量的准确与否，将直接影响到后面的目标定位工作，采用基于SIFT特征匹配的动摄像机情况下运动目标检测算法，可以很好的检测出了前景目标。
SIFT是局部特征，对图像的旋转、尺度缩放、亮度变化保持不变性，适合用在动摄像机引起的运动背景补偿中。
利用SIFT算法提取鲁棒的特征点(每个特征点用一个特征矢量表示)对图像的旋转、尺幅缩放、亮度变换等都保持不变的特点。建立特征点的KD-TREE，用两点间的欧式距离快速准确的找出相邻两幅图像中的对应点进行匹配拼接，用RANSAC算法剔除选在目标上的异常对应点，最后利用背景差分法实现运动目标的检测，同时进行阴影和鬼影的去除。
进一步的，本发明采用基于统计学习的目标检测方法，首先把含有识别目标和不含有识别目标的图片所组成的训练样本集进行特征提取，再使用分类算法对这些特征进行统计学习后得到分类器，然后对输入图像进行滑动窗口扫描，用训练好的分类器进行判别后可确认是否包含目标。基于统计学习的人员检测方法通过特征提取和分类学习，把图像中的抽象复杂的高维信息转化为适合计算机处理的低维信息，能更好地解决人员遮挡和环境背景复杂等难题，在这一类型的方法中，人员外观特征的描述算子和特征分类器的选取设计是两个主要的重点。
所述步骤S3包括以下步骤：
S31.将所述图像数据分别进行HOG特征提取和LBP特征提取；
S32.将提取到的HOG特征和LBP特征进行串联融合；
S33.将融合后的特征数据送入分类器；
S34.通过分类器对所述监测区域和作业人员进行异常判断。
如图2所示，所述HOG特征提取包括以下步骤：
S311.将所述图像数据分割为多个连通单元；
S312.获取各单元中像素点的梯度直方图；
S313.将所述梯度直方图的向量串联构成特征算子。
HOG(Histogram of Oriented Gradient，梯度方向直方图)特征，对于人体目标的外形特点，在计算机中是以矩阵的形式呈现的，该方法的核心思想是获取图像中物体局部表象和形状的梯度方向特征信息保存在矩阵中，是非常有效的单个人员检测特征。与其他特征描述算子相比，HOG特征对光线明暗和物体形变上有一定的优势，因而特别适合用于人员检测。
在HOG特征提取时，一开始就把图像分成一个个小的cell连通单元区域，然后采集各个cell单元中像素点的梯度方向直方图，再把得到的方向直方图向量串联起来构成描述行人特征算子。而且，在执行这些操作时，对重叠的block区域局部对比度采取了归一化处理，不仅加快了提取的速度，而且进一步弱化了光照和阴影的影响。
LBP(Local Binary Pattern，局部二值模式)特征最早是作为一种有效的纹理描述算子提出的，具有灰度、尺度和旋转不变性等特点，当图像的灰度均匀变化，但是LBP特征却相对不变，所以对光照和复杂背景具有很好的鲁棒性。
本发明将HOG与LBP特征采用串联融合的方式，然后进行行人检测。
如图3所示，所述步骤S33具体为：通过HOG特征提取获取各单元像素点的梯度直方图，依次进行梯度计算，三线插值和梯度积分；通过LBP特征提取并进行LBP计算和LBP积分；将梯度积分与LBP积分进行串联融合，送入分类器。
进一步的，所述分类器为SVM分类器，SVM是基于统计学习理论基础的一种特征空间上间隔最大化的线性分类器。其基本原理是对线性可分的情况进行分析和分类的二分类问题，在多分类任务中也有着优秀的表现。在特征空间中采用结构风险最小化的原理，划分出样本的最优超平面，让分类器发挥最好的性能。
进一步的，所述步骤S3还包括，运动目标跟踪，所述运动目标跟踪采用MeanShfit算法，具体为：以已获取到的所述监测区域为输入，确定运动目标区域大小，对当前帧，通过加权核函数的颜色直方图对目标建模，通过相似度度量函数计算下一帧中目标模型与设定的候选模型的相似度，直至满足收敛条件时确定目标在当前帧的位置。
当目标快速运动或帧间搜索范围较小时，Mean Shift算法将不能保证对目标进行正确跟踪，甚至产生错误跟踪。此外，Mean Shift算法利用目标的直方图信息对目标进行建模，根据颜色的相似度来度量目标间的相似性，而没有利用目标的空间位置和运动速度信息。因而在使用基于颜色分布的Mean Shift算法的过程中，可结合Kalman滤波器加入对目标的位置的预测，保证跟踪效果的稳定性和鲁棒性；在初始化目标在当前帧的中心位置时，先通过Kalman滤波器对目标进行预测，将预测结果代替原釆用Mean Shift初始化的目标中心位置，这样算法成功将目标的空间运动信息融入Mean Shift跟踪算法中，如此能够提高跟踪算法的稳定性和鲁棒性。
本实施例还包括围栏入侵检测，入侵检测算法的主要任务是针对监控图像进行分析。在人员运动目标跟踪基础上，进行人员行为分析。
目标跟踪是对图像序列中的目标进行特征提取，确定目标在每一帧图像中的位置和形状，然后对每帧中的目标进行匹配，确定目标的轨迹。其处理过程中要完成两个主要工作：一是检测出相关目标在当前图像帧中的位置；二是对目标的位置进行关联，在图像中确定目标的区域，提取目标的区域特征，根据特征对目标进行匹配，并预测目标的下一帧位置，确定目标的轨迹。入侵检测中的行为分析是指采用相关算法自动检测入侵到警戒区域内的运动目标并对其进行实时跟踪，确定其运动轨迹，将运动轨迹与预设的入侵规则进行比较，对其是否跨越了警戒线或者警戒区域进行判断，一旦发现有满足预设警戒信息，并用告警框标示出跨越警戒线或者闯入警戒区域的目标，同时在监控画面内画出运动目标运动轨迹，输出警报信息。
本实施例还包括人体行为识别，基于机器视觉的人体行为识别是将包含人体动作的视频添加上动作类型的标签。人体行为识别工作主要分为两个过程:特征表征和动作的识别及理解。特征表征是在视频数据中提取能够表征这段视频关键信息的特征，这个过程在整个识别过程起了关键的作用，特征的好坏直接会影响到最终的识别效果。动作识别及理解阶段是将前一阶段得到的特征向量作为输入经过机器学习算法进行学习，并将在测试过程或应用场景中得到的特征向量输入到上述过程得到的模型中进行类型的识别。
利用卷积神经网络的方法从单目RGB图像中内隐地利用图像的特征与图像相关的空间模型学习人体姿态。依托基于骨架模型的动作识别openpose开源项目。得到人体位姿数据，以位姿数据为样本，进行机器学习和动作分类。
本实施例还包括对设备的烟雾识别，基于视频图像处理的烟雾检测基本上分为两大步骤：烟雾特征提取和烟雾输出判别。为了检测烟雾，首要任务是提取视频烟雾的特征。
烟雾因其视觉模糊特性、半透明性和微粒特性，及其扩散运动特性，使其在颜色空间、不规则运动、主运动方向等方面独具特征。另外，由于用视频图像处理的方法处理烟雾图片，对视频图片的变换又使烟雾在像素域和变换域里有一些不同于其他运动目标的特征。所以可以将烟雾的特征根据其运动行为的不同分为静态特征和动态特征，
烟雾静态特征——暗通道特征，在绝大数非天空的局部区域中，某些像素总会有至少一个颜色通道的像素值很低，称为暗像素。通过统计，发现通常烟雾的三个颜色通道的灰度值大致相同，而且应该在80～220。视频烟雾的动态特征，主要是因为烟雾随空气流动而运动的特征。
烟雾检测过程，首先利用分块帧组差分法进行动区域的检测。之后，对当前帧进行暗通道检测并进行分块操作。将得到的上述两幅二值化的图像进行相与操作。若得到的非零区域大于设定阈值后，继续进行烟雾的动态特征检测。否则则退出当前帧的检测。
为了实施上述电力作业安全监督机器人安全作业识别方法，本实施例还提出了一种电力作业安全监督机器人安全作业识别系统，包括智能机器人、图像采集模块和图像处理分析模块；
所述图像采集模块设置在所述智能机器人上，所述图像采集模块用于获取电力作业图像数据并将其传送给图像处理分析模块；
所述图像处理分析模块包括目标检测单元和异常判断单元；所述目标检测单元提取所述图像数据中的特征，判断监测区域和运动目标；所述异常判断单元通过多特征融合算法判断所述监测区域和运动目标是否异常。
所述图像处理分析模块还包括运动目标跟踪单元，所述运动目标跟踪单元以已获取到的所述监测区域为输入，确定运动目标区域大小，对当前帧，通过加权核函数的颜色直方图对运动目标建模，通过相似度度量函数计算下一帧中运动目标模型与设定的候选模型的相似度，直至满足收敛条件时确定运动目标在当前帧的位置。
当目标快速运动或帧间搜索范围较小时，Mean Shift算法将不能保证对目标进行正确跟踪，甚至产生错误跟踪。此外，Mean Shift算法利用目标的直方图信息对目标进行建模，根据颜色的相似度来度量目标间的相似性，而没有利用目标的空间位置和运动速度信息。因而在使用基于颜色分布的Mean Shift算法的过程中，可结合Kalman滤波器加入对目标的位置的预测，保证跟踪效果的稳定性和鲁棒性；在初始化目标在当前帧的中心位置时，先通过Kalman滤波器对目标进行预测，将预测结果代替原釆用Mean Shift初始化的目标中心位置，这样算法成功将目标的空间运动信息融入Mean Shift跟踪算法中，如此能够提高跟踪算法的稳定性和鲁棒性。
所述图像处理分析模块还包括围栏入侵检测单元，入侵检测单元的主要任务是针对监控图像进行分析。在人员运动目标跟踪基础上，进行人员行为分析。
目标跟踪是对图像序列中的目标进行特征提取，确定目标在每一帧图像中的位置和形状，然后对每帧中的目标进行匹配，确定目标的轨迹。其处理过程中要完成两个主要工作：一是检测出相关目标在当前图像帧中的位置；二是对目标的位置进行关联，在图像中确定目标的区域，提取目标的区域特征，根据特征对目标进行匹配，并预测目标的下一帧位置，确定目标的轨迹。入侵检测中的行为分析是指采用相关算法自动检测入侵到警戒区域内的运动目标并对其进行实时跟踪，确定其运动轨迹，将运动轨迹与预设的入侵规则进行比较，对其是否跨越了警戒线或者警戒区域进行判断，一旦发现有满足预设警戒信息，并用告警框标示出跨越警戒线或者闯入警戒区域的目标，同时在监控画面内画出运动目标运动轨迹，输出警报信息。
所述图像处理分析模块还包括人体行为识别单元，基于机器视觉的人体行为识别是将包含人体动作的视频添加上动作类型的标签。人体行为识别工作主要分为两个过程:特征表征和动作的识别及理解。特征表征是在视频数据中提取能够表征这段视频关键信息的特征，这个过程在整个识别过程起了关键的作用，特征的好坏直接会影响到最终的识别效果。动作识别及理解阶段是将前一阶段得到的特征向量作为输入经过机器学习算法进行学习，并将在测试过程或应用场景中得到的特征向量输入到上述过程得到的模型中进行类型的识别。
利用卷积神经网络的方法从单目RGB图像中内隐地利用图像的特征与图像相关的空间模型学习人体姿态。依托基于骨架模型的动作识别openpose开源项目。得到人体位姿数据，以位姿数据为样本，进行机器学习和动作分类。
所述图像处理分析模块还包括对设备的烟雾识别单元，基于视频图像处理的烟雾检测主要包括：烟雾特征提取和烟雾输出判别。为了检测烟雾，首要任务是提取视频烟雾的特征。
烟雾因其视觉模糊特性、半透明性和微粒特性，及其扩散运动特性，使其在颜色空间、不规则运动、主运动方向等方面独具特征。另外，由于用视频图像处理的方法处理烟雾图片，对视频图片的变换又使烟雾在像素域和变换域里有一些不同于其他运动目标的特征。所以可以将烟雾的特征根据其运动行为的不同分为静态特征和动态特征，
烟雾静态特征——暗通道特征，在绝大数非天空的局部区域中，某些像素总会有至少一个颜色通道的像素值很低，称为暗像素。通过统计，发现通常烟雾的三个颜色通道的灰度值大致相同，而且应该在80～220。视频烟雾的动态特征，主要是因为烟雾随空气流动而运动的特征。
烟雾检测过程，首先利用分块帧组差分法进行动区域的检测。之后，对当前帧进行暗通道检测并进行分块操作。将得到的上述两幅二值化的图像进行相与操作。若得到的非零区域大于设定阈值后，继续进行烟雾的动态特征检测。否则则退出当前帧的检测。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电力作业安全监督机器人安全作业识别方法，其特征在于，包括以下步骤：
步骤S1，将图像采集模块设置在智能机器人上，通过图像采集模块获取电力作业图像数据；
步骤S2，对所述图像数据进行特征提取，判断监测区域和运动目标；
步骤S3，采用多特征融合算法判断所述监测区域和/或运动目标是否异常。
2.根据权利要求1所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述步骤S2具体包括：
步骤S21，基于SIFT特征进行背景建模；
步骤S22，通过SIFT算法提取图像数据的特征点，建立特征点的KD-TREE，通过两点间的欧式距离获取相邻两幅图像中的对应点，进行匹配拼接；
步骤S23，通过RANSAC算法剔除步骤S22中的异常匹配点；
步骤S24，通过背景差分法进行运动目标检测；
步骤S25，并对获得的运动目标进行阴影和鬼影去除。
3.根据权利要求1所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述步骤S3具体包括：
步骤S31，将所述图像数据分别进行HOG特征提取和LBP特征提取；
步骤S32，将提取到的HOG特征和LBP特征进行串联融合，并将融合后的特征数据送入分类器；
步骤S33，通过分类器对所述监测区域和运动目标进行异常判断。
4.根据权利要求3所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述HOG特征提取具体包括以下步骤：
步骤S311，将所述图像数据分割为多个连通单元；
步骤S312，获取各单元中像素点的梯度直方图；
步骤S313，将所述梯度直方图的向量串联构成特征算子。
5.根据权利要求3所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述步骤S32具体包括：
步骤S321，通过HOG特征提取获取各单元像素点的梯度直方图，依次进行梯度计算、三线插值和梯度积分；通过LBP特征提取获取的LBP特征依次进行LBP计算和LBP积分；
步骤S322，将梯度积分与LBP积分进行串联融合，送入分类器。
6.根据权利要求1-5任一项所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述分类器为SVM分类器。
7.根据权利要求1-5任一项所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述步骤S3还包括运动目标跟踪。
8.根据权利要求7所述的一种电力作业安全监督机器人安全作业识别方法，其特征在于，所述运动目标跟踪具体包括：以已获取到的所述监测区域为输入，确定运动目标区域大小，对当前帧，通过加权核函数的颜色直方图对运动目标建模，通过相似度度量函数计算下一帧中运动目标模型与设定的候选模型的相似度，直至满足收敛条件时确定运动目标在当前帧的位置。
9.一种电力作业安全监督机器人安全作业识别系统，其特征在于，包括智能机器人、图像采集模块和图像处理分析模块；
所述图像采集模块设置在所述智能机器人上，所述图像采集模块用于获取电力作业图像数据并将其传送给图像处理分析模块；
所述图像处理分析模块包括目标检测单元和异常判断单元；所述目标检测单元提取所述图像数据中的特征，判断监测区域和运动目标；所述异常判断单元通过多特征融合算法判断所述监测区域和运动目标是否异常。
10.根据权利要求9所述的一种电力作业安全监督机器人安全作业识别系统，其特征在于，所述图像处理分析模块还包括运动目标跟踪单元，所述运动目标跟踪单元以已获取到的所述监测区域为输入，确定运动目标区域大小，对当前帧，通过加权核函数的颜色直方图对运动目标建模，通过相似度度量函数计算下一帧中运动目标模型与设定的候选模型的相似度，直至满足收敛条件时确定运动目标在当前帧的位置。
CN201811258475.5A 2018-10-26 2018-10-26 一种电力作业安全监督机器人安全作业识别方法及系统 Pending CN109409289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811258475.5A CN109409289A (zh) 2018-10-26 2018-10-26 一种电力作业安全监督机器人安全作业识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811258475.5A CN109409289A (zh) 2018-10-26 2018-10-26 一种电力作业安全监督机器人安全作业识别方法及系统

Publications (1)

Publication Number Publication Date
CN109409289A true CN109409289A (zh) 2019-03-01

Family

ID=65469119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811258475.5A Pending CN109409289A (zh) 2018-10-26 2018-10-26 一种电力作业安全监督机器人安全作业识别方法及系统

Country Status (1)

Country Link
CN (1) CN109409289A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、系统和智能终端
CN110744546A (zh) * 2019-11-01 2020-02-04 云南电网有限责任公司电力科学研究院 一种缺陷修复机器人抓取非静止导线的方法及系统
CN112047057A (zh) * 2019-06-05 2020-12-08 西安瑞德宝尔智能科技有限公司 物料传送设备的安全监控方法及系统
CN112465811A (zh) * 2020-12-16 2021-03-09 国网四川省电力公司电力科学研究院 电力作业现场高精度动态目标定位方法及装置
CN112668461A (zh) * 2020-12-25 2021-04-16 浙江弄潮儿智慧科技有限公司 一种具有野生动物识别的智能监管系统
CN112686895A (zh) * 2021-03-11 2021-04-20 成都点泽智能科技有限公司 红外弱小目标的检测方法、装置及服务器
CN112911203A (zh) * 2019-11-19 2021-06-04 杭州海康威视数字技术股份有限公司 获取目标轨迹的摄像机
CN112990148A (zh) * 2021-05-07 2021-06-18 武汉理工大学 智能搬运机器人目标识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809732A (zh) * 2015-05-07 2015-07-29 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
CN106781513A (zh) * 2016-11-28 2017-05-31 东南大学 一种基于特征融合的城市交通场景中车辆行为的识别方法
WO2018162929A1 (en) * 2017-03-10 2018-09-13 ThirdEye Labs Limited Image analysis using neural networks for pose and action identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809732A (zh) * 2015-05-07 2015-07-29 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
CN106781513A (zh) * 2016-11-28 2017-05-31 东南大学 一种基于特征融合的城市交通场景中车辆行为的识别方法
WO2018162929A1 (en) * 2017-03-10 2018-09-13 ThirdEye Labs Limited Image analysis using neural networks for pose and action identification

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
侯杰: "巡逻机器人中的行人检测技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
康晓晶: "视频监控系统目标跟踪检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王亮芬: "基于SIFT 特征匹配和动态更新背景模型的运动目标检测算法", 《计算机应用与软件》 *
黎学森: "电力生产中异常人体行为识别的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、系统和智能终端
CN112047057A (zh) * 2019-06-05 2020-12-08 西安瑞德宝尔智能科技有限公司 物料传送设备的安全监控方法及系统
CN110744546A (zh) * 2019-11-01 2020-02-04 云南电网有限责任公司电力科学研究院 一种缺陷修复机器人抓取非静止导线的方法及系统
CN112911203A (zh) * 2019-11-19 2021-06-04 杭州海康威视数字技术股份有限公司 获取目标轨迹的摄像机
CN112911203B (zh) * 2019-11-19 2022-04-26 杭州海康威视数字技术股份有限公司 获取目标轨迹的摄像机
CN112465811A (zh) * 2020-12-16 2021-03-09 国网四川省电力公司电力科学研究院 电力作业现场高精度动态目标定位方法及装置
CN112668461A (zh) * 2020-12-25 2021-04-16 浙江弄潮儿智慧科技有限公司 一种具有野生动物识别的智能监管系统
CN112668461B (zh) * 2020-12-25 2023-05-23 浙江弄潮儿智慧科技有限公司 一种具有野生动物识别的智能监管系统
CN112686895A (zh) * 2021-03-11 2021-04-20 成都点泽智能科技有限公司 红外弱小目标的检测方法、装置及服务器
CN112686895B (zh) * 2021-03-11 2021-05-18 成都点泽智能科技有限公司 红外弱小目标的检测方法、装置及服务器
CN112990148A (zh) * 2021-05-07 2021-06-18 武汉理工大学 智能搬运机器人目标识别方法及系统

Similar Documents

Publication Publication Date Title
CN109409289A (zh) 一种电力作业安全监督机器人安全作业识别方法及系统
CN109460719A (zh) 一种电力作业安全识别方法
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN104809463B (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
Yin et al. Likelihood map fusion for visual object tracking
CN106845502A (zh) 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN109918971B (zh) 监控视频中人数检测方法及装置
EP2549759B1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
CN109190475B (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN109672863A (zh) 一种基于图像识别的施工人员安全装备智能监测方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN110298297A (zh) 火焰识别方法和装置
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN103605983A (zh) 一种遗留物检测和跟踪方法
Chen et al. Research on image fire detection based on support vector machine
CN109598200B (zh) 一种铁水罐罐号的图像智能识别系统及方法
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN109685038A (zh) 一种物品干净程度监测方法及其装置
JP2004213567A (ja) 画像学習装置及びその学習方法
CN105631410B (zh) 一种基于智能视频处理技术的课堂检测方法
Landabaso et al. Robust tracking and object classification towards automated video surveillance
CN109190530A (zh) 一种基于人脸识别大数据算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301