CN110210530A - 基于机器视觉的智能监控方法、装置、设备、系统和存储介质 - Google Patents

基于机器视觉的智能监控方法、装置、设备、系统和存储介质 Download PDF

Info

Publication number
CN110210530A
CN110210530A CN201910400850.3A CN201910400850A CN110210530A CN 110210530 A CN110210530 A CN 110210530A CN 201910400850 A CN201910400850 A CN 201910400850A CN 110210530 A CN110210530 A CN 110210530A
Authority
CN
China
Prior art keywords
fingerprint
machine vision
several
subregion
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910400850.3A
Other languages
English (en)
Inventor
胡海洋
朱相玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhishan Yunke Information Technology Co Ltd
Original Assignee
Hangzhou Zhishan Yunke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhishan Yunke Information Technology Co Ltd filed Critical Hangzhou Zhishan Yunke Information Technology Co Ltd
Priority to CN201910400850.3A priority Critical patent/CN110210530A/zh
Publication of CN110210530A publication Critical patent/CN110210530A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种基于机器视觉的智能监控方法、装置、设备、系统和存储介质,其中,基于机器视觉的智能监控方法,包括如下步骤:获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。本申请提供的基于机器视觉的智能监控方法,简单有效,不需要大量的训练数据,可以达到实时检测的目的,而且检测的准确率可以满足实时停机的安全需求。

Description

基于机器视觉的智能监控方法、装置、设备、系统和存储介质
技术领域
本申请涉及视频监控技术领域,特别是涉及一种基于机器视觉的智能监控方法、装置、设备、系统和存储介质。
背景技术
随着工业的不断发展,越来越多的工厂企业采用了自动化的生产技术,利用机器人代替人进行生产,很少需要人工的干预,甚至出现了无人工厂。然而,机器人自动生产过程中会出现一些不可避免的安全问题,比如:无关人员进入机器人正在工作的工作环境中,会引发严重的生命安全问题。
为了解决这个问题,需要一套能够实时检测机器人工作环境中是否有异物闯入的监控系统,一旦有异物进入机器人的工作环境中,对机器人实时停机,以保障生命与财产安全。典型的基于机器视觉的自动化工位信号连锁系统主要由前端监视设备、传输设备、后端存储、控制及显示设备这五大部分组成。
现有的安全监控一般由人工进行检测,或者是先用自动照相机拍照后再对监控图片进行识别。然而,如今机器人自动生产的场景越来越多,监控系统数据量过于庞大,要对每一个监控视频进行人工监控需要很大的人力资源,不但很费时间,而且具有严重的滞后性,因此,迫切需要将安全监测智能化,实时化,高效化。
发明内容
基于此,本申请提供了一种基于机器视觉的智能监控方法,简单有效,不需要大量的训练数据,可以达到实时检测的目的,而且检测的准确率可以满足实时停机的安全需求。
一种基于机器视觉的智能监控方法,其特征在于,包括如下步骤:
获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;
依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。
本申请涉及智能制造业中无人车间的安全智能监控,尤其涉及基于机器视觉的自动化工位信号连锁技术,通过对监控视频进行异常分析,以判断是否有人员或期望外物体进入危险区域,如果有人员或期望外物体进入危险区域,则控制生产设备停止运行,避免不必要的安全事故。
以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
可选地,所述的若干聚类簇通过对视频帧中各区域的指纹聚类得到,具体包括:
获取包含机器所有运动状态的训练视频,在训练视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
利用哈希算法计算各子区域的指纹,对各指纹进行基于汉明距离的聚类,得到所述的若干聚类簇。
可选地,依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常,具体为:若某子区域的指纹与任意一个聚类簇中心的距离均大于对应的聚类簇类内最大距离,则判断为发生异常。
可选地,还包括:
间隔预定时间后,利用监控视频中各选定帧子区域的指纹对各聚类簇进行更新。
可选地,利用哈希算法计算各子区域的指纹,具体包括:
对监控视频中各选定帧的子区域进行光照归一化处理;
去除光照归一化处理后图像的高斯噪声,并进行尺寸缩小、色彩简化、以及离散余弦变换,得到32×32矩阵;
针对32×32矩阵中体现最低频率的8×8矩阵,以8×8矩阵中所有元素的平均值作为判定阈值,将8×8矩阵中大于等于判定阈值的元素设定为1,小于判定阈值的元素设定为0,各元素以预设顺序排列后得到指纹。
本申请还提供了一种基于机器视觉的智能监控装置,包括:
第一模块,用于获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
第二模块,用于利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;
第三模块,用于依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。
本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述的基于机器视觉的智能监控方法。
本申请还提供了一种基于机器视觉的智能监控系统,包括视觉检测系统,所述视觉检测系统包括存储器和处理器,所述存储器内存储有计算机程序,所述处理器执行所述计算机程序时,实现所述的基于机器视觉的智能监控方法。
可选地,还包括用于控制生产设备运行状态的控制单元,所述控制单元接收视觉检测系统的输出信息,并依据该输出信息控制生产设备的运行状态。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于机器视觉的智能监控方法。
本申请适用于机器自动工作的工厂生产环境,能够检测出危险区域出现无关人员的情况,如果在危险区域检测到无关人员,则控制机器停止动作,避免出现安全事故。
本申请提供的监控方法对实现硬件要求较低,即使在普通个人计算机上也能够达到实时检测的效果,且能够保证检测的精确度。
附图说明
图1为本申请其中一个实施例中的监控系统的硬件架构图;
图2为本申请其中一个实施例中云端服务器和终端控制器的通信图;
图3为本申请其中一个实施例中计算机设备的示意图;
图4为本申请其中一个实施例中基于机器视觉的智能监控方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更好地描述和说明本申请的实施例,可参考一幅或多幅附图,但用于描述附图的附加细节或示例不应当被认为是对本申请的发明创造、目前所描述的实施例或优选方式中任何一者的范围的限制。
需要说明的是,当组件被称为与另一个组件“连接”时,它可以直接与另一个组件连接或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件,它可以是直接设置在另一个组件上或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
一种基于机器视觉的智能监控方法,如图4所示,包括如下步骤:
获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;
依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。
监控视频中的危险区域可以采用各种方法进行选取,例如采用人工选取或自动识别选取等,为了提高处理的速度,对危险区域进一步进行划分,即将危险区域划分为子区域,针对各子区域分别进行处理,各子区域可以同时或分组进行处理,针对分组的情况,可以采用各组依次、组内同时处理的方式,也可以采用各组同时、组内依次处理的方式。
监控视频为固定视角下的监控视频,对监控视频中各选定帧进行危险区域划分时,每个选定帧中的危险区域相同且对危险区域的划分方式相同。
本申请采用哈希算法计算各子区域的指纹,具体包括:
对监控视频中各选定帧的子区域进行光照归一化处理;
去除光照归一化处理后图像的高斯噪声,并进行尺寸缩小、色彩简化、以及离散余弦变换,得到32×32矩阵;
针对32×32矩阵中体现最低频率的8×8矩阵,以8×8矩阵中所有元素的平均值作为判定阈值,将8×8矩阵中大于等于判定阈值的元素设定为1,小于判定阈值的元素设定为0,各元素以预设顺序排列后得到指纹。
更具体地,包括:
步骤1,从监控视频中每隔1s截取一帧作为选定帧,将选定帧中的危险区域划分为若干子区域。例如,对于m个选定帧,将每个选定帧的危险区域划分为n个子区域(S1,S2,S3,…,Sn),每个子区域对应有m张图片,S1={P1 1,P1 2,P1 3,…,P1 m},…,Sn={Pn 1,Pn 2,Pn 3,…,Pn m}。
步骤2,由于生产设备工作运行的环境比较复杂,周围灯光的变化较大,加上生产设备周围还有各种工人活动,导致生产设备周围光线变化较大,为了处理光线不断变化的问题,对选定帧采用了光照归一化处理,即通过非线性变换,让图像从暴光强度的线性响应变得更接近人眼感受的响应。
例如,采用图像的Gamma校正方法,Gamma校正公式:f(I)=Iγ,I为原图像素值,f(I)为Gamma校正后的像素值。当γ>1时,对图像的灰度分布直方图具有拉伸作用(使灰度向高灰度值延展),而当γ<1时,对图像的灰度分布直方图具有收缩作用(是使灰度向低灰度值方向靠拢)。
步骤3,去除高斯噪声。由于进行实时监测时,摄像机传感器元件内部会产生高斯噪声z,高斯噪声z根据函数计算出,其中,μ表示z的平均值或期望值,σ表示z的标准差。当z服从上述分布时,其值有95%落在[(μ-2σ),(μ+2σ)]范围内。为了去除高斯噪声,使用5×5高斯低通滤波器(一般为奇数)进行去噪。
高斯低通滤波器是一类传递函数为高斯函数的线性平滑滤波器,由于高斯函数是正态分布的密度函数,因此,高斯低通滤波器对于去除服从正态分布的噪声非常有效。高斯去噪就是将(灰度)图像I和一个高斯核Gσ进行卷积操作:
Iσ=/*Gσ
其中*表示卷积操作;Gσ是标准差为σ的二维高斯核,定义为:
其中(x,y)代表像素的模板坐标,模板中心位置为原点。
步骤4,缩小尺寸。针对每个子区域所对应的所有选定帧(P1,P2,P3,…,Pm),将每个选定帧都缩小到8×8的尺寸,总共64个像素,从而摒弃不同尺寸、比例带来的图片差异。
步骤5,简化色彩。针对每个子区域所对应的所有选定帧(P1,P2,P3,…,Pm),将每个选定帧都转换为64(2^6)级灰度,也即所有像素点总共只有64种颜色。
步骤6,计算DCT(离散余弦变换)。离散余弦变换是把图片分解成频率聚集和梯形状,对步骤处理得到的各选定帧的各子区域使用32×32的DCT变换。DCT用于对信号和图像进行有损压缩,舍弃高频信息,并对余下的系数进行量化以进一步减少数据量,二维图像DCT定义如下:
设f(x,y)为M×N的数字图像矩阵,则:
当u,v=0时,否则,C(u),C(v)=1;
式中:x,u=0,1,2,...,M-l;y,v=0,1,2,...,N-1。
步骤7,缩小DCT。虽然经过步骤6处理过的结果是32×32大小的矩阵,但仅保留左上角的8×8的矩阵,这部分呈现了图片中的最低频率,最低频率的信息所反应的是图片的概貌和轮廓,是图像的近似信息。
步骤8,计算平均值。通过步骤7将所有选定帧的子区域转化为8×8的矩阵,每个子区域对应一个8×8的矩阵,对该矩阵的所有元素求平均值,得到DCT均值(也即判定阈值);
步骤9,进一步减小DCT。根据8×8的DCT矩阵,设置0或1的64位的hash值,大于等于DCT均值的设为”1”,小于DCT均值的设为“0”,结果并不能体现真实性的低频率,但能粗略地得到相对于平均值频率的相对比例。只要图片的整体结构保持不变,hash结果值就不变,从而能够避免步骤2中Gamma校正带来的影响。
步骤10,计算哈希值。将64bit设置成64位的长整型,组合的次序不重要,只要保证所有图片都采用同样次序即可,这样将32×32的DCT变换进一步转换成32×32的图像。将步骤9的比较结果组合在一起,构成64位的指纹。
在其中一个实施例中,所述的若干聚类簇通过对视频帧中各区域的指纹聚类得到,具体包括:
获取包含机器所有运动状态的训练视频,在训练视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
利用哈希算法计算各子区域的指纹,对各指纹进行基于汉明距离的聚类,得到所述的若干聚类簇。
为了提取得到生产设备工作的典型特征,保证监控的准确性和鲁棒性,采用摄像头网络流采集视频,并进行必要的压缩、降噪、去抖动处理,所述训练视频中包含机器所有运动状态,训练视频与监控视频采集自同一视角,采用步骤1~步骤10所述的算法,从训练视频中提取得到指纹,并进行如下操作,得到聚类簇。
步骤a,删除重复指纹。将训练视频中各选定帧相对应子区域的指纹进行匹配,匹配策略采用汉明距离,汉明距离用来计算两个向量的相似度,即通过比较向量每一位是否相同,来判断两个向量是否相似,若两个向量的对应位相同,则汉明距离加0,若两个向量的对应位不同则汉明距离加1,计算得到汉明距离。向量相似度越高,对应的汉明距离越小,如果汉明距离小于设定阈值T(T<=5),则删除重复的指纹。
步骤b,对指纹进行聚类。在训练视频中提取了较多数量的指纹,对各指纹进行基于汉明距离的聚类,每次采用指纹的汉明距离进行聚类中心的更新,从而得到K个聚类簇{C1,C2,...,Ck}和K个聚类中心{μ1,μ2,...,μk}。
计算每个聚类簇的类内最大距离di,公式如下:
其中:T表示维度数(64维),v表示一个指纹特征,每个聚类簇代表一系列类似的指纹特征。由于最终更新完的聚类中心每个维度的值可能存在介于0~1的情况,本文将维度的值大于0.5的设置为1,维度小于0.5的设置为0,这样保证聚类中心每个维度的值为0或1,从而便于后续使用汉明距离进行实时匹配检测。
在其中一个实施例中,依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常,具体为:若某子区域的指纹与任意一个聚类簇中心的距离均大于对应的聚类簇类内最大距离,则判断为发生异常。
进行实时监测时,对实时获取的监控视频中各选定帧进行步骤1~步骤10的操作,将得到的指纹vk与K个聚类簇中心进行汉明距离匹配,如果指纹vk与任意一个聚类簇中心的距离Dk都大于对应的聚类簇类内最大距离di则说明有异物进入危险区域;否则,如果指纹vk与某个聚类簇中心的距离Dk小于等于某个对应的聚类簇类内最大距离di,则此指纹归属于此聚类簇Ci,此指纹特征表示正常情况,未检测到有异物进入危险区域。
在其中一个实施例中,还包括:
间隔预定时间后,利用监控视频中各选定帧子区域的指纹对各聚类簇进行更新。
为了能够适应生产环境的变化,在监控过程中,保存每个子区域的检测为正常的指纹,并添加到指纹集中,每隔一段时间,对指纹集进行一次去冗余操作(即去除重复指纹),重新对指纹进行聚类操作,得到若干聚类簇,以应对生产环境的变化。
在其中一个实施例中,基于机器视觉的智能监控装置,包括:
第一模块,用于获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
第二模块,用于利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;
第三模块,用于依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。
关于基于机器视觉的智能监控装置的具体限定可以参见上文中对于基于机器视觉的智能监控方法的限定,在此不再赘述。上述基于机器视觉的智能监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述的基于机器视觉的智能监控方法。
该计算机设备可以是终端,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现所述的基于机器视觉的智能监控方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,基于机器视觉的智能监控系统,包括视觉检测系统,所述视觉检测系统包括存储器和处理器,所述存储器内存储有计算机程序,所述处理器执行所述计算机程序时,实现所述的基于机器视觉的智能监控方法。
所述视觉检测系统不仅用于实现视频采集功能,而且对采集的视频进行处理,以识别异常情况。
进一步地,所述基于机器视觉的智能监控系统还包括用于控制生产设备运行状态的控制单元,所述控制单元接收视觉检测系统的输出信息,并依据该输出信息控制生产设备的运行状态。
控制单元接收到视觉检测系统输出的生产环境异常的信息后,即控制生产设备停止运行,以避免出现安全事故。
实现本申请提供的监控方法的典型硬件构架如图1所示,包括终端控制器、以及与终端控制器通信连接的云端服务器(终端控制器和云端服务器可整体视为控制单元)、视觉检测系统以及设备过程控制服务器(图中未示出),设备过程控制服务器对机器人和激光安全门(机器人即为生产设备)进行控制以及状态检测。
视觉检测系统负责检测危险区域(该危险区域也即机器人的工作区域)是否有不期望出现的人员或物体,当危险区域有不期望的人或物体时,发送异常信息给终端控制器。终端控制器是核心部分,终端控制器用于处理视觉检测系统的检测结果、中止机器人运行以及发送机器人状态信息给云端服务器。云端服务器获取机器人的当前状态,同时负责终端控制器是否异常(终端控制器不能联网)。
通过设备过程控制服务器,能够访问与更改生产设备的工作状态,当视觉检测系统检测危险区域存在期望外的人员或物体时,若生产设备处于工作状态,则向设备过程控制服务器发送
终端控制器作为整个系统的核心部分,通过以太网和视觉检测系统、云端服务器以及设备过程控制服务器进行通信。当网络发生故障时(比如视觉检测系统和终端控制器发生网络故障),视觉检测系统不能发送信息给终端控制器,则终端控制器没法正常工作。
为了保证终端控制器的活跃度,采用心跳机制(即每隔一段时间发送文字)来保证终端控制器和其他设备连接的有效性。以云端服务器和终端控制器的通信为例,心跳机制如图2所示,终端控制器发送数据包,云端控制器接收到数据包后返回确认包。假设终端控制器在一定时间间隔内没有接收到确认包,则重新发送一个新的数据包,云端控制器接收到新的数据包,发送最新数据包的确认。如果云端控制器在三个数据包发送间隔都没有收到终端控制器的数据包,则发生报警,提醒管理员终端控制器和云端控制器发生了失连,终端控制器显示网络连接失败提示,以便后续进行重新连接。
本申请中的监控方法在视觉检测系统中实现,监控系统工作的流程包括:
步骤(1)、视觉检测系统检测到危险区域有异物(包括人员)进入时,发送异常信息至终端控制器,同时视觉检测系统开始计时,如果在规定时间内没有接收到终端控制器发送的确认收到异常信息的信息(终端控制器接收到异常信息,会返回确认信息给视觉检测系统),则重新发送异常信息;
步骤(2)、终端控制器通过设备过程控制服务器(OPC Server)获取激光安全门的状态以及机器人的当前状态,如果机器人没有运行,则不进行操作,如果机器人在运行,则进行步骤(3);
步骤(3)、终端控制器通过设备过程控制服务器对机器人写入中止运行命令,隔1s执行一次写入中止运行命令,直至机器人停止运行,机器人停止运行,则视觉检测系统检停止检测(机器人停止运行,没有必要进行检测);
步骤(4)、终端控制器将机器人状态返回给云端服务器,云端服务器接收终端控制器发送的机器人状态,并返回确认数据;
步骤(5)、当危险情况排除后,机器人重新启动复位时,终端控制器通过设备过程控制服务器对机器人写入重新运行命令,隔1s执行一次写入重新运行命令,直至机器人重新运行;
步骤(6)、终端控制器通过设备过程控制服务器获取机器人的当前状态,将机器人当前状态发送给视觉检测系统,视觉检测系统重新启动检测。
在其中一个实施例中,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于机器视觉的智能监控方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于机器视觉的智能监控方法,其特征在于,包括如下步骤:
获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;
依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。
2.如权利要求1所述的基于机器视觉的智能监控方法,其特征在于,所述的若干聚类簇通过对视频帧中各区域的指纹聚类得到,具体包括:
获取包含机器所有运动状态的训练视频,在训练视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
利用哈希算法计算各子区域的指纹,对各指纹进行基于汉明距离的聚类,得到所述的若干聚类簇。
3.如权利要求1所述的基于机器视觉的智能监控方法,其特征在于,依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常,具体为:若某子区域的指纹与任意一个聚类簇中心的距离均大于对应的聚类簇类内最大距离,则判断为发生异常。
4.如权利要求1所述的基于机器视觉的智能监控方法,其特征在于,还包括:
间隔预定时间后,利用监控视频中各选定帧子区域的指纹对各聚类簇进行更新。
5.如权利要求1所述的基于机器视觉的智能监控方法,其特征在于,利用哈希算法计算各子区域的指纹,具体包括:
对监控视频中各选定帧的子区域进行光照归一化处理;
去除光照归一化处理后图像的高斯噪声,并进行尺寸缩小、色彩简化、以及离散余弦变换,得到32×32矩阵;
针对32×32矩阵中体现最低频率的8×8矩阵,以8×8矩阵中所有元素的平均值作为判定阈值,将8×8矩阵中大于等于判定阈值的元素设定为1,小于判定阈值的元素设定为0,各元素以预设顺序排列后得到指纹。
6.一种基于机器视觉的智能监控装置,其特征在于,包括:
第一模块,用于获取生产环境下的监控视频,在监控视频中抽取若干选定帧,并将选定帧中的危险区域划分为若干子区域;
第二模块,用于利用哈希算法计算各子区域的指纹,并计算各指纹与若干聚类簇中心的汉明距离;所述的若干聚类簇通过对视频帧中各子区域的指纹聚类得到;
第三模块,用于依据汉明距离与各聚类簇类内最大距离的关系,判断是否发生异常。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~5任一项所述的基于机器视觉的智能监控方法。
8.一种基于机器视觉的智能监控系统,包括视觉检测系统,所述视觉检测系统包括存储器和处理器,所述存储器内存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1~5任一项所述的基于机器视觉的智能监控方法。
9.如权利要求8所述的基于机器视觉的智能监控系统,其特征在于,还包括用于控制生产设备运行状态的控制单元,所述控制单元接收视觉检测系统的输出信息,并依据该输出信息控制生产设备的运行状态。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~5任一项所述的基于机器视觉的智能监控方法。
CN201910400850.3A 2019-05-15 2019-05-15 基于机器视觉的智能监控方法、装置、设备、系统和存储介质 Withdrawn CN110210530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910400850.3A CN110210530A (zh) 2019-05-15 2019-05-15 基于机器视觉的智能监控方法、装置、设备、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910400850.3A CN110210530A (zh) 2019-05-15 2019-05-15 基于机器视觉的智能监控方法、装置、设备、系统和存储介质

Publications (1)

Publication Number Publication Date
CN110210530A true CN110210530A (zh) 2019-09-06

Family

ID=67785910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910400850.3A Withdrawn CN110210530A (zh) 2019-05-15 2019-05-15 基于机器视觉的智能监控方法、装置、设备、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110210530A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064788A (zh) * 2019-12-18 2020-04-24 深圳前海达闼云端智能科技有限公司 信号传输方法、机器人及计算机可读存储介质
CN111531582A (zh) * 2020-04-27 2020-08-14 武汉工程大学 一种基于视觉的工业机器人故障检测方法及系统
CN113706837A (zh) * 2021-07-09 2021-11-26 上海汽车集团股份有限公司 一种发动机异常状态检测方法和装置
CN117710374A (zh) * 2024-02-05 2024-03-15 中海油田服务股份有限公司 基于深度学习的跑冒滴漏检测方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010547A1 (en) * 2007-07-06 2009-01-08 Quanta Computer Inc. Image recognition method and image recognition apparatus
CN108427928A (zh) * 2018-03-16 2018-08-21 华鼎世纪(北京)国际科技有限公司 监控视频中异常事件的检测方法及装置
CN108805002A (zh) * 2018-04-11 2018-11-13 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN108897775A (zh) * 2018-06-01 2018-11-27 昆明理工大学 一种基于感知哈希的快速图像识别系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010547A1 (en) * 2007-07-06 2009-01-08 Quanta Computer Inc. Image recognition method and image recognition apparatus
CN108427928A (zh) * 2018-03-16 2018-08-21 华鼎世纪(北京)国际科技有限公司 监控视频中异常事件的检测方法及装置
CN108805002A (zh) * 2018-04-11 2018-11-13 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN108897775A (zh) * 2018-06-01 2018-11-27 昆明理工大学 一种基于感知哈希的快速图像识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
古静 等: "基于安卓的远程智能监控系统设计", 《软件导刊》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064788A (zh) * 2019-12-18 2020-04-24 深圳前海达闼云端智能科技有限公司 信号传输方法、机器人及计算机可读存储介质
CN111531582A (zh) * 2020-04-27 2020-08-14 武汉工程大学 一种基于视觉的工业机器人故障检测方法及系统
CN113706837A (zh) * 2021-07-09 2021-11-26 上海汽车集团股份有限公司 一种发动机异常状态检测方法和装置
CN113706837B (zh) * 2021-07-09 2022-12-06 上海汽车集团股份有限公司 一种发动机异常状态检测方法和装置
CN117710374A (zh) * 2024-02-05 2024-03-15 中海油田服务股份有限公司 基于深度学习的跑冒滴漏检测方法、装置、设备及介质
CN117710374B (zh) * 2024-02-05 2024-05-24 中海油田服务股份有限公司 基于深度学习的跑冒滴漏检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110210530A (zh) 基于机器视觉的智能监控方法、装置、设备、系统和存储介质
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111583198A (zh) 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
DE102013210478A1 (de) Geometrische vorkorrektur zur automatischen nummernschilderkennung
US12002195B2 (en) Computer vision-based anomaly detection method, device and electronic apparatus
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN114170144A (zh) 一种输电线路销钉缺陷检测方法、设备及介质
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
WO2021057393A1 (zh) 公交车安全监测方法、装置、设备及存储介质
CN114708291A (zh) 图像处理方法、装置、电子设备及存储介质
CN118351487A (zh) 基于ai的员工违章行为辨识方法
CN108664886A (zh) 一种适应变电站进出监控需求的人脸快速识别方法
CN117789109A (zh) 一种工业场景下无人值守的异常行为检测方法和系统
CN117749836A (zh) 一种基于人工智能的物联网终端监控方法及系统
CN116403275B (zh) 基于多目视觉检测封闭空间中人员行进姿态的方法及系统
CN117011280A (zh) 基于点云分割的3d打印混凝土墙质量监测方法及系统
DE102022116434A1 (de) Systeme, Verfahren, Computerprogramme und Vorrichtungen zur automatischen Ablesung von Zählern für intelligente Feldpatrouillen
CN112949490A (zh) 设备动作检测方法、装置、电子设备及可读存储介质
CN111709345A (zh) 一种固定环境内异常物品实时检测方法
CN114708466B (zh) 零部件异常细粒度分类方法、系统、存储介质及计算设备
CN118657934B (zh) 基于图像的石化工厂异物闯入检测方法及装置
CN118164196B (zh) 一种基于机器视觉的输煤皮带健康状态监测方法及系统
CN113971838B (zh) 一种基于识别人员安全行为画像的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190906