CN106990109B - 一种基于多摄像头判定的井下皮带异物检测系统及方法 - Google Patents
一种基于多摄像头判定的井下皮带异物检测系统及方法 Download PDFInfo
- Publication number
- CN106990109B CN106990109B CN201710176375.7A CN201710176375A CN106990109B CN 106990109 B CN106990109 B CN 106990109B CN 201710176375 A CN201710176375 A CN 201710176375A CN 106990109 B CN106990109 B CN 106990109B
- Authority
- CN
- China
- Prior art keywords
- image
- foreign matter
- point
- module
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 71
- 239000003245 coal Substances 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000007689 inspection Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000021615 conjugation Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 210000000554 iris Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005429 filling process Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 6
- 230000007812 deficiency Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001669679 Eleotris Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/845—Objects on a conveyor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多摄像头判定的井下皮带异物检测系统及方法。所述系统包括:摄像头录像模块,所述摄像头录像模块包含至少两个高清摄像头;所述摄像头录像模块通过局域网,将获取视频录像分别送入数据存储模块和服务器处理模块;所述数据存储模块设置网络视频录像机和第一显示器,且所述网络视频录像机内设硬盘存储器及视频输出端口和USB扩展插槽;所述服务器处理模块设置服务器和第二显示器。所述方法包括:基于图像检测算法与皮带异物检测算法、基于贝叶斯估计的多摄像协同判定算法。本发明用多个摄像头实时监视煤矿井下皮带,图像数据信息通过局域网送至高性能服务器,并利用本发明的算法对此图像进行检测处理,实时回馈皮带异物检测结果。
Description
技术领域
本发明涉及计算机视频、数字图像处理领域,具体是一种基于多摄像头判定的井下皮带异物检测系统及方法。
背景技术
皮带运输机是煤矿井下主要的物料输送设备,皮带运输机能否安全、可靠、高效地运行直接影响煤矿企业的煤炭产出量以及维护、作业人员的人身安全。煤矿井下的皮带运输机输送系统运行工况极其复杂,传统的皮带机保护系统只能对皮带机本身的运行故障进行检测,且多为故障发生后再进行控制。然而,这些故障有时是很严重的,故障停机时,皮带机可能已经受到了严重损坏。另外,由于井下作业人员违规操作等不确定因素,在胶带输送机上经常会出现大块矸石、支护材料、超宽的异物,直接影响胶带输送机及关联设备的安全运行。传统的井下异物检测常采用传感设备,由于传感设备检测的局限性,完成不了大块矸石等异物的检测,迫切需要加以改进。
发明内容
针对上述现有技术存在的问题,本发明的目的是提供一种新型的基于多摄像头判定的井下皮带异物检测系统及方法,该系统结构简单、制作工艺简便、潜水电泵安装拆卸快捷方便,节约安装成本。
为了实现上述目的,本基于多摄像头判定的井下皮带异物检测系统,包括:摄像头录像模块,所述摄像头录像模块包含至少两个高清摄像头,且所述高清摄像头设置于同一皮带的正上方或倾斜60度角;所述摄像头录像模块通过局域网,将获取视频录像分别送入数据存储模块和服务器处理模块;所述数据存储模块设置网络视频录像机和第一显示器,且所述网络视频录像机内设硬盘存储器及视频输出端口和USB扩展插槽;所述服务器处理模块设置服务器和第二显示器。
进一步,所述服务器包括其工作最小系统,且所述第二显示器通过视频接入端口连接所述服务器。
进一步,所述服务器外扩展声光报警器。
一种基于多摄像头判定的井下皮带异物检测方法,包括:把所述网络视频录像机存储的网络视频在第一显示器上实时显示,人工判断异物;在所述服务器上搭载应用软件,所述应用软件包括:图像显示模块、异物报警信息显示模块、异物检测模块、多摄像头判定模块;所述异物检测模块将服务器接受到的网络视频按照单帧提起图像,并对单帧图根据异物检测算法,圈出异物并通过网络视频录像机发射报警信号给声光报警器;所述多摄像头判定模块,使用贝叶斯估计的多摄像头判定算法,从多个高清摄像头异物检测的中间结果到多摄像头判定算法整合与加工的最终结果,判定危险等级;最后,图像显示模块显示每个摄像头监测的实时数据,并经过异物检测模块针对异物的圈中显示和危险等级显示,该模块还可以自定义加载网络视频录像机等视频文件数据,即皮带的异物回检过程。
进一步,其特征在于,所述应用软件还设置历史查看模块、回放下载模块、属性配置模块;所述历史查看模块不仅记录和查看所有历史报警信息,还记录和查看所有历史报警圈中异物的图像;所述回放下载模块查看并获得网络视频录像机存储的视频数据,实现非实时的异物检测,验证系统算法及检测漏报情况;所述属性配置模块对系统功能配置和自定义扩展。
进一步,所述异物检测算法,根据图像像素值将图像分为背景图像和前景图像,背景图像是井下皮带运输的煤,前景图像是运输煤里的异物,具体包括以下步骤:
第一步:初始化背景模型:每一像素建立与之对应的样本集,这些样本集的填充过程就是背景模型的初始化过程,具体为对于一个像素点,随机选择它的邻居点的像素值作为它的样本集的值。设V(x)为图像x点处的像素值,N为样本集的大小,M(x)为图像x点处的样本集,np(x)为图像x点的邻居点,则:
M(x)={v1,v2,v3,…,vN}
背景模型的初始化用公式表示为:
M0(x)={v0i|v0i∈V(np(x))},i=1,2,3,…,N;
第二步:异物检测:设SR(V(x))为图像以x点为中心R为半径的区域,MINthreshold为分类标准的判定阈值,Result(x)为图像采样点x的分类结果,1表示x点属于背景图像即物料煤,0表示x点属于前景图像即异物,num表示数目;则异物检测过程可用公式表示为:
第三步:更新背景模型:在煤矿井下运输物料时,背景不一在所难免,如光照的影响,此检测算法要能够适应背景的不断变化;本图像检测算法采取的更新算法是保守的更新策略与前景点计数方法;保守的更新策略是前景点永远不会被用来填充背景模型,如一束光突然照在了某个区域,第一时间会被检测为前景即异物,接着会一直被当作前景即异物处理,前景点计数方法就是来避免这种情况的;前景点计数方法是对图像的采样点进行统计,如果某个采样点连续K次被检测为前景即异物,则将其更新为背景点。;具体为:该检测算法不会通过每一个新的视频帧都会更新背景模型的每一个点的像素值,事实上这也是没有必要的;当一个样本点被分类为背景点时,该样本点会有1/λ的概率来更新它的背景模型,在它的样本集M(x)中随机选择一个样本点的像素值进行填充更新;当一个样本点被分类为背景点时,该样本点会有1/λ的概率去更新它的邻居点的背景模型,方法是在它的邻居点的样本集中M(np(x))随机选择一个样本点的像素值进行填充更新;当一个样本点连续K次被分类为前景点时,将它变成背景点,然后有1/λ的概率来更新它的背景模型,接着依次不断的向外扩散更新;
第四步:机器学习补充检测:上述图像检测算法计算量小,速度快,但是对于像素值接近煤的部分可能存在漏报现象,本算法采取图像特征机器学习来弥补检测。机器学习算法采取离线训练,在线分类。对于图像检测算法未检测到异物的部分经由机器学习算法在线分类,以防漏报;
进一步,所述多摄像头判定算法包括以下步骤:
步骤1:建模:皮带异物的危险等级有正常、一般和危险三个等级,摄像头针对危险等级的检测结果用R1、R2、R3描述,设摄像头的判定结果为事件X,皮带异物的危险等级结果为事件A,摄像头的个数为N,每个危险等级检测到的个数分别为k1、k2、k3,每个危险等级检测到的比例分别为p1、p2、p3,显然满足:
p1+p2+p3=1
k1+k2+k3=N
贝叶斯公式为:
多项分布的公式为:
狄利克雷分布的公式为:
贝叶斯参数估计的基本过程是:先验分布+数据观察=后验分布
由Dirichlet-Multinomial共轭可知本多摄像头判定背景的模型描述如下:
1)先验概率服从狄利克雷分布,为
2)观察数据服从多项分布,为
3)在给定的观察数据后,的后验分布变为
步骤2:推导:由步骤1的建模结果知,设Dirichlet Distribution的系数为λ,则先验概率公式为:
后验概率公式为:
基于以上条件,在贝叶斯公式中,P(A)在不同X值表现下是不变的,所以P(A)可以不作分析。则有:
即:
皮带最终的危险等级修正期望求解表达式如下:
由Dirichlet Distribution的期望公式为:
得修正期望的危险等级为:
步骤3:结论:经过此贝叶斯估计修正期望的方式使检测异物的结果尽量避免了摄像头的检测误差或误判以及摄像头的机械误差。最终的多摄像头的判定结果为rank(k1+k2+k3)公式为:
其中M为先验概率里摄像头的总数,α1,α2,α3分别为M个摄像头中报警危险等级为正常R1、一般R2、危险R3的个数;其中N为井下皮带检测摄像头的总数,k1,k2,k3分别为N个摄像头中报警危险等级为正常R1、一般R2、危险R3的个数。
与现有技术相比,本发明的有益效果如下:
本发明把图像检测方法应用到煤矿井下皮带,实时检测皮带异物。单纯的图像检测方法比较固化,基于机器学习的图像检测算法时间一般较长,满足不了井下皮带每帧图像的实时检测工作。本发明实现的是图像检测算法与机器学习算法协同的井下皮带异物检测算法,主要检测工作由图像检测算法完成,图像特征的机器学习算法用来弥补前者不足,使系统即满足了实时性又能越来越“聪明”。图像检测算法也存在一些漏检、误检等问题,本发明是多摄像头同时检测,采用基于贝叶斯估计的多摄像判定算法,使结果更加真实可靠。
附图说明
图1是本发明井下皮带异物检测系统的模块原理图;
图2是本发明应用软件的模块图;
图3是本发明井下皮带异物检测系统异物检测流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
如图1所示,本基于多摄像头判定的井下皮带异物检测系统,包括:摄像头录像模块,所述摄像头录像模块包含至少两个高清摄像头2,且所述高清摄像头2设置于同一皮带1的正上方或倾斜60度角,该模块主要完成实时监测井下皮带运输煤炭过程;所述摄像头录像模块通过局域网,将获取视频录像分别送入数据存储模块和服务器处理模块;所述数据存储模块设置网络视频录像机3和第一显示器4,且所述网络视频录像机3内设硬盘存储器,主要完成高清摄像头监测数据的存储,第一显示器4通过网络视频录像机的视频输出端口一方面实时显示每一摄像头的录制过程,同时视频录像机3内设硬盘存储器设置USB扩展插槽;所述服务器处理模块设置服务器5和第二显示器6,该模块用来安装软件模块,提供软件模块的运行环境,同时还可以实现对高清摄像头和网络视频录像机的配置过程。
进一步,所述服务器5包括其工作最小系统,包括键盘鼠标等外围设备,且所述第二显示器6通过视频接入端口连接所述服务器。
进一步,所述服务器5外扩展声光报警器。
如图2所示,软件模块包括图像显示模块、异物报警信息显示模块、历史查看模块、回放下载模块、异物检测模块、多摄像头判定模块和属性配置模块。其中,图像显示模块是从主窗口中分割出M*M的前M*M-1个小窗口,每添加一个摄像头或者视频文件都可以在一个小窗口中显示图像信息,同时M*M还是自适应的,随着摄像头增加的数目自适应增加,总是满足M*M-1≥N,其中N是该系统添加的摄像头数目与添加的视频文件数目总和,双击每一图像显示窗口都可跳转到单窗口界面,使该窗口以最大界面显示,该模块可以实时显示摄像头数据,也可以显示视频文件数据,除了图像源数据外还包含针对异物的圈中红线;异物报警信息显示模块是从主窗口中分割出M*M的最后一个小窗口,提供近期异物的报警时间、报警对象及危险等级显示的功能,双击每一条目或者右键可以查看报警图片,方便判断报警效果;历史查看模块以独立弹窗形式展示,不仅可以查看所有历史报警信息,还可以查看所有历史报警图像,方便对系统报警效果进行简单抽测评估;回放下载模块是针对网络视频录像机的模块,以独立弹窗形式显示,可以灵活查看并获得网络视频录像机存储的视频数据,进而实现非实时的异物检测,方便验证系统算法及检测漏报情况;异物检测模块是本基于多摄像头判定的井下皮带异物检测系统的核心部分之一,该模块是异物检测算法的具体实现,是通过多种检测算法来判断圈出异物并通过网络视频录像机发射报警信号给声光报警器;多摄像头判定模块是本基于多摄像头判定的井下皮带异物检测系统的另一核心部分,该模块是多摄像头判定算法的具体实现,实现从多个高清摄像头异物检测的中间结果到多摄像头判定算法整合与加工的最终结果,使异物检测系统更加可靠、稳定;属性配置模块使本系统具备可配置的特性,该模块使系统题目可配置、异物报警信息显示模块显示的数目可配置、历史查看模块保留时间长度可配置、异物检测算法可配置、多摄像头判定算法可配置等,进而本系统更加灵活多变,拓展性强。
一种井下皮带异物检测系统的基于图像检测算法与机器学习算法协同的井下皮带异物检测算法,如图3所示,详细给出了图像检测算法的流程,把图像检测算法应用到井下皮带异物检测并用机器学习算法降低误报率及漏报率。该检测算法把井下皮带输送物料的图像分为背景图像和前景图像,背景图像是井下皮带运输的煤,前景图像是运输煤里的异物,如石头、枕木等,通过此种方式把异物检测转化为一个背景图像和前景图像的分类问题,分类的依据为图像的像素值,具体分为四步:初始化背景模型、异物检测过程、更新背景模型和机器学习补充检测。详细内容为:
步骤1.初始化背景模型。如图3所示,背景模型用集合back1,back2描述,前景模型用集合fore描述,样本集用集合sample描述。为了满足煤矿皮带运载的实时性,该检测算法采用的是单帧建模,即通过一帧图像初始化背景模型,。此算法为每一像素建立与之对应的样本集,这些样本集的填充过程就是背景模型的初始化过程,具体为对于一个像素点,随机选择它的邻居点的像素值作为它的样本集的值。设V(x)为图像x点处的像素值,N为样本集的大小,M(x)为图像x点处的样本集,np(x)为图像x点的邻居点,则:
M(x)={v1,v2,v3,…,vN}
背景模型的初始化用公式表示为:
M0(x)={v0i|v0i∈V(np(x))},i=1,2,3,…,N
步骤2.异物检测过程。如图3所示,实时采集的图像数据用集合data描述,前景模型和背景模型分类依据的最小阈值用MIN描述。如前文所述,异物检测过程即是确定采样点属于背景图像或前景图像的分类过程,具体为:设SR(V(x))为图像以x点为中心R为半径的区域,MINthreshold为分类标准的判定阈值,Result(x)为图像采样点x的分类结果,1表示x点属于背景图像即物料煤,0表示x点属于前景图像即异物,num表示数目。则异物检测过程可用公式表示为:
步骤3.更新背景模型。在煤矿井下运输物料时,背景不一在所难免,如光照的影响,此检测算法要能够适应背景的不断变化。本图像检测算法采取的更新算法是保守的更新策略与前景点计数方法。保守的更新策略是前景点永远不会被用来填充背景模型,如一束光突然照在了某个区域,第一时间会被检测为前景即异物,接着会一直被当作前景即异物处理,前景点计数方法就是来避免这种情况的。前景点计数方法是对图像的采样点进行统计,如果某个采样点连续K次被检测为前景即异物,则将其更新为背景点。具体为:该检测算法不会通过每一个新的视频帧都会更新背景模型的每一个点的像素值,事实上这也是没有必要的。当一个样本点被分类为背景点时,该样本点会有1/λ的概率来更新它的背景模型,在它的样本集M(x)中随机选择一个样本点的像素值进行填充更新;当一个样本点被分类为背景点时,该样本点会有1/λ的概率去更新它的邻居点的背景模型,方法是在它的邻居点的样本集中M(np(x))随机选择一个样本点的像素值进行填充更新;当一个样本点连续K次被分类为前景点时,将它变成背景点,然后有1/λ的概率来更新它的背景模型,接着依次不断的向外扩散更新。
步骤4.机器学习补充检测。上述图像检测算法计算量小,速度快,但是对于像素值接近煤的部分可能存在漏报现象,本算法采取图像特征机器学习进行离线训练,在线匹配弥补图像检测算法的不足,同时该机器学习模块可实现人工添加训练样本,进行训练进而使此系统越来越智能越来越准确。机器学习算法采取离线训练,在线分类。对于图像检测算法未检测到异物的部分经由机器学习算法在线分类,以防漏报。在此处要说明的是,检测模块主要由图像检测算法完成的而不是机器学习算法,原因是机器学习算法效率低,满足不了每一图像帧检测的实时性。
一种井下皮带异物检测系统的基于贝叶斯估计的多摄像头判定算法,如图3所示,图像检测算法后综合多摄像头的检测结果,利用多摄像头判定算法修正报警结果,把贝叶斯估计应用到多摄像头判定,算法的推导过程具体分为四步:建模、推导和结论。算法的详细推导内容为:
步骤1.建模。皮带异物的危险等级有正常、一般和危险三个等级,摄像头针对危险等级的检测结果用R1、R2、R3描述,设摄像头的判定结果为事件X,皮带异物的危险等级结果为事件A,摄像头的个数为N,每个危险等级检测到的个数分别为k1、k2、k3,每个危险等级检测到的比例分别为p1、p2、p3,显然满足:
p1+p2+p3=1
k1+k2+k3=N
贝叶斯公式为:
多项分布的公式为:
狄利克雷分布的公式为:
贝叶斯参数估计的基本过程是:先验分布+数据观察=后验分布
由Dirichlet-Multinomial共轭可知本多摄像头判定背景的模型描述如下:
1)先验概率服从狄利克雷分布(Dirichlet Distribution),为
2)观察数据服从多项分布(Multinomial Distribution),为
3)在给定的观察数据后,的后验分布变为
步骤2.推导。由步骤1的建模结果知,设Dirichlet Distribution的系数为λ,则先验概率公式为:
后验概率公式为:
基于以上条件,在贝叶斯公式中,P(A)在不同X值表现下是不变的,所以P(A)可以不作分析。则有:
即:
皮带最终的危险等级修正期望求解表达式如下:
由Dirichlet Distribution的期望公式为:
得修正期望的危险等级为:
步骤3.结论。经过此贝叶斯估计修正期望的方式使检测异物的结果尽量避免了摄像头的检测误差或误判以及摄像头的机械误差。最终的多摄像头的判定结果为rank(k1+k2+k3)公式为:
其中M为先验概率里摄像头的总数,α1,α2,α3分别为M个摄像头中报警危险等级为正常R1、一般R2、危险R3的个数;其中N为井下皮带检测摄像头的总数,k1,k2,k3分别为N个摄像头中报警危险等级为正常R1、一般R2、危险R3的个数。
Claims (5)
1.一种基于多摄像头判定的井下皮带异物检测方法,其特征在于:通过基于多摄像头判定的井下皮带异物检测系统实现,所述井下皮带异物检测系统包括摄像头录像模块,所述摄像头录像模块包含至少两个高清摄像头(2),且所述高清摄像头(2)设置于同一皮带(1)的正上方或倾斜60度角;所述摄像头录像模块通过局域网,将获取视频录像分别送入数据存储模块和服务器处理模块;所述数据存储模块设置网络视频录像机(3)和第一显示器(4),且所述网络视频录像机(3)内设硬盘存储器及视频输出端口和USB扩展插槽;所述服务器处理模块设置服务器(5)和第二显示器(6);
所述基于多摄像头判定的井下皮带异物检测方法,具体包括以下步骤:
把所述网络视频录像机(3)存储的网络视频在第一显示器(4)上实时显示,人工判断异物;在所述服务器(5)上搭载应用软件,所述应用软件包括:图像显示模块、异物报警信息显示模块、异物检测模块、多摄像头判定模块;所述异物检测模块将服务器(5)接受到的网络视频按照单帧提起图像,并对单帧图根据异物检测算法,圈出异物并通过网络视频录像机发射报警信号给声光报警器;所述多摄像头判定模块,使用贝叶斯估计的多摄像头判定算法,从多个高清摄像头(2)异物检测的中间结果到多摄像头判定算法整合与加工的最终结果,判定危险等级;最后,图像显示模块显示每个摄像头监测的实时数据,并经过异物检测模块针对异物的圈中显示和危险等级显示,该模块还可以自定义加载网络视频录像机等视频文件数据,即皮带异物回检过程;
其中,使用贝叶斯估计的多摄像头判定算法包括以下步骤:
步骤1:建模:皮带异物的危险等级有正常、一般和危险三个等级,摄像头针对危险等级的检测结果用R1、R2、R3描述,设摄像头的判定结果为事件X,皮带异物的危险等级结果为事件A,摄像头的个数为N,每个危险等级检测到的个数分别为k1、k2、k3,每个危险等级
检测到的比例分别为p1、p2、p3,显然满足:
p1+p2+p3=1
k1+k2+k3=N
贝叶斯公式为:
多项分布的公式为:
狄利克雷分布的公式为:
贝叶斯参数估计的基本过程是:先验分布+数据观察=后验分布
由Dirichlet-Multinomial共轭可知本多摄像头判定背景的模型描述如下:
1)先验概率服从狄利克雷分布,
2)观察数据服从多项分布,为
3)在给定的观察数据后,的后验分布变为
步骤2:推导:由步骤1的建模结果知,设DirichletDistribution的系数为λ,则先验概率公式为:
后验概率公式为:
基于以上条件,在贝叶斯公式中,P(A)在不同X值表现下是不变的,所以P(A)可以不作分析;则有:
即:
皮带最终的危险等级修正期望求解表达式如下:
由DirichletDistribution的期望公式为:
得修正期望的危险等级为:
步骤3:结论:经过此贝叶斯估计修正期望的方式使检测异物的结果尽量避免了摄像头的检测误差或
误判以及摄像头的机械误差;最终的多摄像头的判定结果为rank(k1+k2+k3)公式为:
其中M为先验概率里摄像头的总数,a1,a2,a3分别为M个摄像头中报警危险等级为正常R1、一般R2、危险R3的个数;其中N为井下皮带检测摄像头的总数,k1,k2,k3分别为N个摄像头中报警危险等级为正常R1、一般R2、危险R3的个数。
2.根据权利要求1所述的一种基于多摄像头判定的井下皮带异物检测方法,其特征在于,所述服务器(5)包括其工作最小系统,且所述第二显示器(6)通过视频接入端口连接所述服务器(5)。
3.根据权利要求1所述的一种基于多摄像头判定的井下皮带异物检测方法,其特征在于,所述服务器(5)外扩展声光报警器。
4.根据权利要求1所述的一种基于多摄像头判定的井下皮带异物检测方法,其特征在于,所述应用软件还设置历史查看模块、回放下载模块、属性配置模块;所述历史查看模块不仅记录和查看所有历史报警信息,还记录和查看所有历史报警圈中异物的图像;所述回放下载模块查看并获得网络视频录像机(3)存储的视频数据,实现非实时的异物检测,验证系统算法及检测漏报情况;所述属性配置模块对系统功能配置和自定义扩展。
5.根据权利要求1所述的一种基于多摄像头判定的井下皮带异物检测方法,其特征在于,所述异物检测算法,根据图像像素值将图像分为背景图像和前景图像,背景图像是井下皮带(1)运输的煤,前景图像是运输煤里的异物,具体包括以下步骤:
第一步:初始化背景模型:每一像素建立与之对应的样本集,这些样本集的填充过程就是背景模型的初始化过程,具体为对于一个像素点,随机选择它的邻居点的像素值作为它的样本集的值;设V(x)为图像x点处的像素值,N为样本集的大小,M(x)为图像x点处的样本集,np(x)为图像x点的邻居点,则:
M(x)={v1,v2,v3,…,vN}
背景模型的初始化用公式表示为:
M0(x)={v0i|v0i∈V(np(x))},i=1,2,3,…,N;
第二步:异物检测:设SR(V(x))为图像以x点为中心R为半径的区域,MINthreshold为分类标准的判定阈值,Result(x)为图像采样点x的分类结果,1表示x点属于背景图像即物料煤,0表示x点属于前景图像即异物,num表示数目;则异物检测过程可用公式表示为:
第三步:更新背景模型:在煤矿井下运输物料时,背景不一在所难免,如光照的影响,此检测算法要能够适应背景的不断变化;本图像检测算法采取的更新算法是保守的更新策略与前景点计数方法;保守的更新策略是前景点永远不会被用来填充背景模型,如一束光突然照在了某个区域,第一时间会被检测为前景即异物,接着会一直被当作前景即异物处理,前景点计数方法就是来避免这种情况的;前景点计数方法是对图像的采样点进行统计,如果某个采样点连续K次被检测为前景即异物,则将其更新为背景点;具体为:该检测算法不会通过每一个新的视频帧都会更新背景模型的每一个点的像素值,事实上这也是没有必要的;当一个样本点被分类为背景点时,该样本点会有1/λ的概率来更新它的背景模型,在它的样本集M(x)中随机选择一个样本点的像素值进行填充更新;当一个样本点被分类为背景点时,该样本点会有1/λ的概率去更新它的邻居点的背景模型,方法是在它的邻居点的样本集中M(np(x))随机选择一个样本点的像素值进行填充更新;当一个样本点连续K次被分类为前景点时,将它变成背景点,然后有1/λ的概率来更新它的背景模型,接着依次不断的向外扩散更新;
第四步:机器学习补充检测:上述图像检测算法计算量小,速度快,但是对于像素值接近煤的部分可能存在漏报现象,本算法采取图像特征机器学习来弥补检测;机器学习算法采取离线训练,在线分类;对于图像检测算法未检测到异物的部分经由机器学习算法在线分类,以防漏报。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710176375.7A CN106990109B (zh) | 2017-03-23 | 2017-03-23 | 一种基于多摄像头判定的井下皮带异物检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710176375.7A CN106990109B (zh) | 2017-03-23 | 2017-03-23 | 一种基于多摄像头判定的井下皮带异物检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106990109A CN106990109A (zh) | 2017-07-28 |
CN106990109B true CN106990109B (zh) | 2019-09-06 |
Family
ID=59412860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710176375.7A Active CN106990109B (zh) | 2017-03-23 | 2017-03-23 | 一种基于多摄像头判定的井下皮带异物检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106990109B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108924509A (zh) * | 2018-08-03 | 2018-11-30 | 陕西中达公路技术服务有限公司 | 一种基于MultiView网关的多摄像头传输方法 |
CN110040470B (zh) * | 2019-05-21 | 2021-04-13 | 精英数智科技股份有限公司 | 一种人工智能视频识别皮带跑偏的监测方法 |
CN111787256B (zh) * | 2019-11-21 | 2023-02-17 | 西安宇视信息科技有限公司 | 警前录像的管理方法、装置、介质及电子设备 |
CN112415894B (zh) * | 2020-11-20 | 2021-09-10 | 中国矿业大学 | 基于主动学习和bn的重介质选煤过程安全运行控制方法 |
CN113780199A (zh) * | 2021-09-15 | 2021-12-10 | 江苏迪赛司自动化工程有限公司 | 一种双视成像装置和皮带运输异物目标智能识别方法 |
CN114013923B (zh) * | 2021-11-10 | 2023-05-16 | 中国联合网络通信集团有限公司 | 一种皮带纠偏方法、装置、系统及计算机可读存储介质 |
CN117571728B (zh) * | 2024-01-16 | 2024-03-19 | 常州海图信息科技股份有限公司 | 基于机器学习的煤矿皮带表面裂痕检测装置及方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5836877A (en) * | 1997-02-24 | 1998-11-17 | Lucid Inc | System for facilitating pathological examination of a lesion in tissue |
CN201601789U (zh) * | 2010-01-15 | 2010-10-06 | 上海市浦东新区保安服务总公司 | 一种联动报警视频监控综合信息集中管理系统 |
CN102792154B (zh) * | 2010-03-10 | 2015-09-23 | 3M创新有限公司 | 幅材制备工艺中专用的重复缺陷检测 |
US9494532B2 (en) * | 2010-09-24 | 2016-11-15 | Siemens Energy, Inc. | System and method for side-by-side inspection of a device |
US8922641B2 (en) * | 2011-06-29 | 2014-12-30 | The Procter & Gamble Company | System and method for inspecting components of hygienic articles |
CN202221415U (zh) * | 2011-09-03 | 2012-05-16 | 山东轻工业学院 | 宽幅面纸张表面缺陷在线检测系统 |
CN102654464A (zh) * | 2012-03-13 | 2012-09-05 | 浙江工业大学 | 基于多特征模糊识别的铜带表面缺陷检测系统 |
US9200890B2 (en) * | 2012-05-22 | 2015-12-01 | Cognex Corporation | Machine vision systems and methods with predictive motion control |
CN103051880A (zh) * | 2012-12-29 | 2013-04-17 | 苏州市职业大学 | 一种基于多摄像头的视频监控系统装置 |
CN103957547B (zh) * | 2014-05-05 | 2017-07-04 | 中国科学院微电子研究所 | 无线传感器网络的节点信誉评测方法及系统 |
CN204559760U (zh) * | 2015-02-17 | 2015-08-12 | 深圳市安星装饰设计工程有限公司 | 智能网络视频监控与安防管理平台联动系统 |
CN105427303B (zh) * | 2015-11-18 | 2018-09-21 | 国网江苏省电力有限公司检修分公司 | 一种变电站遗留物的视觉测量与估计方法 |
-
2017
- 2017-03-23 CN CN201710176375.7A patent/CN106990109B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106990109A (zh) | 2017-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106990109B (zh) | 一种基于多摄像头判定的井下皮带异物检测系统及方法 | |
CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
CN110697373B (zh) | 一种基于图像识别技术的传送皮带跑偏故障检测方法 | |
CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
CN113658136B (zh) | 一种基于深度学习的传送带缺陷检测方法 | |
CN108319926A (zh) | 一种工地现场的安全帽佩戴检测系统及检测方法 | |
CN110171691A (zh) | 带式传输机皮带撕裂状态检测方法及检测系统 | |
CN100433832C (zh) | 图像处理设备和图像处理方法 | |
EP3877906A1 (en) | Systems and methods for evaluating perception system quality | |
CN110516529A (zh) | 一种基于深度学习图像处理的投喂检测方法和系统 | |
WO2015001544A2 (en) | System and method for abnormality detection | |
CN115932765B (zh) | 基于多源数据分析的雷达失效自动检测系统及方法 | |
US11697558B2 (en) | Automated detection of carton damage | |
CN113706523A (zh) | 基于人工智能技术的皮带跑偏及异常运行状态的监测方法 | |
CN110519566A (zh) | 一种基于视频处理的皮带运动状态监测方法 | |
CN112257493B (zh) | 物品异常分拣的识别方法、装置、设备及存储介质 | |
CN117978969A (zh) | 一种应用于养殖业的ai视频管理平台 | |
CN117593499A (zh) | 一种基于分布式巡检策略的水电站机电设备故障识别方法 | |
US12079983B2 (en) | Automated detection of carton damage | |
CN116415864A (zh) | 基于人工智能的智慧型物流快检机 | |
CN116310953A (zh) | 一种冷源拦截网的浮筒脱网智能检测方法 | |
US20220270269A1 (en) | Object throughput using trained machine learning models | |
CN115206094A (zh) | 交通运输枢纽异常事件检测方法、检测系统、存储介质 | |
CN110309838A (zh) | 基于指数变换的视频检测区物体轮廓检测预处理方法 | |
Peters et al. | Automatic generation of large point cloud training datasets using label transfer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |