CN101943595A

CN101943595A - 一种基于立体视觉的煤仓料位测量方法和系统

Info

Publication number: CN101943595A
Application number: CN2009102233363A
Authority: CN
Inventors: 孙继平; 刘松
Original assignee: China University of Mining and Technology Beijing CUMTB
Current assignee: China University of Mining and Technology CUMT; China University of Mining and Technology Beijing CUMTB
Priority date: 2009-11-18
Filing date: 2009-11-18
Publication date: 2011-01-12
Anticipated expiration: 2029-11-18
Also published as: CN101943595B

Abstract

本发明涉及一种基于立体视觉的煤仓料位测量方法和系统，系统主要包括光学子系统、嵌入式处理子系统和带视窗的隔爆外壳。光源模块发出的光投射到煤仓中的煤面上，基于反射光和发射光的相位延时积分的原理，视觉传感器采集从煤面上反射回来的光，并把这些光转换深度图像和光强图像。处理器对图像数据进行分析，实现料位的测量，以便及时停止加煤卸煤。光源驱动控制器根据环形测光计测得的返回光的强度自动调整点亮LED的数量，使发光强度处于一个合适的范围。在测量中，根据料位，以及料位变换的情况，由处理器改变视觉传感器的参数，实现慢检测模式和快检测模式的智能切换。慢检测模式实现慢速高精度检测；快检测模式实现快速检测。

Description

一种基于立体视觉的煤仓料位测量方法和系统

技术领域

本发明为一种基于立体视觉的煤仓料位测量方法和系统，属于机器视觉、图像处理和自动化领域，用于快速正确获得煤仓料位的三维位置信息。

背景技术

煤仓料位的检测是煤矿安全生产的重要措施，直立型井底煤仓和倾斜式井底煤仓是我国目前矿井常用的煤仓形式。随着煤源源不断地送入煤仓，煤面离煤仓顶部的距离越来越小，如不及时停止加煤，就有可能溢出，造成煤堆积，使生产中断，严重的可以造成重大煤矿事故；如果煤下降到规定的最低料位后，如果不及时停止卸煤，会造成上下通风，使得煤尘大量上扬，造成粉尘浓度急剧增加，可能造成爆炸，酿成煤矿事故。目前常用的煤仓料位检测方法有：重锤式、电极式、电容式、机杆式、称重式、回转翼轮式、雷达式、超声波式、激光式、核子式等。其中重锤式、电极式、电容式、机杆式、称重式和回转翼轮式属于接触式测量方法，其余的为非接触式测量方法。最常用的有基于射频电容技术、基于超声波技术和基于雷达技术的三种测量方法，基于射频电容技术测量方法将一个无线电频率发送到探头上，通过连续的分析电容量的变化来实现测量；基于超声波技术的测量方法利用超声波发送和接受的时间差来实现测量；基于雷达技术的测量方法利用电磁波的发射波与反射波时间差来实现测量。

中国专利申请号200710038493.8，公开日2008.9.24，公开了一种基于机器视觉的非接触式连续测量小颗粒状物质料位的高可信度方法及其装置，装置有特殊点光源、图像采集机、机器视觉模块等组成，图像采集机采集由点光源发射出的光束在物料表面形成的高亮度光圆图像，通过机器视觉模块采用验证型光圆检测算法进行分析和处理，计算出光圆的直径或面积大小，进而获得物料值，从而实现物料测量。

中国专利申请号01107328.4，公开日2002.11.6，公开了一种数字视频料位计，由视频输入器、图像采集卡、微处理器和显示屏等相互连接而成，把视频输入器对准被测物料，视频输入器又连接到图像采集卡的视频输入端，微处理器控制图像采集卡按用户设定的采样周期采集料位图像、并对图像进行处理，将分析的料位坐标值与标定的刻度计比较计算出料位真实值，同时将料位图像、料位真实值以及该值的变化趋势显示在显示屏上。

目前基于视觉的煤仓料位测量方法，都是由二维图像推测煤仓料位的三维信息，这些方法和设备有着以下问题。

1)精度低，误差大。当空间三维场景物体投影到二维图像时，同一景物在不同视点下图像相差很大，且由于煤仓中条件恶劣，煤的几何形状和物理特性，噪声干扰等，都被综合在单一的图像灰度里。从包含如此之多不利因素的图像中很难求得高精度的、深度信息，很可能造成很大误差。

2)主动性差；由三维景象的二维图像被动推测三维信息，本身就是“病态”问题，而不是主动获得煤仓中煤的二维信息。

3)不易部署，在井下煤仓的有限位置部署，基于PC的视觉系统，比较困难，且很难实现煤矿安全生产的特性。

4)实时性差。由二维图像推测三维信息，演算第三维的深度信息，计算量大，速度量大，实时性差。

为了提高煤仓料位测量的主动性，高精度，实时获得煤仓中煤的深度信息，且易于部署，本发明提供了一种基于立体视觉的煤仓料位测量方法和系统。

发明内容

本发明的目的是提供一种基于立体视觉的煤仓料位测量方法和系统，系统包括光学子系统、嵌入式处理子系统16、卸煤传感器32、装煤传感器33和带视窗的隔爆外壳12。光学子系统，如图1，图6，图12，包括一个光源模块13、镜头66、环形测光计14和深度感知视觉传感器67；光源模块进一步包括光源驱动控制器63和光源64；嵌入式处理子系统，如图11，包含主处理U11、存储器U12和采集模块P3。主处理U11是基于ARM+DSP双核架构的，DSP核负责图像的处理，分析；ARM核心负责与外界交互和通信。如图2，主处理U11通过ARM核与装煤传感器33、卸煤传感器32、装煤输出35、卸煤输出34构成系统控制。

光源模块13发出的光投射到煤仓61中的煤面62上，光敏感的深度感知视觉传感器67捕捉到从煤面62上反射回来的光，这些光包括光源模块13发射的光被煤面62发射回来的光。基于反射光和发射光的相位延时积分的原理，深度感知视觉传感器67把捕获的光转换成包含煤仓61中煤62深度信息的深度图像和光强图像。嵌入式主处理器U11对视觉传感器67输出的含有煤仓61中煤62深度信息的数据进行处理，分析，以便实现煤仓料位的测量，并高效地作出正确的决策，以便及时合理地停止向煤仓61中加煤62和从煤仓61中卸煤。

如图6，光源驱动控制器63根据环形测光计14测得的返回光的强度，自动调整驱动或点亮光源64的LED的数量，使光源64发射的光的强度处于一个合适的范围；64发射的光发射到煤仓61里煤面62上；

深度感知视觉传感器67不仅能捕获光产生光强图像，还能产生包含深度信息的深度图像，原因在于其独特的像素结构，一般CMOS图像传感器的像素结构，如图7，只有一个接受光的接收器，而深度感知视觉传感器67的像素结构，如图8，包含两个接收器：同相接收器82和异相接收器81。其产生包含深度信息的深度的原理是依据发射光和放射光的相位移位延时的积分差的原理。其积分过程，如图9，在相同的积分时间内，根据同相接收器82接受的光的相关量(黑色阴影部分)与异相接收器81接受的光的相关量(黑色阴影部分)的差来产生深度图像。

本发明基于立体视觉的煤仓料位测量方法可由两种工作方式，方式1是由实时检测控制系统检测模式切换；方式2是由卸煤传感器32和装煤传感器33控制系统检测模式切换。方式1的具体实施时可以不用装卸煤传感器32和装煤传感器33。

方式1的具体检测流程，如图3，当煤仓料位没有变化或变化小于某个阈值，系统以慢检测模式212不同重复步骤110和步骤111，步骤110包含两个子步骤：执行料位检测24和判断料位是否变化26，步骤111包含两个子步骤：执行料位检测28和判断料位是否变化29，其中执行料位检测24和执行料位检测28采用下列识别煤仓中煤的识别方法之一，最近邻判别算法、支持向量机、脉冲耦合神经网络。当煤仓中的料位有变化或变化大于某个阈值时，系统迅速切换到快速检测模式213，其切换的过程和方法，如5，如果系统正运行在慢检测模式，通过降低分辨率，提高快门速度42把系统转换到快检测模式213，以便满足装煤和卸煤过程中高速检测。但料位无变化或变化小于某个阈值时，系统切换到慢检测模式212，其切换的过程和方法，如6，如果系统正运行在快检测模式213，通过提高分辨率，降低快门速度52转换系统运行在慢检测模式，以便减少系统的开支和功耗。

方式2的具体检测流程是：当装卸煤传感器32或装煤传感器33有信号时，系统切换到快检测模式，当卸煤传感器32或装煤传感器33无信号时，系统切换到慢检测模式。

由于煤的高反射性和煤仓发热的深度，本发明所述的光源模块13的发光强度能够自适应调整，其调整的具体流程：

如图10，图6所示：光源驱动控制器63驱动光源64发光100，光源发射光101照射到煤仓61的煤面62上，煤面62反射光经镜头66后送到视觉传感器67，在镜头66前的环形测光计14测量反射回来的光强102，如果光强T在T1和T2之间103，不用改变驱动或点亮光源的LED的数量，如果光强T小于光强T1 104，则增加驱动或点亮106光源64的LED的数量，使光源64发射更强的光，如果光强T大于光强T2 105，则减少驱动或点亮107光源65的LED的数量，使光源65发射更弱的光，如此循环不断调整光源64发射光的LED的数量，使得光强处于一个合适的范围。

本发明的有益效果是：

1)精度高，鲁棒性好。本发明采用真正获得三维场景中的三维图像，而不是从二维图像“病态”推出三维景物的深度信息，精度高，由于可以操作传感器只接受某个频段范围的光，排除了很多外在干扰，测量的鲁棒性好。

2)主动性强。本发明不仅能够提供整个煤仓中煤的深度，而且还能仅仅准确测量某些点的深度，大幅度减少运算量，具有很好的主动性。

3)实时快速。本发明中煤仓中煤的深度信息是有视觉传感器主动获得的，不像由二维图像那样演算三维信息，具有很高的实时性，并且本发明根据煤仓中煤的情况采用不同的检测方法，很好保证了系统的低功耗和高实时性。

4)易于部署，本发明采用嵌入式架构，采用多层电路板设计，可以做的很小，在井下有限的空间里，很容易部署，且易于实现煤矿安全的本安特性设计。

5)扩展性好。本发明采用双核架构的主处理，处理器本身集成了大量的常规接口，易于扩展，以便和不同的设备进行交互和通信。

附图说明

图1是本发明的机构框图。

图2是本发明与外界通信结构框图。

图3是本发明信息处理和实时检测流程图。

图4是慢检测模式转换流程图。

图5是快检测模式转换流程图。

图6是光学子系统组件框图。

图7是普通CMOS传感器像素结构框图。

图8是深度感知CMOS传感器像素结构框图。

图9是深度感知CMOS传感器工作原理图。

图10是光源模块发光强度自适应调整流程图。

图11是嵌入式处理子系统结构框图。

图12是系统装配3D透明图；

图13是系统装配图的剖面图；

图14是图像采集模块与主处理器连接原理图。

图15是程序存储器与主处理器连接原理图。

图16是数据存储器与主处理器连接原理图。

图17是嵌入式主处理的电源部分原理图。

具体实施方法

下面将结合附图对本发明的具体实施进行说明。

为了提高煤仓料位测量的主动性，高精度，实时获得煤仓中煤的深度信息，且易于部署，本发明提供了一种基于立体视觉的煤仓料位测量方法和系统；光学子系统和嵌入式处理子系统16、卸煤传感器32、装煤传感器33和带视窗的隔爆外壳12组成。光学子系统主要包括光源模块13、深度感知视觉传感器67、环形测光计14和镜头66；嵌入式处理子系统主要包括嵌入式主处理器U11、存储器U12，图像采集模块P3等。

系统工作原理是光源模块13发出的光投射到煤仓61中的煤面62上，光敏感的深度感知视觉传感器67捕捉到从煤面62上反射回来的光，这些光包括光源模块13发射的光被煤面62发射回来的光，基于反射光和发射光的相位延时积分的原理，深度感知视觉传感器67把捕获的光转换成包含煤仓61中煤深度信息的深度图像和光强图像。嵌入式主处理器U11对视觉传感器67输出的含有煤仓61中煤62深度信息的数据进行处理，分析，以便实现煤仓料位的测量，并高效地作出正确的决策，以便及时合理地停止向煤仓61中加煤62和从煤仓61中卸煤。

系统具体检测方法是：

1)启动实时检测前，通过学习煤仓中煤的特征，以便实时检测过程中利用这些特征来检测煤的存在及位置；

2)启动采集后，实时检测煤仓中煤的特征信息；

3)如果煤仓中煤位没有变化或变化小于某个阈值，采用慢检测模式；

4)一旦检测到煤位有变化或变化大于某个阈值，采用快速检测模式；

5)视觉传感器67获得的深度图像和光强图像数据经f2电传到到U11进行处理、分析；

6)U11经f1给视觉传感器发送控制信号，以便改变视觉传感器67的采集的分辨率和快门速度，采集时序等。

系统的硬件架构：

如图12，图13，光源13、视觉传感器67，光源驱动控制器63和嵌入式子系统16都是以电路板的形式构成，分别为光源板22、图像采集源板23、光源驱动控制器板24和处理主板25；光源板22和环形测光计14通过螺钉连接在隔爆外壳12上，LED阵列26电联结到光源板22上；镜头66通过螺纹连接到工业绝缘板20上，深度感知视觉传感器67通过接插件电连接在图像采集源板23上；光源板22、图像采集源板23、光源驱动控制器板24和处理主板25通过螺钉固定在工业绝缘外壳20上；光源板22与光源驱动控制器板24通过电缆电连接；图像采集源板23与处理主板25通过接插件电连接；光源驱动控制器板24与处理主板25通过接插件电连接；工业绝缘外壳20通过螺钉固定在外壳12上。

在本发明中，系统的供电通过矿用电缆27直流24V供电，内部的转换电路是常规的转换电路；信号的输入和输出都是通过矿用电缆28传输的。

下面将详细指明本发明硬件电路的联接(如图14～图17)：

如图14所示，图像采集模块P3的3、4、5、10、12、13、15、16～26端口经U28、U76电平转换后分别与U11C的B22、C22、J20、J19、E18、A22、G21、F21、K23、J23、K24、L24、B21、G20、F19、G19、AC18、AB18电连接；

如图15所示，程序存储器U12A的16位数据端N1、N2、N3、M5、P7、M6、N6、M8、P2、P3、N4、P4、P5、N7、M7、N8分别与U11B的L2、M1、M2、N2、M3、P1、P2、R1、R2、T2、U1、R3、T3、U2、V1、V2电连接；

如图16所示，数据存储器U12B的14位地址线K4、L1、L2、L3、C2、D2、E1、D3、E2、D4、K3、F2、F1、M3分别与U11A的A4、B4、D6、B3、B2、C3、E3、F6、E10、E9、E7、G6、G7、F7、F9电连接；如图16所示，数据存储器U12B的32位数据线L4、L5、L6、L7、K8、L8、K7、K5、K6、G7、J6、 J5、H6、H5、J4、G3、G4、F4、E4、F5、H3、H4、E6、F7、F6、D5、E8、D6、D8、D7、C8、C7与U11A的D7、C5、C6、B5、D9、D10、C7、B7、B11、C12、B12、D13、C13、B14、A14、B15、C9、E12、B8、B9、C10、B10、D12、E13、E15、D15、C15、B16、C16、D16、B17、B18电连接；

如图17所示，U11G的M6、N6、R6、M7、N7、R7、T7、M8、N8、R8、T8、G9、H9、J9、F10、G10、H10、J10、L11、L12、M12、U12、V12、W12、U13、V13、W13端接1.2V的电压节点VCORE1，并经电容C75、C76、C77、C78、C79、C80、C81、C82、C83、C84耦合接地；U11G的T20、T19、R19、K19、T18、R18、K18、J18、T17、R17、K17、J17、M15、L15、M14、L14、H13、G13、F13、H12、G12、F12端接1.2V的电压节点VCORE2，并经电容C85、C86、C87、C88、C89、C90、C91、C92、C93耦合接地；

如图17所示，U11H的AA13端口接1.8V的电压节点VIO，并经电容C59、C60、C61、C62、C63、C64、C65、C66、C67、C68、C69耦合接地；U11H的N24、H8、G18、U17、AB13端分别接1.8V的电压节点VMMC1、VMMC1、VPLL1、VPLL1、VDAC，并分别经电容C70、C71、C72、C73、C74耦合接地；

本发明中硬件电路中标号的物理意义：

U11	表示ARM+DSP双核结构的处理器
		U12A	表示程序存储器
U12B	表示数据存储器
		P3	表示图像采集接口电路
U28	表示电源转换驱动电路
		U76	表示电源转换驱动电路

Claims

1.一种基于立体视觉的煤仓料位测量方法和系统，其特征在于：由光学子系统、嵌入式处理子系统16、卸煤传感器32、装煤传感器33和带视窗的隔爆外壳12组成。光学子系统主要包括光源模块13、深度感知视觉传感器67、环形测光计14和镜头66；嵌入式处理子系统主要包括嵌入式主处理器U11、存储器U12，图像采集模块P3等。基于立体视觉的煤仓料位测量方法包含如下步骤：

1)上述的光源模块13发射光投射到煤仓61的煤面62上，视觉传感器67的像素阵列的每个像素采集由煤面62发射的经过镜头66聚集的部分光，这些光包括光源模块13发射的光被煤面62反射的部分光。依据反射光和发射光的相位延时积分的原理，视觉传感器67把采集的光转换成包含煤仓61煤位深度信息的深度图像和光强图像。视觉传感器67重复地采集多帧图像以增加信息的可靠性。

2)上述的嵌入式主处理器U11以及其上嵌入的处理分析算法程序重复地处理、分析由1)所采集的深度图像和光强图像，以便实现煤仓料位的测量，并高效地作出正确的判断和决策。

2.根据权利要求1所述的方法和系统，其特征在于环形测光计14测量经煤面发射的进入镜头66的光的强度，并把测量的强度值输入端光源驱动控制器63中。

3.根据权利要求1所述的方法和系统，其特征在于：所述的光源模块13进一步包括光源驱动控制器63和光源64，光源64由LED圆形阵列组成，光源驱动控制器63根据环形测光计14测得的返回光的强度，自动调整驱动或点亮光源64上的LED数量，使光源64发射的光的强度处于一个合适的范围；光源64发射的光发射到煤仓61里煤面62上。

4.根据权利要求1所述的方法和系统，其特征在于：所述的带视窗的隔爆外壳12的视窗是高透光的。

5.根据权利要求1所述的方法和系统，其特征在于：所述的煤仓61中的料位无变化或变化小于某个阈值时，系统运行在慢检测模式212，如果目前运行在快检测模式213，通过提高图像分辨率，减小快门速度52进入慢检测模式212。

6.根据权利要求1所述的方法和系统，其特征在于：所述的煤仓61中的料位有变化或变化大于某个阈值时，系统应该运行在快检测模式213，如果目前运行慢检测模式212，通过降低图像分辨率，增加快门速度42进入快检测模式213。

7.根据权利要求1所述的方法和系统，其特征在于：作为可选的工作方式，所示的系统检测模式也可根据卸煤传感器32、装煤传感器33信号来切换，当卸煤传感器32、装煤传感器33有信号时，切换到快检测模式；当卸煤传感器32、装煤传感器33无信号时，切换到慢检测模式。

8.根据权利要求1所述的方法和系统，其特征在于：所述的处理分析算法程序至少包含下面算法中的一种：(1)最近邻算法；(2)支持向量机；(3)脉冲耦合神经网络。

9.根据权利要求1所述的方法和系统，其特征在于：所述的嵌入式子系统主要由嵌入式主处理器U11、存储器U12和图像采集模块P3组成；主处理器U11进一步包括U11A、U11B、U11C、U11D、U11G和U11H组成；存储器U12进一步包括程序存储器U12A和数据存储器U12B.。

10.根据权利要求1所述的方法和系统，其特征在于：10所述的图像采集模块P3的3、4、5、10、12、13、15、16～26端口经U28、U76电平转换后分别与U11C的B22、C22、J20、J19、E18、A22、G21、F21、K23、J23、K24、L24、B21、G20、F19、G19、AC18、AB18电连接。

11.根据权利要求1所述的方法和系统，其特征在于：10所述的程序存储器U12A的16位数据端N1、N2、N3、M5、P7、M6、N6、M8、P2、P3、N4、P4、P5、N7、M7、N8分别与U11B的L2、M1、M2、N2、M3、P1、P2、R1、R2、T2、U1、R3、T3、U2、V1、V2电连接。

12.根据权利要求1所述的方法和系统，其特征在于：10所述的数据存储器U12B的14位地址线K4、L1、L2、L3、C2、D2、E1、D3、E2、D4、K3、F2、F1、M3分别与U11A的A4、B4、D6、B3、B2、C3、E3、F6、E10、E9、E7、G6、G7、F7、F9电连接；10所述的数据存储器U12B的32位数据线L4、L5、L6、L7、K8、L8、K7、K5、K6、G7、J6、J5、H6、H5、J4、G3、G4、F4、E4、F5、H3、H4、E6、F7、F6、D5、E8、D6、D8、D7、C8、C7与U11A的D7、C5、C6、B5、D9、D10、C7、B7、B11、C12、B12、D13、C13、B14、A14、B15、C9、E12、B8、B9、C10、B10、D12、E13、E15、D15、C15、B16、C16、D16、B17、B18电连接。

13.根据权利要求1所述的方法和系统，其特征在于：10所述的U11G的M6、N6、R6、M7、N7、R7、T7、M8、N8、R8、T8、G9、H9、J9、F10、G10、H10、J10、L11、L12、M12、U12、V12、W12、U13、V13、W13端接1.2V的电压节点VCORE1，并经电容C75、C76、C77、C78、C79、C80、C81、C82、C83、C84耦合接地；U11G的T20、T19、R19、K19、T18、R18、K18、J18、T17、R17、K17、J17、M15、L15、M14、L14、H13、G13、F13、H12、G12、F12端接1.2V的电压节点VCORE2，并经电容C85、C86、C87、C88、C89、C90、C91、C92、C93耦合接地。

14.根据权利要求1所述的方法和系统，其特征在于：10所述的U11H的AA13端口接1.8V的电压节点VIO，并经电容C59、C60、C61、C62、C63、C64、C65、C66、C67、C68、C69耦合接地；U11H的N24、H8、G18、U17、AB13端分别接1.8V的电压节点VMMC1、VMMC1、VPLL1、VPLL1、VDAC，并分别经电容C70、C71、C72、C73、C74耦合接地。