CN112058701A - 基于偏振成像的煤与煤矸石分拣系统及方法 - Google Patents

基于偏振成像的煤与煤矸石分拣系统及方法 Download PDF

Info

Publication number
CN112058701A
CN112058701A CN202010883890.0A CN202010883890A CN112058701A CN 112058701 A CN112058701 A CN 112058701A CN 202010883890 A CN202010883890 A CN 202010883890A CN 112058701 A CN112058701 A CN 112058701A
Authority
CN
China
Prior art keywords
polarization
image
coal
gray level
conveyor belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010883890.0A
Other languages
English (en)
Other versions
CN112058701B (zh
Inventor
谭治英
王子龙
赵宝来
费仲文
沙刘力
刘拓
张瀛
龚涛
徐孝彬
骆敏舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202010883890.0A priority Critical patent/CN112058701B/zh
Publication of CN112058701A publication Critical patent/CN112058701A/zh
Application granted granted Critical
Publication of CN112058701B publication Critical patent/CN112058701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02Measures preceding sorting, e.g. arranging articles in a stream orientating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3425Sorting according to other particular properties according to optical properties, e.g. colour of granular material, e.g. ore particles, grain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/361Processing or control devices therefor, e.g. escort memory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063Using robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明属于煤炭分选技术领域,具体提供一种基于偏振成像的煤与煤矸石分拣系统及方法,该系统包括振动筛、传送带、光电开关、光照箱、偏振相机、控制柜、工控机、并联机器人、煤矸石料框和煤料框。本发明采用偏振相机同步采集煤与煤矸石表面反射光四个角度的偏振强度图像,并计算平均偏振强度图像、偏振角图像和偏振度图像,提取该三个图像的10个特征构成30维的特征向量,对煤与煤矸石进行分拣。本发明采用4个方向的偏振强度图像,与普通图像或单个方向偏振强度图像相比,提高了分类特征的准确性。

Description

基于偏振成像的煤与煤矸石分拣系统及方法
技术领域
本发明属于煤炭分选技术领域,具体涉及一种基于偏振成像的煤与煤矸石分拣系统及方法。
背景技术
采煤过程中大量固体废物如煤矸石需要被分选剔除,目前国内外分选法以人工分选、湿选法、射线法、机器视觉方法为主。人工分选劳动强度大、生产效率低。湿选法需耗费大量水能和电能,且产生的粉尘具有污染性。射线法存在辐射污染、设备笨重等问题。机器视觉方法因其自动化程度高、无污染而成为未来的发展方向,但是现有的机器视觉方法还存在识别率低、易受环境光照影响等问题。
发明内容
为解决现有技术的不足,本发明提供一种基于偏振成像的煤与煤矸石分拣系统及方法,基于反射光偏振信息实现了煤与煤矸石的高质量成像,避免了环境光对成像的影响,识别的准确度高。
本发明提供的技术方案为:
本发明提供一种基于偏振成像的煤与煤矸石分拣系统,包括振动筛、传送带、光电开关、光照箱、偏振相机、控制柜、并联机器人、煤矸石料框和煤料框;
所述振动筛与传送带起始位置相邻设置;
所述光照箱架设于传送带正上方,且位于传送带始端;所述光照箱内壁安装LED灯;
所述偏振相机安装于光照箱内,且位于传送带正上方;所述偏振相机用于拍摄传送带上物料多个偏振角度的偏振强度图像;
所述光电开关位于传送带一侧,所述光电开关与光照箱相邻设置;
所述并联机器人架设于传送带上方,且位于传送带的末端;
所述控制柜内设有工控机;
所述振动筛、传送带、光电开关、偏振相机、LED灯和并联机器人均与工控机相连接;
所述工控机用于根据光电开关信号触发偏振相机和LED灯;根据偏振相机拍摄的偏振强度图像对传送带上的物料进行分拣;以及,下发指令至并联机器人;
所述煤矸石料框位于传送带一侧,煤矸石料框与并联机器人相对设置;
所述煤料框设置于传送带终端。
进一步的,所述光照箱内壁涂有高漫反射白色材料。
进一步的,所述LED灯沿光照箱内壁水平方向环绕一周形成LED灯带;
所述光照箱内壁设有两个LED灯带。
进一步的,所述偏振相机具体用于,
拍摄传送带上物料0°、45°、90°和135°四个偏振角度的偏振强度图像。
进一步的,所述工控机具体用于,
基于斯托克斯参数表示法计算传送带上物料的偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;所述传送带上物料的偏振强度图像为偏振相机拍摄的包含0°、45°、90°和135°四个偏振角度的偏振强度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中待筛选物料的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
基于分类模型对待筛选物料进行分拣。
进一步的,所述工控机还用于,
如果待筛选物料为煤矸石,则下达指令至并联机器人。
进一步的,所述工控机还用于,
获取若干煤与煤矸石包含0°、45°、90°和135°四个偏振角度的偏振强度图像作为训练集;
计算训练集中偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中煤与煤矸石的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
利用支持向量机对训练集构成的30维特征向量集进行训练获得分类模型。
本发明还提供一种基于偏振成像的煤与煤矸石分拣方法,包括,
工控机向振动筛和传送带下发启动信号,振动筛将物料传送至传送带上;
工控机获取光电开关上传的物料的通过信号,触发LED灯和偏振相机;
工控机获取偏振相机采集的传送带上物料包含0°、45°、90°和135°四个偏振角度的偏振强度图像;
工控机基于获取的偏振强度图像采用分类模型对传送带上物料进行分拣,并下发指令。
进一步的,所述工控机基于获取的偏振强度图像采用分类模型对传送带上物料进行分拣,包括:
基于斯托克斯参数表示法计算传送带上物料的偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中待筛选物料的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
将30维特征向量输入到分类模型,得到物料种类。
进一步的,所述工控机基于获取的偏振强度图像采用分类模型对传送带上物料进行分拣,并下发指令,包括:
如果判断为煤矸石,则向并联机器人下发指令,由并联机器人将煤矸石抓取至煤矸石料框;
如果判断为煤,则不下发指令,物料自动传送至煤料框。
进一步的,还包括:
工控机获取若干煤与煤矸石包含0°、45°、90°和135°四个偏振角度的偏振强度图像作为训练集;
计算训练集中偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中煤与煤矸石的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
利用支持向量机对训练集构成的30维特征向量集进行训练获得分类模型。
本发明的有益效果:
1、本发明采用偏振相机采集煤与煤矸石表面反射光的偏振强度图像,偏振光与普通反射光照强度信息相比,其特征稳定且差异性大,能从本质上反应目标的化学成分,为识别的准确度与设备的稳定性提供支撑。本发明解决了普通机器视觉识别易受噪声影响、识别率不稳定的问题,利用本发明进行分类测试,准确率达到96.875%以上,误报率3.125%,漏检率0%。
2、本发明采集煤与煤矸石4个方向的偏振强度图像,利用反映物体化学成分特征的平均偏振强度图像、偏振角图像和偏振度图像进行特征提取,与普通图像或单个方向偏振强度图像相比,提高了分类特征的准确性。
3、本发明设计的光照各向均匀的光照箱,实现了不规则形态的煤与煤矸石高质量成像,避免了环境光对成像的影响。
4、本发明采用30个特征构成的特征向量反应煤与煤矸石的特征,为支持向量机分类提供支撑,与现有的深度学习方法相比本发明对训练样本库和计算量要求低,识别率更高,可用于工业实际。
附图说明
图1为本发明提供的基于偏振成像的煤与煤矸石分拣系统的结构示意图;
图2为本发明提供的光照箱的结构示意图;
图3为本发明提供的基于偏振成像的煤与煤矸石分拣方法的操作流程图;
图4(a)为本发明采集的训练集中4块煤样品的偏振强度图像;
图4(b)为本发明根据图4(a)计算得到的4块煤样品的偏振角图像;
图4(c)为本发明根据图4(a)计算得到的4块煤样品的偏振度图像;
图5(a)为本发明采集的训练集中4块煤矸石样品的偏振强度图像;
图5(b)为本发明根据图5(a)计算得到的4块煤矸石样品的偏振角图像;
图5(c)为本发明根据图5(a)计算得到的4块煤矸石样品的偏振度图像;
图6为本发明提供的煤与煤矸石分类模型的算法示意图;
其中,1、振动筛;2、传送带;3、光电开关;4、光照箱;5、偏振相机;6、控制柜;7、并联机器人;8、煤矸石料框;9、煤料框;10、LED灯。
具体实施方式
下面结合实施方式对本发明作进一步描述。以下实施方式仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明实施例提供一种基于偏振成像的煤与煤矸石分拣系统,参见图1,包括振动筛1、传送带2、光电开关3、光照箱4、偏振相机5、控制柜6、并联机器人7、煤矸石料框8和煤料框9。
具体的,振动筛1设置于传送带2始端,振动筛1用于上料。
光照箱4架设于传送带2正上方,光照箱4靠近传送带2始端。
偏振相机5安装于光照箱4内,且位于传送带2正上方。
光电开关3位于传送带2一侧,光电开关3贴近传送带2并架设于传送带2斜上方,光电开关3与光照箱4相邻设置。光电开关3用于将煤与煤矸石的通过信号上传至工控机。
并联机器人7架设于传送带2上方,并联机器人7靠近传送带2的终端设置。并联机器人7用于根据工控机的指令抓取煤矸石至煤矸石料框8。
煤矸石料框8位于传送带2一侧,煤矸石料框8与并联机器人7相对设置。
煤料框9设置于传送带2的终端。
控制柜6内设有工控机。
振动筛1、传送带2、光电开关3、偏振相机5和并联机器人7均与工控机相连接。
参见图2,光照箱4内壁安装LED灯10。LED灯10和工控机电连接。
LED灯10沿水平方向环绕一周形成LED灯带,LED灯10的光照方向(如图2中的а和β)可根据光照箱4的尺寸及使用需求调节。
可根据需要调节LED灯带的数目,本发明实施例中光照箱4内壁设有两个LED灯带。本发明设计的光照各向均匀的光照箱,针对煤与煤矸石形态各异、黑色吸光等特性,能够最大限度增强其表面特性,增大煤与煤矸石偏振特征的差异性,实现不规则形态的煤与煤矸石的高质量成像,避免了环境光对成像的影响。
优选的,光照箱4内壁涂有高漫反射白色材料。
偏振相机5用于获取物料的0°、45°、90°和135°四个角度的偏振强度图像,将0°、45°、90°和135°四个角度的偏振强度图像记为I0,I45,I90和I135,将包含I0,I45,I90和I135信息的偏振强度图像上传至工控机。
本发明采用配有SONY IMX250MZR偏振光芯片的偏振相机,依据SONY IMX250MZR芯片的像素四极偏振滤波技术,可对每一个像素进行四个角度(0°,45°,90°和135°)的偏振强度图像采集。通过四个角度偏振强度图像的同步获取,可以实现煤与煤矸石差异性信息的准确获取,为分类模型的设计提供前提条件。
工控机用于,
根据物料的通过信号触发LED灯10点亮,并触发偏振相机5拍摄物料的0°、45°、90°和135°四个角度的偏振强度图像;
基于斯托克斯参数表示法,根据I0,I45,I90和I135计算用于特征提取的平均偏振强度图像、偏振角图像和偏振度图像:
根据I0,I45,I90和I135计算斯托克斯参数S0,S1,S2
Figure BDA0002654953150000061
S1=I0-I90
S2=I45-I135
其中,S0表示偏振光的总强度;S1表示0°与90°线偏振光分量之差;S2表示45°与135°线偏振光分量之差。
利用斯托克斯参数S0,S1,S2计算平均偏振强度I、偏振角φ和偏振度ρ:
I=S0
Figure BDA0002654953150000062
Figure BDA0002654953150000063
对所获取的平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中待筛选物料的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量,通过分类模型对待筛选物料进行分拣(煤或者煤矸石);如果待筛选物料是煤矸石,则下达指令至并联机器人7。
进一步的,工控机还用于,
图4(a)为本发明采集的训练集中4块煤样品的偏振强度图像,图4(b)为根据图4(a)计算得到的4块煤样品的偏振角图像,图4(c)为根据图4(a)计算得到的4块煤样品的偏振度图像。图5(a)为采集的训练集中4块煤矸石样品的偏振强度图像,图5(b)为根据图5(a)计算得到的4块煤矸石样品的偏振角图像,图5(c)为根据图5(a)计算得到的4块煤矸石样品的偏振度图像。
获取若干煤与煤矸石包含0°、45°、90°和135°四个角度的偏振强度图像作为训练集,0°、45°、90°和135°四个角度的偏振强度图像分别记为I0,I45,I90和I135
参见图4(a)为本发明采集的煤样品四个角度的偏振强度图像,图5(a)为本发明采集的煤矸石样品四个角度的偏振强度图像;
基于斯托克斯参数表示法,根据I0,I45,I90和I135计算训练集中煤与煤矸石的平均偏振强度图像、偏振角图像和偏振度图像:
具体计算过程如下:
根据I0,I45,I90和I135计算斯托克斯参数S0,S1,S2
Figure BDA0002654953150000071
S1=I0-I90
S2=I45-I135
其中,S0表示偏振光的总强度;S1表示0°与90°线偏振光分量之差;S2表示45°与135°线偏振光分量之差。
利用斯托克斯参数S0,S1,S2计算平均偏振强度I、偏振角φ和偏振度ρ:
I=S0
Figure BDA0002654953150000081
Figure BDA0002654953150000082
参见图4(b)为根据图4(a)计算得到的煤样品四个角度的偏振角图像,图4(c)为根据图4(a)计算得到的煤样品四个角度的偏振度图像。图5(b)为根据图5(a)计算得到的煤矸石样品四个角度的偏振角图像,图5(c)为根据图5(a)计算得到的煤矸石样品四个角度的偏振度图像。
对训练集中煤与煤矸石的平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
使用OTSU算法将煤与煤矸石的平均偏振强度图像、偏振角图像和偏振度图像二值化;
使用边缘提取findContours函数提取出煤与煤矸石的平均偏振强度图像、偏振角图像和偏振度图像中煤与煤矸石的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像3幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据10个特征,构成30维特征向量;
利用支持向量机对训练集构成的30维特征向量集进行训练获得分类模型。
具体的,各特征计算如下:
1)提取出样本的灰度均值,灰度方差和灰度偏度:
Figure BDA0002654953150000083
Figure BDA0002654953150000084
Figure BDA0002654953150000085
其中,μ为图像的灰度均值,N=rows×cols;Pij表示图像在(i,j)位置的灰度值,rows和cols分别表示图像的行数和列数,σ为图像的灰度方差,ξ为图像的灰度偏度。
2)提取出样本的灰度直方图并计算灰度直方图的偏度,峰度和能量。
对于灰度值范围为0-255的图像,其灰度rk取值为r0,r1,......,r255,nk为灰度值为rk的像素数,该图像的灰度直方图为:
Figure BDA0002654953150000091
N为总像素数,ni为灰度为ri的像素数。
计算灰度直方图的偏度,峰度和能量:
Figure BDA0002654953150000092
Figure BDA0002654953150000093
Figure BDA0002654953150000094
其中,s为灰度直方图的偏度,q为灰度直方图的峰度,e为灰度直方图的能量。
3)计算图像的灰度共生矩阵并求出图像的对比度(Con),图像的能量(Asm),图像的熵(Ent)和图像的相关性(Corr):
设一副大小rows×cols的图像,在(r,c)处的灰度值为g(r,c),设灰度等级为L,则灰度共生矩阵P是一个L×L矩阵,其在(go,gw)位置的值为:
P(go,gw)=#{(r1,c1),(r2,c2)∈rows×cols|g(r1,c1)=go,g(r2,c2)=gw}
其中,#{x}表示集合x中元素的个数,若(r1,c1)与(r2,c2)间的距离为d,两者与坐标横轴的夹角为θ,则可以得到各种间距及角度的灰度共生矩阵(go,gw,d,θ)。其中灰度共生矩阵P在元素(go,gw)处的值等于灰度值是go和gw的距离为d且两者与横轴夹角为θ的像素个数。
在计算得到灰度共生矩阵之后,在此基础上计算纹理特征量。
图像的对比度:
Figure BDA0002654953150000095
图像的能量:
Figure BDA0002654953150000096
图像的熵:
Figure BDA0002654953150000097
图像的相关性:
Figure BDA0002654953150000101
其中,
Figure BDA0002654953150000102
Figure BDA0002654953150000103
Figure BDA0002654953150000104
Figure BDA0002654953150000105
提取上述10个特征作为特征向量(见表1)。
表1煤和矸石的偏振图像特征
Figure BDA0002654953150000106
本发明实施例进一步提供一种基于偏振成像的煤与煤矸石分拣方法,参见图3,包括以下步骤,:
步骤一:工控机向振动筛和传送带发送启动信号,振动筛和传送带启动,振动筛将打散的物料传送至传送带上;
步骤二:工控机获取物料的通过信号,触发光照箱中的LED灯点亮,并触发偏振相机采集煤或煤矸石0°、45°、90°和135°四个角度的偏振强度图像;
步骤三:工控机获取偏振相机采集的偏振强度图像;
步骤四:工控机基于获取的偏振强度图像采用分类模型对物料进行分拣,并下发指令;
具体的,如果判断为煤矸石,则向并联机器人下发指令,由并联机器人将煤矸石抓取至煤矸石料框;
如果判断为煤,则不下发指令,物料自动传送至煤料框。
参见图6,工控机获取偏振强度图像进行如下处理:
(51)基于斯托克斯参数表示法,计算平均偏振强度图像、偏振角图像和偏振度图像:
平均偏振强度图像的计算公式为:
Figure BDA0002654953150000111
I=S0
其中,I为平均偏振强度,S0表示偏振光的总强度,I0,I45,I90和I135分别为0°、45°、90°和135°四个角度的偏振强度图像;
偏振角图像的计算公式为:
S1=I0-I90
S2=I45-I135
Figure BDA0002654953150000112
其中,φ为偏振角,S1表示0°与90°线偏振光分量之差,S2表示45°与135°线偏振光分量之差;
偏振度图像的计算公式为:
Figure BDA0002654953150000113
其中,ρ为偏振度;
(52)对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
(53)采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
(54)采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中待筛选物料的轮廓;
(55)分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
(56)将30维特征向量输入到分类模型得到物料种类。
工控机获取分类模型的步骤(见图6):
参见图6,分类模型可以离线构建,过程如下:
获取若干煤与煤矸石包含0°、45°、90°和135°四个角度的偏振强度图像作为训练集;
计算训练集中偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中煤与煤矸石的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
利用支持向量机对训练集构成的30维特征向量集训练获得分类模型。
实施例1
将样本集按照2:8的比例分成训练集和测试集。将训练集数据输入支持向量机得到分类模型,用测试集数据计算分类准确率。
分别采集煤与矸石样本偏振强度图像各100张,按照2:8的比例分成训练集和测试集,利用直方图交叉核作为核函数进行支持向量机建模与分类,其中80个煤样本中预测错了5个,80个煤矸石样本中预测错0个,结果表明分类准确率为96.875%,误报率3.125%,漏检率0%。
本发明所提供的基于偏振成像的煤与煤矸石分拣系统和分拣方法对其他材质物体的分拣具有同样效果,具体使用中根据需要修改上料方式即可。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (11)

1.基于偏振成像的煤与煤矸石分拣系统,其特征在于,包括振动筛、传送带、光电开关、光照箱、偏振相机、控制柜、并联机器人、煤矸石料框和煤料框;
所述振动筛与传送带起始位置相邻设置;
所述光照箱架设于传送带正上方,且位于传送带始端;所述光照箱内壁安装LED灯;
所述偏振相机安装于光照箱内,且位于传送带正上方;所述偏振相机用于拍摄传送带上物料多个偏振角度的偏振强度图像;
所述光电开关位于传送带一侧,所述光电开关与光照箱相邻设置;
所述并联机器人架设于传送带上方,且位于传送带的末端;
所述控制柜内设有工控机;
所述振动筛、传送带、光电开关、偏振相机、LED灯和并联机器人均与工控机相连接;
所述工控机用于根据光电开关信号触发偏振相机和LED灯;根据偏振相机拍摄的偏振强度图像对传送带上的物料进行分拣;以及,下发指令至并联机器人;
所述煤矸石料框位于传送带一侧,煤矸石料框与并联机器人相对设置;
所述煤料框设置于传送带终端。
2.根据权利要求1所述的基于偏振成像的煤与煤矸石分拣系统,其特征在于,
所述光照箱内壁涂有高漫反射白色材料。
3.根据权利要求1所述的基于偏振成像的煤与煤矸石分拣系统,其特征在于,所述LED灯沿光照箱内壁水平方向环绕一周形成LED灯带;
所述光照箱内壁设有两个LED灯带。
4.根据权利要求1所述的基于偏振成像的煤与煤矸石分拣系统,其特征在于,所述偏振相机具体用于,
拍摄传送带上物料0°、45°、90°和135°四个偏振角度的偏振强度图像。
5.根据权利要求1所述的基于偏振成像的煤与煤矸石分拣系统,其特征在于,所述工控机具体用于,
基于斯托克斯参数表示法计算传送带上物料的偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;所述传送带上物料的偏振强度图像为偏振相机拍摄的包含0°、45°、90°和135°四个偏振角度的偏振强度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中待筛选物料的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
基于分类模型对待筛选物料进行分拣。
6.根据权利要求5所述的基于偏振成像的煤与煤矸石分拣系统,其特征在于,所述工控机还用于,
如果待筛选物料为煤矸石,则下达指令至并联机器人。
7.根据权利要求1所述的基于偏振成像的煤与煤矸石分拣系统,其特征在于,所述工控机还用于,
获取若干煤与煤矸石包含0°、45°、90°和135°四个偏振角度的偏振强度图像作为训练集;
计算训练集中偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中煤与煤矸石的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
利用支持向量机对训练集构成的30维特征向量集进行训练获得分类模型。
8.基于偏振成像的煤与煤矸石分拣方法,其特征在于,包括,
工控机向振动筛和传送带下发启动信号,振动筛将物料传送至传送带上;
工控机获取光电开关上传的物料的通过信号,触发LED灯和偏振相机;
工控机获取偏振相机采集的传送带上物料包含0°、45°、90°和135°四个偏振角度的偏振强度图像;
工控机基于获取的偏振强度图像采用分类模型对传送带上物料进行分拣,并下发指令。
9.根据权利要求8所述的基于偏振成像的煤与煤矸石分拣方法,其特征在于,所述工控机基于获取的偏振强度图像采用分类模型对传送带上物料进行分拣,包括:
基于斯托克斯参数表示法计算传送带上物料的偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中待筛选物料的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
将30维特征向量输入到分类模型,得到物料种类。
10.根据权利要求8所述的基于偏振成像的煤与煤矸石分拣方法,其特征在于,
所述工控机基于获取的偏振强度图像采用分类模型对传送带上物料进行分拣,并下发指令,包括:
如果判断为煤矸石,则向并联机器人下发指令,由并联机器人将煤矸石抓取至煤矸石料框;
如果判断为煤,则不下发指令,物料自动传送至煤料框。
11.根据权利要求8所述的基于偏振成像的煤与煤矸石分拣方法,其特征在于,还包括:
工控机获取若干煤与煤矸石包含0°、45°、90°和135°四个偏振角度的偏振强度图像作为训练集;
计算训练集中偏振强度图像的平均偏振强度图像、偏振角图像和偏振度图像;
对平均偏振强度图像、偏振角图像和偏振度图像进行高斯滤波和膨胀操作;
采用OTSU算法将高斯滤波和膨胀操作后的平均偏振强度图像、偏振角图像和偏振度图像二值化;
采用边缘提取findContours函数提取二值化后的平均偏振强度图像、偏振角图像和偏振度图像中煤与煤矸石的轮廓;
分别提取平均偏振强度图像、偏振角图像和偏振度图像三幅图像轮廓内的灰度均值,灰度方差、灰度偏度、灰度直方图的偏度、灰度直方图的峰度、灰度直方图的能量、图像的对比度、图像的能量、图像的熵和图像的相关性数据,构成30维特征向量;
利用支持向量机对训练集构成的30维特征向量集进行训练获得分类模型。
CN202010883890.0A 2020-08-28 2020-08-28 基于偏振成像的煤与煤矸石分拣系统及方法 Active CN112058701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010883890.0A CN112058701B (zh) 2020-08-28 2020-08-28 基于偏振成像的煤与煤矸石分拣系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010883890.0A CN112058701B (zh) 2020-08-28 2020-08-28 基于偏振成像的煤与煤矸石分拣系统及方法

Publications (2)

Publication Number Publication Date
CN112058701A true CN112058701A (zh) 2020-12-11
CN112058701B CN112058701B (zh) 2022-07-19

Family

ID=73659082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010883890.0A Active CN112058701B (zh) 2020-08-28 2020-08-28 基于偏振成像的煤与煤矸石分拣系统及方法

Country Status (1)

Country Link
CN (1) CN112058701B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2358467A (en) * 1999-10-07 2001-07-25 Logical Systems Inc Inspection system for industrial parts
DE102004049260A1 (de) * 2004-10-09 2006-04-13 Krones Ag Vorrichtung und Verfahren zur Erkennung von Behältern und/oder Gebinden
CN105279747A (zh) * 2015-11-25 2016-01-27 中北大学 一种多特征目标函数引导的红外偏振与光强图像融合方法
CN106269576A (zh) * 2016-09-12 2017-01-04 中国矿业大学 一种煤矸石自动分选系统与方法
CN107520144A (zh) * 2016-06-20 2017-12-29 新疆农业大学 一种基于机器视觉技术的哈密瓜分级机
CN108254396A (zh) * 2017-12-05 2018-07-06 江苏大学 一种基于micro-CT和偏振-高光谱成像多特征融合的番茄苗期水分胁迫检测方法
CN108480225A (zh) * 2018-03-14 2018-09-04 孟晓涛 一种水果分拣机
CN110625644A (zh) * 2019-09-19 2019-12-31 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN110756452A (zh) * 2019-10-31 2020-02-07 中煤科工集团上海有限公司 煤矸石识别及分拣系统
CN111300407A (zh) * 2020-01-19 2020-06-19 王文胜 矿用智能机器人识矸、抓矸方法
CN111318461A (zh) * 2020-03-11 2020-06-23 河南理工大学 一种基于机器视觉的煤矸石分拣系统
CN111539411A (zh) * 2020-04-20 2020-08-14 河海大学常州校区 一种利用偏振信息对不同材质物体识别的方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2358467A (en) * 1999-10-07 2001-07-25 Logical Systems Inc Inspection system for industrial parts
DE102004049260A1 (de) * 2004-10-09 2006-04-13 Krones Ag Vorrichtung und Verfahren zur Erkennung von Behältern und/oder Gebinden
CN105279747A (zh) * 2015-11-25 2016-01-27 中北大学 一种多特征目标函数引导的红外偏振与光强图像融合方法
CN107520144A (zh) * 2016-06-20 2017-12-29 新疆农业大学 一种基于机器视觉技术的哈密瓜分级机
CN106269576A (zh) * 2016-09-12 2017-01-04 中国矿业大学 一种煤矸石自动分选系统与方法
CN108254396A (zh) * 2017-12-05 2018-07-06 江苏大学 一种基于micro-CT和偏振-高光谱成像多特征融合的番茄苗期水分胁迫检测方法
CN108480225A (zh) * 2018-03-14 2018-09-04 孟晓涛 一种水果分拣机
CN110625644A (zh) * 2019-09-19 2019-12-31 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN110756452A (zh) * 2019-10-31 2020-02-07 中煤科工集团上海有限公司 煤矸石识别及分拣系统
CN111300407A (zh) * 2020-01-19 2020-06-19 王文胜 矿用智能机器人识矸、抓矸方法
CN111318461A (zh) * 2020-03-11 2020-06-23 河南理工大学 一种基于机器视觉的煤矸石分拣系统
CN111539411A (zh) * 2020-04-20 2020-08-14 河海大学常州校区 一种利用偏振信息对不同材质物体识别的方法

Also Published As

Publication number Publication date
CN112058701B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN107486415B (zh) 基于机器视觉的篾片缺陷在线检测系统及检测方法
CN109598715B (zh) 基于机器视觉的物料粒度在线检测方法
CN108108679B (zh) 一种全自动钨矿选矿机
Wu et al. An inspection and classification method for chip solder joints using color grads and Boolean rules
Pramerdorfer et al. A dataset for computer-vision-based PCB analysis
CN107389701A (zh) 一种基于图像的pcb表观缺陷自动检测系统及方法
CN104867144B (zh) 基于混合高斯模型的ic元件焊点缺陷检测方法
CN102305798A (zh) 基于机器视觉的玻璃缺陷的检测与分类方法
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
CN107978110A (zh) 基于图像匹配的电子围栏智能在位识别系统及识别方法
CN109584215A (zh) 一种电路板在线视觉检测系统
CN107328781A (zh) 一种基于机器视觉的柱状产品表面缺陷检测方法及装置
Uluişik et al. Image processing based machine vision system for tomato volume estimation
CN110554052A (zh) 一种人造板表面缺陷检测方法及其系统
CN113145492A (zh) 一种用于梨外观品质视觉分级方法及分级生产线
CN111239142A (zh) 膏体外观缺陷检测设备及方法
CN112354874A (zh) 煤和矸石的识别方法以及矸石自动分离系统
CN112129773B (zh) 木材表面缺陷检测方法、装置、设备、系统及存储介质
Estévez et al. Genetic input selection to a neural classifier for defect classification of radiata pine boards
CN108108678B (zh) 一种钨矿矿石识别分选方法
Lampinen et al. Wood surface inspection system based on generic visual features
Mariyadi et al. 2d detection model of defect on the surface of ceramic tile by an artificial neural network
Wang et al. On-line system for monitoring the size distribution of aggregates on a conveyor belt
CN112058701B (zh) 基于偏振成像的煤与煤矸石分拣系统及方法
CN113172002A (zh) 一种基于图像识别的输煤线矸石识别方法及分选系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant