CN111266315A - 基于视觉分析的矿石物料在线分拣系统及其方法 - Google Patents

基于视觉分析的矿石物料在线分拣系统及其方法 Download PDF

Info

Publication number
CN111266315A
CN111266315A CN202010105642.3A CN202010105642A CN111266315A CN 111266315 A CN111266315 A CN 111266315A CN 202010105642 A CN202010105642 A CN 202010105642A CN 111266315 A CN111266315 A CN 111266315A
Authority
CN
China
Prior art keywords
image
coordinate system
sorting
ore
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010105642.3A
Other languages
English (en)
Inventor
路绳方
高芳征
焦良葆
陈烨
高阳
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202010105642.3A priority Critical patent/CN111266315A/zh
Publication of CN111266315A publication Critical patent/CN111266315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3425—Sorting according to other particular properties according to optical properties, e.g. colour of granular material, e.g. ore particles, grain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Abstract

本发明公开了一种基于视觉分析的矿石物料在线分拣系统及其方法，方法包括：首先，利用视觉图像分析，对传送带上的矿石物料图像进行分割和识别出不合格的物料；其次，利用双目视觉测量原理，对不合格的矿石物料进行三维定位；最后，通过全局转换，得到不合格的矿石物料在智能抓取机械手臂坐标系下的三维坐标，实现分拣和清理；系统包括：图像智能识别子系统和智能分拣子系统，图像智能识别子系统包括双目立体视觉测量装置，智能分拣子系统包括智能抓取机械手臂。本发明大幅度提高了矿石物料分拣的工作效率和矿石生产的自动化程度，对节约企业生产成本、提高企业工作效率以及矿业生产系统的安全施工具有重要意义。

Description

基于视觉分析的矿石物料在线分拣系统及其方法
技术领域
本发明属于机器视觉技术，尤其涉及一种基于视觉分析的矿石物料在线分拣系统及其方法。
背景技术
矿业是国家发展的传统基础工业，是国家经济建设和发展的关键物质基础，并且关系到国家经济安全和国民生活水平的提高。矿石电解质阳极的破碎和分拣工作，是矿业生产领域中一个重要环节。国内有关企业在铝电解以及阳极破碎和分拣工作中，还停留在传统的半自动化、半人工监督的方式上，机械化、智能化效果不强，需要现场工作人员配合对设备运转情况进行监测，影响了操作系统的工作效率。目前的铝电解以及有关阳极破碎及分拣系统，在实际生产应用中还存在诸多不足。机器视觉以其效率高、信息量大、可重复性高以及可靠性强等优点，适用于铝电解有关过程的在线监测以及电解质阳极的智能分拣等工作。
近些年来，由于电解铝生产能力的迅猛发展，受各种因素的影响，在电解过程中铝电解质阳极质量参差不齐，影响电解铝的整体生产质量。在阳极组装过程中，需要采用先进的监测设备，对电解铝阳极块质量进行在线监控，并及时分拣和清理出不彻底的电解质阳极。增加这一过程，是提高阳极块质量的一项重要措施。
矿石电解质破碎现场环境复杂，噪音、粉尘等污染严重，对现场作业人员存在严重安全隐患，因此，研究一种基于视觉分析技术的矿石电解质阳极在线分拣系统及其方法，替代现场人工作业方式，对矿业生产系统的安全施工、效率提高具有重要意义。
发明内容
发明目的：针对现有技术中矿石电解质阳极破碎以及在线分拣工作方面存在的不足，本发明公开了一种基于视觉分析的矿石物料在线分拣系统及其方法，将机器视觉的高效性、可重复性、智能性技术引入矿石物料的识别和分拣领域，提出一种矿石物料的在线分拣方法，解决了矿石质量好坏的在线识别和分拣问题，取代了现场人工低效率的识别和分拣工作方式，对节约企业生产成本和提高企业工作效率具有重要意义。
技术方案：本发明采用如下技术方案：一种基于视觉分析的矿石物料在线分拣方法，其特征在于，包括如下步骤：
步骤A、图像分割与识别
采集不同角度的矿石物料图像，利用最大类间方差法分别对图像进行分割，得到图像背景区域和图像目标区域，目标区域即不合格的矿石物料；
步骤B、特征点提取与匹配
将分割后的图像目标区域作为感兴趣区域，对感兴趣区域进行SURF特征点提取，应用Brute Force匹配方法在所述步骤A中采集的不同图像中实现特征点的精确匹配；
步骤C、三维重建
定义世界坐标系，根据匹配的特征点在不同图像中的坐标，利用立体视觉测量原理得到特征点在世界坐标系中的三维坐标，实现图像目标区域在世界坐标系中的三维定位；
步骤D、全局坐标系转换
对世界坐标系和机械装置坐标系进行全局标定，实现世界坐标系和机械装置坐标系之间的坐标转换，得到目标区域在机械装置坐标系下的三维坐标，完成机械装置对不合格的矿石物料的智能分拣工作。
优选的，所述合格的矿石物料与不合格的矿石物料的颜色不同。
优选的，所述步骤A中，假设采集的图像I(x，y)大小为M×N，包括以下步骤：
步骤A1、假定阈值，图像目标区域的像素灰度值小于阈值，图像背景区域的像素灰度值大于或等于阈值，或者图像目标区域的像素灰度值大于阈值，图像背景区域的像素灰度值小于或等于阈值，其中，图像目标区域的像素个数记作N0，图像背景区域的像素个数记作N1；
步骤A2、分别统计图像目标区域与背景区域所占整幅图像的比例ω0和ω1、目标区域与背景区域的平均灰度值μ0和μ1以及图像的灰度区间内的灰度累计值μ；
步骤A3、计算类间方差g＝ω0ω1(μ0-μ1)2；
步骤A4、遍历阈值，使类间方差g最大的阈值即为待求的图像自适应分割阈值T，根据阈值T将图像分割为背景区域和目标区域。
优选的，所述步骤B包括以下步骤：
步骤B1、用盒式滤波器对采集的图像I(x，y)进行滤波后构建Hessian矩阵，得到H矩阵的判别式，当判别式取得局部最大值时，当前点即为潜在的特征点；
步骤B2、构造尺度空间，初步定位潜在的特征点后滤除能量比较弱的点以及错误定位的点，筛选出最终的稳定的特征点；
步骤B3、计算特征点主方向，生成特征描述符，实现图像中SURF特征点的提取；
步骤B4、应用Brute Force匹配方法，实现不同图像中特征点的精确匹配。
优选的，所述步骤B1中H矩阵的判别式为：
Det(H)＝Lxx*Lyy-(0.9*Lxy)2
其中，
Figure BDA0002388374710000031
优选的，所述步骤C中，若特征点P在采集到的不同图像中的坐标为(X1，Y1)和(X2，Y2)，以采集图像坐标为(X1，Y1)的采集装置为原点建立世界坐标系，则特征点P在世界坐标系下的三维坐标(x，y，z)为：
Figure BDA0002388374710000032
Figure BDA0002388374710000033
Figure BDA0002388374710000034
其中，图像采集装置的有效焦距分别为f1和f2；图像采集装置的相互位置之间空间转换矩阵Mlr＝[R|T]，R为旋转矩阵，T为平移矩阵。
优选的，所述步骤D中，世界坐标系到机械装置坐标系之间的坐标转换矩阵为
Figure BDA0002388374710000035
其中，Tq，j为全站仪坐标系到机械装置坐标系之间的坐标转换矩阵；Tt，q为平面靶标坐标系到全站仪坐标系的坐标转换矩阵；Tt，c为平面靶标坐标系到世界坐标系的坐标转换矩阵。
采用一种基于视觉分析的矿石物料在线分拣方法的系统，其特征在于，包括图像智能识别子系统、智能分拣子系统、传送带和LED补光灯；其中，所述图像智能识别子系统包括双目立体视觉测量装置，对传送带上破碎后的矿石物料进行拍照并对图像进行分割，在线识别物料的合格程度，进行特征点提取和三维重建；所述智能分拣子系统包括智能抓取机械手臂，用于定位和分拣出不合格的物料；所述传送带的颜色与质量合格的物料颜色一致，所述传送带上方设置不同角度的双目立体视觉测量装置，每组双目立体视觉测量装置包括若干视觉传感器，用于从多角度拍摄并识别传送带上的物料信息，所述传送带一侧设置智能抓取机械手臂，所述传送带上方还设置LED补光灯，用于减小外界复杂环境光线的干扰。
有益效果：本发明具有如下有益效果：
(1)、本发明将机器视觉的高效性、可重复性、智能性技术引入矿石物料的识别和分拣领域，解决了矿石质量好坏的在线识别和分拣问题，增强了系统的机械化和智能化效果，可以大幅度提高矿石物料分拣的工作效率和矿石生产的自动化程度，提高矿石物料的分拣质量，与传统人工分拣方式相比，本发明检测效率高，提高了操作系统的工作效率，对节约企业生产成本和提高企业工作效率具有重要意义；
(2)、本发明实现了传送带上的矿石物料的全天候自动监测和分拣，检测系统受复杂光线环境影响小、检测频率高、结构设计良好、现场安装方便；
(3)、本发明取代了现场人工低效率的识别和分拣工作方式，减少了现场作业人员的安全隐患，减少劳动强度，对矿业生产系统的安全施工具有重要意义。
附图说明
图1为本发明中分拣方法的流程图；
图2为本发明中分拣系统的构成图；
图3为本发明中双目立体视觉测量的数学模型图；
图4为本发明中多视觉坐标系之间的全局校准示意图；
其中，第一LED补光灯1，第一视觉传感器2，第二视觉传感器3，第二LED补光灯4，智能抓取机械手臂5，第三LED补光灯6，第三视觉传感器7，第四视觉传感器8，第四LED补光灯9，传送带10，平面靶标坐标系13，全站仪坐标系14，第一立体视觉坐标系15，机械手臂坐标系16，第二立体视觉坐标系17。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图2所示，本发明公开了一种基于视觉分析的矿石物料在线分拣系统，包括图像智能识别子系统、智能分拣子系统、传送带10和LED补光灯；其中，图像智能识别子系统包括双目立体视觉测量装置，对传送带上破碎后的物料进行拍照并对图像进行分割，在线识别物料的合格程度，进行特征点提取和三维重建，得到目标区域的三维坐标；智能分拣子系统包括智能抓取机械手臂5，用于定位和分拣出不合格的矿石物料；传送带10的颜色与质量合格的物料颜色一致，传送带10上方设置不同角度的双目立体视觉测量装置，每组双目立体视觉测量装置包括若干用于图像识别和目标三维重建的视觉传感器，从多角度拍摄并识别传送带10上的物料信息，防止不合格的物料出现漏检现象，传送带10一侧设置智能抓取机械手臂5，传送带10上方还设置LED补光灯，用于减小外界复杂环境光线的干扰，使视觉传感器拍到矿石物料的清晰图像。
根据有关企业矿石电解过程中阳极组装特点，本发明公开了一种基于视觉分析的矿石物料在线分拣方法，如图l所示，智能识别子系统利用了图像分割算法，对合格程度不足的物料根据其图像特征进行在线识别。智能分拣子系统基于机器视觉技术的立体视觉测量原理，通过智能抓取机械手臂5，将经过图像智能识别系统判断后认为不合格的物料进行在线分拣。本发明利用了图像识别技术、双目立体视觉重建技术以及立体视觉测量原理，通过在现场搭建机器视觉系统，在传送带上方对破碎后的矿石物料进行拍照，对不合格的物料进行灰度识别、特征点提取与匹配和三维重建，实现传送带上的物料的三维定位，通过立体视觉坐标系与机械手臂坐标系16之间的转换，实现立体视觉坐标系下不合格物料的三维坐标到机械手臂坐标系16下三维坐标的转换，从而实现智能抓取机械手臂5对不合格物料的定位、抓取和分拣工作。
一种基于视觉分析的矿石物料在线分拣方法，包括以下步骤：
步骤A、图像分割与识别
采集不同角度的矿石物料图像，利用最大类间方差法分别对图像进行分割，得到图像背景区域和图像目标区域，目标区域即不合格的矿石物料。
根据现有阳极组装特点以及不合格阳极呈现黑色等特点，本发明首先设定将输送矿石物料的传送带颜色与质量合格的矿石物料初始颜色一致，然后对传送带上的矿石物料进行拍照和图像有关处理(图像分割和识别)。因为不合格的矿石物料呈现与合格的矿石物料不同颜色的灰度特征，本发明利用一种自适应阈值确定方法，也叫最大类间方差法(OTSU)来实现图像目标的分割。该算法是依据图像的灰度特性，将图像分成背景(传送带和合格物料)和目标(不合格物料)两个部分。背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。针对不合格的物料单一的不合格灰度目标，最大类间方差法可以精确获取图像分割效果。
假设视觉传感器拍摄的传送带上物料图像I(x，y)大小为M×N，图像目标区域的像素灰度值小于阈值T，图像背景区域的像素灰度值大于或等于阈值T，或者图像目标区域的像素灰度值大于阈值T，图像背景区域的像素灰度值小于或等于阈值T，其中，图像目标区域的像素个数记作N0，图像背景区域的像素个数记作N1，分别统计目标像素与背景像素所占整幅图像的比例ω0和ω1，并定义类间方差为g，则可以得到如下公式：
ω0＝N0/(M×N) (1)
ω1＝N1/(M×N) (2)
N0+N1＝M×N (3)
ω0+ω1＝1 (4)
Figure BDA0002388374710000061
Figure BDA0002388374710000062
μ＝ω0*μ0+ω1*μ1 (7)
g＝ω0(μ0-μ)2+ω1(μ1-μ)2＝ω0ω1(μ0-μ1)2 (8)
其中，μ0和μ1分别为目标区域与背景区域的平均灰度值，μ为图像的灰度区间内的灰度累计值。
对上式(8)，采用遍历的方法，可以得到物料图像的类间方差最大值g，即为求得的图像自适应分割阈值T，从而实现不合格物料目标的图像分割。
传送带上的物料环境信息复杂，经过破碎后的物料在体积大小和形状上均不固定。利用上述图像分割方法，检测出视觉传感器所拍摄的图像存在不合格物料后，将分割后的图像目标区域作为感兴趣区域，降低图像的处理范围，可以提高后续图像分析效率。然后，对感兴趣图像区域进行特征点提取和特征点匹配，利用立体视觉测量原理对图像感兴趣区域的特征点进行三维重建，实现图像目标区域的三维定位。
步骤B、特征点提取与匹配
将分割后的图像目标区域作为感兴趣区域，对感兴趣区域进行SURF特征点提取，在所述步骤A中采集的不同图像中实现特征点的精确匹配。
SURF特征点具有对旋转、尺度缩放、亮度变化等保持不变性，对图像视角变换保持一定的稳定性，并且具有较快的提取速度，适合用于视觉传感器拍摄的物料图像特征点的在线提取。
假设图像I(x，y)，定义其Hessian矩阵为
Figure BDA0002388374710000071
在构建Hessian矩阵前需要对图像进行高斯滤波，经过滤波后的Hessian矩阵表达式为：
Figure BDA0002388374710000072
则H矩阵的判别式为Det(H)＝Lxx*Lyy-Lxy*Lyx (11)
为了提高运算速度，用盒式滤波器代替高斯滤波器，则得到H矩阵的新的判别式为Det(H)＝Lxx*Lyy-(0.9*Lxy)2 (12)
首先，通过对Det(H)的计算，可以识别图像中潜在的对尺度和选择不变的兴趣点。然后，构造尺度空间，并对上述潜在的特征点进行过滤和精确定位，计算特征点主方向，最后生成特征描述符，即可以实现SURF特征点的快速提取。
对于双目视觉中两幅对应图像上的特征点，可以应用Brute Force匹配方法，实现两幅图像特征点的精确匹配。
步骤C、三维重建
定义世界坐标系，根据匹配的特征点在不同图像中的坐标，利用立体视觉测量原理得到特征点在世界坐标系中的三维坐标，实现图像目标区域在世界坐标系中的三维定位。
本发明中将第一视觉传感器2和第二视觉传感器3作为第一双目立体视觉测量装置，第三视觉传感器7和第四视觉传感器8作为第二双目立体视觉测量装置，利用双目立体视觉测量原理，实现上述匹配特征点三维坐标的求解。双目立体视觉测量原理是基于视差原理，由多幅图像获取三维几何信息的方法。在机器视觉系统中，双目立体视觉一般有两台或两台以上视觉传感器从不同角度同时获取周围景物的两幅数字图像，或利用一台视觉传感器在不同时刻从不同角度获取周围景物的两幅数字图像，利用三角测量法可以对物体的三维信息进行提取，重建物体的三维形状与位置。以包括第一视觉传感器2和第二视觉传感器3的第一双目立体视觉测量装置为例，双目立体视觉测量的数学模型如图3所示。
设第一视觉传感器2坐标系o1-x1y1z1为世界坐标系即第一立体视觉坐标系，图像坐标系为o1-u1v1，有效焦距为f1，第二视觉传感器3坐标系为o2-x2y2z2，图像坐标系为o2-u2v2，有效焦距为f2，P为待测量点，(x，y，z)为P点在世界坐标系的三维坐标，(xr，yr，zr)为P点在第二视觉传感器3坐标系中的三维坐标，由透视投影变换模型可得：
Figure BDA0002388374710000081
Figure BDA0002388374710000082
视觉传感器的相互位置之间的关系可以通过空间转换矩阵Mlr表示为：
Figure BDA0002388374710000083
Figure BDA0002388374710000084
Figure BDA0002388374710000085
其中，R为旋转矩阵，T为第一视觉传感器2坐标原点到第二视觉传感器3坐标原点的平移矩阵。
由式(13)-(17)可以计算出空间点P在世界坐标系下的三维坐标，即
Figure BDA0002388374710000091
因此，已知焦距f1、f2和空间点在视觉传感器中的图像坐标，只要求出旋转矩阵R和平移矩阵T就可以得到被测量点在世界坐标系即该立体视觉坐标系下的三维坐标。这些视觉传感器的内参数以及外部结构参数都可以在视觉传感器标定步骤中求得，视觉传感器标定利用张氏平面标定方法。
通过上述方法，可以实现不合格物料的图像特征点在第一视觉传感器2和第二视觉传感器3组成的第一双目立体视觉测量装置中的三维坐标。同理，当矿石物料被传送到第二双目立体视觉测量装置中时，可以求出不合格矿石物料在第二双目立体视觉测量装置中的三维坐标。第二双目立体视觉测量装置为第一双目立体视觉测量装置的补充，第三视觉传感器7和第四视觉传感器8安装角度与第一视觉传感器2和第二视觉传感器3不同，目的是全方位实现对物料的检测。
步骤D、全局坐标系转换
对世界坐标系和机械装置坐标系进行全局标定，实现世界坐标系和机械装置坐标系之间的坐标转换，得到目标区域在机械装置坐标系下的三维坐标，完成机械装置对不合格的物料的智能分拣工作，即通过全局坐标系的转换，实现立体视觉坐标系与机械手臂坐标系16之间的全局标定，完成目标点在机械手臂坐标系16下的定位。
在检测出有不合格物料后，通过双目立体视觉测量装置的计算可以实现目标图像特征点的三维重建。但是，为了让智能抓取机械手臂5快速分拣出目标，还需要对立体视觉坐标系和机械手臂坐标系16进行全局标定，实现目标点在机械手臂坐标系16下的定位。
如图4所示，当坐标系多于两个时，以其中某个坐标系为基础坐标系，将平面靶标在双目立体视觉测量装置和全站仪前固定摆放，采用坐标转换方法，求解第一立体视觉坐标系15(以第一视觉传感器2为基准坐标系)和第二立体视觉坐标系17(以第三视觉传感器7为基准坐标系)分别到机械手臂坐标系16的全局转换矩阵，通过利用全站仪和平面靶标的校准方式完成多视觉坐标系之间的全局校准。
由图4可知，在合适位置固定全站仪，在全站仪视野和第二双目立体视觉测量装置的视野中固定平面靶标，利用平面靶标中的3个非共线角点平面坐标信息，可以容易求得平面靶标坐标系13分别到全站仪坐标系14和第二立体视觉坐标系17的转换矩阵，分别记为Tt，q和Tt，c3，那么可以求得第二立体视觉坐标系17与全站仪坐标系14之间的转换矩阵Tq，c3：
Figure BDA0002388374710000101
利用智能抓取机械手臂5上的已知3个特征位置坐标点信息，可以求得当前全站仪坐标系14到机械手臂坐标系16之间的转换矩阵，记为Tq，j。
那么，第二立体视觉坐标系17到机械手臂坐标系16之间的坐标转换为Tc3，j，即：
Figure BDA0002388374710000102
联合公式(19)和(20)可以得：
Figure BDA0002388374710000103
同理，可以借助全站仪和平面靶标，在全站仪视野和第一双目立体视觉测量装置的视野中固定平面靶标，可以求得第一立体视觉坐标系15到机械手臂坐标系16之间的坐标转换为Tc1，j，即：
Figure BDA0002388374710000104
通过将立体视觉坐标系中的目标点三维坐标，转换给机械手臂坐标系16下的三维坐标，即可以实现传送带上不合格物料的定位和分拣任务，完成不合格矿石的智能分拣工作。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于视觉分析的矿石物料在线分拣方法，其特征在于，包括如下步骤：
步骤A、图像分割与识别
采集不同角度的矿石物料图像，利用最大类间方差法分别对图像进行分割，得到图像背景区域和图像目标区域，目标区域即不合格的矿石物料；
步骤B、特征点提取与匹配
将分割后的图像目标区域作为感兴趣区域，对感兴趣区域进行SURF特征点提取，应用Brute Force匹配方法在所述步骤A中采集的不同图像中实现特征点的精确匹配；
步骤C、三维重建
定义世界坐标系，根据匹配的特征点在不同图像中的坐标，利用立体视觉测量原理得到特征点在世界坐标系中的三维坐标，实现图像目标区域在世界坐标系中的三维定位；
步骤D、全局坐标系转换
对世界坐标系和机械装置坐标系进行全局标定，实现世界坐标系和机械装置坐标系之间的坐标转换，得到目标区域在机械装置坐标系下的三维坐标，完成机械装置对不合格的矿石物料的智能分拣工作。
2.根据权利要求1所述的一种基于视觉分析的矿石物料在线分拣方法，其特征在于，所述合格的矿石物料与不合格的矿石物料的颜色不同。
3.根据权利要求2所述的一种基于视觉分析的矿石物料在线分拣方法，其特征在于，所述步骤A中，假设采集的图像I(x，y)大小为M×N，包括以下步骤：
步骤A1、假定阈值，图像目标区域的像素灰度值小于阈值，图像背景区域的像素灰度值大于或等于阈值，或者图像目标区域的像素灰度值大于阈值，图像背景区域的像素灰度值小于或等于阈值，其中，图像目标区域的像素个数记作N0，图像背景区域的像素个数记作N1；
步骤A2、分别统计图像目标区域与背景区域所占整幅图像的比例ω0和ω1、目标区域与背景区域的平均灰度值μ0和μ1以及图像的灰度区间内的灰度累计值μ；
步骤A3、计算类间方差g＝ω0ω1(μ0-μ1)2；
步骤A4、遍历阈值，使类间方差g最大的阈值即为待求的图像自适应分割阈值T，根据阈值T将图像分割为背景区域和目标区域。
4.根据权利要求2所述的一种基于视觉分析的矿石物料在线分拣方法，其特征在于，所述步骤B包括以下步骤：
步骤B1、用盒式滤波器对采集的图像I(x，y)进行滤波后构建Hessian矩阵，得到H矩阵的判别式，当判别式取得局部最大值时，当前点即为潜在的特征点；
步骤B2、构造尺度空间，初步定位潜在的特征点后滤除能量比较弱的点以及错误定位的点，筛选出最终的稳定的特征点；
步骤B3、计算特征点主方向，生成特征描述符，实现图像中SURF特征点的提取；
步骤B4、应用Brute Force匹配方法，实现不同图像中特征点的精确匹配。
5.根据权利要求4所述的一种基于视觉分析的矿石物料在线分拣方法，其特征在于，所述步骤B1中H矩阵的判别式为：
Det(H)＝Lxx*Lyy-(0.9*Lxy)2
其中，
Figure FDA0002388374700000021
6.根据权利要求2所述的一种基于视觉分析的矿石物料在线分拣方法，其特征在于，所述步骤C中，若特征点P在采集到的不同图像中的坐标为(X1，Y1)和(X2，Y2)，以采集图像坐标为(X1，Y1)的采集装置为原点建立世界坐标系，则特征点P在世界坐标系下的三维坐标(x，y，z)为：
Figure FDA0002388374700000022
Figure FDA0002388374700000023
Figure FDA0002388374700000024
其中，图像采集装置的有效焦距分别为f1和f2；图像采集装置的相互位置之间空间转换矩阵Mlr＝[R|T]，R为旋转矩阵，T为平移矩阵。
7.根据权利要求2所述的一种基于视觉分析的矿石物料在线分拣方法，其特征在于，所述步骤D中，世界坐标系到机械装置坐标系之间的坐标转换矩阵为
Figure FDA0002388374700000031
其中，Tq，j为全站仪坐标系到机械装置坐标系之间的坐标转换矩阵；Tt，q为平面靶标坐标系到全站仪坐标系的坐标转换矩阵；Tt，c为平面靶标坐标系到世界坐标系的坐标转换矩阵。
8.采用权利要求1-7任一所述的一种基于视觉分析的矿石物料在线分拣方法的系统，其特征在于，包括图像智能识别子系统、智能分拣子系统、传送带(10)和LED补光灯；其中，所述图像智能识别子系统包括双目立体视觉测量装置，对传送带上破碎后的矿石物料进行拍照并对图像进行分割，在线识别物料的合格程度，进行特征点提取和三维重建；所述智能分拣子系统包括智能抓取机械手臂(5)，用于定位和分拣出不合格的物料；所述传送带(10)的颜色与质量合格的物料颜色一致，所述传送带(10)上方设置不同角度的双目立体视觉测量装置，每组双目立体视觉测量装置包括若干视觉传感器，用于从多角度拍摄并识别传送带(10)上的物料信息，所述传送带(10)一侧设置智能抓取机械手臂(5)，所述传送带(10)上方还设置LED补光灯，用于减小外界复杂环境光线的干扰。
CN202010105642.3A 2020-02-20 2020-02-20 基于视觉分析的矿石物料在线分拣系统及其方法 Pending CN111266315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010105642.3A CN111266315A (zh) 2020-02-20 2020-02-20 基于视觉分析的矿石物料在线分拣系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010105642.3A CN111266315A (zh) 2020-02-20 2020-02-20 基于视觉分析的矿石物料在线分拣系统及其方法

Publications (1)

Publication Number Publication Date
CN111266315A true CN111266315A (zh) 2020-06-12

Family

ID=70991365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010105642.3A Pending CN111266315A (zh) 2020-02-20 2020-02-20 基于视觉分析的矿石物料在线分拣系统及其方法

Country Status (1)

Country Link
CN (1) CN111266315A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753844A (zh) * 2020-06-30 2020-10-09 烟台艾睿光电科技有限公司 一种干湿垃圾分类方法、分类箱和分拣系统
CN112082982A (zh) * 2020-08-26 2020-12-15 苏州中科全象智能科技有限公司 一种用于岩屑自动检测的系统及方法
CN112318485A (zh) * 2020-10-09 2021-02-05 中国矿业大学(北京) 物体分选系统的图像处理方法、装置及物体分选系统
CN112338898A (zh) * 2020-10-09 2021-02-09 中国矿业大学(北京) 物体分选系统的图像处理方法、装置及物体分选系统
CN112659133A (zh) * 2020-12-31 2021-04-16 软控股份有限公司 一种基于机器视觉的抓胶方法、装置及设备
CN112957041A (zh) * 2021-03-08 2021-06-15 北京伟浩君智能技术有限公司 基于血管图像的采血机器人控制方法及装置
CN113600591A (zh) * 2021-07-14 2021-11-05 上海嘉春装饰设计工程有限公司 一种建筑装饰废料处理方法
CN114130687A (zh) * 2021-10-22 2022-03-04 南京认知物联网研究院有限公司 一种产品视觉质检方法、系统、计算机设备及存储介质
DE102021113125A1 (de) 2021-05-20 2022-11-24 Schuler Pressen Gmbh Verfahren zur Überwachung der Positionen von Halbzeugen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991011885A1 (en) * 1990-01-29 1991-08-08 Technistar Corporation Automated assembly and packaging system
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110738618A (zh) * 2019-10-14 2020-01-31 河海大学常州校区 一种基于双目相机的不规则堆料体积测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991011885A1 (en) * 1990-01-29 1991-08-08 Technistar Corporation Automated assembly and packaging system
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110738618A (zh) * 2019-10-14 2020-01-31 河海大学常州校区 一种基于双目相机的不规则堆料体积测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯志刚: "工业机器人视觉定位系统的实现", 《航空科学技术》 *
厉彦福: "基于SURF特征提取和Brute_Force搜索的图像匹配算法", 《北京测绘》 *
曾劲松: "双目视觉引导机器人定位抓取技术的研究", 《组合机床与自动化加工技术》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753844A (zh) * 2020-06-30 2020-10-09 烟台艾睿光电科技有限公司 一种干湿垃圾分类方法、分类箱和分拣系统
CN112082982A (zh) * 2020-08-26 2020-12-15 苏州中科全象智能科技有限公司 一种用于岩屑自动检测的系统及方法
CN112318485A (zh) * 2020-10-09 2021-02-05 中国矿业大学(北京) 物体分选系统的图像处理方法、装置及物体分选系统
CN112338898A (zh) * 2020-10-09 2021-02-09 中国矿业大学(北京) 物体分选系统的图像处理方法、装置及物体分选系统
CN112318485B (zh) * 2020-10-09 2022-03-15 中国矿业大学(北京) 物体分选系统及其图像处理方法、装置
CN112659133A (zh) * 2020-12-31 2021-04-16 软控股份有限公司 一种基于机器视觉的抓胶方法、装置及设备
CN112957041A (zh) * 2021-03-08 2021-06-15 北京伟浩君智能技术有限公司 基于血管图像的采血机器人控制方法及装置
CN112957041B (zh) * 2021-03-08 2023-03-31 北京伟浩君智能技术有限公司 基于血管图像的采血机器人控制方法及装置
DE102021113125A1 (de) 2021-05-20 2022-11-24 Schuler Pressen Gmbh Verfahren zur Überwachung der Positionen von Halbzeugen
CN113600591A (zh) * 2021-07-14 2021-11-05 上海嘉春装饰设计工程有限公司 一种建筑装饰废料处理方法
CN114130687A (zh) * 2021-10-22 2022-03-04 南京认知物联网研究院有限公司 一种产品视觉质检方法、系统、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111266315A (zh) 基于视觉分析的矿石物料在线分拣系统及其方法
CN104809732B (zh) 一种基于图像比对的电力设备外观异常检测方法
CN101620676B (zh) 绝缘子轮廓的快速图像识别方法
CN106238350B (zh) 一种基于机器视觉的太阳能电池片分选方法与系统
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN111369516B (zh) 基于红外图像识别的变压器套管发热缺陷检测方法
CN110648364B (zh) 一种多维度空间固废视觉检测定位及识别方法与系统
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
CN109598715B (zh) 基于机器视觉的物料粒度在线检测方法
CN105957082A (zh) 一种基于面阵相机的印刷质量在线监测方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN102508110A (zh) 基于纹理的绝缘子缺陷诊断方法
CN110403232A (zh) 一种基于二级算法的烟支质量检测方法
CN107490583A (zh) 一种基于机器视觉的夹片缺陷检测方法
CN106483143A (zh) 一种太阳能光伏板积灰在线监测装置及其检测方法
CN107084992A (zh) 一种基于机器视觉的胶囊检测方法及系统
CN106897995A (zh) 一种面向机械装配过程的零部件自动识别方法
CN104952754B (zh) 基于机器视觉的镀膜后硅片分选方法
CN106248680A (zh) 一种基于机器视觉的电机换向器质量检测系统及检测方法
AU2019222803A1 (en) Volume measurement apparatus and method
TW419634B (en) Automatic detection system and method using bar code positioning
CN111739003B (zh) 一种用于外观检测的机器视觉方法
CN108180871A (zh) 一种定量评价复合绝缘子表面粉化粗糙度的方法
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication