CN114140380A - 一种基于图像视觉与电磁波融合的带式输送机异物识别方法 - Google Patents

一种基于图像视觉与电磁波融合的带式输送机异物识别方法 Download PDF

Info

Publication number
CN114140380A
CN114140380A CN202111231169.4A CN202111231169A CN114140380A CN 114140380 A CN114140380 A CN 114140380A CN 202111231169 A CN202111231169 A CN 202111231169A CN 114140380 A CN114140380 A CN 114140380A
Authority
CN
China
Prior art keywords
image
foreign matters
electromagnetic wave
belt conveyor
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111231169.4A
Other languages
English (en)
Inventor
刘新华
王辉
华德正
郭潇墙
张晓光
郝敬宾
刘晓帆
周皓
路和
刘浩
王勇
梁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202111231169.4A priority Critical patent/CN114140380A/zh
Publication of CN114140380A publication Critical patent/CN114140380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
    • G01N22/02—Investigating the presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像视觉与电磁波融合的带式输送机异物识别方法，包括：通过对工业相机所拍摄的图像进行算法处理判断表面是否存在异物；对带式输送机上物体进行电磁波扫描，根据其反馈的信号进行分析判断内部是否有异物；通过算法对异物进行分类判断是否为有用物品或能否进行粉碎的物品；输出所识别的结果通过控制器控制机械手完成相应的指示；本发明将电磁波与图像视觉相融合，有效的将不同异物进行分类，有效分别出有用无用、可粉碎不可粉碎的物品，同时将表面异物与内部异物均识别出来，提高了异物识别率，可及时清理异物，以避免异物对带式输送机带来损伤。

Description

一种基于图像视觉与电磁波融合的带式输送机异物识别方法
技术领域
本发明涉及一种识别方法，具体为一种基于图像视觉与电磁波融合的带式输送机异物识别方法。
背景技术
带式输送机是煤炭井下运输的关键设备，但是在运输过程中时常处处有各种不同异物，当非煤异物进入运煤皮带系统容易引发输送带划伤、撕裂等严重事故，不仅会影响煤矿的安全生产，而且会造成十分惨重的经济损失。
机器视觉在异物识别中运用广泛，但目前的识别方法存在只能识别出表面异物，对于埋藏在内部的异物无法识别并且无法对识别出的异物进行有效分类。
发明内容
本发明的目的在于提供一种基于图像视觉与电磁波融合的带式输送机异物识别方法，能够对埋藏在内部的异物进行识别并且对识别出的异物进行有效分类。
为实现上述目的，本发明提供如下技术方案： 一种基于图像视觉与电磁波融合的带式输送机异物识别方法，包括以下步骤：
步骤一，通过对工业相机所拍摄的图像进行算法处理判断表面是否存在异物：
对采集到的图像进行预处理，获得处理后的图像；建立基于Faster R-CNN的异物识别检测模型，获取图片中表面物体的信息；在所述图像处理下，判断表面物体中是否存在异物；
步骤二，对带式输送机上物体进行电磁波扫描，根据其反馈的信号进行分析判断内部是否有异物：
当表面没有异物时，电磁波进行扫描，获取内部所反馈的信号；当表面有异物时，清理表面异物后在进行电磁波扫描，获取内部所反馈的信号；根据所反馈的信号，判别内部是否存在异物；
步骤三，通过算法对异物进行分类判断是否为有用物品或能否进行粉碎的物品：
通过获取的表面信息提取出异物图像特征；通过MPL分类器进行快速异物分类；根据分类器所反馈的结果判断异物是否具有价值或是否能进行粉碎；
步骤四，输出所识别的结果通过控制器控制机械手完成相应的指示：其包括：上位机、机械抓手和机械抄手；上位机用于发送控制指令，给机械手发布相对应的指令；机械抓手用于抓取异物，机械抄手用于物体翻转，将内部异物翻转到表面。
所述步骤一中图像预处理包括：图像中值滤波降噪处理；采用自适应直方图均衡化实现图像增强处理，采用Faster R-CNN算法对异物进行识别。
所述步骤二中电磁扫描包括：首先发射天线向目标体发射电磁波，由于不同的介质与目标体之间存在电性差异，会导致反射波存在一定的差异，当天线获取到目标体反射回来的电磁波后，可以根据反馈信号的波形和回波时间来对目标体以及内部物体的位置与特征信息进行解释，从而反馈出各种物体的信息，推断出是否为异物。
所述步骤三中MPL分类器为基于神经网络的动态分类器，其步骤包括：
1）创建分类器；
2）获取各个类别的特征向量；
3）将各个类别训练样本的特征向量添加到分类器中；
4）训练模型，生成gmc文件；
5）获取待分类图像的特征向量；
6）通过分类器计算特征向量的类；
7）清除分类器。
所述图像中值滤波降噪处理的中值滤波是依靠模板来实现的一种非线性滤波方式，其过程为：
①将模板在图中移动，并使图中某个像素位置与模板中心相重合；
②获取模板下各对应像素的灰度值；
③按照灰度值的数值进行从小到大的排列；
④找出排序后的灰度值的中值；
⑤将这个中间值赋给对应模板中心位置的像素。
图像增强处理方法为使用自适应直方图均衡化实现图像增强；
其自适应直方图均衡化首先计算图像的局部直方图，然后通过重新分布亮度的方式来调节图像对比度：
采取局部对比度增强法并且为保存图像中的细节部分，提前度原图的细节部分进行了保存；其算法公式为：
Figure 239082DEST_PATH_IMAGE002
用
Figure DEST_PATH_IMAGE003
表示以
Figure 749960DEST_PATH_IMAGE004
为中心的窗邻域均值；
用
Figure DEST_PATH_IMAGE005
表示对
Figure 16993DEST_PATH_IMAGE004
的变换函数。
Faster R-CNN算法包括：基础特征提取；RPN 网络；目标分类；
其中，基础特征提取包括：
用于提取图片的特征，输入为整张图片，输出为提取出的特征称为特征图；
其中，RPN 网络包括：
用于推荐候选区域，输入为上一步获得的特征图，输出 ROI 区域的位置得分和类别得分；
其中，目标分类包括：
将得到的 ROI区域的位置得分和类别得分送入Fast R-CNN网络，对其进行分类，并将分类结果输出。
所述的上位机包括图像处理单元、识别分类单元、电磁波单元、控制单元。
与现有技术相比，本发明的有益效果是：
1、与传统的识别方法比较，可以准确的识别出表面与内部异物，充分识别出带式输送机上所有异物；
2、本发明识别更加准确，可以给各个异物进行不同种类的分类，是异物分类具体化；
3、本发明采用工业相机与电磁波相融合，此两种方式的传输数率都十分的快捷，大大提高了效率；
4、本发明上位机可同时控制不同的机械臂完成不同的工作，提高了工作效率。
附图说明
图1 为本发明识别方法流程图；
图2 为本发明机械结构图；
图3 为本发明整体方法流程图；
图4 为本发明图像预处理流程图；
图5为本发明Faster R-CNN流程图；
图6为本发明分类器流程图；
图7 为本发明电磁波系统框图；
图8为本发明上位机系统框图。
图中：1、支架，2、工业相机，3、破碎机，4、机械抓手，5、带式输送机，6、伺服电机，7、导轨，8、机械抄手，9、电磁波接发器，10、电磁波源发生器，11、收藏箱。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图2所示：本发明提供一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其装置包括支架1、工业相机2、破碎机3、机械抓手4、带式输送机5、伺服电机6、导轨7、机械抄手8、电磁波接发器9、电磁波源发生器10、收藏箱11；
其中，工业相机2、电磁波接发器9、电磁波源发生器10安装在支架1上对带式输送机5上的物体进行相应监测，带式输送机5由伺服电机6进行驱动，机械抓手4与机械抄手8各安装在带式输送机5两端的导轨7上，通过上位机给出的指令，机械抄手8对带式输送机5上的物体进行翻转，机械抓手4对带式输送机5上的异物进行抓取，放入破碎机3或者收藏箱11中。
如图1所示：一种基于图像视觉与电磁波融合的带式输送机异物识别方法，包括以下步骤：
步骤一，通过对工业相机2所拍摄的图像进行算法处理判断表面是否存在异物：
对采集到的图像进行预处理，获得处理后的图像；建立基于Faster R-CNN的异物识别检测模型，获取图片中表面物体的信息；在检测算法处理下，判断表面物体中是否存在异物；
如图4所示：所述步骤一中图像预处理包括：图像中值滤波降噪处理；采用自适应直方图均衡化实现图像增强处理，采用Faster R-CNN算法对异物进行识别；
所述图像中值滤波降噪处理的中值滤波是依靠模板来实现的一种非线性滤波方式，其过程为：
①将模板在图中移动，并使图中某个像素位置与模板中心相重合；
②获取模板下各对应像素的灰度值；
③按照灰度值的数值进行从小到大的排列；
④找出排序后的灰度值的中值；
⑤将这个中间值赋给对应模板中心位置的像素；
图像增强处理方法为使用自适应直方图均衡化实现图像增强；
其自适应直方图均衡化首先计算图像的局部直方图，然后通过重新分布亮度的方式来调节图像对比度：
采取局部对比度增强法并且为保存图像中的细节部分，提前度原图的细节部分进行了保存；其算法公式为：
Figure 340527DEST_PATH_IMAGE002
用
Figure 9406DEST_PATH_IMAGE003
表示以
Figure 628868DEST_PATH_IMAGE004
为中心的窗邻域均值；
用
Figure 383198DEST_PATH_IMAGE005
表示对
Figure 244843DEST_PATH_IMAGE004
的变换函数。
如图5所示：Faster R-CNN 算法具有良好的在计算速度、计算精度，以及优秀的鲁棒性；
Faster R-CNN算法包括：基础特征提取；RPN 网络；目标分类；
其中，基础特征提取包括：
用于提取图片的特征，输入为整张图片，输出为提取出的特征称为特征图；
其中，RPN 网络包括：
用于推荐候选区域，输入为上一步获得的特征图，输出 ROI 区域的位置得分和类别得分；
其中，目标分类包括：
将得到的 ROI区域的位置得分和类别得分送入Fast R-CNN网络，对其进行分类，并将分类结果输出；
步骤二，对带式输送机上物体进行电磁波扫描，根据其反馈的信号进行分析判断内部是否有异物：
当表面没有异物时，电磁波进行扫描，获取内部所反馈的信号；当表面有异物时，清理表面异物后在进行电磁波扫描，获取内部所反馈的信号；根据所反馈的信号，判别内部是否存在异物；
如图7所示：电磁波系统包括：主控模块、收发模块、信号处理模块以及供电模块；
所述步骤二中电磁扫描包括：首先发射天线向目标体发射电磁波，由于不同的介质与目标体之间存在电性差异，会导致反射波存在一定的差异，当天线获取到目标体反射回来的电磁波后，可以根据反馈信号的波形和回波时间来对目标体以及内部物体的位置与特征信息进行解释，从而反馈出各种物体的信息，推断出是否为异物；
步骤三，通过算法对异物进行分类判断是否为有用物品或能否进行粉碎的物品：
如图6所示：通过获取的表面信息提取出异物图像特征；通过MPL分类器进行快速异物分类；根据分类器所反馈的结果判断异物是否具有价值或是否能进行粉碎；所述步骤三中MPL分类器为基于神经网络的动态分类器，其步骤包括：
1）创建分类器；
2）获取各个类别的特征向量；
3）将各个类别训练样本的特征向量添加到分类器中；
4）训练模型，生成gmc文件；
5）获取待分类图像的特征向量；
6）通过分类器计算特征向量的类；
7）清除分类器；
步骤四，输出所识别的结果通过控制器控制机械手完成相应的指示：其包括：上位机、机械抓手和机械抄手；上位机用于发送控制指令，给机械手发布相对应的指令；机械抓手用于抓取异物，机械抄手用于物体翻转，将内部异物翻转到表面；如图8所示：所述的上位机包括图像处理单元、识别分类单元、电磁波单元、控制单元：图像处理单元包括：接收图像数据、图像预处理、发送图像信息。通过对相机所拍摄的图像进行处理，将处理后的信息传送至识别分类单元。
识别分类单元包括：Faster R-CNN算法识别信息、MPL分类器分类信息、发送识别分类信息。首先通过Faster R-CNN算法识别表面异物，然后用MPL分类器具体分类，最终将分类信息发送至控制单元。
电磁波单元包括：发射电磁波信号、接收电磁波反馈信号、发送信号信息。通过发收天线发射电磁波并接收其反馈信号，然后将反馈信号发送至控制单元。
控制单元包括：接收信号指令、发送控制指令；通过接收到的信号进行分析，通过分析的结果对机械臂发送相对应的运动指令，最终完成任务。
综上所述，本发明整体流程可分为两大步骤，其中第二步骤可以拆分成上述的步骤二、三、四，其有6种情况，如图3所示：第一步骤为：使用工业相机在带式输送机运输时进行拍照，对所拍图像进行图像预处理，使用Faster R-CNN算法进行异物识别；
第二步骤为：①若表面有异物则进行目标分类，同时分辨出异物为有用或不可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入收藏箱11中，之后进行电磁波照射通过分析反馈信号，内部没有异物时则结束；
②若表面有异物则进行目标分类，同时分辨出异物为无用且可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入破碎机3中，之后进行电磁波照射通过分析反馈信号，内部没有异物时则结束；
③若表面无异物则进行电磁波照射，通过分析反馈信号，内部没有异物时则结束；
④若表面无异物则进行电磁波照射，通过分析反馈信号，内部有异物时则通过卡尔曼滤波进行追踪定位，控制机械抄手4进行物体翻转，然后进行步骤一且进行步骤①或②流程直到结束；
⑤若表面有异物则进行目标分类，同时分辨出异物为有用或不可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入收藏箱中，之后进行电磁波照射通过分析反馈信号，内部有异物时则进行步骤④流程直至结束；
⑥若表面有异物则进行目标分类，同时分辨出异物为无用且可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入破碎机3中，之后进行电磁波照射通过分析反馈信号，内部有异物时则进行步骤④流程直至结束；
最终通过此流程完成对异物的识别，实现最大化对异物的识别与清理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于，包括以下步骤：
步骤一，通过对工业相机所拍摄的图像进行算法处理判断表面是否存在异物：
对采集到的图像进行预处理，获得处理后的图像；建立基于Faster R-CNN的异物识别检测模型，获取图片中表面物体的信息；在检测算法处理下，判断表面物体中是否存在异物；
步骤二，对带式输送机上物体进行电磁波扫描，根据其反馈的信号进行分析判断内部是否有异物：
当表面没有异物时，电磁波进行扫描，获取内部所反馈的信号；当表面有异物时，清理表面异物后在进行电磁波扫描，获取内部所反馈的信号；根据所反馈的信号，判别内部是否存在异物；
步骤三，通过算法对异物进行分类判断是否为有用物品或能否进行粉碎的物品：
通过获取的表面信息提取出异物图像特征；通过MPL分类器进行快速异物分类；根据分类器所反馈的结果判断异物是否具有价值或是否能进行粉碎；
步骤四，输出所识别的结果通过控制器控制机械手完成相应的指示：其包括：上位机、机械抓手和机械抄手；上位机用于发送控制指令，给机械手发布相对应的指令；机械抓手用于抓取异物，机械抄手用于物体翻转，将内部异物翻转到表面。
2.根据权利要求1所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：所述步骤一中图像预处理包括：图像中值滤波降噪处理；采用自适应直方图均衡化实现图像增强处理，采用Faster R-CNN算法对异物进行识别。
3.根据权利要求1所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：所述步骤二中电磁扫描包括：首先发射天线向目标体发射电磁波，由于不同的介质与目标体之间存在电性差异，会导致反射波存在一定的差异，当天线获取到目标体反射回来的电磁波后，可以根据反馈信号的波形和回波时间来对目标体以及内部物体的位置与特征信息进行解释，从而反馈出各种物体的信息，推断出是否为异物。
4.根据权利要求1所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：所述步骤三中MPL分类器为基于神经网络的动态分类器，其步骤包括：
1）创建分类器；
2）获取各个类别的特征向量；
3）将各个类别训练样本的特征向量添加到分类器中；
4）训练模型，生成gmc文件；
5）获取待分类图像的特征向量；
6）通过分类器计算特征向量的类；
7）清除分类器；
将得到的 ROI区域的位置得分和类别得分送入Fast R-CNN网络，对其进行分类，并将分类结果输出。
5.根据权利要求2所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：所述图像中值滤波降噪处理的中值滤波是依靠模板来实现的一种非线性滤波方式，其过程为：
①将模板在图中移动，并使图中某个像素位置与模板中心相重合；
②获取模板下各对应像素的灰度值；
③按照灰度值的数值进行从小到大的排列；
④找出排序后的灰度值的中值；
⑤将这个中间值赋给对应模板中心位置的像素。
6.根据权利要求2所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：图像增强处理方法为使用自适应直方图均衡化实现图像增强；
其自适应直方图均衡化首先计算图像的局部直方图，然后通过重新分布亮度的方式来调节图像对比度：
采取局部对比度增强法并且为保存图像中的细节部分，提前度原图的细节部分进行了保存；其算法公式为：
Figure DEST_PATH_IMAGE001
用
Figure 221462DEST_PATH_IMAGE002
表示以
Figure 138603DEST_PATH_IMAGE003
为中心的窗邻域均值；
用
Figure 476262DEST_PATH_IMAGE004
表示对
Figure 871472DEST_PATH_IMAGE003
的变换函数。
7.根据权利要求2所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：Faster R-CNN算法包括：基础特征提取；RPN 网络；目标分类；
其中，基础特征提取包括：
用于提取图片的特征，输入为整张图片，输出为提取出的特征称为特征图；
其中，RPN 网络包括：
用于推荐候选区域，输入为上一步获得的特征图，输出 ROI 区域的位置得分和类别得分；
其中，目标分类包括：将得到的 ROI区域的位置得分和类别得分送入Fast R-CNN网络，对其进行分类，并将分类结果输出。
8.根据权利要求1所述的一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其特征在于：所述的上位机包括图像处理单元、识别分类单元、电磁波单元、控制单元。
CN202111231169.4A 2021-10-22 2021-10-22 一种基于图像视觉与电磁波融合的带式输送机异物识别方法 Pending CN114140380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111231169.4A CN114140380A (zh) 2021-10-22 2021-10-22 一种基于图像视觉与电磁波融合的带式输送机异物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111231169.4A CN114140380A (zh) 2021-10-22 2021-10-22 一种基于图像视觉与电磁波融合的带式输送机异物识别方法

Publications (1)

Publication Number Publication Date
CN114140380A true CN114140380A (zh) 2022-03-04

Family

ID=80394560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111231169.4A Pending CN114140380A (zh) 2021-10-22 2021-10-22 一种基于图像视觉与电磁波融合的带式输送机异物识别方法

Country Status (1)

Country Link
CN (1) CN114140380A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114985305A (zh) * 2022-05-27 2022-09-02 安徽国祯生态科技有限公司 一种秸秆质量检测分类系统及方法
CN115147770A (zh) * 2022-08-30 2022-10-04 山东千颐科技有限公司 基于图像处理的皮带异物视觉识别系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114985305A (zh) * 2022-05-27 2022-09-02 安徽国祯生态科技有限公司 一种秸秆质量检测分类系统及方法
CN114985305B (zh) * 2022-05-27 2024-04-26 安徽国祯生态科技有限公司 一种秸秆质量检测分类系统及方法
CN115147770A (zh) * 2022-08-30 2022-10-04 山东千颐科技有限公司 基于图像处理的皮带异物视觉识别系统
CN115147770B (zh) * 2022-08-30 2022-12-02 山东千颐科技有限公司 基于图像处理的皮带异物视觉识别系统

Similar Documents

Publication Publication Date Title
CN114140380A (zh) 一种基于图像视觉与电磁波融合的带式输送机异物识别方法
EP4137992B1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
CN104156726A (zh) 一种基于几何形状特征的工件识别方法及装置
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
Elmezain et al. A robust method for hand gesture segmentation and recognition using forward spotting scheme in conditional random fields
US20220322592A1 (en) Method and device for disassembling electronics
CN113183138A (zh) 一种垃圾搬运分拣机器人及其控制方法
CN112318485B (zh) 物体分选系统及其图像处理方法、装置
CN111517092A (zh) 一种传动带撕裂检测方法
CN114905507A (zh) 一种基于环境视觉分析的焊接机器人精度控制方法
CN110135327B (zh) 一种基于多区域特征学习模型的驾驶员行为识别方法
CN113682762A (zh) 基于机器视觉和深度学习的皮带撕裂检测的方法与系统
CN112330607A (zh) 基于图像识别技术的煤矸识别方法、装置及系统
CN112801061A (zh) 一种体态识别方法及系统
CN114029943A (zh) 一种基于图像数据处理的目标抓取定位方法及系统
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
CN112329587A (zh) 饮料瓶的分类方法、装置及电子设备
CN107392127A (zh) 基于切比雪夫多项式描述子的复杂背景下输电线路提取方法
Li et al. An intelligent identification and classification system of decoration waste based on deep learning model
Klaoudatos et al. Development of an Experimental Strawberry Harvesting Robotic System.
Budzan Fusion of visual and range images for object extraction
Wang et al. Machine vision-based conveyor belt tear detection in a harsh environment
CN214682976U (zh) 一种垃圾识别和自动分选装置
CN111062387B (zh) 一种传送带上物品的识别方法、抓取方法及相关设备
Fei et al. A method for determining longitudinal tear of conveyor belt based on feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination