CN113319013A - 一种基于机器视觉的苹果智能分拣的方法 - Google Patents
一种基于机器视觉的苹果智能分拣的方法 Download PDFInfo
- Publication number
- CN113319013A CN113319013A CN202110774442.1A CN202110774442A CN113319013A CN 113319013 A CN113319013 A CN 113319013A CN 202110774442 A CN202110774442 A CN 202110774442A CN 113319013 A CN113319013 A CN 113319013A
- Authority
- CN
- China
- Prior art keywords
- apple
- apples
- image
- sorting
- fruit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 241000220225 Malus Species 0.000 claims abstract description 287
- 235000021016 apples Nutrition 0.000 claims abstract description 117
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 38
- 231100000241 scar Toxicity 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims abstract description 8
- 235000014678 Fruitflow® Nutrition 0.000 claims abstract description 5
- 230000002950 deficient Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 22
- 230000007547 defect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000012636 effector Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 208000032544 Cicatrix Diseases 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 230000037387 scars Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000004040 coloring Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 244000134242 Malus prunifolia Species 0.000 description 1
- 235000005087 Malus prunifolia Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Sorting Of Articles (AREA)
Abstract
一种基于机器视觉的苹果智能分拣的方法，通过提取苹果图像轮廓区域的最小外接矩形，得到苹果的像素长宽即果径特征。采用S均值μs和方差δs作为苹果中疤痕、划痕和果锈区域识别分类的颜色特征。采用基于双树复小波变换提取苹果纹理特征。将果径特征、颜色特征以及纹理特征进行融合，将融合后的特征向量输入到SVM分类器中进行分类识别。双机械臂将表面合格的苹果进行抓取，并通过深度卷积神经网络对苹果底部图像进行疤痕检测。双机械臂根据路径规划的结果将底部合格的苹果准确装盒，不合格苹果放回传送带进入残次果流程。利用图形用户交互开发工具PyQt5，建立了苹果分拣系统人机交互平台。本发明提高苹果分拣的质量和效率、降低生产成本以及避免二次损伤。
Description
技术领域
本发明属于计算机视觉技术领域，特别涉及一种基于机器视觉的苹果智能分拣的方法。
背景技术
目前，中小型网络直销的个体农户常常使用人工分拣方法进行苹果分拣装盒。然而对于分拣工序主要是从收集苹果的容器中逐个挑出来分拣，果农需要仔细观察苹果的果面光洁度，并且借助各种型号的分级板对苹果大小进行分级。在识别苹果表面的果皮损伤中，农户大都采用人眼分拣的方式，但是苹果分级十分严格，例如优质果要求红色着色面大于80％且斑点个数不超过5个，果锈面积不得大于1平方厘米，人眼无法对这样的缺陷精确度量；分拣工作完成后，农户还需要人工装盒。这一系列由操作人员手工完成的分拣装盒工作，存在耗费大量的人力物力、且效率低下，主观误差大、容易疲劳出错的缺点。现有分拣设备大多都只能单独针对苹果单项特征进行分级，并不能准确地反映苹果的综合品质，无法满足如今网购消费者对苹果品质的需求。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种基于机器视觉的苹果智能分拣的方法，通过计算机代替人力对传送带上的苹果进行自动识别、分级、拣选装盒。苹果在传送带上的摆放无位置要求，多个苹果可同时进行分拣。不但可实现自动、无损的拣选，而且实时性和有效性均得到大幅度提升。
为了实现上述目的，本发明采用的技术方案是：
一种基于机器视觉的苹果智能分拣的方法，包括以下步骤：
步骤一，使用摄像头采集暗箱内苹果表面图像；
步骤二，通过设定传送带上的区域为感兴趣区域RegionofInterest(ROI)，将传送带皮带以外的背景去除掉，方便后面苹果图像的进一步处理；
步骤三，对苹果图像进行预处理，包括利用加权平均值法对苹果图像灰度化、使用低通频域滤波器对图像去噪以及最佳全局阈值分割法对粘连苹果图像分割，从而得到单个苹果图像；
步骤四，对处理后的单个苹果图像，提取出单个苹果连通域，利用opencv图像处理库中的函数minAreaRect，提取苹果图像轮廓区域的最小外接矩形，从而得到苹果的像素长宽即果径特征；
步骤五，利用颜色通道分离算法对传送带上苹果的疤痕、划痕和果锈区域的6个通道(R、G、B、H、S、V)均值进行分析，采用S均值μs和方差δs作为苹果中疤痕、划痕和果锈区域识别分类的颜色特征；
步骤六，采用基于双树复小波变换对苹果纹理特征提取；
步骤七，融合苹果果径、颜色与纹理特征，便于苹果图像的分类识别；
步骤八，将融合后的特征向量输入到SVM分类器中进行分类识别；
步骤九，对优质果采用深度可分离卷积神经网络Mobilenet_v2-ssdlite进行果面缺陷检测，机械臂抓取果面合格苹果对其底部进行二次缺陷检测，合格苹果规则装盒，不合格苹果放回传送带进入残次果流程；
步骤十，采用基于RRT算法对双机械臂避障路径进行规划，抓取分类后苹果按级进行装盒；
步骤十一，利用PyQT5建立苹果质量参考平台对生产状况进行查询，以及数据的存储。
所述的步骤二中，通过固定相机，使其在流水线上方距离保持一致，设定感兴趣区域RegionofInterest(ROI)将流水线皮带以外的场景去除掉，方便后面苹果图像的进一步处理。
所述的步骤三中，采用加权平均值法对图像的B、G、R三个通道值赋予不同的权重，并进行加权求和，得到苹果图像的灰度图，可减少图像信息量，提高计算效率，减少处理时间，加权平均值法的计算公式如下：
Gray＝W1*B+W2*G+W3*R
其中，B、G和R分别为彩色图像的蓝色、绿色和红色通道，对应的权重分别为W1＝0.114，W2＝0.587，W3＝0.299；
接下来使用低通频域滤波器对苹果图像中的噪点进行去除，并增强和背景部分的区分度，低通滤波器模板计算公式如下：
其中,D0为截止频率，即通带半径，D(u,v)为频域中一点(u,v)到频域矩形中心点的距离(欧式距离)，M和N表示频谱图像的宽和高,(M/2，N/2)为频谱中心；
最后对预处理后的苹果图像使用最佳全局阈值分割(Otsu)的处理方法，图像得到具体的苹果。
对具体苹果图像进行连通域分析，判断每个连通区域的面积是否大于单个苹果连通区域的面积，如果大于，将该连通域判断为有粘连情况，通过凹点检测算法找到粘连联通区域轮廓上的凹点，并计算每个凹点与其曲率方向上某个点的连线，计算连线间的夹角，在夹角为钝角的前提下，找到与该凹点距离最近的凹点，即为一对匹配凹点，用直线连接凹点对，即完成粘连苹果的分割。
所述步骤六中，利用双树复小波变换提取苹果图像的纹理特征，双树复小波变换提取苹果图像的纹理特征时，采用可分离变量的方法由一维小波函数和尺度函数构造所需的二维双树复小波函数，即：
φ(x,y)＝φ(x)φ(y)
ψH(x,y)＝ψ(x)φ(y)
ψV(x,y)＝φ(x)ψ(y)
ψD(x,y)＝ψ(x)ψ(y)
其中，φ是二维尺度函数，ψH，ψV，ψD是3个二维双树复小波函数，每个双树复小波上的H表示水平方向，V表示垂直方向，D表示对角线方向，由下式给出的尺度函数和双树复小波函数，定义一个伸缩和平移的基函数：
利用这些基函数对图像进行分解，随着双树复小波分解层次的增加，提取的纹理特征也越来越准确，但是带来的计算量也越大，对苹果图像进行4层小波分解，提取每层双树复小波系数矩阵的平均能量组成纹理特征向量：
所述的步骤七中，根据颜色特征和纹理特征以2:3的比例对苹果颜色和纹理特征进行求和融合。
所述的步骤八中，将融合后的特征向量输入到SVM分类器中进行分类识别，利用单个苹果图像提取得到的优质、色泽低、疤痕、划痕和果锈图像各400张，共2000张图像，图片大小在63×178像素～80×270像素内，进行分类实验，提取颜色特征和纹理特征组成特征向量，选取每类图片340张作为SVM分类的训练样本集，其余的特征向量作为测试样本集，将训练集的特征向量输入到SVM分类器中进行分类，得到最后的识别结果。
步骤九，对优质果采用深度可分离卷积神经网络Mobilenet_v2-ssdlite进行果面缺陷检测，机械臂抓取果面合格苹果对其底部进行二次缺陷检测，合格苹果规则装盒，不合格苹果放回传送带进入残次果流程；
1)对苹果底部进行拍照，采集4000张苹果图像作为样本数据，对优质及疤痕缺陷的苹果分别采集了2000张，共包含4000张图片，苹果图像的大小为640*480，并设定为两类分别为Scar_apple和Prefect_apple，采用LabelImage对优质果与及疤痕缺陷的坏果进行标注，框出每一个苹果在图像中的具体位置，并设定每个苹果所属的类别，LabelImage会为数据集的每一个图像生成对应的.xml文件，用来记录苹果图像的位置、路径、标注的位置和类别；
2)将标注的数据集转化为可训练的.record文件，首先将.xml的文件转换为label文件，Label文件内含对应图片标注内容的类别以及标注框的顶点坐标，然后在TensorFlow的creat_tfrecod.py中设置数据集路径和图像的路径，运行就可生成.recod文件，其描述了图像数据与标注文件的关系；
3)下载ssd_resnet_50_fpn_coco模型文件，修改.pbtxt文件只包含Scar_apple和Prefect_apple两类。修改模型配置confing文件，设置num_class为2，设置模型、数据集和.pbtxt文件的路径，设置num_steps总训练步数为25000，设置learning_rate为0.4。接下来利用train.py对训练集进行训练。
所述步骤十，采用基于RRT算法对双机械臂避障路径进行规划，抓取分类后苹果按级进行装盒，具体过程包括：
1)将两条机械臂一条作为主臂，一条作为从臂，建立工作空间中障碍物的地图环境，其次，利用RRT路径规划算法，在障碍环境中规划出主臂的一条从起始位置到目标位置的无碰的可行路径，再其次，将主臂作为动态障碍，对从臂也规划出一条从起始位置到目标位置的无碰的可行路径，最终，得出主臂和从臂的无碰路径，算法结束；
2)在双机械臂的运动路径规划时，首先以障碍物空间中的机械臂末端执行器的起始位姿节点作为算法的初始的根位姿节点，在工作空间中进行随机采样，生成随机节点，双机械臂应用中的随机节点为一组6个关节的关节角度，其次，比较初始的根位姿节点与生成的随机节点，选择改变最小的那个关节，按照随机节点的方向，旋转一个步长的度数，得到初始的根位姿节点的子节点，然后，接着随机采样生成随机节点，通过建立的罚函数来比较，初始的根位姿和它的子节点与随机生成的节点之间的关系，对生成的随机节点进行评估，最后，以此类推，逐渐增加叶位姿节点，生成一个随机扩展树，当随机树中的叶位姿节点中包含机械臂目标位姿区域时，便可在随机树中找到一条从起始位姿到目标位姿的路径，从而当苹果到达分拣区域时，双机械臂协同工作将苹果分拣到对应等级的箱子中，实现自动分拣装盒。
本发明的有益效果：
本发明使用机器视觉技术对苹果进行分拣装盒，通过图像处理算法，提取苹果的果径、果形、着色度和缺陷特征，利用分类算法将苹果分级并记录苹果的位置信息。为了提高苹果分拣的效率，采用双机械臂协同分拣的方式对苹果进行分拣。当苹果到达分拣区域时，双机械臂协同工作将苹果分拣到对应等级的箱子中，同时将分拣信息存储在数据库中以供工作人员进行质量评估。本发明可提高苹果分拣的质量和效率、降低生产成本以及避免二次损伤等问题。将机器视觉技术与专用机器人技术结合起来，实现智能化的苹果分拣。可节约相当大的人力成本，提高分拣效率，在苹果后续的分销出口等环节保证苹果的质量，加强中国苹果的竞争力，对于农业智能化生产方面具有一定的指导意义。
附图说明
图1是本发明实施例提供的分拣系统整体功能示意框图。
图2是本发明实施例提供的分拣系统整体功能结构框图。
图3是本发明实施例提供的粘连苹果判别和分离流程图。
图4是本发明实施例提供的苹果图像分级与定位总体流程图。
图5是本发明实施例提供的双臂协同算法流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
针对现如今对苹果等级的要求越来越严格，传统的人工分拣方法存在着效率低下、成本高、主观误差大和二次损伤等问题。本发明使用机器视觉技术对苹果进行分拣装盒，通过图像处理算法，提取苹果的果径、果形、着色度和缺陷特征，利用分类算法将苹果分级并记录苹果的位置信息。为了提高苹果分拣的效率，采用双机械臂协同分拣的方式对苹果进行分拣。当苹果到达分拣区域时，双机械臂协同工作将苹果分拣到对应等级的箱子中，同时将分拣信息存储在数据库中以供工作人员进行质量评估。提高苹果了分拣的质量和效率、降低生产成本。
下面结合附图对本发明的应用原理作进一步的说明。
参见图1，本发明所述苹果分拣系统是用来进行苹果图像检测、分级，机械臂根据检测结果进行分拣装盒，以及人机交互模块实时显示苹果分拣情况。可分为苹果图像分级与定位模块、苹果分拣模块和人机交互模块三大模块。
1)苹果图像分级与定位模块主要由图像预处理、图像分割、特征提取、苹果分级和苹果定位五部分组成。各部分功能如下：
①图像预处理：对苹果图像进行灰度化、图像去噪；
②图像分割：将苹果分别从上侧面以及下侧面图像中分割出来；
③特征提取：提取苹果的果径、果形、着色度和缺陷特征，用于苹果的分级；
④苹果分级：利用苹果样本对分级模型进行训练，实现苹果的等级划分；
⑤苹果定位：将图像坐标系与世界坐标系进行转换，将苹果图像位置与实际位置关联起来，以供后续苹果的跟踪和分拣使用。
2)苹果分拣模块包括苹果跟踪子模块和双臂协同分拣子模块。各子模块对应功能如下：
①苹果跟踪子模块：对经过上侧面图像处理后的每个苹果的位置进行更新与记录，以供机械臂抓取；
②双臂协同分拣子模块：对经过苹果上侧面图像处理已经得出分级结果的苹果进行实时跟踪，当检测到苹果到达分拣区域时根据双臂协同分拣算法将苹果分拣到对应等级的箱子中；对于经过苹果上侧面图像处理未得出分级结果的苹果，当到达苹果分拣区域时，由机械臂将苹果抓取停顿0.5s，等待苹果下侧面图像处理分级结果，然后根据分级结果将苹果分拣到对应等级的箱子中。
3)人机交互平台主要是为了操作人员可以更好的了解当前系统运行的状态，并且根据苹果分级的质量数据评估一批次的苹果质量好坏。人机交互模块包括登录界面、通讯设置界面、生产状况界面和数据查询界面四个部分，各个部分功能如下：
①登录界面：用于登录苹果分拣平台主界面；
②通讯设置界面：用于设置整个分拣平台的通讯功能，主要对机械臂的通讯功能进行设置，包括串口号和波特率的设置；
③生产状况界面：实时显示暗箱内部图像处理状况以及外部图像处理状况，并返回苹果的等级信息及位置坐标；
④数据查询界面：可以查询数据库中，每一批次各级苹果的数量，以便于工作人员进查看和分析。
如图2所示，本发明在结构上包括传送带装置1，工业摄像机2，PC机3，双机械臂4，外部摄像头和闪光灯5。传送带装置1上装有暗箱，暗箱内部在距传送带40cm高处装有工业摄像机2，双机械臂4固定在传送带1的两侧，外部摄像头与闪光灯5固定在传送带1的末尾。
本发明的工作流程如下：
首先将苹果以任意姿态放置在传送带上，苹果随着传送带运动，当苹果经过装有工业摄像机和补光设备的暗箱后，摄像机定时采集传送带上的苹果上侧面图像，并且将采集到的苹果图像由PC机进行图像处理，同时将实时分级结果和数据实时显示在PC端上以供用户查看。为了保证分级的准确性，对未采集到的苹果底部图像也进行采集与处理。故采用机械臂将苹果抓举起来，然后由外部摄像头利用深度卷积神经网络对苹果底部状况进行检测，综合两幅图像识别信息得到苹果的分级结果，最后利用双机械臂根据分级结果将苹果分拣到对应等级的箱子中，从而达到苹果智能分拣的目的。本发明主要由像采集装置、传送装置、分拣装置和苹果分拣平台四部分组成，各部分功能如下：
(1)图像采集装置：由暗箱、LED、两个CCD相机和闪光灯组成，负责采集苹果图像，然后发送给PC机进行图像处理。暗箱和LED用于保证采集苹果图像时不受外界环境的干扰，保证光源的稳定，便于内部CCD相机采集到高清且亮度一致的苹果图像。在外部增加一个CCD相机，用来采集之前未被内部相机采集的下侧面苹果图像，保证了苹果分级的准确性。由于外部环境复杂，光源较不稳定，因此加上一个闪光灯，配合外部相机采集图像，保证外部图像采集的质量。
(2)传送装置：由电机、开关、调速控制器以及传送带组成，负责传送苹果。电机用于带动传送带运动；开关用于控制装置的开关；调速控制器用于控制传送速度；传送带用于带动苹果进行运动。
(3)分拣装置：由带有控制器的机械臂组成，用于辅助外部相机进行图像采集以及将苹果分拣到对应的箱子中。
(4)苹果分拣平台：由PC机组成，负责苹果的图像处理(苹果分级和定位)以及机械臂的控制。PC机对采集到的苹果图像进行处理，得到苹果的分级结果，实时更新苹果的位置信息。当苹果运动至分拣区时，PC机苹果最新的位置信息发送给机械臂控制器，机械臂将苹果抓举起来停顿0.5s，外部摄像头利用深度卷积神经网络对苹果底部状况进行检测，综合两幅图像信息得出苹果的分级结果，最后机械臂根据分级结果将苹果分拣到对应箱子中，同时在PC上实时显示图像处理结果，并且对每一批次的苹果等级信息进行记录和保存，便于用户查看与分析。
图3是本发明实施例提供的粘连苹果判别和分离流程图。基于凹点匹配的粘连苹果的判别和分离流程下所示：
1)首先对预处理后的苹果二值图像，进行连通域分析，判断每个连通区域的面积是否大于单个苹果连通区域的面积，如果有，将该连通域判断为有粘连情况。
2)通过凹点检测算法找到粘连联通区域轮廓上的凹点。
3)计算每个凹点与其曲率方向上某个点的连线ab
4)凹点匹配原则：
①两个凹点按照3中方法计算a1b1与a2b2，a1b1与a2b2的夹角必须为钝角。
②在①的前提下，找到与该凹点距离最近的凹点，即为一对匹配凹点。
5)用直线连接凹点对，完成粘连苹果的分割
粘连苹果图像分离后，接下来就可以提取单个苹果，通过提取单个苹果的最小外接矩形来分割出单个苹果图像，为后面对单个苹果的特征提取和识别做准备。
图4是本发明实施例提供的苹果图像分级与定位总体流程图。苹果图像分级与定位算法的总体工作流程是：首先通过暗箱内的CCD相机采集苹果上侧面图像，通过图像处理算法初步得出苹果等级信息，判断苹果是否为等外果，若苹果为等外果，则直接输出苹果等级和位置信息，若不是等外果，则进行苹果下侧面图像采集与处理，综合两幅图像信息返回苹果的等级和位置信息。苹果图像分级与定位算法主要包括以下几个步骤：
1)苹果上侧面图像采集：获取苹果上侧面图像；
2)预处理与图像分割：包括图像灰度化、滤波、背景分割以及粘连图像分割；
3)苹果上侧面图像特征提取：根据苹果上侧面图像提取苹果的果径、果形、着色度和缺陷特征参数，用于苹果上侧面图像识别；
4)苹果上侧面图像识别与定位：根据提取到的果径和缺陷特征对苹果进行等级，并对每个苹果进行定位；
5)苹果下侧面图像采集，使用深度卷积神经网络对苹果底部状况进行检测与分级。
6)记录苹果等级与位置信息：用于机械臂分拣苹果到对应等级的箱子中。
图5是本发明实施例提供的双臂协同算法流程图，双机械臂协同按以下步骤进行：
首先，将两条机械臂一条作为主臂，一条作为从臂，建立工作空间中障碍物的地图环境，其次，利用所提出的改进的RRT路径规划算法，在障碍环境中规划出主臂的一条从起始位置到目标位置的无碰的可行路径，再其次，将主臂作为动态障碍，对从臂也规划出一条从起始位置到目标位置的无碰的可行路径。最终，得出主臂和从臂的无碰路径，算法结束。
算法主要包括障碍物环境的建立模块、extendTreeRobot函数(随机扩展树模块)、碰撞检测方法模块以及寻找最终路径模块，其中随机扩展树模块和碰撞检测方法模块是本算法的关键改进点，下面将着重讲解随机扩展树模块。
extendTreeRobot函数，随机扩展树函数，也是RRT算法的核心函数，被用来在空间中生成随机节点，从初始目标区域向周围邻接区域进行不断的扩展以及记录扩展过程中所遍历过的较优的节点，当记录的较优节点包含目标位置节点时，随机扩展树函数结束搜索，在双机械臂的运动路径规划时：首先，以障碍物空间中的机械臂末端执行器的起始位姿节点作为算法的初始的根位姿节点，在工作空间中进行随机采样，生成随机节点，双机械臂应用中的随机节点为一组6个关节的关节角度。其次，比较初始的根位姿节点与生成的随机节点，选择改变最小的那个关节，按照随机节点的方向，旋转一个步长的度数，得到初始的根位姿节点的子节点。然后，接着随机采样生成随机节点，通过建立的罚函数来比较，初始的根位姿和它的子节点与随机生成的节点之间的关系，也就是对生成的随机节点进行评估。最后，以此类推，逐渐增加叶位姿节点，生成一个随机扩展树。当随机树中的叶位姿节点中包含机械臂目标位姿区域时，便可在随机树中找到一条从起始位姿到目标位姿的路径。从而当苹果到达分拣区域时，双机械臂协同工作将苹果分拣到对应等级的箱子中，实现自动分拣装盒。
Claims (10)
1.一种基于机器视觉的苹果智能分拣的方法，其特征在于，包括以下步骤；
步骤一，使用摄像头采集暗箱内苹果表面图像；
步骤二，通过设定传送带上的区域为感兴趣区域RegionofInterest(ROI)将传送带皮带以外的背景去除掉，方便后面苹果图像的进一步处理；
步骤三，对苹果图像进行预处理，主要包括利用加权平均值法对苹果图像灰度化、使用低通频域滤波器对图像去噪以及最佳全局阈值分割法对粘连苹果图像分割，从而得到单个苹果图像；
步骤四，对处理后的单个苹果图像，提取出单个苹果连通域，利用opencv图像处理库中的函数minAreaRect，提取苹果图像轮廓区域的最小外接矩形，从而得到苹果的像素长宽即果径特征；
步骤五，利用颜色通道分离算法对传送带上苹果的疤痕、划痕和果锈区域的6个通道(R、G、B、H、S、V)均值进行分析，采用S均值μs和方差δs作为苹果中疤痕、划痕和果锈区域识别分类的颜色特征；
步骤六，采用基于双树复小波变换对苹果纹理特征提取；
步骤七，融合苹果果径、颜色与纹理特征，便于苹果图像的分类识别；
步骤八，将融合后的特征向量输入到SVM分类器中进行分类识别；
步骤九，对优质果采用深度可分离卷积神经网络Mobilenet_v2-ssdlite进行果面缺陷检测，机械臂抓取果面合格苹果对其底部进行二次缺陷检测，合格苹果规则装盒，不合格苹果放回传送带进入残次果流程；
步骤十，采用基于RRT算法对双机械臂避障路径进行规划，抓取分类后苹果按级进行装盒；
步骤十一，利用PyQT5建立苹果质量参考平台对生产状况进行查询，以及数据的存储。
2.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述的步骤一中，通过暗箱内的CCD相机采集苹果上侧面图像，并将图像传送给PC进行分析。
3.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述的步骤二中，通过固定相机，使其在流水线上方距离保持一致，设定感兴趣区域RegionofInterest(ROI)将步骤一得到的苹果图像中流水线皮带以外的场景去除掉，方便后面苹果图像的进一步处理。
4.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述的步骤三中，采用加权平均值法对图像的B、G、R三个通道值赋予不同的权重，并进行加权求和，得到苹果图像的灰度图，加权平均值法的计算公式如下：
Gray＝W1*B+W2*G+W3*R
其中，B、G和R分别为彩色图像的蓝色、绿色和红色通道，对应的权重分别为W1＝0.114，W2＝0.587，W3＝0.299；
接下来使用低通频域滤波器对苹果图像中的噪点进行去除，并增强和背景部分的区分度，低通滤波器模板计算公式如下：
其中,D0为截止频率，即通带半径，D(u,v)为频域中一点(u,v)到频域矩形中心点的距离(欧式距离)，M和N表示频谱图像的宽和高,(M/2，N/2)为频谱中心；
最后对预处理后的苹果图像使用最佳全局阈值分割(Otsu)的处理方法，图像得到具体的苹果，对具体苹果图像进行连通域分析，判断每个连通区域的面积是否大于单个苹果连通区域的面积，如果大于，将该连通域判断为有粘连情况。通过凹点检测算法找到粘连联通区域轮廓上的凹点，并计算每个凹点与其曲率方向上某个点的连线，计算连线间的夹角，在夹角为钝角的前提下，找到与该凹点距离最近的凹点，即为一对匹配凹点，用直线连接凹点对，即完成粘连苹果的分割。
5.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述步骤六中，利用双树复小波变换提取苹果图像的纹理特征，双树复小波变换提取苹果图像的纹理特征时，采用可分离变量的方法由一维小波函数和尺度函数构造所需的二维双树复小波函数，即：
φ(x,y)＝φ(x)φ(y)
ψH(x,y)＝ψ(x)φ(y)
ψV(x,y)＝φ(x)ψ(y)
ψD(x,y)＝ψ(x)ψ(y)
其中，φ是二维尺度函数，ψH，ψV，ψD是3个二维双树复小波函数。每个双树复小波上的H表示水平方向，V表示垂直方向，D表示对角线方向。由下式给出的尺度函数和双树复小波函数，定义一个伸缩和平移的基函数：
利用这些基函数对图像进行分解，对苹果图像进行4层小波分解，提取每层双树复小波系数矩阵的平均能量组成纹理特征向量：
6.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述的步骤七中，根据颜色特征和纹理特征以2:3的比例对苹果颜色和纹理特征进行求和融合。
7.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述的步骤八具体为：
利用单个苹果图像提取得到的优质、色泽低、疤痕、划痕和果锈图像各400张，共2000张图像，图片大小在63×178像素～80×270像素内，进行分类实验，提取颜色特征和纹理特征组成特征向量，选取每类图片340张作为SVM分类的训练样本集，其余的特征向量作为测试样本集，将训练集的特征向量输入到SVM分类器中进行分类，得到最后的识别结果。
8.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述的步骤九中，由于机械臂抓起苹果对底部进行检测时，背景复杂，且容易受到光线因素的干扰，为保证识别的精度以及速度使用深度卷积神经网络Mobilenet_v2-ssdlite进行果面缺陷检测，机械臂抓取果面合格苹果对其底部进行二次缺陷检测，合格苹果规则装盒，不合格苹果放回传送带进入残次果流程；
1)对苹果底部进行拍照，采集4000张苹果图像作为样本数据，对优质及疤痕缺陷的苹果分别采集了2000张，共包含4000张图片，苹果图像的大小为640*480，并设定为两类分别为Scar_apple和Prefect_apple，采用LabelImage对优质果与及疤痕缺陷的坏果进行标注，框出每一个苹果在图像中的具体位置，并设定每个苹果所属的类别。LabelImage会为数据集的每一个图像生成对应的.xml文件，用来记录苹果图像的位置、路径、标注的位置和类别；
2)将标注的数据集转化为可训练的.record文件，首先将.xml的文件转换为label文件，Label文件内含对应图片标注内容的类别以及标注框的顶点坐标，然后在TensorFlow的creat_tfrecod.py中设置数据集路径和图像的路径，运行就可生成.recod文件，其描述了图像数据与标注文件的关系；
3)下载ssd_resnet_50_fpn_coco模型文件，修改.pbtxt文件只包含Scar_apple和Prefect_apple两类。修改模型配置confing文件，设置num_class为2，设置模型、数据集和.pbtxt文件的路径，设置num_steps总训练步数为25000，设置learning_rate为0.4，接下来利用train.py对训练集进行训练。
9.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述步骤十中，采用基于RRT算法对双机械臂避障路径进行规划，抓取分类后苹果按级进行装盒，具体过程包括：
1)将两条机械臂一条作为主臂，一条作为从臂，建立工作空间中障碍物的地图环境，其次，利用RRT路径规划算法，在障碍环境中规划出主臂的一条从起始位置到目标位置的无碰的可行路径，再其次，将主臂作为动态障碍，对从臂也规划出一条从起始位置到目标位置的无碰的可行路径，最终，得出主臂和从臂的无碰路径，算法结束；
2)在双机械臂的运动路径规划时，首先以障碍物空间中的机械臂末端执行器的起始位姿节点作为算法的初始的根位姿节点，在工作空间中进行随机采样，生成随机节点，双机械臂应用中的随机节点为一组6个关节的关节角度；
其次，比较初始的根位姿节点与生成的随机节点，选择改变最小的那个关节，按照随机节点的方向，旋转一个步长的度数，得到初始的根位姿节点的子节点，然后，接着随机采样生成随机节点，通过建立的罚函数来比较，初始的根位姿和它的子节点与随机生成的节点之间的关系，对生成的随机节点进行评估；
最后，以此类推，逐渐增加叶位姿节点，生成一个随机扩展树。当随机树中的叶位姿节点中包含机械臂目标位姿区域时，便可在随机树中找到一条从起始位姿到目标位姿的路径，从而当苹果到达分拣区域时，双机械臂协同工作将苹果分拣到对应等级的箱子中，实现自动分拣装盒。
10.根据权利要求1所述的一种基于机器视觉的苹果智能分拣的方法，其特征在于，所述步骤十一中，利用PyQT5建立苹果质量参考平台对生产状况进行查询，以及数据的存储。方便操作人员可以更好的了解当前系统运行的状态，并且根据苹果分级的质量数据评估一批次的苹果质量好坏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110774442.1A CN113319013A (zh) | 2021-07-08 | 2021-07-08 | 一种基于机器视觉的苹果智能分拣的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110774442.1A CN113319013A (zh) | 2021-07-08 | 2021-07-08 | 一种基于机器视觉的苹果智能分拣的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113319013A true CN113319013A (zh) | 2021-08-31 |
Family
ID=77426078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110774442.1A Pending CN113319013A (zh) | 2021-07-08 | 2021-07-08 | 一种基于机器视觉的苹果智能分拣的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113319013A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114653612A (zh) * | 2022-04-06 | 2022-06-24 | 西京学院 | 一种基于机器视觉的红枣分拣系统 |
| CN116689310A (zh) * | 2023-08-08 | 2023-09-05 | 河南工学院 | 一种用于电池分拣回收的自动化识别分类系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108480227A (zh) * | 2018-03-30 | 2018-09-04 | 烟台维度机器人有限公司 | 一种基于图像识别的苹果分拣方法及系统 |
| CN108818530A (zh) * | 2018-06-12 | 2018-11-16 | 西安交通大学 | 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法 |
| WO2018211385A1 (en) * | 2017-05-16 | 2018-11-22 | Unitec S.P.A. | Apparatus for treating horticultural products |
| CN109365323A (zh) * | 2018-12-03 | 2019-02-22 | 广东技术师范学院 | 一种基于rgb水果分类方法及分类装置 |
| CN110497403A (zh) * | 2019-08-05 | 2019-11-26 | 上海大学 | 一种改进双向rrt算法的机械臂运动规划方法 |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| CN111915704A (zh) * | 2020-06-13 | 2020-11-10 | 东北林业大学 | 一种基于深度学习的苹果分级识别方法 |
| CN112828889A (zh) * | 2021-01-05 | 2021-05-25 | 佛山科学技术学院 | 一种六轴协作机械臂路径规划方法及系统 |
-
2021
- 2021-07-08 CN CN202110774442.1A patent/CN113319013A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018211385A1 (en) * | 2017-05-16 | 2018-11-22 | Unitec S.P.A. | Apparatus for treating horticultural products |
| CN108480227A (zh) * | 2018-03-30 | 2018-09-04 | 烟台维度机器人有限公司 | 一种基于图像识别的苹果分拣方法及系统 |
| CN108818530A (zh) * | 2018-06-12 | 2018-11-16 | 西安交通大学 | 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法 |
| CN109365323A (zh) * | 2018-12-03 | 2019-02-22 | 广东技术师范学院 | 一种基于rgb水果分类方法及分类装置 |
| CN110497403A (zh) * | 2019-08-05 | 2019-11-26 | 上海大学 | 一种改进双向rrt算法的机械臂运动规划方法 |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| CN111915704A (zh) * | 2020-06-13 | 2020-11-10 | 东北林业大学 | 一种基于深度学习的苹果分级识别方法 |
| CN112828889A (zh) * | 2021-01-05 | 2021-05-25 | 佛山科学技术学院 | 一种六轴协作机械臂路径规划方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李颀等: "基于机器视觉的苹果在线分级", 《食品与机械》 * |
| 马本学等: "基于双树复小波变换和邻域操作的哈密瓜纹理提取", 《农业机械学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114653612A (zh) * | 2022-04-06 | 2022-06-24 | 西京学院 | 一种基于机器视觉的红枣分拣系统 |
| CN116689310A (zh) * | 2023-08-08 | 2023-09-05 | 河南工学院 | 一种用于电池分拣回收的自动化识别分类系统 |
| CN116689310B (zh) * | 2023-08-08 | 2023-10-20 | 河南工学院 | 一种用于电池分拣回收的自动化识别分类系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110314854B (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN113569922A (zh) | 一种苹果智能无损分拣的方法 | |
| CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
| CN112136505B (zh) | 一种基于视觉选择注意机制的水果采摘顺序规划方法 | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| CN108280856A (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
| CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN113319013A (zh) | 一种基于机器视觉的苹果智能分拣的方法 | |
| CN111563452A (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| Ali et al. | Visual tree detection for autonomous navigation in forest environment | |
| CN110763700A (zh) | 一种半导体元器件缺陷检测方法和设备 | |
| CN106504262A (zh) | 一种多特征融合的小瓷砖智能定位方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN112990103A (zh) | 一种基于机器视觉的串采二次定位方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN115731228B (zh) | 一种镀金芯片缺陷检测系统和方法 | |
| Zhang et al. | Grasping point detection of randomly placed fruit cluster using adaptive morphology segmentation and principal component classification of multiple features | |
| CN113744247A (zh) | 一种pcb焊点缺陷识别方法和系统 | |
| CN104992448B (zh) | 机器人防损伤采摘葡萄的自动定位方法 | |
| CN114820471A (zh) | 一种面向智能制造精微结构表面缺陷的视觉检测方法 | |
| CN113145473A (zh) | 一种水果智能分拣系统及方法 | |
| Sidehabi et al. | The Development of Machine Vision System for Sorting Passion Fruit using Multi-Class Support Vector Machine. | |
| CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210831 |
|
| WD01 | Invention patent application deemed withdrawn after publication |