CN106238342A - 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法 - Google Patents

Abstract

本发明公开了一种全景视觉马铃薯分选和缺陷检测装置，包括输送装置、检测暗箱、分选机构、红外传感器模块、图像采集机构、内置有卷积神经网络和支持向量机SVM的图像处理分析模块、内置有支持向量机SVM的数据融合模块和用于协调各部件动作的时序模块；本发明还公开了使用上述装置的马铃薯分选检测方法。本发明的全景视觉马铃薯分选和缺陷检测装置及其分选检测方法，无需马铃薯在检测过程中进行翻转运动即可完成全方位的检测，一方面避免了马铃薯的不必要损伤，另一方面避免了动态拍照检测中的不稳定性，提高图像清晰程度，提升了检测的准确率。本发明能广泛用于马铃薯农产品外部品质的实时在线检测，对促进我国马铃薯产业的发展具有重要意义。

Description

全景视觉马铃薯分选和缺陷检测装置及其分选检测方法

技术领域

本发明涉及农产品外观品质检测的装置与方法，具体地说是涉及一种马铃薯分选和缺陷检测装置及检测方法。

背景技术

形状和表面缺陷是马铃薯外观品质的重要特征，通过对这些特征指标进行定量测量，可以完成马铃薯外部缺陷、形状等指标的综合检测和分级。

我国是世界上最大的马铃薯生产国，而马铃薯品质检测绝大部分仍停留在靠人工感官进行识别判断阶段。这种人工检测、评定马铃薯品质的方法效率低，客观性、准确性较差，难以满足高标准分级的要求，不利于实现规模化、自动化品质检测作业。

利用机器视觉进行检测可以排除人为主观因素的干扰，能够为实现规模化、自动化品质检测作业提供可靠基础。

目前大部分马铃薯加工企业中使用的马铃薯的分级装置一般都只是通过重量进行分级，利用天平或者压力传感器获取重量信息，然后通过按照杠杆原理或者控制电路进行分级。但这些装置只能按照重量分级，对于有缺陷的马铃薯薯块，无法自动挑出。这样的设备在实际应用操作过程中，需要额外增加人力先将次品挑出，然后再按照重量分级，这样就会增加马铃薯分级成本，增加人力物力，从而提高了生产成本，分级过程无法真正离开人工的参与，不能为实现规模化、自动化品质检测作业提供可靠基础。

虽然现在对基于计算机视觉的马铃薯分级方法和设备研究逐渐成为热点，但一般只限于实验室研究或者采用单一摄像头对马铃薯拍照，真正大批量应用于实际生产加工过程中的不多，有些分级算法虽然有了比较高识别率，但由于只采用一个摄像头，对马铃薯的缺陷检测并不全面，存在漏检的概率。

为了解决现有马铃薯分级设备只能按照重量分级或者单一摄像头的缺陷，不能很好地满足实时检测的要求等问题，提出了一种全景视觉马铃薯分选和缺陷检测装置及其方法。

通过国内专利文献检索发现有一些相关专利文献报道，主要有以下一些：

1、公布号为CN 202539096 U 的专利公开了一种果蔬分选剔除机构，尤其是适用于大型果蔬的分选剔除机构，可将混在果蔬之中的土块、石头及玻璃等剔除，也可将不成熟的果实进行剔除。该专利采用迎面击打果蔬的方式，且分选后的果蔬直接跌落到物料仓中，容易对果蔬造成损害。

2、公告号为CN 104056790 A，名称为“一种马铃薯智能分选方法与装置”的实用新型专利，解决现有马铃薯分级设备只能按照重量分级，以及有些设备虽然能按照外观特征分级，但分级算法比较复杂，不能很好地满足实时检测的要求等问题。

3、公告号为CN 204746897 U，名称为“一种基于机器视觉技术的马铃薯分级控制装置” 实用新型专利，可以实现杂质、不同品质马铃薯的快速检测分选，利用空气喷射器剔除杂质，控制马铃薯与导向拨杆之间的碰撞角度来降低碰撞力，减少马铃薯的机械损伤；根据马铃薯的检测横径采用一个或多个导向机构对马铃薯进行剔除，实现待分级马铃薯的分选。

4、公告号为 CN 203732461 A，名称为“一种用于马铃薯品质图像采集的水平输送和匀速翻转装置”的实用新型专利，设计一种用于马铃薯品质图像采集的水平输送和匀速翻转装置，可以实现马铃薯外部品质无损检测中，在水平输送中匀速平稳翻转，且可保障马铃薯检测过程的中心定位，实现马铃薯外部品质图像的动态采集。

上述专利虽然提出了马铃薯的分拣方法和马铃薯分级设备，有些设备虽然能按照外观特征分级，但由于只采用一个摄像头，需要翻转马铃薯，对其缺陷检测并不全面，存在漏检的概率，且对摄像头拍摄的照片进行分析处理的手段较为简陋，不能准确、迅速并全面地分析图像，分析结果不尽如人意。另外，翻转马铃薯时也可能导致马铃薯发生损伤。

发明内容

本发明的目的在于提供一种全景视觉马铃薯分选和缺陷检测装置，能够自动输送马铃薯，无须翻转马铃薯即可对马铃薯进行全面拍摄和检测，检测较为高效和准确。

为实现上述目的，本发明的全景视觉马铃薯分选和缺陷检测装置包括输送装置、检测暗箱、分选机构、红外传感器模块、图像采集机构、内置有卷积神经网络和支持向量机SVM的图像处理分析模块、内置有支持向量机SVM的数据融合模块和用于协调各部件动作的时序模块；

输送装置包括机架，机架上间隔设有输送滚轴，各输送滚轴位于同一水平面上，相邻输送滚轴之间相距1－2.5厘米；以输送方向为前方，最前端的输送滚轴处的机架向前连接有下料板；最后端的输送滚轴处的机架向后连接有上料装置，上料装置向下倾斜设置，上料装置采用皮带输送装置或链条输送装置；输送滚轴左右两侧的机架上设有用于阻挡马铃薯沿左右方向落下的输送挡板组；各输送滚轴的左端部均设有用于与动力机构传动连接的传动齿轮；

输送装置中部的机架向上连接有检测暗箱，检测暗箱的前侧壁下部和后侧壁下部对应开设有用于通过马铃薯的开口；检测暗箱内设有所述图像采集机构、上照明装置和下照明装置；所述下照明装置设有两个；

检测暗箱前后方向的中部位置正下方的相邻两个输送滚轴采用透明滚轴机构；透明滚轴机构包括中空设置且两端敞口的透明玻璃滚轴、左橡胶滚轴、右橡胶滚轴、左支撑装置、右支撑装置和支撑连杆；左、右支撑装置均包括滚轴支架和通过滚动轴承连接在滚轴支架上的插接筒；左支撑装置的插接筒的左端部设有用于与动力机构传动连接的传动齿轮；透明玻璃滚轴的左端插接所述左橡胶滚轴，透明玻璃滚轴的右端插接所述右橡胶滚轴，左、右橡胶滚轴均与所述透明玻璃滚轴过盈配合；右橡胶滚轴的右端插接在所述右支撑装置的插接筒内并与该插接筒过盈配合，左橡胶滚轴的左端插接在所述左支撑装置的插接筒内并与该插接筒过盈配合；右橡胶滚轴中空设置，所述支撑连杆的右端与一摄像动力装置传动连接，摄像动力装置连接在所述机架的右端部，支撑连杆向左穿过所述右支撑装置的插接筒和右橡胶滚轴且其左端位于所述透明玻璃滚轴内；

所述两个透明滚轴机构之间的间隙形成红外传感通道，所述红外传感器模块包括红外发射器和红外接收器，红外发射器和红外接收器分别位于红外传感通道的左方和右方，且红外发射器和红外接收器均正对所述红外传感通道；

图像采集机构包括1个用于采集马铃薯全局图像的全局图像采集模块和6个用于采集马铃薯局部图像的局部图像采集模块；全局图像采集模块包括设置在检测暗箱内后侧壁顶部的全局摄像头；

所述6个局部图像采集模块分别为1个位于检测暗箱内后侧壁中部的后方局部图像采集模块、1个位于检测暗箱内左侧壁中部的左方局部图像采集模块、1个位于检测暗箱内右侧壁中部的右方局部图像采集模块、1个位于检测暗箱内前侧壁中部的前方局部图像采集模块和2个下方局部图像采集模块，每个所述的透明滚轴机构的透明玻璃滚轴内分别设有1个所述的下方局部图像采集模块和1个所述的下照明装置，下方局部图像采集模块和下照明装置均连接在所述支撑连杆的左端部；

前方、后方、左方和右方局部图像采集模块结构相同，均包括用于带动摄像头作往复直线运动的摄像头运动机构和连接在摄像头运动机构上的局部摄像头；每个下方局部图像采集模块包括一个局部摄像头；

检测暗箱出口处的机架一侧设有用于将马铃薯沿左右方向推离输送装置的分选机构，分选机构所对应的输送挡板组设有用于通过马铃薯的缺口；所述分选机构为推杆式分选机构或者喷气式分选机构；分选机构处的输送装置部分形成待分离区域；

所述检测暗箱前方的机架上连接有安装架，安装架上设有所述图像处理分析模块、数据融合模块和用于协调各部件动作的时序模块；时序模块连接所述动力机构、摄像头运动机构的驱动装置、红外传感器模块、分选机构和图像处理分析模块；

所述局部摄像头和全局摄像头均连接所述图像处理分析模块。

下料板的左右两侧边向上连接有下料挡板。从而使马铃薯在通过下料板时不会从左右两侧掉下来。

所述推杆式分选机构包括分选动力装置和与分选动力装置传动连接的推杆，推杆上设有用于推动马铃薯的拨板。

所述喷气式分选机构包括喷气管，喷气管一端连接高压气源，另一端连接有气嘴，气嘴位于检测暗箱出口处的机架一侧且气嘴开口朝向机架的另一侧。

本发明的目的还在于提供一种使用上述检测装置的马铃薯分选检测方法，依次按以下步骤进行：

在开始对马铃薯进行分选检测之前，先使用正常无缺陷马铃薯的大小和形状规则度，以及有缺陷马铃薯的大小、形状规则度和表面缺陷种类信息，对数据融合模块的支持向量机SVM进行离线训练，构建在线检测的支持向量机SVM分类器；

同时使用离线训练样本数据中不同尺寸、不同形状分类下的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity所对应的特征值，对图像分析处理模块的支持向量机SVM进行离线训练，构建在线检测的支持向量机SVM分类器；

第一步骤是人工或者使用机械将马铃薯放置到上料装置上，然后开启动力机构，上料装置将马铃薯传送到输送滚轴处，动力机构驱动各输送滚轴旋转，带动马铃薯向前运动；

第二步骤是开启红外传感器模块，马铃薯通过红外传感通道时遮挡红外发射器所发出的红外线；时序模块检测到红外线传感器模块发出的红外线被遮挡的信号后，控制动力机构停止，并控制全局摄像头进行拍照；全局摄像头对马铃薯进行拍照后将图像传送给图像处理分析模块，图像处理分析模块计算出马铃薯在检测暗箱中的位置并将马铃薯的位置信息、形状信息和大小信息传送给时序模块；时序模块控制前方、后方、左方和右方局部图像采集模块的摄像头运动机构以及下方局部图像采集模块的摄像动力装置，使各局部摄像头向接近马铃薯的方向运动至拍摄位置，各局部摄像头从不同方位对马铃薯进行拍照后分别将拍摄的图像传送给图像处理分析模块；本步骤中，各局部摄像头采集图像为原始三通道RGB图像，；

第三步骤是图像处理分析模块对接收到的图像进行处理，获取马铃薯的表面缺陷种类；图像处理分析模块对于由局部图像采集模块采集的图像分析得到的马铃薯表面缺陷种类信息，以及由全局图像采集模块采集的图像分析得到的马铃薯位置、形状和大小信息发送至数据融合模块；

第四步骤是使用数据融合模块构建的支持向量机SVM分类器，对接收到的马铃薯表面缺陷种类信息、马铃薯位置、形状和大小信息进行数据融合，判断待检测马铃薯是否合格，并将判断结果发送至时序模块；

第五步骤是时序模块控制动力机构启动，马铃薯向前离开检测暗箱并到达待分离区域后，时序模块控制分选机构启动，将不合格的马铃薯由输送挡板上的用于通过马铃薯的缺口处推离输送装置，合格马铃薯由输送装置输送至下料板后送出，完成马铃薯的分选工作。

所述第二步骤中，图像分析处理模块根据全局摄像头采集的图像分析得到马铃薯的形状和大小信息的处理过程为：

(1)对当前图像与背景图像进行相减从而获得待检马铃薯的前景像素部分；背景图像为没有马铃薯时全局摄像头所拍摄图片；

对待检马铃薯的前景像素部分进行灰度化，获得前景部分；

(2)提取边缘特征；本操作是通过已经获取的前景部分获取马铃薯的边缘特征；具体是使用Roberts边缘检测算子对前景部分进行计算，得到一副代表马铃薯轮廓信息的黑白二值图像；

(3) 全局特征值提取；在黑白二值图像的基础上，计算待检测马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity；

(4) 外观及尺寸分类；使用图像分析处理模块的支持向量机SVM，根据计算出的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity计算出马铃薯的形状和大小信息。

所述第三步骤中，图像分析处理模块根据局部摄像头采集的图像分析得到马铃薯的缺陷种类信息的处理过程为：

（1）将局部摄像头采集的原始三通道RGB图像缩放为224*224三通道RGB图像，

（2）卷积神经网络的输入层为整个缩放后的图像，将图像按列展开，形成50176个结点；

（3）对展开后的图像进行卷积，产生三个特征提取图，然后对特征提取图中每组的四个像素再进行求和、加权值、加偏置，通过Sigmoid函数得到三个特征映射图；

（4）对产生的所述三个特征映射图再次进行卷积，卷积后产生三个二次特征提取图，然后对二次特征提取图中每组的四个像素再进行求和、加权值、加偏置，通过Sigmoid函数得到三个二次特征映射图。

（5）对所述三个二次特征映射图进行光栅化，并连接成一个向量输入到卷积神经网络，得到马铃薯的缺陷种类信息。

本发明具有如下的优点：

本发明参照国家出口标准，根据马铃薯的形状、重量及外观特征，在不翻动马铃薯的情况下，对马铃薯进行上、下、左、右、前、后全景视觉检测，从而完成马铃薯的实时检测与分级。

本发明的全景视觉马铃薯分选和缺陷检测装置及其分选检测方法，无需马铃薯在检测过程中进行翻转运动即可完成全方位的检测，一方面避免了马铃薯的不必要损伤，另一方面避免了动态拍照检测中的不稳定性，提高图像清晰程度，提升了检测的准确率。本发明能广泛用于马铃薯农产品外部品质的实时在线检测，对于促进我国马铃薯产业的发展具有重要的现实意义和良好的应用前景。

本发明的全景视觉马铃薯分选和缺陷检测装置结构合理，本发明的其分选检测方法步骤安排紧凑高效，两者结合能够实现马铃薯的自动运输、拍照、分析检测，马铃薯在通过本发明的检测装置后，自动将有缺陷的马铃薯分选出来，为马铃薯的后续加工或者销售提供支持。

透明滚轴机构相邻设有两个，因此拍摄的图像能够完全覆盖马铃薯的底部特征。

附图说明

图1是本发明的结构示意图；

图2是本发明的检测方法的流程图；

图3是检测暗箱的结构示意图；

图4是透明滚轴机构的分解结构示意图；

图5是图像分析处理模块内置的卷积神经网络的结构示意图；

图6是图像分析处理模块与数据融合模块的数据融合流程图。

具体实施方式

本发明以马铃薯的输送方向为前向；图1中箭头所示方向即为马铃薯的输送方向。

如图1至图6所示，本发明提供了一种全景视觉马铃薯分选和缺陷检测装置，包括输送装置、检测暗箱、分选机构、红外传感器模块、图像采集机构、内置有卷积神经网络和支持向量机SVM的图像处理分析模块30、内置有支持向量机SVM的数据融合模块31和用于协调各部件动作的时序模块32；

输送装置包括机架1，机架1上间隔设有输送滚轴2，各输送滚轴2位于同一水平面上，相邻输送滚轴2之间相距1－2.5厘米，从而使正常大小的马铃薯不会从相邻输送滚轴2之间的缝隙漏下去；以输送方向为前方，最前端的输送滚轴2处的机架1向前连接有下料板3；最后端的输送滚轴2处的机架1向后连接有上料装置，上料装置向下倾斜设置，上料装置采用皮带输送装置或链条输送装置。采用皮带输送装置时，图1中附图标记35所示为设置于输送皮带上的上料板，工作时上料板兜住马铃薯，使马铃薯随着皮带被输送至输送滚轴2处。采用链条输送装置时，图1中附图标记35所示为设置于链条上的上料斗，工作时上料斗兜住马铃薯，使马铃薯被输送至输送滚轴2处。上料装置的左右两侧设有用于阻挡马铃薯沿左右方向落下的上料挡板36。

输送滚轴2左右两侧的机架1上设有用于阻挡马铃薯沿左右方向落下的输送挡板组4；各输送滚轴2的左端部（输送滚轴2的左端部向左伸出输送挡板组4）均设有用于与动力机构传动连接的传动齿轮；动力机构为普通的齿轮传动机构，为本领域的常规技术，其具体结构不再详述，图未示。

输送装置中部的机架1向上连接有检测暗箱5，检测暗箱5的前侧壁下部和后侧壁下部对应开设有用于通过马铃薯的开口6；检测暗箱5内设有所述图像采集机构、上照明装置7和下照明装置8；（上照明装置7采用环形灯，下照明装置8采用LED灯）所述下照明装置8设有两个；

检测暗箱5前后方向的中部位置正下方的相邻两个输送滚轴2采用透明滚轴机构；透明滚轴机构包括中空设置且两端敞口的透明玻璃滚轴9、左橡胶滚轴10、右橡胶滚轴11、左支撑装置、右支撑装置和支撑连杆15；左、右支撑装置均包括滚轴支架12和通过滚动轴承13连接在滚轴支架12上的插接筒14；左支撑装置的插接筒14的左端部设有用于与动力机构传动连接的传动齿轮（传动齿轮为常规结构，图未示）；透明玻璃滚轴9的左端插接所述左橡胶滚轴10，透明玻璃滚轴9的右端插接所述右橡胶滚轴11，左、右橡胶滚轴10、11均与所述透明玻璃滚轴9过盈配合；右橡胶滚轴11的右端插接在所述右支撑装置的插接筒14内并与该插接筒14过盈配合，左橡胶滚轴10的左端插接在所述左支撑装置的插接筒14内并与该插接筒14过盈配合；右橡胶滚轴11中空设置，所述支撑连杆15的右端与一摄像动力装置传动连接，摄像动力装置连接在所述机架1的右端部。摄像动力装置采用气缸、液压缸、电动推杆等各种常见形式，为本领域常规技术，图未示。工作时，在时序模块32的控制下，摄像动力装置通过支撑连杆15带动下方局部图像采集模块的局部摄像头运动至马铃薯下方适合拍照的位置。

支撑连杆15向左穿过所述右支撑装置的插接筒14和右橡胶滚轴11且其左端位于所述透明玻璃滚轴9内；

所述两个透明滚轴机构之间的间隙形成红外传感通道16，所述红外传感器模块包括红外发射器17和红外接收器18，红外发射器17和红外接收器18分别位于红外传感通道16的左方和右方，且红外发射器17和红外接收器18均正对所述红外传感通道16；

图像采集机构包括1个用于采集马铃薯全局图像的全局图像采集模块和6个用于采集马铃薯局部图像的局部图像采集模块；全局图像采集模块包括设置在检测暗箱5内后侧壁顶部的全局摄像头19；

所述6个局部图像采集模块分别为1个位于检测暗箱5内后侧壁中部的后方局部图像采集模块22、1个位于检测暗箱5内左侧壁中部的左方局部图像采集模块23、1个位于检测暗箱5内右侧壁中部的右方局部图像采集模块24、1个位于检测暗箱5内前侧壁中部的前方局部图像采集模块25和2个下方局部图像采集模块26，每个所述的透明滚轴机构的透明玻璃滚轴9内分别设有1个所述的下方局部图像采集模块26和1个所述的下照明装置8，下方局部图像采集模块26和下照明装置8均连接在所述支撑连杆15的左端部；

前方、后方、左方和右方局部图像采集模块结构相同，均包括用于带动摄像头作往复直线运动的摄像头运动机构20和连接在摄像头运动机构20上的局部摄像头21；摄像头运动机构20包括导轨和驱动装置，摄像头滑动连接在导轨上并与驱动装置传动连接。驱动装置可以采用气缸、电动推杆、微型电机及丝杆机构等各种常见的直线驱动装置。摄像头运动机构20为本领域常规技术，图未详示。每个下方局部图像采集模块26包括局部摄像头21。

检测暗箱5出口处的机架1一侧设有用于将马铃薯沿左右方向推离输送装置的分选机构，分选机构所对应的输送挡板组4设有用于通过马铃薯的缺口27；所述分选机构为推杆式分选机构或者喷气式分选机构；图1中所示分选机构为推杆式分选机构。当采用喷气式分选机构时，喷气式分选机构包括通气管，通气管一端连接喷气嘴，另一端连接高压气缸或者气泵。推杆式分选机构或者喷气式分选机构的各部件均为本领域常规技术，图未详示其具体结构。

分选机构处的输送装置部分形成待分离区域。

所述检测暗箱5前方的机架1上连接有安装架29，安装架29上设有所述图像处理分析模块30、数据融合模块31和用于协调各部件动作的时序模块32（图1中未具体示出图像处理分析模块30、数据融合模块31和时序模块32）；时序模块32连接所述动力机构、摄像头运动机构20的驱动装置、红外传感器模块、分选机构和图像处理分析模块30；

所述局部摄像头21和全局摄像头19均连接所述图像处理分析模块30。

下料板3的左右两侧边向上连接有下料挡板33。从而使马铃薯在通过下料板3时不会从左右两侧掉下来。

图1所示的分选机构为推杆式分选机构，所述推杆式分选机构包括分选动力装置（分选动力装置采用气缸、液压缸、电动推杆等各种常见形式，图未示）和与分选动力装置传动连接的推杆34，推杆34上设有用于推动马铃薯的拨板28。

所述喷气式分选机构包括喷气管，喷气管一端连接高压气源（如气泵或者压缩空气罐），另一端连接有气嘴，气嘴位于检测暗箱5出口处的机架1一侧且气嘴开口朝向机架1的另一侧。喷气式分选机构的各部件均为常规技术，图未示。

本发明还公开了采用上述全景视觉马铃薯分选和缺陷检测装置的马铃薯分选检测方法，依次按以下步骤进行：

在开始对马铃薯进行分选检测之前，先使用正常无缺陷马铃薯的大小和形状规则度，以及有缺陷马铃薯的大小、形状规则度和表面缺陷种类信息，对数据融合模块31的支持向量机SVM进行离线训练，构建在线检测的支持向量机SVM分类器；

同时使用离线训练样本数据中不同尺寸、不同形状分类下的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity所对应的特征值，对图像分析处理模块的支持向量机SVM进行离线训练，构建在线检测的支持向量机SVM分类器；在工作的过程中，上述两个支持向量机SVM得到越来越多的数据，使本发明的方法具有学习的特性，随着处理的马铃薯的图像越来越多，本发明的处理速度和处理准确度均会得到提升。

第一步骤是人工或者使用机械将马铃薯放置到上料装置上，然后开启动力机构，上料装置的上料板（或者上料斗）将马铃薯传送到输送滚轴2处，动力机构驱动各输送滚轴2旋转，带动马铃薯向前运动；

第二步骤是开启红外传感器模块，马铃薯通过红外传感通道16时遮挡红外发射器17所发出的红外线；时序模块32检测到红外线传感器模块发出的红外线被遮挡的信号后，控制动力机构停止（此时马铃薯位于两个透明玻璃滚轴9之间），并控制全局摄像头19进行拍照；全局摄像头19对马铃薯进行拍照后将图像传送给图像处理分析模块30，图像处理分析模块30计算出马铃薯在检测暗箱5中的位置并将马铃薯的位置信息、形状信息和大小信息传送给时序模块32；时序模块32控制前方、后方、左方和右方局部图像采集模块的摄像头运动机构20以及下方局部图像采集模块的摄像动力装置，使各局部摄像头21向接近马铃薯的方向运动至适合的拍摄位置，各局部摄像头21（包括位于透明玻璃滚轴9内的两个摄像头）从不同方位对马铃薯进行拍照后分别将拍摄的图像传送给图像处理分析模块30；本步骤中，各局部摄像头21采集图像为原始三通道RGB图像，图像的像素为256*256。

第三步骤是图像处理分析模块30对接收到的图像进行处理，获取马铃薯的表面缺陷种类；图像处理分析模块30对于由局部图像采集模块采集的图像分析得到的马铃薯表面缺陷种类信息，以及由全局图像采集模块采集的图像分析得到的马铃薯位置、形状和大小信息发送至数据融合模块31；

第四步骤是使用数据融合模块31构建的支持向量机SVM分类器，对接收到的马铃薯表面缺陷种类信息、马铃薯位置、形状和大小信息进行数据融合，判断待检测马铃薯是否合格，并将判断结果发送至时序模块32；

第五步骤是时序模块32控制动力机构启动，马铃薯向前离开检测暗箱5并到达待分离区域后，时序模块32控制分选机构启动，将不合格的马铃薯由输送挡板上的用于通过马铃薯的缺口27处推离输送装置，合格马铃薯由输送装置输送至下料板3后送出，完成马铃薯的分选工作。

所述第二步骤中，图像分析处理模块根据全局摄像头19采集的图像分析得到马铃薯的形状和大小信息的处理过程为：

首先对图像进行二值化，并进行滤波、形状学操作，得到二值化图像，并利用Roberts边缘检测算子进行边缘检测，在二值化图像上求得马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity；进一步，采用支持向量机SVM，根据离线训练样本数据，实时根据当前检测的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity来判断马铃薯的大小、形状规则度；

(1)对当前待处理图像与背景图像进行相减从而获得待检马铃薯的前景像素部分；背景图像为没有马铃薯时全局摄像头19所拍摄图片；

通过红外传感器模块可准确检测到输送装置上的马铃薯输送情况，因而能为图像处理分析模块30提供准确的参考信号输入。通过两桢图像相减，得到不相同的像素集合。

对待检马铃薯的前景像素部分进行灰度化，获得前景部分；

(2)提取边缘特征；本操作是通过已经获取的前景部分获取马铃薯的边缘特征；具体是使用Roberts边缘检测算子对前景部分进行计算，得到一副代表马铃薯主要轮廓信息的黑白二值图像；

(3) 全局特征值提取；在黑白二值图像的基础上，计算待检测马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity；

(4) 外观及尺寸分类；使用图像分析处理模块的支持向量机SVM，根据计算出的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity计算出马铃薯的形状和大小信息。

所述第三步骤中，图像分析处理模块根据局部摄像头21采集的图像分析得到马铃薯的缺陷种类信息的处理过程为：

（1）将局部摄像头21采集的256*256原始三通道RGB图像缩放为224*224三通道RGB图像，

再将缩放后的图像通过卷积神经网络CNN进行辨识，该卷积神经网络CNN包括8层，前5层为卷积层，第6~8层为全连接层。输出10维向量表示该图像属于10类马铃薯表面缺陷的概率密度分布。其卷积神经网络结构CNN如图5所示，网络的数据处理流程如下：

（2）卷积神经网络的输入层为整个缩放后的图像，如图5所示，将图像按列展开，形成50176个结点；其中第一层的结点向前没有任何的连结线。

（3）对展开后的图像进行卷积，产生三个特征提取图，然后对特征提取图中每组的四个像素再进行求和、加权值、加偏置，通过Sigmoid函数得到三个特征映射图；

（4）对产生的所述三个特征映射图再次进行卷积，卷积后产生三个二次特征提取图，然后对二次特征提取图中每组的四个像素再进行求和、加权值、加偏置，通过Sigmoid函数得到三个二次特征映射图。

（5）对所述三个二次特征映射图进行光栅化，并连接成一个向量输入到传统的卷积神经网络，得到马铃薯的缺陷种类信息。

局部图像的马铃薯缺陷检测中借助卷积神经网络完成分类，该网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：（马铃薯局部表面二值输入图像向量，马铃薯表面缺陷类型输出向量）的向量对构成的。所有这些向量对，都应来源于网络即将模拟的系统的实际“运行”结果，它们是从实际运行系统中采集来的。在开始训练前，所有的权都用一些不同的小随机数进行初始化。

在图像处理分析模块30中，其支持向量机SVM的离线训练样本库和卷积神经网络CNN的离线训练样本库可以增加样本数量。另外，马铃薯的大小、形状规则度和表面缺陷种类可以随着样本数量的增加而进一步细分。

Claims (7)

1.全景视觉马铃薯分选和缺陷检测装置，其特征在于：包括输送装置、检测暗箱、分选机构、红外传感器模块、图像采集机构、内置有卷积神经网络和支持向量机SVM的图像处理分析模块、内置有支持向量机SVM的数据融合模块和用于协调各部件动作的时序模块；

输送装置包括机架，机架上间隔设有输送滚轴，各输送滚轴位于同一水平面上，相邻输送滚轴之间相距1－2.5厘米；以输送方向为前方，最前端的输送滚轴处的机架向前连接有下料板；最后端的输送滚轴处的机架向后连接有上料装置，上料装置向下倾斜设置，上料装置采用皮带输送装置或链条输送装置；

输送滚轴左右两侧的机架上设有用于阻挡马铃薯沿左右方向落下的输送挡板组；各输送滚轴的左端部均设有用于与动力机构传动连接的传动齿轮；

输送装置中部的机架向上连接有检测暗箱，检测暗箱的前侧壁下部和后侧壁下部对应开设有用于通过马铃薯的开口；检测暗箱内设有所述图像采集机构、上照明装置和下照明装置；所述下照明装置设有两个；

检测暗箱前后方向的中部位置正下方的相邻两个输送滚轴采用透明滚轴机构；透明滚轴机构包括中空设置且两端敞口的透明玻璃滚轴、左橡胶滚轴、右橡胶滚轴、左支撑装置、右支撑装置和支撑连杆；左、右支撑装置均包括滚轴支架和通过滚动轴承连接在滚轴支架上的插接筒；左支撑装置的插接筒的左端部设有用于与动力机构传动连接的传动齿轮；透明玻璃滚轴的左端插接所述左橡胶滚轴，透明玻璃滚轴的右端插接所述右橡胶滚轴，左、右橡胶滚轴均与所述透明玻璃滚轴过盈配合；右橡胶滚轴的右端插接在所述右支撑装置的插接筒内并与该插接筒过盈配合，左橡胶滚轴的左端插接在所述左支撑装置的插接筒内并与该插接筒过盈配合；右橡胶滚轴中空设置，所述支撑连杆的右端与一摄像动力装置传动连接，摄像动力装置连接在所述机架的右端部，支撑连杆向左穿过所述右支撑装置的插接筒和右橡胶滚轴且其左端位于所述透明玻璃滚轴内；

所述两个透明滚轴机构之间的间隙形成红外传感通道，所述红外传感器模块包括红外发射器和红外接收器，红外发射器和红外接收器分别位于红外传感通道的左方和右方，且红外发射器和红外接收器均正对所述红外传感通道；

图像采集机构包括1个用于采集马铃薯全局图像的全局图像采集模块和6个用于采集马铃薯局部图像的局部图像采集模块；全局图像采集模块包括设置在检测暗箱内后侧壁顶部的全局摄像头；

所述6个局部图像采集模块分别为1个位于检测暗箱内后侧壁中部的后方局部图像采集模块、1个位于检测暗箱内左侧壁中部的左方局部图像采集模块、1个位于检测暗箱内右侧壁中部的右方局部图像采集模块、1个位于检测暗箱内前侧壁中部的前方局部图像采集模块和2个下方局部图像采集模块，每个所述的透明滚轴机构的透明玻璃滚轴内分别设有1个所述的下方局部图像采集模块和1个所述的下照明装置，下方局部图像采集模块和下照明装置均连接在所述支撑连杆的左端部；

前方、后方、左方和右方局部图像采集模块结构相同，均包括用于带动摄像头作往复直线运动的摄像头运动机构和连接在摄像头运动机构上的局部摄像头；每个下方局部图像采集模块包括一个局部摄像头；

检测暗箱出口处的机架一侧设有用于将马铃薯沿左右方向推离输送装置的分选机构，分选机构所对应的输送挡板组设有用于通过马铃薯的缺口；所述分选机构为推杆式分选机构或者喷气式分选机构；分选机构处的输送装置部分形成待分离区域；

所述检测暗箱前方的机架上连接有安装架，安装架上设有所述图像处理分析模块、数据融合模块和用于协调各部件动作的时序模块；时序模块连接所述动力机构、摄像头运动机构的驱动装置、红外传感器模块、分选机构和图像处理分析模块；

所述局部摄像头和全局摄像头均连接所述图像处理分析模块。

2.根据权利要求1所述的全景视觉马铃薯分选和缺陷检测装置，其特征在于：下料板的左右两侧边向上连接有下料挡板，从而使马铃薯在通过下料板时不会从左右两侧掉下来。

3.根据权利要求1或2所述的全景视觉马铃薯分选和缺陷检测装置，其特征在于：所述推杆式分选机构包括分选动力装置和与分选动力装置传动连接的推杆，推杆上设有用于推动马铃薯的拨板。

4.根据权利要求1或2所述的全景视觉马铃薯分选和缺陷检测装置，其特征在于：所述喷气式分选机构包括喷气管，喷气管一端连接高压气源，另一端连接有气嘴，气嘴位于检测暗箱出口处的机架一侧且气嘴开口朝向机架的另一侧。

5.采用权利要求1中所述全景视觉马铃薯分选和缺陷检测装置的马铃薯分选检测方法，其特征在于依次按以下步骤进行：

在开始对马铃薯进行分选检测之前，先使用正常无缺陷马铃薯的大小和形状规则度，以及有缺陷马铃薯的大小、形状规则度和表面缺陷种类信息，对数据融合模块的支持向量机SVM进行离线训练，构建在线检测的支持向量机SVM分类器；

同时使用离线训练样本数据中不同尺寸、不同形状分类下的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity所对应的特征值，对图像分析处理模块的支持向量机SVM进行离线训练，构建在线检测的支持向量机SVM分类器；

第一步骤是人工或者使用机械将马铃薯放置到上料装置上，然后开启动力机构，上料装置将马铃薯传送到输送滚轴处，动力机构驱动各输送滚轴旋转，带动马铃薯向前运动；

第二步骤是开启红外传感器模块，马铃薯通过红外传感通道时遮挡红外发射器所发出的红外线；时序模块检测到红外线传感器模块发出的红外线被遮挡的信号后，控制动力机构停止，并控制全局摄像头进行拍照；全局摄像头对马铃薯进行拍照后将图像传送给图像处理分析模块，图像处理分析模块计算出马铃薯在检测暗箱中的位置并将马铃薯的位置信息、形状信息和大小信息传送给时序模块；时序模块控制前方、后方、左方和右方局部图像采集模块的摄像头运动机构以及下方局部图像采集模块的摄像动力装置，使各局部摄像头向接近马铃薯的方向运动至拍摄位置，各局部摄像头从不同方位对马铃薯进行拍照后分别将拍摄的图像传送给图像处理分析模块；本步骤中，各局部摄像头采集图像为原始三通道RGB图像，；

第三步骤是图像处理分析模块对接收到的图像进行处理，获取马铃薯的表面缺陷种类；图像处理分析模块对于由局部图像采集模块采集的图像分析得到的马铃薯表面缺陷种类信息，以及由全局图像采集模块采集的图像分析得到的马铃薯位置、形状和大小信息发送至数据融合模块；

第四步骤是使用数据融合模块构建的支持向量机SVM分类器，对接收到的马铃薯表面缺陷种类信息、马铃薯位置、形状和大小信息进行数据融合，判断待检测马铃薯是否合格，并将判断结果发送至时序模块；

第五步骤是时序模块控制动力机构启动，马铃薯向前离开检测暗箱并到达待分离区域后，时序模块控制分选机构启动，将不合格的马铃薯由输送挡板上的用于通过马铃薯的缺口处推离输送装置，合格马铃薯由输送装置输送至下料板后送出，完成马铃薯的分选工作。

6.根据权利要求5所述的马铃薯分选检测方法，其特征在于：所述第二步骤中，图像分析处理模块根据全局摄像头采集的图像分析得到马铃薯的形状和大小信息的处理过程为：

(1)对当前图像与背景图像进行相减从而获得待检马铃薯的前景像素部分；背景图像为没有马铃薯时全局摄像头所拍摄图片；

对待检马铃薯的前景像素部分进行灰度化，获得前景部分；

(2)提取边缘特征；本操作是通过已经获取的前景部分获取马铃薯的边缘特征；具体是使用Roberts边缘检测算子对前景部分进行计算，得到一副代表马铃薯轮廓信息的黑白二值图像；

(3) 全局特征值提取；在黑白二值图像的基础上，计算待检测马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity；

(4) 外观及尺寸分类；使用图像分析处理模块的支持向量机SVM，根据计算出的马铃薯区域面积Area、周长Perimeter和椭圆率Ellipticity计算出马铃薯的形状和大小信息。

7.根据权利要求5所述的马铃薯分选检测方法，其特征在于：所述第三步骤中，图像分析处理模块根据局部摄像头采集的图像分析得到马铃薯的缺陷种类信息的处理过程为：

（1）将局部摄像头采集的原始三通道RGB图像缩放为224*224三通道RGB图像，

（2）卷积神经网络的输入层为整个缩放后的图像，将图像按列展开，形成50176个结点；

（3）对展开后的图像进行卷积，产生三个特征提取图，然后对特征提取图中每组的四个像素再进行求和、加权值、加偏置，通过Sigmoid函数得到三个特征映射图；

（4）对产生的所述三个特征映射图再次进行卷积，卷积后产生三个二次特征提取图，然后对二次特征提取图中每组的四个像素再进行求和、加权值、加偏置，通过Sigmoid函数得到三个二次特征映射图；

（5）对所述三个二次特征映射图进行光栅化，并连接成一个向量输入到卷积神经网络，得到马铃薯的缺陷种类信息。