CN114494922A - 一种基于深度学习的皮蛋裂纹检测分选系统和方法 - Google Patents

Abstract

本申请公开了一种基于深度学习的皮蛋裂纹检测分选系统和方法，本系统包括输送台、拍照单元、测速单元、控制单元、图像处理单元和分选单元。输送台带动皮蛋向拍照单元移动。拍照单元对皮蛋进行图像采集。图像处理单元根据图像进行裂纹识别。测速单元监测输送台的输送速度；控制单元根据输送速度，控制图像处理单元获取图像，以及根据皮蛋的裂纹识别结果，控制分选单元分选出带有裂纹的皮蛋。本方法包括：对皮蛋的不同面进行图像采集；图像拼接；训练深度学习模型中，得到皮蛋裂纹识别模型。将皮蛋图像放入皮蛋裂纹识别模型中进行裂纹判断；对判定为裂纹皮蛋的皮蛋进行分选。本申请具有准确率高、检测速度快、检测性能稳定、实用价值高等优势。

Description

一种基于深度学习的皮蛋裂纹检测分选系统和方法

技术领域

本申请属于农产品智能检测分选技术领域，具体涉及一种基于深度学习的皮蛋裂纹检测分选系统和方法。

背景技术

当前中国禽蛋产业的自动化程度还相对较低，尤其在皮蛋产业，大量工作需要依靠人工来完成。皮蛋在腌制过程中，原料蛋的搬运及清洗、皮蛋的运输等过程均可能发生磕碰等情况，导致了裂纹皮蛋的产生，裂纹皮蛋容易腐败变质、散发异味、产生交叉感染，不能食用。为了保证皮蛋品质，工厂在皮蛋生产过程中，需要人工剔除裂纹皮蛋，这浪费了大量的人力成本，降低了生产效率，且容易造成二次损伤，因此蛋品行业急需皮蛋裂纹的在线检测技术来提高生产效率，降低生产成本，实现裂纹皮蛋的自动化快速剔除。

前人对鲜禽蛋裂纹的检测，主要利用了振动信号分析、声学特性分析和机器视觉等技术手段，这些检测技术虽在禽蛋在线检测领域均有应用，但机器视觉技术相对更加成熟。相较于机器视觉技术，另外两种技术手段应用于在线检测时存在信号采集困难、信号干扰较多等问题，且皮蛋腌制过程中，蛋壳受到腐蚀较鲜蛋更加脆弱，容易造成皮蛋蛋壳的二次损伤和裂纹扩大。虽然已有研究者通过获取皮蛋的偏振图像和声学特性来检测皮蛋裂纹，这些研究方法存在准确率较低、检测成本高、难以实现产业应用等问题，无法解决实际生产问题。

发明内容

本申请提出了一种基于深度学习的皮蛋裂纹检测分选系统和方法，将深度学习模型应用于在线检测，旨在解决传统图像处理过程复杂、检测准确率不高、检测速度慢等问题深度学习模型难以实现应用的问题。

为实现上述目的，本申请提供了如下方案：

一种基于深度学习的皮蛋裂纹检测分选系统，包括输送台、拍照单元、测速单元、控制单元、图像处理单元和分选单元；

所述输送台用于带动待检测皮蛋向所述拍照单元移动；

所述拍照单元用于对待检测皮蛋进行图像采集；

所述图像处理单元用于通过所述拍照单元获取若干张所述待检测皮蛋的不同面的面图像，并根据所述面图像进行裂纹识别；

所述测速单元用于监测所述输送台的输送速度，并将所述输送速度发送至所述控制单元；

所述控制单元用于根据所述输送速度，控制所述图像处理单元获取所述面图像；

所述控制单元还用于根据所述图像处理单元对所述待检测皮蛋的裂纹识别结果，控制所述分选单元分选出带有裂纹的皮蛋。

可选的，所述输送台由辊轮和链条组成，所述辊轮随链条移动的同时，所述辊轮产生自传，并通过所述辊轮的自转带动所述待检测皮蛋产生自转。

可选的，所述拍照单元包括暗箱、光源和相机；

所述暗箱用于安装所述光源和所述相机，并提供拍摄环境；

所述光源用于照亮所述待检测皮蛋；

所述相机用于采集皮蛋的所述面图像。

可选的，所述测速单元包括测速用光电传感器和扇叶；

所述扇叶与所述输送台连接，并随所述输送台的移动而产生转动，所述扇叶在转动过程中，遮挡所述测速用光电传感器；

所述测速用光电传感器用于根据所述扇叶的遮挡，产生不同的电平信号。

可选的，当所述扇叶遮挡所述测速用光电传感器时，所述测速用光电传感器产生高电平信号；

当所述扇叶未遮挡所述测速用光电传感器时，所述测速用光电传感器产生低电平信号；

当所述控制单元读取到所述低电平信号向所述高电平信号跳变时，所述控制单元向所述图像处理单元发出拍照指令，所述图像处理单元通过所述拍照单元获取所述面图像。

可选的，所述分选单元包括电磁推杆、漏蛋孔和分选用光电传感器；

所述分选用光电传感器用于检测待检测皮蛋是否移动到预定位置；

所述电磁推杆用于根据所述待检测皮蛋的位置和所述控制单元发出裂纹识别结果，控制所述漏蛋孔的开闭。

另一方面，为实现上述目的，本申请还提供了一种基于深度学习的皮蛋裂纹检测分选方法，包括如下步骤：

对待检测皮蛋的不同面进行图像采集，得到若干张面图像；

对所述面图像进行图像拼接，得到一张待检测皮蛋图像，所述待检测皮蛋图像包含了所述待检测皮蛋的不同面的所有图像信息；

将裂纹皮蛋图像和非裂纹皮蛋图像放入深度学习模型中进行训练，训练完成后得到皮蛋裂纹识别模型；

将所述待检测皮蛋图像放入所述皮蛋裂纹识别模型中进行裂纹判断，当发现所述待检测皮蛋图像中含有裂纹时，则判定所述待检测皮蛋为裂纹皮蛋；

对判定为裂纹皮蛋的待检测皮蛋进行分选。

可选的，所述面图像为四张；

所述面图像的采集方法包括：所述待检测皮蛋每旋转90度，采集一张所述面图像。

可选的，按照采集顺序，对四张所述面图像进行矩阵拼接，得到所述待检测皮蛋图像。

与现有技术相比，本申请的有益效果如下：

本申请公开了一种基于深度学习的皮蛋裂纹检测分选系统和方法，将深度学习算法引入皮蛋裂纹的机器视觉检测中，在线采集皮蛋表面图像，将图像裁剪拼接后，再进行深度学习检测，实现了皮蛋裂纹高通量在线检测。本申请采用深度学习模型进行判别，具有准确率高、检测速度快、检测性能稳定、实用价值高等优势，为深度学习模型实现在线检测提供了一条重要思路。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一的基于深度学习的皮蛋裂纹检测分选系统结构示意图；

图2为本申请实施例一的图像采集过程示意图；

图3为本申请实施例一的分选系统工作流程图；

图4为本申请实施例二的基于深度学习的皮蛋裂纹检测分选方法结构示意图。

附图标记

1、输送台；2、暗箱；3、相机；4、光源；5、控制单元；6、图像处理单元；7、分选单元；8、集蛋台；9、传送带；10、测速单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

本实施例的整体的设计思路为：首先将皮蛋放置在输送台1上，皮蛋在随着输送台1上的辊轮向前移动的同时自转，每枚皮蛋进入拍照单元后，均采集皮蛋四个不同面的图像，将采集到的图像中，四张连续图像中相同皮蛋的不同面图像进行裁剪，并将同一枚皮蛋四个不同面的图像合成一张图像放入深度学习模型进行识别，并将检测结果发送给控制单元5，控制单元5根据判别结果控制分选单元7的开闭，裂纹蛋从分选单元7落下被剔除。

基于上述设计思路，本实实施例提供了一种基于深度学习的皮蛋裂纹检测分选系统结构示意图，主要包括输送台1、拍照单元、测速单元10、控制单元5、图像处理单元6和分选单元7，如图1所示。

在本实施例中，输送台1用于带动待检测皮蛋向拍照单元移动。拍照单元用于对待检测皮蛋进行图像采集。图像处理单元6用于通过拍照单元获取若干张待检测皮蛋的不同面的面图像，并根据面图像进行裂纹识别。测速单元10用于监测输送台1的输送速度，并将输送速度发送至控制单元5。控制单元5用于根据输送速度，控制图像处理单元6获取面图像。控制单元5还用于根据图像处理单元6对待检测皮蛋的裂纹识别结果，控制分选单元7分选出带有裂纹的皮蛋。

下面具体介绍各个功能单元的具体结构组成和功能实现：

如图1所示，为了更好的体现本申请的技术效果，在本实施例中，使用三通道的输送台1，由三排辊轮组成，辊轮随链条向右端移动的同时辊轮自转，带动皮蛋向前移动的同时依靠摩擦力带动皮蛋自转。

拍照单元由暗箱2、光源4和相机3组成。

在本实施例中，暗箱2为一种立方体形空心不锈钢箱体，用于安装光源4和相机3，提供拍摄环境，暗箱2正上方开有相机孔，便于安装固定相机3，主要作用为防止外部光线的干扰，保证拍摄环境的稳定。在本实施例中，进一步的，输送台1的辊轮表面涂有黑色吸光材料。

光源4采用LED环形光源4，其功能是照亮被测物皮蛋，同时确保照明均匀。

相机3选用Basler工业相机，其功能是采集皮蛋的原始图像，即面图像。

测速单元10由测速用光电传感器和扇叶组成。扇叶与输送台1上的齿轮连接，并与三通道输送台1保持同步，随输送台1的移动产生转动，扇叶在转动过程中，间断性的遮挡测速用光电传感器，测速用光电传感器用于根据扇叶的遮挡，产生不同的电平信号。光电传感器与控制单元5相连，发送三通道输送台1的输送速度，同时，当控制单元5读取到低电平信号向高电平信号跳变时，控制单元5向图像处理单元6发出拍照指令，图像处理单元6通过相机3获取面图像。

图像处理单元6采用通用计算机设备，主要功能为控制相机3拍照，通过相机3获取若干张待检测皮蛋的不同面的面图像，并根据面图像进行裂纹识别，并将检测结果发送给控制器。

控制单元5选用S7-200PLC，主要功能是根据输送速度，控制图像处理单元6获取面图像并保存。同时接收图像处理单元6对待检测皮蛋的裂纹识别结果，控制分选单元7分选出带有裂纹的皮蛋。

在本实施例中，为了便于安装分选单元7，在输送台1后面设计了传送带9，带动皮蛋向前移动。

分选单元7安装在传送带9下的平台上，由电磁推杆、漏蛋孔和分选用光电传感器组成，分选用光电传感器用感应到皮蛋靠近后，电磁推杆用于根据待检测皮蛋的位置和控制单元5发出裂纹识别结果，控制漏蛋孔的开闭。

进一步的，本实施例设计了集蛋台8，用于收集掉落的皮蛋，并防止皮蛋二次损伤。

本实施例中的各个组成部分的位置和连接关系如下：

在三通道输送台1上方设置有暗箱2，暗箱2顶部居中放环形光源4和相机3，相机3与图像处理单元6相连，三通道输送台1末端设置有测速单元10，测速单元10与控制单元5相连，在三通道输送台1上，控制单元5通过读取测速单元10信号，控制图像处理单元6采集并保存图像。皮蛋到达三通道输送台1末端后，落在三通道传送带9上，传送带9中部间隔放置三个分选单元7，分选单元7下方和传送带9末端各放置一个集蛋台8，三个分选单元7分别连接控制单元5，控制单元5根据图像处理单元6的判别结果控制漏蛋孔的开闭，裂纹皮蛋从漏蛋孔落下，非裂纹皮蛋从传送带9末端落下。

采用本实施例进行皮蛋裂纹检测的方法如下：

①皮蛋图像的采集

将待测皮蛋放置在运动的三通道输送台1上，其中测速单元10随着输送台1上的辊轮的运动而转动，测速单元10由扇叶和测速用光电传感器组成，每转过一个扇叶相应的辊轮向前移动一个工位。扇叶遮挡住光电传感器时，光电传感器为高电平信号，扇叶未遮挡光电传感器时，光电传感器为低电平信号，光电传感器将电平信号传输给控制单元5，当控制单元5读取到低电平信号向高电平信号跳变时，向图像处理单元6发送拍照指令，图像处理单元6随即控制相机3采集皮蛋表面图像并保存，以此保证每次采集图像时每枚皮蛋在图像中所处的位置相对固定，图像采集过程如图2所示，图像中每个通道包含四枚皮蛋的信息，连续采集四张面图像后，即可获取皮蛋四个不同面的信息。

②皮蛋图像的自动裁剪拼接

由于每张图像中每枚皮蛋的位置相对固定，因此将每个皮蛋位置称为工位，将图像按照工位进行裁剪即可得到单张皮蛋图像信息。将每四张图像中相同工位的皮蛋图像进行矩阵拼接为一张待检测皮蛋图像，拼接后的图像即包含了皮蛋四个不同面信息的皮蛋图像。

③建立皮蛋裂纹识别模型

将裂纹皮蛋、非裂纹皮蛋和空位三类图像放入深度学习模型中进行训练，将训练完成之后模型作为皮蛋裂纹识别模型。

④使用皮蛋裂纹识别模型检测皮蛋裂纹，并分选剔除裂纹皮蛋

从第四次采集图像开始，每次图像采集完成之后就会有三个工位的图像别采集了四次，将这三个工位的四张图像裁剪拼接完成后，按照A、B、C的通道顺序依次放入皮蛋裂纹识别模型中进行判别，将每次的判别结果输入到控制单元5中，由于三个漏蛋孔的位置有所错开，A通道漏蛋孔最近，B通道次之，C通道漏蛋最远，因此控制单元5将每次从图像处理单元6中传出的判别结果依次对A、B、C三个通道的漏蛋孔进行控制：即第一次判别结果，控制A通道漏蛋孔；第二次判别结果，控制B通道漏蛋孔；第三次判别结果，控制C通道漏蛋孔；第四次判别结果，控制A通道漏蛋孔；如此循环。若判别结果为裂纹皮蛋，则控制漏蛋孔打开；若判别结果为非裂纹皮蛋，则控制漏蛋孔关闭；若判别结果为空位，则控制漏蛋孔不操作。当裂纹皮蛋达到漏蛋孔时，从漏蛋孔中落下，非裂纹蛋到达漏蛋孔时，则可直接通过漏蛋孔，最终从装置末端落下。

基于上述表述，本实施例分选系统的操作流程可做如下表述，如图3所示：

1、开启分选系统，包括开启图像处理单元6，各个装置上电，整套系统开始运行。

2、放置皮蛋，将皮蛋放置在三通道输送台1的入端。

3、控制单元5自动读取测速单元10的信号

4、判断是否有上升沿信号，若有，则控制单元5向图像处理单元6发送图像采集信号，采集并保存图像，若没有则继续读取信号。

5、图像处理单元6自动判断所采集图像的数量，若达到4张，则开始图像裁剪拼接程序，若没有达到4张，则继续采集图像。

6、将图像分别裁剪和拼接为A、B、C三个通道的图像。

7、先将A通道图像放入训练完成的皮蛋裂纹识别模型中进行判别，若判别结果为裂纹皮蛋，则控制单元5控制A通道分选单元7打开；若判别结果为非裂纹皮蛋，则控制单元5控制A通道分选单元7关闭；若判别结果为空位，则A通道分选单元7不动作。

8、待A通道图像判别分选结束后，将B通道图像放入训练完成的皮蛋裂纹识别模型中进行判别，同时控制单元5控制B通道分选单元7做出相应动作。

9、待B通道图像判别分选结束后，将C通道图像放入训练完成的皮蛋裂纹识别模型中进行判别，同时控制单元5控制C通道分选单元7做出相应动作。

实施例二

如图4所示，为本申请实施例二提供的基于深度学习的皮蛋裂纹检测分选方法，主要包括以下步骤：

S1.对待检测皮蛋的不同面进行图像采集，得到四张面图像，面图像的采集方法具体为：待检测皮蛋每旋转90度，采集一张面图像。

S2.按照采集顺序，对面图像进行矩阵拼接，得到一张待检测皮蛋图像，待检测皮蛋图像包含了待检测皮蛋的不同面的所有图像信息。

S3.将裂纹皮蛋图像和非裂纹皮蛋图像放入深度学习模型中进行训练，训练完成后得到皮蛋裂纹识别模型。

S4.将待检测皮蛋图像放入皮蛋裂纹识别模型中进行裂纹判断，当发现待检测皮蛋图像中含有裂纹时，则判定待检测皮蛋为裂纹皮蛋。

S5.对判定为裂纹皮蛋的待检测皮蛋进行分选。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (9)

1.一种基于深度学习的皮蛋裂纹检测分选系统，其特征在于，包括输送台、拍照单元、测速单元、控制单元、图像处理单元和分选单元；

所述输送台用于带动待检测皮蛋向所述拍照单元移动；

所述拍照单元用于对待检测皮蛋进行图像采集；

所述图像处理单元用于通过所述拍照单元获取若干张所述待检测皮蛋的不同面的面图像，并根据所述面图像进行裂纹识别；

所述测速单元用于监测所述输送台的输送速度，并将所述输送速度发送至所述控制单元；

所述控制单元用于根据所述输送速度，控制所述图像处理单元获取所述面图像；

所述控制单元还用于根据所述图像处理单元对所述待检测皮蛋的裂纹识别结果，控制所述分选单元分选出带有裂纹的皮蛋。

2.根据权利要求1所述的基于深度学习的皮蛋裂纹检测分选系统，其特征在于，所述输送台由辊轮和链条组成，所述辊轮随链条移动的同时，所述辊轮产生自传，并通过所述辊轮的自转带动所述待检测皮蛋产生自转。

3.根据权利要求1所述的基于深度学习的皮蛋裂纹检测分选系统，其特征在于，所述拍照单元包括暗箱、光源和相机；

所述暗箱用于安装所述光源和所述相机，并提供拍摄环境；

所述光源用于照亮所述待检测皮蛋；

所述相机用于采集皮蛋的所述面图像。

4.根据权利要求1所述的基于深度学习的皮蛋裂纹检测分选系统，其特征在于，所述测速单元包括测速用光电传感器和扇叶；

所述扇叶与所述输送台连接，并随所述输送台的移动而产生转动，所述扇叶在转动过程中，遮挡所述测速用光电传感器；

所述测速用光电传感器用于根据所述扇叶的遮挡，产生不同的电平信号。

5.根据权利要求4所述的基于深度学习的皮蛋裂纹检测分选系统，其特征在于，当所述扇叶遮挡所述测速用光电传感器时，所述测速用光电传感器产生高电平信号；

当所述扇叶未遮挡所述测速用光电传感器时，所述测速用光电传感器产生低电平信号；

当所述控制单元读取到所述低电平信号向所述高电平信号跳变时，所述控制单元向所述图像处理单元发出拍照指令，所述图像处理单元通过所述拍照单元获取所述面图像。

6.根据权利要求4所述的基于深度学习的皮蛋裂纹检测分选系统，其特征在于，所述分选单元包括电磁推杆、漏蛋孔和分选用光电传感器；

所述分选用光电传感器用于检测待检测皮蛋是否移动到预定位置；

所述电磁推杆用于根据所述待检测皮蛋的位置和所述控制单元发出裂纹识别结果，控制所述漏蛋孔的开闭。

7.一种基于深度学习的皮蛋裂纹检测分选方法，其特征在于，包括如下步骤：

对待检测皮蛋的不同面进行图像采集，得到若干张面图像；

对所述面图像进行图像拼接，得到一张待检测皮蛋图像，所述待检测皮蛋图像包含了所述待检测皮蛋的不同面的所有图像信息；

将裂纹皮蛋图像和非裂纹皮蛋图像放入深度学习模型中进行训练，训练完成后得到皮蛋裂纹识别模型；

将所述待检测皮蛋图像放入所述皮蛋裂纹识别模型中进行裂纹判断，当发现所述待检测皮蛋图像中含有裂纹时，则判定所述待检测皮蛋为裂纹皮蛋；

对判定为裂纹皮蛋的待检测皮蛋进行分选。

8.根据权利要求7所述的基于深度学习的皮蛋裂纹检测分选方法，其特征在于，所述面图像为四张；

所述面图像的采集方法包括：所述待检测皮蛋每旋转90度，采集一张所述面图像。

9.根据权利要求8所述的基于深度学习的皮蛋裂纹检测分选方法，其特征在于，按照采集顺序，对四张所述面图像进行矩阵拼接，得到所述待检测皮蛋图像。

Images