CN112950602B - 基于深度相机与机器学习的糖果缺陷检测装置及分类方法 - Google Patents

基于深度相机与机器学习的糖果缺陷检测装置及分类方法 Download PDF

Info

Publication number
CN112950602B
CN112950602B CN202110264308.7A CN202110264308A CN112950602B CN 112950602 B CN112950602 B CN 112950602B CN 202110264308 A CN202110264308 A CN 202110264308A CN 112950602 B CN112950602 B CN 112950602B
Authority
CN
China
Prior art keywords
candy
candies
depth camera
defective
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110264308.7A
Other languages
English (en)
Other versions
CN112950602A (zh
Inventor
倪超
王锦亚
李振业
程磊
居荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Wealth Machinery Technical Co ltd
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202110264308.7A priority Critical patent/CN112950602B/zh
Publication of CN112950602A publication Critical patent/CN112950602A/zh
Application granted granted Critical
Publication of CN112950602B publication Critical patent/CN112950602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法，深度相机采集光源反射的糖果图像，并传输至工控机，工控机对糖果图像进行处理后，控制分选机构完成缺陷糖果的剔除工作；本发明的分类方法将机器视觉算法与深度学习算法相结合，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行分割，保证了算法在工业环境下运行的稳定性；利用深度学习算法中的卷积神经网络Resnet18检测缺陷糖果，通过改进网络结构进行糖果分类，并输出糖果缺陷面积。本发明降低了人工分拣的误检率和漏检率与企业的生产成本，满足了企业的生产需求，提高了生产效率。

Description

基于深度相机与机器学习的糖果缺陷检测装置及分类方法
技术领域
本发明涉及机器视觉领域，具体涉及机器视觉和深度学习技术在缺陷检测尤其是缺陷糖果检测分类中的应用，更具体而言，涉及一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法。
背景技术
糖果是以糖类为主要成份的一种小吃，糖果行业作为我国传统的两大支柱零食产业之一，保持着快速的增长。然而，糖果在生产过程中，由于上料不足或运输磕碰不可避免地造成糖果缺陷，缺陷糖果不仅种类多，且形状各异，体积偏小。目前，缺陷糖果的分类由人工完成，使用人工目测的方法来对缺陷糖果进行识别和分类，其缺点是人为因素影响大、识别速度慢、分类精度低，且已无法满足日益增长的消费需求。因此需要设计一种装置，并探寻一种算法来识别并分类含有缺陷的糖果。
发明内容
针对现有技术的不足，本发明提出了一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法。
一种基于深度相机与机器学习的糖果缺陷检测装置，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述深度相机和光源设置在传动带上；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构动作，收集缺陷糖果；糖果分类采用机器视觉算法与深度学习算法相结合来实现，首先采用机器视觉算法对深度相机采集的原始图像进行特征提取，对图像中粘连的糖果进行分割，保证了算法在工业环境下运行的稳定性，分割后的子图像划分为训练集和验证集，并输入至卷积神经网络，卷积神经网络计算并输出缺陷糖果类型和缺陷糖果缺损面积。
作为优选，所述糖果进料斗上内设置有隔断冷却履带，在所述隔断冷却履带上设置有隔断冷却板，实现刚凝固定型的糖果的等量分割；所述分选机构包括设置在传送带末端的高速喷阀和设置在高速喷阀下方的收集箱；工控机处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀吹出含有缺陷的糖果至收集箱中。
作为优选，所述深度相机通过相机固定架设置在传动送带上方，采集均匀落在传送带上的糖果的图像。
作为优选，所述光源采用两根条形光源，条形光源通过可转动的光源固定架设置在相机固定架上，两根条形光源实现交叉照射。
作为优选，所述工控机设置有采集卡和GPU，采集卡将深度相机采集的图像传输到工控机，GPU保证传统机器视觉算法与卷积神经网络的快速实现。
一种基于深度相机与机器学习的缺陷糖果分类方法，采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积。
作为优选，所述缺陷糖果分类方法包含下述步骤：
步骤S1：获取糖果图像；
步骤S2：用机器视觉算法提取糖果特征；
步骤S3：对图像进行分割；
步骤S4：将分割后的子图像划分为训练集和验证集；
步骤S5：构建卷积神经网络结构，利用训练集中的子图像对网络进行训练；
步骤S6：基于预训练的网络，对验证集中的子图像进行分类；
步骤S7：根据验证集上分类的准确率调整网络结构参数，直至得到最优的分类结果；
步骤S8：对分类得到的缺陷糖果进行判断，并输出缺陷糖果的缺损面积。
作为优选，机器视觉算法通过构造的色彩通道与使用threshold_li法获得的阈值，实现前景物体与背景物体的分割，通过滤除噪声得到干净的mask图。
作为优选，利用K-means聚类引导曲率法对糖果图像中的粘连糖果进行分割，通过设置参数t对图像中的糖果进行粘连判断，通过两个凹点生成分割线，完成粘连糖果的分割，
其表达式如下式所示：
Figure BDA0002971453300000021
式中，A(sticky candies)表示粘连糖果的面积，A(convex hull of stickycandies)表示粘连糖果凸包的面积，参数t在糖果粘连时具有较小的值，在无粘连时具有较大的值。
作为优选，所述卷积神经网络为Resnet18，它对每层的输入都做一个reference(x)学习形成残差函数；Resnet18网络由17个卷积层和1个全连接层组成，每个卷积层都采用1个3×3的卷积核与1个ReLU激活函数，下采样采取步长为2，卷积核为2x2的最大池化操作；在下采样步骤中，增加1个全连接层，第1个全连接层分类输出四种不同糖果类型，第2个全连接层进行回归输出缺陷糖果的缺损面积。
有益效果：与现有技术相比，本发明具有以下优点：
1)创新设计一种基于深度相机与机器学习的糖果缺陷检测装置，克服了人工目测的不足，提高了企业生产的自动化水平。
2)利用机器视觉算法替代卷积神经网络中的Proposal Network对糖果图像进行特征提取与背景分割，保证了算法的稳定性。
3)利用K-means聚类引导曲率法对糖果图像中的粘连糖果进行分割，有利于卷积神经网络进行分类。
4)利用改进后的卷积神经网络Resnet18对分割后的糖果子图像进行分类，使得原本的二分类网络结构可以得到糖果的四分类结果，进一步得到缺陷糖果的缺损面积，改进后的网络结构实时性与表达能力得到了有效增强。
附图说明
图1是基于深度相机与机器学习的糖果缺陷检测装置的结构示意图；
图2是基于深度相机与机器学习的糖果缺陷识别分类算方法流程图；
图3是基于深度相机与机器学习的粘连糖果分割操作流程示意图；
图4是基于深度相机与机器学习的缺陷糖果识别分类方法的卷积神经网络结构图；
图5是基于深度相机与机器学习的缺陷糖果识别分类方法中的四种糖果。
具体实施方式
下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示，本申请的基于深度相机与机器学习的糖果缺陷检测装置，主要结构包括隔断冷却履带1、进料斗2、深度相机3、相机固定架4、条形光源5、工控机6、高速喷阀7、传送带8、收集箱9、支撑架11、伺服电机与编码器12等，高速喷阀7和收集箱9构成分选机构，糖果进料斗2和分选机构分别设置在传送带8的两端，深度相机3和条形光源5设置在传动带上，深度相机3与工控机6连接，深度相机3采集的糖果图像传输至工控机6，工控机6实现糖果图像的计算与分类，并根据分类结果控制分选机构动作，收集缺陷糖果。
在进料斗2内部设隔断冷却履带1，在隔断冷却履带1上装有隔断板，能够将凝固成型的糖果等量分隔开，在进行冷却的同时，避免了糖果之间形成粘连，当糖果被输送到传送带8末端时，均匀地落在传送带8上，便于深度相机3采集图像。
在传送带8上方设深度相机3与相机固定架4、条形光源5，条形光源5为深度相机3提供线性光源，深度相机3通过相机固定架4设置在传动送带上方，深度相机3采用的是intel RealSense Depth Camera D435，可获得更高深度分辨率。相机固定架4中设置有可转动的光源固定架，条形光源5设置在可转动的光源固定架，两根条形光源5实现了交叉照射，保证了采集区域无阴影。由于糖果在履带上零星散落地分布，因此采用条形光源照射，根据不同的糖果成像区域而调整光源的照射角度。
高速喷阀7与收集箱9设置在传送带8的末端，收集箱9设置在高速喷阀7的下方，用于收集喷落的缺陷糖果；工控机6处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀7吹出含有缺陷的糖果至收集箱9中，完好的糖果则依靠惯性飞落至指定区域。高速喷阀7，工作压力为5公斤，每秒开关次数为50次。
传送带8由下方的支撑架11稳定支撑，由伺服电机与编码器12驱动。传送带8为黑色食品级橡胶履带，保证无污染输送与背景无反射光线，易于深度相机3采集光反射图像。
利用深度相机3采集缺陷糖果图像，可直接获取图像信息，便于算法进行处理。工控机6装有采集卡与GPU，采集卡将深度相机采集到的图像传输到工控机，GPU则保证了传统机器视觉算法与卷积神经网络相结合的快速实现。
本发明的基于深度相机与机器学习的缺陷糖果分选装置，工作时，刚凝固定型的缺陷糖果由进料斗2中的隔断冷却履带1均匀散落至传送带8上，随后由深度相机3采集光反射图像，经采集卡将图像数据传送到工控机6进行处理，工控机处理完毕后，经过一定时间的延时，高速喷阀7喷出含有缺陷的糖果至收集箱9中。传送带8在伺服电机与编码器12的驱动下，以合适的运转速度将完好的糖果在被输送到传送带8末端时，依靠惯性落在指定区域，从而完成分选。
本发明的基于深度相机与机器学习的糖果缺陷分类方法，采用机器视觉算法与深度学习算法相结合来实现缺陷糖果的分类；采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割，保证了算法在工业环境下运行的稳定性；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积。
如图2所示，基于深度相机与机器学习的糖果缺陷分类方法，该分类方法的具体步骤包括：
步骤S1：深度相机获取糖果图像；
步骤S2：用机器视觉算法提取糖果特征；
本申请在RGB色彩空间构造了一个糖果色彩通道(红色占主导)，构造方式如式(1)所示：
channelpink＝r-csug·g-csug·b (1)
式中，channelpink表示糖果色彩通道，r，g，b分别表示三个色彩亮度，csug表示的是红色通道的凸显稀疏程度，当系数较高时，红色的作用就被抵消的多，反之，当系数较低时，红色的作用则显得更大，经过相关实验之后，csug取0.5较为合适。
步骤S3：对图像进行凸包分割；
本申请通过绘制糖果图像的RGB空间的颜色直方图，看出了糖果区域与背景区域数值的差异，不同色彩之间也已具有较好的可分性，因此，通过二值化函数threshold_li将前景物体与背景物体进行分割；此外，本申请使用去除小联通区域函数remove_small_objects去除图中的小块杂质，得到了较为干净的掩膜(mask)图像。
步骤S4：将分割后的子图像划分为训练集和验证集；
本申请为解决图像中糖果的粘连问题，提出使用K-means聚类引导曲率法对糖果图像中的粘连糖果进行分割，通过设置参数t对粘连进行判断，其表达式如式(2)所示：
Figure BDA0002971453300000061
式中，A(sticky candies)表示粘连糖果的面积，A(convex hull of stickycandies)表示粘连糖果凸包的面积，参数t在糖果粘连时具有较小的值，在无粘连时具有较大的值，经过相关实验之后，参数t取0.95较为合适。
如图3所示，在判断出粘连糖果之后，通过椭圆拟合找到粘连糖果凸包上的两个凹点，将凹点连接形成分割线，完成对粘连糖果的分割，凹点检测的具体步骤如下：
1)采用八邻域的链码跟踪法提取图像中的粘连区域；
2)根据凸封闭包的判定方法，计算粘连区域的凸封闭包；
3)凸封闭包减去原粘连区域，得到凹区域的轮廓，利用欧几里德距离公式：
Figure BDA0002971453300000062
式中，D表示两个凹点之间的距离，x1表示在2维欧式空间中第1个凹点的横坐标，x2表示在2维欧式空间中第2个凹点的横坐标，y1表示在2维欧式空间中第1个凹点的纵坐标，y2表示在2维欧式空间中第2个凹点的纵坐标。
找到凹区域中距离最小的两点即为凹点。
步骤S5：构建卷积神经网络结构，利用训练集中的子图像对网络进行训练；
在获得了足够量的图像数据之后，本申请随机挑选出70％作为训练集，30％作为验证集，通过训练集中的子图像完成对网络模型的预训练。
步骤S6：基于预训练的网络，对验证集中的子图像进行分类；
步骤S7：根据验证集上分类的准确率调整网络结构参数，直至得到最优的分类结果；
步骤S8：对分类得到的缺陷糖果进行判断，并输出缺陷糖果的缺损面积。
如图4所示，为基于深度相机与机器学习的缺陷糖果识别分类方法的卷积神经网络结构图，采用的卷积神经网络(CNN)为Resnet18，作为一种残差网络，它对每层的输入都做一个reference(x)学习形成残差函数；该网络由17个卷积层和1个全连接层组成，每个卷积层都采用1个3×3的卷积核与1个ReLU激活函数，下采样采取步长为2，卷积核为2×2的最大池化操作；在下采样步骤中，增加1个全连接层，第1个全连接层分类输出四种不同糖果类型；第2个全连接层通过回归输出糖果的缺损面积。
如图5所示，四种不同糖果类型分别为缺损糖果，缺陷糖果，小块糖果和完整糖果。
虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定，实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变,均落在本发明保护范围之内。

Claims (10)

1.一种基于深度相机与机器学习的糖果缺陷检测装置，其特征在于，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述糖果进料斗内设置有隔断冷却履带，在所述隔断冷却履带上设置有隔断冷却板，实现刚凝固定型的糖果的等量分割；所述深度相机和光源设置在传送带的上方；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构，收集缺陷糖果；
缺陷糖果的分类方法采用机器视觉算法与深度学习中的卷积神经网络相结合来实现，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积；
在判断出粘连糖果之后，通过椭圆拟合找到粘连糖果凸包上的两个凹点，将凹点连接形成分割线，完成对粘连糖果的分割，凹点检测的具体步骤如下：
1)采用八邻域的链码跟踪法提取图像中的粘连区域；
2)根据凸封闭包的判定方法，计算粘连区域的凸封闭包；
3)凸封闭包减去原粘连区域，得到凹区域的轮廓，利用欧几里德距离公式：
Figure FDA0003311163640000011
式中，D表示两个凹点之间的距离，x1表示在2维欧式空间中第1个凹点的横坐标，x2表示在2维欧式空间中第2个凹点的横坐标，y1表示在2维欧式空间中第1个凹点的纵坐标，y2表示在2维欧式空间中第2个凹点的纵坐标；
找到凹区域中距离最小的两点即为凹点。
2.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述分选机构包括设置在传送带末端的高速喷阀和设置在高速喷阀下方的收集箱；工控机处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀吹出含有缺陷的糖果至收集箱中。
3.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述深度相机通过相机固定架设置在传送带上方，采集均匀落在传送带上的糖果图像。
4.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述光源采用两根条形光源，条形光源通过可转动的光源固定架设置在相机固定架上，两根条形光源实现交叉照射。
5.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述工控机设置有采集卡和GPU，采集卡将深度相机采集的图像传输到工控机，GPU保证传统机器视觉算法与卷积神经网络的快速实现。
6.一种基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：采用机器视觉算法与深度学习算法相结合来实现缺陷糖果的分类；采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积；在判断出粘连糖果之后，通过椭圆拟合找到粘连糖果凸包上的两个凹点，将凹点连接形成分割线，完成对粘连糖果的分割，凹点检测的具体步骤如下：
1)采用八邻域的链码跟踪法提取图像中的粘连区域；
2)根据凸封闭包的判定方法，计算粘连区域的凸封闭包；
3)凸封闭包减去原粘连区域，得到凹区域的轮廓，利用欧几里德距离公式：
Figure FDA0003311163640000021
式中，D表示两个凹点之间的距离，x1表示在2维欧式空间中第1个凹点的横坐标，x2表示在2维欧式空间中第2个凹点的横坐标，y1表示在2维欧式空间中第1个凹点的纵坐标，y2表示在2维欧式空间中第2个凹点的纵坐标；
找到凹区域中距离最小的两点即为凹点。
7.根据权利要求6所述的基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：所述缺陷糖果分类方法的具体步骤为：
步骤S1：获取糖果图像；
步骤S2：用机器视觉算法提取糖果特征；
步骤S3：对图像进行分割；
步骤S4：将分割后的子图像划分为训练集和验证集；
步骤S5：构建卷积神经网络结构，利用训练集中的子图像对网络进行训练；
步骤S6：基于预训练的网络，对验证集中的子图像进行分类；
步骤S7：根据验证集上分类的准确率调整网络结构参数，直至得到最优的分类结果；
步骤S8：对分类得到的缺陷糖果进行判断，并输出缺陷糖果的缺损面积。
8.根据权利要求6所述的基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：机器视觉算法通过构造的色彩通道与使用threshold_li法获得的阈值，实现前景物体与背景物体的分割，通过滤除噪声得到干净的mask图。
9.根据权利要求6所述的基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：利用K-means聚类引导曲率法对糖果图像中的粘连糖果进行分割，通过设置参数t对图像中的糖果进行粘连判断，通过两个凹点生成分割线，完成粘连糖果的分割，其表达式如下式所示：
Figure FDA0003311163640000031
式中，A(sticky candies)表示粘连糖果的面积，A(convex hull of sticky candies)表示粘连糖果凸包的面积，参数t在糖果粘连时具有较小的值，在无粘连时具有较大的值。
10.根据权利要求6所述的基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：所述卷积神经网络为Resnet18，它对每层的输入都做一个reference(x)学习形成残差函数；Resnet18网络由17个卷积层和1个全连接层组成，每个卷积层都采用1个3×3的卷积核与1个ReLU激活函数，下采样采取步长为2，卷积核为2x2的最大池化操作；在下采样步骤中，增加1个全连接层，第1个全连接层分类输出四种不同糖果类型，第2个全连接层进行回归输出缺陷糖果的缺损面积。
CN202110264308.7A 2021-03-11 2021-03-11 基于深度相机与机器学习的糖果缺陷检测装置及分类方法 Active CN112950602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110264308.7A CN112950602B (zh) 2021-03-11 2021-03-11 基于深度相机与机器学习的糖果缺陷检测装置及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110264308.7A CN112950602B (zh) 2021-03-11 2021-03-11 基于深度相机与机器学习的糖果缺陷检测装置及分类方法

Publications (2)

Publication Number Publication Date
CN112950602A CN112950602A (zh) 2021-06-11
CN112950602B true CN112950602B (zh) 2022-01-18

Family

ID=76228586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110264308.7A Active CN112950602B (zh) 2021-03-11 2021-03-11 基于深度相机与机器学习的糖果缺陷检测装置及分类方法

Country Status (1)

Country Link
CN (1) CN112950602B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592824A (zh) * 2021-08-02 2021-11-02 合肥名德光电科技股份有限公司 基于深度学习的色选机分选方法
CN114377997B (zh) * 2022-01-12 2022-11-01 南京林业大学 基于coms和高光谱相机的杆状物分选装置及方法
CN114632716B (zh) * 2022-03-19 2024-03-15 莆田市农汇食品有限公司 一种真空包装食品气密性视觉检测装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
CN106053479A (zh) * 2016-07-21 2016-10-26 湘潭大学 一种基于图像处理的工件外观缺陷的视觉检测系统
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108460780A (zh) * 2018-02-28 2018-08-28 哈尔滨工程大学 一种基于背景骨架特征的粘连米粒图像分割方法
CN111805541A (zh) * 2020-07-08 2020-10-23 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN112136722A (zh) * 2020-08-28 2020-12-29 江苏理工学院 鸡蛋分拣系统和鸡蛋分拣方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
CN106053479A (zh) * 2016-07-21 2016-10-26 湘潭大学 一种基于图像处理的工件外观缺陷的视觉检测系统
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108460780A (zh) * 2018-02-28 2018-08-28 哈尔滨工程大学 一种基于背景骨架特征的粘连米粒图像分割方法
CN111805541A (zh) * 2020-07-08 2020-10-23 南京航空航天大学 一种基于深度学习的中药饮片净选装置及净选方法
CN112136722A (zh) * 2020-08-28 2020-12-29 江苏理工学院 鸡蛋分拣系统和鸡蛋分拣方法

Also Published As

Publication number Publication date
CN112950602A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112950602B (zh) 基于深度相机与机器学习的糖果缺陷检测装置及分类方法
CN109724984B (zh) 一种基于深度学习算法的缺陷检测识别装置和方法
EP2957176B1 (en) Shrimp processing system and methods
CN206139527U (zh) 全景视觉马铃薯分选和缺陷检测装置
CN112318485B (zh) 物体分选系统及其图像处理方法、装置
CN113145492A (zh) 一种用于梨外观品质视觉分级方法及分级生产线
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
CN1485616A (zh) 禽蛋品质无损自动检测分级设备及方法
CN111545483B (zh) 一种筷子分拣检测装置及其检测算法
CN106370667A (zh) 一种玉米籽粒品质视觉检测装置及方法
CN114354637A (zh) 基于机器视觉和x射线的水果品质综合分级方法和装置
CN111136027A (zh) 一种基于卷积神经网络的咸鸭蛋品质分检装置及方法
CN112560941A (zh) 基于图像检测的煤矸识别方法
CN106900601B (zh) 一种快速精准识别对虾图像虾头点与虾尾点的方法
CN114950969B (zh) 一种三七主根与茎基的实时视觉识别分拣系统及方法
CN113245222B (zh) 一种三七异物视觉实时检测分拣系统及分拣方法
CN112676195B (zh) 基于线阵cmos相机的实木地板的颜色分选装置及方法
CN117546800A (zh) 一种乌鸡蛋和普通鸡蛋物联网智能化检测区分装置及方法
CN110595959B (zh) 一种糖膏颗粒粒度分析系统及分析方法
CN117102079A (zh) 一种木材旋切薄板分级分拣系统及其检测方法
CN114384080B (zh) 一种橡胶圈缺陷批量检测方法及检测系统
CN114118266B (zh) 一种表面含砂浆的再生骨料的视觉检测分类方法和系统
CN115415186A (zh) 一种基于深度学习的人工智能木片自动分级方法及系统
CN211756981U (zh) 一种基于卷积神经网络的咸鸭蛋品质分检装置
CN110402849B (zh) 基于最小二乘法椭圆拟合的种蛋孵化成活性在线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230327

Address after: No. 201, Qingyu East Road, Chengbei Street, Rugao City, Nantong City, Jiangsu Province, 226500

Patentee after: NANTONG WEALTH MACHINERY TECHNICAL Co.,Ltd.

Address before: Longpan road Xuanwu District of Nanjing city of Jiangsu Province, No. 159 210037

Patentee before: NANJING FORESTRY University