CN113158969A - 一种苹果外观缺陷识别系统及方法 - Google Patents

一种苹果外观缺陷识别系统及方法 Download PDF

Info

Publication number
CN113158969A
CN113158969A CN202110509280.9A CN202110509280A CN113158969A CN 113158969 A CN113158969 A CN 113158969A CN 202110509280 A CN202110509280 A CN 202110509280A CN 113158969 A CN113158969 A CN 113158969A
Authority
CN
China
Prior art keywords
apple
defect
model
image
yolov3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110509280.9A
Other languages
English (en)
Inventor
闫东伟
李文磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Ruiyan Beijing Technology Co ltd
Original Assignee
Shanghai Changxuan Technology Partnership LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Changxuan Technology Partnership LP filed Critical Shanghai Changxuan Technology Partnership LP
Priority to CN202110509280.9A priority Critical patent/CN113158969A/zh
Publication of CN113158969A publication Critical patent/CN113158969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种苹果外观缺陷识别系统及方法,其包括步骤:S1、获取由工业相机采集的原始图像,将原始图像处理为单颗苹果图像;S2、将单颗苹果图像输入到预先完成训练的yolov3‑tiny模型中,得到缺陷区域数据S3、将得到的缺陷区域数据输入到预先完成训练的MobileNetV3模型中,得到缺陷分类数据;S4、根据缺陷区域数据和缺陷分类数据对苹果进行分级。本发明技术方案能够有效识别苹果表面缺陷,识别准确率高,识别类型全,大大提升了分选效率,减轻劳动强度,降低分选成本。

Description

一种苹果外观缺陷识别系统及方法
技术领域
本发明涉及图像识别领域,具体涉及一种苹果外观缺陷识别系统及方法。
背景技术
苹果分选采用人工的话,面临着劳动强度大,分选效率低,分选质量不高的问题,苹果的自动分选技术逐步得到应用,其有效降低劳动强度,降低企业成本。但现有的分选机主要通过机械分选实现苹果大小的分选,对于苹果红黑点、苹果锈等外观缺陷还无法进行识别,仍然需要人工进行分拣,现有分选机仍然存在自动化程度低、用工成本高等问题。
发明内容
本发明的目的在于提供一种苹果外观缺陷识别系统及方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种苹果外观缺陷识别方法,其中,包括以下步骤:
S1、获取由工业相机采集的原始图像,将原始图像处理为单颗苹果图像。
S2、将单颗苹果图像输入到预先完成训练的yolov3-tiny模型中,得到缺陷区域数据。
S3、将得到的缺陷区域数据输入到预先完成训练的MobileNetV3模型中,得到缺陷分类数据。
S4、根据缺陷区域数据和缺陷分类数据对苹果进行分级。
所述的苹果外观缺陷识别方法,其中,将原始图像处理为单颗苹果图像具体为:所述原始图像为彩色RGB图像,将原始图像转换到HSV颜色空间,根据H通道阈值把原始图像分为前景和背景,前景即为单颗苹果图像。其中,H通道阈值具体为H>0且H<30。
所述的苹果外观缺陷识别方法,其中,所述yolov3-tiny模型通过以下方法训练:
采集若干单颗苹果图像,对单颗苹果图像中外观缺陷进行人工标定,用矩形框标注外观缺陷的区域和类型;
所述的苹果外观缺陷识别方法,其中,所述外观缺陷类型包括红黑点、苹果锈、鸡爪纹、风裂口、虎皮、日烧、磕碰伤、刺伤、划痕、腐烂。
将标定好的图像按照缺陷类型进行归类,用其中一部分图像作为训练集,剩余部分图像作为验证集,训练深度学习模型的yolov3进行缺陷检测;
对训练好的yolov3模型,通过知识蒸馏的方式训练yolov3-tiny模型。
所述的苹果外观缺陷识别方法,其中,所述利用训练好的yolov3模型,通过知识蒸馏的方式训练yolov3-tiny模型具体为:
所述的苹果外观缺陷识别方法,其中,采集10万张单颗苹果图像进行yolov3-tiny模型训练,将标定好的图像按照缺陷类型进行归类,用其中8万张图像作为训练集,2万张图像作为验证集,训练深度学习模型的yolov3进行缺陷检测。
所述的苹果外观缺陷识别方法,其中,MobileNetV3模型通过以下方法训练:对yolov3-tiny检测出的缺陷区域数据,根据标注结果分类,训练MobileNetV3模型分类。
所述的苹果外观缺陷识别方法,其中,根据缺陷区域数据和缺陷分类数据对苹果进行分级具体为:汇总yolov3-tiny检测出的缺陷区域和MobileNetV3模型的缺陷分类结果,即可判断出苹果外观缺陷的种类和面积,进而进行苹果分级。即对模型检测出的框做分类,框大小即为面积,分类结果即为缺陷类别。
一种苹果外观缺陷识别系统,其中,包括以下模块:
图像获取模块,用于获取由工业相机采集的原始图像;
图像处理模块,用于将图像获取模块获取的原始图像处理为单颗苹果图像;
计算模块,用于将单颗苹果图像输入到预先完成训练的yolov3-tiny模型中,得到缺陷区域数据,以及用于将得到的缺陷区域数据输入到预先完成训练的MobileNetV3模型中,得到缺陷分类数据;
判断模块,用于根据计算模块的计算的缺陷区域数据和缺陷分类数据对苹果进行分级。
与现有技术相比,本发明的有益效果是:
本发明技术方案运用深度学习的目标检测、图像分类、知识蒸馏等技术,能够有效识别苹果表面缺陷,识别准确率高,识别类型全,大大提升了分选效率,减轻劳动强度,降低分选成本。
附图说明
图1为苹果外观缺陷识别方法流程图。
图2为采集的苹果原始图像。
图3为苹果H通道图像。
图4为提取出的单颗苹果图像。
图5为苹果外观缺陷检测分类结果,其中,A为红黑点,B为划痕,C为腐烂。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,如图1所示,基于深度学习的苹果表面缺陷的识别方法其中,包括以下步骤:
S1、输入图像:
工业相机采集苹果彩色RGB图像,如图2所示。
S2、HSV空间提取出苹果区域:
将苹果彩色RGB图像转换到HSV颜色空间,根据H通道阈值转换为H通道图像,如图3所示,H通道图像分为前景和背景,前景即为单颗苹果图像,如图4所示中矩形框中的提取的单颗苹果图像。优选的,H通道阈值设定为H>0且H<30。
S3、用yolov3模型训练缺陷检测模型。
采集10万张单颗苹果的图像,对主要10种缺陷(红黑点、苹果锈、鸡爪纹、风裂口、虎皮、日烧、磕碰伤、刺伤、划痕、腐烂)进行人工标定。用矩形框标注缺陷的区域和类型。
对标定的图片,把缺陷归为一类,用8万张图片作为训练集,2万张作为验证集,训练深度学习模型的yolov3进行缺陷检测。
其中,YOLOv3在YOLOv2提出的Darknet-19的基础上引入了残差模块,并进一步加深了网络所形成,改进后的网络有53个卷积层,命名为
Darknet-53,网络结构如下:
Figure BDA0003058047420000051
yolov3模型具体训练过程如下:
1、把苹果缺陷标定数据转换为darknet工程需要的格式:
修改配置文件Cfg和.data文件,创建自己的类别名称文件.names。
使用与yolov3.cfg相同的内容创建文件yolo-obj.cfg(或将yolov3.cfg复制到yolo-obj.cfg)。
change line batch to batch=64
change line subdivisions to subdivisions=8
使用contrl+F搜索YOLO,你会看到有三个YOLO标头得部分配置,需要改得是:
在[yolo]图层之前的3个[卷积]中将[filters=255]更改为filters=45。
2、在自己的data目录创建一个obj.names的文本文件:把苹果缺陷类别的名字写进去。
3、接着创建一个obj.data:
classes=10
train=data/train.txt#训练图片的文件名路径集合.txt的路径
valid=data/test.txt#test.txt文件的路径
names=data/obj.names#.names文件的路径
backup=backup/#back up的路径
下载卷积层的预先训练的权重(154MB):
https://pjreddie.com/media/files/darknet53.conv.74并放到目录darknet\
使用命令行开始培训:./darknet detector train data/obj.data yolo-obj.cfg darknet53.conv.74
训练结束后,从路径构建\darknet\x64\backup\获取结果yolo-obj_final.weights。
S4、对训练出的yolov3模型,通过知识蒸馏的方式训练yolov3-tiny模型。其过程为:以https://github.com/Lam1360/YOLOv3-model-pruning工程为基础,进行知识蒸馏:
进行稀疏化训练
Python train.py–modeldef config/yolov3-hand.cfg–sr–s 0.01
1、基于testprune.py文件进行剪枝,得到剪枝后的模型,其中,剪枝规则可按照目前通用常规的规则设定。
2、最后可对剪枝后的模型微调
Python train.py –modeldef config/pruneyolov3-hand.cfg–precheckpoint/pruneyolov3ckpt.pth
S5、对检测出的缺陷区域用MobileNetV3模型进行分类。
即对yolov3-tiny检测出的结果,根据标注结果分为10类,训练MobileNetV3模型进行10分类。其中,MobileNetV3是mobilnet的最新版,它参数量小,属于轻量级网络。它综合了以下四个特点:1、MobileNetV1的深度可分离卷积(depthwise separableconvolutions)。2、MobileNetV2的具有线性瓶颈的逆残差结构(the inverted residualwith linear bottleneck)。3、轻量级的注意力模型。4、利用h-swish代替swish函数。
MobileNetV3模型训练过程具体为:
1把图片数据划分为训练集(8万张)、验证集(2万张)。
2以MobileNetV3在Imagenet训练出的模型作为初始化参数,通过网格搜索,找出最合适的学习率(0.0001)、批大小(batchsize=8)、动量项参数(0.95)
3通过观察验证集正确率得到最佳模型(验证集正确率为0.97)
S6、汇总yolov3-tiny检测出的缺陷区域和MobileNetV3模型的缺陷分类结果(如图5所示)。计算苹果外观缺陷区域面积,调用苹果级别对应表并利用所计算出的苹果外观缺陷区域面积值和缺陷分类结果,查到对应的苹果级别,其这,所述苹果级别对应表中,苹果外观缺陷区域面积值、苹果缺陷分类与苹果级别存在一一对应关系。
本发明还提供一种苹果外观缺陷识别系统,其中,包括以下模块:
图像获取模块,用于获取由工业相机采集的原始图像。
图像处理模块,用于将图像获取模块获取的原始图像处理为单颗苹果图像。
计算模块,用于将单颗苹果图像输入到预先完成训练的yolov3-tiny模型中,得到缺陷区域数据,以及用于将得到的缺陷区域数据输入到预先完成训练的MobileNetV3模型中,得到缺陷分类数据。
判断模块,用于根据计算模块的计算的缺陷区域数据和缺陷分类数据对苹果进行分级。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种苹果外观缺陷识别方法,其特征在于,包括以下步骤:
S1、获取由工业相机采集的原始图像,将原始图像处理为单颗苹果图像;
S2、将单颗苹果图像输入到预先完成训练的yolov3-tiny模型中,得到缺陷区域数据;
S3、将得到的缺陷区域数据输入到预先完成训练的MobileNetV3模型中,得到缺陷分类数据;
S4、根据缺陷区域数据和缺陷分类数据对苹果进行分级。
2.根据权利要求1所述的苹果外观缺陷识别方法,其特征在于,将原始图像处理为单颗苹果图像具体为:所述原始图像为彩色RGB图像,将原始图像转换到HSV颜色空间,根据H通道阈值把原始图像分为前景和背景,前景即为单颗苹果图像。
3.根据权利要求2所述的苹果外观缺陷识别方法,其特征在于,所述yolov3-tiny模型通过以下方法训练:
采集若干单颗苹果图像,对单颗苹果图像中外观缺陷进行人工标定,用矩形框标注外观缺陷的区域和类型;
将标定好的图像按照缺陷类型进行归类,用其中一部分图像作为训练集,剩余部分图像作为验证集,训练深度学习模型的yolov3进行缺陷检测;
对训练好的yolov3模型,通过知识蒸馏的方式训练yolov3-tiny模型。
4.根据权利要求3所述的苹果外观缺陷识别方法,其特征在于,所述外观缺陷类型包括红黑点、苹果锈、鸡爪纹、风裂口、虎皮、日烧、磕碰伤、刺伤、划痕、腐烂。
5.根据权利要求3所述的苹果外观缺陷识别方法,其特征在于,采集10万张单颗苹果图像进行yolov3-tiny模型训练,将标定好的图像按照缺陷类型进行归类,用其中8万张图像作为训练集,2万张图像作为验证集,训练深度学习模型的yolo-v3进行缺陷检测。
6.根据权利要求5所述的苹果外观缺陷识别方法,其特征在于,MobileNetV3模型通过以下方法训练:对yolov3-tiny检测出的缺陷区域数据,根据标注结果分类,训练MobileNetV3模型分类。
7.根据权利要求6所述的苹果外观缺陷识别方法,其特征在于,根据缺陷区域数据和缺陷分类数据对苹果进行分级具体为:汇总yolov3-tiny检测出的缺陷区域和MobileNetV3模型的缺陷分类结果,计算苹果外观缺陷区域面积,调用苹果级别对应表并利用所计算出的苹果外观缺陷区域面积值和缺陷分类结果,查到对应的苹果级别。
8.根据权利要求7所述的苹果外观缺陷识别方法,其特征在于,预先设置苹果级别对应表,所述苹果级别对应表中,苹果外观缺陷区域面积值、苹果缺陷分类与苹果级别存在一一对应关系。
9.一种苹果外观缺陷识别系统,其特征在于,包括以下模块:
图像获取模块,用于获取由工业相机采集的原始图像;
图像处理模块,用于将图像获取模块获取的原始图像处理为单颗苹果图像;
计算模块,用于将单颗苹果图像输入到预先完成训练的yolov3-tiny模型中,得到缺陷区域数据,以及用于将得到的缺陷区域数据输入到预先完成训练的MobileNetV3模型中,得到缺陷分类数据;
判断模块,用于根据计算模块的计算的缺陷区域数据和缺陷分类数据对苹果进行分级。
CN202110509280.9A 2021-05-10 2021-05-10 一种苹果外观缺陷识别系统及方法 Pending CN113158969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110509280.9A CN113158969A (zh) 2021-05-10 2021-05-10 一种苹果外观缺陷识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110509280.9A CN113158969A (zh) 2021-05-10 2021-05-10 一种苹果外观缺陷识别系统及方法

Publications (1)

Publication Number Publication Date
CN113158969A true CN113158969A (zh) 2021-07-23

Family

ID=76874592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110509280.9A Pending CN113158969A (zh) 2021-05-10 2021-05-10 一种苹果外观缺陷识别系统及方法

Country Status (1)

Country Link
CN (1) CN113158969A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570571A (zh) * 2021-07-27 2021-10-29 深圳大学 一种工业边缘端动力电池缺陷检测方法及系统
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN116148268A (zh) * 2023-04-21 2023-05-23 创新奇智(青岛)科技有限公司 瑕疵检测的方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232445A (zh) * 2019-06-18 2019-09-13 清华大学深圳研究生院 一种基于知识蒸馏的文物真伪鉴定方法
CN110378420A (zh) * 2019-07-19 2019-10-25 Oppo广东移动通信有限公司 一种图像检测方法、装置及计算机可读存储介质
CN111915704A (zh) * 2020-06-13 2020-11-10 东北林业大学 一种基于深度学习的苹果分级识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232445A (zh) * 2019-06-18 2019-09-13 清华大学深圳研究生院 一种基于知识蒸馏的文物真伪鉴定方法
CN110378420A (zh) * 2019-07-19 2019-10-25 Oppo广东移动通信有限公司 一种图像检测方法、装置及计算机可读存储介质
CN111915704A (zh) * 2020-06-13 2020-11-10 东北林业大学 一种基于深度学习的苹果分级识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张琛等: "基于机器学习的免套袋苹果缺陷分级", 《河南农业科学》 *
李兰等: "基于改进SSD模型的工件表面缺陷识别算法", 《计算机工程与科学》 *
李少波: "人脸识别与美颜算法实战" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570571A (zh) * 2021-07-27 2021-10-29 深圳大学 一种工业边缘端动力电池缺陷检测方法及系统
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN113947590B (zh) * 2021-10-26 2023-05-23 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN116148268A (zh) * 2023-04-21 2023-05-23 创新奇智(青岛)科技有限公司 瑕疵检测的方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN113158969A (zh) 一种苹果外观缺陷识别系统及方法
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN111242896A (zh) 一种彩色印刷标签缺陷检测与质量评级方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN110059539A (zh) 一种基于图像分割的自然场景文本位置检测方法
CN110554052A (zh) 一种人造板表面缺陷检测方法及其系统
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN110348503A (zh) 一种基于卷积神经网络的苹果品质检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN116052193B (zh) Rpa界面动态表格的拾取和匹配方法及系统
CN113627435A (zh) 一种瓷砖的瑕疵检测与识别方法及系统
CN210775265U (zh) 一种人造板表面缺陷检测系统
CN113392930A (zh) 基于多层次分治网络的交通标志目标检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
Narin et al. Crack on eggshell detection system based on image processing technique
CN105678301A (zh) 一种自动识别并分割文本图像的方法、系统及装置
CN113205163B (zh) 数据标注方法及装置
CN114782967A (zh) 一种基于代码可视化学习的软件缺陷预测方法
CN117256514B (zh) 一种用于分选系统的剔除不合格种蛋的方法
CN112446421A (zh) 一种基于机器视觉的蚕茧计数与识别方法
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN114937269B (zh) 一种基于英文和汉字联合的船舶号牌识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: Room 103, 1st Floor, Building 18, Yard 1, Gaolizhang Road, Haidian District, Beijing 100089

Applicant after: Kyushu Ruiyan (Beijing) Technology Co.,Ltd.

Address before: 201499 8 / F, building 2, 1919 Baziqiao Road, Nanqiao Town, Fengxian District, Shanghai

Applicant before: Shanghai Changxuan technology partnership (L.P.)

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication