CN109001206A - 一种基于图像识别的水果缺陷检测方法以及检测系统 - Google Patents

Abstract

本发明公开一种基于图像识别的水果缺陷检测方法以及检测系统，本发明使用紫外光激发荧光现象实现水果表面缺陷检测，利用紫外光激发水果表面缺陷的酮类物质可产生荧光现象，检测到肉眼不能看到的缺陷，从而有效分拣出高质量的水果，与此同时，本发明自带光源可在夜间进行作业，从而有效利用夜间时间而提高作业生产效益。本发明使用PC视觉处理端与单片机控制端协同控制，能够将需要较高运算能力的图像数据交由PC视觉处理端处理，而对实时性要求比较高的底层控制则交由单片机控制端进行处理，两者通过无线通信模块进行通信实现对果实精准识别定位采摘，并且灯光结构简单和控制方便，具有较高的鲁棒性、准确性、实时性，简单实用且适合产业化推广。

Description

一种基于图像识别的水果缺陷检测方法以及检测系统

技术领域

本发明涉及智能化水果采摘技术领域，特别涉及一种基于图像识别的水果缺陷检测方法和检测系统。

背景技术

现有技术中，水果采摘主要通过人工采摘，因此需要在白天进行作业，而夜间时间较少被利用起来。与此同时，现有技术的采摘工人或者相应的智能采摘设备仅仅对肉眼可见的缺陷进行分类和剔除，因此存在分拣效率低下、果实分类不全、设备不够智能化等缺陷。

发明内容

本发明的主要目的是提出一种控制方便和高效检测的基于图像识别的水果缺陷检测方法，本发明还提出一种使用基于图像识别的水果缺陷检测方法的检测系统，旨在对树上果实进行精准的缺陷检测、提高农业生产效率、降低人力成本以及实现农业生产智能化。

为实现上述目的，本发明提出的一种基于图像识别的水果缺陷检测方法，包括以下步骤：

S1：打开PC视觉处理端的操作界面向单片机控制端发送有效信号；

S2：所述单片机控制端接收有效信号后，打开光照传感器获取环境光照强度，再与预先设定的白光光照强度阈值进行对比；LED电源电路通过LED 驱动电路驱动白色LED灯串，并且所述单片机控制端利用场效应开关电路控制所述白色LED灯串两端的电压，为所述PC视觉处理端在夜间提供预设亮度的白光照明环境，然后所述单片机控制端通过无线通信模块发送白灯开启完毕信号至所述PC视觉处理端；

S3：所述PC视觉处理端接收白灯开启完毕信号后，驱动系统摄像头获取白光下的水果图片，在确定果实位置后，所述PC视觉处理端通过所述无线通信模块发送切换紫外灯信号给所述单片机控制端；

S4：所述单片机控制端接收切换紫外光信号后，所述LED电源电路通过所述LED驱动电路驱动紫色荧光LED灯串，所述单片机控制端关闭所述白色LED灯串，并将所述光照传感器获取到的数值和设定所需的紫色荧光光强阈值进行比较，所述单片机控制端通过调整紫色荧光LED灯串的亮度，为所述PC视觉处理端在夜间提供紫色荧光环境，然后所述单片机控制端通过所述无线通信模块发送光源切换成功信号给所述PC视觉处理端；

S5：所述PC视觉处理端接收到光源切换成功信号后，在位置不变的前提下驱动所述系统摄像头获取紫光下的水果图片，基于白光下的图片确定水果位置，再通过自动识别和检测缺陷方法检测出水果的缺陷，标记缺陷后，所述PC视觉处理端通过所述无线通信模块向所述单片机控制端发送检测完成信号；

S6：完成一次缺陷识别检测后，所述单片机控制端通过所述无线通信模块接收检测完成信号后切换为初始状态，所述PC视觉处理端进行下一轮的水果缺陷识别，所述单片机控制端接收信号循环步骤S1至S6。

优选地，所述S5中的所述自动识别和检测缺陷方法包括以下步骤：

S51：调用所述系统摄像头获取白光下水果的RGB三通道图像：

S52：对所述RGB三通道图像进行颜色空间转换，转换为YIQ模型；

S53：提取所述步骤S52的所述RGB三通道图像的YIQ模型I颜色分量；

S54：对所述步骤S53获取的所述YIQ模型图像I颜色分量进行自动阈值分割，得到去除背景的水果图像；

S55：在灯光系统位置不改变的前提下，调用所述系统摄像头获取紫外光下水果的RGB三通道图；

S56：利用白光下获取的去除背景的水果图像的二值图对紫外光下的水果图像去除背景；

S57：然后对所述步骤S56中获取的去除背景后的图像进行K均值聚类，分为4类并把聚类中心坐标的最大差值标记为第一类图像；

S58：对所述第一类图像进行颜色空间转换，转换为Lab颜色模型并提取a分量；

S59：以0.47为阈值对所述步骤S58中获取的图像进行二值化处理，从而获取缺陷部分，最终根据缺陷识别结果，使用矩形框标记出原图像中水果缺陷部分。

优选地，所述LED电源电路通过保险丝限定电源输入的电流大小，所述 LED电源电路设有可调电阻调整输出的电压。

优选地，所述LED电源电路为所述LED驱动电路输入电压，所述LED 电源电路使用恒压电路。

优选地，所述白色LED灯串和所述紫色荧光LED灯串为若干个LED灯安装于具有30°环形弧面结构的灯串安装座顶面，所述光照传感器通过安装架安装于所述灯串安装座前端，所述系统摄像头安装于所述灯串安装座顶面中部。

本发明还提出一种使用所述基于图像识别的水果缺陷检测方法的检测系统，所述单片机控制端通过所述无线通信模块与所述PC视觉处理端相连，所述单片机控制端还与所述LED驱动电路和LCD显示模块相连，所述电源通过所述LED电源电路与所述LED驱动电路相连，所述电源通过控制电路电源与所述单片机控制端相连，所述LED驱动电路与所述白色LED灯串以及所述紫色荧光LED灯串相连，所述单片机控制端与所述光照传感器相连，所述PC视觉处理端与所述系统摄像头相连。

本发明技术方案相对现有技术具有以下优点：

本发明技术方案通过使用紫外荧光光照实现水果表面缺陷的检测，利用紫外光激发水果表面缺陷的酮类物质可产生荧光现象，检测到肉眼不能看到的缺陷，从而有效分拣出高质量的水果，与此同时，本发明技术方案自带光源可在夜间进行作业，可有效利用夜间时间提高作业生产效益。

本发明技术方案使用PC视觉处理端与单片机控制端协同控制，能够将需要较高运算能力的图像数据交由PC视觉处理端处理，而对实时性要求比较高的底层控制则交由单片机控制端进行处理，两者通过无线通信模块实现实时通信，从而对果实精准识别定位采摘，并且灯光结构简单和控制方便，具有较高的鲁棒性、准确性、实时性，简单实用且适合产业化推广。

本发明技术方案采用识别算法具有简单高效、准确率较高等优点，有利于快速识别提高机器采摘的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明灯光照明装置的立体结构示意图；

图2为本发明检测系统的连接关系图；

图3为本发明基于图像识别的水果缺陷检测方法的流程图；

图4为本发明自动识别和检测缺陷方法的流程图；

图5为单片机控制端的运行流程图。

附图标号说明：

标号	名称	标号	名称
				1	灯串安装座	4	光照传感器
2	白色LED灯串	5	系统摄像头
				3	紫色荧光LED灯串	6	单片机控制端

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参见图1至图5，本发明提出一种基于图像识别的水果缺陷检测方法，具体包括以下步骤：

步骤1：首先打开PC视觉处理端进行界面的操作，从而向单片机控制端发送有效信号。

步骤2：当单片机控制端接收到有效控制信号后，打开光照传感器获取此时的环境光照强度，并且将此时检测到的环境光照强度与预先设定的白光光照强度阈值进行对比。再通过LED电源电路通过LED驱动电路驱动白色LED 灯串，与此同时单片机控制端利用场效应开关电路控制白色LED灯串两端的电压，从而使得白色LED灯串为PC视觉处理端在夜间提供预设亮度的白光照明环境，然后单片机控制端通过无线通信模块发送相应的白灯开启完毕信号给PC视觉处理端。

步骤3：PC视觉处理端接收到白灯开启完毕信号后，驱动系统摄像头获取白光环境下的水果图片，当确定果实的位置后，PC视觉处理端通过无线通信模块发送切换紫外灯信号给单片机控制端。

步骤4：单片机控制端接收切换紫外光信号后，LED电源电路通过LED 驱动电路驱动紫色荧光LED灯串，单片机控制端则利用开关电路关闭白色 LED灯串，并将光照传感器获取到的数值和设定所需的紫色荧光光强阈值进行比较，然后单片机控制端通过开关电路调整紫色荧光的亮度，为PC视觉处理端在夜间提供紫色荧光环境，然后单片机控制端通过无线通信模块发送光源切换成功信号给PC视觉处理端。

步骤5：PC视觉处理端接收光源切换成功信号后，在位置不改变的情况下驱动系统摄像头获取紫外光下的水果图片，在基于白光下的图片以确定水果的位置，再通过一种自动识别和检测缺陷的方法检测出水果的缺陷，标记缺陷部分后，PC视觉处理端通过无线通信模块发送检测完成信号给单片机控制端。

步骤6：在完成一次缺陷识别检测后，单片机控制端通过无线通信模块接收检测完成信号后切换为初始状态，PC视觉处理端进行下一轮的水果缺陷识别，而单片机控制端接收信号循环上述步骤1至6。

本发明技术方案基于图像识别的水果缺陷检测方法的步骤5中，自动识别和检测缺陷方法首先调用系统摄像头获取白光下水果的RGB三通道图像，然后对RGB三通道图像进行颜色空间转换，转换为YIQ模型；然后提取上述的RGB三通道图像的YIQ模型I颜色分量，再对获取到的YIQ模型图像I颜色分量进行自动阈值分割以得到去除背景的水果图像。在灯光系统位置不改变的前提下，调用系统摄像头获取紫外光下水果的RGB三通道图，再利用白光下获取的去除背景的水果图像的二值图对紫外光下的水果图像去除背景，然后对去除背景后的图像进行K均值聚类，分为4类并把聚类中心坐标的最大差值标记为第一类图像，再对第一类图像进行颜色空间转换，转换为Lab颜色模型并提取a分量，以0.47为阈值对获取到的图像进行二值化处理，从而获取缺陷部分，最终根据缺陷识别结果，使用矩形框标记出原图像中水果的缺陷部分。

在上述步骤2“LED电源电路通过LED驱动电路驱动白色LED灯串”以及上述步骤4“LED电源电路通过LED驱动电路驱动紫色荧光LED灯串”，在电源输入之后采用保险丝来限定输入的电流，然后将系统输入电源的电压通过电路转换为LED灯串合适的电压，而电压由保险丝的最大通过电流值以及负载的阻值所限定，并由可调电阻调整输出的电压来匹配不同的输出要求。

优选地，本发明技术方案的白色LED灯串和紫色荧光LED灯串为若干个 LED灯安装于具有30°环形弧面结构的灯串安装座顶面，从而使得光线起到更好的汇聚效果，在满足视觉处理要求光照强度下，白色LED灯串和紫色荧光 LED灯串都通过单片机控制端进行控制，相对现有技术的LED设备具有成本更低和控制更加方便等优点。与此同时，本发明技术方案的光照传感器安装于灯串安装座前端，系统摄像头安装于灯串安装座顶面中部。

优选地，本发明技术方案的LED电源电路的输出电压作为LED驱动电路的输入电压，其电路结构采用恒压电路，而场效应管使LED驱动电路电压可由单片机控制端控制LED输出电压。

本发明技术方案的单片机控制端包括串口下载模块、光照传感器模块、 LCD模块、无线通信模块、控制电源模块，单片机控制端通过无线通信模块与PC视觉处理端进行通信以获取灯光的开启、关闭、切换信号并反馈检测设备运行状态，通过光照传感器模块捕捉当前环境光照强度，单片机控制端结合LED驱动电路实现环境光自适应，使果实能够处在预设环境条件下，接着通过LCD显示当前系统的环境光强以及设备运行情况，实时检测设备所处的环境。

如图2所示，本发明还提出一种基于图像识别的水果缺陷检测方法的检测系统，单片机控制端通过无线通信模块与PC视觉处理端相连，单片机控制端还与LED驱动电路和LCD显示模块相连，电源通过LED电源电路与LED驱动电路相连，电源通过控制电路电源与单片机控制端相连，LED驱动电路与白色LED灯串以及紫色荧光LED灯串相连，单片机控制端与光照传感器相连， PC视觉处理端与系统摄像头相连。

本发明技术方案的单片机控制端内部安装有使用串口数据收发算法、光感照度获取算法、由LED驱动模块与光照传感器模块组成的反馈系统的自适应光源控制算法、自动复位算法的实时信息反馈显示等模块，其中串口数据收发算法是单片机控制端与PC视觉处理端通过串口进行数据通信且作为确定和切换设备运行状态的依据；光感照度获取算法则是光照传感器模块获取当前环境光强，进行模数转换、输出当前环境光的数字量到单片机控制端； LED驱动模块和光照传感器模块组成反馈系统的自适应光源控制算法是将获取的环境光的数字量与设定的光强阈值进行比较，通过LED驱动电路将环境光调到实现设定光强，为检测设备提供合适的光源环境；自动复位算法是单片机控制端通过无线通信模块接收PC视觉处理端的复位信号来实现回复设备到上电时的初始信号；实时信息反馈显示是单片机控制端通过LCD驱动电路驱动的LCD显示屏幕，用来显示当前环境的光照强度以及接收到的信号。

本发明技术方案的基于图像识别的水果缺陷检测方法基于单片机控制端和PC视觉处理端进行合作工作，因此具有控制方便、视觉定位精确，同时具有较高的鲁棒性、准确性、实时性、简单实用，可应用于自动控制、数字图像处理、智能农业、机器视觉等技术领域中。

实施例

请参见图1至图5，对柑橘表面缺陷进行荧光检测，首先打开PC视觉处理端与白光灯，通过光照传感器获取白光的光照强度，然后再通过单片机控制端调节光照强度以获取白光下柑橘的图像。PC视觉处理端进行初步分离背景，然后向单片机控制端发送紫光信号以获取紫光下柑橘的图像，单片机控制端再次调节光照强度，PC视觉处理端处理图像并识别出缺陷。

其中，PC视觉处理端对白光下柑橘图像进行初次果实和背景进行分离时，通过分割算法对柑橘的橙色表皮与夜间背景在YIQ通道上的差异，在I 通道下用OSTU自适应阈值的方法对图像进行二值化，再使用所得二值图像对紫光下柑橘图像进行识别预处理，为下一步准确识别柑橘的缺陷以及排除外界干扰，再使用K均值聚类方法将预处理之后的紫光下的柑橘图像分为柑橘缺陷部分和柑橘非缺陷部分，未分割完全的背景以及其他4种，聚类完成后选择聚类中心坐标差值最大部分至于Lab颜色模型中，使用a通道进行最后检测是否存在缺陷。

本实施例的单片机控制端包括单片机主控模块、LED控制模块、电源模块、光照传感器模块、LCD显示模块以及无线通信模块，单片机主控制模块负责执行PC视觉处理端的指令以及对外围电路的控制，控制整个设备的运行状态，单片机控制端运行流程图如图5所示。单片机控制端的组成包括了由LED电源和控制电路电源组成的电源模块、由LCD1602构成的LCD显示模块、由MCU构成的单片机主控制端、由GY-30构成的光照传感器以及由 LED驱动构成的LED驱动模块。各模块的联结关系为：LED电源引入12V 直流电源，并将电源电压升高至20V输出，作为LED驱动的输入；控制电路电源同样引入12V直流电源，并将电源电压稳压至5V输出，作为MCU 的电源输入；LCD1602接入MCU引出的IO口，包括命令端口、数据端口和电源端口,通过MCU模拟的时序脉冲来驱动LCD1602的显示；MCU的P0 口接LCD1602的数据口，P33、P34、P35接LCD1602的命令口，P10、P11 分别输出紫灯和白灯的PWM脉冲，P38、P39接GY-30的SCL和SDA口； GY-30直接接入MCU引出的IO口；LED驱动有20V的电压输入以及MCU输出的两路PWM输入，并将通过PWM调整的电压输出给系统使用的白灯和紫灯。

本实施例的单片机主控模块使用STC15F2K60S2作为处理核心，LED控制模块中，搭建了AOD4184MOS场效应管整流管的PWM调压电路，单片机主控制模块输出不同占空比的PWM通过MOS管实现对LED的亮度调节，而电源模块则搭建了以XL6019电源驱动芯片为核心的升压电路，以整流管 45G肖特基二极管为核心的稳压电路，升压电路作为LED驱动电路的直接供电来源，稳压电路作为单片机控制端的直接电源来源，光照传感器模块使用的是GY-30模块，负责环境的光照强度和输出光强数字量给控制端。

本实施例的LCD显示模块使用的是LCD12806，负责显示设备的运行状态，单片机控制端与PC视觉处理端进行无线通信的是使用HC-96蓝牙模块，场效应管可直接有单片机输出的高低电平控制导通和关闭，GY-30光照传感器模块使用的是IIC协议进行数据交换，蓝牙模块则使用的是AT指令设置。如图1所示为本实施例的灯光照明装置的立体结构示意图，正视图中的系统摄像头为罗技公司生产的C525型，其像素为500万以上且能够实现自动对焦，PC视觉处理端应用的平台为Mat Lab，双光源结构灯中白光与紫光相隔地分布在底座上，本实施例的白光LED光源选用的是巨宏光源公司生产的 JH-3W140P45-T4A型号的灯珠，色温为5000～6000K，光通量为 190LM～210LM/W，紫光LED光源的波长为380～385NM，光通量为20～30LM，电压为3.4～3.6V可在夜间环境中提供有效稳定的光源，而光照传感器模块选用的是GY-30模块，其光照范围为0～655351x，供给电压为3～5V，供给电流为200uA，接口IIC，工作温度为-40°-85℃，内置有16bitAD转换器，无线通信模块为HC-06蓝牙模块，背视图中单片机控制端包括串口下载模块、光照传感器模块、LCD模块、无线通信模块、控制电源模块。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种基于图像识别的水果缺陷检测方法，其特征在于，包括以下步骤：

S1：打开PC视觉处理端的操作界面向单片机控制端发送有效信号；

S2：所述单片机控制端接收有效信号后，打开光照传感器获取环境光照强度，再与预先设定的白光光照强度阈值进行对比；LED电源电路通过LED驱动电路驱动白色LED灯串，并且所述单片机控制端利用场效应开关电路控制所述白色LED灯串两端的电压，为所述PC视觉处理端在夜间提供预设亮度的白光照明环境，然后所述单片机控制端通过无线通信模块发送白灯开启完毕信号至所述PC视觉处理端；

S3：所述PC视觉处理端接收白灯开启完毕信号后，驱动系统摄像头获取白光下的水果图片，在确定果实位置后，所述PC视觉处理端通过所述无线通信模块发送切换紫外灯信号给所述单片机控制端；

S4：所述单片机控制端接收切换紫外光信号后，所述LED电源电路通过所述LED驱动电路驱动紫色荧光LED灯串，所述单片机控制端关闭所述白色LED灯串，并将所述光照传感器获取到的数值和设定所需的紫色荧光光强阈值进行比较，所述单片机控制端通过调整紫色荧光LED灯串的亮度，为所述PC视觉处理端在夜间提供紫色荧光环境，然后所述单片机控制端通过所述无线通信模块发送光源切换成功信号给所述PC视觉处理端；

S5：所述PC视觉处理端接收到光源切换成功信号后，在位置不变的前提下驱动所述系统摄像头获取紫光下的水果图片，基于白光下的图片确定水果位置，再通过自动识别和检测缺陷方法检测出水果的缺陷，标记缺陷后，所述PC视觉处理端通过所述无线通信模块向所述单片机控制端发送检测完成信号；

S6：完成一次缺陷识别检测后，所述单片机控制端通过所述无线通信模块接收检测完成信号后切换为初始状态，所述PC视觉处理端进行下一轮的水果缺陷识别，所述单片机控制端接收信号循环步骤S1至S6。

2.如权利要求1所述的水果缺陷检测方法，其特征在于，所述S5中的所述自动识别和检测缺陷方法包括以下步骤：

S51：调用所述系统摄像头获取白光下水果的RGB三通道图像：

S52：对所述RGB三通道图像进行颜色空间转换，转换为YIQ模型；

S53：提取所述步骤S52的所述RGB三通道图像的YIQ模型I颜色分量；

S54：对所述步骤S53获取的所述YIQ模型图像I颜色分量进行自动阈值分割，得到去除背景的水果图像；

S55：在灯光系统位置不改变的前提下，调用所述系统摄像头获取紫外光下水果的RGB三通道图；

S56：利用白光下获取的去除背景的水果图像的二值图对紫外光下的水果图像去除背景；

S57：然后对所述步骤S56中获取的去除背景后的图像进行K均值聚类，分为4类并把聚类中心坐标的最大差值标记为第一类图像；

S58：对所述第一类图像进行颜色空间转换，转换为Lab颜色模型并提取a分量；

S59：以0.47为阈值对所述步骤S58中获取的图像进行二值化处理，从而获取缺陷部分，最终根据缺陷识别结果，使用矩形框标记出原图像中水果缺陷部分。

3.如权利要求1所述的水果缺陷检测方法，其特征在于，所述LED电源电路通过保险丝限定电源输入的电流大小，所述LED电源电路设有可调电阻调整输出的电压。

4.如权利要求1所述的水果缺陷检测方法，其特征在于，所述LED电源电路为所述LED驱动电路输入电压，所述LED电源电路使用恒压电路。

5.如权利要求1所述的水果缺陷检测方法，其特征在于，所述白色LED灯串和所述紫色荧光LED灯串为若干个LED灯安装于具有30°环形弧面结构的灯串安装座顶面，所述光照传感器通过安装架安装于所述灯串安装座前端，所述系统摄像头安装于所述灯串安装座顶面中部。

6.一种使用如权利要求1所述基于图像识别的水果缺陷检测方法的检测系统，其特征在于，所述单片机控制端通过所述无线通信模块与所述PC视觉处理端相连，所述单片机控制端还与所述LED驱动电路和LCD显示模块相连，所述电源通过所述LED电源电路与所述LED驱动电路相连，所述电源通过控制电路电源与所述单片机控制端相连，所述LED驱动电路与所述白色LED灯串以及所述紫色荧光LED灯串相连，所述单片机控制端与所述光照传感器相连，所述PC视觉处理端与所述系统摄像头相连。