CN210071686U - 基于正交双目机器视觉的水果分级装置 - Google Patents

Abstract

基于正交双目机器视觉的水果分级装置，其中，待测水果置于设置在密封箱体底板上的传送带上，电机与传送带连接，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构设置在传送带两侧，密封箱体的上部安装有第一工业相机，密封箱体的右侧安装有第二工业相机，且第一工业相机与第二工业相机的中轴线正交；同时内置有图像采集模块的第一工业相机和第二工业相机分别与显示处理主机连接，显示处理主机内置有用于对图像实时进行处理的图像处理模块，第二水果横向中心位置检测机构上设置有用于进行计时的计时器；利用正交双目机器视觉技术对连续单个水果实现无损自动分级，分级准确率极高，速度快，具有广阔的应用前景。

Description

基于正交双目机器视觉的水果分级装置

技术领域

本实用新型涉及水果分级技术领域，尤其涉及一种基于正交双目机器视觉的水果分级装置。

背景技术

目前，国内对于水果的分级主要依靠人工结合机械实现，然而通过人工直观判断直径不好把握，人工分级误差非常大，且在分级过程中，工作繁琐，效率较低，容易对水果造成接触性损害，同时存在较强的主观因素，此类传统分级方法已不能满足水果分级的需要。

近年来，分级方法逐渐转向机器视觉方向，可实现无损分级，且具有高效率，高准确性的特点，现如今机器视觉技术广泛运用于产品分级，如鸡蛋、柑橘、梨等，而对于水果这种品种繁多，大小形状不一、结构较复杂的水果研究较少。

采用机器视觉检测物体的特征信息及分级的研究众多，张庆怡等通过机器视觉技术实现苹果大小和腐烂面积的检测【张庆怡,顾宝兴,姬长英,等.苹果在线分级系统设计与试验[J]．华南农业大学学报，2017，38( 4) : 117-124．】；李龙等在基于机器视觉苹果外观品质检测中，对苹果运动状态下的图像进行提取和合成，随后对图像进行高斯滤波，大律法二值化以及轮廓提取处理，并轮廓进行圆拟合处理，利用拟合圆直径得到该苹果的大小【李龙，彭彦昆,李永玉. 水果内外品质在线无损检测分级系统设计与试验[J]. 农业工程学报，2018，34(9)：267-275.】；陈艳军等设计了一套基于机器视觉技术的苹果分选系统，通过扫描提取轮廓，提出了以苹果轮廓线上两点之间的最大距离作为分级标准和以苹果最大横截面直径【陈艳军,张俊熊,李伟,任永新,谭豫之.基于机器视觉的苹果最大横截面直径分级方法[J].农业工程学报,2012,28(2)：284-288】；黄辰等借助机器视觉技术动态采集苹果传输过程中的实时图像提出改进的三层Canny边缘检测算法来提取苹果轮廓【黄辰,费继友.基于图像特征融合的苹果在线分级方法[J].农业工程学报,2017,33(1)：285-291】；赵娟等设计了一套基于机器视觉技术检测水果外观缺陷的系统，该系统主要包括单通道在线传送装置、图像采集装置及分选装置，利用数字处理方法分析苹果表面的缺陷，提出利用面积比来判断水果缺陷大小，苹果表面缺陷的总检测正确率为92.5%【赵娟, 彭彦昆,SAGARDHAKAL等.基于机器视觉的苹果外观缺陷在线检测[J]. 农业机械学报, 2013, 44(1): 260-263.】；牛晓颖等介绍了水果内外部品质检测的近红外、机器视觉和信息融合技术，近红外技术用于水果成熟度、坚实度、可溶性固形物和内部缺陷等内部品质的检测，机器视觉用于水果大小、形状、颜色、表面缺陷等外部品质的检测【牛晓颖、贡东军、王艳伟等基于近红外光谱和化学计量学的李果实成熟度鉴别方法研究[J]. 现代食品科技,2014,30(12):230-234】；张玉华等介绍了水果内外部品质检测的近红外、机器视觉和信息融合技术，近红外技术用于水果成熟度、坚实度、可溶性固形物和内部缺陷等内部品质的检测,机器视觉用于水果大小、形状、颜色、表面缺陷等外部品质的检测【张玉华、孟一、张明岗等基于近红外、机器视觉及信息融合的水果综合品质检测[J].食品工业,2018,39(11):247-250】；虽然机器视觉检测水果的特征参数已有众多研究，但主要侧重于算法，对于分级最重要的要素水果大小检测、颜色研究极少，少有对于水果大小检测的研究，精度不高。

实用新型内容

本实用新型所解决的技术问题在于提供一种基于正交双目机器视觉的水果分级装置，以解决上述背景技术中的缺点。

本实用新型所解决的技术问题采用以下技术方案来实现：

基于正交双目机器视觉的水果分级装置，包括第一工业相机、第二工业相机、密封箱体、第一水果横向中心位置检测机构、第二水果横向中心位置检测机构、显示处理主机及电机，其中，待测水果置于设置在密封箱体底板上的传送带上，电机与传送带连接，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构设置在传送带两侧，密封箱体的上部安装有第一工业相机，密封箱体的右侧安装有第二工业相机，且第一工业相机与第二工业相机的中轴线正交；同时内置有图像采集模块的第一工业相机和第二工业相机分别与显示处理主机连接，显示处理主机内置有用于对图像实时进行处理的图像处理模块，第二水果横向中心位置检测机构上设置有用于进行计时的计时器。

在本实用新型中，第一工业相机与第二工业相机上分别安装有用于补光的光源，且光源为无极调光灯源。

在本实用新型中，密封箱体采用黑色材质制成，使背景色简单化，易于与待测水果区分，便于图像处理得到完整的水果轮廓图。

在本实用新型中，密封箱体、显示处理主机及电机分别安装在机架上。

在本实用新型中，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构上分别设置有用于检测待测水果位置的触碰传感器。

在本实用新型中，设置在传送带两侧的第一水果横向中心位置检测机构和第二水果横向中心位置检测机构分别安装在机架上，且第二水果横向中心位置检测机构位于相机拍照中心点下方。

在本实用新型中，电机带动传送带以速度为V匀速转动时，待测水果经第一水果横向中心位置检测机构与第二水果横向中心位置检测机构检测后被输送至准确的待拍照位置，假设第一水果横向中心位置检测机构距离相机拍照中心点为S，待测水果前端触发第一水果横向中心位置检测机构的时间为t1，待测水果后端触发第一水果横向中心位置检测机构的时间为t2，则可计算出待测水果的果径约为R=V*(t2-t1)，待测水果继续向前传送，当待测水果前端运动至第二水果横向中心位置检测机构时触发第二水果横向中心位置检测机构，启动计时器开始计时，可计算出待测水果横向中心到拍照中心需要的传送时间为t3=（t2-t1）/2，在相应的时间停止输送带运动，即实现待测水果横向中心与相机拍照中心对齐，第一工业相机和第二工业相机的图像采集模块开始启动采集图像，而后将采集的待测水果图像传送至显示处理主机的图像处理模块，图像处理模块开始处理待测水果图像，图像处理流程如下：

a、读取待测水果彩色图像；

b、图像灰度化：通过对待测水果彩色图像进行R分量提取得灰度图，同时记录水果外观有无明显损伤；

c、R分量转换HSI分量：HSI分量由H、S、I三个分量组成，其中，H分量表示为物体的颜色，S分量表示物体颜色的饱和度，S值越大则颜色越深，I分量表示为物体的亮度，I值越大则亮度越高，S分量和I分量都受到光源影响，故选用HSI分量中的H分量作为水果颜色的分级依据；

d、二值化处理：通过二值化处理，使检测对象与背景较为明显地凸显出来，提取R分量后的图像已经是一个灰度图，采用graythresh函数，使用最大类间方差法找到最佳阈值，采用最佳阈值进行二值化处理，可得到理想的二值化效果图；

e、降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域，得出较为准确的结果，可返回一个相同大小的矩阵、连通区域数量，只输出最大连通区域，可有效地去除噪声；

f、轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后图像进行运算，经过膨胀操作后物体边界会向外部扩张，变粗变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到标准轮廓图；

g、轮廓拟合：对提取的标准轮廓图进行轮廓拟合，得到清晰的轮廓曲线；

h、MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，以实现像素坐标至实际坐标的转化，提取俯视图像的果径R1、侧视图像果径R2，同时计算R1和R2的比值；

建立水果分级模型进行分级，水果分级模型由三个要素构成，分别是果径大小、水果颜色、水果形状，三个特征量均由图像处理模块中的图像预处理得出，R1、R2值越大，说明水果果径越大，则水果越大，HSI分量中H值越大，则说明水果颜色越深，R1和R2的比值越接近1则说明水果形状越接近圆形，分级结果将显示在显示处理主机的人机交互界面。

有益效果：

1）本实用新型利用机器视觉技术，能够精确提取水果特征参数（果径、HSI分量、R1和R2比值）；

2）本实用新型分级标准统一，测量误差小；

3）本实用新型利用图像处理技术实现无损检查，检测速度快；

4）本实用新型双目机器视觉正交拍摄的方式，同时捕获取待测水果的俯视面、侧视面图像，可准确获得水果图像的特征数据，有效提高测量精度；

5）本实用新型设计一种全新的图像采集算法，提取的图片直径大小与实际大小的比值（高度比例系数）和高度H的线性关系K=0.1007*H+0.9264，用于校准果径面的测量数据，为水果的分级研究与算法优化提供重要数据支持；

6）本实用新型检测果径平均测量误差为 1.84mm，分级准确率达97%，试验精度较高，能够很好的反映水果实际果径大小及外观品质，为水果的自动化分级研究提供可靠依据。

附图说明

图1为本实用新型的较佳实施例的正视图。

图2为本实用新型的较佳实施例中的图像处理流程示意图。

图3为本实用新型的较佳实施例的侧视图。

具体实施方式

为了使本实用新型实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本实用新型。

参见图1～图3的基于正交双目机器视觉的水果分级装置，包括第一工业相机1、第一光源2、密封箱体3、待测水果4、第一水果横向中心位置检测机构5、传送带6、第二水果横向中心位置检测机构7、第二光源8、第二工业相机9、显示处理主机10及电机11，其中，待测水果4置于设置在密封箱体3底板上的传送带6上，传送带6与电机11连接，第一水果横向中心位置检测机构5和第二水果横向中心位置检测机构7设置在传送带6两侧，由电机11控制传送带6转动，经第一水果横向中心位置检测机构5与第二水果横向中心位置检测机构7检测后将水果输送到准确的待拍照位置；在密封箱体3的上部安装有第一工业相机1，在密封箱体3的右侧安装有第二工业相机9，且第一工业相机1与第二工业相机9的中轴线正交；第一工业相机1上安装有第一光源2，第二工业相机9上安装有第二光源8，且内置有图像采集模块的第一工业相机1和第二工业相机9分别通过千兆通信数据线连接显示处理主机10，显示处理主机10内置有图像处理模块，对图像实时进行处理；

密封箱体3、显示处理主机10及电机11分别安装在机架上；

第一水果横向中心位置检测机构5和第二水果横向中心位置检测机构7上分别设置有触碰传感器，用于检测待测水果4的位置；

电机11带动传送带6以速度为V匀速转动时，第一水果横向中心位置检测机构5安装在机架上，距离相机拍照中心点为S，第二水果横向中心位置检测机构7安装在机架上，位于相机拍照中心点下方，待测水果4运动至第一水果横向中心位置检测机构5时触发第一水果横向中心位置检测机构5，假设待测水果4前端触发第一水果横向中心位置检测机构5的时间为t1，待测水果4后端触发第一水果横向中心位置检测机构5的时间为t2，则可计算出待测水果4的果径约为R=V*(t2-t1)，待测水果4继续向前传送，当待测水果4前端运动至第二水果横向中心位置检测机构7时触发第二水果横向中心位置检测机构7，启动计时器开始计时，可计算出待测水果4横向中心到拍照中心需要的传送时间为t3=（t2-t1）/2，在相应的时间停止输送带6运动，即实现待测水果4横向中心与相机拍照中心对齐，图像采集模块开始启动；

密封箱体3采用黑色材质制成，使背景色简单化，易于与待测水果4区分，便于图像处理得到完整的水果轮廓图，第一光源2与第二光源8采用无极调光灯源，实现无极调光，能更好地获取最适光照强度，提供良好的检测光环境，内径28mm、60mm，用于补光配合，以获取更清晰的图像；所述第一工业相机1和第二工业相机9采用高清免驱500万像素工业相机，镜头为高清300万像素1/2C接口手动变焦6-12mm相机镜头；

如图2所示，其进行图像处理流程如下：

a、读取彩色图像；

b、图像灰度化：通过对彩色图像进行R分量提取，得到一个包含丰富水果表面的灰度图，同时记录水果外观有无明显损伤；

c、R分量转换HSI分量：HSI分量由H、S、I三个分量组成，其中，H分量表示为物体的颜色，S分量表示物体颜色的饱和度，S值越大则颜色越深，I分量表示为物体的亮度，I值越大则亮度越高，S分量和I分量都受到光源影响，故选用HSI分量中的H分量作为水果颜色的分级依据；

d、二值化处理：通过二值化处理，使检测对象与背景较为明显地凸显出来，提取R分量后的图像已经是一个灰度图，采用graythresh函数，使用最大类间方差法找到最佳阈值，采用最佳阈值进行二值化处理，以得到理想的二值化效果图；

e、降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域，得出较为准确的结果，可返回一个相同大小的矩阵、连通区域数量，只输出最大连通区域，可有效地去除噪声；

f、轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后图像进行运算，经过膨胀操作后物体边界会向外部扩张，变粗变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到标准轮廓图；

g、轮廓拟合：对提取的标准轮廓图进行轮廓拟合，得到清晰的轮廓曲线；

h、MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，以实现像素坐标至实际坐标的转化，提取俯视图像果径R1、侧视图像果径R2，同时计算R1和R2的比值；

水果分级模型由三个要素构成，分别是果径大小、水果颜色、水果形状，三个特征量均由图像处理模块中的图像预处理得出，R1、R2值越大，说明水果果径越大，则水果越大，HSI分量中H值越大，则说明水果颜色越深，R1和R2的比值越接近1则说明水果形状越接近圆形，分级结果将显示在显示处理主机10的人机交互界面。

在进行正交双目机器视觉测定之前，首先进行基于单目机器视觉的高度比列系数测定实验方法，以获得提取的图片直径大小与实际大小比值、高度H的线性关系：镜头在拍摄待测水果时存在一个物距D，研究发现，同一待测水果在不同物距D下拍摄，待测水果轮廓的提取数据各不相同；通过对待测水果的轮廓提取研究发现，物距D为镜头与最大果径面之间的距离，由于实际测量中，待测水果放置面与镜头之间距离为定值L，而待测水果的最大果径面高度为H，因此待测水果的物距D= L-H，当选用不同水果进行研究时，果径面高度不尽相同，因此物距D也不同，为准确提取待测水果的轮廓数据，预先设置高度比例系数，对同一待测水果在不同高度H下形成的图像大小之间的关系进行定量分析，以得出图片直径大小与实际大小比值、高度H的线性关系；通过MATLAB数学处理软件对所测得的数据进行分析处理，得到待测水果图片直径大小与其实际大小的比值（高度比例系数）K和高度H的关系，随着待测水果高度H的增加，比值K逐渐增大，以水平升降台初始平面高度为高度零点，得到线性关系K=0.1007*H+0.9264，这对水果的分级研究与算法优化提供重要数据支持；

而后采用双目机器视觉，以正交拍摄的方式，同时捕获取待测水果的俯视面、侧视面图像，对相机所拍摄的图片，利用MATLAB算法经过去背景、R分量提取、R分量转换HSI分量、二值化、空洞填充、中值滤波等处理后，得到如图3所示，第一工业相机1拍摄的图片轮廓图和第二工业相机9拍摄的图片轮廓图，与水果实际轮廓较为吻合，分别利用单目机和正交双目机进行试验，单目机试验中，设定待测水果4平均高度为3cm，双目机试验中，每次通过侧方轮廓图计算高度，对误差值对比分析得出，正交双目机测量结果更接近实际值，本实施例中待测水果4样品为红富士苹果，随机选择100个实验样本进行分析，结果与人工标准进行对比，果径测量误差在1.84～2.00mm间，综合分级率约为97%，分级准确率较高。

Claims (7)

1.基于正交双目机器视觉的水果分级装置，包括第一工业相机、第二工业相机、密封箱体、第一水果横向中心位置检测机构、第二水果横向中心位置检测机构、显示处理主机及电机，其特征在于，待测水果置于设置在密封箱体底板上的传送带上，电机与传送带连接，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构设置在传送带两侧，密封箱体的上部安装有第一工业相机，密封箱体的右侧安装有第二工业相机，且第一工业相机与第二工业相机的中轴线正交；同时内置有图像采集模块的第一工业相机和第二工业相机分别与显示处理主机连接，显示处理主机内置有用于对图像实时进行处理的图像处理模块，第二水果横向中心位置检测机构上设置有用于进行计时的计时器。

2.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，第一工业相机与第二工业相机上分别安装有用于补光的光源，且光源为无极调光灯源。

3.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，密封箱体采用黑色材质制成。

4.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，密封箱体、显示处理主机及电机分别安装在机架上。

5.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构上分别设置有用于检测待测水果位置的触碰传感器。

6.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，设置在传送带两侧的第一水果横向中心位置检测机构和第二水果横向中心位置检测机构分别安装在机架上。

7.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，第二水果横向中心位置检测机构位于相机拍照中心点下方。

Images