CN110146516A - 基于正交双目机器视觉的水果分级装置 - Google Patents
基于正交双目机器视觉的水果分级装置 Download PDFInfo
- Publication number
- CN110146516A CN110146516A CN201910520316.6A CN201910520316A CN110146516A CN 110146516 A CN110146516 A CN 110146516A CN 201910520316 A CN201910520316 A CN 201910520316A CN 110146516 A CN110146516 A CN 110146516A
- Authority
- CN
- China
- Prior art keywords
- fruit
- transverse center
- center position
- measured
- position detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 217
- 230000007246 mechanism Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 241000132456 Haplocarpha Species 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 2
- 238000007789 sealing Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007596 consolidation process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000207199 Citrus Species 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/38—Collecting or arranging articles in groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/8901—Optical details; Scanning details
- G01N2021/8908—Strip illuminator, e.g. light tube
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Abstract
基于正交双目机器视觉的水果分级装置，其中，待测水果置于设置在密封箱体底板上的传送带上，电机与传送带连接，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构设置在传送带两侧，密封箱体的上部安装有第一工业相机，密封箱体的右侧安装有第二工业相机，且第一工业相机与第二工业相机的中轴线正交；同时内置有图像采集模块的第一工业相机和第二工业相机分别与显示处理主机连接，显示处理主机内置有用于对图像实时进行处理的图像处理模块，第二水果横向中心位置检测机构上设置有用于进行计时的计时器；利用正交双目机器视觉技术对连续单个水果实现无损自动分级，分级准确率极高，速度快，具有广阔的应用前景。
Description
技术领域
本发明涉及水果分级技术领域，尤其涉及一种基于正交双目机器视觉的水果分级装置。
背景技术
目前，国内对于水果的分级主要依靠人工结合机械实现，然而通过人工直观判断直径不好把握，人工分级误差非常大，且在分级过程中，工作繁琐，效率较低，容易对水果造成接触性损害，同时存在较强的主观因素，此类传统分级方法已不能满足水果分级的需要。
近年来，分级方法逐渐转向机器视觉方向，可实现无损分级，且具有高效率，高准确性的特点，现如今机器视觉技术广泛运用于产品分级，如鸡蛋、柑橘、梨等，而对于水果这种品种繁多，大小形状不一、结构较复杂的水果研究较少。
采用机器视觉检测物体的特征信息及分级的研究众多，张庆怡等通过机器视觉技术实现苹果大小和腐烂面积的检测【张庆怡,顾宝兴,姬长英,等.苹果在线分级系统设计与试验[J]．华南农业大学学报，2017，38( 4) : 117-124．】；李龙等在基于机器视觉苹果外观品质检测中，对苹果运动状态下的图像进行提取和合成，随后对图像进行高斯滤波，大律法二值化以及轮廓提取处理，并轮廓进行圆拟合处理，利用拟合圆直径得到该苹果的大小【李龙，彭彦昆,李永玉. 水果内外品质在线无损检测分级系统设计与试验[J]. 农业工程学报，2018，34(9)：267-275.】；陈艳军等设计了一套基于机器视觉技术的苹果分选系统，通过扫描提取轮廓，提出了以苹果轮廓线上两点之间的最大距离作为分级标准和以苹果最大横截面直径【陈艳军,张俊熊,李伟,任永新,谭豫之.基于机器视觉的苹果最大横截面直径分级方法[J].农业工程学报,2012,28(2)：284-288】；黄辰等借助机器视觉技术动态采集苹果传输过程中的实时图像提出改进的三层Canny边缘检测算法来提取苹果轮廓【黄辰,费继友.基于图像特征融合的苹果在线分级方法[J].农业工程学报,2017,33(1)：285-291】；赵娟等设计了一套基于机器视觉技术检测水果外观缺陷的系统，该系统主要包括单通道在线传送装置、图像采集装置及分选装置，利用数字处理方法分析苹果表面的缺陷，提出利用面积比来判断水果缺陷大小，苹果表面缺陷的总检测正确率为92.5%【赵娟, 彭彦昆,SAGARDHAKAL等.基于机器视觉的苹果外观缺陷在线检测[J]. 农业机械学报, 2013, 44(1): 260-263.】；牛晓颖等介绍了水果内外部品质检测的近红外、机器视觉和信息融合技术，近红外技术用于水果成熟度、坚实度、可溶性固形物和内部缺陷等内部品质的检测，机器视觉用于水果大小、形状、颜色、表面缺陷等外部品质的检测【牛晓颖、贡东军、王艳伟等基于近红外光谱和化学计量学的李果实成熟度鉴别方法研究[J]. 现代食品科技,2014,30(12):230-234】；张玉华等介绍了水果内外部品质检测的近红外、机器视觉和信息融合技术，近红外技术用于水果成熟度、坚实度、可溶性固形物和内部缺陷等内部品质的检测,机器视觉用于水果大小、形状、颜色、表面缺陷等外部品质的检测【张玉华、孟一、张明岗等基于近红外、机器视觉及信息融合的水果综合品质检测[J].食品工业,2018,39(11):247-250】；虽然机器视觉检测水果的特征参数已有众多研究，但主要侧重于算法，对于分级最重要的要素水果大小检测、颜色研究极少，少有对于水果大小检测的研究，精度不高。
发明内容
本发明所解决的技术问题在于提供一种基于正交双目机器视觉的水果分级装置，以解决上述背景技术中的缺点。
本发明所解决的技术问题采用以下技术方案来实现：
基于正交双目机器视觉的水果分级装置，包括第一工业相机、第二工业相机、密封箱体、第一水果横向中心位置检测机构、第二水果横向中心位置检测机构、显示处理主机及电机，其中，待测水果置于设置在密封箱体底板上的传送带上，电机与传送带连接，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构设置在传送带两侧，密封箱体的上部安装有第一工业相机，密封箱体的右侧安装有第二工业相机，且第一工业相机与第二工业相机的中轴线正交；同时内置有图像采集模块的第一工业相机和第二工业相机分别与显示处理主机连接，显示处理主机内置有用于对图像实时进行处理的图像处理模块，第二水果横向中心位置检测机构上设置有用于进行计时的计时器。
在本发明中，第一工业相机与第二工业相机上分别安装有用于补光的光源，且光源为无极调光灯源。
在本发明中，密封箱体采用黑色材质制成，使背景色简单化，易于与待测水果区分，便于图像处理得到完整的水果轮廓图。
在本发明中，密封箱体、显示处理主机及电机分别安装在机架上。
在本发明中，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构上分别设置有用于检测待测水果位置的触碰传感器。
在本发明中，设置在传送带两侧的第一水果横向中心位置检测机构和第二水果横向中心位置检测机构分别安装在机架上，且第二水果横向中心位置检测机构位于相机拍照中心点下方。
在本发明中，电机带动传送带以速度为V匀速转动时，待测水果经第一水果横向中心位置检测机构与第二水果横向中心位置检测机构检测后被输送至准确的待拍照位置，假设第一水果横向中心位置检测机构距离相机拍照中心点为S，待测水果前端触发第一水果横向中心位置检测机构的时间为t1，待测水果后端触发第一水果横向中心位置检测机构的时间为t2，则可计算出待测水果的果径约为R=V*(t2-t1)，待测水果继续向前传送，当待测水果前端运动至第二水果横向中心位置检测机构时触发第二水果横向中心位置检测机构，启动计时器开始计时，可计算出待测水果横向中心到拍照中心需要的传送时间为t3=（t2-t1）/2，在相应的时间停止输送带运动，即实现待测水果横向中心与相机拍照中心对齐，第一工业相机和第二工业相机的图像采集模块开始启动采集图像，而后将采集的待测水果图像传送至显示处理主机的图像处理模块，图像处理模块开始处理待测水果图像，图像处理流程如下：
a、读取待测水果彩色图像；
b、图像灰度化：通过对待测水果彩色图像进行R分量提取得灰度图，同时记录水果外观有无明显损伤；
c、R分量转换HSI分量：HSI分量由H、S、I三个分量组成，其中，H分量表示为物体的颜色，S分量表示物体颜色的饱和度，S值越大则颜色越深，I分量表示为物体的亮度，I值越大则亮度越高，S分量和I分量都受到光源影响，故选用HSI分量中的H分量作为水果颜色的分级依据；
d、二值化处理：通过二值化处理，使检测对象与背景较为明显地凸显出来，提取R分量后的图像已经是一个灰度图，采用graythresh函数，使用最大类间方差法找到最佳阈值，采用最佳阈值进行二值化处理，可得到理想的二值化效果图；
e、降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域，得出较为准确的结果，可返回一个相同大小的矩阵、连通区域数量，只输出最大连通区域，可有效地去除噪声；
f、轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后图像进行运算，经过膨胀操作后物体边界会向外部扩张，变粗变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到标准轮廓图；
g、轮廓拟合：对提取的标准轮廓图进行轮廓拟合，得到清晰的轮廓曲线；
h、MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，以实现像素坐标至实际坐标的转化，提取俯视图像的果径R1、侧视图像果径R2，同时计算R1和R2的比值；
建立水果分级模型进行分级，水果分级模型由三个要素构成，分别是果径大小、水果颜色、水果形状，三个特征量均由图像处理模块中的图像预处理得出，R1、R2值越大，说明水果果径越大，则水果越大，HSI分量中H值越大，则说明水果颜色越深，R1和R2的比值越接近1则说明水果形状越接近圆形，分级结果将显示在显示处理主机的人机交互界面。
有益效果：
1）本发明利用机器视觉技术，能够精确提取水果特征参数（果径、HSI分量、R1和R2比值）；
2）本发明分级标准统一，测量误差小；
3）本发明利用图像处理技术实现无损检查，检测速度快；
4）本发明双目机器视觉正交拍摄的方式，同时捕获取待测水果的俯视面、侧视面图像，可准确获得水果图像的特征数据，有效提高测量精度；
5）本发明设计一种全新的图像采集算法，提取的图片直径大小与实际大小的比值（高度比例系数）和高度H的线性关系K=0.1007*H+0.9264，用于校准果径面的测量数据，为水果的分级研究与算法优化提供重要数据支持；
6）本发明检测果径平均测量误差为 1.84mm，分级准确率达97%，试验精度较高，能够很好的反映水果实际果径大小及外观品质，为水果的自动化分级研究提供可靠依据。
附图说明
图1为本发明的较佳实施例的正视图。
图2为本发明的较佳实施例中的图像处理流程示意图。
图3为本发明的较佳实施例的侧视图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1～图3的基于正交双目机器视觉的水果分级装置，包括第一工业相机1、第一光源2、密封箱体3、待测水果4、第一水果横向中心位置检测机构5、传送带6、第二水果横向中心位置检测机构7、第二光源8、第二工业相机9、显示处理主机10及电机11，其中，待测水果4置于设置在密封箱体3底板上的传送带6上，传送带6与电机11连接，第一水果横向中心位置检测机构5和第二水果横向中心位置检测机构7设置在传送带6两侧，由电机11控制传送带6转动，经第一水果横向中心位置检测机构5与第二水果横向中心位置检测机构7检测后将水果输送到准确的待拍照位置；在密封箱体3的上部安装有第一工业相机1，在密封箱体3的右侧安装有第二工业相机9，且第一工业相机1与第二工业相机9的中轴线正交；第一工业相机1上安装有第一光源2，第二工业相机9上安装有第二光源8，且内置有图像采集模块的第一工业相机1和第二工业相机9分别通过千兆通信数据线连接显示处理主机10，显示处理主机10内置有图像处理模块，对图像实时进行处理；
密封箱体3、显示处理主机10及电机11分别安装在机架上；
第一水果横向中心位置检测机构5和第二水果横向中心位置检测机构7上分别设置有触碰传感器，用于检测待测水果4的位置；
电机11带动传送带6以速度为V匀速转动时，第一水果横向中心位置检测机构5安装在机架上，距离相机拍照中心点为S，第二水果横向中心位置检测机构7安装在机架上，位于相机拍照中心点下方，待测水果4运动至第一水果横向中心位置检测机构5时触发第一水果横向中心位置检测机构5，假设待测水果4前端触发第一水果横向中心位置检测机构5的时间为t1，待测水果4后端触发第一水果横向中心位置检测机构5的时间为t2，则可计算出待测水果4的果径约为R=V*(t2-t1)，待测水果4继续向前传送，当待测水果4前端运动至第二水果横向中心位置检测机构7时触发第二水果横向中心位置检测机构7，启动计时器开始计时，可计算出待测水果4横向中心到拍照中心需要的传送时间为t3=（t2-t1）/2，在相应的时间停止输送带6运动，即实现待测水果4横向中心与相机拍照中心对齐，图像采集模块开始启动；
密封箱体3采用黑色材质制成，使背景色简单化，易于与待测水果4区分，便于图像处理得到完整的水果轮廓图，第一光源2与第二光源8采用无极调光灯源，实现无极调光，能更好地获取最适光照强度，提供良好的检测光环境，内径28mm、60mm，用于补光配合，以获取更清晰的图像；所述第一工业相机1和第二工业相机9采用高清免驱500万像素工业相机，镜头为高清300万像素1/2C接口手动变焦6-12mm相机镜头；
如图2所示，其进行图像处理流程如下：
a、读取彩色图像；
b、图像灰度化：通过对彩色图像进行R分量提取，得到一个包含丰富水果表面的灰度图，同时记录水果外观有无明显损伤；
c、R分量转换HSI分量：HSI分量由H、S、I三个分量组成，其中，H分量表示为物体的颜色，S分量表示物体颜色的饱和度，S值越大则颜色越深，I分量表示为物体的亮度，I值越大则亮度越高，S分量和I分量都受到光源影响，故选用HSI分量中的H分量作为水果颜色的分级依据；
d、二值化处理：通过二值化处理，使检测对象与背景较为明显地凸显出来，提取R分量后的图像已经是一个灰度图，采用graythresh函数，使用最大类间方差法找到最佳阈值，采用最佳阈值进行二值化处理，以得到理想的二值化效果图；
e、降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域，得出较为准确的结果，可返回一个相同大小的矩阵、连通区域数量，只输出最大连通区域，可有效地去除噪声；
f、轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后图像进行运算，经过膨胀操作后物体边界会向外部扩张，变粗变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到标准轮廓图；
g、轮廓拟合：对提取的标准轮廓图进行轮廓拟合，得到清晰的轮廓曲线；
h、MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，以实现像素坐标至实际坐标的转化，提取俯视图像果径R1、侧视图像果径R2，同时计算R1和R2的比值；
水果分级模型由三个要素构成，分别是果径大小、水果颜色、水果形状，三个特征量均由图像处理模块中的图像预处理得出，R1、R2值越大，说明水果果径越大，则水果越大，HSI分量中H值越大，则说明水果颜色越深，R1和R2的比值越接近1则说明水果形状越接近圆形，分级结果将显示在显示处理主机10的人机交互界面。
在进行正交双目机器视觉测定之前，首先进行基于单目机器视觉的高度比列系数测定实验方法，以获得提取的图片直径大小与实际大小比值、高度H的线性关系：镜头在拍摄待测水果时存在一个物距D，研究发现，同一待测水果在不同物距D下拍摄，待测水果轮廓的提取数据各不相同；通过对待测水果的轮廓提取研究发现，物距D为镜头与最大果径面之间的距离，由于实际测量中，待测水果放置面与镜头之间距离为定值L，而待测水果的最大果径面高度为H，因此待测水果的物距D= L-H，当选用不同水果进行研究时，果径面高度不尽相同，因此物距D也不同，为准确提取待测水果的轮廓数据，预先设置高度比例系数，对同一待测水果在不同高度H下形成的图像大小之间的关系进行定量分析，以得出图片直径大小与实际大小比值、高度H的线性关系；通过MATLAB数学处理软件对所测得的数据进行分析处理，得到待测水果图片直径大小与其实际大小的比值（高度比例系数）K和高度H的关系，随着待测水果高度H的增加，比值K逐渐增大，以水平升降台初始平面高度为高度零点，得到线性关系K=0.1007*H+0.9264，这对水果的分级研究与算法优化提供重要数据支持；
而后采用双目机器视觉，以正交拍摄的方式，同时捕获取待测水果的俯视面、侧视面图像，对相机所拍摄的图片，利用MATLAB算法经过去背景、R分量提取、R分量转换HSI分量、二值化、空洞填充、中值滤波等处理后，得到如图3所示，第一工业相机1拍摄的图片轮廓图和第二工业相机9拍摄的图片轮廓图，与水果实际轮廓较为吻合，分别利用单目机和正交双目机进行试验，单目机试验中，设定待测水果4平均高度为3cm，双目机试验中，每次通过侧方轮廓图计算高度，对误差值对比分析得出，正交双目机测量结果更接近实际值，本实施例中待测水果4样品为红富士苹果，随机选择100个实验样本进行分析，结果与人工标准进行对比，果径测量误差在1.84～2.00mm间，综合分级率约为97%，分级准确率较高。
Claims (7)
1.基于正交双目机器视觉的水果分级装置，包括第一工业相机、第二工业相机、密封箱体、第一水果横向中心位置检测机构、第二水果横向中心位置检测机构、显示处理主机及电机，其特征在于，待测水果置于设置在密封箱体底板上的传送带上，电机与传送带连接，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构设置在传送带两侧，密封箱体的上部安装有第一工业相机，密封箱体的右侧安装有第二工业相机，且第一工业相机与第二工业相机的中轴线正交；同时内置有图像采集模块的第一工业相机和第二工业相机分别与显示处理主机连接，显示处理主机内置有用于对图像实时进行处理的图像处理模块，第二水果横向中心位置检测机构上设置有用于进行计时的计时器；
进行水果分级的步骤为：A、由传送带传输待测水果；B、利用第一水果横向中心位置检测机构和第二水果横向中心位置检测机构确定待测水果的拍照位置；C、对待测水果进行图像采集；D、对采集的图像进行处理；E、根据水果分级模型对待测水果分级；
利用第一水果横向中心位置检测机构和第二水果横向中心位置检测机构确定待测水果的拍照位置具体流程如下：电机带动传送带以速度为V匀速转动时，待测水果经第一水果横向中心位置检测机构与第二水果横向中心位置检测机构检测后被输送至准确的待拍照位置，假设第一水果横向中心位置检测机构距离相机拍照中心点为S，待测水果前端触发第一水果横向中心位置检测机构的时间为t1，待测水果后端触发第一水果横向中心位置检测机构的时间为t2，则计算出待测水果的果径约为R=V*(t2-t1)，待测水果继续向前传送，当待测水果前端运动至第二水果横向中心位置检测机构时触发第二水果横向中心位置检测机构，启动计时器开始计时，以计算出待测水果横向中心到拍照中心需要的传送时间为t3=（t2-t1）/2，在相应的时间停止输送带运动，即实现待测水果横向中心与相机拍照中心对齐，进而确定待测水果的拍照位置；
对采集的图像进行处理具体流程如下：
a、读取待测水果彩色图像；
b、对待测水果彩色图像进行R分量提取得灰度图，同时记录水果外观有无明显损伤；
c、进行R分量转换HSI分量：HSI分量由H、S、I三个分量组成，其中，H分量表示为物体的颜色，S分量表示物体颜色的饱和度，S值越大则颜色越深，I分量表示为物体的亮度，I值越大则亮度越高，S分量和I分量都受到光源影响，故选用HSI分量中的H分量作为水果颜色的分级依据；
d、对提取R分量后的图像采用最佳阈值进行二值化处理得二值化效果图；
e、对二值化效果图进行降噪处理；
f、运用腐蚀、膨胀等的数学模型，直接对降噪后图像进行运算得到标准轮廓图；
g、对提取的标准轮廓图进行轮廓拟合；
h、将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，以实现像素坐标至实际坐标的转化，提取俯视图像的果径R1、侧视图像果径R2，同时计算R1和R2的比值；
将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，在通过MATLAB算法计算待测水果果径；
水果分级模型由三个要素构成，分别是果径大小、水果颜色、水果形状，三个特征量均由图像处理模块中的图像预处理得出，R1、R2值越大，说明水果果径越大，则水果越大，HSI分量中H值越大，则说明水果颜色越深，R1和R2的比值越接近1则说明水果形状越接近圆形，分级结果将显示在显示处理主机的人机交互界面。
2.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，第一工业相机与第二工业相机上分别安装有用于补光的光源，且光源为无极调光灯源。
3.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，密封箱体采用黑色材质制成。
4.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，密封箱体、显示处理主机及电机分别安装在机架上。
5.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，第一水果横向中心位置检测机构和第二水果横向中心位置检测机构上分别设置有用于检测待测水果位置的触碰传感器。
6.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，设置在传送带两侧的第一水果横向中心位置检测机构和第二水果横向中心位置检测机构分别安装在机架上。
7.根据权利要求1所述的基于正交双目机器视觉的水果分级装置，其特征在于，第二水果横向中心位置检测机构位于相机拍照中心点下方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910520316.6A CN110146516B (zh) | 2019-06-17 | 2019-06-17 | 基于正交双目机器视觉的水果分级装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910520316.6A CN110146516B (zh) | 2019-06-17 | 2019-06-17 | 基于正交双目机器视觉的水果分级装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110146516A true CN110146516A (zh) | 2019-08-20 |
| CN110146516B CN110146516B (zh) | 2024-04-02 |
Family
ID=67591473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910520316.6A Active CN110146516B (zh) | 2019-06-17 | 2019-06-17 | 基于正交双目机器视觉的水果分级装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110146516B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991469A (zh) * | 2019-12-30 | 2020-04-10 | 西南大学 | 一种水果可溶性固形物在线检测方法及系统 |
| CN111079530A (zh) * | 2019-11-12 | 2020-04-28 | 青岛大学 | 一种成熟草莓识别的方法 |
| CN111076670A (zh) * | 2019-12-03 | 2020-04-28 | 北京京仪仪器仪表研究总院有限公司 | 一种苹果内外品质在线无损检测方法 |
| CN111096341A (zh) * | 2019-12-31 | 2020-05-05 | 佛山科学技术学院 | 一种基于机器视觉的月饼全自动烘烤设备及方法 |
| CN111257340A (zh) * | 2020-03-27 | 2020-06-09 | 河海大学常州校区 | 一种精密相机模组的表面缺陷检测装置 |
| CN111513343A (zh) * | 2020-04-21 | 2020-08-11 | 广州番禺职业技术学院 | 一种用于开心果裂壳加工的智能机械装备及其控制方法 |
| CN117422757A (zh) * | 2023-10-31 | 2024-01-19 | 安徽唯嵩光电科技有限公司 | 一种果蔬大小分选方法、装置、计算机设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010008303A1 (en) * | 2008-07-15 | 2010-01-21 | Anzpac Systems Limited | Improved method and apparatus for article inspection |
| CN101912847A (zh) * | 2010-08-02 | 2010-12-15 | 扬州福尔喜果蔬汁机械有限公司 | 基于dsp机器视觉的水果分级系统及方法 |
| CN202010662U (zh) * | 2011-01-07 | 2011-10-19 | 昆明理工大学 | 水果外观品质实时检测分级系统装置 |
| WO2012039597A2 (en) * | 2010-09-23 | 2012-03-29 | Universiti Putra Malaysia | Fruit ripeness grading system |
| CN207071548U (zh) * | 2017-05-12 | 2018-03-06 | 中国热带农业科学院农产品加工研究所 | 水果的分级检测设备以及水果分级系统 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣系统 |
| CN208513101U (zh) * | 2018-07-19 | 2019-02-19 | 湖南农业大学 | 一种双面视觉检测芒果分级装置 |
| CN110174065A (zh) * | 2019-06-17 | 2019-08-27 | 湖南农业大学 | 基于正交双目机器视觉的水果大小无损检测方法 |
| CN210071686U (zh) * | 2019-06-17 | 2020-02-14 | 湖南农业大学 | 基于正交双目机器视觉的水果分级装置 |
-
2019
- 2019-06-17 CN CN201910520316.6A patent/CN110146516B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010008303A1 (en) * | 2008-07-15 | 2010-01-21 | Anzpac Systems Limited | Improved method and apparatus for article inspection |
| CN101912847A (zh) * | 2010-08-02 | 2010-12-15 | 扬州福尔喜果蔬汁机械有限公司 | 基于dsp机器视觉的水果分级系统及方法 |
| WO2012039597A2 (en) * | 2010-09-23 | 2012-03-29 | Universiti Putra Malaysia | Fruit ripeness grading system |
| CN202010662U (zh) * | 2011-01-07 | 2011-10-19 | 昆明理工大学 | 水果外观品质实时检测分级系统装置 |
| CN207071548U (zh) * | 2017-05-12 | 2018-03-06 | 中国热带农业科学院农产品加工研究所 | 水果的分级检测设备以及水果分级系统 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣系统 |
| CN208513101U (zh) * | 2018-07-19 | 2019-02-19 | 湖南农业大学 | 一种双面视觉检测芒果分级装置 |
| CN110174065A (zh) * | 2019-06-17 | 2019-08-27 | 湖南农业大学 | 基于正交双目机器视觉的水果大小无损检测方法 |
| CN210071686U (zh) * | 2019-06-17 | 2020-02-14 | 湖南农业大学 | 基于正交双目机器视觉的水果分级装置 |
Non-Patent Citations (3)
| Title |
|---|
| 刘新庭，匡迎春，陈熵，欧明文，曾文辉: "基于最小外接圆直径的苹果分级研究", 中国农学通报, vol. 31, no. 20, 31 December 2015 (2015-12-31) * |
| 曹乐平;何建湖;黄中培;陶甲寅;: "基于计算机视觉的图像采集对水果分级准确率的影响", 西北农业学报, no. 01, 16 January 2008 (2008-01-16) * |
| 蔡明军;聂高乾;周辉;丁莉芬;: "基于机器视觉的苹果缺陷识别自动分拣包装系统", 自动化应用, no. 08, 25 August 2018 (2018-08-25) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079530A (zh) * | 2019-11-12 | 2020-04-28 | 青岛大学 | 一种成熟草莓识别的方法 |
| CN111076670A (zh) * | 2019-12-03 | 2020-04-28 | 北京京仪仪器仪表研究总院有限公司 | 一种苹果内外品质在线无损检测方法 |
| CN111076670B (zh) * | 2019-12-03 | 2021-06-08 | 北京京仪仪器仪表研究总院有限公司 | 一种苹果内外品质在线无损检测方法 |
| CN110991469A (zh) * | 2019-12-30 | 2020-04-10 | 西南大学 | 一种水果可溶性固形物在线检测方法及系统 |
| CN110991469B (zh) * | 2019-12-30 | 2022-08-12 | 西南大学 | 一种水果可溶性固形物在线检测方法及系统 |
| CN111096341A (zh) * | 2019-12-31 | 2020-05-05 | 佛山科学技术学院 | 一种基于机器视觉的月饼全自动烘烤设备及方法 |
| CN111257340A (zh) * | 2020-03-27 | 2020-06-09 | 河海大学常州校区 | 一种精密相机模组的表面缺陷检测装置 |
| CN111257340B (zh) * | 2020-03-27 | 2022-11-22 | 河海大学常州校区 | 一种精密相机模组的表面缺陷检测装置 |
| CN111513343A (zh) * | 2020-04-21 | 2020-08-11 | 广州番禺职业技术学院 | 一种用于开心果裂壳加工的智能机械装备及其控制方法 |
| CN111513343B (zh) * | 2020-04-21 | 2021-11-05 | 广州番禺职业技术学院 | 一种用于开心果裂壳加工的智能机械装备及其控制方法 |
| CN117422757A (zh) * | 2023-10-31 | 2024-01-19 | 安徽唯嵩光电科技有限公司 | 一种果蔬大小分选方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110146516B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110146516A (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN102713582B (zh) | 抛光的宝石中的夹杂物检测 | |
| CN106409711B (zh) | 一种太阳能硅晶片缺陷检测系统及方法 | |
| CN210071686U (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN102374993B (zh) | 集成电路封装片三维引脚外观检测单元的检测方法 | |
| CN102495069B (zh) | 一种基于数字图像处理的拉链链带缺陷检测方法 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| CN102147402A (zh) | 机器视觉技术快速检测鸡蛋新鲜度的方法 | |
| CN110403232B (zh) | 一种基于二级算法的烟支质量检测方法 | |
| CN207185897U (zh) | 一种全烟支外观质量在线检测装置及其卷烟机 | |
| CN101949686A (zh) | 水果内外综合品质在线无损检测方法及装置 | |
| CN110174065B (zh) | 基于正交双目机器视觉的水果大小无损检测方法 | |
| CN105891233A (zh) | 基于机器视觉的镜片表面缺陷智能检测系统及其实现方法 | |
| CN112184648A (zh) | 一种基于深度学习的活塞表面缺陷检测方法及系统 | |
| CN106248680A (zh) | 一种基于机器视觉的电机换向器质量检测系统及检测方法 | |
| CN109507205A (zh) | 一种视觉检测系统及其检测方法 | |
| CN201094003Y (zh) | 基于机器视觉的瓷砖检测专用装置 | |
| CN105160754A (zh) | 基于高度测量的硬币表面质量检测装置及其检测方法 | |
| CN106353340A (zh) | 一种棒状高反射率零件表面缺陷检测方法 | |
| CN107891012B (zh) | 基于等效算法的珍珠大小及圆形度分拣装置 | |
| CN115684208A (zh) | 一种avi检测机的上下料自动控制系统 | |
| CN106596562A (zh) | 基于机器视觉的磁环外观质量在线检测装置及方法 | |
| CN109461156A (zh) | 基于视觉的螺纹密封塞装配检测方法 | |
| CN114002234A (zh) | 一种简易的瓷砖表面缺陷检测装置及方法 | |
| Li et al. | The method for glass bottle defects detecting based on machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |