CN115545383A - 一种草莓脆外观品质的双目立体视觉检测方法 - Google Patents

一种草莓脆外观品质的双目立体视觉检测方法 Download PDF

Info

Publication number
CN115545383A
CN115545383A CN202210390077.9A CN202210390077A CN115545383A CN 115545383 A CN115545383 A CN 115545383A CN 202210390077 A CN202210390077 A CN 202210390077A CN 115545383 A CN115545383 A CN 115545383A
Authority
CN
China
Prior art keywords
strawberry
crisp
image
binocular
appearance quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210390077.9A
Other languages
English (en)
Inventor
潘磊庆
朱太海
杨军
陈飞
范安琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu China Palarich Co ltd
Original Assignee
Jiangsu China Palarich Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu China Palarich Co ltd filed Critical Jiangsu China Palarich Co ltd
Publication of CN115545383A publication Critical patent/CN115545383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种草莓脆外观品质的双目立体视觉检测方法,包括下列步骤:1)选择草莓脆样品;2)利用体积置换法对草莓脆进行体积测量;3)采用模糊数学法建立上述草莓脆样品进行感官评价模型;4)搭建双目立体视觉系统来采集草莓脆的双目图像;5)采用图像处理软件;6)利用立体匹配算法对双目图像中对应的像素点进行匹配;7)进行数据处理;8)对分析后的草莓脆建立图像提取体积与实测体积的回归预测模型;9)特征数据分别导入PLS‑DA、SVM‑C和VGG16这三种模型中;10)对PLS‑DA、SVM‑C和VGG16这三种模型进行验证;11)确立最优的草莓脆外观品质分级模型。

Description

一种草莓脆外观品质的双目立体视觉检测方法
技术领域
本发明涉及农产品质量评价和快速无损检测技术领域,尤其是一种草莓脆外观品质的双目立体视觉检测方法。
背景技术
草莓酸甜可口,营养丰富,含有维生素C、维生素A、维生素B1、纤维素、叶酸、铁、钙与花青素等多种营养物质。我国是草莓生产大国,草莓年产量在世界位居前列。随着经济发展和生活水平的提高,消费者的需求呈现出个性化、多元化的发展趋势,而我国的草莓产业主要以鲜食草莓为主,草莓深加工产业起步较晚,产品种类和数量较少。新鲜草莓由于外表柔软、水分含量高,易受到机械损伤或微生物侵袭而腐烂变质,保鲜期短,大大降低了草莓的营养品质和商业价值。
草莓脆是草莓精深加工产品之一,能够最大程度地保留住草莓的营养、色泽和风味,同时还具有口感酥脆、安全可靠、便于携带等特点。我国的冻干草莓产业目前正处于起步阶段,有关草莓脆的研究大多数集中于草莓脆的加工工艺、加工成脆片的草莓品种筛选等,针对成品草莓脆的检测、分级研究相对来说较少。而消费者在挑选草莓脆时的首选因素是草莓脆的形态是否完整、个头是否足够大,这对草莓脆的外观品质快速检测及分级提出了新的挑战。目前,我国对于草莓脆的外观品质分级没有实行统一的标准,对草莓脆的分选主要依靠人工经验,不仅容易造成主观性误差,而且耗时耗力,无法实现分级销售、优质优价,因此研究快速、无损的品质检测方法对于草莓脆产业来说具有重要意义。
如今有许多研究采取不同方法针对果蔬品质展开检测与分级,计算机视觉技术作为无损检测方法的一种,能够在保证果蔬品质的同时,减少人工成本,提高检测效率。双目立体视觉技术作为计算机视觉技术的重要分支,可以通过双目图像进行立体匹配从而获取目标物体的三维信息,近年来被广泛应用于水果的识别定位、采摘机器人研发、果蔬品质检测以及农作物的生长状态监测等。
发明内容
为了解决上述现有技术的不足,本发明提供了一种草莓脆外观品质的双目立体视觉检测方法,以解决现有技术对草莓脆外观品质的检测分级费时费力、主观性强、破坏样品、无法快速检测的问题。
为了达到上述目的,本发明采用的技术方案为:
一种草莓脆外观品质的双目立体视觉检测方法,包括下列步骤:
1)选择草莓脆样品,然后将样品运至实验室后用铝箔袋密封包装并放入食品专用干燥剂,置于阴凉干燥的环境中保存备用,然后随机挑选草莓脆样品用于试验,并分为建模集与验证集;
2)在确立草莓脆实际分级标准前,先利用体积置换法对草莓脆进行体积测量;
3)采用模糊数学法建立上述草莓脆样品进行感官评价模型,并建立三个有效的外观品质分级标准等级;
4)搭建双目立体视觉系统来采集草莓脆的双目图像;
5)采用图像处理软件对所述步骤4)中采集的图像进行剪裁、灰度转化、图像分割及形态学处理;
6)利用立体匹配算法对双目图像中对应的像素点进行匹配,并提取图像中草莓脆的体积、颜色、形状和纹理特征参数;
7)进行数据处理,对草莓脆实测体积与预测体积进行Pearson相关性分析,探究两者之间相关性的大小;
8)进行实测体积的回归预测模型;
9)将基于双目图像提取的草莓脆外观品质特征数据分别导入PLS-DA、SVM-C和VGG16这三种模型中,建立基于双目图像的草莓脆外观品质分级模型;
10)对PLS-DA、SVM-C和VGG16这三种模型进行验证,获取各自的准确率;
11)通过比较3种模型建模集和预测集的分级准确率以及总体分级准确率,确立最优的草莓脆外观品质分级模型。
进一步,所述步骤1)中至少挑选240个草莓脆样品,且其中180个样品用于模型构建,60个样品用于模型验证。
进一步,所述步骤2)中的体积置换法采用石英砂体积置换法来测定草莓脆的实际体积,其中石英砂规格为80~120目。
进一步,所述步骤3)中的感官评价包括大小、形状、纹理和颜色4个因素,其确立为因素集U,模糊数学法模型除了因素集U还包括包括评语集的确立、权重集的确立、模糊关系综合评判集的确立。
进一步,所述步骤4)中的双目立体视觉系统包括两台参数相同的工业相机、两个镜头、用于放置相机的铝架和计算机。
进一步,所述步骤4)中采用的相机为FLIR的BFS-U3-13Y3C-C相机,且相机镜头选择Computar的M1614-MP2定焦镜头,且规格为16mm。
进一步,所述步骤4)中采用的模型为两台相机光轴平行且与基线垂直的平行式模型。
进一步,所述步骤5)中采用Matlab软件进行图像处理,同时其参数设置为曝光时间8000、增益5dB、帧率150fps、亮度10。
进一步,所述步骤6)中采用局部立体匹配算法对双目图像进行立体匹配,然后提取图像中草莓脆的像素体积作为大小特征,R、G、B、H颜色分量的均值作为颜色特征,果形指数和前20项傅里叶描述子作为形状特征,对比度、相关性、角二阶矩和逆差矩作为纹理特征。
进一步,所述步骤7)中根据建模集决定系数Rc 2、建模集均方根误差RMSEC、预测集决定系数Rp 2、预测集均方根误差RMSEP和验证集标准偏差与预测标准偏差的比值RPD评判模型性能。
与现有技术相比,本发明的优点:
1.本发明提供的一种草莓脆外观品质的双目立体视觉检测方法,可以进行在线检测,快速、准确对生产线上草莓脆外观品质进行检测和分级,根据得到的草莓脆的外观品质等级进而实现分级销售、优质优价等目的;
2.本发明建立的草莓脆外观品质分级模型中,SVM-C模型的建模集和预测集的分级准确率均达90%以上,对各个等级的草莓脆预测效果较好,为草莓脆在线品质分级提供了新的技术手段;
3.本发明实现了对草莓脆外观品质的无损检测,建立了一套用于草莓脆外观品质检测的双目立体视觉装置,测试者不需要具备专业知识,操作简单、应用方便。
附图说明
图1为本发明的双目立体视觉检测方法的基本流程示意图;
图2为本发明的双目立体成像原理图;
图3为本发明的双目立体视觉系统示意图;
图4为本发明的R分量示意图;
图5为本发明的G分量示意图;
图6为本发明的B分量示意图;
图7为本发明的草莓脆二值化示意图;
图8为本发明的形态学处理后的二值示意图;
图9为本发明的草莓脆边界图像重建效果示意图;
图10为本发明的建模集中实测值与预测值的散点图;
图11为本发明的预测集中实测值与预测值的散点图;
图12为本发明的VGG16模型准确率示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
一种草莓脆外观品质的双目立体视觉检测方法,包括下列步骤:
1)精心挑选240个草莓脆样品,然后将样品运至实验室后用铝箔袋密封,包装并放入食品专用干燥剂,置于阴凉干燥的环境中保存备用,然后随机挑选其中180个样品用于模型构建、60个样品用于模型验证;
2)然后为了确立实际草莓脆的分级标准,需要对草莓脆的体积进行测量,由于草莓脆由草莓经脱水工艺加工而成,自重较轻,且形状不一,因此可选用采用石英砂体积置换法测定草莓脆的实际体积,石英砂采用规格为80-120目,其具体测量方法如下:
在量筒中加入部分石英砂,记录此时的量筒刻度数为v1,将草莓脆放入量筒中,继续向量筒中加石英砂,直到石英砂将草莓脆完全覆盖,记录此次加入石英砂的体积为v2,摇晃量筒使石英砂均匀分布,读取此时的量筒刻度记为v3,草莓脆的体积计算公式为:
v=v3-v2-v1
3)采用《基于模糊数学评价法优化木瓜脆片真空油炸工艺》中朱由珍的方法,挑选10名经过感官评定培训的10位食品专业的人员,参照下表1用模糊数学法对草莓脆的大小、形状、纹理和颜色4个因素进行感官评价,并设三个等级,如下表:
双目图像的草莓脆外部品质分级
Figure BDA0003596474830000061
在运用糊数学法模型时除了因素集U,还包括评语集的确立、权重集的确立、模糊关系综合评判集的确立,其中体积(u1)、形状(u2)、纹理(u3)和颜色(u4)作为感官评价指标,确定由四个指标组成的因素集,即U=(u1,u2,u3,u4);
权重集为各质量因素的权重系数的集合,10名感官评定员根据各因素在产品品质中的重要程度对草莓脆的大小、形状、纹理和颜色4个因素进行打分,所有指标总分为100分,统计所有打分,将各因素的得分之和除以所有指标总分100分,即得各因素的权重因子,得到权重集K=(0.4,0.3,0.2,0.1),对应的指标分别为大小、形状、纹理和颜色;
模糊关系综合评判集为Y=K×Ri,K为权重集,R为模糊矩阵,具体是10个感官评价员对样品的每个质量因素进行评价打分,然后统计每个质量因素在每个等级中的票数分布,将各等级的票数除以总人数得到样品的模糊关系矩阵;
综上,感官评价因素的等级分值如下表:
感官评价因素的等级赋值
Figure BDA0003596474830000071
其中,具体感官评价综合得分的计算公式:T=Y×(92.5,72.5,30),感官评价综合等级计算如下表:
感官评价综合等级
Figure BDA0003596474830000072
4)然后搭建双目立体视觉系统来采集草莓脆的双目图像,其中双目立体视觉系统包括2个相同型号的工业相机和镜头、支架、光源、暗箱和计算机组成,同时还需综合考虑相机与镜头的选择、相机摆放位置以及拍摄环境等因素;其中采用的相机为FLIR的BFS-U3-13Y3C-C相机,该相机体积小、功耗低,拍摄出的图像清晰,色彩还原度高的特点,其分辨率为1280×1024pix,选取Computar的M1614-MP2 16mm定焦镜头,该镜头的对比度、清晰度都较高,镜头与样本之间的距离为26cm,同时暗箱的内部尺寸为260×350×390mm,光源为8mm宽的LED白色灯带贴在暗箱顶处,灯带外套有光敏树脂材质灯罩,使光线变得更加均匀,计算机的CPU型号为Intel(R)Core(M)i7 10750H,运行内存为16G,操作系统为Windows 10(64位),利用双目相机采集冻干草莓图像,每个样品采集两张彩色图像,共采集720张图像,图像分辨率为1280×1024pix,存储为BMP格式;
本实施例采用两台相机光轴平行且与基线垂直的平行放置模式,其几何关系简单,方便后续的处理操作,成像原理如图2所示;
如图3所示,具体操作为:将两台相机(1)固定于暗箱上平行放置,镜头向下,同时与计算机连接(4),草莓脆放置于镜头正下方的样品台(3),暗箱用于固定相机并确保两台相机处于同一水平线上,同时两台相机之间的距离可以调节,从而适应不同拍摄场景的需要,暗箱用于避免外部环境光的干扰,暗箱顶部的四周装有白色灯带(2)作为光源,共采集720个草莓脆彩色图像,图像分辨率为1280×1024pix,存储为.bmp格式,通过对图像进行匹配,计算出图像中点的像素坐标,再根据成像几何模型求取物体的三维坐标信息,相比于单目图像只能得到物体的二维信息来说,双目图像经过处理后可以获得物体的三维几何信息;
5)使用在Matlab R2016a平台下开发的草莓脆检测分级软件,能够同时连接一台或两台相机,获取实时显示图像,并且可以进行相机参数调节,能够与Windows系统良好兼容,软件主界面中,分为图像显示模块、基础操作模块和参数调节模块,其中,基础操作模块包括初始化、截图、解除连接和更新参数,参数设置为:曝光时间8000,增益5dB,帧率150fps,亮度10;
草莓脆图像采集完成后,为了在后续纹理特征的提取过程中减少数据运算量,利用Matlab中的regionprops函数对原始图像进行裁剪,该函数能够获取图像中目标物体的最小外接矩形,并进行图像裁剪,可以在最大限度保留目标区域的同时去除图像中不必要的背景部分;
进行灰度理时,R、G、B三个分量的值是相等的,虽然图像中包含的信息比彩色图像少,却足以表示其大部分的特征,因此采用加权平均法进行灰度处理,这种方法将三种色彩的分量以不同的权值进行加权平均,各颜色分量的权重是结合人的亮度感知系统不断试验得出的,具有一定的科学性和广泛适用性,已经被推广并普遍使用,其公式为:I(x,y)=0.299R+0.587G+0.114B,x、y为像素坐标,I(x,y)为像素灰度值;
对图像进行分割,其主要的方法主要分为三种:基于区域的分割、基于边缘的分割和基于阈值的分割方法,本实施例采用基于阈值的分割方法,该方法的关键是确定阈值,因此采用双峰法进行图像分割能够很好地将背景与草莓脆分离开来,如图4至图6所示,可以看出,G分量的灰度直方图中双峰较为明显,选取双峰之间的谷底作为最佳阈值,设定阈值为70,大于70的像素点为样品像素,小于70的为背景像素,然后将背景像素灰度值设为0,并去除面积小于2000的连通域以去除背景的干扰;
对分割后的二值图像进行一系列形态学处理,主要包括括膨胀、腐蚀、开运算和闭运算,其中膨胀是减少图像中目标边缘的像素,而腐蚀是膨胀的逆运算,膨胀操作能够拓展二值图像中目标区域的轮廓,将位置较近的小区域连通,填充孔隙,图像经过腐蚀后,物体边缘收缩,变得平滑;开运算即对二值图像进行先腐蚀后膨胀的处理,而闭运算是将开运算中腐蚀与膨胀的顺序颠倒的操作。开运算处理后,物体边界中微小的“毛刺”被移除,边缘变得平滑;
而闭运算能够消除二值图像中细小的孔洞,填充凹陷,充实边界,图像中细小的裂痕能够被修复,如图7至图8所示;
6)利用立体算法中的局部算法根据某一像素点或其周围像素点的特性进行匹配,实时性好,计算复杂度低,选取基于区域的局部立体匹配算法,其指标通过为SAD(绝对差之和)、SSD(差值平方和)、Census变换,其中Census变换是通过比较待匹配像素与其相邻像素的灰度值,将灰度值的差值用二进制序列的汉明距离表示,当汉明距离越小,两个像素越相似,反之两个像素越不相似,SAD(绝对差之和)、SSD(差值平方和)公式如下:
CSAD=∑i,j∈w|IL(x+i,y+j)-IR(x+i+d,y+j)|
CSSD=∑i,j∈w(IL(x+i,y+j)-IR(x+i+d,y+j))2
其中,IL(x,y),IR(x,y)为左图与右图中坐标为(x,y)处的灰度值d为视差值,W为窗口;
匹配完成后进行特征提取,其特征由大小特征、形状特征、颜色特征、纹理特征及体积特征组成:
其中大小特征的提取通过采集一张2cm×2cm标准正方形的标定图像,利用Matlab软件分别求出草莓脆和标准正方形的像素面积,根据标准正方形的实际面积即可求得草莓脆的投影面积;
形状特征采用果形指数I和傅里叶描述子两个指标描述,其具体是果实纵径与横径的比值,其中纵径为由果实顶端到底部的最大长度,横径指果实赤道线的切断面直径,果形指数越大,草莓脆越接近圆锥形,将果形指数大于1.19的草莓脆为长圆锥形,果形指数在0.95~1.19之间的草莓脆为圆锥形,果形指数小于0.95的为短圆锥形或圆形;然后进行傅里叶描述子,首先对物体边界进行傅里叶变换,然后选取10个、20个和30个傅里叶系数重新对草莓脆边缘进行描述,如图9所示,图9的B中物体边界的描述比较模糊,而图C与图D的物体轮廓相差不大,所以采用前20项傅里叶描述子表达草莓脆的形状特征,用ai表示,即前20项傅里叶描述子可表示为a1,a2,…,a20;
颜色特征可以利用RGB颜色模型进行转化HIS颜色模型,由于光源和光照强度不变,所以只考虑草莓脆中H分量的变化,RGB颜色模型可以由以下公式转化为HIS颜色模型:
Figure BDA0003596474830000111
Figure BDA0003596474830000112
Figure BDA0003596474830000113
Figure BDA0003596474830000114
采用R、G、B、H颜色分量作为草莓脆的颜色特征参数,经过阈值分割后得到的二值图像中草莓脆部分为白色,其余部分为黑色,对原始图像进行掩膜,从而提取出草莓部分的颜色特征参数,再通过相关代码即可获取颜色值的均值,通过颜色模型之间的转换,可以获得不同颜色空间的信息,通过不同特征参数的组合,集合每个空间颜色表达的优点,从而更加全面、有效地表达水果表面颜色情况。
纹理特征提取采用灰度共生矩阵法,选取其中的对比度、相关性、能量和逆差矩作为草莓脆的纹理特征参数,然后利用Matlab进行提取,首先将RGB图像转换成灰度图像,然后求出0°、45°、90°、135°4个方向的共生矩阵,纹理特征参数即为对比度在4个方向共生矩阵的均值和标准差、相关性在4个方向共生矩阵的均值和标准差、能量在4个方向共生矩阵的均值和标准差以及逆差矩在4个方向共生矩阵的均值和标准差,共8个纹理特征参数,将其记为Tu,分别表示为T1,T2,…,T8;
进行体积特征提取,搭建的双目立体视觉系统为左右相机平行放置,因此根据平行放置的视觉模型结合相似三角形原理可以推导出,在左右相机距离固定的情况下,空间中一点距离相机越近,该点在左右相机成像平面上的位置相距越远,即图像中冻干草莓某一像素点位置的高度与该点在立体图像对中的视差成正比,再对所有采样点的视差求和获得冻干草莓的未标定体积,冻干草莓未标定体积具体提取方法包含(1)图像灰度值调整(2)采样点确定(3)左右目图像采样点匹配(4)冻干草莓三维模型建立(5)模型体积提取。
(1)图像灰度值调整
首先将左目图像和右目图像分别灰度化得到左目灰度图像和右目灰度图像,并计算出平均灰度值G1和G2,将右目灰度图像中的每个像素点的灰度值乘以G1/G2,获得调整后的右目灰度图像;
(2)采样点确定
将左目灰度图像从上往下每隔20像素点设置一条水平直线,从左到右每隔20像素点设置一条竖直直线,水平直线与竖直直线的各交点像素如果落在左目灰度图像的冻干草莓区域中,则将其选定为采样点;
(3)左右目图像采样点匹配
设某左目灰度图像中的采样点坐标为(x,y),获取采样点周围3×3的灰度矩阵A1:
Figure BDA0003596474830000121
G(x,y)为坐标为(x,y)点的灰度值。
(4)冻干草莓三维模型建立
使用各采样点与匹配点的横坐标之差的绝对值作为视差D(i,j):
D(i,j)=|xi,j-x′i,j|
D(i,j):第i,j个采样点的视差;i:采样点竖直方向个数;j:采样点水平方向个数;
然后建立一个长为i,宽为j的矩阵E,将D(i,j)中的元素赋值于对应位置的E(i,j)中,再将E中未赋值的元素赋值为0,然后使用5×5的中值滤波方法对E矩阵进行中值滤波,得到冻干草莓的三维模型;
(5)模型体积提取
对E矩阵中所有元素进行求和,即得到冻干草莓的体积。
7)数据的处理可采用常规的SVM、PLS-DA进行数据处理;
数据的处理还可以采用VGG16进行数据处理,其中VGG16模型是VGG模型中最常见的一种,其模型泛化能力和特征学习能力强,结构简单,模型中拥有大量可用来迁移的已训练好的权重参数,如图9所示,其具体处理方式为:利用双目立体视觉系统采集草莓脆的双目图像共1200张,每个等级各400张,按照6:2:2的比例随机对样本进行划分,得到训练集720张,校正集240张,测试集240张,由于训练集样本数有限,训练集扩充3倍,扩充后的训练集样本规模为2160,校正集和测试集样本用于检测模型,不进行增强,为了将图像输入VGG16模型,将图像裁剪为分辨率为224×224像素的RGB三通道彩色图像;
由于时效性要求较高,而对于精度要求不是很高,在进行体积转换之前,对草莓脆实测体积与预测体积进行Pearson相关性分析,其公式如下:
Figure BDA0003596474830000131
以240个草莓脆为研究对象,将利用置换法测定的实际体积与利用双目图像提取的体积进行Pearson相关性分析,如下表所示:
Pearson相关性分析
Figure BDA0003596474830000141
从表中可以看出,实测体积与提取体积的相关系数为0.992,说明实测体积与提取体积存在极显著正相关关系(P<0.01);
8)提取双目图像中建模集的体积数据后对数据进行一元回归分析,回归模型的方程式为y=0.9693x+1.0562,决定系数(Rc 2)较高,为0.9655,RMSEC为2.19cm3,如图10所示;对预测模型进行验证,草莓脆体积的预测决定系数(Rp 2)为0.9273,预测均方根误差(RMSEP)为3.44cm3,误差均在可接受范围内,RPD为3.67,说明模型的稳定性较好,精度能够满足要求,如图11所示;
9)提取草莓脆的各项特征参数,对不同样本的同一特征参数进行归一化处理后建模,建模集包括一等品51个,二等品64个,三等品65个,预测集中包括一等品、二等品、三等品各20个,将基于双目图像提取的草莓脆外观品质特征数据(即草莓脆的像素体积,R、G、B、H颜色分量的均值,果形指数和前20项傅里叶描述子,对比度、相关性、角二阶矩和逆差矩)分别导入PLS-DA、SVM-C和VGG16这三种模型中,建立基于双目图像的草莓脆外观品质分级模型,运用连续投影算法(SPA)对冻干草莓的34个特征参数进行筛选。其中,冻干草莓体积V在第1列,R、G、B、H分量均值在第2~5列,果形指数I在第6列,前20项傅里叶系数a1-a20在第7~26列,对比度、相关性、能量和标准差的均值和标准差T1-T8在第27~34列。处理前指定最终筛选结果的最小变量数为1,最大变量数为10。最终选择2个特征值作为输出结果,分别为体积和R颜色分量;
10)对PLS-DA、SVM-C模型进行验证,如表5所示,其中:
SVM-C模型的分级结果较优,整体准确率最高,其中,建模集的总准确率为97.78%,一等品和三等品的分级准确率分别为98.04%和100%,有1个一等品被误判为二等品;而二等品的分级准确率相对较低,为95.31%,其中有3个被误判为三等品,预测集中一等品和二等品的分级准确率均为90%,一等品中有2个被误判为二等品,二等品中分别有1个被误判为一等品,1个误判为三等品,三等品的分级准确率为95%,有1个被误判为二等品,预测集的整体分级准确率为91.67%,建模集和预测集的总分级准确率为94.73%,表示SVM-C模型的效果较好,等级判别较为准确,模型可靠;
在PLS-DA判别模型中,建模集对一等品、二等品、三等品的判别准确率分别为96.08%、68.75%和96.92%,总体准确率为87.25%,其中,对于三等品的判别效果最优,仅有两个样品被误判为三等品,一等品中有2个样品被误判为二等品,准确率较高,二等品的判别准确率最低,有11个样品被误判为一等品,有9个样品被误判为三等品,预测集对一等品、二等品、三等品的判别准确率分别为90%、75%和95%,总体准确率为86.67%,其中,有2个一等品被误判为二等品,有1个三等品被误判为二等品,二等品中分别有3个样品被误判为一等品,有2个样品被误判为三等品,在PLS-DA模型中,二等品的判别准确率较其他两个等级来说较低,模型效果较差,可能的原因是二等品作为中间品质等级,在品质标准的划分上与其他两个等级存在一定程度的交叉所导致,整体上来说,PLS-DA模型的判别准确率不如SVM-C模型,效果略差,虽然部分等级的判别准确率较高,但建模集和预测集的总体准确率没有超过90%,如下表:
基于PLS-DA、SVM-C模型的草莓脆分级结果
Figure BDA0003596474830000151
Figure BDA0003596474830000161
同时为了更深入对VGG16模型进行验证,则采用混淆矩阵进行分析(如表6),可以看出其总体准确率为86.25%;
然后采用VGG16模型对草莓脆等级进行预测时(如下表),其中一等品中有20个样品被错误识别,二等品中分别有5个样品被识别为一等品,7个样品被识别为三等品,在三等品中只有一个样品被识别为二等品,VGG16模型对于一等品、二等品和三等品的识别准确率分别为78.95%,83.10%和98.65%,如图12所示;
VGG16模型的混淆矩阵
Figure BDA0003596474830000162
11)通过比较3种模型建模集和预测集的分级准确率以及总体分级准确率,确立最优的草莓脆外观品质分级模型,其中:在双目图像的判别模型中,SVM-C模型的判别效果比PLS-DA模型要好,SVM-C的总体判别准确率为94.73%,PLS-DA模型的总体准确率为86.96%,VGG16模型的预测集准确率高于PLS-DA模型,但略低于SVM模型,如下表所示:
基于双目图像的模型分级准确率
Figure BDA0003596474830000163
Figure BDA0003596474830000171
综上所述,利用双目图像建立的SVM-C模型的分级准确率和检测效率更高,更适合日后的使用,这种提取草莓脆的三维特征信息进行等级判别,相较于人工分级方法更全面精确。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,包括下列步骤:
1)选择草莓脆样品,然后将样品运至实验室后用铝箔袋密封包装并放入食品专用干燥剂,置于阴凉干燥的环境中保存备用,然后随机挑选中至少挑选240个草莓脆样品用于试验,并分为建模集与验证集;
2)在确立草莓脆实际分级标准前,先利用体积置换法对草莓脆进行体积测量,其中计算公式为:
v=v3-v2-v1
3)采用模糊数学法建立上述草莓脆样品进行感官评价模型,并建立三个有效的外观品质分级标准等级,得到权重集K=(0.4,0.3,0.2,0.1),对应的指标分别为大小、形状、纹理和颜色;
4)搭建双目立体视觉系统来采集草莓脆的双目图像,且获取的图像分辨率为1280×1024pix;
5)采用图像处理软件对所述步骤4)中采集的图像进行剪裁、灰度转化、图像分割及形态学处理,其中剪裁利用regionprops函数对原始图像进行裁剪,可以在最大限度保留目标区域的同时去除图像中不必要的背景部分,采用加权平均法进行灰度处理,公式为I(x,y)=0.299R+0.587G+0.114B,采用基于阈值的分割方法,设定阈值为70,大于70的像素点为样品像素,小于70的为背景像素,然后将背景像素灰度值设为0,并去除面积小于2000的连通域以去除背景的干扰,对分割后的二值图像进行一系列形态学处理;
6)利用立体匹配算法对双目图像中对应的像素点进行匹配,并提取图像中草莓脆的体积、颜色、形状和纹理特征参数,其公式如下:
CSAD=∑i,j∈w|IL(x+i,y+j)-IR(x+i+d,y+j)|
Figure FDA0003596474820000021
7)进行数据处理,利用双目立体视觉系统采集草莓脆的双目图像共1200张,每个等级各400张,按照6:2:2的比例随机对样本进行划分,得到训练集720张,校正集240张,测试集240张,训练集扩充3倍,扩充后的训练集样本规模为2160,校正集和测试集样本用于检测模型,不进行增强,为了将图像输入VGG16模型,将图像裁剪为分辨率为224×224像素的RGB三通道彩色图像,对草莓脆实测体积与预测体积进行Pearson相关性分析,探究两者之间相关性的大小,对草莓脆实测体积与预测体积进行Pearson相关性分析,其公式如下:
Figure FDA0003596474820000022
8)进行实测体积的回归预测模型,其中:
回归模型的方程式为y=0.9693x+1.0562;
9)将基于双目图像提取的草莓脆外观品质特征数据分别导入PLS-DA、SVM-C和VGG16这三种模型中,其中建模集包括一等品51个,二等品64个,三等品65个,预测集中包括一等品、二等品、三等品各20个,将基于双目图像提取的草莓脆外观品质特征数据,建立基于双目图像的草莓脆外观品质分级模型;
10)对PLS-DA、SVM-C和VGG16这三种模型进行验证,获取各自的准确率;
11)通过比较3种模型建模集和预测集的分级准确率以及总体分级准确率,确立最优的草莓脆外观品质分级模型。
2.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤1)中180个样品用于模型构建,60个样品用于模型验证。
3.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤2)中的体积置换法采用石英砂体积置换法来测定草莓脆的实际体积,其中石英砂规格为80~120目。
4.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤3)中模糊数学法模型除了因素集U还包括包括评语集的确立、权重集的确立、模糊关系综合评判集的确立。
5.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤4)中的双目立体视觉系统包括两台参数相同的工业相机、两个镜头、用于放置相机的铝架和计算机。
6.如权利要求5所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤4)中采用的相机为FLIR的BFS-U3-13Y3C-C相机,且相机镜头选择Computar的M1614-MP2定焦镜头,且规格为16mm。
7.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤4)中采用的模型为两台相机光轴平行且与基线垂直的平行式模型。
8.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤5)中采用Matlab软件进行图像处理,同时其参数设置为曝光时间8000、增益5dB、帧率150fps、亮度10,其中图像灰度为70。
9.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤6)中提取图像中草莓脆的像素体积作为大小特征,R、G、B、H颜色分量的均值作为颜色特征,果形指数和前20项傅里叶描述子作为形状特征,对比度、相关性、角二阶矩和逆差矩作为纹理特征。
10.如权利要求1所述的一种草莓脆外观品质的双目立体视觉检测方法,其特征在于,所述步骤7)中根据建模集决定系数Rc 2、建模集均方根误差RMSEC、预测集决定系数Rp 2、预测集均方根误差RMSEP和验证集标准偏差与预测标准偏差的比值RPD评判模型性能。
CN202210390077.9A 2021-10-25 2022-04-14 一种草莓脆外观品质的双目立体视觉检测方法 Pending CN115545383A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111243963 2021-10-25
CN2021112439630 2021-10-25

Publications (1)

Publication Number Publication Date
CN115545383A true CN115545383A (zh) 2022-12-30

Family

ID=84724113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390077.9A Pending CN115545383A (zh) 2021-10-25 2022-04-14 一种草莓脆外观品质的双目立体视觉检测方法

Country Status (1)

Country Link
CN (1) CN115545383A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116577473A (zh) * 2023-07-14 2023-08-11 北京市农林科学院 一种草莓机械损伤发生时间的检测方法及装置
CN117694107A (zh) * 2023-12-28 2024-03-15 广东若铂智能机器人有限公司 一种扰动下串型水果用机器人智能避障采摘方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116577473A (zh) * 2023-07-14 2023-08-11 北京市农林科学院 一种草莓机械损伤发生时间的检测方法及装置
CN116577473B (zh) * 2023-07-14 2023-11-17 北京市农林科学院 一种草莓机械损伤发生时间的检测方法及装置
CN117694107A (zh) * 2023-12-28 2024-03-15 广东若铂智能机器人有限公司 一种扰动下串型水果用机器人智能避障采摘方法

Similar Documents

Publication Publication Date Title
Mazen et al. Ripeness classification of bananas using an artificial neural network
CN111968080B (zh) 一种基于高光谱和深度学习的肥城桃内外品质检测方法
Kaur et al. Evaluation of plum fruit maturity by image processing techniques
CN115545383A (zh) 一种草莓脆外观品质的双目立体视觉检测方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
Rupanagudi et al. A cost effective tomato maturity grading system using image processing for farmers
Iqbal et al. Classification of selected citrus fruits based on color using machine vision system
CN110736709A (zh) 一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
WO2011075164A1 (en) Method and system for factoring an illumination image
Zhang et al. Computer vision estimation of the volume and weight of apples by using 3d reconstruction and noncontact measuring methods
US8842910B2 (en) Spatially varying log-chromaticity normals for use in an image process
Rafiq et al. Application of computer vision system in food processing
Wang et al. Grading detection of “Red Fuji” apple in Luochuan based on machine vision and near-infrared spectroscopy
Mu et al. Non‐destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning
WO2007004868A1 (en) Method and apparatus for image characterization
Thinh et al. Sorting and classification of mangoes based on artificial intelligence
CN116797575A (zh) 一种基于机器视觉的碎米率智能检测方法
CN116958960A (zh) 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法
Bermúdez et al. Image analysis for automatic feature estimation of the Mangifera indica fruit
CN110751687A (zh) 一种基于计算机视觉最小最大圆的苹果大小分级方法
CN115631366A (zh) 一种番茄果实成熟度预测方法及装置
CN112697984B (zh) 基于神经网络的水果缺陷无损检测方法及水果分级方法
CN114965486A (zh) 基于高光谱成像对柿子的轻微瘀伤检测方法与装置
Zakiyyah et al. Characterization and Classification of Citrus reticulata var. Keprok Batu 55 Using Image Processing and Artificial Intelligence
US8849018B2 (en) Log-chromaticity clustering pipeline for use in an image process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination