CN112014399B - 粮箱内带式谷物破碎率和含杂率检测装置和方法 - Google Patents

粮箱内带式谷物破碎率和含杂率检测装置和方法 Download PDF

Info

Publication number
CN112014399B
CN112014399B CN202010714256.4A CN202010714256A CN112014399B CN 112014399 B CN112014399 B CN 112014399B CN 202010714256 A CN202010714256 A CN 202010714256A CN 112014399 B CN112014399 B CN 112014399B
Authority
CN
China
Prior art keywords
grain
image
impurity
broken
grains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010714256.4A
Other languages
English (en)
Other versions
CN112014399A (zh
Inventor
马志艳
张徐康
杨光友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202010714256.4A priority Critical patent/CN112014399B/zh
Publication of CN112014399A publication Critical patent/CN112014399A/zh
Application granted granted Critical
Publication of CN112014399B publication Critical patent/CN112014399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种粮箱内带式谷物破碎率和含杂率检测装置，它的输料机构水平安装在检测箱体内，检测箱体的侧面设有输料开口，输料机构的输送皮带输入端通过输料开口支出检测箱体，输料机构的输送皮带输出端位于落料槽上方，输料机构输出的谷物由落料槽装载，光源与可调整铝合金型材固定连接，可调整铝合金型材通过角件与检测箱体连接，光源位于输料机构上方，CCD相机与工控装置安装在相机固定滑块上，相机固定滑块安装在相机支架上，相机支架安装在检测箱体上，CCD相机与工控装置位于光源上方，CCD相机与工控装置的镜头面向输料机构的输送皮带。本发明能进行准确的谷物破碎率、含杂率在线检测。

Description

粮箱内带式谷物破碎率和含杂率检测装置和方法
技术领域
本发明涉及农业检测技术领域，具体地指一种粮箱内带式谷物破碎率和含杂率检测装置和方法。
背景技术
水稻作为三大粮食产物之一，在我国种植范围较为广泛。采用联合收割机进行机械化收割已成为我国水稻收获的主要作业方式。联合收割机收割时，因缺乏对各种收割机作业参数的实时反馈，联合收割机常常不能处于最佳工作状态，导致收获谷物破碎率和含杂率偏高。
破碎率和含杂率是评价联合收割机作业质量的重要指标，在2013年发布的《水稻联合收割机作业质量》中规定对于全喂入式的联合收获机要求收获的水稻含杂率、破碎率均要低于2.5％，对于半喂入式的联合收获机要求收获的水稻含杂率低于1.0％、破碎率要低于2.0％。目前谷物破碎率和含杂率的主要采用人工称重法，检测结果受人为主观因素较大，且效率偏低。
谷物破碎率的高低除了与谷物自身品质有关外，当滚筒速度偏高时，也会增加破碎率；脱离分离装置内脱离机齿与凹板筛之间间隙偏小，也会导致破碎率增加。谷物含杂率主要与清选装置有关，当清选风机风速偏低时，则会导致含杂率偏高。
破碎率和含杂率往往会直接和间接影响农民收益，除了导致收购价偏低外，破碎率和含杂率偏高会影响下季谷物发芽率，因此降低谷物破碎率、含杂率，提高谷物破碎率、含杂率检测效率，提高联合收割机的工作效率，对我国农业发展具有积极意义。
发明内容
本发明的目的就是要提供一种粮箱内带式谷物破碎率和含杂率检测装置和方法，本发明能进行准确的谷物破碎率和含杂率在线检测。
为实现此目的，本发明所设计的一种粮箱内带式谷物破碎率和含杂率检测装置，其特征在于：它包括检测箱体、输料机构、相机固定滑块、相机支架、CCD相机与工控装置、光源、可调整铝合金型材和落料槽，其中，输料机构水平安装在检测箱体内，检测箱体的侧面设有输料开口，输料机构的输送皮带输入端通过输料开口支出检测箱体，输料机构的输送皮带输出端位于落料槽上方，输料机构输出的谷物由落料槽处导回粮仓，光源与可调整铝合金型材固定连接，可调整铝合金型材安装在检测箱体中，光源位于输料机构上方，所述CCD相机与工控装置安装在相机固定滑块上，相机固定滑块安装在相机支架上，相机支架安装在检测箱体上，CCD相机与工控装置位于光源上方，CCD相机与工控装置的镜头面向输料机构的输送皮带。
一种利用上述装置的粮箱内带式谷物破碎率和含杂率检测方法，它包括如下步骤：
步骤1：在输料机构输送谷物时，CCD相机与工控装置根据预设的图像采样频率，采集输料机构的输送皮带上的多张谷物图像；
步骤2：CCD相机与工控装置利用直方图计算函数计算每张谷物图像的直方图，当直方图中像素值在126～255内像素点数量是该直方图中像素值在0～125内的像素点数量的三倍以上时采用自动色彩增强算法来提高对比度，否则，采用带色彩恢复的多尺度视网膜增强算法(MSRCR算法)提图像的对比度；
步骤3：获取训练样本用原始图像，所述训练样本用原始图像包括A张含破碎谷物的谷物图像，B张含杂质的谷物图像以及C张含破碎谷物和杂质混合的谷物图像，并利用标定工具标定出每张破碎谷物的谷物图像中的破碎谷物区域，每张含杂质的谷物图像中的杂质区域，以及每张含破碎谷物和杂质混合的谷物图像中的含破碎谷物和杂质区域，从而获取对应图像中破碎谷物区域的位置和像素信息、杂质区域的位置和像素信息以及含破碎谷物和杂质区域的位置和像素信息，得到训练样本用原始图像的掩膜；
步骤4：利用Laplace算子或LOG算子得到每张破碎谷物的谷物图像中的破碎谷物区域，每张含杂质的谷物图像中的杂质区域，以及每张含破碎谷物和杂质混合的谷物图像中的破碎谷物和杂质区域的边界信息，并将边界信息转化为边缘二值图，以上训练样本用原始图像、训练样本用原始图像的掩膜和边缘二值图形成掩膜基于区域的卷积神经网络的训练样本；
步骤5：将训练样本输入到掩膜基于区域的卷积神经网络中，在掩膜基于区域的卷积神经网络中的ResNet101网络中对卷积网络特征进行提取，所述ResNet101网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第二卷积层为针对第一卷积层进行卷积网络特征提取得到的卷积网络特征集，第三卷积层为针对第二卷积层进行卷积网络特征提取得到的卷积网络特征集，第四卷积层为针对第三卷积层进行卷积网络特征提取得到的卷积网络特征集，第五卷积层为针对第四卷积层进行卷积网络特征提取得到的卷积网络特征集，将第二卷积层～第五卷积层的卷积网络特征集增加对应边界特征关联权重，使得掩膜基于区域的卷积神经网络的分割精度达到预设精度；
步骤6：采用特征图像金字塔网络(FPN，Feature Pyramid Networks for ObjectDetection)对第二卷积层～第五卷基层得到的高层语义与低层语义进行融合，形成融合后的特征图，在融合后的特征图中结合区域候选区提取网络在破碎谷物区域、杂质区域的像素点生成多个含破碎谷物、谷物杂质特征的候选窗口，训练过程中将上述候选窗口与训练样本用原始图像的掩膜进行对比，并判断候选窗口与训练样本用原始图像的掩膜的重叠度，当重叠度超过80％时判定为正样本，否则为负样本；
步骤7：将上述得到的正负样本，通过ROI池化层映射到步骤6中所得融合特征图上，以此得到ROI区域特征图，，根据ROI区域的特征图对训练用原始图片进行图像分割训练得到分割用模型；
步骤8：利用分割用模型对步骤2提高对比度后的谷物图像进行分割得到谷物图像、破碎谷物图像和谷物杂质图像。
本发明由工控装置控制CCD拍照频率，并将采集图像传输至工控装置；通过图像增强算法对不同条件下采集图像的对比度；采集部分含破碎和含杂谷物图片作为训练样本，利用数据增强解决样本数据不均衡的问题，利用标注得到的轮廓纹理颜色信息优化模型以提高模型检测分割精度，最终得到准确的谷物破碎率、含杂率。本发明装置结构简单可靠，易安装于联合收割机粮箱内，稳定性与维护性较高。通过上述方法可实现联合收割机收割过程中谷物破碎率和含杂率的检测，且具有检测效率高、检测准确度高的优点，检测效率能达到5s一次，满足收割机首个过程中的检测要求，且准确度可达到88％以上。
附图说明
图1为本发明的立体示意图。
图2为本发明的主视图。
图3为本发明的左视图。
图4为光源处固定示意图。
图5为本发明谷物破碎率和含杂率检测方法流程图。
其中，1—检测箱体、2—输料机构、3—谷物挡板、4—相机固定滑块、5—相机支架、6—CCD相机与工控装置、7—光源、8—可调整铝合金型材、9—驱动电机、10—落料槽、11—输料开口、12—滑槽、13—紧固螺栓、14—滑板、15—滑轨、16—角件。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明：
如图1～4所示的一种粮箱内带式谷物破碎率和含杂率检测装置，它包括检测箱体1、输料机构2、相机固定滑块4、相机支架5、CCD相机与工控装置6、光源7(条形光源)、可调整铝合金型材8和落料槽10，其中，输料机构2水平安装在检测箱体1内，检测箱体1的侧面设有输料开口11，输料机构2的输送皮带输入端通过输料开口11支出检测箱体1，所述输料机构2的输送皮带输入端位于联合收割机的粮箱出粮口下方，输料机构2的输送皮带输出端位于落料槽10上方，输料机构2输出的谷物由落料槽10装载，所述输料机构2的输送皮带由驱动电机9进行驱动，光源7与可调整铝合金型材8固定连接，可调整铝合金型材8通过角件16与检测箱体1连接，光源7位于输料机构2上方，所述CCD相机与工控装置6安装在相机固定滑块4上，相机固定滑块4安装在相机支架5上，相机支架5安装在检测箱体1上，CCD相机与工控装置6位于光源7上方，CCD相机与工控装置6的镜头面向输料机构2的输送皮带。
上述技术方案中，输料机构通过螺栓固定于检测箱体1两侧的刚性架上，方便拆卸及适当调整位置。
上述技术方案中，所述检测箱体1侧面还设有谷物挡板3，所述谷物挡板3位于输料机构2的输送皮带上方，谷物挡板3用于控制输料机构2的输送皮带上谷物的厚度。
上述技术方案中，所述检测箱体1的侧面设有滑槽12，谷物挡板3设置在滑槽12内，且谷物挡板3能在滑槽12内滑动，同时，谷物挡板3能在预定位置通过紧固螺栓13与滑槽12固定，从而实现输料机构2的输送皮带上堆积谷物的厚度可调，防止谷物堆积和重叠影响图像采集效果，水稻小麦等作物厚度调节为5～10mm效果较好。
上述技术方案中，所述落料槽10位于检测箱体1底部。落料槽10用于盛装采集图像后的谷物，并将其倒入粮箱。
上述技术方案中，所述相机支架5为螺杆支架，相机固定滑块4通过上下方两个紧固螺母固定于螺杆支架上，实现相机固定滑块4的安装位置上下可调。可以通过调整相机固定滑块4来调整CCD相机与工控装置6照相位置，以满足不同环境下的对焦条件。
上述技术方案中，所述相机支架5的顶部固定连接有滑板14，检测箱体1的顶部设有滑轨15，所述滑板14能在滑轨上滑动，从而实现相机支架5水平位置可调。
上述技术方案中，所述可调整铝合金型材8通过角件16能调节其在检测箱体1内的上下位置，从而实现光源位置的上下可调。以满足不同作物取样时的光照需求。
本发明工作时，谷物到达图像采集装置和条形光源下时，工控装置控制CCD相机采集图像，并传送给工控机图像处理程序，分别得到破碎谷物与采集图像之间的像素比和杂质与采集图像之间的像素比，以像素比和质量比之间的关系方程得到谷物的破碎率和含杂率。拍照采样完成后，谷物继续由传送带传送至右端，经由箱体右侧落料槽落至粮箱内。
一种利用上述装置的粮箱内带式谷物破碎率和含杂率检测方法，如图5所示，它包括如下步骤：
步骤1：在输料机构2输送谷物时，CCD相机与工控装置6根据预设的图像采样频率，采集输料机构2的输送皮带上的多张谷物图像；
步骤2：CCD相机与工控装置6利用直方图计算函数(opencv基本库中的calcHist函数)计算每张谷物图像的直方图，当直方图中像素值在126～255内像素点数量是该直方图中像素值在0～125内的像素点数量的三倍以上时采用自动色彩增强算法(ACE算法)来提高对比度，使直方图像素能均匀扩散，否则，采用带色彩恢复的多尺度视网膜增强算法(MSRCR算法)提高图像的对比度；
步骤3：获取训练样本用原始图像，所述训练样本用原始图像包括200张含破碎谷物的谷物图像，200张含杂质的谷物图像以及100C张含破碎谷物和杂质混合的谷物图像，并利用标定工具(Labelme工具)标定出每张破碎谷物的谷物图像中的破碎谷物区域，每张含杂质的谷物图像中的杂质区域，以及每张含破碎谷物和杂质混合的谷物图像中的含破碎谷物和杂质区域，从而获取对应图像中破碎谷物区域的位置和像素信息(像素值和周边关联像素值)、杂质区域的位置和像素信息以及含破碎谷物和杂质区域的位置和像素信息，得到训练样本用原始图像的掩膜，采用旋转、噪声、镜像处理的方式对所得训练样本用原始图像的掩膜进行数据增强实现数据扩充；
步骤4：利用Laplace算子或LOG算子得到每张破碎谷物的谷物图像中的破碎谷物区域，每张含杂质的谷物图像中的杂质区域，以及每张含破碎谷物和杂质混合的谷物图像中的破碎谷物和杂质区域的边界信息，并将边界信息转化为边缘二值图，以上训练样本用原始图像、训练样本用原始图像的掩膜和边缘二值图形成掩膜基于区域的卷积神经网络(Mask RCNN)的训练样本；
步骤5：将训练样本输入到掩膜基于区域的卷积神经网络中，在掩膜基于区域的卷积神经网络中的ResNet101(残差网络101)网络中对卷积网络特征进行提取，所述ResNet101网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第二卷积层为针对第一卷积层进行卷积网络特征提取得到的卷积网络特征集，第三卷积层为针对第二卷积层进行卷积网络特征提取得到的卷积网络特征集，第四卷积层为针对第三卷积层进行卷积网络特征提取得到的卷积网络特征集，第五卷积层为针对第四卷积层进行卷积网络特征提取得到的卷积网络特征集，将第二卷积层～第五卷积层的卷积网络特征集增加对应边界特征关联权重，使得掩膜基于区域的卷积神经网络的分割精度达到预设精度；
步骤6：采用特征图像金字塔网络(FPN，Feature Pyramid Networks for ObjectDetection)对第二卷积层～第五卷基层得到的高层语义与低层语义进行融合，形成融合后的特征图，在融合后的特征图中结合区域候选区提取网络(RPN,Region ProposalNetwork)在破碎谷物区域、杂质区域的像素点生成9个含破碎谷物、谷物杂质特征的候选窗口，所述窗口由三种面积和三种窗口长宽比例随机组合成，三种面积由16x16像素点分别放大8、16和32倍形成，长宽比例根据1:3 1:1 3:1确定该面积下的三个初始框，然后放大8/16/32倍，训练过程中将上述候选窗口与训练样本用原始图像的掩膜进行对比，并判断候选窗口与训练样本用原始图像的掩膜的重叠度，当重叠度超过80％时判定为正样本，否则为负样本；
步骤7：将上述得到的正负样本，通过ROI(pooling layer)池化层映射步骤6中所得融合特征图上，并卷积得到ROI区域的特征图，利用双线性插值法减少ROI区域的特征图中的信息丢失，以提高特征图信息完整度，让后续分割结果达到预设精度，根据ROI区域的特征图对训练用原始图片进行图像分割训练得到分割用模型(将ROI区域的特征图与训练用原始图像区域进行对比，选用损失函数平均二值交叉熵作为训练判断依据，不断迭代改进，得到最终分割用模型)；
步骤8：利用分割用模型对步骤2提高对比度后的谷物图像进行分割得到谷物图像、破碎谷物图像和谷物杂质图像。
步骤9：对步骤8中分割得到谷物图像、破碎谷物图像和谷物杂质图像分别统计其像素并计算像素比，根据实验得到的破碎谷物和谷物之间的像素质量比方程式、杂质与谷物之间的像素质量比方程式，对所得到的像素比进行转换得到质量比，所得即为谷物破碎率、含杂率。
上述技术方案中，步骤1用于得到未分割原始图片；
步骤2是在实际过程中，因为光照尘粒等外在因素影响存在对比度不强，导致后续得到分割用模型分割效果不好，于是提高图像对比度方便后续模型分割；
步骤3用于获取maskRCNN网络的训练样本，并通过数据增强来提高样本，以此提高模型鲁棒性和精确性。
步骤4是为了加强后续网络训练对边界的记忆，将第三步训练样本中目标区域的边界信息特别提取出来，并加入训练集；
步骤5用于对训练集内的图片进行一个特征的粗提取，得到高层语义和低层语义；
步骤6利用FPN将上述粗提取得到的高层语义与低层语义融合得到特征图，并利用RPN根据这个特征图，在原始图片上生成ROI候选区域，并将该区域与训练用标定区域进行重叠对比得到正负样本；
步骤7利用正负样本在检测层进行训练，并以损失函数作为判断依据，得到最终分割用模型；
步骤8：将分割模型保存，后续利用分割模型对图像进行分割，得到目标区域；
步骤9：将目标区域由像素面积比转化为质量比得到最终破碎率、含杂率。
上述技术方案的步骤7中，将ROI区域的特征图与训练用原始图像区域进行对比，利用平均二值交叉熵作为训练判断依据，不断迭代改进，得到最终分割用模型。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种利用粮箱内带式谷物破碎率和含杂率检测装置的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：粮箱内带式谷物破碎率和含杂率检测装置包括检测箱体(1)、输料机构(2)、相机固定滑块(4)、相机支架(5)、CCD相机与工控装置(6)、光源(7)、可调整铝合金型材(8)和落料槽(10)，其中，输料机构(2)水平安装在检测箱体(1)内，检测箱体(1)的侧面设有输料开口(11)，输料机构(2)的输送皮带输入端通过输料开口(11)支出检测箱体(1)，输料机构(2)的输送皮带输出端位于落料槽(10)上方，输料机构(2)输出的谷物由落料槽(10)装载，光源(7)与可调整铝合金型材(8)固定连接，可调整铝合金型材(8)安装在检测箱体(1)中，光源(7)位于输料机构(2)上方，所述CCD相机与工控装置(6)安装在相机固定滑块(4)上，相机固定滑块(4)安装在相机支架(5)上，相机支架(5)安装在检测箱体(1)上，CCD相机与工控装置(6)位于光源(7)上方，CCD相机与工控装置(6)的镜头面向输料机构(2)的输送皮带；
粮箱内带式谷物破碎率和含杂率检测方法，它包括如下步骤：
步骤1：在输料机构(2)输送谷物时，CCD相机与工控装置(6)根据预设的图像采样频率，采集输料机构(2)的输送皮带上的多张谷物图像；
步骤2：CCD相机与工控装置(6)利用直方图计算函数计算每张谷物图像的直方图，当直方图中像素值在126～255内像素点数量是该直方图中像素值在0～125内的像素点数量的三倍以上时采用自动色彩增强算法来提高对比度，否则，采用带色彩恢复的多尺度视网膜增强算法提图像的对比度；
步骤3：获取训练样本用原始图像，所述训练样本用原始图像包括A张含破碎谷物的谷物图像，B张含杂质的谷物图像以及C张含破碎谷物和杂质混合的谷物图像，并利用标定工具标定出每张破碎谷物的谷物图像中的破碎谷物区域，每张含杂质的谷物图像中的杂质区域，以及每张含破碎谷物和杂质混合的谷物图像中的含破碎谷物和杂质区域，从而获取对应图像中破碎谷物区域的位置和像素信息、杂质区域的位置和像素信息以及含破碎谷物和杂质区域的位置和像素信息，得到训练样本用原始图像的掩膜；
步骤4：利用Laplace算子或LOG算子得到每张破碎谷物的谷物图像中的破碎谷物区域，每张含杂质的谷物图像中的杂质区域，以及每张含破碎谷物和杂质混合的谷物图像中的破碎谷物和杂质区域的边界信息，并将边界信息转化为边缘二值图，以上训练样本用原始图像、训练样本用原始图像的掩膜和边缘二值图形成掩膜基于区域的卷积神经网络的训练样本；
步骤5：将训练样本输入到掩膜基于区域的卷积神经网络中，在掩膜基于区域的卷积神经网络中的ResNet101网络中对卷积网络特征进行提取，所述ResNet101网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第二卷积层为针对第一卷积层进行卷积网络特征提取得到的卷积网络特征集，第三卷积层为针对第二卷积层进行卷积网络特征提取得到的卷积网络特征集，第四卷积层为针对第三卷积层进行卷积网络特征提取得到的卷积网络特征集，第五卷积层为针对第四卷积层进行卷积网络特征提取得到的卷积网络特征集，将第二卷积层～第五卷积层的卷积网络特征集增加对应边界特征关联权重，使得掩膜基于区域的卷积神经网络的分割精度达到预设精度；
步骤6：采用特征图像金字塔网络对第二卷积层～第五卷基层得到的高层语义与低层语义进行融合，形成融合后的特征图，在融合后的特征图中结合区域候选区提取网络在破碎谷物区域、杂质区域的像素点生成多个含破碎谷物、谷物杂质特征的候选窗口，训练过程中将上述候选窗口与训练样本用原始图像的掩膜进行对比，并判断候选窗口与训练样本用原始图像的掩膜的重叠度，当重叠度超过80％时判定为正样本，否则为负样本；
步骤7：将上述得到的正负样本，通过ROI池化层映射步骤6中所得特征图上，并对其卷积得到ROI区域的特征图，根据ROI区域的特征图对训练用原始图片进行图像分割训练得到分割用模型；
步骤8：利用分割用模型对步骤2提高对比度后的谷物图像进行分割得到谷物图像、破碎谷物图像和谷物杂质图像；
步骤9：对步骤8中分割得到谷物图像、破碎谷物图像和谷物杂质图像分别统计其像素并计算像素比，根据实验得到的破碎谷物和谷物之间的像素质量比方程式、杂质与谷物之间的像素质量比方程式，对所得到的像素比进行转换得到质量比，所得即为谷物破碎率、含杂率。
2.根据权利要求1所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述检测箱体(1)侧面还设有谷物挡板(3)，所述谷物挡板(3)位于输料机构(2)的输送皮带上方，谷物挡板(3)用于控制输料机构(2)的输送皮带上谷物的厚度。
3.根据权利要求2所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述检测箱体(1)的侧面设有滑槽(12)，谷物挡板(3)设置在滑槽(12)内，且谷物挡板(3)能在滑槽(12)内滑动，同时，谷物挡板(3)能在预定位置通过紧固螺栓(13)与滑槽(12)固定，从而实现输料机构(2)的输送皮带上堆积谷物的厚度可调。
4.根据权利要求1所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述落料槽(10)位于检测箱体(1)底部。
5.根据权利要求1所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述相机支架(5)为螺杆支架，相机固定滑块(4)通过上下方两个紧固螺母固定于螺杆支架上，实现相机固定滑块(4)的安装位置上下可调。
6.根据权利要求1或5所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述相机支架(5)的顶部固定连接有滑板(14)，检测箱体(1)的顶部设有滑轨(15)，所述滑板(14)能在滑轨上滑动，从而实现相机支架(5)水平位置可调。
7.根据权利要求1所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述可调整铝合金型材(8)通过角件能调节其在检测箱体(1)内的上下位置，从而实现光源位置的上下可调。
8.根据权利要求1所述的粮箱内带式谷物破碎率和含杂率检测方法，其特征在于：所述步骤7中，将ROI区域的特征图与训练用原始图像区域进行对比，利用平均二值交叉熵损失函数作为训练判断依据，不断迭代改进，得到最终分割用模型。
CN202010714256.4A 2020-07-22 2020-07-22 粮箱内带式谷物破碎率和含杂率检测装置和方法 Active CN112014399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010714256.4A CN112014399B (zh) 2020-07-22 2020-07-22 粮箱内带式谷物破碎率和含杂率检测装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010714256.4A CN112014399B (zh) 2020-07-22 2020-07-22 粮箱内带式谷物破碎率和含杂率检测装置和方法

Publications (2)

Publication Number Publication Date
CN112014399A CN112014399A (zh) 2020-12-01
CN112014399B true CN112014399B (zh) 2023-08-25

Family

ID=73499856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010714256.4A Active CN112014399B (zh) 2020-07-22 2020-07-22 粮箱内带式谷物破碎率和含杂率检测装置和方法

Country Status (1)

Country Link
CN (1) CN112014399B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298085B (zh) * 2021-04-06 2024-03-22 江苏大学 一种基于Mask R-CNN的谷物含杂-破碎识别方法与系统
CN114088624B (zh) * 2021-11-09 2022-08-26 北京中检葆泰生物技术有限公司 用于谷物颗粒表面规则度检测设备
CN115810011B (zh) * 2023-02-07 2023-07-07 广东奥普特科技股份有限公司 异常检测网络的训练及异常检测方法、装置和设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101929961A (zh) * 2009-06-18 2010-12-29 华东交通大学 一种水稻种子质量检测、品种识别和分级的装置及方法
CN201974387U (zh) * 2011-01-18 2011-09-14 无锡穗邦科技有限公司 用于粮油物理检验装置的数字影像机构
CN204811763U (zh) * 2015-07-04 2015-12-02 云南师范大学 一种连续性高压电场谷物干燥设备
CN105806751A (zh) * 2016-03-24 2016-07-27 江苏大学 一种联合收割机粮箱中谷物破碎在线监测系统及方法
CN108107049A (zh) * 2018-01-15 2018-06-01 江苏大学 联合收获机粮箱籽粒含杂率与破碎率实时监测装置及方法
CN109085170A (zh) * 2017-06-14 2018-12-25 中国科学院沈阳自动化研究所 同步带式玉米籽粒破碎率在线检测装置及方法
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法
CN110765905A (zh) * 2019-10-11 2020-02-07 南京大学 一种联合收割机收获谷物包含杂质比重的测量方法及其装置
CN110887707A (zh) * 2019-08-28 2020-03-17 江苏大学 一种谷物收集装置以及基于U-Net网络的谷物含杂破碎状态实时监测系统和方法
KR20200077321A (ko) * 2018-12-20 2020-06-30 네이버랩스 주식회사 약한 지도학습 객체 검출기에 기반한 의미론적 객체 영역 분할 방법 및 시스템

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101929961A (zh) * 2009-06-18 2010-12-29 华东交通大学 一种水稻种子质量检测、品种识别和分级的装置及方法
CN201974387U (zh) * 2011-01-18 2011-09-14 无锡穗邦科技有限公司 用于粮油物理检验装置的数字影像机构
CN204811763U (zh) * 2015-07-04 2015-12-02 云南师范大学 一种连续性高压电场谷物干燥设备
CN105806751A (zh) * 2016-03-24 2016-07-27 江苏大学 一种联合收割机粮箱中谷物破碎在线监测系统及方法
CN109085170A (zh) * 2017-06-14 2018-12-25 中国科学院沈阳自动化研究所 同步带式玉米籽粒破碎率在线检测装置及方法
CN108107049A (zh) * 2018-01-15 2018-06-01 江苏大学 联合收获机粮箱籽粒含杂率与破碎率实时监测装置及方法
KR20200077321A (ko) * 2018-12-20 2020-06-30 네이버랩스 주식회사 약한 지도학습 객체 검출기에 기반한 의미론적 객체 영역 분할 방법 및 시스템
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110887707A (zh) * 2019-08-28 2020-03-17 江苏大学 一种谷物收集装置以及基于U-Net网络的谷物含杂破碎状态实时监测系统和方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法
CN110765905A (zh) * 2019-10-11 2020-02-07 南京大学 一种联合收割机收获谷物包含杂质比重的测量方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
联合收获机谷物含杂率、破碎率在线监测装置研制及试验研究;顾琰;中国优秀硕士学位论文全文数据库;农业科技辑(2020年第3期);D044-65 *

Also Published As

Publication number Publication date
CN112014399A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112014399B (zh) 粮箱内带式谷物破碎率和含杂率检测装置和方法
EP3038054B1 (en) Grain quality monitoring
US5917927A (en) Grain inspection and analysis apparatus and method
CN113298085B (zh) 一种基于Mask R-CNN的谷物含杂-破碎识别方法与系统
US20180027732A1 (en) Combine harvester self-adaptive cleaning control apparatus and self-adaptive cleaning method thereof
US20140050364A1 (en) Method And Arrangement For The Optical Evaluation Of Harvested Crop In A Harvesting Machine
CN111398287A (zh) 一种电池极片划痕检测系统及检测方法
CN104999504B (zh) 一种瓦楞纸板尺寸的测量方法及分纸压线控制方法和系统
US20200015409A1 (en) Method of Processing Seeds and System for Determining Angle of Repose of Granular Material Used In Seed Process
CN113820325B (zh) 一种玉米籽粒直收含杂率和破碎率在线检测系统及其方法
CN207742057U (zh) 一种骨料在线监测装置
CN105783990B (zh) 一种用于玉米果穗室内精确考种的全景图像测量系统
CN101339118A (zh) 谷粒参数自动测量装置及方法
CN101458204A (zh) 谷物实粒数的自动测量装置及方法
CN111257160A (zh) 一种骨料检测装置
Mizushima et al. A low-cost color vision system for automatic estimation of apple fruit orientation and maximum equatorial diameter
WO2022049549A1 (en) Artificial intelligence based tobacco particle measurement system
JPH0929693A (ja) 定重量切断装置
CN115384052A (zh) 一种智能化的覆膜机自动控制系统
CN113552028A (zh) 混合料视觉分析装置、混合料粒度组成检测方法及系统
CN112098415B (zh) 一种杨梅品质无损检测方法
CN114782561B (zh) 基于大数据的智慧农业云平台监控系统
CN114088624B (zh) 用于谷物颗粒表面规则度检测设备
US20220375228A1 (en) Residue Spread Monitoring
CN111199344B (zh) 一种控制烟叶分选过程中纯度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant