CN116912244A - 基于机器视觉的粮食质量指标智能检测方法 - Google Patents
基于机器视觉的粮食质量指标智能检测方法 Download PDFInfo
- Publication number
- CN116912244A CN116912244A CN202311170245.4A CN202311170245A CN116912244A CN 116912244 A CN116912244 A CN 116912244A CN 202311170245 A CN202311170245 A CN 202311170245A CN 116912244 A CN116912244 A CN 116912244A
- Authority
- CN
- China
- Prior art keywords
- grain
- grains
- surface image
- image
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000013441 quality evaluation Methods 0.000 claims abstract description 12
- 235000013339 cereals Nutrition 0.000 claims description 250
- 238000011176 pooling Methods 0.000 claims description 26
- 239000000463 material Substances 0.000 claims description 24
- 230000001502 supplementing effect Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 235000007164 Oryza sativa Nutrition 0.000 claims description 6
- 238000007599 discharging Methods 0.000 claims description 6
- 229910052500 inorganic mineral Inorganic materials 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 6
- 239000011707 mineral Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 235000009566 rice Nutrition 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 208000001034 Frostbite Diseases 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 2
- 240000007594 Oryza sativa Species 0.000 claims 1
- 201000010099 disease Diseases 0.000 description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 13
- 241000209094 Oryza Species 0.000 description 5
- 239000012535 impurity Substances 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 241000238631 Hexapoda Species 0.000 description 3
- 235000021329 brown rice Nutrition 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000002582 Oryza sativa Indica Group Species 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明基于机器视觉的粮食质量指标智能检测方法，涉及粮食检测技术领域，通过获取粮食上表面图像和下表面图像，利用卷积神经网络模型分别对上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒所占像素点数，并识别每个籽粒的粮食类别；利用高精度检测模型识别每个籽粒的上下表面图，获得每个籽粒的上下表面属性；以相同属性籽粒的数量和所占像素点总数为输入，利用粮食质量评估模型评估所述属性籽粒的质量，以此获得所有属性籽粒的质量，统计每种属性相同的籽粒的质量占比，获得粮食质量评估报告；解决了现有的粮食检测速度慢的问题，本发明适用于粮食质量检测。
Description
技术领域
本发明涉及粮食检测技术领域，特别涉及基于机器视觉的粮食质量指标智能检测方法。
背景技术
衡量粮食质量的一个重要指标就是不完善粒所占的比重，所述不完善粒表示受到损伤的颗粒，不完善粒类别主要包括破碎粒、虫蚀粒、生霉粒、未熟粒、冻伤粒、病斑粒(赤霉病粒和黑胚粒)和发芽粒，对于粮食的存储，不完善的粮食一旦收入粮库，会带来十分严重的后果，因此，粮食的质量把控工作尤其重要。
对于粮食的检测，通常采取的仍然是传统的人工检测的方法，这种方法具有工作强度大、对技术人员专业技能要求高、人工检测速度缓慢、具有一定的人为主观因素等不可忽视的缺点。基于此，相继提出了很多新的检测方法，以期能实现粮食不完善粒检测自动化，如利用声音科学来检测的方法、基于高光谱技术的检测方法和基于传统数字图像处理的检测方法。虽然这些方法都能实现自动化检测的功能，但仍然存在很多缺点。例如，利用声音科学的方法使用麦克风来采集粮食震动发出的声音，非常容易受到环境音和噪音的干扰；基于高光谱技术的检测方法图像采集设备价格昂贵且不能实现多种不完善粒品种混合检测；基于传统数字图像处理的检测方法依赖手工特征提取，所需样本量大，且识别时间长。
另外，现有的检测方法中，仅适用于单一粮种，不适用粮种互混情况。
发明内容
本发明所解决的技术问题：提供一种基于机器视觉的粮食质量指标智能检测方法，解决现有的粮食检测速度慢的问题。
本发明解决上述技术问题采用的技术方案：基于机器视觉的粮食质量指标智能检测方法，包括以下步骤：
S1、获取粮食上表面图像和下表面图像；
S2、利用卷积神经网络模型分别对上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒像素点，并识别每个籽粒的粮食类别；
S3、利用高精度检测模型识别每个籽粒的上下表面图，获得每个籽粒的上下表面属性；
S4、以相同属性籽粒的数量和所占像素点总数为输入，利用粮食质量评估模型评估所述属性籽粒的质量；
S5、重复S4，获得所有属性籽粒的质量，统计每种属性相同的籽粒的质量占比，获得粮食质量评估报告。
进一步的，S1中，使用图像采集系统对粮食上下表面进行拍摄，并进行预处理，获取粮食上下两面图像，所述图像采集系统包括控制器、机械臂、物料盘、音圈电机模组、上盖板、上图像采集设备、下盖板、下图像采集设备和出料部件，所述物料盘底部透明；所述控制器控制机械臂将待检测粮食运输至物料盘内，控制音圈电机模组带动物料盘振动，使得粮食在物料盘中均匀散开，将下盖板盖在物料盘下方，利用上图像采集设备拍摄粮食上表面图像，获得粮食上表面图像，移走下盖板，将上盖板盖在物料盘上方，利用下图像采集设备拍摄粮食下表面图像，获得粮食下表面图像，移走上盖板，使用物料盘排料程序将粮食振动排出至出料部件。
进一步的，所述预处理包括双边滤波、直方图均衡、尺寸裁剪、翻转变换和颜色变换中的一种或多种。
进一步的，所述图像采集系统还包括第一补光灯和第二补光灯，所述第一补光灯用于拍摄上表面图像时进行补光，所述第二补光灯用于拍摄下表面图像时进行补光。
进一步的，所述上图像采集设备和下图像采集设备拍摄的同一粒粮食像素位置对应。
进一步的，所述卷积神经网络模型包括特征编码网络和特征解码网络；
所述特征编码网络包括卷积模块和池化层，所述卷积模块包括卷积层、批量归一化运算和激活函数，所述卷积层为12层，采用预定义的且权重可学习的卷积核对输入数据对应区域进行3×3空洞卷积运算，所述卷积核按照指定步长在输入数据上滑动，没滑动一次进行依次卷积运算，所述批量归一化运算用于减少内部协变量位移，所述激活函数为ReLU；所述池化层包括最大池化层和平均池化层，所述最大池化层用于过滤无用信息，所述平均池化层用于防止丢掉高维信息；
所述特征解码网络包括上采样运算和注意力模块，所述上采样运算包括插值运算，用于扩大高维特征图的尺寸；所注意力模块用于聚合每个解码层和对应编码层的特征信息。
进一步的，卷积神经网络模型的训练包括以下步骤：
S21、使用开源图像分割大模型SAM对已知粮食类别的粮食表面图像进行自动标注，通过手动设置像素阈值和面积阈值筛选出籽粒完整图像，获得分割数据集；
S22、使用所述分割数据集对卷积神经网络模型进行训练，获得能够从粮食表面图像中分割出籽粒图像以及识别籽粒的卷积神经网络模型。
进一步的，S21中，还包括对分割数据集中的籽粒完整图像进行挑选，以提高分割数据集的准确性。
进一步的，所述高精度检测模型包括主干网络、路径聚合网络和检测头；所述主干网络为高效分层聚合网络，所述路径聚合网络包括FPN、PAN、自适应特征池化层、boundingbox预测头和预测掩码的全连接融合层，所述bounding box预测头包括Decoupled Head和Anchor Free 策略。
进一步的，S3中，所述属性包括破碎粒、虫蚀粒、生霉粒、霉变粒、生芽粒、矿物质、冻伤粒、热损粒、涨大粒、未熟粒、整精米、黄粒米、病斑粒和完善粒。
本发明的有益效果：本发明基于机器视觉的粮食质量指标智能检测方法，通过获取粮食上表面图像和下表面图像，利用卷积神经网络模型分别对上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒所占像素点数，并识别每个籽粒的粮食类别；利用高精度检测模型识别每个籽粒的上下表面图，获得每个籽粒的上下表面属性；以相同属性籽粒的数量和所占像素点总数为输入，利用粮食质量评估模型评估所述属性籽粒的质量，以此获得所有属性籽粒的质量，统计每种属性相同的籽粒的质量占比，获得粮食质量评估报告；解决了现有的粮食检测速度慢的问题。
附图说明
图1是本发明基于机器视觉的粮食质量指标智能检测方法的流程示意图。
具体实施方式
本发明基于机器视觉的粮食质量指标智能检测方法，如附图1所示，包括以下步骤：
S1、获取粮食上表面图像和下表面图像；
具体的，使用图像采集系统对粮食上下表面进行拍摄，并进行预处理，获取粮食上下两面图像，所述图像采集系统包括控制器、机械臂、物料盘、音圈电机模组、上盖板、上图像采集设备、下盖板、下图像采集设备和出料部件，所述物料盘底部透明；所述控制器控制机械臂将待检测粮食运输至物料盘内，控制音圈电机模组带动物料盘振动，使得粮食在物料盘中均匀散开，将下盖板盖在物料盘下方，利用上图像采集设备拍摄粮食上表面图像，获得粮食上表面图像，移走下盖板，将上盖板盖在物料盘上方，利用下图像采集设备拍摄粮食下表面图像，获得粮食下表面图像，移走上盖板，使用物料盘排料程序将粮食振动排出至出料部件；以此可以自动获取粮食上表面图像和下表面图像，所述粮食包括粮种混合后的粮食；
所述预处理包括双边滤波、直方图均衡、尺寸裁剪、翻转变换和颜色变换中的一种或多种；具体的，采用双边滤波、直方图均衡等图像增强算法平滑噪声干扰、提升图像质量，采用定尺寸裁剪、翻转变换、颜色变换等图像增广算法扩充不完善粒数据量。
所述图像采集系统还包括第一补光灯和第二补光灯，所述第一补光灯用于拍摄上表面图像时进行补光，所述第二补光灯用于拍摄下表面图像时进行补光，以此提高拍摄时的光强。
所述上图像采集设备和下图像采集设备拍摄的同一粒粮食像素位置对应，以此可以根据像素位置对应的关系在上下图像中找到同一粒粮食的上表面图和下表面图，所述上图像采集设备和下图像采集设备可采用6300万像素的彩色机器视觉相机。
S2、利用卷积神经网络模型分别对上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒像素点，并识别每个籽粒的粮食类别；
具体的，所述卷积神经网络模型包括特征编码网络和特征解码网络；所述特征编码网络包括卷积模块和池化层，所述卷积模块包括卷积层、批量归一化运算和激活函数，所述卷积层为12层，采用预定义的且权重可学习的卷积核对输入数据对应区域进行3×3空洞卷积运算，所述卷积核按照指定步长在输入数据上滑动，没滑动一次进行依次卷积运算，所述批量归一化运算用于减少内部协变量位移，所述激活函数为ReLU；所述池化层包括最大池化层和平均池化层，所述最大池化层用于过滤无用信息，所述平均池化层用于防止丢掉高维信息；所述特征解码网络包括上采样运算和注意力模块，所述上采样运算包括插值运算，用于扩大高维特征图的尺寸；所注意力模块用于聚合每个解码层和对应编码层的特征信息。
具体的，考虑到粮种病害信息占比过小的问题，因此，在设计编码网络时，为了避免过大的深度，卷积层只有12层，在卷积模块中，采用3×3空洞卷积运算，步长为1，空洞率为2来替代常规卷积运算，以扩大感受野；激活函数选用ReLU，由于其导函数简单且梯度为0和1，在网络训练过程中可以辅助网络更快收敛；在设计解码网络时，利用上采样模块扩大高维特征图的尺寸，通过插值运算有效避免了反卷积运算带来的影响，更加有效的复原特征图信息；通过反向传播算法自动学习得到最优的卷积核权重。
对于池化层而言，由于图像中粮种病害信息的R、G、B三个通道以及对应像素点的灰度值均小于背景信息，若只采用最大池化则必然会损失一定的病害信息，而只采用平均池化也会影响粮种病害信息的有效提取，因此，在本申请中，在较浅层使用最大池化用于过滤无用的信息，如前6层卷积层；在较深层使用平均池化，防止丢掉过多高维信息，如后6层卷积层。
卷积神经网络模型的训练包括以下步骤：
S21、使用开源图像分割大模型SAM对已知粮食类别的粮食表面图像进行自动标注，通过手动设置像素阈值和面积阈值筛选出籽粒完整图像，获得分割数据集；
S22、使用所述分割数据集对卷积神经网络模型进行训练，获得能够从粮食表面图像中分割出籽粒图像以及识别籽粒的卷积神经网络模型。
具体的，样品采集时是分类进行的，因此分割数据集中包含了粮食的类别，因此对于籽粒属于哪种粮食类别也是已知的，故可以训练出能够识别每个籽粒的粮食类别的卷积神经网络模型。粮食类别包含粳稻谷、籼稻谷、糙米、精米、小麦、玉米、大豆共7个类别。在S21中，还包括对分割数据集中的籽粒完整图像进行挑选，以提高分割数据集的准确性。
基于上述卷积神经网络模型训练，得到能够对上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒像素点，并识别每个籽粒的粮食类别的卷积神经网络模型。
S3、利用高精度检测模型识别每个籽粒的上下表面图，获得每个籽粒的上下表面属性；
具体的，考虑到病害占比小、病害种类多的问题，所述高精度检测模型包括主干网络、路径聚合网络和检测头；所述主干网络为高效分层聚合网络，所述路径聚合网络包括FPN、PAN、自适应特征池化层、bounding box预测头和预测掩码的全连接融合层，所述bounding box预测头包括Decoupled Head和 Anchor Free 策略；利用籽粒表面图像对所述高精度检测模型进行训练，获得能够识别出籽粒表面属性的高精度检测模型，所述属性包括破碎粒、虫蚀粒、生霉粒、霉变粒、生芽粒、矿物质、冻伤粒、热损粒、涨大粒、未熟粒、整精米、黄粒米、病斑粒和完善粒，如果同一籽粒的上表属性和下表面数据均不是完善粒，则该籽粒为非完善粒。
S4、以相同属性籽粒的数量和所占像素点总数为输入，利用粮食质量评估模型评估所述属性籽粒的质量；
具体的，对于粮食质量评估模型的训练，将S2和S3的检测结果进行可视化，获得所有属性籽粒的像素点，并统计相同属性籽粒的数量和所占相似点总数，由人工比对像素点位置挑选出不同属性的籽粒，并对相同属性的籽粒进行称量，获得相同属性的籽粒的质量，以此获得所有属性籽粒的质量，以相同属性籽粒的数量和所占像素点总数作为输入，所述属性籽粒的质量作为输出，对粮食质量评估模型进行训练，所述粮食质量评估模型为非线性回归模型，获得能够评估籽粒质量的粮食质量评估模型。
S5、重复S4，获得所有属性籽粒的质量，统计每种属性相同的籽粒的质量占比，获得粮食质量评估报告。
具体的，利用粮食质量评估模型对每种属性粒子进行质量评估，获得所有属性籽粒的质量，统计每种属性相同的籽粒的质量占比，获得粮食质量评估报告，以此可以获得粮食类别为稻谷的谷外糙米、杂质和互混率；粮食类别为糙米的未熟粒含量、虫蚀粒含量、病斑粒含量、生芽粒含量和生霉粒含量；粮食类别为精米的整精米含量和黄粒米含量；粮食类别为小麦的虫蚀粒含量、病斑粒含量、破损粒含量、生芽粒含量、生霉粒含量、杂质含量、矿物质含量；粮食类别为玉米的虫蚀粒含量、病斑粒含量、破碎粒含量、生芽粒含量、生霉粒含量、热损粒含量、霉变粒含量、杂质含量、矿物质含量；粮食类别为大豆的未熟粒含量、虫蚀粒含量、病斑粒含量、生芽粒含量、生霉粒含量、冻伤粒含量、热损粒含量、涨大粒含量、破碎粒含量、杂质含量、矿物质含量；等等。
在本发明中，由卷积神经网络模型对待检测粮食的上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒像素点，并识别每个籽粒的粮食类别；由高精度检测模型识别每个籽粒的上下表面图，获得每个籽粒的上下表面属性，再由粮食质量评估模型评估每种属性籽粒的质量，基于此，在本发明中，是针对每一籽粒进行识别，因此，对于粮种互混情况，本发明所记载的技术方案也适用。
Claims (10)
1.基于机器视觉的粮食质量指标智能检测方法，其特征在于，包括以下步骤：
S1、获取粮食上表面图像和下表面图像；
S2、利用卷积神经网络模型分别对上表面图像和下表面图像进行分割，获取单个籽粒的上表面图和下表面图以及籽粒像素点，并识别每个籽粒的粮食类别；
S3、利用高精度检测模型识别每个籽粒的上下表面图，获得每个籽粒的上下表面属性；
S4、以相同属性籽粒的数量和所占像素点总数为输入，利用粮食质量评估模型评估所述属性籽粒的质量；
S5、重复S4，获得所有属性籽粒的质量，统计每种属性相同的籽粒的质量占比，获得粮食质量评估报告。
2.根据权利要求1所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，S1中，使用图像采集系统对粮食上下表面进行拍摄，并进行预处理，获取粮食上下两面图像，所述图像采集系统包括控制器、机械臂、物料盘、音圈电机模组、上盖板、上图像采集设备、下盖板、下图像采集设备和出料部件，所述物料盘底部透明；所述控制器控制机械臂将待检测粮食运输至物料盘内，控制音圈电机模组带动物料盘振动，使得粮食在物料盘中均匀散开，将下盖板盖在物料盘下方，利用上图像采集设备拍摄粮食上表面图像，获得粮食上表面图像，移走下盖板，将上盖板盖在物料盘上方，利用下图像采集设备拍摄粮食下表面图像，获得粮食下表面图像，移走上盖板，使用物料盘排料程序将粮食振动排出至出料部件。
3.根据权利要求2所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，所述预处理包括双边滤波、直方图均衡、尺寸裁剪、翻转变换和颜色变换中的一种或多种。
4.根据权利要求2所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，所述图像采集系统还包括第一补光灯和第二补光灯，所述第一补光灯用于拍摄上表面图像时进行补光，所述第二补光灯用于拍摄下表面图像时进行补光。
5.根据权利要求2所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，所述上图像采集设备和下图像采集设备拍摄的同一粒粮食像素位置对应。
6.根据权利要求1所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，所述卷积神经网络模型包括特征编码网络和特征解码网络；
所述特征编码网络包括卷积模块和池化层，所述卷积模块包括卷积层、批量归一化运算和激活函数，所述卷积层为12层，采用预定义的且权重可学习的卷积核对输入数据对应区域进行3×3空洞卷积运算，所述卷积核按照指定步长在输入数据上滑动，没滑动一次进行依次卷积运算，所述批量归一化运算用于减少内部协变量位移，所述激活函数为ReLU；所述池化层包括最大池化层和平均池化层，所述最大池化层用于过滤无用信息，所述平均池化层用于防止丢掉高维信息；
所述特征解码网络包括上采样运算和注意力模块，所述上采样运算包括插值运算，用于扩大高维特征图的尺寸；所注意力模块用于聚合每个解码层和对应编码层的特征信息。
7.根据权利要求6所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，卷积神经网络模型的训练包括以下步骤：
S21、使用开源图像分割大模型SAM对已知粮食类别的粮食表面图像进行自动标注，通过手动设置像素阈值和面积阈值筛选出籽粒完整图像，获得分割数据集；
S22、使用所述分割数据集对卷积神经网络模型进行训练，获得能够从粮食表面图像中分割出籽粒图像以及识别籽粒的卷积神经网络模型。
8.根据权利要求7所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，S21中，还包括对分割数据集中的籽粒完整图像进行挑选，以提高分割数据集的准确性。
9.根据权利要求1所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，所述高精度检测模型包括主干网络、路径聚合网络和检测头；所述主干网络为高效分层聚合网络，所述路径聚合网络包括FPN、PAN、自适应特征池化层、bounding box预测头和预测掩码的全连接融合层，所述bounding box预测头包括Decoupled Head和 Anchor Free 策略。
10.根据权利要求1-9任一项所述的基于机器视觉的粮食质量指标智能检测方法，其特征在于，S3中，所述属性包括破碎粒、虫蚀粒、生霉粒、霉变粒、生芽粒、矿物质、冻伤粒、热损粒、涨大粒、未熟粒、整精米、黄粒米、病斑粒和完善粒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170245.4A CN116912244A (zh) | 2023-09-12 | 2023-09-12 | 基于机器视觉的粮食质量指标智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170245.4A CN116912244A (zh) | 2023-09-12 | 2023-09-12 | 基于机器视觉的粮食质量指标智能检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912244A true CN116912244A (zh) | 2023-10-20 |
Family
ID=88367188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311170245.4A Pending CN116912244A (zh) | 2023-09-12 | 2023-09-12 | 基于机器视觉的粮食质量指标智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912244A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611927A (zh) * | 2024-01-22 | 2024-02-27 | 中储粮成都储藏研究院有限公司 | 一种稻谷互混率检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875747A (zh) * | 2018-06-15 | 2018-11-23 | 四川大学 | 一种基于机器视觉的小麦不完善粒识别方法 |
| CN110458361A (zh) * | 2019-08-14 | 2019-11-15 | 中储粮成都储藏研究院有限公司 | 基于bp神经网络的粮食品质指标预测方法 |
| CN112474387A (zh) * | 2020-10-19 | 2021-03-12 | 北京科技大学 | 一种原粮不完善粒的图像识别和自动分拣装置 |
| CN114627081A (zh) * | 2022-03-16 | 2022-06-14 | 河南工业大学 | 一种基于Mask R-CNN的小麦不完善粒识别方法 |
| CN114766041A (zh) * | 2019-12-03 | 2022-07-19 | 巴斯夫欧洲公司 | 用于确定作物损害的系统和方法 |
| CN116485766A (zh) * | 2023-04-27 | 2023-07-25 | 安徽农业大学 | 一种基于改进yolox的粮食不完善粒检测和计数方法 |
| CN116704247A (zh) * | 2023-06-05 | 2023-09-05 | 中南林业科技大学 | 一种基于透射偏振光图像的谷物不完善粒识别方法及系统 |
| CN116704188A (zh) * | 2023-06-10 | 2023-09-05 | 河南工业大学 | 一种基于改进U-Net网络的不同容重小麦籽粒图像分割算法 |
-
2023
- 2023-09-12 CN CN202311170245.4A patent/CN116912244A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875747A (zh) * | 2018-06-15 | 2018-11-23 | 四川大学 | 一种基于机器视觉的小麦不完善粒识别方法 |
| CN110458361A (zh) * | 2019-08-14 | 2019-11-15 | 中储粮成都储藏研究院有限公司 | 基于bp神经网络的粮食品质指标预测方法 |
| CN114766041A (zh) * | 2019-12-03 | 2022-07-19 | 巴斯夫欧洲公司 | 用于确定作物损害的系统和方法 |
| CN112474387A (zh) * | 2020-10-19 | 2021-03-12 | 北京科技大学 | 一种原粮不完善粒的图像识别和自动分拣装置 |
| CN114627081A (zh) * | 2022-03-16 | 2022-06-14 | 河南工业大学 | 一种基于Mask R-CNN的小麦不完善粒识别方法 |
| CN116485766A (zh) * | 2023-04-27 | 2023-07-25 | 安徽农业大学 | 一种基于改进yolox的粮食不完善粒检测和计数方法 |
| CN116704247A (zh) * | 2023-06-05 | 2023-09-05 | 中南林业科技大学 | 一种基于透射偏振光图像的谷物不完善粒识别方法及系统 |
| CN116704188A (zh) * | 2023-06-10 | 2023-09-05 | 河南工业大学 | 一种基于改进U-Net网络的不同容重小麦籽粒图像分割算法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611927A (zh) * | 2024-01-22 | 2024-02-27 | 中储粮成都储藏研究院有限公司 | 一种稻谷互混率检测方法及装置 |
| CN117611927B (zh) * | 2024-01-22 | 2024-04-16 | 中储粮成都储藏研究院有限公司 | 一种稻谷互混率检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zareiforoush et al. | Potential applications of computer vision in quality inspection of rice: a review | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
| CN110569747A (zh) | 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法 | |
| CN116912244A (zh) | 基于机器视觉的粮食质量指标智能检测方法 | |
| AU2005242157A1 (en) | Methods for processing image and/or spectral data for enhanced embryo classification | |
| CN108613989A (zh) | 一种稻谷不完善粒的检测方法 | |
| CN110503140A (zh) | 基于深度迁移学习与邻域降噪的分类方法 | |
| CN112651440A (zh) | 基于深度卷积神经网络的土壤有效团聚体分类识别方法 | |
| CN111768402A (zh) | 一种基于mu-svm的冰鲜鲳鱼新鲜度评估方法 | |
| CN114972230A (zh) | 一种生产线上电路板缺陷检测方法及系统 | |
| Mohamadzadeh Moghadam et al. | Nondestructive classification of saffron using color and textural analysis | |
| CN109934297B (zh) | 一种基于深度学习卷积神经网络的水稻考种方法 | |
| CN113724223B (zh) | 基于光学显微镜的YOLOv3数据集制作方法及系统 | |
| Hortinela et al. | Classification of Cacao Beans Based on their External Physical Features Using Convolutional Neural Network | |
| Aznan et al. | Rice seed varieties identification based on extracted colour features using image processing and artificial neural network (ANN) | |
| Kaur et al. | Geometric feature extraction of selected rice grains using image processing techniques | |
| CN113112482A (zh) | 一种基于注意力机制网络的pcb缺陷检测方法 | |
| Ji et al. | Apple color automatic grading method based on machine vision | |
| CN106898010A (zh) | 颗粒拷种的方法及装置 | |
| CN111709427B (zh) | 一种基于稀疏卷积核的果实分割方法 | |
| Zakiyyah et al. | Characterization and Classification of Citrus reticulata var. Keprok Batu 55 Using Image Processing and Artificial Intelligence | |
| CA2480931C (en) | General method of classifying plant embryos using a generalized lorenz-bayes classifier | |
| Chaugule et al. | Seed technological development—a survey | |
| CN110765899A (zh) | 一种基于深度神经网络的花生选芽方法及控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |