CN116311232A - 不完善粒类别识别方法、装置及计算机设备 - Google Patents
不完善粒类别识别方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN116311232A CN116311232A CN202310607138.7A CN202310607138A CN116311232A CN 116311232 A CN116311232 A CN 116311232A CN 202310607138 A CN202310607138 A CN 202310607138A CN 116311232 A CN116311232 A CN 116311232A
- Authority
- CN
- China
- Prior art keywords
- grain
- imperfect
- identified
- information
- grains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000012163 sequencing technique Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 9
- 235000013339 cereals Nutrition 0.000 claims description 366
- 238000000605 extraction Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 33
- 239000004464 cereal grain Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 241000238631 Hexapoda Species 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 210000001161 mammalian embryo Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000028446 budding cell bud growth Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种不完善粒类别识别方法，包括：构建不完善粒类别识别模型，不完善粒类别识别模型用于识别谷粒类别；对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块、和训练后的排序模块；确定待识别谷粒的图像特征数据；分别通过训练后的分类模块和训练后的排序模块对图像特征数据进行处理，对应得到待识别谷粒的候选类别信息和排序分值信息；当候选类别信息表征待识别谷粒为不完善粒时，基于排序分值信息确定待识别谷粒的目标类别信息；本申请可以提升谷粒的类别识别精确度。
Description
技术领域
本申请涉及农业领域，尤其涉及一种不完善粒类别识别方法、装置及计算机设备。
背景技术
随着科学技术的发展，农业领域的发展也日新月异，不断改变着人们的生产生活方式，比如，谷物在生长、贮存等过程中，可能会产生如虫蚀、生霉、生芽等问题，具有这些问题的谷粒统称为不完善粒。谷物中不完善粒的占比对谷物的质量影响较大，因此在实际生产应用过程中，对不完善粒的识别是一个常见问题，现有技术可以对谷粒进行分类，确定其为完善粒或不完善粒。
在对现有技术的研究和实践过程中，本申请的发明人发现，简单对谷粒进行二分类的识别精度较低，已经难以满足实际生产的需求。
发明内容
本申请提供了一种不完善粒类别识别方法、装置及计算机设备，可以提升谷粒类别识别的精确度。
本申请实施例提供了一种不完善粒类别识别方法，包括：
构建不完善粒类别识别模型，不完善粒类别识别模型用于识别谷粒类别；
对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块、和训练后的排序模块；
确定待识别谷粒的图像特征数据；
分别通过训练后的分类模块和训练后的排序模块对图像特征数据进行处理，对应得到待识别谷粒的候选类别信息和排序分值信息；
当候选类别信息表征待识别谷粒为不完善粒时，基于排序分值信息确定待识别谷粒的目标类别信息。
相应地，本申请实施例提供一种不完善粒类别识别装置，包括：
构建单元，用于构建不完善粒类别识别模型，不完善粒类别识别模型用于识别谷粒类别；
训练单元，用于对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块和排序模块；
确定单元，用于确定待识别谷粒的图像特征数据；
处理单元，用于分别通过分类模块和排序模块对图像特征数据进行处理，对应得到待识别谷粒的候选类别信息和排序分值信息；
类别单元，用于当候选类别信息表征待识别谷粒为不完善粒时，基于排序分值信息确定待识别谷粒的目标类别信息。
在本申请的一些实施例中，类别单元可以包括第一子单元和第二子单元，其中，
第一子单元，用于当候选类别信息表征待识别谷粒为不完善粒、且排序分值信息大于预设阈值时，确定待识别谷粒的候选类别信息为目标类别信息；
第二子单元，用于当候选类别信息表征待识别谷粒为不完善类、且排序分值信息小于预设阈值时，确定待识别谷粒的目标类别信息，待识别谷粒的目标类别信息表征待识别谷粒为完善粒。
在本申请的一些实施例中，不完善粒类别识别装置还包括信息单元，其中，
信息单元，用于当候选类别信息表征待识别谷粒为完善粒，确定候选类别信息为待识别谷粒的目标类别信息。
在本申请的一些实施例中，不完善粒类别识别模型包括特征提取模块，确定单元包括获取子单元和提取子单元，其中，
获取子单元，用于获取待识别谷粒的谷粒图像；
提取子单元，用于通过特征提取模块对谷粒图像进行特征提取，得到待识别谷粒的图像特征数据。
在本申请的一些实施例中，获取子单元具体用于：
获取谷物图像，谷物图像包括多个谷粒；
对谷物图像进行谷粒检测，得到待识别谷粒在谷物图像中的位置信息；
根据位置信息，对谷物图像进行裁剪，得到待识别谷粒的谷粒图像。
在本申请的一些实施例中，训练单元包括确定子单元、获取子单元、输入子单元和训练子单元，其中，
确定子单元，用于确定针对不完善粒类别识别模型的损失函数；
获取子单元，用于获取用于模型训练的多个样本图像数据，以及每个样本图像数据的标签信息；
输入子单元，用于将样本图像数据输入不完善粒类别识别模型，得到样本图像数据的类别预测结果；
训练子单元，用于基于类别预测结果、标签信息和损失函数，对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型。
在本申请的一些实施例中，不完善粒类别识别模型包括分类模块和排序模块，类别预测结果包括分类结果和排序结果，输入子单元具体用于：
通过不完善粒类别识别模型的分类模块和排序模块，分别对样本图像数据识别，得到样本图像数据的分类结果和排序结果。
在本申请的一些实施例中，标签信息包括类别标签信息和排序标签信息，训练子单元具体用于：
基于分类结果、排序结果、类别标签信息、排序标签信息和损失函数，计算不完善粒类别识别模型的损失值；
根据损失值对不完善粒类别识别模型进行训练，直至满足预设训练终止条件，得到待转换的不完善粒类别识别模型，待转换的不完善粒类别识别模型包括待转换的特征提取模块，待转换的特征提取模块包括多个子模块，每个子模块包括多个分支层；
对每个子模块的所有分支层分别进行融合处理，以得到训练后的不完善粒类别识别模型。
相应地，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本申请实施例提供的任一种不完善粒类别识别方法。
相应地，本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现本申请实施例提供的任一种不完善粒类别识别方法。
本申请可以构建不完善粒类别识别模型，不完善粒类别识别模型用于识别谷粒类别；对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块、和训练后的排序模块；确定待识别谷粒的图像特征数据；分别通过训练后的分类模块和训练后的排序模块对图像特征数据进行处理，对应得到待识别谷粒的候选类别信息和排序分值信息；当候选类别信息表征待识别谷粒为不完善粒时，基于排序分值信息确定待识别谷粒的目标类别信息。
本申请可以构建并训练不完善粒类别识别模型，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块和训练后的排序模块，可以通过训练后的分类模块确定待识别谷粒的候选类别信息，候选类别信息表征待识别谷粒的多种状态，如完善粒、虫蚀粒、生霉粒、生芽粒等，其中，除完善粒以外的虫蚀粒、生霉粒、生芽粒等属于不完善粒，本申请可以通过训练后的排序模块确定待识别谷粒的排序分值信息，当候选类别信息表征待识别谷粒为不完善粒时，可以通过排序分值信息进行二次确定，最终得到待识别谷粒的目标类别信息，有效提升不完善粒类别识别的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的不完善粒类别识别系统的流程示意图；
图2本申请实施例提供的不完善粒类别识别方法的结构示意图；
图3为本申请实施例提供的不完善粒类别识别方法的图像示意图；
图4为本申请实施例提供的不完善粒类别识别系统的另一流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，本申请所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种不完善粒类别识别方法、装置及计算机设备，具体地，本申请的不完善粒类别识别方法可以集成在不完善粒类别识别系统中。
不完善粒类别识别系统可以集成在计算机设备，计算机设备可以包括终端、服务器等中的至少一种，终端可以包括智能粮食质检设备、智能粮食分类设备、个人电脑、平板电脑、智能摄像装置、个人可穿戴设备等，服务器可以包括物理服务器、云服务器等，物理服务器可以为单个服务器，也可以包括至少两个服务器构成的服务器集群、或分布式系统等。云服务器可以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务。不同计算机设备之间可以通过有线或无线通信方式进行直接或间接连接，本申请对此不做限制。
具体地，不完善粒类别识别系统可以构建不完善粒类别识别模型，不完善粒类别识别模型用于识别谷粒类别，可以对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块、和训练后的排序模块，还可以确定待识别谷粒的图像特征数据，以及分别通过训练后的分类模块和训练后的排序模块对图像特征数据进行处理，对应得到待识别谷粒的候选类别信息和排序分值信息，当候选类别信息表征待识别谷粒为不完善粒时，不完善粒类别识别系统可以基于排序分值信息确定待识别谷粒的目标类别信息。
在本申请的一些实施例中，不完善粒类别识别系统集成在训练设备和应用设备上，训练设备可以包括终端、服务器在内的至少一种计算机设备，训练设备可以构建、训练不完善粒类别识别模型，得到训练后的不完善粒类别识别模型，应用设备可以包括终端、服务器在内的至少一种计算机设备，训练设备可以向应用设备发送训练后的不完善粒类别识别模型，应用设备可以通过训练后的不完善粒类别识别模型进行识别，得到待识别谷粒的目标类别信息。
下面将结合实施例对本申请的技术方案进行详细描述。
在本实施例中，不完善粒类别识别方案可以集成在计算机设备，不完善粒类别识别方法可以包括如图1的流程：
110、构建不完善粒类别识别模型，不完善粒类别识别模型用于识别谷粒类别。
不完善粒类别识别模型可以包括用于识别谷粒类别的模型。
不完善粒类别识别模型可以包括特征提取模块、分类模块和排序模块，其中，特征提取模块可以用于对待识别谷粒的谷粒图像进行提取特征，分类模块可以用于初步识别待识别谷粒的类别信息，排序模块可以用于输出待识别谷粒的排序分值信息。
具体地，特征提取模块可以通过搭建神经网络得到，特征提取模块可以提取谷粒图像的高维特征，得到图像特征数据。特征提取模块可以基于多种卷积神经网络模型进行构建，如VGG模型（一种卷积神经网络模型）、RepVGG网络模型（一种卷积神经网络模型）等。
比如，参见图2，待训练的不完善粒类别识别模型可以包括特征提取模块、排序学习模块和分类模块，特征提取模块可以包括多个层，如图2中，特征提取模块包括RepVGGBlock_1层、RepVGG Block_2层、RepVGG Block_3层、RepVGG Block_4层、RepVGG Block_5层。每个RepVGG Block层包括不定数量个块层，如图2，每个块层包括3个并行连接的分支，分别为
卷积层分支、/>
卷积分支和恒等映射分支，每个分支还包括一个批标准化（batch normalization,BN)层，以及与前述结构串接的ReLU激活层。
每个RepVGG Block层所包含的块层可以串接在一起，具体地每个块层的数量可以根据实际需求确定，示例性地，RepVGG Block_1层、RepVGG Block_2层、RepVGG Block_3层、RepVGG Block_4层、RepVGG Block_5层的块层数量可以分别为1、2、4、14、1。每个RepVGGBlock层的通道数也可以根据实际需求设定，示例性地，RepVGG Block_1层、RepVGG Block_2层、RepVGG Block_3层、RepVGG Block_4层、RepVGG Block_5层的通道数可以分别为64、128、256、512、1024。特征提取模块中卷积层的步长也可以根据实际需求设置，如2、3、4、6等。特征提取层输入的谷粒图像大小可以对应进行限定，具体地可以根据实际需求灵活处理，示例性的，谷粒图像大小可以为
，特征提取层对谷粒图像进行特征提取得到图像特征数据，比如，图像特征数据可以为/>
的高维特征图。
120、对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块、和训练后的排序模块。
可以通过样本图像数据对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型可以通过谷粒图像，确定谷粒为完善粒或不完善粒，若为不完善粒，可以具体确定谷粒为虫蚀粒、生芽粒、生霉粒、病斑粒、破损粒、黑胚粒等。
具体地，可以先确定针对不完善粒类别识别模型的损失函数，损失函数可以根据需求灵活选取，比如，损失函数可以包括softmax损失函数、在线中心损失函数、排序学习损失函数等。
在本申请的一些实施例中，可以分别为不完善粒类别识别模型的分类模块和排序模块确定分类损失函数和排序损失函数，其中，分类损失函数可以包括softmax函数（可记为
）和在线中心损失函数（可记为/>
），通过softmax函数训练模型可以提升不同种类的类间判别力，通过在线中心损失函数可以缩小同一类的类内距离。排序损失函数可以包括交叉熵损失函数（可记为/>
），具体地，
其中，
表示一批样本的总数量，/>
表示第/>
个样本，/>
表示第/>
个样本的类别标签，/>
表示第/>
个样本的特征向量（即对第/>
个样本的样本图像数据进行特征提取得到的图像特征数据），/>
表示第/>
个样本的类别标签对应的类级特征向量，/>
可以为上一轮模型训练所得，也可以为首轮训练前随机预设。
其中，
表示针对图像对/>
的目标概率，/>
表示针对图像对/>
的预测概率，/>
表示图像对/>
的相关性对比结果，若/>
比/>
的相关性高，定义/>
=1；若/>
比/>
的相关性低，定义/>
=-1；若/>
比/>
的相关性相同，定义/>
=0。
其中，
表示图像/>
通过不完善粒类别识别模型的输出结果，/>
表示图像
的输出结果。
不完善粒类别识别模型的损失函数可以记为
，
其中，
、/>
、/>
分别为softmax损失函数、在线中心损失函数以及排序学习损失函数所占比例的权重值。
然后获取用于模型训练的多个样本图像数据，以及每个样本图像数据的类别标签信息。
在一些实施例中，可以从数据集获取多个样本图像数据，以及每个样本图像数据的类别标签信息，数据集可以包括至少一个，数据集中可以包括大量样本图像数据，以及通过人工标注等方式所得的每个样本图像数据的类别标签信息，类别标签信息样本图像数据中的谷粒所属的类别，如完善粒、虫蚀粒、生芽粒、生霉粒、病斑粒、破损粒、黑胚粒等，类别标签信息也可以包括样本图像数据中的谷粒所属类别的等级，如1级、2级、3级、4级，可以分别对应明显、相对明显、不明显、正常。
比如，数据集可以包括分类数据集和排序数据集，分类数据集包括多个样本图像数据，以及每个样本图像数据对应的类别标签信息，类别标签信息可以包括类别信息，类别信息可以包括完善粒、虫蚀粒、生芽粒等；排序数据集包括多个样本图像数据，以及每个样本图像数据对应的类别标签信息，类别标签信息可以包括等级信息，等级信息可以包括1级、2级、3级、4级等。
此外数据集也可以整合为一个，此时数据集中一个样本图像数据可以对应类别信息和等级信息。
样本图像数据可以通过图像采集设备得到，图像采集设备可以包括相机等。图像采集设备可以采集包含多个谷粒的样本谷物图像，可以对样本谷物图像进行预处理，具体地可以包括检测样本谷物图像中谷物所在区域的位置信息，根据位置信息对样本谷物图像进行裁剪，得到至少一张具有单个谷粒的样本谷粒图像，然后可以去除样本谷粒图像中的干扰背景信息（如不完整的部分谷粒、杂质等），将样本谷粒图像旋转，得到处理后的样本谷粒图像。
再将样本图像数据输入不完善粒类别识别模型，得到样本图像数据的类别预测结果，根据类别预测结果、标签信息和损失函数，对不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型。
其中，类别预测结果可以包括不完善粒类别识别模型对样本图像数据中包含的谷粒的类别的预测结果。标签信息可以包括预先标注的样本图像数据中谷粒的类别信息。可以将标签信息和类别预测结果输入损失函数，计算得到不完善粒类别识别模型的损失值，根据损失值对不完善粒类别识别模型中的参数进行调整，再进行新一轮训练，直至满足训练终止条件，得到训练后的不完善粒类别识别模型。其中，训练终止条件可以包括损失值属于设定区间、训练迭代次数满足预设数值等。
比如，训练过程可以通过采用随机梯度下降（Stochastic Gradient Descent，SGD）优化器，权重衰减参数可以设为0.0005，数据批量大小可以设为256，初始学习率可以设置为0.001，训练迭代次数可以设置为100，当迭代次数达到100时，终止模型训练，得到训练后的不完善粒类别识别模型。
在一些实施例中，可以通过不完善粒类别识别模型的分类模块和排序模块，分别对样本图像数据进行识别，对应得到样本图像数据的分类结果和排序结果。
分类模块可以包括全连接层和softmax层，全连接层可以用于将样本图像数据对应的图像特征数据映射到样本标记空间，softmax层可以用于确定样本图像数据中谷粒为各个类别的概率，并将概率值最大的类别作为分类结果。
排序模块可以基于RankNet模型确定，RankNet模型为本领域的常见模型，在此不再赘述。排序模块可以输出样本图像数据中谷粒的排序结果，排序结果可以表征谷粒的不完善等级，比如排序结果可以为分值，分值越高谷粒的不完善等级越高。
在一些实施例中，标签信息可以包括类别标签信息和排序标签信息，可以将分类结果和类别标签信息输入分类损失函数，将排序结果和排序标签信息输入排序损失函数，从而得到不完善粒类别识别模型的损失值，并由损失值对模型进行训练。
在一些实施例中，可以由损失值对不完善粒类别识别模型进行训练，直至满足预设训练终止条件，得到待转换的不完善粒类别识别模型，待转换的不完善粒类别识别模型包括待转换的特征提取模块，特征提取模块可以参见图2，训练阶段的不完善粒类别识别模型包括RepVGG Block层，且RepVGG Block层由若干个块层串接，每个块层包括若干分支层，如图2中的
卷积层分支、/>
卷积分支和恒等映射分支等，结构较为复杂，在训练完成后，可以通过结构重参数法将RepVGG Block层转换为较为简单的单个卷积层，如图2中的
卷积层。具体地，可以将块层中的/>
卷积层分支、/>
卷积分支和恒等映射分支融合为一个/>
卷积层。对待转换的特征提取模块进行转换后，可得到训练后的不完善粒类别识别模型。
然后可以通过训练后的不完善粒类别识别模型，对待识别谷粒进行类别识别。训练后的不完善粒类别识别模型可以包括训练后的特征提取模块、分类模块和排序模块。
130、确定待识别谷粒的图像特征数据。
可以获取待识别谷粒的谷粒图像，通过训练后的特征提取模块对谷粒图像进行特征提取，得到待识别谷粒的图像特征数据。比如，可以通过训练后的特征提取模块对谷粒图像进行特征提取，得到待识别谷粒的图像特征数据。
具体地，获取谷粒图像的方式可以有多种，比如从数据集中获取，等。
在一些实施例中，可以首先获取谷物图像，谷物图像可以包括对多个谷粒拍摄所得图像，谷物图像中的多个谷粒可能为各种朝向，谷物图像中可以包括杂质，可以对谷物图像进行谷粒检测，确定待识别谷粒在谷物图像中的位置信息，比如见图3，对谷物图像1进行谷粒检测，可以确定待识别谷粒所在区域（矩形框框住的区域），然后可根据位置信息对谷物图像1进行裁剪、去噪和旋正，得到待识别谷粒的谷粒图像2。
140、分别通过训练后的分类模块和训练后的排序模块对待识别谷粒的图像特征数据进行处理，对应得到待识别谷粒的候选类别信息和排序分值信息。
比如，可以通过训练后的分类模块对图像特征数据识别，得到待识别谷粒的候选类别；通过训练后的排序模块对图像特征数据进行识别，得到待识别谷粒的分值。
150、当候选类别信息表征待识别谷粒为不完善粒时，基于排序分值信息确定待识别谷粒的目标类别信息。
比如，当候选类别表征待识别谷粒为完善粒时，确定待识别谷粒的目标类别为完善粒；当候选类别表征待识别谷粒为不完善粒时，根据待识别谷粒的分值确定待识别谷粒的目标类别。
在一些实施例中，当候选类别信息表征待识别谷粒为不完善粒，且排序分值大于预设阈值时，确定候选类别即为待识别谷粒的目标类别；当候选类别信息表征待识别谷粒为不完善粒，且排序分值小于预设阈值时，确定待识别谷粒的目标类别为完善粒。
此处的预设阈值可以根据实际应用场景灵活调整，使得本申请的技术方案可以精确匹配不同用户对于不完善粒的不同标准，更加贴合用户需求，符合不同应用场景的实际需求，得到更为灵活的谷粒类别识别结果。
比如，参见图4，可以采集谷物正面图像和谷物反面图像，可以通过检测模块确定图像中谷粒的位置信息，通过分割模块根据位置信息对谷物正面图像和谷物反面图像进行裁剪，得到含有单个待识别谷粒的谷粒图像，通过旋正模块将谷粒图像中的谷粒旋正。然后可以通过训练后的特征提取模块对谷粒图像进行特征提取，得到待识别谷粒的图像特征数据，并分别通过分类模块和排序模块（排序学习模块），输出待识别谷粒的类别信息（谷物类别）和排序分值信息（谷物排序分数），当类别信息表征待识别谷粒为完善粒时，确定待识别谷物的目标类别为完善粒；当类别信息表征待识别谷粒为不完善粒（如生芽类、虫蚀类等）时，判断排序分值信息是否大于预设阈值，若大于，则确定待识别谷粒的候选类别即为目标类别（如生芽类、虫蚀类等）；若不大于，则确定待识别谷粒的目标类别为完善粒。
本申请可以构建并训练不完善粒类别识别模型，得到训练后的不完善粒类别识别模型，训练后的不完善粒类别识别模型包括训练后的分类模块和训练后的排序模块，可以通过训练后的分类模块确定待识别谷粒的候选类别信息，候选类别信息表征待识别谷粒的多种状态，如完善粒、虫蚀粒、生霉粒、生芽粒等，其中，除完善粒以外的虫蚀粒、生霉粒、生芽粒等属于不完善粒，本申请可以通过训练后的排序模块确定待识别谷粒的排序分值信息，当候选类别信息表征待识别谷粒为不完善粒时，可以通过排序分值信息进行二次确定，最终得到待识别谷粒的目标类别信息，有效提升不完善粒类别识别的精确度。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种不完善粒类别识别方法，其特征在于，包括：
构建不完善粒类别识别模型，所述不完善粒类别识别模型用于识别谷粒类别；
对所述不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，所述训练后的不完善粒类别识别模型包括训练后的分类模块、和训练后的排序模块；
确定待识别谷粒的图像特征数据；
分别通过所述训练后的分类模块和所述训练后的排序模块对所述图像特征数据进行处理，对应得到所述待识别谷粒的候选类别信息和排序分值信息；
当所述候选类别信息表征所述待识别谷粒为不完善粒时，基于所述排序分值信息确定所述待识别谷粒的目标类别信息。
2.根据权利要求1所述的方法，其特征在于，所述当所述候选类别信息表征所述待识别谷粒为不完善粒时，基于所述排序分值信息确定所述待识别谷粒的目标类别信息，包括：
当所述候选类别信息表征所述待识别谷粒为不完善粒、且所述排序分值信息大于预设阈值时，确定所述待识别谷粒的候选类别信息为目标类别信息；
当所述候选类别信息表征所述待识别谷粒为不完善类、且所述排序分值信息小于预设阈值时，确定所述待识别谷粒的目标类别信息，所述待识别谷粒的目标类别信息表征所述待识别谷粒为完善粒。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述候选类别信息表征所述待识别谷粒为完善粒，确定所述候选类别信息为所述待识别谷粒的目标类别信息。
4.根据权利要求1所述的方法，其特征在于，所述不完善粒类别识别模型包括特征提取模块，所述确定待识别谷粒的图像特征数据，包括：
获取待识别谷粒的谷粒图像；
通过所述特征提取模块对所述谷粒图像进行特征提取，得到所述待识别谷粒的图像特征数据。
5.根据权利要求4所述的方法，其特征在于，所述获取待识别谷粒的谷粒图像，包括：
获取谷物图像，所述谷物图像包括多个谷粒；
对所述谷物图像进行谷粒检测，得到待识别谷粒在所述谷物图像中的位置信息；
根据所述位置信息，对所述谷物图像进行裁剪，得到所述待识别谷粒的谷粒图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，包括：
确定针对所述不完善粒类别识别模型的损失函数；
获取用于模型训练的多个样本图像数据，以及每个所述样本图像数据的标签信息；
将所述样本图像数据输入所述不完善粒类别识别模型，得到所述样本图像数据的类别预测结果；
基于所述类别预测结果、所述标签信息和所述损失函数，对所述不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型。
7.根据权利要求6所述的方法，其特征在于，所述不完善粒类别识别模型包括分类模块和排序模块，所述类别预测结果包括分类结果和排序结果，
所述将所述样本图像数据输入所述不完善粒类别识别模型，得到所述样本图像数据的类别预测结果，包括：
通过所述不完善粒类别识别模型的分类模块和排序模块，分别对所述样本图像数据识别，得到所述样本图像数据的分类结果和排序结果。
8.根据权利要求7所述的方法，其特征在于，所述标签信息包括类别标签信息和排序标签信息，
所述基于所述类别预测结果、所述标签信息和所述损失函数，对所述不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，包括：
基于所述分类结果、所述排序结果、所述类别标签信息、所述排序标签信息和所述损失函数，计算所述不完善粒类别识别模型的损失值；
根据所述损失值对所述不完善粒类别识别模型进行训练，直至满足预设训练终止条件，得到待转换的不完善粒类别识别模型，所述待转换的不完善粒类别识别模型包括待转换的特征提取模块，所述待转换的特征提取模块包括多个子模块，每个所述子模块包括多个分支层；
对每个所述子模块的所有分支层分别进行融合处理，以得到训练后的不完善粒类别识别模型。
9.一种不完善粒类别识别装置，其特征在于，包括：
构建单元，用于构建不完善粒类别识别模型，所述不完善粒类别识别模型用于识别谷粒类别；
训练单元，用于对所述不完善粒类别识别模型进行训练，得到训练后的不完善粒类别识别模型，所述训练后的不完善粒类别识别模型包括训练后的分类模块和排序模块；
确定单元，用于确定待识别谷粒的图像特征数据；
处理单元，用于分别通过所述分类模块和所述排序模块对所述图像特征数据进行处理，对应得到所述待识别谷粒的候选类别信息和排序分值信息；
类别单元，用于当所述候选类别信息表征所述待识别谷粒为不完善粒时，基于所述排序分值信息确定所述待识别谷粒的目标类别信息。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310607138.7A CN116311232B (zh) | 2023-05-26 | 2023-05-26 | 不完善粒类别识别方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310607138.7A CN116311232B (zh) | 2023-05-26 | 2023-05-26 | 不完善粒类别识别方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311232A true CN116311232A (zh) | 2023-06-23 |
| CN116311232B CN116311232B (zh) | 2023-09-19 |
Family
ID=86783744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310607138.7A Active CN116311232B (zh) | 2023-05-26 | 2023-05-26 | 不完善粒类别识别方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311232B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108767A (zh) * | 2017-12-29 | 2018-06-01 | 美的集团股份有限公司 | 一种谷物识别方法、装置和计算机存储介质 |
| CN109470648A (zh) * | 2018-11-21 | 2019-03-15 | 中国科学院合肥物质科学研究院 | 一种单籽粒作物不完善粒快速无损判定方法 |
| CN109711319A (zh) * | 2018-12-24 | 2019-05-03 | 安徽高哲信息技术有限公司 | 一种粮食不完善粒图像识别样本库建立的方法及系统 |
| CN112330641A (zh) * | 2020-11-09 | 2021-02-05 | 迩言(上海)科技有限公司 | 一种基于深度学习的粮食不完善粒识别方法及系统 |
| CN113496240A (zh) * | 2020-04-02 | 2021-10-12 | 山西农业大学 | 基于YoLov3网络对显微镜下的谷子检测方法 |
| CN113850121A (zh) * | 2021-08-12 | 2021-12-28 | 迩言(上海)科技有限公司 | 一种粮食不完善粒辅助识别方法、装置和系统 |
| CN113869251A (zh) * | 2021-09-30 | 2021-12-31 | 河南工业大学 | 一种基于改进ResNet的小麦不完善粒在线检测方法 |
| US20220012519A1 (en) * | 2019-03-19 | 2022-01-13 | Bühler AG | Industrialized system for rice grain recognition and method thereof |
-
2023
- 2023-05-26 CN CN202310607138.7A patent/CN116311232B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108767A (zh) * | 2017-12-29 | 2018-06-01 | 美的集团股份有限公司 | 一种谷物识别方法、装置和计算机存储介质 |
| CN109470648A (zh) * | 2018-11-21 | 2019-03-15 | 中国科学院合肥物质科学研究院 | 一种单籽粒作物不完善粒快速无损判定方法 |
| CN109711319A (zh) * | 2018-12-24 | 2019-05-03 | 安徽高哲信息技术有限公司 | 一种粮食不完善粒图像识别样本库建立的方法及系统 |
| US20220012519A1 (en) * | 2019-03-19 | 2022-01-13 | Bühler AG | Industrialized system for rice grain recognition and method thereof |
| CN113496240A (zh) * | 2020-04-02 | 2021-10-12 | 山西农业大学 | 基于YoLov3网络对显微镜下的谷子检测方法 |
| CN112330641A (zh) * | 2020-11-09 | 2021-02-05 | 迩言(上海)科技有限公司 | 一种基于深度学习的粮食不完善粒识别方法及系统 |
| CN113850121A (zh) * | 2021-08-12 | 2021-12-28 | 迩言(上海)科技有限公司 | 一种粮食不完善粒辅助识别方法、装置和系统 |
| CN113869251A (zh) * | 2021-09-30 | 2021-12-31 | 河南工业大学 | 一种基于改进ResNet的小麦不完善粒在线检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张玉荣;王伟宇;周显青;陈赛赛;: "基于外观特征识别玉米不完善粒检测方法", 河南工业大学学报(自然科学版), no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311232B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Wheat ears counting in field conditions based on multi-feature optimization and TWSVM | |
| CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN110046631B (zh) | 用于自动推断时空图像的变化的系统和方法 | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN111553240B (zh) | 一种玉米病害病情分级方法、系统和计算机设备 | |
| CN109325431B (zh) | 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置 | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| CN111179216B (zh) | 一种基于图像处理与卷积神经网络的作物病害识别方法 | |
| CN110633758A (zh) | 针对小样本或样本不平衡的癌症区域检测定位的方法 | |
| CN111476280A (zh) | 植物叶片识别方法及系统 | |
| JP2011527055A (ja) | 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法 | |
| Alharbi et al. | Automatic counting of wheat spikes from wheat growth images | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN111126361B (zh) | 基于半监督学习和特征约束的sar目标鉴别方法 | |
| Chawathe | Rice disease detection by image analysis | |
| CN111401343B (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
| CN110874835B (zh) | 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质 | |
| CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN111046838A (zh) | 一种湿地遥感信息的识别方法及装置 | |
| CN114782948A (zh) | 一种对宫颈液基细胞学涂片的全局判读方法及系统 | |
| CN114548213A (zh) | 模型训练方法、图像识别方法、终端设备及计算机介质 | |
| Macías-Macías et al. | Mask R-CNN for quality control of table olives | |
| CN116310913B (zh) | 基于小型无人机测量技术的自然资源调查监测方法及装置 | |
| CN112861743A (zh) | 一种掌静脉图像防伪方法、装置和设备 | |
| CN116311232B (zh) | 不完善粒类别识别方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |