CN116343201B - 谷粒类别识别方法、装置及计算机设备 - Google Patents

谷粒类别识别方法、装置及计算机设备 Download PDF

Info

Publication number
CN116343201B
CN116343201B CN202310616204.7A CN202310616204A CN116343201B CN 116343201 B CN116343201 B CN 116343201B CN 202310616204 A CN202310616204 A CN 202310616204A CN 116343201 B CN116343201 B CN 116343201B
Authority
CN
China
Prior art keywords
data
sub
grain
target
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310616204.7A
Other languages
English (en)
Other versions
CN116343201A (zh
Inventor
武勇
丁益文
姚姚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Gaozhe Information Technology Co ltd
Original Assignee
Anhui Gaozhe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Gaozhe Information Technology Co ltd filed Critical Anhui Gaozhe Information Technology Co ltd
Priority to CN202310616204.7A priority Critical patent/CN116343201B/zh
Publication of CN116343201A publication Critical patent/CN116343201A/zh
Application granted granted Critical
Publication of CN116343201B publication Critical patent/CN116343201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种谷粒类别识别方法、装置及计算机设备；本申请构建谷粒类别识别模型，谷粒类别识别模型包括初始编码器和解码器；基于目标样本图像数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型包括目标编码器，目标编码器包括对初始编码器的参数调整所得的编码器；采集待识别谷粒的待识别图像数据，待识别图像数据包括至少两个视角图像，视角图像包括从不同视角对待识别谷粒进行拍摄所得图像；将待识别图像数据输入训练后的谷粒类别识别模型，得到待识别谷粒的类别识别结果；本申请可以提升谷粒类别识别的准确性。

Description

谷粒类别识别方法、装置及计算机设备
技术领域
本发明涉及农业领域，尤其涉及一种谷粒类别识别方法、装置及计算机设备。
背景技术
粮食作为农业领域的重要资源，对于人们的日常生活来说起着至关重要的作用。粮食在流通过程中需要对其进行分级，不同种类的粮食可以应用在不同的生产场景中。具体可以根据虫害谷粒、发霉谷粒等不完善粒在所有谷物中的比例进行分级，现有技术可以通过传感器等对谷粒进行识别，确定谷粒为完好的完善粒还是带有缺陷的不完善粒。然而现有借助传感器识别谷粒类别的方式准确率不高。
发明内容
本申请提供了一种谷粒类别识别方法、装置及计算机设备，可以提升谷粒类别识别的准确性。
本申请提供了一种谷粒类别识别方法，包括：
构建谷粒类别识别模型，谷粒类别识别模型包括初始编码器和解码器；
基于目标样本图像数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型包括目标编码器，目标编码器包括对初始编码器的参数调整所得的编码器；
采集待识别谷粒的待识别图像数据，待识别图像数据包括至少两个视角图像，视角图像包括从不同视角对待识别谷粒进行拍摄所得图像；
将待识别图像数据输入训练后的谷粒类别识别模型，得到待识别谷粒的类别识别结果。
相应地，本申请还提供了一种谷粒类别识别装置，包括：
构建模块，用于构建谷粒类别识别模型，谷粒类别识别模型包括初始编码器和解码器；
训练模块，用于基于目标样本图像数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型包括目标编码器，目标编码器包括对初始编码器的参数调整所得的编码器；
采集模块，用于采集待识别谷粒的待识别图像数据，待识别图像数据包括至少两个视角图像，视角图像包括从不同视角对待识别谷粒进行拍摄所得图像；
识别模块，用于将待识别图像数据输入训练后的谷粒类别识别模型，得到待识别谷粒的类别识别结果。
在本申请的一些实施例中，训练模块包括获取子模块、生成子模块和训练子模块，其中，
获取子模块，用于获取目标样本图像数据，目标样本图像数据包括针对目标谷粒的至少两个视角图像，视角图像包括从不同视角对目标谷粒进行拍摄所得图像；
生成子模块，用于基于目标样本图像数据，生成图像特征数据；
训练子模块，用于根据图像特征数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型。
在本申请的一些实施例中，生成子模块包括预处理单元、编码单元、掩码单元和生成单元，其中，
预处理单元，用于对目标样本图像数据进行预处理，得到目标样本图像数据的表征数据，表征数据包括多个表征子数据，表征子数据包括掩码表征子数据和编码表征子数据；
编码单元，用于通过谷粒类别识别模型的编码器对编码表征子数据进行特征提取，得到特征子数据；
掩码单元，用于对掩码表征子数据进行掩码，得到掩码子数据；
生成单元，用于根据特征子数据和掩码子数据，生成目标样本图像数据对应的图像特征数据。
在本申请的一些实施例中，训练子模块包括生成单元、计算单元和训练单元，其中，
生成单元，用于基于图像特征数据和谷粒类别识别模型的解码器，生成样本图像数据对应的重建图像数据，重建图像数据包括每个视角图像对应的重建图像；
计算单元，用于基于目标样本图像数据、重建图像数据以及图像特征数据，计算图像重建损失值；
训练单元，用于基于重建损失值，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型。
在本申请的一些实施例中，表征子数据对应视角图像中的一个子区域，谷粒类别识别装置还可以包括选中确定模块和位置确定模块，其中，
选中确定模块，用于从至少两个视角图像中，确定至少一个选中视角图像、以及选中视角图像中的至少一个选中子区域，选中子区域对应掩码表征子数据；
位置确定模块，用于确定掩码表征子数据在表征数据中的掩码位置信息、以及编码表征子数据在表征数据中的编码位置信息；
此时生成单元可以用于：
根据掩码位置信息和编码位置信息，将所有掩码子数据和特征子数据合并，得到目标样本图像数据对应的图像特征数据。
在本申请的一些实施例中，选中确定模块可以包括图像子模块、生成子模块、选择子模块和数据子模块，其中，
图像子模块，用于从至少两个视角图像中，确定至少一个选中视角图像；
生成子模块，用于生成与表征数据对应的随机矩阵，随机矩阵中的每个数据与表征数据中的每个表征子数据一一对应；
选择子模块，用于从随机矩阵中选择至少一个目标数据；
数据子模块，用于确定与目标数据对应的表征子数据为掩码表征子数据，掩码表征子区域对应选中视角图像中的选中子区域。
在本申请的一些实施例中，图像子模块包括保存单元、打乱单元、标识值单元和选中单元，其中，
保存单元，用于为每个视角图像设置标识值，将所有标识值保存在标识数据集中；
打乱单元，用于对标识数据集中的标识值进行打乱处理，得到打乱后标识数据集；
标识值单元，用于确定打乱后标识数据集中的前第一数量个标识值为选中标识值；
选中单元，用于确定选中标识值对应的视角图像为选中视角图像。
在本申请的一些实施例中，生成子模块可以包括生成单元和拼接单元，其中，
生成单元，包括依次为每个视角图像生成目标随机子矩阵，目标随机子矩阵中的每个数据与视角图像的每个子区域一一对应；
拼接单元，包括将所有目标随机子矩阵拼接起来，得到与表征数据对应的随机矩阵。
在本申请的一些实施例中，生成单元可以包括生成子单元、放大子单元和其他子单元，其中，
生成子单元，用于为选中视角图像生成初始随机子矩阵；
放大子单元，用于对初始随机子矩阵中的数据进行放大处理，得到每个选中视角图像的目标随机子矩阵；
其他子单元，用于为其他视角图像生成目标随机子矩阵，其他视角图像为所有视角图像中除选中视角图像以外的视角图像。
在本申请的一些实施例中，选择子模块可以具体用于：
对随机矩阵中的所有数值进行排序，得到每个数据的排序结果；
将与预设排序筛选策略相匹配的排序结果对应的数据确定为目标数据。
在本申请的一些实施例中，计算单元可以包括计算子单元、输入子单元和确定子单元，其中，
计算子单元，用于基于目标样本图像数据和特征提取损失函数，计算得到特征提取损失值；
输入子单元，用于将目标样本图像数据和重建图像数据输入重构损失函数，得到重构损失值；
确定子单元，用于根据特征提取损失值和重构损失值，确定谷粒类别识别模型的图像重建损失值。
在本申请的一些实施例中，计算子单元可以具体用于：
获取样本图像数据对应的谷粒种类信息；基于图像特征数据，生成目标样本图像数据对应的预测种类信息；将谷粒种类信息和预测种类信息输入特征提取损失函数，得到特征提取损失值。
在本申请的一些实施例中，获取子模块可以包括采集单元、属性单元、保存单元和获取单元，其中，
采集单元，用于控制质检设备采集待质检谷粒的至少两个样本图像，得到第一样本图像数据；
属性单元，用于获取针对第一样本图像数据的第一属性信息，属性信息包括采集日期信息和谷粒种类信息；
保存单元，用于将第一样本图像数据、以及第一属性信息保存到样本数据集，样本数据集包括多个样本图像数据，以及每个样本图像数据对应的属性信息；
获取单元，用于从样本数据集中获取目标样本图像数据。
在本申请的一些实施例中，样本数据集包括多个样本子集，样本子集中的所有样本图像数据具有相同的采集日期信息，获取单元具体用于：
基于每个样本子集的采集日期信息，分别计算每个样本子集的采样概率；
基于每个采样概率，从采样概率对应的样本子集中进行数据采样，得到目标样本图像数据。
相应地，本申请实施例还提供了一种计算机可读介质，计算机可读介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本申请实施例提供的任一种谷粒类别识别方法。
相应地，本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现本申请实施例提供的任一种谷粒类别识别方法。
本申请可以构建谷粒类别识别模型，谷粒类别识别模型包括初始编码器和解码器；基于目标样本图像数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型包括目标编码器，目标编码器包括对初始编码器的参数调整所得；采集待识别谷粒的待识别图像数据，待识别图像数据包括至少两个视角图像，视角图像包括从不同视角对待识别谷粒进行拍摄所得图像；将待识别图像数据输入训练后的谷粒类别识别模型，得到待识别谷粒的类别识别结果。
本申请可以构建谷粒类别识别模型，并基于目标样本图像数据对该模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型可以根据输入的待识别谷粒的至少两个视角图像，更加全面地对待识别谷粒进行类别识别，得到准确率更高的类比识别结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的谷粒类别识别方法的流程示意图；
图2为本申请实施例提供的谷粒类别识别系统的场景示意图；
图3为本申请实施例提供的谷粒类别识别方法的另一流程示意图；
图4为本申请实施例提供的谷粒类别识别系统的另一场景示意图；
图5为本申请实施例提供的谷粒类别识别系统的另一场景示意图；
图6为本申请实施例提供的谷粒类别识别系统的另一场景示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，本申请所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种谷粒类别识别方法、装置及计算机设备，具体地，谷粒类别识别方法可以集成在谷粒类别识别系统中。
谷粒类别识别系统可以通过至少一个计算机设备实现，计算机设备可以包括终端和服务器在内的至少一种，终端可以包括智能粮食质检设备、智能粮食分类设备、个人电脑、平板电脑、智能摄像装置、个人可穿戴设备等，服务器可以包括物理服务器、云服务器等，物理服务器可以为单个服务器，也可以包括至少两个服务器构成的服务器集群、或分布式系统等。云服务器可以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务。不同计算机设备之间可以通过有线或无线通信方式进行直接或间接连接，本申请对此不做限制。
参见图1，图1给出了集成在计算机设备上的谷粒类别识别方法的流程示意图，可以包括：
101、构建谷粒类别识别模型，谷粒类别识别模型包括初始编码器和解码器。
102、基于目标样本图像数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型包括目标编码器，目标编码器包括对初始编码器的参数调整所得的编码器。
103、采集待识别谷粒的待识别图像数据，待识别图像数据包括至少两个视角图像，视角图像包括从不同视角对待识别谷粒进行拍摄所得图像。
104、将待识别图像数据输入训练后的谷粒类别识别模型，得到待识别谷粒的类别识别结果。
具体地，在一些实施例中，谷粒类别识别系统可以包括多个计算机设备，具体地，可以通过训练设备，使用样本图像数据对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，训练设备可以包括终端、服务器等在内的至少一个计算机设备。样本图像数据可以存储在样本数据集中，样本数据集可以通过数据管理系统进行管理，数据管理系统集成在终端、服务器在内的至少一个计算机设备上。训练后的谷粒类别识别模型设置在终端、服务器在内的至少一个计算机设备上，通过训练后的谷粒类别识别模型对目标谷粒的图像进行重建。
比如，参见图2，图2中包括训练设备，训练设备上集成了谷物大脑训练平台，谷物大脑训练平台可以进行对谷粒类别识别模型进行模型训练和模型调整，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型可以配置在质检系统，质检系统可以集成在质检设备上，质检系统可以通过训练后的谷粒类别识别模型，对采集到的待识别图像数据进行识别，得到待识别谷粒的类别识别结果。质检设备还可以作为样本数据采集装置，具体地其上可以设置摄像模组，摄像模组可以拍摄样本图像数据，质检设备可以将样本图像数据以及属性信息向数据管理系统发送，数据管理系统可以设置在至少一个计算机设备上，数据管理系统可以保存样本图像数据及其属性信息，并在训练设备进行训练时，从中采样得到用于训练的目标样本图像数据及其属性信息。
质检设备在谷粒类别识别的过程中，其采集的待识别图像和得到的类别识别结果也可以作为样本图像数据及其标签信息，保存在数据管理系统中，作为模型训练的输入，对训练后的谷粒类别识别模型进行更新，谷物大脑训练平台可以向质检设备发送更新后的谷粒类别识别模型，由此可以在无人工干预的情况下，谷粒类别识别模型可以自我迭代，自我升级，更好地适配不断变化的应用场景。
需要说明的是，图2所示的谷粒类别识别系统的场景示意图仅仅是一个示例，本申请实施例描述的谷粒类别识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着谷粒类别识别系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
具体地，本申请的谷粒类别识别方法可以集成在计算机设备上，实现本申请的谷粒类别识别方法可以包括对谷粒类别识别模型进行训练、以及使用训练后的谷粒类别识别模型进行谷粒类别识别，相对应地，实现本申请的谷粒类别识别方法所使用的计算机设备，可以包括训练阶段所使用的计算机设备、以及应用阶段所使用的计算机设备。
其中，训练阶段所使用的计算机设备可以包括至少一个终端和/或至少一个服务器，具体地可以根据样本数据集的大小、谷粒类别识别模型的结构、以及模型训练流程等灵活确定，在此不做限制。比如，此阶段的计算机设备可以包括服务器，服务器可以执行如图3所示的步骤，具体可以包括：
110、获取目标样本图像数据，目标样本图像数据包括针对目标谷粒的至少两个视角图像，视角图像包括从不同视角对目标谷粒进行拍摄所得图像。
其中，目标样本图像数据可以包括用于训练谷粒类别识别模型的数据，目标样本图像数据包括针对目标谷粒所拍摄的至少两个视角图像，目标谷粒包括需要识别其类别的谷粒，视角图像包括从多个不同视角，对目标谷粒进行拍摄所得图像，比如，目标谷粒放置于平板上，可以从目标谷粒的左上视角和右上视角进行图像拍摄，得到目标谷粒的两个视角图像。
又比如，目标谷粒可以放置于透明玻璃板，透明玻璃板的两侧可以均设置光源和摄像装置，摄像装置同侧的光源打开，对侧的光源关闭，拍摄得到目标谷粒的两个视角图像，包括正面反射图和反面反射图；摄像装置对侧的光源打开，同侧的光源关闭，拍摄得到目标谷粒的两个视角图像，包括正面透射图和反面透射图，一共可以得到目标谷粒的四个视角图像。
具体地，目标样本图像数据的获取方式可以有多种，比如可以从计算机设备内部的存储单元获取，又比如可以向另一计算机设备（如另一服务器）发送数据获取请求，接收其基于数据获取请求返回的目标样本图像数据，等等。
在本申请的一些实施例中，目标样本图像数据可以保存在样本数据集中，样本数据集中保存多个样本图像数据，样本数据集可以设置在计算机设备本地或其他计算机设备中，可以根据目标标识信息，从样本数据集中获取目标标识信息对应的目标样本图像数据。由此可以从多个样本图像数据中确定并获取目标样本图像数据。
在本申请的一些实施例中，样本数据集中的多个样本图像数据可以由摄像模组采集得到，样本数据集可以保存在计算机设备中，摄像模组可以直接作为该计算机设备的外设；也可以通过无线或有线等方式与该计算机设备建立通信连接；还可以作为其他计算机设备的外设，并通过该其他计算机设备与保存有样本数据集的计算机设备传输样本图像数据。
摄像模组可以拍摄目标谷粒的多个视角图像，得到目标谷粒的样本图像数据，摄像模组或计算机设备还可以得到此目标谷粒以及视角图像的属性信息，属性信息可以表征目标谷粒及视角图像的属性。属性信息的来源可以包括计算机设备或摄像模组接收人工输入或其他设备传输，还可以包括摄像模组或计算机设备生成。比如，属性信息可以表征目标谷粒的种类、其所属地区、该地区的日照、降雨量等天气情况，可以表征视角图像的拍摄日期、拍摄设备名称、图像名称等。又比如，属性信息可以包括摄像模组或计算机设备识别视角图像得到的谷粒种类，生成视角图像对应的哈希码等。
比如，目标谷粒的多个视角图像可以由质检设备采集，质检设备可以将采集到的样本图像数据及其属性信息传输到数据管理系统，数据管理系统可以为异构数据管理系统，数据管理系统可以由包括云服务器、终端在内的多个计算机设备实现，数据管理系统可以存储样本图像数据及其属性信息，具体可以通过CSV格式（一种文件格式）进行存储，如wheat_p600_20220805.csv，可以表示该文件存储了采集设备p600于20220805采集的谷粒，谷粒的种类为wheat。文件名可以包括目标谷粒以及样本图像信息的属性信息，如ID（图像的名称），图像采集日期，图像采集设备ID，谷粒类型，谷粒所在地区，谷粒所在地区的日照，谷粒所在地区的降雨量，模型判别种类结果，人工判别种类结果，哈希码等信息。
数据管理系统中样本图像数据的存放路径可以按照【谷物类型->设备类型->日期】进行，比如，【data/wheat/p600/20220805/】。
在本申请的一些实施例中，质检设备在质检过程所采集的图像数据也可以作为样本图像数据，如果用户发现质检设备对图像数据的质检结果有误，如谷粒种类识别错误，可以手动将其校正为正确的谷粒种类，质检设备可以将图像数据作为样本图像数据，将人工校正的谷粒种类信息作为属性信息的一种，将二者传输至数据管理系统，并在后续对谷粒类别识别模型训练等过程使用。如文件名可以如wheat_p600_label.csv，文件名可以包括ID（图像的名称），图像采集日期，图像采集设备ID，模型判别种类结果，人工判别种类结果，哈希码等信息。
模型训练使用大量数据完成多轮次训练，在每一轮训练开始前，要从样本数据集中确定用于此轮训练的目标样本图像数据，具体可以有多种实现方式，比如，可以将不同存储路径中的样本图像数据，依次作为不同轮次模型训练所使用的目标样本图像数据。
在本申请的一些实施例中，样本图像数据可以随着时间不断增多，样本数据集中可以包含较早日期的样本图像数据，以及较新日期的样本图像数据，通常较早日期的样本图像数据已经用于先前的模型训练过程，且由于不同日期的谷粒来自不同的自然环境，其之间可能存在较明显的差异，为了尽可能使多数样本图像数据都应用于模型训练，避免批次差异对模型训练产生不利影响，可以根据采集日期信息对样本数据集中的样本图像数据进行采样，得到当前模型训练所使用的数据。
具体地，样本数据集中可以包括多个按采集日期信息划分的样本子集，一个样本子集包含具有相同采集日期信息的多个样本图像数据，可以分别计算每个样本子集的采样概率，并基于采样概率最终得到用于当前模型训练的目标样本图像数据。具体地可以如下公式：
其中，可以表示采样日期信息距离当前日期的天数，可以为调节系数，根据需要灵活调整，可以为采样概率。可以为样本子集，此样本子集中的样本图像数据为距离当前第天的样本图像数据，样本子集在每一轮数据采样前进行随机打乱处理。为用于当前模型训练的目标样本图像数据。
120、对目标样本图像数据进行预处理，得到目标样本图像数据的表征数据，表征数据包括多个表征子数据，表征子数据包括掩码表征子数据和编码表征子数据。
其中，表征数据可以包括能够表征目标样本图像数据中部分或全部信息的数据，表征数据可以包括多个表征子数据，表征子数据可以包括能够表征目标样本图像中部分信息的数据，表征子数据可以进行分类，比如可以按照即将对表征子数据所做的操作，将其分为掩码表征子数据和编码表征子数据。
具体地，对目标样本图像数据进行预处理的方式可以有多种，如图像增强、点运算、形态学处理、频率域处理等。
在本申请的一些实施例中，可以对目标样本图像数据进行嵌入操作，嵌入操作可以由函数实现，函数可以包括卷积层和全连接层在内的至少一种数据处理层构成，将目标样本图像数据输入函数，函数的输出值即为表征数据。
在本申请的一些实施例中，可以先对目标样本图像数据进行分块，得到多个子区域，分块的方式可以有多种，比如随机分成多个大小不等的子区域。
又比如，目标样本图像数据中一视角图像的高为、宽为、通道数为，记为，可以首先将该视角图像划分为个大小相等，即宽为和高为的子区域，表示为，然后再对所有子区域进行嵌入操作，具体可以将所有子区域输入函数，得到所有子区域对应的表征子数据，其中表示特征维度。函数可以由包括卷积层和全连接层在内的至少一种数据处理层构成。
在本申请的一些实施例中，确定表征子数据为掩码表征子数据或编码表征子数据的方式可以有多种，比如，可以从所有表征子数据中随机确定若干掩码表征子数据，确定其余表征子数据为编码表征子数据。
又比如，可以从至少两个视角图像中确定至少一个选中视角图像，从选中视角图像的多个子区域中确定若干选中子区域，选中子区域对应的表征子数据即为掩码表征子数据，其他视角图像的所有子区域对应的表征子数据、以及选中视角图像中选中子区域以外的其他子区域即为编码表征子数据。
在本申请的一些实施例中，从至少两个视角图像中确定选中视角图像，以及从选中视角图像的多个区域确定选中子区域的方式可以包括：确定目标视角的视角图像为选中视角图像，确定选中视角图像的前N个子区域为选中子区域，其中N为大于0的正整数。
在本申请的一些实施例中，从至少两个视角图像中确定选定视角图像，具体可以包括：
可以为目标样本图像数据包含的每个视角图像分别设置标识值，将所有标识值保存在标识数据集中，其中，标识值可以包括与每个视角图像一一对应的数值，在实际应用过程中，标识值也可以灵活调整为标识符（字母、文字等）。标识数据集可以包括所有标识值，标识数据集中可以按照标识值的大小对其进行保存，比如，可以目标谷粒1的视角图像1、视角图像2、视角图像3和视角图像4分别对应设置标识值0、1、2、3，记为目标样本图像1对应的标识数据集。
然后可以对标识数据集中的标识值进行打乱处理，得到打乱后的标识数据集，具体地打乱处理有多种方式，包括循环随机位变化法、分类排序法等，也可以借助函数对标识数据集进行打乱处理，比如，将标识数据集作为函数的输入量，得到打乱后标识数据集。
可以确定打乱后标识数据集中的前第一数量个标识值为选中标识值，其中，第一数量可以为事先确定的预设值，也可以为随机确定，具体地，随机的方法可以包括预先设置多个待选数字，随机从待选数字中确定一个选中数字，选中数字即为第一数量，比如，设置待选数字1和2，随机从中确定选中数字2，则打乱后标识数据集的前2个标识值为选中标识值，即1和3。具体地可以通过函数实现，可以输出选中数字2。
最后可确定选中标识值对应的视角图像为选中视角图像，如，确定标识值1对应的视角图像2、和标识值3对应的视角图像4为选中视角图像。
在本申请的一些实施例中，从选中视角图像的多个子区域中确定选中子区域，具体可以包括：
首先生成与表征数据对应的随机矩阵，随机矩阵中的每个数据与表征数据中的每个表征子数据一一对应，然后可以从随机矩阵中确定一个目标数据，可确定与此目标数据对应的表征子数据为掩码表征子数据，掩码表征子数据与选中视角图像中的选中子区域相对应。由此可以借助随机矩阵，高效便捷地从多个子区域中确定选中子区域。具体地，生成随机矩阵的方式可以有多种，比如，由函数直接生成，随机矩阵中数据的行数和列数，与表征数据中表征子数据的行数和列数相一致。
又比如，可以依次为各个视角图像生成目标随机子矩阵，目标随机子矩阵中的数据与该视角图像的各个子区域一一对应，各个子区域与表征数据中的部分表征子数据一一对应，因此目标随机子矩阵的数据与部分表征子数据一一对应，将所有目标随机子矩阵拼接起来，即为表征数据对应的随机矩阵，随机矩阵中的数据与表征子数据一一对应。如可以通过函数生成视角图像1-4的目标随机子矩阵，，通过函数将所有目标随机子矩阵拼接起来，得到表征数据对应的随机矩阵Noise。
在此过程中，为视角图像生成目标随机子矩阵的方式可以有多种，比如可以直接通过函数生成视角函数对应的目标随机子矩阵。又比如，已知视角图像包括选中视角图像，可以首先为选中视角图像生成初始随机子矩阵，然后可以放大初始随机子矩阵中的数据，得到其对应的目标随机子矩阵。视角图像中除目标视角图像以外的图像确定为其他视角图像，可以直接为其他视角图像生成目标随机子矩阵，由此即得到所有视角图像对应的目标随机子矩阵。如初始随机子矩阵中数据的数值范围可以为0-1，可以将其中的每个数据加1，得到目标随机子矩阵，目标随机子矩阵中数据的数值范围为1-2。
具体地，从随机矩阵中选择目标数据的方式可以有多种，比如，可以从随机矩阵的所有数据中随机抽取，得到设定数量个目标数据。
又比如，可以对随机矩阵中的所有数据进行排序，得到每个数据的排序结果，按照预设排序筛选策略，将与其相匹配的排序结果对应的数据确定为目标数据。数据排序可以为数值大小排序，如从大到小排序。预设排序筛选策略可以包括多种，比如保留前设定百分比的排序结果；保留单数的排序结果，等等。如预先设置掩码率，排序为从大到小排序，可以将前的排序结果对应的数据确定为目标数据。
在本申请的一些实施例中，目标谷粒可以包括四个视角图像，在计算机设备中，计算机可以首先将多个视角图像拼接起来，得到目标样本图像数据记为，再对目标样本图像进行分块操作，具体将其分为个宽为，高为的子区域，记为，对各个子区域进行嵌入操作，得到各自对应的表征子数据，所有表征子数据组成表征数据，记为，其中代表特征维度。
具体地，分块可以通过函数实现，嵌入可以通过函数实现，如下：
可以为每个视角图像配置一个标识值，具体地视角图像1、视角图像2、视角图像3和视角图像4分别对应设置标识值0、1、2、3，记为目标样本图像数据对应的标识数据集，对标识数据集中的数据进行随机排列，得到打乱后标识数据集，记为，从1和2中随机确定一个数值作为第一数量，将打乱标识数据集中的前第一数量个标识值确定为选中标识值，选中标识值对应的视角图像为选中视角图像，具体地，随机排列可以通过函数实现，随机确定第一数量可以通过实现，如下：
可以为每个视角图像生成一个初始随机子矩阵，记为，初始随机子矩阵为4行L/4列的矩阵，其中的数据均属于0-1，将选中视角图像的初始随机子矩阵中每个数据均加1，得到选中视角图像对应的目标随机子矩阵，此目标随机子矩阵中数值均属于1-2，将除选中视角图像外的其他视角图像的初始随机子矩阵确定为目标随机子矩阵，目标随机子矩阵中的数据与其对应的视角图像的表征子数据一一对应，将4个目标随机子矩阵拼接起来，得到随机矩阵，记为。具体地，生成子矩阵可以通过函数实现，拼接得到随机矩阵可以通过函数实现，如下：
可以对随机矩阵中的所有数据从小到大（或从大到小）排序，得到每个数据的排序结果，根据预设的掩码率，为百分数，将后（或前）的排序结果对应的数据作为目标数据，目标数据对应的表征子数据为掩码表征子数据，其他的表征子数据为编码子数据。
可以通过掩码率计算一个视角图像中编码子数据的数量，如下，
可以通过掩码率和第一数量，计算所有编码子数据的数量，如下，
本申请可以采集目标谷粒的多个视角图像，并对表征所有视角图像的表征数据进行分类，将部分视角图像对应的部分表征子数据确定为掩码表征子数据，其他视角图像的表征子数据和部分视角图像的其他表征子数据确定为编码表征子数据，有助于后续编码和解码操作，高效快速得到准确的重建图像。
130、通过谷粒类别识别模型的编码器对编码表征子数据进行特征提取，得到特征子数据。
其中，谷粒类别识别模型可以为基于本申请的技术方案所构建的人工智能模型，谷粒类别识别模型可以包括基于自监督学习以及Transformer模型架构所构建的模型，谷粒类别识别模型可以包括编码器、解码器和掩码模块等。
具体地，编码器可以对目标样本图像数据分块、嵌入等操作，详细内容已在步骤120叙述，在此不再赘述。
编码器还可以将对编码表征子数据进行特征提取，得到特征子数据。特征提取可以改变数据维度，比如编码表征子数据可以记为，将其输入编码器进行特征提取，可以得到特征子数据，记为，相比于编码表征子数据其维度由D变成了，其中与D的大小关系不受限制。
140、对掩码表征子数据进行掩码，得到掩码子数据。
具体地，掩码操作的方式包括多种，比如可以通过函数，等。
也可以通过谷粒类别识别模型的掩码模块对掩码表征子数据进行掩码，得到掩码子数据，比如掩码表征子数据可以记为，掩码处理后可以得到掩码子数据，记为，掩码子数据是一个可学习的向量。
150、根据特征子数据和掩码子数据，生成目标样本图像数据对应的图像特征数据。
具体地，生成图像特征数据的方式可以有多种，比如对特征子数据和掩码子数据进行特定的矩阵运算，得到图像特征数据。又比如，可以将特征子数据和掩码子数据合并，得到图像特征数据。
在本申请的一些实施例中，确定表征数据中的掩码表征子数据时，可以确定掩码表征子数据在表征数据的掩码位置信息，表征数据中的其他表征子数据即为编码表征子数据，编码表征子数据仍以在表征数据中的前后位置关系进行保存，且对编码表征子数据特征提取不改变各个编码表征子数据的前后位置关系。因此，可以根据掩码表征子数据的位置信息，将掩码子数据和编码子数据合并得到图像特征数据，使得各个编码子数据和掩码子数据在图像特征数据中的相对位置关系，与掩码表征子数据和编码表征子数据在表征数据中的相对位置关系一致。掩码子数据和掩码表征子数据的位置信息可以相同，均可称为掩码位置信息；编码子数据和编码表征子数据的位置信息可以相同，均可称为编码位置信息。
比如此过程可以通过函数和t函数实现，掩码子数据记为，特征子数据记为，掩码位置信息和编码位置信息记为Pos，图像特征数据为，则具体如下：
160、基于图像特征数据进行图像重建，得到每个视角图像对应的重建图像。
其中，重建图像可以包括对视角图像进行重建所得的图像，视角图像是对目标谷粒拍摄所得，图像重建可以根据编码器提取到的图像特征数据重建出视角图像。
在本申请的一些实施例中，可以将图像特征数据输入谷粒类别识别模型的解码器，得到解码后特征数据，记为，再基于解码后特征数据进行还原操作，可得重建图像数据，重建图像数据可以包括各个视角图像对应的重建图像，重建图像可以记为。解码器表示为函数，还原操作可以通过函数实现，如下：
本申请的谷粒类别识别模型在应用之前，需要先通过相当数量的样本数据进行训练，得到训练后的谷粒类别识别模型。
170、基于目标样本图像数据、重建图像数据以及图像特征数据，对谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型。
具体地，对于训练阶段的谷粒类别识别模型，得到重建图像后，可以由样本图像数据、重建图像数据和图像特征数据计算图像重建损失值，并基于图像重建损失值对谷粒类别识别模型中的参数进行调整，重复对样本数据集进行采样，将目标样本图像数据输入模型，计算图像重建损失值，调整谷粒类别识别模型参数的过程，直到满足训练结束的条件，得到训练后的谷粒类别识别模型。
在本申请的一些实施例中，图像重建损失值可以基于特征提取损失值和重构损失值确定。
其中，特征提取损失值可以通过特征提取损失函数计算得到，在此之前可以获取目标样本图像数据所拍摄的目标谷粒的类别信息以及掩码位置信息，可以对图像特征数据依次进行平均池化操作和全连接操作，得到对目标样本图像数据的预测种类信息以及掩码位置信息，谷粒的真实信息可以记为，预测信息记为，特征提取损失函数记为，如下：
其中，代表sigmoid激活函数，如下：
其中，重构损失值可以通过特征提取损失函数计算得到，输入的目标样本图像数据可以记为，重建图像可以记为，其中为高、为宽、为通道数，重构损失函数记为，如下：
又比如，可以记图像重建损失值为，特征提取损失值和重构损失值相加即得图像重建损失值，公式如下：
比如，参见图4，图4左侧为对目标样本图像数据进行掩码后的输入数据，记为I，输入数据I中包括掩码表征子数据和编码表征子数据，将输入数据I输入谷粒类别识别模型的编码器（TransformerEncoder)，得到图像特征数据feat，将图像特征数据feat输入谷粒类别识别模型的解码器（TransformerDecoder)，得输出数据R，对图像特征数据feat进行池化和全连接操作，得到输入数据的预测种类信息logit，则可以根据输入数据I和输出数据R计算重构损失值，根据输入数据的标签信息label和预测种类信息logit计算特征提取损失值，进行训练后，得到预训练后的谷粒类别识别模型。
然后可以对预训练后的谷粒类别识别模型进行微调，得到训练后的谷粒类别识别模型，具体地，可以通过少量带有类别标签信息的样本图像数据进行，此过程如图5所示，输入样本图像数据I，样本图像数据I包括样本谷粒的四个视角图像，对样本图像数据I进行分块，输入编码器，通过池化层和全连接层，得到预测种类信息logit，并根据预测种类信息logit与样本图像数据I携带的样本标签信息label’，计算特征提取损失值，由特征提取损失值对预训练后的谷粒类别识别模型进行微调，得到训练后的谷粒类别识别模型。此处仅需要少量人工标注数据，以及少量的训练步骤即可将模型微调成高性能的谷物类别识别模型。
本申请的技术方案，输入谷物单颗粒多视角图像，其中，视角图像通过掩码对其中部分区域进行遮盖，再通过模型重建完整的视角图像，目的是促使模型根据其余视角的图像关联出被遮盖部位的细节，提高模型的多视角间的关联能力和特征提取能力。结合动态采样策略，最终实现仅通过少量标注样本的微调即可得到更适配当前数据分布的高性能模型，极大减少了人工标注成本，提高了模型的性能以及自适应能力。
训练后的谷粒类别识别模型可以进行应用，比如，参见图2，可以应用在图2的质检系统中，质检系统中训练后的谷粒类别识别模型对数据处理的过程可以参见图6，质检系统可以采集待识别谷粒的待识别图像数据I，待识别图像数据I包括待识别谷粒的四个视角图像，对待识别图像数据I进行分块，得到其对应的表征数据，将表征数据输入目标编码器（TransformerEncoder），得到图像特征数据feat，对图像特征数据feat进行池化和全连接操作，得到待识别图像数据I的识别logit，进而得到待识别图像I的类别识别结果Predict。如图6中的类别识别结果为虫蚀，此外类别识别结果还可以包括正常、病斑、生芽、生霉、破碎、热损伤、霉变等。
本申请可以构建谷粒类别识别模型，并基于目标样本图像数据对该模型进行训练，得到训练后的谷粒类别识别模型，训练后的谷粒类别识别模型可以根据输入的待识别谷粒的至少两个视角图像，更加全面地对待识别谷粒进行类别识别，得到准确率更高的类比识别结果。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种谷粒类别识别方法，其特征在于，包括：
构建谷粒类别识别模型，所述谷粒类别识别模型包括初始编码器和解码器；
基于目标样本图像数据，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，所述训练后的谷粒类别识别模型包括目标编码器，所述目标编码器包括对所述初始编码器的参数调整所得的编码器；
采集待识别谷粒的待识别图像数据，所述待识别图像数据包括至少两个视角图像，所述视角图像包括从不同视角对所述待识别谷粒进行拍摄所得图像；
将所述待识别图像数据输入所述训练后的谷粒类别识别模型，得到所述待识别谷粒的类别识别结果；
所述基于目标样本图像数据，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，包括：
获取目标样本图像数据，所述目标样本图像数据包括针对目标谷粒的至少两个视角图像，所述视角图像包括从不同视角对所述目标谷粒进行拍摄所得图像；
对所述目标样本图像数据进行预处理，得到所述目标样本图像数据的表征数据，所述表征数据包括多个表征子数据，所述表征子数据包括掩码表征子数据和编码表征子数据；
通过谷粒类别识别模型的编码器对所述编码表征子数据进行特征提取，得到特征子数据；
对所述掩码表征子数据进行掩码，得到掩码子数据；
根据所述特征子数据和所述掩码子数据，生成所述目标样本图像数据对应的图像特征数据；
根据所述图像特征数据，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型。
2.根据权利要求1所述的谷粒类别识别方法，其特征在于，所述根据所述图像特征数据，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，包括：
基于所述图像特征数据和所述谷粒类别识别模型的解码器，生成所述样本图像数据对应的重建图像数据，所述重建图像数据包括每个所述视角图像对应的重建图像；
基于所述目标样本图像数据、所述重建图像数据以及所述图像特征数据，计算图像重建损失值；
基于所述重建损失值，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型。
3.根据权利要求2所述的谷粒类别识别方法，其特征在于，所述表征子数据对应所述视角图像中的一个子区域，所述方法还包括：
从所述至少两个视角图像中，确定至少一个选中视角图像、以及所述选中视角图像中的至少一个选中子区域，所述选中子区域对应所述掩码表征子数据；
确定所述掩码表征子数据在所述表征数据中的掩码位置信息、以及所述编码表征子数据在所述表征数据中的编码位置信息；
所述根据所述掩码子数据和所述特征子数据，生成所述目标样本图像数据对应的图像特征数据，包括：
根据所述掩码位置信息和所述编码位置信息，将所有所述掩码子数据和所述特征子数据合并，得到所述目标样本图像数据对应的图像特征数据。
4.根据权利要求3所述的谷粒类别识别方法，其特征在于，所述从所述至少两个视角图像中，确定至少一个选中视角图像、以及所述选中视角图像中的至少一个选中子区域，包括：
从所述至少两个视角图像中，确定至少一个选中视角图像；
生成与所述表征数据对应的随机矩阵，所述随机矩阵中的每个数据与所述表征数据中的每个表征子数据一一对应；
从所述随机矩阵中选择至少一个目标数据；
确定与所述目标数据对应的表征子数据为掩码表征子数据，所述掩码表征子数据对应所述选中视角图像中的选中子区域。
5.根据权利要求4所述的谷粒类别识别方法，其特征在于，所述从所述至少两个视角图像中，确定至少一个选中视角图像，包括：
为每个所述视角图像设置标识值，将所有标识值保存在标识数据集中；
对所述标识数据集中的标识值进行打乱处理，得到打乱后标识数据集；
确定所述打乱后标识数据集中的前第一数量个标识值为选中标识值；
确定所述选中标识值对应的视角图像为选中视角图像。
6.根据权利要求5所述的谷粒类别识别方法，其特征在于，所述生成与所述表征数据对应的随机矩阵，包括：
依次为每个视角图像生成目标随机子矩阵，所述目标随机子矩阵中的每个数据与所述视角图像的每个子区域一一对应；
将所有所述目标随机子矩阵拼接起来，得到与所述表征数据对应的随机矩阵。
7.根据权利要求6所述的谷粒类别识别方法，其特征在于，所述为每个视角图像生成目标随机子矩阵，包括：
为选中视角图像生成初始随机子矩阵；
对所述初始随机子矩阵中的数据进行放大处理，得到每个所述选中视角图像的目标随机子矩阵；
为其他视角图像生成目标随机子矩阵，所述其他视角图像为所有视角图像中除所述选中视角图像以外的视角图像。
8.根据权利要求7所述的谷粒类别识别方法，其特征在于，所述从所述随机矩阵中选择至少一个目标数据，包括：
对随机矩阵中的所有数据进行排序，得到每个数据的排序结果；
将与预设排序筛选策略相匹配的排序结果对应的数据确定为目标数据。
9.根据权利要求2所述的谷粒类别识别方法，其特征在于，所述基于所述目标样本图像数据、所述重建图像数据以及所述图像特征数据，计算图像重建损失值，包括：
基于所述图像特征数据和特征提取损失函数，计算得到特征提取损失值；
将所述目标样本图像数据和重建图像数据输入重构损失函数，得到重构损失值；
根据所述特征提取损失值和所述重构损失值，确定所述谷粒类别识别模型的图像重建损失值。
10.根据权利要求9所述的谷粒类别识别方法，其特征在于，所述基于所述图像特征数据和特征提取损失函数，计算得到特征提取损失值，包括：
获取所述目标样本图像数据对应的谷粒种类信息；
基于所述图像特征数据，生成所述目标样本图像数据对应的预测种类信息；
将所述谷粒种类信息和所述预测种类信息输入特征提取损失函数，得到特征提取损失值。
11.根据权利要求2所述的谷粒类别识别方法，其特征在于，所述获取目标样本图像数据，包括：
控制质检设备采集待质检谷粒的至少两个样本图像，得到第一样本图像数据；
获取针对所述第一样本图像数据的第一属性信息，所述属性信息包括采集日期信息和谷粒种类信息；
将所述第一样本图像数据、以及所述第一属性信息保存到样本数据集，所述样本数据集包括多个样本图像数据，以及每个所述样本图像数据对应的属性信息；
从所述样本数据集中获取目标样本图像数据。
12.根据权利要求11所述的谷粒类别识别方法，其特征在于，所述样本数据集包括多个样本子集，所述样本子集中的所有样本图像数据具有相同的采集日期信息，所述从所述样本数据集中获取目标样本图像数据，包括：
基于每个所述样本子集的采集日期信息，分别计算每个所述样本子集的采样概率；
基于每个所述采样概率，从所述采样概率对应的样本子集中进行数据采样，得到目标样本图像数据。
13.一种谷粒类别识别装置，其特征在于，包括：
构建模块，用于构建谷粒类别识别模型，所述谷粒类别识别模型包括初始编码器和解码器；
训练模块，用于基于目标样本图像数据，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型，所述训练后的谷粒类别识别模型包括目标编码器，所述目标编码器包括对所述初始编码器的参数调整所得的编码器；
采集模块，用于采集待识别谷粒的待识别图像数据，所述待识别图像数据包括至少两个视角图像，所述视角图像包括从不同视角对所述待识别谷粒进行拍摄所得图像；
识别模块，用于将所述待识别图像数据输入所述训练后的谷粒类别识别模型，得到所述待识别谷粒的类别识别结果；
其中，训练模块具体用于：
获取目标样本图像数据，所述目标样本图像数据包括针对目标谷粒的至少两个视角图像，所述视角图像包括从不同视角对所述目标谷粒进行拍摄所得图像；
对所述目标样本图像数据进行预处理，得到所述目标样本图像数据的表征数据，所述表征数据包括多个表征子数据，所述表征子数据包括掩码表征子数据和编码表征子数据；
通过谷粒类别识别模型的编码器对所述编码表征子数据进行特征提取，得到特征子数据；
对所述掩码表征子数据进行掩码，得到掩码子数据；
根据所述特征子数据和所述掩码子数据，生成所述目标样本图像数据对应的图像特征数据；
根据所述图像特征数据，对所述谷粒类别识别模型进行训练，得到训练后的谷粒类别识别模型。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述方法的步骤。
CN202310616204.7A 2023-05-29 2023-05-29 谷粒类别识别方法、装置及计算机设备 Active CN116343201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310616204.7A CN116343201B (zh) 2023-05-29 2023-05-29 谷粒类别识别方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310616204.7A CN116343201B (zh) 2023-05-29 2023-05-29 谷粒类别识别方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN116343201A CN116343201A (zh) 2023-06-27
CN116343201B true CN116343201B (zh) 2023-09-19

Family

ID=86882651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310616204.7A Active CN116343201B (zh) 2023-05-29 2023-05-29 谷粒类别识别方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN116343201B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351289A (zh) * 2023-11-02 2024-01-05 北京联影智能影像技术研究院 图像分类模型的训练方法和图像分类方法
CN117874593A (zh) * 2023-12-11 2024-04-12 华北电力大学 风机轴承故障诊断模型训练方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127400A1 (zh) * 2017-12-29 2019-07-04 美的集团股份有限公司 一种谷物识别方法、装置和计算机存储介质
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN112580540A (zh) * 2020-12-23 2021-03-30 安徽高哲信息技术有限公司 一种人工智能农作物处理系统和方法
CN115294349A (zh) * 2022-06-29 2022-11-04 北京百度网讯科技有限公司 训练模型的方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050251347A1 (en) * 2004-05-05 2005-11-10 Pietro Perona Automatic visual recognition of biological particles
CN108615044A (zh) * 2016-12-12 2018-10-02 腾讯科技（深圳）有限公司 一种分类模型训练的方法、数据分类的方法及装置
US10438302B2 (en) * 2017-08-28 2019-10-08 The Climate Corporation Crop disease recognition and yield estimation
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技（深圳）有限公司 基于人工智能的对象识别方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127400A1 (zh) * 2017-12-29 2019-07-04 美的集团股份有限公司 一种谷物识别方法、装置和计算机存储介质
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN112580540A (zh) * 2020-12-23 2021-03-30 安徽高哲信息技术有限公司 一种人工智能农作物处理系统和方法
CN115294349A (zh) * 2022-06-29 2022-11-04 北京百度网讯科技有限公司 训练模型的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116343201A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN116343201B (zh) 谷粒类别识别方法、装置及计算机设备
KR101830056B1 (ko) 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN108960290A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109063737A (zh) 图像处理方法、装置、存储介质及移动终端
US20120155759A1 (en) Establishing clusters of user preferences for image enhancement
CN111161090B (zh) 圈养栏信息的确定方法、装置及系统、存储介质
CN108897786A (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN114550108A (zh) 一种草地贪夜蛾的识别预警方法及系统
CN114882039B (zh) 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
Xie et al. Recognition of big mammal species in airborne thermal imaging based on YOLO V5 algorithm
CN112465038A (zh) 一种识别果树病虫害种类的方法及系统
CN108510490B (zh) 一种分析虫害趋势的方法、装置及计算机存储介质
CN114511820A (zh) 货架商品检测方法、装置、计算机设备及存储介质
CN113850312A (zh) 森林生态状况的监测方法、装置、电子设备及存储介质
Vasilyeva et al. Lossy compression of three-channel remote sensing images with controllable quality
US20030156759A1 (en) Background-foreground segmentation using probability models that can provide pixel dependency and incremental training
US20210034879A1 (en) System And Method for Identifying Cognate Image Sequences
Petrovska-Delacrétaz et al. A reference system for animal biometrics: Application to the northern leopard frog
CN114549939B (zh) 一种基于图像特征提取的树木病虫害图片分类方法
CN114511732B (zh) 一种柑橘斑点状病虫害细粒度图像识别方法
CN115620119A (zh) 一种天气类型图像检测及雾天图像处理方法及装置
CN113128525A (zh) 一种荒漠草原种群斑块识别的控制装置及方法
CN111339904A (zh) 动物精子图像识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant