CN116343200B - 异常谷粒检测方法、装置、计算机可读介质及计算机设备 - Google Patents
异常谷粒检测方法、装置、计算机可读介质及计算机设备 Download PDFInfo
- Publication number
- CN116343200B CN116343200B CN202310615710.4A CN202310615710A CN116343200B CN 116343200 B CN116343200 B CN 116343200B CN 202310615710 A CN202310615710 A CN 202310615710A CN 116343200 B CN116343200 B CN 116343200B
- Authority
- CN
- China
- Prior art keywords
- data
- sample data
- target
- target sample
- abnormal grain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 197
- 238000001514 detection method Methods 0.000 title claims abstract description 179
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 112
- 238000012545 processing Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明申请公开一种异常谷粒检测方法、装置、计算机可读介质及计算机设备;本申请可以构建异常谷粒检测模型,基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像数据对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据,基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果;本申请可以有效提升对异常谷粒的检测准确度。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种异常谷粒检测方法、装置、计算机可读介质及计算机设备。
背景技术
粮食作为农业领域的重要资源,对于人们的日常生活来说起着至关重要的作用。在粮食流通过程中谷物纯度是衡量粮食品质的一个重要指标,比如,在品种A的谷粒中掺入部分品种B的谷粒,此操作会降低品种A的纯度。现有技术可以通过分类模型检测谷物中的异常谷粒的比例,进而确定整体的谷物纯度,异常谷粒可以如在品种A的谷粒中掺入的品种B的谷粒。
然而,由于不同品种的谷粒在外形上差异小、同一类谷粒的品种数量多,传统的分类模型难以提取不同品种谷粒之间的细微差异,导致现有技术对异常谷粒的检测准确度较差。
发明内容
本申请提供了一种异常谷粒检测方法、装置、计算机可读介质及计算机设备,可以提升异常谷粒检测的准确度。
本申请提供了一种异常谷粒检测方法,包括:
构建异常谷粒检测模型;
基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型;
通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像数据对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据;
基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果。
相应地,本申请还提供了一种异常谷粒检测装置,包括:
构建模块,用于构建异常谷粒检测模型;
训练模块,用于基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型;
重建模块,用于通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据;
结果模块,用于基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果。
在本申请的一些实施例中,结果模块包括计算子模块、异常子模块和正常子模块,其中,
计算子模块,用于基于待检测图像数据和重建图像数据,计算得到待检测谷粒的图像重建损失值;
异常子模块,用于当图像重建损失值大于目标阈值时,确定待检测谷粒为异常谷粒;
正常子模块,用于当图像重建损失值小于或等于目标阈值时,确定待检测谷粒为正常谷粒。
在本申请的一些实施例中,目标样本数据包括样本谷粒的图像,样本谷粒为正常谷粒,异常谷粒检测装置还包括:
输入子模块,用于将目标样本数据输入训练后的异常谷粒检测模型,得到每个目标样本数据的样本重建损失值;
阈值子模块,用于基于预设可调参数和每个样本重建损失值,计算得到目标阈值。
在本申请的一些实施例中,训练模块包括获取子模块、处理子模块、计算子模块和训练子模块,其中,
获取子模块,用于获取多个目标样本数据、以及每个目标样本数据的标签信息;
处理子模块,用于通过异常谷粒检测模型对多个目标样本数据进行处理,得到每个目标样本数据对应的样本重建数据、以及多个目标样本数据对应的相似度矩阵,所述相似度矩阵中的元素值表征目标样本数据之间的相似度;
计算子模块,用于基于目标样本数据、样本重建数据、相似度矩阵以及标签信息,计算异常谷粒检测模型的模型损失值;
训练子模块,用于根据模型损失值对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型。
在本申请的一些实施例中,获取子模块包括获取单元和预处理单元,其中,
获取单元,用于获取多个初始样本数据、以及每个初始样本数据对应的标签信息;
预处理单元,用于对至少一个初始样本数据进行预处理,得到至少一个初始样本数据对应的至少一个目标样本数据,目标样本数据的标签信息与至少一个初始样本数据的标签信息相同。
在本申请的一些实施例中,异常谷粒检测模型包括编码器和解码器,处理子模块包括提取单元、重建单元、和相似度单元,其中,
提取单元,用于通过编码器对多个目标样本数据进行特征提取,得到多个目标样本数据对应的目标特征图数据;
重建单元,用于将目标特征图数据输入解码器进行图像重建,得到每个目标样本数据对应的样本重建数据;
相似度单元,用于通过异常谷粒检测模型对目标特征图数据进行处理,得到多个目标样本数据对应的相似度矩阵,相似度矩阵中的元素值表征目标样本数据之间的相似度。
在本申请的一些实施例中,编码器包括至少一个卷积块和至少一个掩码注意力块,提取单元具体用于:
通过至少一个卷积块对目标样本数据进行卷积计算,得到多个目标样本数据对应的初始特征图数据;
生成初始特征图数据对应的多个特征映射矩阵、以及生成可学习的位置感知矩阵;
生成掩码张量数据,掩码张量数据包括多个掩码矩阵,每个掩码矩阵中目标位置的元素值、以及与目标位置具有目标位置关系的特征位置的元素值为目标数值,掩码张量数据中不同掩码矩阵的目标位置互不相同;
通过至少一个掩码注意力块,将多个特征映射矩阵、位置感知矩阵和掩码张量数据输入目标函数进行计算,以得到多个目标样本数据对应的目标特征图数据。
在本申请的一些实施例中,相似度单元具体用于:
通过异常谷粒检测模型对目标特征图数据降维,得到多个目标样本数据对应的特征矩阵,特征矩阵包括多个特征向量,特征向量表征目标样本数据的特征;
通过异常谷粒检测模型,基于特征矩阵、以及特征矩阵的转置矩阵进行矩阵乘法运算,得到多个目标样本数据对应的相似度矩阵。
在本申请的一些实施例中,计算子模块包括重建单元、对比单元和模型单元,其中,
重建单元,用于基于目标样本数据和样本重建数据,计算异常谷粒检测模型的重建损失值;
对比单元,用于基于相似度矩阵和每个目标样本数据的标签信息,计算异常谷粒检测模型的对比损失值;
模型单元,用于根据重建损失值、对比损失值以及权重调整变量值,计算得到异常谷粒检测模型的模型损失值,权重调整变量值用于调整重建损失值和对比损失值在模型损失值中的权重。
在本申请的一些实施例中,相似度矩阵包括多个相似度值,相似度值表征目标样本数据对之间的相似度,,对比单元包括生成子单元、调整子单元和计算子单元,其中,
生成子单元,用于生成相似度矩阵的同型矩阵;
调整子单元,用于根据相似度值对应的目标样本数据对的标签信息,对应调整同型矩阵中与相似度值具有相同位置的元素值,得到调整后的同型矩阵;
计算子单元,用于基于相似度矩阵和调整后的同型矩阵,计算异常谷粒检测模型的对比损失值。
在本申请的一些实施例中,相似度矩阵包括位于目标位置的目标相似度值,目标相似度值表征第一目标样本数据和第二目标样本数据之间的相似度,
调整子单元具体用于:
当第一目标样本数据的标签信息和第二目标样本数据的标签信息相同时,将同型矩阵中目标位置的元素值调整为第一数值;
当第一目标样本数据的标签信息和第二目标样本数据的标签信息不同时,将同型矩阵中目标位置的元素值调整为第二数值,以得到调整后的同型矩阵。
相应地,本申请实施例还提供了一种计算机可读介质,计算机可读介质存储有计算机程序,计算机程序适于处理器进行加载,以执行本申请实施例提供的任一种异常谷粒检测方法。
相应地,本申请实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现本申请实施例提供的任一种异常谷粒检测方法。
本申请可以构建异常谷粒检测模型,基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据,基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果。
本申请可以基于重建的思路构建异常谷粒检测模型,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,训练后的异常谷粒检测模型可以输出待检测图像数据对应的重建图像数据,最终通过待检测图像数据和重建图像数据,得到准确性更高的异常检测结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的异常谷粒检测方法的流程示意图;
图2为本申请实施例提供的异常谷粒检测方法的编码器示意图;
图3为本申请实施例提供的异常谷粒检测方法的解码器示意图;
图4为本申请实施例提供的异常谷粒检测方法的模型训练流程示意图;
图5为本申请实施例提供的异常谷粒检测方法的模型应用流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,本申请所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供了一种异常谷粒检测方法、装置、计算机可读介质及计算机设备,具体地,异常谷粒检测方法可以集成在异常谷粒检测系统中。
异常谷粒检测系统可以通过至少一个计算机设备实现,计算机设备可以包括终端和服务器在内的至少一种,终端可以包括智能粮食质检设备、智能粮食分类设备、个人电脑、平板电脑、智能摄像装置、个人可穿戴设备等,服务器可以包括物理服务器、云服务器等,物理服务器可以为单个服务器,也可以包括至少两个服务器构成的服务器集群、或分布式系统等。云服务器可以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务。不同计算机设备之间可以通过有线或无线通信方式进行直接或间接连接,本申请对此不做限制。
异常谷粒系统可以集成在计算机设备上,计算机设备可以构建异常谷粒检测模型,基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像数据对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据,基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果。
在一些实施例中,异常谷粒检测系统还可以包括多个计算机设备,可以通过训练设备构建异常谷粒检测模型,基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,训练设备可以包括终端、服务器等在内的至少一个计算机设备。训练设备可以向应用设备传输训练后的异常谷粒检测模型,应用设备可以通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像数据对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据,基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果。应用设备可以包括终端、服务器等在内的至少一个计算机设备。
下面将结合实施例对本申请的技术方案进行详细描述。参见图1,图1为本申请的异常谷粒检测方法的流程示意图,异常谷粒检测方法包括:
110、构建异常谷粒检测模型。
本申请为便于描述,可以将谷粒区分为正常谷粒和异常谷粒,此处的正常谷粒可以包括一个或多个品种的谷粒,异常谷粒可以包括与正常谷粒所包含的谷粒品种相区别的一个或多个其他品种的谷粒,由于正常谷粒和异常谷粒的品种不同,品相也会有较为微小的差异。异常谷粒也可以包括存在残缺、霉变、虫蚀等问题的不完善粒。
异常谷粒检测模型可以用于检测异常谷粒。在使用异常谷粒检测模型进行异常谷粒检测之前,需要先构建并训练异常谷粒检测模型。
在一些实施例中,异常谷粒检测模型可以包括编码器、解码器等,编码器可以包括多个数据处理块,数据处理块的种类可以包括卷积块、池化块、以及transformer块(一种数据处理块)等,数据处理块的种类和数量可以灵活设置,在此不再详细展开。
其中,卷积块可以包括多个数据处理子块,数据处理子块可以包括CBR(一个人工智能算法的分支)卷积子块,CBR卷积子块可以包括卷积层、批标准化(BatchNormalization,BN)层、激活层等,激活层可以如Relu层(一种激活层)等。CBR卷积子块可以如CBR卷积子块、/>深度可分离CBR卷积子块等。
数据处理子块还可以包括池化层,具体地池化层可以如空洞空间卷积金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)等。
其中,池化块可以如均值池化块、随机池化块、最大值池化块等。
其中,transformer块可以包括多个数据处理子块,数据处理子块的种类可以包括注意力子块、掩码子块、掩码注意力子块、前向反馈子块等。掩码注意力子块可以如相对近邻掩码注意力模块等。在一个阶段内,前一个数据处理模块的输出特征数据可能不满足下一个数据处理模块的输入特征数据的维度需求,此种情况下,可以对前一个数据处理模块的输出特征数据进行数据转换,数据转换操作包括分块操作(Block操作),分块操作可以将输出特征数据分割为多个特征子数据,数据转换操作可以包括整合操作(Unblock操作),整合操作可以将多个输出特征数据整合为一个输出特征总数据。
比如,输出特征数据可以包括B张图像特征数据,输出特征数据的高为H、宽为W、通道数为C,设置特征子数据的宽和高均为P,则Block操作可以表达为:
对输出特征数据进行Block操作后,得到特征子数据的数量可以为//>,特征子数据的总像素个数可以为/>。
比如,参见图2,图2(a)显示了编码器的结构,编码器包括四个阶段(stage),每个阶段依次包括卷积块(Conv Block)、池化块(Max pooling)、Transformer块、和卷积块(Conv Block)。
卷积块的结构可以参见图2(b),卷积块可以使得输入特征数据依次通过CBR卷积子块(CBR/>)、/>深度可分离CBR卷积子块(Depthwise CBR/>),得到第一中间特征数据,输入特征数据和中间特征数据可以进行残差连接,得第二中间特征数据,第二中间特征数据可以依次通过ASPP块和/>CBR卷积子块(CBR/>)。
Transformer块的结构可以参见图2(c),Transformer块可以将输入特征数据映射为三个特征矩阵K、V、Q,可以将矩阵K、V、Q输入相对近邻掩码注意力模块(Rel-NeighborMasked Attention),得到第一中间特征数据,第一中间特征数据与输入特征数据进行残差连接,得到第二中间特征数据,第二中间特征数据通过前向反馈子块(FeedForward Net),得到第三特征数据,第三特征数据与第二中间特征数据进行残差连接,得到输出特征数据。图2中可以对Max pooling块的输出特征数据进行Block操作,得到多个特征子数据,
输出特征数据的高为H、宽为W、通道数为C,设置特征子数据的宽和高均为P,特征子数据的数量为//>,多个特征子数据作为Transformer块的输入特征数据。
解码器可以包括多个数据处理块,数据处理块的种类可以包括卷积块、以及上采样块等,数据处理块的种类和数量可以灵活设置,在此不再详细展开。
其中,卷积块可以包括多个数据处理子块,数据处理子块可以包括CBR卷积子块、注意力子块等,CBR卷积子块可以包括卷积层、批标准化(Batch Normalization,BN)层、激活层等,激活层可以如Relu层等。CBR卷积子块可以如CBR卷积子块、/>深度可分离CBR卷积子块等。注意力子块可以如压缩和激励网络(Squeeze-and-ExcitationNetworks,SE Net)。
比如,参见图3,图3(a)显示了解码器的结构,解码器包括四个阶段(stage),每个阶段依次包括上采样块(Unsample)、和卷积块(Conv Block)。
卷积块的结构可以参见图3(b),卷积块可以使得输入特征数据依次通过CBR卷积子块(CBR/>)、/>CBR卷积子块(CBR/>),得到第一中间特征数据,输入特征数据和中间特征数据可以进行残差连接,得第二中间特征数据,第二中间特征数据可以依次通过激励和压缩子块(SE)和/>CBR卷积子块(CBR/>)。
120、基于多个目标样本数据、以及每个目标样本数据对应的标签信息,对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型。
其中,目标样本数据可以包括训练异常谷粒检测模型所使用的样本数据,样本数据可以包括图像样本数据,样本数据可以包括对谷粒样本进行图像采集得到的样本数据。标签信息可以包括谷粒样本的唯一标识信息。
在一些实施例中,标签信息也可以包括谷粒样本的类别信息,如属于正常类别、异常类别等。
根据目标样本数据及其标签信息,对异常谷粒检测模型进行训练的方式可以有多种,比如可以将目标样本数据输入异常谷粒检测模型,得到预测类别信息,根据预测类别信息与标签信息对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型。
在一些实施例中,根据目标样本数据及其标签信息,对异常谷粒检测模型进行训练的过程也可以包括:首先获取多个目标样本数据,以及每个目标样本数据的标签信息,通过异常谷粒检测模型对多个目标样本数据进行处理,得到每个目标样本数据对应的样本重建数据、以及多个目标样本数据对应的相似度矩阵,相似度矩阵中的元素值可以表征目标样本数据之间的相似度,相似度矩阵中的元素值也可以称为相似度值,然后可以基于目标样本数据、样本重建数据、相似度矩阵以及标签信息,计算异常谷粒检测模型的模型损失值,最后根据模型损失值对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型。
(1)获取目标样本数据及其标签信息的方式可以有多种,比如,可以向样本数据集发送数据获取请求,接收样本数据集基于数据获取请求返回的多个目标样本数据、以及每个目标样本数据的标签信息。
在一些实施例中,为了进一步提升异常谷粒检测模型的特征提取能力和模型泛化能力,提升对样本数据的使用效率,可以对获取到的初始样本数据进行预处理,得到初始样本数据对应的至少两个目标样本数据,此目标样本数据的标签信息与初始样本数据的标签信息相同,预处理过程可以包括确定初始样本数据为目标样本数据,预处理还可以包括对初始样本数据进行裁剪、旋转、翻转、模糊、对比度调整、亮度调整、色彩调整等。
(2)异常谷粒检测模型对多个目标样本数据进行处理,得到每个目标样本数据对应的样本重建数据、以及多个目标样本数据对应的相似度矩阵,可以包括多种方式,比如,可以通过异常谷粒检测模型输出每个目标样本数据对应的样本重建数据,再由多个样本重建数据输出多个目标样本数据对应的相似度矩阵。
在一些实施例中,异常谷粒检测模型可以包括编码器和解码器,可以通过编码器对多个目标样本数据进行特征提取,得到多个目标样本数据对应的目标特征图数据,将目标特征图数据输入解码器进行图像重建,得到每个目标样本数据对应的样本重建数据,通过异常谷粒检测模型对目标特征图数据进行处理,得到多个目标样本数据对应的相似度矩阵,相似度矩阵中的元素值表征目标样本数据之间的相似度。
可以通过如步骤101所描述的编码器对多个目标样本数据进行特征提取,得到多个样本数据对应的目标特征图数据。
在一些实施例中,编码器可以包括至少一个卷积块和至少一个掩码注意力块,编码器可以如图2(c)所示,掩码注意力块可以如相对近邻掩码注意力块,卷积块可以对多个目标样本数据进行卷积计算,以提取其特征,得到多个目标样本数据对应的初始特征图数据,相对近邻掩码注意力块可以通过映射的方法生成初始特征图数据对应的多个特征映射数据,多个特征映射数据可以如矩阵Q、矩阵K、和矩阵V。
相对近邻掩码注意力块可以生成或获取位置感知矩阵,位置感知矩阵为可学习的静态矩阵,位置感知矩阵可以在训练开始前随机生成,也可以从其他计算机设备获取,等等。位置感知矩阵可以记为L。位置感知矩阵的尺寸可以根据特征图尺寸设定,如位置感知矩阵的尺寸可以为。
可以生成掩码张量数据,掩码张量数据可以包括多个掩码矩阵,掩码矩阵中目标位置的元素值、以及与目标位置具有目标位置关系的特征位置的元素值为目标数值,目标位置和特征位置可以组成目标区域。
掩码张量数据中的不同掩码数据对应的目标位置互不相同。目标位置关系可以包括多种,比如,目标位置关系可以为相邻位置关系,即目标位置与特征位置为相邻位置点,目标位置关系可以为目标位置与特征位置之间相隔两个位置点,等等。
目标数值可以根据需求灵活设置,比如目标数值可以为0,可以为负无穷等。
掩码张量数据的尺寸可以根据特征图尺寸确定,如掩码张量数据的尺寸可以为。
在一些实施例中,掩码张量数据的生成过程可以包括:初始化一个初始掩码矩阵,初始掩码矩阵中每个位置的元素值均相同,获取预先确定的邻居范围值,按照预设顺序依次确定初始掩码矩阵中的每一个位置点为目标位置,根据邻居范围值依次确定与每一个目标位置具有目标位置关系的特征位置,并依次将目标位置与特征位置的元素值设置为目标数值,即可依次得到多个掩码矩阵,多个掩码矩阵形成掩码张量数据。
其中,预设顺序可以根据实际需求灵活确定,如先从左到右再从上到下的顺序。
比如,相对近邻掩码注意力块可以通过如下公式,得到输出特征信息,
其中,矩阵Q、矩阵K、和矩阵V为特征映射矩阵,矩阵L为可学习的位置感知矩阵,矩阵L的尺寸为,/>为预先设定的缩放系数,/>为掩码张量数据。
确定掩码矩阵的过程可以包括:生成所有元素值均为1的初始化矩阵/>,具体可以通过如下公式:
可以获取水平范围值,垂直范围值/>,对于初始化矩阵/>中的第i个位置,记为,由水平范围值/>和垂直范围值/>确定目标区域的坐标范围,如下:
其中,为目标区域的左边界,/>为目标区域的右边界,/>为目标区域的上边界,为目标区域的下边界。
将目标区域内所有位置的元素值均修改为0,如下:
为保持尺寸一致,便于计算,可以将的尺寸整形成/>,具体可以通过如下公式:
此时矩阵中,目标区域内元素值为0,其他位置的元素值为1。然后遍历U中的每个元素/>根据其值对mask中对应的位置/>中的元素值进行设定,过程如下:
经过执行上述操作,可得到掩码张量数据。
本申请在编码器中设置相对近邻掩码注意力块,可以有效降低减轻特征映射捷径问题,提升编码器的特征提取能力,使得训练后的异常谷粒检测模型可以更加准确地进行异常谷粒检测,有效提升异常谷粒的准确度。
比如,参见图4,将目标样本数据Img输入异常谷粒检测模型的编码器Encoder,得到目标样本数据的目标特征图数据Feature Map。
可以通过如步骤101所描述的解码器对目标特征图数据进行图像重建,得到每个目标样本数据对应的样本重建数据,样本重建数据可以包括异常谷粒检测模型的解码器根据编码器提取到的目标样本数据的特征,重建得到的与目标样本数据对应的样本重建数据。
比如,参见图4,将目标特征图数据Feature Map输入异常谷粒检测模型的解码器Decoder,得到目标样本数据对应的样本重建数据RecomImg。
通过异常谷粒检测模型对目标特征图数据进行处理,得到多个目标样本数据对应的相似度矩阵的方式可以有多种,比如,可以按照一定顺序比较不同目标样本数据之间的相似度,得到相似度值,进而得到相似度矩阵。
在一些实施例中,可以通过异常谷粒检测模型对目标特征图数据降维,得到多个目标样本数据对应的特征矩阵,特征矩阵包括多个特征向量,特征向量表征目标样本数据的特征,通过异常谷粒检测模型,基于特征矩阵、以及特征矩阵的转置矩阵进行矩阵乘法运算,得到多个目标样本数据对应的相似度矩阵。具体地,降低数据维度的过程可以通过池化操作实现,池化操作可以如全局平均池化操作等。
比如,参见图4,通过异常谷粒检测模型对目标特征图数据Feature Map进行全局平均池化GAP,得到目标样本数据的特征矩阵S,由特征矩阵S求得其转置矩阵ST,对特征矩阵S和转置矩阵ST做矩阵乘法,得到相似度矩阵M。
(3)计算异常谷粒检测模型的模型损失值的过程可以包括多种方式,比如,可以将目标样本数据、样本重建数据、相似度矩阵以及标签信息输入预先确定的模型损失函数,得到模型损失值。
在一些实施例中,计算损失损失值的过程可以包括:基于目标样本数据和样本重建数据,计算异常谷粒检测模型的重建损失值;基于相似度矩阵和每个目标样本数据的标签信息,计算异常谷粒检测模型的对比损失值;根据重建损失值、对比损失值以及权重调整变量值,计算得到异常谷粒检测模型的模型损失值,权重调整变量值用于调整重建损失值和对比损失值在模型损失值中的权重。
重建损失值可以通过重建损失函数计算得到,重建损失函数可以记为,如下:
其中,目标样本数据记为图像,样本重建数据记为图像/>,图像/>和图像/>的大小均为/>。
对比损失值可以通过对比损失函数计算得到,对比损失函数可以记为,如下:
其中,,/>,/>为相似度矩阵M中的第i行的向量,/>为调整后的同型矩阵Y中第i行的向量,同型矩阵Y为与相似度矩阵M具有相同行数和列数的矩阵,根据每个目标样本数据的标签信息,可以对同型矩阵Y中的元素值进行调整,得到调整后的同型矩阵Y。
代表激活函数sigmoid:
可以根据相似度矩阵M的行数和列数,生成同型矩阵Y,同型矩阵Y中的每个元素值可以设定为相同数值,如0、1等。相似度矩阵M中的元素值可以表征两个目标样本数据(目标样本数据对)的相似度,也即一个元素值对应两个目标样本数据,可以根据相似度矩阵M中目标位置的元素值所对应的两个目标样本数据的标签信息,修改同型矩阵Y中目标位置的元素值。
具体地,当相似度矩阵M中目标位置对应的两个目标样本数据的标签信息相同,可以将同型矩阵Y中目标位置的元素值修改为第一数值,如标签信息为谷粒的唯一标识符时,相似度矩阵M的位置1对应的两个目标样本数据的唯一标识符相同,可以将同型矩阵Y的位置1的元素值修改为1。
当相似度矩阵M中目标位置对应的两个目标样本数据的标签信息不同,可以将同型矩阵Y中目标位置的元素值修改为第二数值,如标签信息为谷粒的唯一标识符时,相似度矩阵M的位置2对应的两个目标样本数据的唯一标识符不同,可以将同型矩阵Y的位置2的元素值修改为0。
目标样本数据可以包括对初始样本数据进行数据增强(预处理)得到的样本数据,此时目标样本数据的标签信息即为初始样本数据的标签信息,因此多个目标样本数据可以对应同一标签信息。设置同型矩阵Y可以将具有同一标签信息(也即属于同一谷粒)的相似度设置为1,将具有不同标签信息(属于不同谷粒)的相似度设置为0,符合客观情况。而相似度矩阵为异常谷粒检测模型根据对目标样本数据进行提取预测所得的相似度值,与客观情况存在差异,因此可以通过对比损失函数Lcontra量化异常谷粒检测模型的特征提取能力与客观情况的差异,通过对比损失值缩小差异,具体地可以拉近具有相同标识信息的目标样本数据的特征在空间中的距离,推远具有不同标识信息的目标样本数据的特征在空间中的距离,使得模型在训练过程中更好区分具有微小差异的目标样本数据之间的特征,提升谷粒检测模型的针对微小差异的重建能力,从而提升训练后的异常谷粒检测模型对于异常谷粒的检测准确度。
比如,一批目标样本数据的数量为B,目标样本数据及其标签信息可以表示为,i为1-B之间的正整数,/>代表目标样本数据,/>代表该目标样本数据的标签信息,分别对每个目标样本图像数据进行数据增强,对应得到每个目标样本数据对应的增强后的目标样本数据,记为/>,/>代表增强后的目标样本数据,/>代表该增强后的目标样本数据的标签信息。由此所有目标样本数据以及增强后的目标样本数据的总量为2B,特征矩阵包括2B个行向量,一个行向量对应一个目标样本数据或增强后的目标样本数据。则相似度矩阵的行数和列数均为2B。因此可以初始化一个行数和列数均为2B的同型矩阵Y,设定同型矩阵Y中的所有元素值均为0,通过如下公式:
Y = zeros(2B,2B)
然后,可以根据相似度矩阵M中目标位置对应的第一目标样本数据的标签信息以及第一目标样本数据的标签信息/>,调整同型矩阵Y中目标位置的元素值/>,如下:
其中,,也即标签信息/>、/>可以包括目标样本数据的标签信息、增强后的目标样本数据的标签信息等。
最后可以根据重建损失值、对比损失值以及权重调整变量值,计算得到异常谷粒检测模型的模型损失值,可以通过模型损失函数计算得到模型损失值,模型损失函数可以记为,如下:
其中,可以为权重调整变量,/>可以随着训练次数增加从1递减到/>(),由此可以使得训练前期更倾向训练异常谷粒检测模型的编码器的特征提取能力,训练后期更倾向训练异常谷粒检测模型的解码器的图像重建能力。
(4)根据模型损失值对异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型。
103、通过训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到待检测图像数据对应的重建图像数据,待检测图像数据为对待检测谷粒拍摄所得图像数据。
其中,待检测谷粒可以包括需要进行异常检测的谷粒,待检测图像数据可以包括对待检测谷粒进行图像采集得到的图像数据。
比如,参见图5,训练后的异常谷粒检测模型可以包括训练后的编码器和解码器,将待检测图像数据Img输入训练后的编码器和解码器,可以得到重建图像数据ReconImg。
104、基于待检测图像数据和重建图像数据,确定待检测谷粒的异常检测结果。
其中,异常检测结果可以表征待检测谷粒是否为异常谷粒。确定异常检测结果的方式可以有多种,比如可以获取预设异常数据集,预设异常数据集包括多组预设数据,一组预设数据包括一个预设待检测图像数据和一个预设重建图像数据,以及一个异常检测结果,因此可以从异常数据集中查询待检测图像数据和重建图像数据对应的异常检测结果。
在一些实施例中,可以通过待检测图像数据和重建图像数据,计算待检测谷粒的图像重建损失值,再比较图像重建损失值与目标阈值,根据比较确定待检测谷粒的异常检测结果。
图像重建损失值可以通过如步骤102中的重建损失函数计算得到。
目标阈值可以从计算机设备本地或其他计算机设备获取。
在一些实施例中,目标阈值也可以通过计算得到,可以向训练后的异常谷粒检测模型输入一批谷粒图像数据,谷粒图像数据中包含的谷粒属于正常谷粒,谷粒图像数据可以包括目标样本数据等,通过训练后的异常谷粒检测模型可以得到每个谷粒图像数据的图像重建损失值,如谷粒图像数据为目标样本数据,谷粒图像数据的图像重建损失值可以为样本重建损失值,然后获取预设可调参数,并由每个谷粒图像数据的图像重建损失值,计算得到目标阈值。
比如,目标样本数据所包含的样本谷粒可以均为正常谷粒,可以通过训练后的异常谷粒检测模型得到每个目标样本数据的样本重建损失值形成一个数值集合,/>为第i个目标样本数据的样本重建损失值,其中/>,n为目标样本数据的数量。计算所有样本重建损失值的均值/>和方差/>,获取可调参数,根据对异常样本的容忍程度调整/>,目标阈值记为/>,如下:
当待检测谷粒的图像重建损失值大于目标阈值时,可以确定待检测谷粒为异常谷粒;当待检测谷粒的图像重建损失值小于或等于目标阈值时,可以确定待检测谷粒为正常谷粒。
比如,参见图5,可以根据待检测图像数据Img和重建图像数据ReconImg对计算图像重建损失值,当/>大于目标阈值/>,确定待检测谷粒为异常谷粒。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种异常谷粒检测方法,其特征在于,包括:
构建异常谷粒检测模型;
基于多个目标样本数据、以及每个所述目标样本数据对应的标签信息,对所述异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,所述异常谷粒检测模型包括编码器,所述编码器包括至少一个卷积块和至少一个掩码注意力块;
通过所述训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到所述待检测图像数据对应的重建图像数据,所述待检测图像数据为对待检测谷粒拍摄所得图像数据;
基于所述待检测图像数据和所述重建图像数据,确定所述待检测谷粒的异常检测结果;
所述基于多个目标样本数据、以及每个所述目标样本数据对应的标签信息,对所述异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,包括:
通过所述编码器的至少一个卷积块对所述目标样本数据进行卷积计算,得到所述多个目标样本数据对应的初始特征图数据;
通过所述编码器生成所述初始特征图数据对应的多个特征映射矩阵、以及生成可学习的位置感知矩阵;
通过所述编码器生成掩码张量数据,所述掩码张量数据包括多个掩码矩阵,每个所述掩码矩阵中目标位置的元素值、以及与所述目标位置具有目标位置关系的特征位置的元素值为目标数值,所述掩码张量数据中不同掩码矩阵的目标位置互不相同;
通过通过所述编码器的所述至少一个掩码注意力块,将所述多个特征映射矩阵、所述位置感知矩阵和所述掩码张量数据输入目标函数进行计算,以得到所述多个目标样本数据对应的目标特征图数据,进而得到训练后的异常谷粒检测模型。
2.根据权利要求1所述的异常谷粒检测方法,其特征在于,所述基于所述待检测图像数据和所述重建图像数据,确定所述待检测谷粒的异常检测结果,包括:
基于所述待检测图像数据和所述重建图像数据,计算得到所述待检测谷粒的图像重建损失值;
当所述图像重建损失值大于目标阈值时,确定所述待检测谷粒为异常谷粒;
当所述图像重建损失值小于或等于所述目标阈值时,确定所述待检测谷粒为正常谷粒。
3.根据权利要求2所述的异常谷粒检测方法,其特征在于,所述目标样本数据包括样本谷粒的图像,所述样本谷粒为正常谷粒,所述方法还包括:
将目标样本数据输入所述训练后的异常谷粒检测模型,得到每个目标样本数据的样本重建损失值;
基于预设可调参数和每个所述样本重建损失值,计算得到目标阈值。
4.根据权利要求1所述的异常谷粒检测方法,其特征在于,所述基于多个目标样本数据、以及每个所述目标样本数据对应的标签信息,对所述异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,包括:
获取多个目标样本数据、以及每个所述目标样本数据的标签信息;
通过所述异常谷粒检测模型对所述多个目标样本数据进行处理,得到每个所述目标样本数据对应的样本重建数据、以及所述多个目标样本数据对应的相似度矩阵,所述相似度矩阵中的元素值表征目标样本数据之间的相似度;
基于所述目标样本数据、所述样本重建数据、所述相似度矩阵以及所述标签信息,计算所述异常谷粒检测模型的模型损失值;
根据所述模型损失值对所述异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型。
5.根据权利要求4所述的异常谷粒检测方法,其特征在于,所述获取多个目标样本数据、以及每个所述目标样本数据的标签信息,包括:
获取多个初始样本数据、以及每个所述初始样本数据对应的标签信息;
对至少一个所述初始样本数据进行预处理,得到所述至少一个初始样本数据对应的至少一个目标样本数据,所述目标样本数据的标签信息与所述至少一个初始样本数据的标签信息相同。
6.根据权利要求4所述的异常谷粒检测方法,其特征在于,所述异常谷粒检测模型还包括解码器,所述通过所述异常谷粒检测模型对所述多个目标样本数据进行处理,得到每个所述目标样本数据对应的样本重建数据、以及所述多个目标样本数据对应的相似度矩阵,包括:
将所述目标特征图数据输入所述解码器进行图像重建,得到每个所述目标样本数据对应的样本重建数据;
通过所述异常谷粒检测模型对所述目标特征图数据进行处理,得到所述多个目标样本数据对应的相似度矩阵,所述相似度矩阵中的元素值表征目标样本数据之间的相似度。
7.根据权利要求1所述的异常谷粒检测方法,其特征在于,所述通过所述异常谷粒检测模型对所述目标特征图数据进行处理,得到所述多个目标样本数据对应的相似度矩阵,包括:
通过所述异常谷粒检测模型对所述目标特征图数据降维,得到所述多个目标样本数据对应的特征矩阵,所述特征矩阵包括多个特征向量,所述特征向量表征所述目标样本数据的特征;
通过所述异常谷粒检测模型,基于所述特征矩阵、以及所述特征矩阵的转置矩阵进行矩阵乘法运算,得到所述多个目标样本数据对应的相似度矩阵。
8.根据权利要求4所述的异常谷粒检测方法,其特征在于,所述基于所述目标样本数据、所述样本重建数据、所述相似度矩阵以及所述标签信息,计算所述异常谷粒检测模型的模型损失值,包括:
基于所述目标样本数据和所述样本重建数据,计算所述异常谷粒检测模型的重建损失值;
基于所述相似度矩阵和每个所述目标样本数据的标签信息,计算所述异常谷粒检测模型的对比损失值;
根据所述重建损失值、所述对比损失值以及权重调整变量值,计算得到所述异常谷粒检测模型的模型损失值,所述权重调整变量值用于调整所述重建损失值和所述对比损失值在所述模型损失值中的权重。
9.根据权利要求8所述的异常谷粒检测方法,其特征在于,所述相似度矩阵包括多个相似度值,所述相似度值表征目标样本数据对之间的相似度,
所述基于所述相似度矩阵和每个所述目标样本数据的标签信息,计算所述异常谷粒检测模型的对比损失值,包括:
生成所述相似度矩阵的同型矩阵;
根据所述相似度值对应的目标样本数据对的标签信息,对应调整所述同型矩阵中与所述相似度值具有相同位置的元素值,得到调整后的同型矩阵;
基于所述相似度矩阵和所述调整后的同型矩阵,计算所述异常谷粒检测模型的对比损失值。
10.根据权利要求9所述的异常谷粒检测方法,其特征在于,所述相似度矩阵包括位于目标位置的目标相似度值,所述目标相似度值表征第一目标样本数据和第二目标样本数据之间的相似度,
所述根据所述相似度值对应的目标样本数据对的标签信息,对应调整所述同型矩阵中与所述相似度值具有相同位置的元素值,得到调整后的同型矩阵,包括:
当所述第一目标样本数据的标签信息和所述第二目标样本数据的标签信息相同时,将所述同型矩阵中目标位置的元素值调整为第一数值;
当所述第一目标样本数据的标签信息和所述第二目标样本数据的标签信息不同时,将所述同型矩阵中目标位置的元素值调整为第二数值,以得到调整后的同型矩阵。
11.一种异常谷粒检测装置,其特征在于,包括:
构建模块,用于构建异常谷粒检测模型;
训练模块,用于基于多个目标样本数据、以及每个所述目标样本数据对应的标签信息,对所述异常谷粒检测模型进行训练,得到训练后的异常谷粒检测模型,所述异常谷粒检测模型包括编码器,所述编码器包括至少一个卷积块和至少一个掩码注意力块;
重建模块,用于通过所述训练后的异常谷粒检测模型对待检测图像数据进行图像重建,得到所述待检测图像数据对应的重建图像数据,所述待检测图像数据为对待检测谷粒拍摄所得图像数据;
结果模块,用于基于所述待检测图像数据和所述重建图像数据,确定所述待检测谷粒的异常检测结果;
所述训练模块具体用于:
通过所述编码器的至少一个卷积块对所述目标样本数据进行卷积计算,得到所述多个目标样本数据对应的初始特征图数据;
通过所述编码器生成所述初始特征图数据对应的多个特征映射矩阵、以及生成可学习的位置感知矩阵;
通过所述编码器生成掩码张量数据,所述掩码张量数据包括多个掩码矩阵,每个所述掩码矩阵中目标位置的元素值、以及与所述目标位置具有目标位置关系的特征位置的元素值为目标数值,所述掩码张量数据中不同掩码矩阵的目标位置互不相同;
通过通过所述编码器的所述至少一个掩码注意力块,将所述多个特征映射矩阵、所述位置感知矩阵和所述掩码张量数据输入目标函数进行计算,以得到所述多个目标样本数据对应的目标特征图数据,进而得到训练后的异常谷粒检测模型。
12.一种计算机可读介质,所述计算机可读介质存储有计算机程序,所述计算机程序适于处理器进行加载,以实现如权利要求1至10任一项所述异常谷粒检测方法的步骤。
13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述异常谷粒检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310615710.4A CN116343200B (zh) | 2023-05-29 | 2023-05-29 | 异常谷粒检测方法、装置、计算机可读介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310615710.4A CN116343200B (zh) | 2023-05-29 | 2023-05-29 | 异常谷粒检测方法、装置、计算机可读介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116343200A CN116343200A (zh) | 2023-06-27 |
CN116343200B true CN116343200B (zh) | 2023-09-19 |
Family
ID=86884495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310615710.4A Active CN116343200B (zh) | 2023-05-29 | 2023-05-29 | 异常谷粒检测方法、装置、计算机可读介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116343200B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330641A (zh) * | 2020-11-09 | 2021-02-05 | 迩言(上海)科技有限公司 | 一种基于深度学习的粮食不完善粒识别方法及系统 |
CN112365422A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于深层聚合网络的不规则缺失图像修复方法及其系统 |
WO2021062133A1 (en) * | 2019-09-25 | 2021-04-01 | Siemens Gas And Power Gmbh & Co. Kg | Unsupervised and weakly-supervised anomaly detection and localization in images |
CN113870204A (zh) * | 2021-09-18 | 2021-12-31 | 中科苏州智能计算技术研究院 | 一种光学玻璃的异常检测方法及装置 |
CN113947807A (zh) * | 2021-12-21 | 2022-01-18 | 北京至真互联网技术有限公司 | 一种基于无监督的眼底影像异常识别方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220076053A1 (en) * | 2020-09-07 | 2022-03-10 | Siemens Healthcare Gmbh | System and method for detecting anomalies in images |
-
2023
- 2023-05-29 CN CN202310615710.4A patent/CN116343200B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021062133A1 (en) * | 2019-09-25 | 2021-04-01 | Siemens Gas And Power Gmbh & Co. Kg | Unsupervised and weakly-supervised anomaly detection and localization in images |
CN112330641A (zh) * | 2020-11-09 | 2021-02-05 | 迩言(上海)科技有限公司 | 一种基于深度学习的粮食不完善粒识别方法及系统 |
CN112365422A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于深层聚合网络的不规则缺失图像修复方法及其系统 |
CN113870204A (zh) * | 2021-09-18 | 2021-12-31 | 中科苏州智能计算技术研究院 | 一种光学玻璃的异常检测方法及装置 |
CN113947807A (zh) * | 2021-12-21 | 2022-01-18 | 北京至真互联网技术有限公司 | 一种基于无监督的眼底影像异常识别方法及系统 |
Non-Patent Citations (2)
Title |
---|
M Nakanishi 等.Anomaly Detection By Autoencoder Based On Weighted Frequency Domain Loss.《Image and Video Processing》.2021,全文. * |
王树宇 等.基于对抗自编码模型的高速泵异常检测.《机床与液压》.2022,第50卷(第7期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN116343200A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510504B (zh) | 图像分割方法和装置 | |
CN115294409B (zh) | 一种用于安防监控的视频处理方法、系统及介质 | |
EP3333768A1 (en) | Method and apparatus for detecting target | |
CN109829506B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
JP6232982B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN111738244A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN109522899B (zh) | 咖啡成熟果实的检测方法、装置及电子设备 | |
CN111931931A (zh) | 一种针对病理全场图像的深度神经网络训练方法、装置 | |
CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN112419153A (zh) | 图像超分辨率重建方法、装置、计算机设备和存储介质 | |
CN111274999A (zh) | 数据处理、图像处理方法、装置及电子设备 | |
CN110399908A (zh) | 基于事件型相机的分类方法和装置、存储介质、电子装置 | |
Zhang et al. | Detection of regions of interest in a high-spatial-resolution remote sensing image based on an adaptive spatial subsampling visual attention model | |
CN107609596A (zh) | 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN112232140A (zh) | 人群计数方法、装置、电子设备及计算机存储介质 | |
CN110363072A (zh) | 舌象识别方法、装置、计算机设备及计算机可读存储介质 | |
CN115797781A (zh) | 农作物识别方法、装置、计算机设备和存储介质 | |
CN112633340B (zh) | 目标检测模型训练、检测方法、设备及存储介质 | |
CN116343200B (zh) | 异常谷粒检测方法、装置、计算机可读介质及计算机设备 | |
CN110598732B (zh) | 一种基于图像识别的植物健康检测方法及装置 | |
CN109934132B (zh) | 基于随机丢弃卷积数据的人脸识别方法、系统及存储介质 | |
CN111046730A (zh) | 植株数据处理方法、装置、计算机设备和存储介质 | |
CN111414823A (zh) | 人体特征点的检测方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |