CN116168275A - 基于特征分组和通道置换的轻量型双注意力机制识别方法 - Google Patents

基于特征分组和通道置换的轻量型双注意力机制识别方法 Download PDF

Info

Publication number
CN116168275A
CN116168275A CN202310423770.6A CN202310423770A CN116168275A CN 116168275 A CN116168275 A CN 116168275A CN 202310423770 A CN202310423770 A CN 202310423770A CN 116168275 A CN116168275 A CN 116168275A
Authority
CN
China
Prior art keywords
image
product
neural network
convolutional neural
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310423770.6A
Other languages
English (en)
Other versions
CN116168275B (zh
Inventor
毛霖
黄德民
陈海军
齐佰剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinlixun Technology Group Co ltd
Original Assignee
New Lixun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Lixun Technology Co ltd filed Critical New Lixun Technology Co ltd
Priority to CN202310423770.6A priority Critical patent/CN116168275B/zh
Publication of CN116168275A publication Critical patent/CN116168275A/zh
Application granted granted Critical
Publication of CN116168275B publication Critical patent/CN116168275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于特征分组和通道置换的轻量型双注意力机制识别方法，涉及图像处理与识别技术领域，包括：获取至少一个不同项目类型农牧渔产品对应三级支分类的有限图像数据集；进行样本扩充处理，以获取海量图像数据集；对海量图像数据集进行训练，以获取至少一个卷积神经网络识别模型；进行轻量化处理，以获取至少一个轻量型卷积神经网络识别模型；获取待识别农牧渔产品图像，对其进行识别阶段预处理，并基于预设第一机器学习模型和第二机器学习模型进行一级分类识别和二级分类识别，以确定对应二级干分类；根据对应二级干分类提取对应轻量型卷积神经网络识别模型，并进行信息鉴别，以获取信息鉴别结果。

Description

基于特征分组和通道置换的轻量型双注意力机制识别方法
技术领域
本发明涉及图像处理与识别技术领域，尤其涉及基于特征分组和通道置换的轻量型双注意力机制识别方法。
背景技术
相较于普通类型的假冒伪劣产品，农牧渔产品的假冒伪劣直接危害人们的身体健康；因此，如何针对假冒伪劣农牧渔产品进行有效识别就成为了当下研究重点。
现有的农牧渔产品鉴别手段主要通过在产品外包装上添加防伪标识实现，例如激光全息、激光打标、特殊油墨、特制纸张、传统数码防伪、组合印刷防伪和3D立体防伪等技术手段，这些技术在应用初期具有一定防伪效果，但随着应用的拓广，这些技术越来越容易获取，并开始用于仿制造假，因此其防伪效力有限或者根本不能防伪；而更本质地说，就是这些方法都只能针对外包装进行防伪识别，若包装本身并没造假，上述方法就很难实现有效的产品识别。
目前缺乏针对产品本身进行识别的方法，而现有针对产品本身进行鉴别的方法也大多是通过化学手段实现，例如授权公告号为CN105158321B的中国专利公开了一种鉴别牦牛肉产品真伪的方法，该发明虽然通过化学计量法实现了对牛肉产品的鉴别，但此类方法耗时较长，存在一定滞后性；当然也存在一些非化学方式的技术手段，例如公开号为CN112579882A的中国专利公开了农产品种类识别方法，该发明虽然通过部署于服务器的农产品种类识别模型实现了对农产品的种类的识别，但此类方法其本身模型体量较大，并且存在不断优化扩充，导致其处理速度较慢或无法加载，无法实际部署于计算设备中，并且该方法应用场景有限，难以实际应用于农牧渔产品的鉴别过程中；此外，现有农牧渔产品鉴别方法缺乏对数据样本采集场景和用户拍摄场景的考虑，导致数据样本广度不够、数据样本清晰度低和待识别图像难以识别，进而容易产生错检现象（即将假的农牧渔产品识别为真的），从而无法避免用真的包装包裹假的产品的现象的发生，难以有效保障消费者的合法权益。
鉴于此，本发明提出基于特征分组和通道置换的轻量型双注意力机制识别方法以解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于特征分组和通道置换的轻量型双注意力机制识别方法。
为了实现上述目的，本发明采用了如下技术方案：
基于特征分组和通道置换的轻量型双注意力机制识别方法，包括：
步骤S1：获取至少一个不同项目类型农牧渔产品对应三级支分类的有限图像数据集；
步骤S2：基于每个项目类型农牧渔产品对应三级支分类的有限图像数据集进行模型构建阶段预处理，以获取每个对应三级支分类的有限清晰图像数据集；
步骤S3：基于对抗生成网络对每个所述对应三级支分类的有限清晰图像数据集进行样本扩充处理，以获取每个对应三级支分类的海量图像数据集；
步骤S4：基于特征分组和通道置换融合双注意力机制卷积神经网络对所述每个对应三级支分类的海量图像数据集进行训练，以获取至少一个卷积神经网络识别模型；
步骤S5：针对至少一个所述卷积神经网络识别模型进行轻量化处理，以获取至少一个轻量型卷积神经网络识别模型；
步骤S6：获取待识别农牧渔产品图像，对其进行识别阶段预处理，并基于预设第一机器学习模型和第二机器学习模型进行一级分类识别和二级分类识别，以确定待识别农牧渔产品图像的对应二级干分类；
步骤S7：根据对应二级干分类提取对应轻量型卷积神经网络识别模型，并根据所述对应轻量型卷积神经网络识别模型对待识别农牧渔产品图像进行信息鉴别，以获取信息鉴别结果。
进一步地，所述模型构建阶段预处理的具体过程如下：
S21：针对每个所述对应三级支分类的有限图像数据集进行图像排序，以获取每个对应三级支分类的有限图像数据集中的若干幅产品图像Q；
S22：获取每幅产品图像Q中的基本数据，并基于其与预设标准信息进行比较，以确定每幅产品图像Q中的至少一个产品主体区域，并根据每幅产品图像Q中的至少一个产品主体区域获取；所述基本数据包括目标区域完整度和目标区域清晰度；所述预设标准信息包括预设标准目标区域完整度和预设标准目标区域清晰度；
S23：基于至少一个产品主体区域对所述每幅产品图像Q进行主体区域图像裁剪，以获取至少一个产品主体图像；
S24：针对至少一个产品主体图像进行图像清晰化处理，以获取每个对应三级支分类的有限清晰图像数据集。
进一步地，所述确定每幅产品图像Q中的产品主体区域的过程如下：
筛选每幅产品图像Q中的至少一个目标主体区域，获取其每个目标区域完整度，并将其与预设标准目标区域完整度进行比对分析，以计算目标完整度系数
Figure SMS_1
，式中：/>
Figure SMS_2
表示目标区域完整度，/>
Figure SMS_3
表示预设标准目标区域完整度；
筛选每幅产品图像Q中的至少一个目标主体区域，获取其每个目标区域清晰度，并将其与预设标准目标区域清晰度进行比对分析，以计算目标清晰度系数
Figure SMS_4
，式中：/>
Figure SMS_5
表示目标区域清晰度，/>
Figure SMS_6
表示预设标准目标区域清晰度；
基于所述目标完整度系数
Figure SMS_7
和目标清晰度系数/>
Figure SMS_8
计算目标合格性评价系数
Figure SMS_9
，式中：/>
Figure SMS_10
，/>
Figure SMS_11
和/>
Figure SMS_12
均为评价修正因子；
设置主体合格性评价临界值GT，将所述目标合格性评价系数
Figure SMS_13
与主体合格性评价临界值GT进行比较，若目标合格性评价系数/>
Figure SMS_14
大于主体合格性评价临界值GT，则将对应的目标主体区域作为产品主体区域，若目标合格性评价系数/>
Figure SMS_15
小于等于主体合格性评价临界值GT，将对应的目标主体区域予以剔除。
进一步地，至少一个所述卷积神经网络识别模型的具体生成过程如下：
步骤S41：将每个对应三级支分类的海量图像数据集划分为比例训练集和与之相对应的至少一个比例测试集；
步骤S42：构建至少一个卷积神经网络框架，分别将每个比例训练集输入所述至少一个卷积神经网络框架中进行训练，以输出至少一个卷积神经网络识别模型；
每个所述卷积神经网络框架包括输入层、卷积层、特征分组层、注意力机制层、池化层和全连接层，且注意力机制层并行设置有空间注意力模块和通道注意力模块；
至少一个所述卷积神经网络识别模型的输出过程如下：
特征提取：提取海量图像数据集中的每幅产品图像，并基于Resnet-50特征提取网络的卷积层提取产品图像的图像特征；每幅所述产品图像大小为224*224*3；
所述卷积层包含一个1*1的卷积核、一个3*3的卷积核和5*5的卷积核，每个所述卷积核的步长为1；
特征分组：对所述图像特征进行特征图分组，并通过空间注意力模块和通道注意力模块对每组特征图进行空间特征提取和通道特征提取，得到至少一个特征子集；
通道置换：对每个所述特征子集进行通道置换；
双注意力机制：使用SE模块对通道置换后的每个所述特征子集进行通道注意力和空间注意力的融合，得到融合特征；
池化层：对融合特征进行全局平均池化，以获取最终特征向量；
全连接层：根据最终特征向量进行分类，以实现农牧渔产品鉴别；
步骤S43：通过每个相对应的比例测试集对每个所述卷积神经网络识别模型进行精度验证，以输出模型识别精度大于或等于预设精度阈值的至少一个卷积神经网络识别模型。
进一步地，所述轻量化处理包括针对卷积层结构化剪枝和全连接层的结构化剪枝；
所述轻量化处理的具体过程如下：
步骤S51：针对每个所述卷积神经网络识别模型的卷积层进行结构化剪枝；
对卷积层的权重矩阵进行聚类，将权重矩阵中的元素分为若干个聚类；对于每个聚类，选出其中模长最小的元素，将其它元素剪枝掉；根据剪枝后的权重矩阵，重新计算卷积层的输出，并将剩余的通道和卷积核拼接起来，形成新的卷积层；
步骤S52：针对每个所述卷积神经网络识别模型的全连接层进行结构化剪枝；
对全连接层的权重矩阵进行聚类，将权重矩阵中的元素分为若干个聚类；对于每个聚类，选出其中模长最小的元素，将其它元素剪枝掉；根据剪枝后的权重矩阵，重新计算全连接层的输出；
步骤S53：计算轻量化处理后每个所述卷积神经网络识别模型的识别精度，判断所述识别精度是否小于预设精度阈值，若小于，则进行微调并重复上述步骤S51和S52，直至轻量化处理后每个所述卷积神经网络识别模型大于或等于预设精度阈值，以输出至少一个卷积神经网络识别模型。
进一步地，所述第一机器学习模型具体为K-means或DBSCAN中的一种；所述第二机器学习模型具体为支持向量机或随机森林中的一种。
进一步地，所述信息鉴别结果包括对应农牧渔产品种类信息或对应农牧渔产品真假信息中的至少一种。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法的步骤。
相比于现有技术，本发明的有益效果在于：
本发明提出的基于特征分组和通道置换的轻量型双注意力机制识别方法，通过对不同项目类型农牧渔产品进行三级分类采集有限图像数据集，之后对有限图像数据集进行模型构建阶段预处理，接着基于对抗生成网络进行数据集扩充，本发明解决现有数据样本广度不够和数据样本清晰度低的问题，同时有利于提高后续的模型识别精度；之后再通过双注意力机制构建和训练卷积神经网络，并针对训练后的卷积神经网络进行轻量化处理，以获取至少一个轻量型卷积神经网络识别模型，从而有利于解决现有农牧渔产品鉴别模型识别精度较低、处理速度较慢，且无法部署于计算设备中的问题；最后通过获取用户通过拍摄的待识别产品图像，并对其进行识别阶段预处理，以及利用第一机器学习模型和第二机器学习模型进行分类，从而有利于解决待识别图像难以识别，容易产生错检现象的问题，进而有利于避免用真的包装包裹假的产品的现象的发生，使得有效保障消费者的合法权益，有利于应用于实际的农牧渔产品鉴别场景当中。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例一提出的基于特征分组和通道置换的轻量型双注意力机制识别方法的整体流程图；
图2为本发明实施例二中提出的现有的方法对四种茶叶类型进行拍摄的示意图；
图3为本发明实施例二中提出的应用本发明方法对四种茶叶类型进行识别的过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制
实施例1
请参阅图1所示，本实施例公开提供了基于特征分组和通道置换的轻量型双注意力机制识别方法，包括：
步骤S1：获取至少一个不同项目类型农牧渔产品对应三级支分类的有限图像数据集；
需要说明的是：所述不同项目类型农牧渔产品包括一级主分类、二级干分类和三级支分类，所述一级主分类包括农产品、渔类产品和畜牧产品；所述二级干分类针对每个农产品、渔类产品和畜牧产品的不同类别进行二级分类，所述三级支分类包括基于每个农产品、渔类产品和畜牧产品的不同类别的品种进行三级分类（以茶叶为例，其三级支分类包括黄山毛峰、福建碧螺春和安溪白茶等等至少一个品种）；
步骤S2：基于每个项目类型农牧渔产品对应三级支分类的有限图像数据集进行模型构建阶段预处理，以获取每个对应三级支分类的有限清晰图像数据集；
具体地，所述模型构建阶段预处理的具体过程如下：
S21：针对每个所述对应三级支分类的有限图像数据集进行图像排序，以获取每个对应三级支分类的有限图像数据集中的若干幅产品图像Q；
S22：获取每幅产品图像Q中的基本数据，并基于其与预设标准信息进行比较，以确定每幅产品图像Q中的至少一个产品主体区域，并根据每幅产品图像Q中的至少一个产品主体区域获取；所述基本数据包括目标区域完整度和目标区域清晰度；所述预设标准信息包括预设标准目标区域完整度和预设标准目标区域清晰度；
需要说明的是：所述目标区域完整度和目标区域清晰度，举例说来就是：在某一产品图像Q中存在至少一个目标主体，而每个目标主体的因图像采集方式、采集设备或产品主体放置的原因导致每个产品主体完整度和清晰度不一致；
具体地，所述确定每幅产品图像Q中的产品主体区域的过程如下：
筛选每幅产品图像Q中的至少一个目标主体区域，获取其每个目标区域完整度，并将其与预设标准目标区域完整度进行比对分析，以计算目标完整度系数
Figure SMS_16
，式中：/>
Figure SMS_17
表示目标区域完整度，/>
Figure SMS_18
表示预设标准目标区域完整度；
筛选每幅产品图像Q中的至少一个目标主体区域，获取其每个目标区域清晰度，并将其与预设标准目标区域清晰度进行比对分析，以计算目标清晰度系数
Figure SMS_19
，式中：/>
Figure SMS_20
表示目标区域清晰度，/>
Figure SMS_21
表示预设标准目标区域清晰度；
基于所述目标完整度系数
Figure SMS_22
和目标清晰度系数/>
Figure SMS_23
计算目标合格性评价系数
Figure SMS_24
，式中：/>
Figure SMS_25
，/>
Figure SMS_26
和/>
Figure SMS_27
均为评价修正因子；
设置主体合格性评价临界值GT，将所述目标合格性评价系数
Figure SMS_28
与主体合格性评价临界值GT进行比较，若目标合格性评价系数/>
Figure SMS_29
大于主体合格性评价临界值GT，则将对应的目标主体区域作为产品主体区域，若目标合格性评价系数/>
Figure SMS_30
小于等于主体合格性评价临界值GT，将对应的目标主体区域予以剔除；/>
S23：基于至少一个产品主体区域对所述每幅产品图像Q进行主体区域图像裁剪，以获取至少一个产品主体图像；
S24：针对至少一个产品主体图像进行图像清晰化处理，以获取每个对应三级支分类的有限清晰图像数据集；
需要说明的是：所述图像清晰化处理包括但不限于图像均值化、图像去噪和图像增强等等；
步骤S3：基于对抗生成网络对每个所述对应三级支分类的有限清晰图像数据集进行样本扩充处理，以获取每个对应三级支分类的海量图像数据集；
具体地，所述对抗生成网络通将每个所述对应三级支分类的有限清晰图像数据集作为原始数据集，并对其进行图像变换处理获取新样本数据集，进而实现样本扩充，所述图像变换处理包括但不限于对原始数据集进行加噪、图像剪裁、旋转以及原始数据集和新样本数据集进行合并等等；
步骤S4：基于特征分组和通道置换融合双注意力机制卷积神经网络对所述每个对应三级支分类的海量图像数据集进行训练，以获取至少一个卷积神经网络识别模型；
具体地，至少一个所述卷积神经网络识别模型的具体生成过程如下：
步骤S41：将每个对应三级支分类的海量图像数据集划分为比例训练集和与之相对应的至少一个比例测试集；
步骤S42：构建至少一个卷积神经网络框架，分别将每个比例训练集输入所述至少一个卷积神经网络框架中进行训练，以输出至少一个卷积神经网络识别模型；
具体地，每个所述卷积神经网络框架包括输入层、卷积层、特征分组层、注意力机制层、池化层和全连接层，且注意力机制层并行设置有空间注意力模块和通道注意力模块；
具体地，至少一个所述卷积神经网络识别模型的输出过程如下：
特征提取：提取海量图像数据集中的每幅产品图像，并基于Resnet-50特征提取网络的卷积层提取产品图像的图像特征；每幅所述产品图像大小为224*224*3；
所述卷积层包含一个1*1的卷积核、一个3*3的卷积核和5*5的卷积核，每个所述卷积核的步长为1；
特征分组：对所述图像特征进行特征图分组，并通过空间注意力模块和通道注意力模块对每组特征图进行空间特征提取和通道特征提取，得到至少一个特征子集；
通道置换：对每个所述特征子集进行通道置换；
双注意力机制：使用SE模块对通道置换后的每个所述特征子集进行通道注意力和空间注意力的融合，得到融合特征；
池化层：对融合特征进行全局平均池化，以获取最终特征向量；
全连接层：根据最终特征向量进行分类，以实现农牧渔产品鉴别；
步骤S43：通过每个相对应的比例测试集对每个所述卷积神经网络识别模型进行精度验证，以输出模型识别精度大于或等于预设精度阈值的至少一个卷积神经网络识别模型；
步骤S5：针对至少一个所述卷积神经网络识别模型进行轻量化处理，以获取至少一个轻量型卷积神经网络识别模型；
具体地，所述轻量化处理包括针对卷积层结构化剪枝和全连接层的结构化剪枝；
具体地，所述轻量化处理的具体过程如下：
步骤S51：针对每个所述卷积神经网络识别模型的卷积层进行结构化剪枝；
对卷积层的权重矩阵进行聚类，将权重矩阵中的元素分为若干个聚类；对于每个聚类，选出其中模长最小的元素，将其它元素剪枝掉；根据剪枝后的权重矩阵，重新计算卷积层的输出，并将剩余的通道和卷积核拼接起来，形成新的卷积层；
需要说明的是：对于第一个卷积层不进行剪枝；
步骤S52：针对每个所述卷积神经网络识别模型的全连接层进行结构化剪枝；
对全连接层的权重矩阵进行聚类，将权重矩阵中的元素分为若干个聚类；对于每个聚类，选出其中模长最小的元素，将其它元素剪枝掉；根据剪枝后的权重矩阵，重新计算全连接层的输出；
步骤S53：计算轻量化处理后每个所述卷积神经网络识别模型的识别精度，判断所述识别精度是否小于预设精度阈值，若小于，则进行微调并重复上述步骤S51和S52，直至轻量化处理后每个所述卷积神经网络识别模型大于或等于预设精度阈值，以输出至少一个卷积神经网络识别模型；
需要说明的是：在结构化剪枝中，每个剪枝后的层的大小几乎与剪枝比例成正比；例如，若选择了45％的剪枝比例，则剩余的权重矩阵大小为原始权重矩阵大小的45％；
步骤S6：获取待识别农牧渔产品图像，对其进行识别阶段预处理，并基于预设第一机器学习模型和第二机器学习模型进行一级分类识别和二级分类识别，以确定待识别农牧渔产品图像的对应二级干分类；
需要说明的是，所述识别阶段预处理与所述模型构建阶段预处理的过程一致，因此在本实施例中不对其做过多赘述；
具体地，所述第一机器学习模型具体为K-means或DBSCAN中的一种；所述第二机器学习模型具体为支持向量机或随机森林中的一种；
步骤S7：根据对应二级干分类提取对应轻量型卷积神经网络识别模型，并根据所述对应轻量型卷积神经网络识别模型对待识别农牧渔产品图像进行信息鉴别，以获取信息鉴别结果；
具体地，所述信息鉴别结果包括对应农牧渔产品种类信息或对应农牧渔产品真假信息中的至少一种；
需要说明的是：本发明轻量型卷积神经网络识别模型部署于服务器端，用户购买某一农牧渔产品后通过安装于用户终端的预设软件对待识别农牧渔产品进行图像拍摄，并上传至服务器端，服务器端通过设第一机器学习模型和第二机器学习模型进行产品确定，之后根据对应轻量型卷积神经网络识别模型进行信息鉴别，获取对应农牧渔产品种类信息或对应农牧渔产品真假信息；
在本实施例中，公开提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。
在本实施例中，公开提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法的步骤。
通过对不同项目类型农牧渔产品进行三级分类采集有限图像数据集，之后对有限图像数据集进行模型构建阶段预处理，接着基于对抗生成网络进行数据集扩充，本发明解决现有数据样本广度不够和数据样本清晰度低的问题，同时有利于提高后续的模型识别精度；之后再通过双注意力机制构建和训练卷积神经网络，并针对训练后的卷积神经网络进行轻量化处理，以获取至少一个轻量型卷积神经网络识别模型，从而有利于解决现有农牧渔产品鉴别模型识别精度较低、处理速度较慢，且无法部署于计算设备中的问题；最后通过获取用户通过拍摄的待识别产品图像，并对其进行识别阶段预处理，以及利用第一机器学习模型和第二机器学习模型进行分类，从而有利于解决待识别图像难以识别，容易产生错检现象的问题，进而有利于避免用真的包装包裹假的产品的现象的发生，使得有效保障消费者的合法权益。
实施例2
请参阅图2和图3所示，在本实施例中，为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例将对四种茶叶类型（分别为铁观音、毛峰、碧螺春和龙井）进行拍摄，并通过选择现有的不同的方法和采用本发明的方法进行识别对比测试，以科学论证的手段对比试验结果，以验证本发明的方法所具有的真实效果，其具体实验数据如下（见表1）：
需要说明的是：在茶叶类型的产品造假过程中，通常通过对某一名茶采用普通茶叶进行替换实现，因此在茶叶真假鉴别过程中，识别出茶叶的具体类型就可以判断消费者所购买茶叶的真假情况；
表1：实验结果对比表
Figure SMS_31
由上述实验结果对比表中的实验数据能够看出：本发明的方法相较于现有的识别方法，其准确度相对较高，并且由于本发明的轻量化设置以及数据处理设置，使其有利于应用于实际的农牧渔产品鉴别场景当中，有利于避免用真的包装包裹假的产品的现象的发生，有效保障消费者的合法权益。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，包括：
步骤S1：获取至少一个不同项目类型农牧渔产品对应三级支分类的有限图像数据集；
步骤S2：基于每个项目类型农牧渔产品对应三级支分类的有限图像数据集进行模型构建阶段预处理，以获取每个对应三级支分类的有限清晰图像数据集；
步骤S3：基于对抗生成网络对每个所述对应三级支分类的有限清晰图像数据集进行样本扩充处理，以获取每个对应三级支分类的海量图像数据集；
步骤S4：基于特征分组和通道置换融合双注意力机制卷积神经网络对所述每个对应三级支分类的海量图像数据集进行训练，以获取至少一个卷积神经网络识别模型；
步骤S5：针对至少一个所述卷积神经网络识别模型进行轻量化处理，以获取至少一个轻量型卷积神经网络识别模型；
步骤S6：获取待识别农牧渔产品图像，对其进行识别阶段预处理，并基于预设第一机器学习模型和第二机器学习模型进行一级分类识别和二级分类识别，以确定待识别农牧渔产品图像的对应二级干分类；
步骤S7：根据对应二级干分类提取对应轻量型卷积神经网络识别模型，并根据所述对应轻量型卷积神经网络识别模型对待识别农牧渔产品图像进行信息鉴别，以获取信息鉴别结果。
2.根据权利要求1所述的基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，所述模型构建阶段预处理的具体过程如下：
S21：针对每个所述对应三级支分类的有限图像数据集进行图像排序，以获取每个对应三级支分类的有限图像数据集中的若干幅产品图像Q；
S22：获取每幅产品图像Q中的基本数据，并基于其与预设标准信息进行比较，以确定每幅产品图像Q中的至少一个产品主体区域，并根据每幅产品图像Q中的至少一个产品主体区域获取；所述基本数据包括目标区域完整度和目标区域清晰度；所述预设标准信息包括预设标准目标区域完整度和预设标准目标区域清晰度；
S23：基于至少一个产品主体区域对所述每幅产品图像Q进行主体区域图像裁剪，以获取至少一个产品主体图像；
S24：针对至少一个产品主体图像进行图像清晰化处理，以获取每个对应三级支分类的有限清晰图像数据集。
3.根据权利要求2所述的基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，所述确定每幅产品图像Q中的产品主体区域的过程如下：
筛选每幅产品图像Q中的至少一个目标主体区域，获取其每个目标区域完整度，并将其与预设标准目标区域完整度进行比对分析，以计算目标完整度系数
Figure QLYQS_1
，式中：/>
Figure QLYQS_2
表示目标区域完整度，/>
Figure QLYQS_3
表示预设标准目标区域完整度；
筛选每幅产品图像Q中的至少一个目标主体区域，获取其每个目标区域清晰度，并将其与预设标准目标区域清晰度进行比对分析，以计算目标清晰度系数
Figure QLYQS_4
，式中：/>
Figure QLYQS_5
表示目标区域清晰度，/>
Figure QLYQS_6
表示预设标准目标区域清晰度；/>
基于所述目标完整度系数
Figure QLYQS_7
和目标清晰度系数/>
Figure QLYQS_8
计算目标合格性评价系数
Figure QLYQS_9
，式中：/>
Figure QLYQS_10
，/>
Figure QLYQS_11
和/>
Figure QLYQS_12
均为评价修正因子；
设置主体合格性评价临界值GT，将所述目标合格性评价系数
Figure QLYQS_13
与主体合格性评价临界值GT进行比较，若目标合格性评价系数/>
Figure QLYQS_14
大于主体合格性评价临界值GT，则将对应的目标主体区域作为产品主体区域，若目标合格性评价系数/>
Figure QLYQS_15
小于等于主体合格性评价临界值GT，将对应的目标主体区域予以剔除。
4.根据权利要求1所述的基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，至少一个所述卷积神经网络识别模型的具体生成过程如下：
步骤S41：将每个对应三级支分类的海量图像数据集划分为比例训练集和与之相对应的至少一个比例测试集；
步骤S42：构建至少一个卷积神经网络框架，分别将每个比例训练集输入所述至少一个卷积神经网络框架中进行训练，以输出至少一个卷积神经网络识别模型；
每个所述卷积神经网络框架包括输入层、卷积层、特征分组层、注意力机制层、池化层和全连接层，且注意力机制层并行设置有空间注意力模块和通道注意力模块；
至少一个所述卷积神经网络识别模型的输出过程如下：
特征提取：提取海量图像数据集中的每幅产品图像，并基于Resnet-50特征提取网络的卷积层提取产品图像的图像特征；每幅所述产品图像大小为224*224*3；
所述卷积层包含一个1*1的卷积核、一个3*3的卷积核和5*5的卷积核，每个所述卷积核的步长为1；
特征分组：对所述图像特征进行特征图分组，并通过空间注意力模块和通道注意力模块对每组特征图进行空间特征提取和通道特征提取，得到至少一个特征子集；
通道置换：对每个所述特征子集进行通道置换；
双注意力机制：使用SE模块对通道置换后的每个所述特征子集进行通道注意力和空间注意力的融合，得到融合特征；
池化层：对融合特征进行全局平均池化，以获取最终特征向量；
全连接层：根据最终特征向量进行分类，以实现农牧渔产品鉴别；
步骤S43：通过每个相对应的比例测试集对每个所述卷积神经网络识别模型进行精度验证，以输出模型识别精度大于或等于预设精度阈值的至少一个卷积神经网络识别模型。
5.根据权利要求1所述的基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，所述轻量化处理包括针对卷积层结构化剪枝和全连接层的结构化剪枝；
所述轻量化处理的具体过程如下：
步骤S51：针对每个所述卷积神经网络识别模型的卷积层进行结构化剪枝；
对卷积层的权重矩阵进行聚类，将权重矩阵中的元素分为若干个聚类；对于每个聚类，选出其中模长最小的元素，将其它元素剪枝掉；根据剪枝后的权重矩阵，重新计算卷积层的输出，并将剩余的通道和卷积核拼接起来，形成新的卷积层；
步骤S52：针对每个所述卷积神经网络识别模型的全连接层进行结构化剪枝；
对全连接层的权重矩阵进行聚类，将权重矩阵中的元素分为若干个聚类；对于每个聚类，选出其中模长最小的元素，将其它元素剪枝掉；根据剪枝后的权重矩阵，重新计算全连接层的输出；
步骤S53：计算轻量化处理后每个所述卷积神经网络识别模型的识别精度，判断所述识别精度是否小于预设精度阈值，若小于，则进行微调并重复上述步骤S51和S52，直至轻量化处理后每个所述卷积神经网络识别模型大于或等于预设精度阈值，以输出至少一个卷积神经网络识别模型。
6.根据权利要求1所述的基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，所述第一机器学习模型为K-means或DBSCAN中的一种；所述第二机器学习模型为支持向量机或随机森林中的一种。
7.根据权利要求1所述的基于特征分组和通道置换的轻量型双注意力机制识别方法，其特征在于，所述信息鉴别结果包括对应农牧渔产品种类信息或对应农牧渔产品真假信息中的至少一种。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202310423770.6A 2023-04-20 2023-04-20 基于特征分组和通道置换的轻量型双注意力机制识别方法 Active CN116168275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310423770.6A CN116168275B (zh) 2023-04-20 2023-04-20 基于特征分组和通道置换的轻量型双注意力机制识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310423770.6A CN116168275B (zh) 2023-04-20 2023-04-20 基于特征分组和通道置换的轻量型双注意力机制识别方法

Publications (2)

Publication Number Publication Date
CN116168275A true CN116168275A (zh) 2023-05-26
CN116168275B CN116168275B (zh) 2023-07-14

Family

ID=86416652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310423770.6A Active CN116168275B (zh) 2023-04-20 2023-04-20 基于特征分组和通道置换的轻量型双注意力机制识别方法

Country Status (1)

Country Link
CN (1) CN116168275B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117594860A (zh) * 2024-01-19 2024-02-23 新立讯科技股份有限公司 基于dlp的新能源汽车工艺指导方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529605A (zh) * 2016-11-28 2017-03-22 东华大学 基于免疫理论的卷积神经网络模型的图像识别方法
CN109523503A (zh) * 2018-09-11 2019-03-26 北京三快在线科技有限公司 一种图像裁剪的方法和装置
CN113221988A (zh) * 2021-04-30 2021-08-06 佛山市南海区广工大数控装备协同创新研究院 一种基于注意力机制的轻量级网络的构建方法
US20210304123A1 (en) * 2020-03-26 2021-09-30 Fractal Analytics Private Limited System and method for identifying object information in image or video data
CN113723168A (zh) * 2021-04-09 2021-11-30 腾讯科技（深圳）有限公司 一种基于人工智能的主体识别方法、相关装置及存储介质
CN114445715A (zh) * 2022-03-24 2022-05-06 中南大学 一种基于卷积神经网络的农作物病害识别方法
CN114723043A (zh) * 2022-03-30 2022-07-08 清华大学 基于超图模型谱聚类的卷积神经网络卷积核剪枝方法
CN114758230A (zh) * 2022-04-06 2022-07-15 桂林电子科技大学 基于注意力机制的地下目标体分类识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529605A (zh) * 2016-11-28 2017-03-22 东华大学 基于免疫理论的卷积神经网络模型的图像识别方法
CN109523503A (zh) * 2018-09-11 2019-03-26 北京三快在线科技有限公司 一种图像裁剪的方法和装置
US20210304123A1 (en) * 2020-03-26 2021-09-30 Fractal Analytics Private Limited System and method for identifying object information in image or video data
CN113723168A (zh) * 2021-04-09 2021-11-30 腾讯科技（深圳）有限公司 一种基于人工智能的主体识别方法、相关装置及存储介质
CN113221988A (zh) * 2021-04-30 2021-08-06 佛山市南海区广工大数控装备协同创新研究院 一种基于注意力机制的轻量级网络的构建方法
CN114445715A (zh) * 2022-03-24 2022-05-06 中南大学 一种基于卷积神经网络的农作物病害识别方法
CN114723043A (zh) * 2022-03-30 2022-07-08 清华大学 基于超图模型谱聚类的卷积神经网络卷积核剪枝方法
CN114758230A (zh) * 2022-04-06 2022-07-15 桂林电子科技大学 基于注意力机制的地下目标体分类识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
倪舟;汪丰;姜伟;刘成;祁长红;: "蔬菜识别技术研究", 北京农业, no. 30 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117594860A (zh) * 2024-01-19 2024-02-23 新立讯科技股份有限公司 基于dlp的新能源汽车工艺指导方法及系统
CN117594860B (zh) * 2024-01-19 2024-04-05 新立讯科技股份有限公司 基于dlp的新能源汽车工艺指导方法及系统

Also Published As

Publication number Publication date
CN116168275B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN106503727B (zh) 一种高光谱图像分类的方法及装置
CN110287873A (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN110084603A (zh) 训练欺诈交易检测模型的方法、检测方法以及对应装置
CN108763897A (zh) 身份合法性的校验方法、终端设备及介质
CN113379720B (zh) 一种基于茶饼图像特征编码的茶饼防伪方法
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN108288080A (zh) 身份信息核验方法、装置、介质及计算设备
CN107679509A (zh) 一种小环藻识别方法及装置
CN116168275B (zh) 基于特征分组和通道置换的轻量型双注意力机制识别方法
CN110942144B (zh) 集自动化训练、校验、重构于一体的神经网络构建方法
CN110532855A (zh) 基于深度学习的自然场景证件图像文字识别方法
CN103336942A (zh) 一种基于Radon BEMD变换的国画鉴定方法
CN114266740A (zh) 一种中药饮片质检方法、装置、设备及存储介质
CN111950362A (zh) 一种金丝猴面部图像识别方法、装置、设备及存储介质
CN108229505A (zh) 基于fisher多级字典学习的图像分类方法
CN117635418B (zh) 生成对抗网络的训练方法、双向图像风格转换方法和装置
CN112766162B (zh) 活体检测方法、装置、电子设备及计算机可读存储介质
CN108229257A (zh) 一种基于深度学习和Spark的人脸识别特征并行训练方法
CN113378609B (zh) 代理商代签名的识别方法及装置
CN112364919A (zh) 数据处理方法、装置、设备及存储介质
CN106384364A (zh) 一种基于lpp‑elm的立体图像质量客观评价方法
CN113673340A (zh) 一种害虫种类图像识别方法及系统
EP3475926B1 (en) Detection of surface irregularities in coins
CN110414929A (zh) 一种汽车配件图片智能审核方法
CN112257731B (zh) 一种虚拟数据集的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 210012 room 801-810, 8 building, 7 Ande Gate Street, Yuhuatai District, Nanjing, Jiangsu, China, 57

Patentee after: Xinlixun Technology Group Co.,Ltd.

Country or region after: China

Address before: 210012 room 801-810, 8 building, 7 Ande Gate Street, Yuhuatai District, Nanjing, Jiangsu, China, 57

Patentee before: New Lixun Technology Co.,Ltd.

Country or region before: China