CN116935221A - 一种基于物联网的植保无人机杂草深度学习检测方法 - Google Patents

一种基于物联网的植保无人机杂草深度学习检测方法 Download PDF

Info

Publication number
CN116935221A
CN116935221A CN202310901025.8A CN202310901025A CN116935221A CN 116935221 A CN116935221 A CN 116935221A CN 202310901025 A CN202310901025 A CN 202310901025A CN 116935221 A CN116935221 A CN 116935221A
Authority
CN
China
Prior art keywords
module
feature map
c3gshre
gshre
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310901025.8A
Other languages
English (en)
Other versions
CN116935221B (zh
Inventor
周鸣乐
邢瑞
李刚
李敏
韩德隆
张�成
苏占智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202310901025.8A priority Critical patent/CN116935221B/zh
Publication of CN116935221A publication Critical patent/CN116935221A/zh
Application granted granted Critical
Publication of CN116935221B publication Critical patent/CN116935221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/05—Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Agronomy & Crop Science (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Animal Husbandry (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于物联网的植保无人机杂草深度学习检测方法，涉及图像识别技术领域，植保无人机对农田进行数据采集，进行挑选制作农作物与杂草数据集，利用农作物与杂草数据集进行分析标注并转换标注格式，图像预处理，特征提取网络模型搭建，特征融合网络模型搭建，图像训练及测试验证，对训练结果进行封装，构建物联网系统。解决了杂草识别准确率低的问题，具有鲁棒性高，泛化能力强，准确度高的特点。

Description

一种基于物联网的植保无人机杂草深度学习检测方法
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于物联网的植保无人机杂草深度学习检测方法。
背景技术
杂草在农作物生长阶段会与其争夺生存资源，影响农作物的产量，人工的清除杂草耗费大量的人力物力。在农业现代化领域，用机器代替人类繁重的劳动，解放劳动力成为趋势。近年来，以机器学习为基础的传统机器学习技术在无人机精确农业技术领域被广泛运用，但在实际应用中存在各种挑战。这种方法对图像噪声过于敏感的特点，导致检测模糊图像的效果和精度不理想，并且在目标尺度变换大的情况下检测效果进一步降低。以上缺点导致这种方法需要大量数据用来训练且需要人工干预。因此这种方法开发周期长，在大规模的农田杂草检测应用中表现不灵活，对人工调参过于依赖。
发明内容
本发明为了克服以上技术的不足，提供了一种将深度学习目标检测网络应用到杂草检测，提升模型的特征学习能力、泛化能力和识别精度的方法。
本发明克服其技术问题所采用的技术方案是：
一种基于物联网的植保无人机杂草深度学习检测方法，包括如下步骤：
a)植保无人机在农田中对农作物与杂草图像进行拍摄，采集M张图像，得到图像集PI1， 为第i张图像，i∈{1,2,...,M}；
b)将图像集PI1进行筛选，去除图像集PI1中不含有农作物及杂草的图像，得到初始杂草图像数据集PI2， 第i张筛选后的图像，i∈{1,2,...,m}，m为筛选后的图像的数量；
c)将初始杂草图像数据集PI2导入labelme标注软件，标注筛选后的图像的特征信息框，得到杂草图像数据集A，A＝{a1,a2,...,ak,...,am}，ak为第k个杂草图像数据，k∈{1,2,...,m}，tik为第k个筛选后的图像/>的标签信息；
d)将杂草图像数据集A划分为训练集、测试集、验证集；
e)将训练集中的第k个筛选后的图像进行预处理，得到预处理后的图像/>
f)建立特征提取网络模型GSHREnet，将预处理后的图像输入到特征提取网络模型GSHREnet中，输出得到特征图/>
g)建立特征融合网络C3GSHREnet，将特征图输入到特征融合网络C3GSHREnet中，输出得到最终图像m，最终输出图像m中包含有筛选后的图像的特征信息框的预测框。
进一步的，步骤a)中植保无人机在农田中以鸟瞰视角对农作物与杂草图像进行拍摄JPG格式的图片，完成拍摄采集，将采集到的图片使用HDMI 4G DVR设备进行实时回传，得到图像集PI1。
进一步的，步骤c)包括如下步骤：
c-1)使用labelme标注软件对第k张筛选后的图像进行标注，k∈{1,2,...,m}，第k张筛选后的图像/>的尺寸为1920×1080，在第i张筛选后的图像/>上用矩形框标注出农作物区域及用矩形框标注出杂草区域，各个矩形框为第k张筛选后的图像/>的特征信息框，农作物区域的类别为crop，杂草区域的类别为weed，将第i张筛选后的图像/>的农作物区域的类别crop、杂草区域的类别weed、标注农作物区域的矩形框左上角的坐标、标注杂草区域的矩形框左上角的坐标、标注农作物区域的矩形框的宽度值和高度值、标注杂草区域的矩形框的宽度值和高度值、第k张筛选后的图像/>的文件名写入并生成VOC格式的XML标签xik，创建一个XML文件夹，将XML标签xik保存到XML文件夹中，得到XML标签集X，X＝{xi1,xi2,...,xik,...,xim}；
c-2)将XML标签xik转换成为yolov5格式的TXT格式标签tik，创建一个labels文件夹，得到TXT标签集T，T＝{ti1,ti2,...,tik,...,tim}。
优选的，步骤d)中按6:2:2的比例将杂草图像数据集A划分为训练集、测试集、验证集。
进一步的，步骤e)包括如下步骤：
e-1)通过公式计算得到使用光度失真调节后的图像/>Pi为第k张筛选后的图像/>的第i个像素点的像素值，i∈{1,2,...,1920×1080}，e为自然常数，qi为第i个像素点Pi的调节因子，α和β均为加权值，Pj为第i个像素点Pi周围与其距离为3以内的第j个像素点的像素值，j∈{1,2,...,n}，n为第i个像素点Pi周围与其距离为3以内的像素点个数；
e-2)将图像使用随机缩放或随机剪裁或随机翻转或随机旋转操作，得到尺寸为640×640的调节后的图像/>
e-3)使用Mosaic算法随机拼接四个图像得到预处理后的图像/>图像/>的维度为1×3×640×640。
进一步的，步骤f)包括如下步骤：
f-1)特征提取网络模型GSHREnet由第一模块、第二模块、第三模块、第四模块、第五模块、第六模块构成；
f-2)特征提取网络模型GSHREnet的第一模块由卷积层构成，将预处理后的图像输入到第一模块中，输出得到维度为1×64×320×320的特征图/>f-3)特征提取网络模型GSHREnet的第二模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块构成，第一C3模块、第二C3模块、第三C3模块均为yolov5模型中的C3模块，将特征图/>输入到第二模块中，输出得到维度为1×128×160×160的特征图/>f-4)特征提取网络模型GSHREnet的第三模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块构成，第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块均为yolov5模型中的C3模块，将特征图/>输入到第三模块中，输出得到维度为1×256×80×80的特征图/>f-5)特征提取网络模型GSHREnet的第四模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块、第七C3模块、第八C3模块、第九C3模块构成，第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块、第七C3模块、第八C3模块、第九C3模块均为yolov5模型中的C3模块，将特征图/>输入到第四模块中，输出得到维度为1×512×40×40的特征图/>f-6)特征提取网络模型GSHREnet的第五模块由卷积层、第一C3模块、第二C3模块、第三C3模块、GSHRE模块构成，第一C3模块、第二C3模块、第三C3模块均为yolov5模型中的C3模块，将特征图/>依次输入到第五模块的卷积层、第一C3模块、第二C3模块、第三C3模块中，输出得到维度为1×512×40×40的特征图/>GSHRE模块由通道注意力单元、空间注意力单元构成，通道注意力单元依次由第一permute维度重映射层、第一全连接层、relu激活函数层、第二全连接层、第二permute维度重映射层构成，第一permute维度重映射层和第二permute维度重映射层构成均为torch库中tensor类型的permute维度重映射层，将特征图/>输入到通道注意力单元中，输出得到特征图/>空间注意力单元依次由第一卷积层、第一批归一化层、第一relu激活函数层、第二卷积层、第二批归一化层、第二relu激活函数层构成，将特征图/>输入到空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>f-7)特征提取网络模型GSHREnet的第六模块由yolov5模型中的SPPF模块构成，将特征图/>输入到第六模块中，输出得到维度为1×1024×20×20的特征图/>
进一步的，步骤g)包括如下步骤：
g-1)特征融合网络C3GSHREnet由第一模块、第二模块、第三模块、第四模块、第五模块、第六模块构成；
g-2)特征融合网络C3GSHREnet的第一模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块构成，将特征图依次输入到第一模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的C3模块中，输出得到特征图将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×512×40×40特征图
g-3)特征融合网络C3GSHREnet的第二模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块构成，将特征图依次输入到第二模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到维度为1×256×80×80特征图/>
g-4)特征融合网络C3GSHREnet的第三模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第三模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×128×160×160特征图/>g-5)特征融合网络C3GSHREnet的第四模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图/>依次输入到第四模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×256×80×80特征图/>
g-6)特征融合网络C3GSHREnet的第五模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第五模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到维度为1×512×40×40特征图/>
g-7)特征融合网络C3GSHREnet的第六模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第六模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到维度为1×1024×20×20特征图/>
g-8)将特征图特征图/>特征图/>特征图/>输入到yoloV5网络Detect模块中，得到最终输出图像m，最终输出图像m中包含有筛选后的图像的特征信息框的预测框，预测框中农作物区域的类别为crop，杂草区域的类别为weed。
优选的，步骤f-2)中第一模块的卷积层的卷积核大小为6×6；步骤f-3)中第二模块的卷积层的卷积核大小为3×3；步骤f-4)中第三模块的卷积层的卷积核大小为3×3；步骤f-5)中第四模块的卷积层的卷积核大小为3×3；步骤f-6)中空间注意力单元的第一卷积层的卷积核大小为7×7，第二卷积层的卷积核大小为7×7；步骤g-2)中第一模块的卷积层的卷积核大小为1×1；步骤g-3)中第二模块的卷积层的卷积核大小为1×1；步骤g-4)中第三模块的卷积层的卷积核大小为1×1；步骤g-5)中第四模块的卷积层的卷积核大小为1×1；步骤g-6)中第五模块的卷积层的卷积核大小为1×1；步骤g-7)中第六模块的卷积层的卷积核大小为1×1。
进一步的，还包括在步骤g)执行如下步骤：
h)通过公式计算得到位置损失XCIOU，式中IOU为预测框与真实框的面积的交集和预测框与真实框的面积的并集的比值，真实框为步骤c)的特征信息框，x为预测框与真实框周长的差值，x＝(e-0.1*L2-e-0.1*L1)2，式中L2为预测框的周长，L1为真实框的周长，/>D＝w2+h2，w为预测框和真实框的最小包闭框的宽，h为预测框和真实框的最小包闭框的高，E＝(x2-x1)2+(y2-y1)2，x2为预测框的中心点的横坐标，y2为预测框的中心点的纵坐标，x1为真实框的中心点的横坐标，y1为真实框的中心点的纵坐标，/>w2为预测框的宽，h2为预测框的高，w1为真实框的宽，h1为真实框的高，/>通过公式LTotal＝2LBCE+0.5XCIOU计算得到总损失LTotal，式中LBCE为交叉熵损失函数；
i)利用Adam优化器通过总损失LTotal训练步骤f)中的特征提取网络模型GSHREnet及步骤g)特征融合网络C3GSHREnet，得到优化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet。
进一步的，还包括搭建物联网系统，在植保无人机上部署esp32WIFI模块，植保无人机上通过esp32WIFI模块将摄像头采集的图像传送至物联网系统的服务器，在服务器上部署优化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet，服务器将化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet输出的最终图像m发送到无线遥控器显示。
本发明的有益效果是：植保无人机对农田进行数据采集，进行挑选制作农作物与杂草数据集，利用农作物与杂草数据集进行分析标注并转换标注格式，图像预处理，特征提取网络模型搭建，特征融合网络模型搭建，图像训练及测试验证，对训练结果进行封装，构建物联网系统。解决了杂草识别准确率低的问题，具有鲁棒性高，泛化能力强，准确度高的特点。
附图说明
图1为本发明的方法流程图；
图2为本发明的注意力模块GSHRE的结构图；
图3为本发明的检测头模块C3GSHRE的结构图；
图4为本发明的特征提取网络GSGSHREnet的结构图；
图5为本发明的特征融合网络C3GSHREnet的结构图；
图6为本发明的物联网系统结构图。
具体实施方式
下面结合附图1至附图6对本发明做进一步说明。
在农业现代化的趋势中，大数据分析技术、物联网技术与深度学习技术结合的形式在农业杂草检测领域中有着广阔的应用发展前景。深度学习技术可以从图像中自动学习到杂草的关键特征，凭此训练以及使用过程中不需要人工参与。深度学习技术同样需要大量的杂草样本数据进行学习训练，因此少量样本的深度学习技术是一种解决办法。本发明的一种基于物联网的植保无人机杂草深度学习检测方法，包括如下步骤：
a)植保无人机在农田中对农作物与杂草图像进行拍摄，采集M张图像，得到图像集PI1， 为第i张图像，i∈{1,2,...,M}。
b)将图像集PI1进行筛选，去除图像集PI1中不含有农作物及杂草的图像，得到初始杂草图像数据集PI2， 第i张筛选后的图像，i∈{1,2,...,m}，m为筛选后的图像的数量。
c)将初始杂草图像数据集PI2导入labelme标注软件，标注筛选后的图像的特征信息框，得到杂草图像数据集A，A＝{a1,a2,...,ak,...,am}，ak为第k个杂草图像数据，k∈{1,2,...,m}，tik为第k个筛选后的图像/>的标签信息。
d)将杂草图像数据集A划分为训练集、测试集、验证集。
e)将训练集中的第k个筛选后的图像进行预处理，得到预处理后的图像/>
f)建立特征提取网络模型GSHREnet，将预处理后的图像输入到特征提取网络模型GSHREnet中，输出得到特征图/>
g)建立特征融合网络C3GSHREnet，将特征图输入到特征融合网络C3GSHREnet中，输出得到最终图像m，最终输出图像m中包含有筛选后的图像的特征信息框的预测框。
将深度学习目标检测网络应用到杂草检测，通过使用新的特征增强函数、设计新的注意力机制、设计新的增强特征融合方式和设计新的检测头，使得杂草检测网络在少量样本的情况下也能进行深度网络特征学习训练过程，提升模型的特征学习能力、泛化能力和识别精度。
在本发明的一个实施例中，步骤a)中植保无人机在农田中以鸟瞰视角对农作物与杂草图像进行拍摄JPG格式的图片，完成拍摄采集，将采集到的图片使用HDMI 4G DVR设备进行实时回传，得到图像集PI1。
在本发明的一个实施例中，步骤c)包括如下步骤：
c-1)使用labelme标注软件对第k张筛选后的图像进行标注，k∈{1,2,...,m}，第k张筛选后的图像/>的尺寸为1920×1080，在第i张筛选后的图像/>上用矩形框标注出农作物区域及用矩形框标注出杂草区域，各个矩形框为第k张筛选后的图像/>的特征信息框，农作物区域的类别为crop，杂草区域的类别为weed，将第i张筛选后的图像/>的农作物区域的类别crop、杂草区域的类别weed、标注农作物区域的矩形框左上角的坐标、标注杂草区域的矩形框左上角的坐标、标注农作物区域的矩形框的宽度值和高度值、标注杂草区域的矩形框的宽度值和高度值、第k张筛选后的图像/>的文件名写入并生成VOC格式的XML标签xik，创建一个XML文件夹，将XML标签xik保存到XML文件夹中，得到XML标签集X，X＝{xi1,xi2,...,xik,...,xim}。
c-2)将XML标签xik转换成为yolov5格式的TXT格式标签tik，创建一个labels文件夹，得到TXT标签集T，T＝{ti1,ti2,...,tik,...,tim}。
在本发明的一个实施例中，优选的，步骤d)中按6:2:2的比例将杂草图像数据集A划分为训练集、测试集、验证集。
在本发明的一个实施例中，步骤e)包括如下步骤：
e-1)通过公式计算得到使用光度失真调节后的图像/>Pi为第k张筛选后的图像/>的第i个像素点的像素值，i∈{1,2,...,1920×1080}，e为自然常数，qi为第i个像素点Pi的调节因子，α和β均为加权值，Pj为第i个像素点Pi周围与其距离为3以内的第j个像素点的像素值，j∈{1,2,...,n}，n为第i个像素点Pi周围与其距离为3以内的像素点个数。e-2)将图像/>使用随机缩放或随机剪裁或随机翻转或随机旋转操作，得到尺寸为640×640的调节后的图像/>e-3)使用Mosaic算法随机拼接四个图像/>得到预处理后的图像/>图像/>的维度为1×3×640×640。
在本发明的一个实施例中，步骤f)包括如下步骤：
f-1)特征提取网络模型GSHREnet由第一模块、第二模块、第三模块、第四模块、第五模块、第六模块构成。
f-2)特征提取网络模型GSHREnet的第一模块由卷积层构成，将预处理后的图像输入到第一模块中，输出得到维度为1×64×320×320的特征图/>f-3)特征提取网络模型GSHREnet的第二模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块构成，第一C3模块、第二C3模块、第三C3模块均为yolov5模型中的C3模块，将特征图/>输入到第二模块中，输出得到维度为1×128×160×160的特征图/>f-4)特征提取网络模型GSHREnet的第三模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块构成，第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块均为yolov5模型中的C3模块，将特征图/>输入到第三模块中，输出得到维度为1×256×80×80的特征图/>f-5)特征提取网络模型GSHREnet的第四模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块、第七C3模块、第八C3模块、第九C3模块构成，第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块、第七C3模块、第八C3模块、第九C3模块均为yolov5模型中的C3模块，将特征图/>输入到第四模块中，输出得到维度为1×512×40×40的特征图/>f-6)特征提取网络模型GSHREnet的第五模块由卷积层、第一C3模块、第二C3模块、第三C3模块、GSHRE模块构成，第一C3模块、第二C3模块、第三C3模块均为yolov5模型中的C3模块，将特征图/>依次输入到第五模块的卷积层、第一C3模块、第二C3模块、第三C3模块中，输出得到维度为1×512×40×40的特征图/>GSHRE模块由通道注意力单元、空间注意力单元构成，通道注意力单元依次由第一permute维度重映射层、第一全连接层、relu激活函数层、第二全连接层、第二permute维度重映射层构成，第一permute维度重映射层和第二permute维度重映射层构成均为torch库中tensor类型的permute维度重映射层，将特征图/>输入到通道注意力单元中，输出得到特征图/>空间注意力单元依次由第一卷积层、第一批归一化层、第一relu激活函数层、第二卷积层、第二批归一化层、第二relu激活函数层构成，将特征图/>输入到空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>f-7)特征提取网络模型GSHREnet的第六模块由yolov5模型中的SPPF模块构成，将特征图/>输入到第六模块中，输出得到维度为1×1024×20×20的特征图/>
在本发明的一个实施例中，步骤g)包括如下步骤：
g-1)特征融合网络C3GSHREnet由第一模块、第二模块、第三模块、第四模块、第五模块、第六模块构成。
g-2)特征融合网络C3GSHREnet的第一模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块构成，将特征图依次输入到第一模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×512×40×40特征图/>
g-3)特征融合网络C3GSHREnet的第二模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块构成，将特征图依次输入到第二模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到维度为1×256×80×80特征图/>
g-4)特征融合网络C3GSHREnet的第三模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第三模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×128×160×160特征图/>g-5)特征融合网络C3GSHREnet的第四模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图/>依次输入到第四模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×256×80×80特征图/>
g-6)特征融合网络C3GSHREnet的第五模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第五模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到维度为1×512×40×40特征图/>
g-7)特征融合网络C3GSHREnet的第六模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第六模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×1024×20×20特征图/>/>
g-8)将特征图特征图/>特征图/>特征图/>输入到yoloV5网络Detect模块中，得到最终输出图像m，最终输出图像m中包含有筛选后的图像的特征信息框的预测框，预测框中农作物区域的类别为crop，杂草区域的类别为weed。
在该实施例中，优选的，步骤f-2)中第一模块的卷积层的卷积核大小为6×6；步骤f-3)中第二模块的卷积层的卷积核大小为3×3；步骤f-4)中第三模块的卷积层的卷积核大小为3×3；步骤f-5)中第四模块的卷积层的卷积核大小为3×3；步骤f-6)中空间注意力单元的第一卷积层的卷积核大小为7×7，第二卷积层的卷积核大小为7×7；步骤g-2)中第一模块的卷积层的卷积核大小为1×1；步骤g-3)中第二模块的卷积层的卷积核大小为1×1；步骤g-4)中第三模块的卷积层的卷积核大小为1×1；步骤g-5)中第四模块的卷积层的卷积核大小为1×1；步骤g-6)中第五模块的卷积层的卷积核大小为1×1；步骤g-7)中第六模块的卷积层的卷积核大小为1×1。
在本发明的一个实施例中，还包括在步骤g)执行如下步骤：
h)通过公式计算得到位置损失XCIOU，式中IOU为预测框与真实框的面积的交集和预测框与真实框的面积的并集的比值，真实框为步骤c)的特征信息框，x为预测框与真实框周长的差值，x＝(e-0.1*L2-e-0.1*L1)2，式中L2为预测框的周长，L1为真实框的周长，/>D＝w2+h2，w为预测框和真实框的最小包闭框的宽，h为预测框和真实框的最小包闭框的高，E＝(x2-x1)2+(y2-y1)2，x2为预测框的中心点的横坐标，y2为预测框的中心点的纵坐标，x1为真实框的中心点的横坐标，y1为真实框的中心点的纵坐标，/>w2为预测框的宽，h2为预测框的高，w1为真实框的宽，h1为真实框的高，/>通过公式LTotal＝2LBCE+0.5XCIOU计算得到总损失LTotal，式中LBCE为交叉熵损失函数。
i)利用Adam优化器通过总损失LTotal训练步骤f)中的特征提取网络模型GSHREnet及步骤g)特征融合网络C3GSHREnet，得到优化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet。
在本发明的一个实施例中，还包括搭建物联网系统，在植保无人机上部署esp32WIFI模块，植保无人机上通过esp32WIFI模块将摄像头采集的图像传送至物联网系统的服务器，在服务器上部署优化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet，服务器将化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet输出的最终图像m发送到无线遥控器显示。最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于物联网的植保无人机杂草深度学习检测方法，其特征在于，包括如下步骤：
a)植保无人机在农田中对农作物与杂草图像进行拍摄，采集M张图像，得到图像集PI1，为第i张图像，i∈{1,2,...,M}；
b)将图像集PI1进行筛选，去除图像集PI1中不含有农作物及杂草的图像，得到初始杂草图像数据集PI2，第i张筛选后的图像，i∈{1,2,...,m}，m为筛选后的图像的数量；
c)将初始杂草图像数据集PI2导入labelme标注软件，标注筛选后的图像的特征信息框，得到杂草图像数据集A，A＝{a1,a2,...,ak,...,am}，ak为第k个杂草图像数据，k∈{1,2,...,m}，tik为第k个筛选后的图像/>的标签信息；
d)将杂草图像数据集A划分为训练集、测试集、验证集；
e)将训练集中的第k个筛选后的图像进行预处理，得到预处理后的图像/>
f)建立特征提取网络模型GSHREnet，将预处理后的图像输入到特征提取网络模型GSHREnet中，输出得到特征图/>
g)建立特征融合网络C3GSHREnet，将特征图输入到特征融合网络C3GSHREnet中，输出得到最终图像m，最终输出图像m中包含有筛选后的图像的特征信息框的预测框。
2.根据权利要求1所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于：步骤a)中植保无人机在农田中以鸟瞰视角对农作物与杂草图像进行拍摄JPG格式的图片，完成拍摄采集，将采集到的图片使用HDMI 4G DVR设备进行实时回传，得到图像集PI1。
3.根据权利要求1所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于，步骤c)包括如下步骤：
c-1)使用labelme标注软件对第k张筛选后的图像进行标注，k∈{1,2,...,m}，第k张筛选后的图像/>的尺寸为1920×1080，在第i张筛选后的图像/>上用矩形框标注出农作物区域及用矩形框标注出杂草区域，各个矩形框为第k张筛选后的图像/>的特征信息框，农作物区域的类别为crop，杂草区域的类别为weed，将第i张筛选后的图像/>的农作物区域的类别crop、杂草区域的类别weed、标注农作物区域的矩形框左上角的坐标、标注杂草区域的矩形框左上角的坐标、标注农作物区域的矩形框的宽度值和高度值、标注杂草区域的矩形框的宽度值和高度值、第k张筛选后的图像/>的文件名写入并生成VOC格式的XML标签xik，创建一个XML文件夹，将XML标签xik保存到XML文件夹中，得到XML标签集X，X＝{xi1,xi2,...,xik,...,xim}；
c-2)将XML标签xik转换成为yolov5格式的TXT格式标签tik，创建一个labels文件夹，得到TXT标签集T，T＝{ti1,ti2,...,tik,...,tim}。
4.根据权利要求3所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于：步骤d)中按6:2:2的比例将杂草图像数据集A划分为训练集、测试集、验证集。
5.根据权利要求1所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于，步骤e)包括如下步骤：
e-1)通过公式计算得到使用光度失真调节后的图像/>Pi为第k张筛选后的图像/>的第i个像素点的像素值，i∈{1,2,...,1920×1080}，/>e为自然常数，qi为第i个像素点Pi的调节因子，/>α和β均为加权值，Pj为第i个像素点Pi周围与其距离为3以内的第j个像素点的像素值，j∈{1,2,...,n}，n为第i个像素点Pi周围与其距离为3以内的像素点个数；
e-2)将图像使用随机缩放或随机剪裁或随机翻转或随机旋转操作，得到尺寸为640×640的调节后的图像/>
e-3)使用Mosaic算法随机拼接四个图像得到预处理后的图像/>图像/>的维度为1×3×640×640。
6.根据权利要求1所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于，步骤f)包括如下步骤：
f-1)特征提取网络模型GSHREnet由第一模块、第二模块、第三模块、第四模块、第五模块、第六模块构成；
f-2)特征提取网络模型GSHREnet的第一模块由卷积层构成，将预处理后的图像输入到第一模块中，输出得到维度为1×64×320×320的特征图/>f-3)特征提取网络模型GSHREnet的第二模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块构成，第一C3模块、第二C3模块、第三C3模块均为yolov5模型中的C3模块，将特征图/>输入到第二模块中，输出得到维度为1×128×160×160的特征图/>
f-4)特征提取网络模型GSHREnet的第三模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块构成，第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块均为yolov5模型中的C3模块，将特征图输入到第三模块中，输出得到维度为1×256×80×80的特征图/>
f-5)特征提取网络模型GSHREnet的第四模块依次由卷积层、第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块、第七C3模块、第八C3模块、第九C3模块构成，第一C3模块、第二C3模块、第三C3模块、第四C3模块、第五C3模块、第六C3模块、第七C3模块、第八C3模块、第九C3模块均为yolov5模型中的C3模块，将特征图输入到第四模块中，输出得到维度为1×512×40×40的特征图/>
f-6)特征提取网络模型GSHREnet的第五模块由卷积层、第一C3模块、第二C3模块、第三C3模块、GSHRE模块构成，第一C3模块、第二C3模块、第三C3模块均为yolov5模型中的C3模块，将特征图依次输入到第五模块的卷积层、第一C3模块、第二C3模块、第三C3模块中，输出得到维度为1×512×40×40的特征图/>GSHRE模块由通道注意力单元、空间注意力单元构成，通道注意力单元依次由第一permute维度重映射层、第一全连接层、relu激活函数层、第二全连接层、第二permute维度重映射层构成，第一permute维度重映射层和第二permute维度重映射层构成均为torch库中tensor类型的permute维度重映射层，将特征图输入到通道注意力单元中，输出得到特征图/>空间注意力单元依次由第一卷积层、第一批归一化层、第一relu激活函数层、第二卷积层、第二批归一化层、第二relu激活函数层构成，将特征图/>输入到空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>
f-7)特征提取网络模型GSHREnet的第六模块由yolov5模型中的SPPF模块构成，将特征图输入到第六模块中，输出得到维度为1×1024×20×20的特征图/>
7.根据权利要求6所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于，步骤g)包括如下步骤：
g-1)特征融合网络C3GSHREnet由第一模块、第二模块、第三模块、第四模块、第五模块、第六模块构成；
g-2)特征融合网络C3GSHREnet的第一模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块构成，将特征图依次输入到第一模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第三C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×512×40×40特征图/>
g-3)特征融合网络C3GSHREnet的第二模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块构成，将特征图依次输入到第二模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第三C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到维度为1×256×80×80特征图/>
g-4)特征融合网络C3GSHREnet的第三模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第三模块的卷积层、上采样层中，输出得到特征图/>将特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×128×160×160特征图/>g-5)特征融合网络C3GSHREnet的第四模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图/>依次输入到第四模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×256×80×80特征图/>
g-6)特征融合网络C3GSHREnet的第五模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第五模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×512×40×40特征图/>
g-7)特征融合网络C3GSHREnet的第六模块由卷积层、上采样层、第一C3GSHRE模块、第二C3GSHRE模块构成，将特征图依次输入到第六模块的卷积层、上采样层中，输出得到特征图/>将特征图/>特征图/>与特征图/>通过concat函数拼接操作，输出得到特征图/>第一C3GSHRE模块、第二C3GSHRE模块、第三C3GSHRE模块均依次由C3模块、第一GSHRE模块、第二GSHRE模块、第三GSHRE模块构成，所述C3模块为yolov5模型中的C3模块，将特征图/>输入到第一C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第一C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第一C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图输入到第一C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图将特征图/>与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的C3模块中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第一GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第二GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图与特征图/>相加操作，得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的通道注意力单元中，输出得到特征图/>将特征图/>输入到第二C3GSHRE模块的第三GSHRE模块的空间注意力单元中，输出得到特征图/>将特征图/>与特征图/>相加操作，得到维度为1×1024×20×20特征图/>
g-8)将特征图特征图/>特征图/>特征图/>输入到yoloV5网络Detect模块中，得到最终输出图像m，最终输出图像m中包含有筛选后的图像的特征信息框的预测框，预测框中农作物区域的类别为crop，杂草区域的类别为weed。
8.根据权利要求8所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于：步骤f-2)中第一模块的卷积层的卷积核大小为6×6；步骤f-3)中第二模块的卷积层的卷积核大小为3×3；步骤f-4)中第三模块的卷积层的卷积核大小为3×3；步骤f-5)中第四模块的卷积层的卷积核大小为3×3；步骤f-6)中空间注意力单元的第一卷积层的卷积核大小为7×7，第二卷积层的卷积核大小为7×7；步骤g-2)中第一模块的卷积层的卷积核大小为1×1；步骤g-3)中第二模块的卷积层的卷积核大小为1×1；步骤g-4)中第三模块的卷积层的卷积核大小为1×1；步骤g-5)中第四模块的卷积层的卷积核大小为1×1；步骤g-6)中第五模块的卷积层的卷积核大小为1×1；步骤g-7)中第六模块的卷积层的卷积核大小为1×1。
9.根据权利要求1所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于，还包括在步骤g)执行如下步骤：
h)通过公式计算得到位置损失XCIOU，式中IOU为预测框与真实框的面积的交集和预测框与真实框的面积的并集的比值，真实框为步骤c)的特征信息框，x为预测框与真实框周长的差值，x＝(e-0.1*L2-e-0.1*L1)2，式中L2为预测框的周长，L1为真实框的周长，/>D＝w2+h2，w为预测框和真实框的最小包闭框的宽，h为预测框和真实框的最小包闭框的高，E＝(x2-x1)2+(y2-y1)2，x2为预测框的中心点的横坐标，y2为预测框的中心点的纵坐标，x1为真实框的中心点的横坐标，y1为真实框的中心点的纵坐标，w2为预测框的宽，h2为预测框的高，w1为真实框的宽，h1为真实框的高，/>通过公式LTotal＝2LBCE+0.5XCIOU计算得到总损失LTotal，式中LBCE为交叉熵损失函数；
i)利用Adam优化器通过总损失LTotal训练步骤f)中的特征提取网络模型GSHREnet及步骤g)特征融合网络C3GSHREnet，得到优化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet。
10.根据权利要求9所述的基于物联网的植保无人机杂草深度学习检测方法，其特征在于：还包括搭建物联网系统，在植保无人机上部署esp32WIFI模块，植保无人机上通过esp32WIFI模块将摄像头采集的图像传送至物联网系统的服务器，在服务器上部署优化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet，服务器将化后的特征提取网络模型GSHREnet和优化后的征融合网络C3GSHREnet输出的最终图像m发送到无线遥控器显示。
CN202310901025.8A 2023-07-21 2023-07-21 一种基于物联网的植保无人机杂草深度学习检测方法 Active CN116935221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310901025.8A CN116935221B (zh) 2023-07-21 2023-07-21 一种基于物联网的植保无人机杂草深度学习检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310901025.8A CN116935221B (zh) 2023-07-21 2023-07-21 一种基于物联网的植保无人机杂草深度学习检测方法

Publications (2)

Publication Number Publication Date
CN116935221A true CN116935221A (zh) 2023-10-24
CN116935221B CN116935221B (zh) 2024-02-13

Family

ID=88375080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310901025.8A Active CN116935221B (zh) 2023-07-21 2023-07-21 一种基于物联网的植保无人机杂草深度学习检测方法

Country Status (1)

Country Link
CN (1) CN116935221B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292248A (zh) * 2023-10-30 2023-12-26 吉林农业大学 基于深度学习的农田喷药系统及杂草检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN114359235A (zh) * 2022-01-07 2022-04-15 山东省计算中心（国家超级计算济南中心） 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN114973002A (zh) * 2022-06-21 2022-08-30 安徽大学 一种基于改进的YOLOv5的麦穗检测方法
CN115496752A (zh) * 2022-11-16 2022-12-20 齐鲁工业大学 一种基于一阶段目标检测算法的钢材表面缺陷检测方法
CN115546763A (zh) * 2022-10-14 2022-12-30 吉林大学 基于视觉测距的交通信号灯识别网络训练方法及测试方法
CN115620180A (zh) * 2022-10-24 2023-01-17 湖南师范大学 一种基于改进YOLOv5的航拍图像目标检测方法
CN115909280A (zh) * 2022-12-17 2023-04-04 东莞理工学院 基于多头注意力机制的交通标志识别算法
CN115909070A (zh) * 2022-11-25 2023-04-04 南通大学 一种基于改进yolov5网络的杂草检测方法
CN116310997A (zh) * 2023-04-14 2023-06-23 大连海事大学 一种基于深度学习的海上小目标检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN114359235A (zh) * 2022-01-07 2022-04-15 山东省计算中心（国家超级计算济南中心） 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN114973002A (zh) * 2022-06-21 2022-08-30 安徽大学 一种基于改进的YOLOv5的麦穗检测方法
CN115546763A (zh) * 2022-10-14 2022-12-30 吉林大学 基于视觉测距的交通信号灯识别网络训练方法及测试方法
CN115620180A (zh) * 2022-10-24 2023-01-17 湖南师范大学 一种基于改进YOLOv5的航拍图像目标检测方法
CN115496752A (zh) * 2022-11-16 2022-12-20 齐鲁工业大学 一种基于一阶段目标检测算法的钢材表面缺陷检测方法
CN115909070A (zh) * 2022-11-25 2023-04-04 南通大学 一种基于改进yolov5网络的杂草检测方法
CN115909280A (zh) * 2022-12-17 2023-04-04 东莞理工学院 基于多头注意力机制的交通标志识别算法
CN116310997A (zh) * 2023-04-14 2023-06-23 大连海事大学 一种基于深度学习的海上小目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIREN ZHU.ET AL: "Improved YOLOv5l-based Detection of Surface Defects in Hot Rolled Steel Strips", 《FRONTIERS IN COMPUTING AND INTELLIGENT SYSTEMS》, vol. 4, no. 1 *
裴少通等: "基于改进YOLOv5s的架空输电线路鸟类入侵检测方法", 《智慧电力》, vol. 51, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292248A (zh) * 2023-10-30 2023-12-26 吉林农业大学 基于深度学习的农田喷药系统及杂草检测方法
CN117292248B (zh) * 2023-10-30 2024-04-26 吉林农业大学 基于深度学习的农田喷药系统及杂草检测方法

Also Published As

Publication number Publication date
CN116935221B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
WO2023029373A1 (zh) 一种高精度的农田植被信息提取方法
CN109949316A (zh) 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN108564587A (zh) 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN116935221B (zh) 一种基于物联网的植保无人机杂草深度学习检测方法
CN109344738A (zh) 农作物病虫草害识别方法及装置
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
CN109472752A (zh) 基于航拍图像的多曝光融合系统
CN112560623A (zh) 一种基于无人机的红树植物种类快速识别方法
CN115661544A (zh) 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法
Shiu et al. Pineapples’ detection and segmentation based on faster and mask R-CNN in UAV imagery
Xiong et al. Precision detection of dense litchi fruit in UAV images based on improved YOLOv5 model
He et al. Combining object-oriented and deep learning methods to estimate photosynthetic and non-photosynthetic vegetation cover in the desert from unmanned aerial vehicle images with consideration of shadows
CN117830788A (zh) 一种多源信息融合的图像目标检测方法
Ngo et al. Automating a dehazing system by self-calibrating on haze conditions
Su Superpixel-based principal component analysis for high resolution remote sensing image classification
CN116091940B (zh) 一种基于高分辨率卫星遥感影像的作物分类和识别方法
Aslahishahri et al. Spatial super resolution of real-world aerial images for image-based plant phenotyping
CN110705698A (zh) 尺度自适应感知的目标计数深度网络设计方法
CN115830474A (zh) 一种识别野生藏药独一味及其分布并计算其产量的方法与系统
CN117765410B (zh) 遥感影像双分支特征融合固废识别方法、系统及电子设备
Feng et al. Segmentation of Wheat Lodging Areas from UAV Imagery Using an Ultra-Lightweight Network
US11823364B1 (en) Machine learning for artificial parcel data generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant