CN111968087B - 一种植物病害区域检测方法 - Google Patents

一种植物病害区域检测方法 Download PDF

Info

Publication number
CN111968087B
CN111968087B CN202010813077.6A CN202010813077A CN111968087B CN 111968087 B CN111968087 B CN 111968087B CN 202010813077 A CN202010813077 A CN 202010813077A CN 111968087 B CN111968087 B CN 111968087B
Authority
CN
China
Prior art keywords
image processing
depth
near infrared
layer
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010813077.6A
Other languages
English (en)
Other versions
CN111968087A (zh
Inventor
张建华
翟治芬
王东杰
袁雪
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Academy of Agricultural Planning and Engineering MARA
Original Assignee
Agricultural Information Institute of CAAS
Academy of Agricultural Planning and Engineering MARA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS, Academy of Agricultural Planning and Engineering MARA filed Critical Agricultural Information Institute of CAAS
Priority to CN202010813077.6A priority Critical patent/CN111968087B/zh
Publication of CN111968087A publication Critical patent/CN111968087A/zh
Application granted granted Critical
Publication of CN111968087B publication Critical patent/CN111968087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种植物病害区域检测方法，该方法包括：将预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像输入到第一病害检测网络模块、第二病害检测网络模块和第三病害检测网络模块中，获取彩色特征、深度特征和近红外特征，然后输入到植物病害特征融合模型中，获取融合后的病害特征；提取融合后的多层特征图，并用预选框进行分类与定位，获得置信度最高的预选框作为最终的检测结果。本发明实施例提供一种植物病害区域检测方法，可实现植物病斑区域的准确定位和快速检测，对植物病害的防治具有重要意义。

Description

一种植物病害区域检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种植物病害区域检测方法。
背景技术
及时准确的病害防治是确保植物生产安全、提高植物产量和质量的根本保证，而防治的关键是能够及时准确地检测植物病害。植物病害的种类繁多且存在变化，同一种病害不同的时期、不同的环境下表现出来的症状可能不同，而且植物叶片上的病害区域具有面积小、不规则、分布不均等特点，同时病斑还存在部分遮挡或者重叠情况。叶片的倾斜角不同，在采集图像中像素点的数量、形状和灰度值均各有差异，尤其是存在阴影的病害叶片，这个问题更加突出。
因此，如何快速准确地检测植物病害区域成为了植物病害防治的一个难题，对此，亟需一种植物病害区域检测方法。
发明内容
本发明实施例提供一种植物病害区域检测方法，用以解决现有技术中植物病害叶片检测鲁棒性低的缺陷，实现植物叶片病害区域的快速定位和检测。
本发明实施例提供一种植物病害区域检测方法，包括：
获取植物病害叶片预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像；
将预处理后的彩色图像输入到第一病害检测网络模块中，获取彩色特征，将预处理后的深度图像输入到第二病害检测网络模块中，获取深度特征，将预处理后的近红外图像输入到第三病害检测网络模块中，获取近红外特征，其中，所述第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到，所述第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到，所述第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到；
将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征；
对融合后的病害特征进行卷积和池化操作，获取输出特征；
将所述输出特征输入多特征层提取模型中，获取多层特征图，所述多特征层提取模型以输出特征为样本、以多层特征图为标签进行训练得到；
对所述多层特征图中的每一特征点生成若干个预选框，对于任一特征点，将所述任一特征点的任一预选框与所述多层特征图进行卷积运算，获取第一卷积特征和第二卷积特征；
对所述第一卷积特征进行分类处理，判断所述任一预选框中是否有病害以及病害类型，并对所述第二卷积特征进行边框回归处理，获取病害位置；
计算所述多层特征图中每一预选框的置信度，将置信度低于预设阈值的预选框进行合并，重复该过程，直至所有预选框的置信度大于所述预设阈值，将置信度最高的预选框作为最终的病害检测区域。
根据本发明一个实施例的植物病害区域检测方法，所述第一病害检测网络模块按照由上至下的连接顺序依次包括：第一彩色图像处理层、第二彩色图像处理层、第三彩色图像处理层、第一彩色图像特征图提取层、第四彩色图像处理层、第五彩色图像处理层和第二彩色图像特征图提取层，所述第一彩色图像特征图提取层的输入还包括所述第一彩色图像处理层的输出结果，所述第二彩色图像特征图提取层的输入还包括所述第一彩色图像处理层的输出结果；
其中，所述第一彩色图像处理层由若干个第一彩色图像处理模块串联组成，所述第一彩色图像处理模块按照从上至下的连接顺序依次包括3个扩张卷积核、3个池化函数、3个深度可分离卷积核、3个压缩卷积核和3个relu6激活函数；
所述第二彩色图像处理层和所述第三彩色图像处理层结构相同，由若干个第二彩色图像处理模块串联组成，所述第二彩色图像处理模块按照从上至下的连接顺序依次包括4个扩张卷积核、4个归一化函数、4个池化函数、4个深度可分离卷积核、4个注意力机制函数、4个归一化函数和4个relu6激活函数；
所述第四彩色图像处理层、所述第五彩色图像处理层的结构相同，由若干个第三彩色图像处理模块串联组成，所述第三彩色图像处理模块包括2个扩张卷积核、2个归一化函数、2个池化函数、2个深度可分离卷积核、2个注意力机制函数、2个归一化函数和2个relu6激活函数；
所述第一彩色图像特征图提取层和所述第二彩色图像特征图提取层结构相同，包括3个卷积核。
根据本发明一个实施例的植物病害区域检测方法，所述第二病害检测网络模块按照从上至下的连接顺序依次包括第一深度图像处理层、第二深度图像处理层、第三深度图像处理层、第四深度图像处理层、第五深度图像处理层和深度图像特征图提取层；
其中，所述深度图像特征图提取层与所述第一彩色图像处理层结构相同；
所述第一深度图像处理层由若干个第一深度图像处理模块串联组成，所述第一深度图像处理模块按照从上至下的连接顺序依次包括：1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个池化函数和1个relu6激活函数；
所述第二深度图像处理层、所述第三深度图像处理层、所述第四深度图像处理层和所述第五深度图像处理层的结构相同，由若干个第二深度图像处理模块串联组成，所述第二深度图像处理模块按照从上至下的连接顺序依次包括1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个注意力机制函数、1个归一化函数和1个relu6激活函数。
根据本发明一个实施例的植物病害区域检测方法，所述第三病害检测网络模块按照从上至下的连接顺序依次包括第一近红外图像处理层、第二近红外图像处理层、第三近红外图像处理层、第四近红外图像处理层、第五近红外图像处理层和近红外图像特征提取层；
其中，所述近红外图像特征图提取层与所述第一彩色特征图提取层结构相同；
所述第一近红外图像处理层由若干个第一近红外图像处理模块串联组成，所述第一近红外图像处理模块包括1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个池化函数和1个relu6激活函数；
所述第二近红外图像处理层、所述第三近红外图像处理层、所述第四近红外图像处理层和所述第五近红外图像处理层的结构相同，由若干个第二近红外图像处理模块串联组成；
所述第二近红外图像处理模块按照从上至下的连接顺序依次包括1个扩张卷积核、1个池化函数、2个深度可分离卷积核、1个注意力机制函数、1个归一化函数、1个损失函数和1个relu6激活函数。
根据本发明一个实施例的植物病害区域检测方法，所述深度可分离卷积核按照从上至下的连接顺序依次包括1个深度卷积和1个逐点卷积，所述深度卷积使用3×3×1的核函数，所述逐点卷积使用1×1的核函数；
所述relu6激活函数的计算公式为：
relu6＝min(6,max(0,x))，
其中，x表示特征；
所述归一化函数的计算公式为：
其中，m表示特征数，xi表示第i个特征，ω表示系数，γ表示系数，yi表示归一化结果；
所述注意力机制函数的计算公式为：
Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))，
其中，H为图像宽，W为图像长，C为通道。
根据本发明一个实施例的植物病害区域检测方法，所述将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征，具体包括：
通过预设映射算法，分别对所述彩色特征、所述深度特征和所述近红外特征进行映射操作，获取彩色映射特征、深度映射特征和近红外映射特征；
基于预设融合算法，根据所述彩色映射特征和所述深度映射特征，获取第一融合图；
基于所述预设融合算法，根据所述第一融合图和所述近红外特征，获取第二融合图；
对所述第二融合图进行低秩近似计算后，再进行池化处理，获取融合后的病害特征。
根据本发明一个实施例的植物病害区域检测方法，所述预设映射算法为：
Q＝[0,0,...,0]n，
Q[h[i]]＝Q[h[i]]+s[i]·v[i]，
ψ(vk,h,s)＝Q，
v'k＝ψ(vk,h,s)，
hk∈{1,2,...,10}，
sk∈{-1,1}，
i∈{1,2,...,n}，
其中，v'k为映射后的第k个病害特征图，vk为输入的第k个病害特征图，n为vk元素个数。
根据本发明一个实施例的植物病害区域检测方法，所述预设融合算法为：
F1＝FFT(v'1)，
F2＝FFT(v'2)，
其中，FFT表示傅里叶变换，FFT-1表示反傅里叶变换，v'1为其中一个输入数据，v'2为另一个输入数据，b为常数，为融合后的特征。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述植物病害区域检测方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述植物病害区域检测方法的步骤。
本发明实施例提供的一种植物病害区域检测方法，该方法在获取自然条件植物病害叶片的彩色图像、深度图像、近红外图像的基础上，分别输入已经预训练的第一病害检测网络模块、第二病害检测网络模块、第三病害检测网络模块进行病害特征提取，进行植物病害特征融合，提取融合后的多层特征图，并用预选框进行分类与定位，获得置信度最高的预选框作为最终的检测结果。本发明可实现植物病斑区域的准确定位和快速检测，对植物病害的防治具有重要意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种植物病害区域检测方法的流程图；
图2为本发明实施例中第一病害检测网络模块的结构示意图；
图3为本发明实施例中第二病害检测网络模块的结构示意图；
图4为本发明实施例中第三病害检测网络模块的结构示意图；
图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种植物病害区域检测方法的流程图，如图1所示，该方法包括：
首先获取自然条件下植物病害叶片的彩色图像、深度图像和近红外图像，然后分别对彩色图像、深度图像和近红外图像进行预处理，预处理的步骤包括高斯滤波和归一化处理，得到预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像。
S1，获取植物病害叶片预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像；
通过预处理步骤，可以去除初始拍摄图像中的噪声，从而提高后续病害检测的精度。
S2，将预处理后的彩色图像输入到第一病害检测网络模块中，获取彩色特征，将预处理后的深度图像输入到第二病害检测网络模块中，获取深度特征，将预处理后的近红外图像输入到第三病害检测网络模块中，获取近红外特征，其中，所述第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到，所述第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到，所述第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到；
将预处理后的彩色图像输入到第一病害检测网络模块中，提取出彩色特征，第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到的。
将预处理后的深度图像输入到第二病害检测网络模块中，提取出深度特征，第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到的。
将预处理后的近红外图像输入到第三病害检测网络模块中，提取出近红外特征，第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到的。
本发明实施例中结合植物病害叶片的彩色图像、深度图像和近红外图像三个方面的特性，进行叶片病害区域识别和检测，三种模态相互结合，提高了本识别算法的准确度和鲁棒性。
S3，将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征；
接着将彩色特征、深度特征和近红外特征输入到植物病害特征融合模型中，植物病害特征融合模型对三个输入的特征进行自适应加权计算，就可以得到融合后的病害特征。
S4，对融合后的病害特征进行卷积和池化操作，获取输出特征；
然后使用卷积核对融合后的病害特征进行1次卷积和池化操作，得到输出特征。
S5，将所述输出特征输入多特征层提取模型中，获取多层特征图，所述多特征层提取模型以输出特征为样本、以多层特征图为标签进行训练得到；
将输出特征输入到多特征层提取模型中，得到多层特征图，该多特征层提取模型是以输出特征为样本、以多层特征图为标签进行训练得到。
S6，对所述多层特征图中的每一特征点生成若干个预选框，对于任一特征点，将所述任一特征点的任一预选框与所述多层特征图进行卷积运算，获取第一卷积特征和第二卷积特征；
该多层特征图中包括很多个特征点，对于每个特征点，以该特征点和该特征周围的8个相邻特征点分别为中点，生成9个预选框，这9个预选框均称为该特征点对应的预选框，预选框表示的含义是预选框内所包含的区域为同一片病害区域。
接着选取该多层特征图中的一个特征点，以该特征点的任意一个预选框为例进行说明，将该预选框与多层特征图进行卷积运算，得到第一卷积特征和第二卷积特征。
S7，对所述第一卷积特征进行分类处理，判断所述任一预选框中是否有病害以及病害类型，并对所述第二卷积特征进行边框回归处理，获取病害位置；
对第一卷积特征进行softmax分类处理，判定该预选框中是否包含目标，如果包含，给出病害种类；对第二卷积特征进行边框回归处理，得到病害位置，如果该预选框中不包含病害，则此处病害位置为0。
对每个特征点的每个预选框都进行上述操作，可以判断出每个预选框中是否包含病害，如果包含，病害位置也是知道的。
S8，计算所述多层特征图中每一预选框的置信度，将置信度低于预设阈值的预选框进行合并，重复该过程，直至所有预选框的置信度大于所述预设阈值，将置信度最高的预选框作为最终的病害检测区域。
接着计算该多层特征图中每个预选框的置信度，将置信度低于预设阈值的预选框进行合并，因此，将所有置信度低于预设阈值的预选框进行合并，然后重新计算每个预选框的置信度，重复此步骤，直到每个预选框的置信度都高于预设阈值。
最后将置信度最高的预选框作为最终的病害检测区域，该过程的意义在于将同一种类病害的预选框进行合并，最后得到的病害的检测区域。
本发明实施例提供的一种植物病害区域检测方法，该方法在获取自然条件植物病害叶片的彩色图像、深度图像、近红外图像的基础上，分别输入已经预训练的第一病害检测网络模块、第二病害检测网络模块、第三病害检测网络模块进行病害特征提取，进行植物病害特征融合，提取融合后的多层特征图，并用预选框进行分类与定位，获得置信度最高的预选框作为最终的检测结果。本发明可实现植物病斑区域的准确定位和快速检测，对植物病害的防治具有重要意义。
在上述实施例的基础上，优选地，所述第一病害检测网络模块按照由上至下的连接顺序依次包括：第一彩色图像处理层、第二彩色图像处理层、第三彩色图像处理层、第一彩色图像特征图提取层、第四彩色图像处理层、第五彩色图像处理层和第二彩色图像特征图提取层，所述第一彩色图像特征图提取层的输入还包括所述第一彩色图像处理层的输出结果，所述第二彩色图像特征图提取层的输入还包括所述第一彩色图像处理层的输出结果；
其中，所述第一彩色图像处理层由若干个第一彩色图像处理模块串联组成，所述第一彩色图像处理模块按照从上至下的连接顺序依次包括3个扩张卷积核、3个池化函数、3个深度可分离卷积核、3个压缩卷积核和3个relu6激活函数；
所述第二彩色图像处理层和所述第三彩色图像处理层结构相同，由若干个第二彩色图像处理模块串联组成，所述第二彩色图像处理模块按照从上至下的连接顺序依次包括4个扩张卷积核、4个归一化函数、4个池化函数、4个深度可分离卷积核、4个注意力机制函数、4个归一化函数和4个relu6激活函数；
所述第四彩色图像处理层、所述第五彩色图像处理层的结构相同，由若干个第三彩色图像处理模块串联组成，所述第三彩色图像处理模块包括2个扩张卷积核、2个归一化函数、2个池化函数、2个深度可分离卷积核、2个注意力机制函数、2个归一化函数和2个relu6激活函数；
所述第一彩色图像特征图提取层和所述第二彩色图像特征图提取层结构相同，包括3个卷积核。
具体地，图2为本发明实施例中第一病害检测网络模块的结构示意图，如图2所示，第一彩色图像处理层由多个第一彩色图像处理模块串联组成，第一彩色图像处理模块包括了：对应彩色图像RGB三个通道的3个1×1扩张卷积核、3个池化函数、3个3×3深度可分离卷积核、3个池化函数、3个1×1压缩卷积核和3个relu6激活函数。
第二彩色图像处理层和第三彩色图像处理层结构相同，由多个第二彩色图像处理模块串联组成；第二彩色图像处理模块包括了4个1×1扩张卷积核、4个归一化函数、4个池化函数、4个3×3深度可分离卷积核、4个注意力机制函数、4个归一化函数和4个relu6激活函数。
第四彩色图像处理层和第五彩色图像处理层的结构相同，由多个第三彩色图像处理块组成；第三彩色图像处理模块包括了2个1×1扩张卷积核、2个归一化函数、2个池化函数、2个3×3深度可分离卷积核、2个注意力机制函数、2个归一化函数和2个relu6激活函数。
第一彩色图像特征图提取层和第二彩色图像特征图提取层结构相同，包括：3个具有局部连接和权值共享的3×3卷积核，用于提取多尺度的卷积特征图，用于提取多尺度的卷积特征图。
在上述实施例的基础上，优选地，所述第二病害检测网络模块按照从上至下的连接顺序依次包括第一深度图像处理层、第二深度图像处理层、第三深度图像处理层、第四深度图像处理层、第五深度图像处理层和深度图像特征图提取层；
其中，所述深度图像特征图提取层与所述第一彩色图像处理层结构相同；
所述第一深度图像处理层由若干个第一深度图像处理模块串联组成，所述第一深度图像处理模块按照从上至下的连接顺序依次包括：1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个池化函数和1个relu6激活函数；
所述第二深度图像处理层、所述第三深度图像处理层、所述第四深度图像处理层和所述第五深度图像处理层的结构相同，由若干个第二深度图像处理模块串联组成，所述第二深度图像处理模块按照从上至下的连接顺序依次包括1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个注意力机制函数、1个归一化函数和1个relu6激活函数。
图3为本发明实施例中第二病害检测网络模块的结构示意图，如图3所示，深度图像特征图提取层与第一彩色图像处理层结构相同，具体可以参考上述第一彩色图像处理层的结构。
第一深度图像处理层由多个第一深度图像处理模块串联组成，第一深度图像处理块包括：对应深度图像1个通道的1个1×1扩张卷积核、1个池化函数、1个3×3深度可分离卷积核、1个池化函数和1个relu6激活函数。
第二深度图像处理层、第三深度图像处理层、第四深度图像处理层和第五深度图像处理层的结构相同，由多个第二深度图像处理模块串联组成。
第二深度图像处理模块包括了1个1×1扩张卷积核、1个池化函数、1个3×3深度可分离卷积核、1个3×3深度可分离卷积核、1个注意力机制函数、1个归一化函数和1个relu6激活函数。
在上述实施例的基础上，优选地，所述第三病害检测网络模块按照从上至下的连接顺序依次包括第一近红外图像处理层、第二近红外图像处理层、第三近红外图像处理层、第四近红外图像处理层、第五近红外图像处理层和近红外图像特征提取层；
其中，所述近红外图像特征图提取层与所述第一彩色特征图提取层结构相同；
所述第一近红外图像处理层由若干个第一近红外图像处理模块串联组成，所述第一近红外图像处理模块包括1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个池化函数和1个relu6激活函数；
所述第二近红外图像处理层、所述第三近红外图像处理层、所述第四近红外图像处理层和所述第五近红外图像处理层的结构相同，由若干个第二近红外图像处理模块串联组成；
所述第二近红外图像处理模块按照从上至下的连接顺序依次包括1个扩张卷积核、1个池化函数、2个深度可分离卷积核、1个注意力机制函数、1个归一化函数、1个损失函数和1个relu6激活函数。
图4为本发明实施例中第三病害检测网络模块的结构示意图，如图4所示，近红外图像特征图提取层与上述第一彩色图像特征图提取层的结构相同。
第一近红外图像处理层由多个第一近红外图像处理模块串联组成，第一近红外图像处理模块包括：对应近红外图像1个通道的1个1×1扩张卷积核、1个池化函数、1个3×3深度可分离卷积核、1个池化函数和1个relu6激活函数。
第二近红外图像处理层、第三近红外图像处理层、第四近红外图像处理层和第五近红外图像处理层的结构相同，由第二近红外图像处理模块串联组成。
第二近红外图像处理模块包括了1个1×1扩张卷积核、1个池化函数、1个3×3深度可分离卷积核、1个3×3深度可分离卷积核、1个注意力机制函数、1个归一化函数、1个损失函数和1个relu6激活函数。
在上述实施例的基础上，优选地，所述深度可分离卷积核按照从上至下的连接顺序依次包括1个深度卷积和1个逐点卷积，所述深度卷积使用3×3×1的核函数，所述逐点卷积使用1×1的核函数；
所述relu6激活函数的计算公式为：
relu6＝min(6,max(0,x))，
其中，x表示特征；
所述归一化函数的计算公式为：
其中，m表示特征数，xi表示第i个特征，ω表示系数，γ表示系数，yi表示归一化结果；
所述注意力机制函数的计算公式为：
Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))，
其中，H为图像宽，W为图像长，C为通道。
具体地，上面解释了深度卷积、relu6激活函数、归一化函数、注意力机制函数的具体计算方法。
在上述实施例的基础上，优选地，所述将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征，具体包括：
通过预设映射算法，分别对所述彩色特征、所述深度特征和所述近红外特征进行映射操作，获取彩色映射特征、深度映射特征和近红外映射特征；
具体地，通过预设映射算法，将彩色特征映射为彩色映射特征，将深度特征映射为深度映射特征，将近红外特征映射为近红外映射特征。
基于预设融合算法，根据所述彩色映射特征和所述深度映射特征，获取第一融合图；
然后利用预设融合算法，对彩色映射特征和深度映射特征进行融合，得到第一融合图。
基于所述预设融合算法，根据所述第一融合图和所述近红外特征，获取第二融合图；
再利用预设融合算法，对第一融合图和近红外特征，得到第二融合图。
对所述第二融合图进行低秩近似计算后，再进行池化处理，获取融合后的病害特征。
对第二融合图进行低秩近似计算后，再进行池化处理，得到融合后的病害特征。
在上述实施例的基础上，优选地，所述预设映射算法为：
Q＝[0,0,...,0]n，
Q[h[i]]＝Q[h[i]]+s[i]·v[i]，
ψ(vk,h,s)＝Q，
v'k＝ψ(vk,h,s)，
hk∈{1,2,...,10}，
sk∈{-1,1}，
i∈{1,2,...,n}，
其中，v'k为映射后的第k个病害特征图，vk为输入的第k个病害特征图，n为vk元素个数。
上述为映射操作的具体实现过程。
在上述实施例的基础上，优选地，所述预设融合算法为：
F1＝FFT(v'1)，
F2＝FFT(v'2)，
其中，FFT表示傅里叶变换，FFT-1表示反傅里叶变换，v'1为其中一个输入数据，v'2为另一个输入数据，b为常数，为融合后的特征。
上述为预设融合算法的具体实现过程。
图5为本发明实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行植物病害区域检测方法，该方法包括：
获取植物病害叶片预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像；
将预处理后的彩色图像输入到第一病害检测网络模块中，获取彩色特征，将预处理后的深度图像输入到第二病害检测网络模块中，获取深度特征，将预处理后的近红外图像输入到第三病害检测网络模块中，获取近红外特征，其中，所述第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到，所述第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到，所述第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到；
将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征；
对融合后的病害特征进行卷积和池化操作，获取输出特征；
将所述输出特征输入多特征层提取模型中，获取多层特征图，所述多特征层提取模型以输出特征为样本、以多层特征图为标签进行训练得到；
对所述多层特征图中的每一特征点生成若干个预选框，对于任一特征点，将所述任一特征点的任一预选框与所述多层特征图进行卷积运算，获取第一卷积特征和第二卷积特征；
对所述第一卷积特征进行分类处理，判断所述任一预选框中是否有病害以及病害类型，并对所述第二卷积特征进行边框回归处理，获取病害位置；
计算所述多层特征图中每一预选框的置信度，将置信度低于预设阈值的预选框进行合并，重复该过程，直至所有预选框的置信度大于所述预设阈值，将置信度最高的预选框作为最终的病害检测区域。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的一种植物病害区域检测方法，该方法包括：
获取植物病害叶片预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像；
将预处理后的彩色图像输入到第一病害检测网络模块中，获取彩色特征，将预处理后的深度图像输入到第二病害检测网络模块中，获取深度特征，将预处理后的近红外图像输入到第三病害检测网络模块中，获取近红外特征，其中，所述第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到，所述第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到，所述第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到；
将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征；
对融合后的病害特征进行卷积和池化操作，获取输出特征；
将所述输出特征输入多特征层提取模型中，获取多层特征图，所述多特征层提取模型以输出特征为样本、以多层特征图为标签进行训练得到；
对所述多层特征图中的每一特征点生成若干个预选框，对于任一特征点，将所述任一特征点的任一预选框与所述多层特征图进行卷积运算，获取第一卷积特征和第二卷积特征；
对所述第一卷积特征进行分类处理，判断所述任一预选框中是否有病害以及病害类型，并对所述第二卷积特征进行边框回归处理，获取病害位置；
计算所述多层特征图中每一预选框的置信度，将置信度低于预设阈值的预选框进行合并，重复该过程，直至所有预选框的置信度大于所述预设阈值，将置信度最高的预选框作为最终的病害检测区域。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的一种植物病害区域检测方法，该方法包括：
获取植物病害叶片预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像；
将预处理后的彩色图像输入到第一病害检测网络模块中，获取彩色特征，将预处理后的深度图像输入到第二病害检测网络模块中，获取深度特征，将预处理后的近红外图像输入到第三病害检测网络模块中，获取近红外特征，其中，所述第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到，所述第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到，所述第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到；
将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征；
对融合后的病害特征进行卷积和池化操作，获取输出特征；
将所述输出特征输入多特征层提取模型中，获取多层特征图，所述多特征层提取模型以输出特征为样本、以多层特征图为标签进行训练得到；
对所述多层特征图中的每一特征点生成若干个预选框，对于任一特征点，将所述任一特征点的任一预选框与所述多层特征图进行卷积运算，获取第一卷积特征和第二卷积特征；
对所述第一卷积特征进行分类处理，判断所述任一预选框中是否有病害以及病害类型，并对所述第二卷积特征进行边框回归处理，获取病害位置；
计算所述多层特征图中每一预选框的置信度，将置信度低于预设阈值的预选框进行合并，重复该过程，直至所有预选框的置信度大于所述预设阈值，将置信度最高的预选框作为最终的病害检测区域。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种植物病害区域检测方法，其特征在于，包括：
获取植物病害叶片预处理后的彩色图像、预处理后的深度图像和预处理后的近红外图像；
将预处理后的彩色图像输入到第一病害检测网络模块中，获取彩色特征，将预处理后的深度图像输入到第二病害检测网络模块中，获取深度特征，将预处理后的近红外图像输入到第三病害检测网络模块中，获取近红外特征，其中，所述第一病害检测网络模块是以彩色图像为样本、彩色特征为标签进行训练得到，所述第二病害检测网络模块是以深度图像为样本、深度特征为标签进行训练得到，所述第三病害检测网络模块是以近红外图像为样本、近红外特征为标签进行训练得到；
将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征；
对融合后的病害特征进行卷积和池化操作，获取输出特征；
将所述输出特征输入多特征层提取模型中，获取多层特征图，所述多特征层提取模型以输出特征为样本、以多层特征图为标签进行训练得到；
对所述多层特征图中的每一特征点生成若干个预选框，对于任一特征点，将所述任一特征点的任一预选框与所述多层特征图进行卷积运算，获取第一卷积特征和第二卷积特征；
对所述第一卷积特征进行分类处理，判断所述任一预选框中是否有病害以及病害类型，并对所述第二卷积特征进行边框回归处理，获取病害位置；
计算所述多层特征图中每一预选框的置信度，将置信度低于预设阈值的预选框进行合并，重复该过程，直至所有预选框的置信度大于所述预设阈值，将置信度最高的预选框作为最终的病害检测区域。
2.根据权利要求1所述的植物病害区域检测方法，其特征在于，所述第一病害检测网络模块按照由上至下的连接顺序依次包括：第一彩色图像处理层、第二彩色图像处理层、第三彩色图像处理层、第一彩色图像特征图提取层、第四彩色图像处理层、第五彩色图像处理层和第二彩色图像特征图提取层，所述第一彩色图像特征图提取层的输入还包括所述第一彩色图像处理层的输出结果，所述第二彩色图像特征图提取层的输入还包括所述第一彩色图像处理层的输出结果；
其中，所述第一彩色图像处理层由若干个第一彩色图像处理模块串联组成，所述第一彩色图像处理模块按照从上至下的连接顺序依次包括3个扩张卷积核、3个池化函数、3个深度可分离卷积核、3个压缩卷积核和3个relu6激活函数；
所述第二彩色图像处理层和所述第三彩色图像处理层结构相同，由若干个第二彩色图像处理模块串联组成，所述第二彩色图像处理模块按照从上至下的连接顺序依次包括4个扩张卷积核、4个归一化函数、4个池化函数、4个深度可分离卷积核、4个注意力机制函数、4个归一化函数和4个relu6激活函数；
所述第四彩色图像处理层、所述第五彩色图像处理层的结构相同，由若干个第三彩色图像处理模块串联组成，所述第三彩色图像处理模块包括2个扩张卷积核、2个归一化函数、2个池化函数、2个深度可分离卷积核、2个注意力机制函数、2个归一化函数和2个relu6激活函数；
所述第一彩色图像特征图提取层和所述第二彩色图像特征图提取层结构相同，包括3个卷积核。
3.根据权利要求2所述的植物病害区域检测方法，其特征在于，所述第二病害检测网络模块按照从上至下的连接顺序依次包括第一深度图像处理层、第二深度图像处理层、第三深度图像处理层、第四深度图像处理层、第五深度图像处理层和深度图像特征图提取层；
其中，所述深度图像特征图提取层与所述第一彩色图像处理层结构相同；
所述第一深度图像处理层由若干个第一深度图像处理模块串联组成，所述第一深度图像处理模块按照从上至下的连接顺序依次包括：1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个池化函数和1个relu6激活函数；
所述第二深度图像处理层、所述第三深度图像处理层、所述第四深度图像处理层和所述第五深度图像处理层的结构相同，由若干个第二深度图像处理模块串联组成，所述第二深度图像处理模块按照从上至下的连接顺序依次包括1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个注意力机制函数、1个归一化函数和1个relu6激活函数。
4.根据权利要求2所述的植物病害区域检测方法，其特征在于，所述第三病害检测网络模块按照从上至下的连接顺序依次包括第一近红外图像处理层、第二近红外图像处理层、第三近红外图像处理层、第四近红外图像处理层、第五近红外图像处理层和近红外图像特征提取层；
其中，所述近红外图像特征图提取层与所述第一彩色图像特征图提取层结构相同；
所述第一近红外图像处理层由若干个第一近红外图像处理模块串联组成，所述第一近红外图像处理模块包括1个扩张卷积核、1个池化函数、1个深度可分离卷积核、1个池化函数和1个relu6激活函数；
所述第二近红外图像处理层、所述第三近红外图像处理层、所述第四近红外图像处理层和所述第五近红外图像处理层的结构相同，由若干个第二近红外图像处理模块串联组成；
所述第二近红外图像处理模块按照从上至下的连接顺序依次包括1个扩张卷积核、1个池化函数、2个深度可分离卷积核、1个注意力机制函数、1个归一化函数和1个relu6激活函数。
5.根据权利要求3或4所述的植物病害区域检测方法，其特征在于，所述深度可分离卷积核按照从上至下的连接顺序依次包括1个深度卷积和1个逐点卷积，所述深度卷积使用3×3×1的核函数，所述逐点卷积使用1×1的核函数；
所述relu6激活函数的计算公式为：
relu6＝min(6,max(0,x))，
其中，x表示特征；
所述归一化函数的计算公式为：
其中，m表示特征数，xi表示第i个特征，ω表示系数，γ表示系数，yi表示归一化结果；
所述注意力机制函数的计算公式为：
Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))，
其中，H为图像宽，W为图像长，C为通道。
6.根据权利要求1所述的植物病害区域检测方法，其特征在于，所述将所述彩色特征、所述深度特征和所述近红外特征输入到植物病害特征融合模型中，获取融合后的病害特征，具体包括：
通过预设映射算法，分别对所述彩色特征、所述深度特征和所述近红外特征进行映射操作，获取彩色映射特征、深度映射特征和近红外映射特征；
基于预设融合算法，根据所述彩色映射特征和所述深度映射特征，获取第一融合图；
基于所述预设融合算法，根据所述第一融合图和所述近红外特征，获取第二融合图；
对所述第二融合图进行低秩近似计算后，再进行池化处理，获取融合后的病害特征。
7.根据权利要求6所述的植物病害区域检测方法，其特征在于，所述预设融合算法为：
F1＝FFT(v′1)，
F2＝FFT(v'2)，
其中，FFT表示傅里叶变换，FFT-1表示反傅里叶变换，v′1为其中一个输入数据，v'2为另一个输入数据，b为常数，为融合后的特征。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述植物病害区域检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述植物病害区域检测方法的步骤。
CN202010813077.6A 2020-08-13 2020-08-13 一种植物病害区域检测方法 Active CN111968087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010813077.6A CN111968087B (zh) 2020-08-13 2020-08-13 一种植物病害区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010813077.6A CN111968087B (zh) 2020-08-13 2020-08-13 一种植物病害区域检测方法

Publications (2)

Publication Number Publication Date
CN111968087A CN111968087A (zh) 2020-11-20
CN111968087B true CN111968087B (zh) 2023-11-07

Family

ID=73365921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010813077.6A Active CN111968087B (zh) 2020-08-13 2020-08-13 一种植物病害区域检测方法

Country Status (1)

Country Link
CN (1) CN111968087B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947144B (zh) * 2021-10-15 2022-05-17 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN117351356B (zh) * 2023-10-20 2024-05-24 三亚中国农业科学院国家南繁研究院 一种无人机视角下田间作物及其近缘种病害检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法
CN107871101A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN109191455A (zh) * 2018-09-18 2019-01-11 西京学院 一种基于ssd卷积网络的大田作物病虫害检测方法
CN109583569A (zh) * 2018-11-30 2019-04-05 中控智慧科技股份有限公司 一种基于卷积神经网络的多模态特征融合方法及装置
CN109871789A (zh) * 2019-01-30 2019-06-11 电子科技大学 一种基于轻量化神经网络的复杂环境下车辆检测方法
CN110111351A (zh) * 2019-05-10 2019-08-09 电子科技大学 融合rgbd多模态信息的行人轮廓跟踪方法
CN110796018A (zh) * 2019-09-30 2020-02-14 武汉科技大学 一种基于深度图像和彩色图像的手部运动识别方法
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质
CN111144207A (zh) * 2019-11-21 2020-05-12 东南大学 一种基于多模态信息感知的人体检测和跟踪方法
CN111489354A (zh) * 2020-05-18 2020-08-04 国网浙江省电力有限公司检修分公司 电力塔架上鸟巢的检测方法、装置、服务器及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
KR102615196B1 (ko) * 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
WO2020213750A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871101A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法
CN109191455A (zh) * 2018-09-18 2019-01-11 西京学院 一种基于ssd卷积网络的大田作物病虫害检测方法
CN109583569A (zh) * 2018-11-30 2019-04-05 中控智慧科技股份有限公司 一种基于卷积神经网络的多模态特征融合方法及装置
CN109871789A (zh) * 2019-01-30 2019-06-11 电子科技大学 一种基于轻量化神经网络的复杂环境下车辆检测方法
CN110111351A (zh) * 2019-05-10 2019-08-09 电子科技大学 融合rgbd多模态信息的行人轮廓跟踪方法
CN110796018A (zh) * 2019-09-30 2020-02-14 武汉科技大学 一种基于深度图像和彩色图像的手部运动识别方法
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111144207A (zh) * 2019-11-21 2020-05-12 东南大学 一种基于多模态信息感知的人体检测和跟踪方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质
CN111489354A (zh) * 2020-05-18 2020-08-04 国网浙江省电力有限公司检修分公司 电力塔架上鸟巢的检测方法、装置、服务器及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A New Deep Learning Based Multi-Spectral Image Fusion Method;Jingchun Piao等;《Entropy》;第21卷(第6期);1-16 *
Illumination-aware faster R-CNN for robust multispectral pedestrian detection;Chengyang Li 等;《Pattern Recognition》;第85卷;161-171 *
Improved kiwifruit detection using pre-trained VGG16 with RGB and NIR information fusion;ZHIHAO LIU等;《IEEE Access》;第8卷;2327-2336 *
传统机器学习到深度学习行人检测若干研究;何琪;《中国优秀硕士学位论文全文数据库：信息科技辑》(第2019年第07期);I138-1148 *
基于深度学习的静态图像目标检测研究;严海;《中国优秀硕士学位论文全文数据库：信息科技辑》(第2020年第01期);I138-1575 *
基于级联神经网络的人脸检测;李帅杰等;《现代计算机》(第2018年29期);23-28 *
复杂场景下的SAR图像船舶目标检测;周慧等;《大连海事大学学报》;第46卷(第3期);87-94 *

Also Published As

Publication number Publication date
CN111968087A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN110599451B (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN107480649B (zh) 一种基于全卷积神经网络的指纹汗孔提取方法
CN108345818B (zh) 一种人脸活体检测方法及装置
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN111028923B (zh) 数字病理图像染色归一化方法、电子装置及存储介质
CN111968087B (zh) 一种植物病害区域检测方法
CN111666990A (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN111178130A (zh) 一种基于深度学习的人脸识别方法、系统和可读存储介质
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN115424093A (zh) 一种识别眼底图像中细胞的方法及装置
CN114255468A (zh) 一种笔迹识别方法及其相关设备
CN112966685A (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN115272213A (zh) 医学图像质量评价方法及装置
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN112200789B (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN112801013B (zh) 一种基于关键点识别校验的人脸识别方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant