CN114926445A - 一种基于孪生网络的小样本农作物病害图像识别方法及系统 - Google Patents
一种基于孪生网络的小样本农作物病害图像识别方法及系统 Download PDFInfo
- Publication number
- CN114926445A CN114926445A CN202210605942.7A CN202210605942A CN114926445A CN 114926445 A CN114926445 A CN 114926445A CN 202210605942 A CN202210605942 A CN 202210605942A CN 114926445 A CN114926445 A CN 114926445A
- Authority
- CN
- China
- Prior art keywords
- sample
- disease
- phi
- twin network
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 103
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000000523 sample Substances 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 239000013074 reference sample Substances 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008929 regeneration Effects 0.000 claims description 4
- 238000011069 regeneration method Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 240000008042 Zea mays Species 0.000 description 4
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 4
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 4
- 235000005822 corn Nutrition 0.000 description 4
- 244000070406 Malus silvestris Species 0.000 description 3
- 235000009754 Vitis X bourquina Nutrition 0.000 description 3
- 235000012333 Vitis X labruscana Nutrition 0.000 description 3
- 240000006365 Vitis vinifera Species 0.000 description 3
- 235000014787 Vitis vinifera Nutrition 0.000 description 3
- 235000000832 Ayote Nutrition 0.000 description 2
- 241001157813 Cercospora Species 0.000 description 2
- 240000004244 Cucurbita moschata Species 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 2
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 2
- 240000009088 Fragaria x ananassa Species 0.000 description 2
- 206010039509 Scab Diseases 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000015136 pumpkin Nutrition 0.000 description 2
- 241000198596 Alternaria tomatophila Species 0.000 description 1
- 244000144730 Amygdalus persica Species 0.000 description 1
- 208000003643 Callosities Diseases 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 240000008574 Capsicum frutescens Species 0.000 description 1
- 235000002568 Capsicum frutescens Nutrition 0.000 description 1
- 241000221785 Erysiphales Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 206010020649 Hyperkeratosis Diseases 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 241000605385 Ruscus Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 241001669640 Venturia carpophila Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- LLLILZLFKGJCCV-UHFFFAOYSA-M n-methyl-n-[(1-methylpyridin-1-ium-4-yl)methylideneamino]aniline;methyl sulfate Chemical compound COS([O-])(=O)=O.C=1C=CC=CC=1N(C)\N=C\C1=CC=[N+](C)C=C1 LLLILZLFKGJCCV-UHFFFAOYSA-M 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 235000021012 strawberries Nutrition 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于孪生网络的小样本农作物病害图像识别方法及系统，涉及图像识别领域，为解决现有小样本识别方法，易导致训练过拟合、识别准确率较低的问题。具体过程为：步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本；步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，迭代训练后得到孪生网络模型，记录并保存各参照样本的映射结果；步骤三：分别设定各病害的距离判定阈值；步骤四：将待检测样本输入至孪生网络模型，计算其映射结果；并计算其与各参照样本间的距离，选取其中的最小值，将其与该类别的距离判定阈值比较并输出判定结果。
Description
技术领域
本发明涉及图像识别领域，具体而言，涉及一种基于孪生网络的小样本农作物病害图像识别方法及系统。
背景技术
深度学习方法是农作物病害分类与识别的主要方式之一，其与传统的机器学习与图像处理方法的区别在于，深度学习方法可以从大量的训练数据样本中发现数据的分布式特征表示，从而摆脱传统方法对人工提取特征的依赖。同时，实验证明在大量训练数据的支撑下，深度学习方法的识别准确率比传统方法的准确率更高。
然而在实际使用中，部分病害的样本数据是较难获得的，数据集本身也存在着隐私保护等问题。同时，数据集标注工作也需要农业专家参与判定，因此实际中可到的训练样本是有限的，传统深度学习方法难以得到大量训练数据样本的支撑。当训练样本数量较少时，该类深度学习方法易发生过拟合，造成识别准确率下降甚至识别模型完全失效等问题。因此有效的小样本学习策略在农作物病害检测任务中是必要的。
发明内容
本发明要解决的技术问题是：
现有的孪生网络方法识别农作病害时，当样本量较少时，易导致训练过拟合、识别准确率较低的问题。
本发明为解决上述技术问题所采用的技术方案：
一种基于孪生网络的小样本农作物病害图像识别方法，所述方法包括以下步骤：
步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本s1，s2，…，sn；其中，n代表病害类别数，分别将参照样本和其它训练样本图像进行预处理；
步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，设置网络初始化参数，迭代训练后得到孪生网络模型，所述模型为输入样本的高维映射方式，记录并保存各参照样本s1，s2，…，sn通过所述模型后的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三：分别设定各病害的距离判定阈值；
步骤四：将待检测样本x′输入至孪生网络模型，计算映射结果Φ(x′)；计算Φ(x′)与步骤二得到的Φ(s1)，Φ(s2)，…，Φ(sn)的距离，选取其中的最小值，将其与步骤三中设定的该类别的距离判定阈值比较，若小于或等于该类别的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
进一步地，步骤一具体为：将所有训练样本按病害类别标注，不同病害对应不同的标签；每种标签的训练样本中随机选择一张图像样本作为参照样本；通过下采样、中心裁剪的方式将参照样本和其他训练样本调整为统一尺寸，再进行随机旋转处理。
进一步地，步骤二中网络训练的具体过程为：
步骤二一、设置卷积神经网络的初始化参数；由卷积运算求得xi -、xi +和si的映射结果Φ(xi -)，Φ(si)，Φ(xi +)；xi -为与参照样本si同类别的病害样本，xi +为不属于参照样本si类别的病害样本；；
步骤二二、分别计算各映射结果之间Φ(xi -)与Φ(si)，Φ(si)与Φ(xi +)的最大均值差异MMD(Φ(xi -),Φ(si))，MMD(Φ(si)，Φ(xi +))，
步骤二三、最小化MMD(Φ(xi -),Φ(si))及最大化MMD(Φ(si)，Φ(xi +))，使MMD(Φ(xi -),Φ(si))+α<MMD(Φ(si)，Φ(xi +))，构造损失函数L，令L＝max(MMD(Φ(xi -),Φ(si))-MMD(Φ(si)，Φ(xi +))+α,0)，其中α为可调节的参数；
步骤二四、通过损失函数L，由反向传播算法来计算并更新网络参数；
步骤二五、迭代后得到孪生网络模型。
进一步地，步骤二中，最大均值差异MMD(Φ(xi -),Φ(si)),MMD(Φ(si)，Φ(xi +))具体计算过程为：
其中，xi1 -,xi2 -,…，xin -分别为样本xi -通过全连接层后的特征值，xi1 +,xi2 +,…，xin +分别为xi +通过全连接层后的特征值，si1，si2，…，sin分别为样本si通过全连接层后的特征值，n图像通过全连接层后的特征编码个数，φ为映射函数，可以将原变量映射到再生核希尔伯特空间。
进一步地，步骤三中，针对第i类病害的距离阈值设定，具体过程为：
步骤三一、读取步骤二保存的Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三二、计算第i类病害除去参照样本的所有训练样本xi1，xi2，…，xij的映射结果Φ(xi1)，Φ(xi2)，…，Φ(xij)；
步骤三三、分别计算Φ(xi1)，Φ(xi2)，…，Φ(xij)与Φ(si)的欧式距离，选取最大值并用D- max表示；同理，分别计算不属于i类病害的其余训练样本的映射结果与Φ(si)的欧氏距离，选取其中最小值并用D+ min表示；则第i类病害的距离阈值可表示为
ε为可调节的参数。
进一步地，步骤四的具体过程为：
步骤四一、将待检测样本x′输入孪生网络模型，求得映射结果Φ(x′)；
步骤四二、读取步骤二保存的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)，分别计算Φ(x′)与Φ(s1)，Φ(s2)，…，Φ(sn)的欧式距离，选取其中最小值；
步骤四三、将最小距离结果与该病害类别的距离判定阈值作比较，若小于或等于该类别设定的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
进一步地，步骤四中若得到的最小距离结果大于所有类别的判定阈值，则默认该图像不属于标签类别中，则不支持检测。
一种基于孪生网络的小样本农作物病害图像识别系统，该系统具有与上述任一项中的步骤对应的程序模块，运行时执行上述的基于孪生网络的小样本农作物病害图像识别方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述任一项所述的基于孪生网络的小样本农作物病害图像识别方法的步骤。
相较于现有技术，本发明的有益效果是：
本发明提供一种基于孪生网络的小样本农作物病害图像识别方法及系统，运用了度量学习的基本思想，即相同类别样本间相似度较小，不同类别样本间相似度较大；拉近相同种类样本在高维映射空间的距离，拉远不同种类样本在高维映射空间的距离，以实现类间样本的距离大于类内样本的距离，本发明针对训练样本数量较少条件下的农作物病害检测具有较高的准确率。
本发明采用改进的孪生网络方法来解决小样本农作物病害分类问题，通过引入最大均值差异代替欧式距离来度量并训练模型权重，其可有效比较不同样本间的特征分布差异，提高农作物病害检测的确率率。
附图说明
图1为本实施例基于孪生网络的小样本农作物病害图像识别方法流程图；
图2为本实施例基于孪生网络的小样本农作物病害图像识别方法所用网络的结构图；
图3为本实施例待检测病害图像的判定过程图；
图4本实施例识别农作物病害类别；
图5为传统的深度学习方法的判断病害类别的示意图；
图6为小样本任务应用距离度量判断病害类别的示意图；
图7为小样本任务参照样本选在分布边缘时应用距离度量判断病害类别的示意图；
图8为本发明最小化类内距离、最大化类间距离的判断病害类别的示意图。
具体实施方式
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
结合图1至图3所示，本发明提供一种基于孪生网络的小样本农作物病害图像识别方法，所述方法包括以下步骤：
步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本s1，s2，…，sn；其中，n代表病害类别数，分别将参照样本和其它训练样本图像进行预处理；
步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，设置网络初始化参数，迭代训练后得到孪生网络模型，所述模型为输入样本的高维映射方式，记录并保存各参照样本s1，s2，…，sn通过所述模型后的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三：分别设定各病害的距离判定阈值；
步骤四：将待检测样本x′输入至孪生网络模型，计算映射结果Φ(x′)；计算Φ(x′)与步骤二得到的Φ(s1)，Φ(s2)，…，Φ(sn)的距离，选取其中的最小值，将其与步骤三中设定的该类别的距离判定阈值比较，若小于或等于该类别的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
本实施方案得到的孪生网络模型可实现同类样本间的映射结果分布较近，异类样本映射结果分布较远得效果。
具体实施方案二：所述步骤一具体为：将所有训练样本按病害类别标注，不同病害对应不同的标签；每种标签的训练样本中随机选择一张图像样本作为参照样本；通过下采样、中心裁剪的方式将参照样本和其他训练样本调整为统一尺寸，再进行随机旋转处理。本实施方案中其他与具体实施方一相同。
具体实施方案三：如图2所示，所述步骤二中网络训练的具体过程为：
步骤二一、设置卷积神经网络的初始化参数；由卷积运算求得xi -、xi +和si的映射结果Φ(xi -)，Φ(si)，Φ(xi +)；xi -为与参照样本si同类别的病害样本，xi +为不属于参照样本si类别的病害样本；；
步骤二二、分别计算各映射结果之间Φ(xi -)与Φ(si)，Φ(si)与Φ(xi +)的最大均值差异MMD(Φ(xi -),Φ(si))，MMD(Φ(si)，Φ(xi +))，其中核函数采用高斯核；
步骤二三、最小化MMD(Φ(xi -),Φ(si))及最大化MMD(Φ(si)，Φ(xi +))，使MMD(Φ(xi -),Φ(si))+α<MMD(Φ(si)，Φ(xi +))，构造损失函数L，令L＝max(MMD(Φ(xi -),Φ(si))-MMD(Φ(si)，Φ(xi +))+α,0)，其中α为可调节的参数；
步骤二四、通过损失函数L，由反向传播算法来计算并更新网络参数；
步骤二五、迭代后得到孪生网络模型。本实施方案中其他与具体实施方二相同。
具体实施方案四：所述步骤二中，最大均值差异MMD(Φ(xi -),Φ(si)),MMD(Φ(si)，Φ(xi +))具体计算过程为：
其中，xi1 -,xi2 -,…，xin -分别为样本xi -通过全连接层后的特征值，xi1 +,xi2 +,…，xin +分别为xi +通过全连接层后的特征值，si1，si2，…，sin分别为样本si通过全连接层后的特征值，n图像通过全连接层后的特征编码个数，φ为映射函数，可以将原变量映射到再生核希尔伯特空间。本实施方案中其他与具体实施方三相同。
最大均值差异是度量在再生希尔伯特空间中两组分布的距离，其本质是两组数据经过映射函数变化后的期望差的上确界，其可以有效度量两组数据分布的相似度，即当MMD距离越小时，两组分布越接近；MMD距离越大时，两组分布差距越大；当MMD为0时，两组数据完全相等。
采用最大均值差异的优势在于，其可以更有效的衡量输出特征分布的差异性，若只比较一阶矩与二阶矩差异则不能有效的衡量。例如，具有相同期望与方差的正态分布与指数分布，其差异性不能用一阶矩与二阶矩来衡量。因此，步骤二中采用MMD距离，并通过设置相应损失函数来实现聚类。
具体实施方案五：所述步骤三中，针对第i类病害的距离阈值设定，具体过程为：
步骤三一、读取步骤二保存的Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三二、计算第i类病害除去参照样本的所有训练样本xi1，xi2，…，xij的映射结果Φ(xi1)，Φ(xi2)，…，Φ(xij)；
步骤三三、分别计算Φ(xi1)，Φ(xi2)，…，Φ(xij)与Φ(si)的欧式距离D(Φ(xi1),Φ(si))，D(Φ(xi2),Φ(si))，…，D(Φ(xij),Φ(si))，选取最大值并用D-max表示；同理，分别计算不属于i类病害的其余训练样本的映射结果与Φ(si)的欧氏距离，选取其中最小值并用D+ min表示；则第i类病害的距离阈值可表示为
ε为可调节的参数。本实施方案中其他与具体实施方四相同。
采用欧式距离设定阈值，其原因在于相较于MMD距离而言，欧氏距离的计算量较小，模型判定待检测样本所需时间更短，且对于硬件的性能需求更低。
具体实施方案六：如图3所示，所述步骤四的具体过程为：
步骤四一、将待检测样本x′输入孪生网络模型，求得映射结果Φ(x′)；
步骤四二、读取步骤二保存的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)，分别计算Φ(x′)与Φ(s1)，Φ(s2)，…，Φ(sn)的欧式距离，选取其中最小值；
步骤四三、将最小距离结果与该病害类别的距离判定阈值作比较，若小于或等于该类别设定的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。本实施方案中其他与具体实施方五相同。
由于模型在训练过程中已经最小化类内距离以及最大化类间距离，若待检测样本的病害类别存在于训练类别中，则理论上会更靠近某一类别，即存在一个Dmin，若Dmin大于对应病害类别的距离判定阈值，则默认该图像不属于标签类别中，不支持检测。若得到的最小距离结果大于所有类别的判定阈值，则默认该图像不属于标签类别中，则不支持检测。
如图4和表1所示，针对18种农作物病害进行识别计算，每种类别训练样本为50张，测试样本为100张时，得到的识别结果中，苹果、玉米、葡萄、桃子、草莓、西葫芦及辣椒的各病害识别的准确率均可达到95％以上，其余农作物的病害识别准确率在85％以上。
表1
| 1苹果黑星病 | 2苹果黑腐病 | 3苹果胶锈菌 | 4玉米灰斑病 | 5玉米锈病 | 6玉米大斑病 |
| 7葡萄黑腐病 | 8葡萄褐斑病 | 9葡萄叶斑病 | 10柑橘黄龙病 | 11桃子黑斑病 | 12土豆早疫病 |
| 13土豆晚疫病 | 14草莓褐斑病 | 15番茄早疫病 | 16番茄黄叶病 | 17西葫芦白粉病 | 18辣椒疮痂病 |
如图5所示，传统的深度学习方法中a区域和b区域分别代表了两种病害样本的分布，而最佳的分类器应该是如线1的结果，可以完整的将两种病害区分。然而，当样本数量较少时，少量的样本很难遍布整体的分布区域，此时传统的深度学习方法训练所得的分类器可能会得到线2和线3的结果。此时，分类器是很难将两种病害区分开来的。
如图6所示，针对小样本任务，用距离度量并判断病害的类别。从每个病害类别中选取一个样本作为参照，判定其他样本与该样本的距离。当判定样本与参照样本距离满足L1≤L0时，判定其为同种类别。当满足L2>L0时，判定为不同类别。其中，L0为人为设定的判定阈值。
然而该方法同样面临一个问题，如图7所示，当参照样本选在分布边缘时，此时易发生同类间样本距离比L0大，不同类间样本距离反而比L0大的情况，引起判定失效。如图8所示，为了解决这一问题，本发明提出了最小化类内距离，最大化类间距离的方法，最小化类内距离即减小样本分布的区域，最大化类间距离即拉远不同类别间分布距离，如图中a和b所代表的区域。此时，可以保证L2>L1，从而可以成功选择合适的L0以满足L2>L0>L1。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (9)
1.一种基于孪生网络的小样本农作物病害图像识别方法，其特征在于所述方法包括以下步骤：
步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本s1，s2，…，sn；其中，n代表病害类别数，分别将参照样本和其它训练样本图像进行预处理；
步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，设置网络初始化参数，迭代训练后得到孪生网络模型，所述模型为输入样本的高维映射方式，记录并保存各参照样本s1，s2，…，sn通过所述模型后的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三：分别设定各病害的距离判定阈值；
步骤四：将待检测样本x′输入至孪生网络模型，计算映射结果Φ(x′)；计算Φ(x′)与步骤二得到的Φ(s1)，Φ(s2)，…，Φ(sn)的距离，选取其中的最小值，将其与步骤三中设定的该类别的距离判定阈值比较，若小于或等于该类别的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
2.根据权利要求1所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤一具体为：将所有训练样本按病害类别标注，不同病害对应不同的标签；每种标签的训练样本中随机选择一张图像样本作为参照样本；通过下采样、中心裁剪的方式将参照样本和其他训练样本调整为统一尺寸，再进行随机旋转处理。
3.根据权利要求2所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤二网络训练的具体过程为：
步骤二一、设置卷积神经网络的初始化参数；由卷积运算求得xi -、xi +和si的映射结果Φ(xi -)，Φ(si)，Φ(xi +)；xi -为与参照样本si同类别的病害样本，xi +为不属于参照样本si类别的病害样本；；
步骤二二、分别计算各映射结果之间Φ(xi -)与Φ(si)，Φ(si)与Φ(xi +)的最大均值差异MMD(Φ(xi -),Φ(si))，MMD(Φ(si)，Φ(xi +))，
步骤二三、最小化MMD(Φ(xi -),Φ(si))及最大化MMD(Φ(si)，Φ(xi +))，使MMD(Φ(xi -),Φ(si))+α<MMD(Φ(si)，Φ(xi +))，构造损失函数L，令L＝max(MMD(Φ(xi -),Φ(si))-MMD(Φ(si)，Φ(xi +))+α,0)，其中α为可调节的参数；
步骤二四、通过损失函数L，由反向传播算法来计算并更新网络参数；
步骤二五、迭代后得到得到孪生网络模型。
4.根据权利要求3所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤二中，最大均值差异MMD(Φ(xi -),Φ(si)),MMD(Φ(si)，Φ(xi +))具体计算过程为：
其中，xi1 -,xi2 -,…，xin -分别为样本xi -通过全连接层后的特征值，xi1 +,xi2 +,…，xin +分别为xi +通过全连接层后的特征值，si1，si2，…，sin分别为样本si通过全连接层后的特征值，n图像通过全连接层后的特征编码个数，φ为映射函数，可以将原变量映射到再生核希尔伯特空间。
5.根据权利要求4所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤三中，针对第i类病害的距离阈值设定，具体过程为：
步骤三一、读取步骤二保存的Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三二、计算第i类病害除去参照样本的所有训练样本xi1，xi2，…，xij的映射结果Φ(xi1)，Φ(xi2)，…，Φ(xij)；
步骤三三、分别计算Φ(xi1)，Φ(xi2)，…，Φ(xij)与Φ(si)的欧式距离，选取最大值并用D- max表示；同理，分别计算不属于i类病害的其余训练样本的映射结果与Φ(si)的欧氏距离，选取其中最小值并用D+ min表示；则第i类病害的距离阈值可表示为
ε为可调节的参数。
6.根据权利要求5所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤四的具体过程为：
步骤四一、将待检测样本x′输入孪生网络模型，求得映射结果Φ(x′)；
步骤四二、读取步骤二保存的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)，分别计算Φ(x′)与Φ(s1)，Φ(s2)，…，Φ(sn)的欧式距离，选取其中最小值；
步骤四三、将最小距离结果与该病害类别的距离判定阈值作比较，若小于或等于该类别设定的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
7.根据权利要求6所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤四中若得到的最小距离结果大于所有类别的判定阈值，则默认该图像不属于标签类别中，则不支持检测。
8.一种基于孪生网络的小样本农作物病害图像识别系统，其特征在于：该系统具有与上述权利要求1～7任一项权利要求的步骤对应的程序模块，运行时执行上述的基于孪生网络的小样本农作物病害图像识别方法中的步骤。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1～7中任一项所述的基于孪生网络的小样本农作物病害图像识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210605942.7A CN114926445B (zh) | 2022-05-31 | 2022-05-31 | 一种基于孪生网络的小样本农作物病害图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210605942.7A CN114926445B (zh) | 2022-05-31 | 2022-05-31 | 一种基于孪生网络的小样本农作物病害图像识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114926445A true CN114926445A (zh) | 2022-08-19 |
| CN114926445B CN114926445B (zh) | 2024-03-26 |
Family
ID=82812858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210605942.7A Active CN114926445B (zh) | 2022-05-31 | 2022-05-31 | 一种基于孪生网络的小样本农作物病害图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926445B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455852A (zh) * | 2023-10-19 | 2024-01-26 | 北京闪电侠科技有限公司 | 基于孪生网络的图像质量判断、处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN110136101A (zh) * | 2019-04-17 | 2019-08-16 | 杭州数据点金科技有限公司 | 一种基于孪生距离比对的轮胎x光病疵检测方法 |
| CN110263659A (zh) * | 2019-05-27 | 2019-09-20 | 南京航空航天大学 | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 |
| US20200372350A1 (en) * | 2019-05-22 | 2020-11-26 | Electronics And Telecommunications Research Institute | Method of training image deep learning model and device thereof |
| CN112131421A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112784929A (zh) * | 2021-03-14 | 2021-05-11 | 西北工业大学 | 一种基于双元组扩充的小样本图像分类方法及装置 |
| CN113449631A (zh) * | 2021-06-25 | 2021-09-28 | 中南大学 | 图像分类方法及系统 |
| CN113469253A (zh) * | 2021-07-02 | 2021-10-01 | 河海大学 | 一种基于三元组孪生网络的窃电检测方法 |
| CN114266342A (zh) * | 2021-12-21 | 2022-04-01 | 中国科学院信息工程研究所 | 一种基于孪生网络的内部威胁的检测方法及系统 |
-
2022
- 2022-05-31 CN CN202210605942.7A patent/CN114926445B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN110136101A (zh) * | 2019-04-17 | 2019-08-16 | 杭州数据点金科技有限公司 | 一种基于孪生距离比对的轮胎x光病疵检测方法 |
| US20200372350A1 (en) * | 2019-05-22 | 2020-11-26 | Electronics And Telecommunications Research Institute | Method of training image deep learning model and device thereof |
| CN110263659A (zh) * | 2019-05-27 | 2019-09-20 | 南京航空航天大学 | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 |
| CN112131421A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112784929A (zh) * | 2021-03-14 | 2021-05-11 | 西北工业大学 | 一种基于双元组扩充的小样本图像分类方法及装置 |
| CN113449631A (zh) * | 2021-06-25 | 2021-09-28 | 中南大学 | 图像分类方法及系统 |
| CN113469253A (zh) * | 2021-07-02 | 2021-10-01 | 河海大学 | 一种基于三元组孪生网络的窃电检测方法 |
| CN114266342A (zh) * | 2021-12-21 | 2022-04-01 | 中国科学院信息工程研究所 | 一种基于孪生网络的内部威胁的检测方法及系统 |
Non-Patent Citations (10)
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455852A (zh) * | 2023-10-19 | 2024-01-26 | 北京闪电侠科技有限公司 | 基于孪生网络的图像质量判断、处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114926445B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316294B (zh) | 一种基于改进的深度玻尔兹曼机肺结节特征提取方法 | |
| US10262410B2 (en) | Methods and systems for inspecting goods | |
| CN109620152B (zh) | 一种基于MutiFacolLoss-Densenet的心电信号分类方法 | |
| CN111161879B (zh) | 一种基于大数据的疾病预测系统 | |
| CN108038859B (zh) | 基于pso和综合评价准则的pcnn图分割方法及装置 | |
| Hijazi et al. | Data mining techniques for the screening of age-related macular degeneration | |
| CN110688968B (zh) | 基于多示例深度卷积记忆网络的高光谱目标检测方法 | |
| CN108932301A (zh) | 数据填充方法及装置 | |
| CN114926445A (zh) | 一种基于孪生网络的小样本农作物病害图像识别方法及系统 | |
| WO2020185101A9 (en) | Hybrid machine learning system and method | |
| CN115496892A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
| CN112232387B (zh) | 基于lselm-rfe的粮食作物病害症状的有效特征识别方法 | |
| CN116563296B (zh) | 一种用于腹部ct图像的识别方法 | |
| CN106408571A (zh) | 一种基于最优模糊因子选择的可变类遥感图像分割方法 | |
| CN104794483A (zh) | 基于类间极大化的pcm聚类技术的图像分割方法 | |
| CN110991517A (zh) | 一种面向脑卒中非平衡数据集的分类方法及系统 | |
| CN111652733B (zh) | 基于云计算和区块链的金融信息管理系统 | |
| CN111723737B (zh) | 一种基于多尺度匹配策略深度特征学习的目标检测方法 | |
| Concepcion et al. | Identification of Philippine Maize Variety Using Convolutional Neural Network with Kernel Morphological Phenes Characterization | |
| CN114119503A (zh) | 一种基于ifcm聚类的视网膜血管分割方法及装置 | |
| CN115420866A (zh) | 药物活性检测方法、装置、电子设备和存储介质 | |
| CN113971984A (zh) | 分类模型构建方法及装置、电子设备、存储介质 | |
| CN111597934A (zh) | 用于为统计应用处理训练数据的系统和方法 | |
| CN110929753B (zh) | 一种基于彩色图像的青椒识别方法 | |
| CN112948732B (zh) | 一种基于归一化最小生成树聚类的离群点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |