CN112418082A - 基于度量学习和深度特征学习的植物叶片识别系统及方法 - Google Patents
基于度量学习和深度特征学习的植物叶片识别系统及方法 Download PDFInfo
- Publication number
- CN112418082A CN112418082A CN202011315894.5A CN202011315894A CN112418082A CN 112418082 A CN112418082 A CN 112418082A CN 202011315894 A CN202011315894 A CN 202011315894A CN 112418082 A CN112418082 A CN 112418082A
- Authority
- CN
- China
- Prior art keywords
- image
- plant leaf
- identification
- server
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003993 interaction Effects 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 241000196324 Embryophyta Species 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000002902 bimodal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004887 air purification Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本发明涉及一种基于度量学习和深度特征学习的植物叶片识别系统及方法。其中系统包括：IOS客户端，用于首先获取植物叶片图像后进行预处理，然后将预处理后的植物叶片图像通过IOS客户端的人机交互页面选取本地识别路径或服务器端识别路径发出请求，针对本地识别路径请求，调用自身网络模型进行植物叶片识别，针对服务器端识别路径请求，将预处理后的植物叶片图像无线发送至服务器端；服务器端，用于接收服务器端识别路径请求下来自IOS客户端预处理后的植物叶片图像，并调用基于分段损失加权的生成式对抗网络进行识别。对应识别方法基于全局特征表示和特征度量学习结合的学习方式和基于softmax的全局分类分支和具有三元损失的度量学习分支来展开。
Description
技术领域
本发明涉及植物叶片识别技术领域，尤其是涉及一种基于度量学习和深度特征学习的植物叶片识别系统及方法。
背景技术
一直以来，植物都是地球生态环境的重要组成部分，其对地球，对人类，对整个生物圈都有着不可或缺的重要作用。大多数植物都可以在光照条件下进行光合作用，吸收二氧化碳并释放氧气，这对于大气层内氧气与二氧化碳含量保持平衡是很重要的。同时，植物还对湿度调节，空气净化，土壤生态环境保持，吸收有毒气体，杀菌等有很大的贡献。抛开这一切，植物的存在给人类提供了生存必须的氧气这一事实就奠定了植物在我们生活中举足轻重的地位，因此针对植物展开的研究是十分有意义的。
植物图像识别是针对自然界常见的植物，将其图像进行采集后，利用现在最先进的计算机视觉技术，对其进行识别，从而达到分类的目的。主要操作包括图像采集，图像预处理，选择合适的深度学习网络，搭建具体的深度网络，利用计算机技术，进行分类操作。
由于植物的重要性，我们需要对自然界中纷繁复杂的植物进行识别，分类，对不同植物来说。他们有不同的优点和作用，只有正确的分类，才能将其的作用发挥到最大，甚至有些植物如果对其分类不准确导致其特性，性质定义错误的话，对于植物来说是致命的操作。因此我们需要有专业的技术人员对植物进行识别，再进行相关的种植，培育，以达到改善自然环境的目的。
在传统植物识别行业，都是人工识别，这对于相关操作人员来说，是一件很辛苦的事情，并且巨大的识别工作量，会导致识别准确率的下降，对于工作人员来说，保持识别准确率在一定的水平，是一件非常困难的事情。这时候，计算机视觉技术的发展就给植物识别工作带来了巨大的福音。使用深度学习对植物图像进行识别，只需要采集相关植物叶片图像数据，进行相应的处理后，放到搭建好的神经网络中进行训练，达到一定识别准确率以后，就可以将训练好的网络用于植物图像识别，识别准确率可以永远的保持在一个很高的水平，而不会因为识别工作量的变化而变化。这对于传统的植物图像识别方法来说是一种巨大的创新。利用计算机技术就可以解决很多识别中带来的问题，在技术发展日益升级的今天，甚至一些利用深度学习完成的识别技术准确率能够超过人类，因此植物图像识别技术普及大众将指日可待。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于度量学习和深度特征学习的植物叶片识别系统及方法。
本发明的目的可以通过以下技术方案来实现：
一种基于度量学习和深度特征学习的植物叶片识别系统，该系统包括IOS客户端和与所述IOS客户端通过无线网络相连接的服务器端，其中：
所述IOS客户端，用于首先获取植物叶片图像后进行预处理，然后将预处理后的植物叶片图像通过所述IOS客户端的人机交互页面选取本地识别路径或服务器端识别路径发出请求，针对本地识别路径请求，调用自身网络模型进行植物叶片识别，针对服务器端识别路径请求，将预处理后的植物叶片图像无线发送至所述服务器端；
所述服务器端，用于接收服务器端识别路径请求下来自所述IOS客户端预处理后的植物叶片图像，并调用基于分段损失加权的生成式对抗网络进行识别。
进一步地，所述的IOS客户端包括图像采集模块、图像上传模块、图像识别模块、图像处理模块、客户端数据存储模块和客户端网络通信模块，所述的人机交互页面与所述图像采集模块和图像上传模块分别连接，所述的图像处理模块分别与所述图像采集模块、图像上传模块、图像识别模块、人机交互页面、客户端数据存储模块和客户端网络通信模块相连接，所述的图像上传模块与所述客户端数据存储模块相连接，所述客户端网络通信模块与所述服务器端相连接。
进一步地，所述的服务器端包括用于对外联网的流量分发服务器以及用于根据分发规则对请求分别进行发放的多个工作服务器，每个工作服务器还分别各自设有从属备份服务器，所述的流量分发服务器自身还设有备份服务器。
本发明还提供一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，该方法包括以下步骤：
步骤1：所述IOS客户端获取植物叶片图像后，对图像通过采取交互式的方式进行图片复杂背景去除操作；
步骤2：用户根据自身需求在所述IOS客户端的人机交互页面上选取识别途径，若选择本地识别路径请求，则执行步骤3，若选择服务器端识别路径请求，则执行步骤4；
步骤3：用户选择本地快速识别后，所述人机交互页面将控制信号发送至所述图像识别模块，所述图像识别模块调用部署于所述IOS客户端的模型对步骤1中经过处理的植物叶片图像直接进行识别，并于所述人机交互页面实时展示识别结果；
步骤4：用户选择服务器端识别后，所述人机交互页面将控制信号发送至所述图像处理模块并利用其对图片进行压缩处理，压缩处理完毕后随着所述人机交互页面发送请求至所述服务器端的同时，将压缩处理的图像通过无线网络传输至所述服务器端；
步骤5：所述服务器端接收来自所述IOS客户端传来的图像数据后，调用部署于自身的模型对图像数据进行植物叶片识别，并返回结果至所述IOS客户端的人机交互页面上实时展示识别结果。
进一步地，所述的步骤3中部署于所述IOS客户端的模型为轻量级网络模型mobileNet。
进一步地，所述步骤5中部署于自身的模型为基于分段损失加权的生成式对抗网络模型。
进一步地，调用所述基于分段损失加权的生成式对抗网络模型对图像数据进行植物叶片识别的过程中控制度量学习在不同的训练阶段采用不同形式的损失，训练前期采用第二种形式损失函数，训练过程中，负样本与选定样本之间的距离和正样本与选定样本之间的距离小于margin时，切换采用第一种形式损失函数。
进一步地，所述的步骤4中对图片进行压缩处理的过程具体包括：选取一个阈值，采用SR针对植物叶片图像进行压缩，当Pre PSNR大于预定阈值时，将图像下采样并解码后进行SRCNN滤波，至此完成压缩处理。
进一步地，所述的步骤1具体包括：所述IOS客户端通过拍摄植物叶片图像或选取本地存储的植物叶片图像获取植物叶片图像后，上传至所述IOS客户端中的图像处理模块以进行复杂背景的分割处理。
进一步地，所述复杂背景的分割处理通过部署于所述IOS客户端中的图像处理模块中的SRN-DeblurNet网络结构实现。
与现有技术相比，本发明具有以下优点：
1)本发明系统利用半监督生成式对抗模型的图片分类能力，通过引入时间参数，使生成器在不同的训练阶段采用不同的损失函数，JS散度即可发挥良性作用；为了给生成器足够的梯度，引入额外的特征级均方差损失与对抗损失进行加权，将该模型用于半监督图像分类，可在一定程度上避免模式崩溃，并达到良好的识别效果，从而有效识别客户端上传的植物叶片图片，并精确地将识别结果返回；
2)本发明设有本地快速识别功能，通过使用mobileNet这一轻量级模型，利用mobileNet分类器的图像分类效果，能够迅速进行本地植物叶片图像的识别，识别效率高；
3)对于服务器端的精准植物叶片识别过程，本发明在服务端应用一种基于分段损失加权的生成式对抗网络，通过改变生成器与鉴别器的训练过程，以及引入真实样本与生成样本之间的特征级损失，使训练过程更加稳定，一定程度上能够改善模型的模式崩溃现象；且该模型改善了鉴别器的性能，使提取到的特征更加鲁棒。
附图说明
图1为本发明系统实现植物叶片识别的流程示意图；
图2为本发明服务端的架构示意图；
图3为基于度量学习和深度特征学习结合的植物叶片识别模型进行识别的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
具体实施例
本发明涉及一种基于度量学习和深度特征学习结合的植物叶片识别模型和IOS平台的植物叶片识别系统，用以根据植物的叶片的图像进行植物物种识别并对识别进行反馈，本发明系统提供本地快速识别以及服务器端精准识别两种植物叶片的识别功能，该系统包括通过无线网络互相连接的IOS客户端和服务器端。
IOS客户端包括图像采集模块、图像上传模块、图像处理模块、图像识别模块、人机交互界面、客户端数据存储模块和客户端网络通信模块，人机交互界面与图像采集模块、图像上传模块连接，图像处理模块分别与图像采集模块、图像上传模块、人机交互界面、客户端数据存储模块和客户端网络通信模块连接，图像处理模块连接图像识别模块，图像上传模块与客户端数据存储模块连接，客户端网络通信器与服务器端连接。图像处理模块用于对IOS客户端本地的图片(即图像采集模块及图像上传模块的植物叶片图像)进行预处理。图像识别模块用于对IOS客户端本地的图片进行快速识别。
服务器端用于对IOS客户端发送来的植物叶片图像进行精准识别。如图2所示，服务器端包括流量分发服务器、备份服务器和多个工作服务器，备份服务器与流量分发服务器相互连接，多个工作服务器分别连接流量分发服务器。
用户发出的请求首先全部转发到一台高性能流量分发服务器，高性能流量分发服务器会根据当前服务器集群中各个服务器的运行状态来将用户请求分配到相对空闲的工作服务器上进行处理，以维持整个集群处于相对平衡的状态。另一方面为了保持集群的容错性，即在部分工作服务器发生故障的情况下整个集群仍然能够正常运作，通过主从复制技术来为集群中的高性能工作服务器提供容错支持，即为集群中负责请求转发的高性能流量分发服务器配备一台从属备份服务器，该从属备份服务器负责监视负责请求转发的高性能流量分发服务器的运行状态，当负责请求转发的高性能流量分发服务器发生机器故障时，该从属备份服务器开始接管请求转发的相关工作，从而增加整个集群的容错性能。
如图1所示，本发明系统实现植物叶片识别的具体步骤包括：
步骤1、IOS客户端获取叶片图像并对图像采取交互式的方式进行图片复杂背景去除流程。
IOS客户端可通过图像采集模块进行植物叶片的拍摄，也可利用图像上传模块选择客户端数据存储模块中的某植物叶片图像，拍摄图片后或选择图像后将图像上传至图像处理模块进行复杂背景的分割处理。优选地，本发明采用SRN-DeblurNet网络结构进行植物叶片图像背景分割处理，其以在不同尺度上从输入图像下采样的一个模糊图像序列为输入，然后得到一组对应的锐利图像。在全分辨率下的锐利图像即为最终输出，便于后续处理及图片清晰化。背景分割处理为现有技术，在此不过多赘述。
步骤2、用户可根据自己的需求在人机交互页面进行识别途径的任意选择。即选择本地快速识别步骤或服务器端精准识别步骤。
步骤3、当用户选择本地快速识别后，人机交互页面将控制信号下发至图像识别模块，图像识别模块将调用部署的模型对步骤1处理后的植物叶片直接识别，并快速的在人机交互页面展示出识别结果。
本地快速识别，即通过部署在IOS客户端的轻量级网络模型mobileNet进行识别。利用轻量级网络模型mobileNet进行识别为现有技术，在此不过多赘述。
步骤4、服务器精准识别，即通过部署在服务器的网络模型，基于分段损失加权的生成式对抗网络进行识别。当用户选择服务器端精准识别时，人机交互页面将控制信号下发至图像处理模块，图像处理模块将对图片进行压缩来保证数据传输的高效性。然后人机交互页面发送请求，将压缩后的图像通过客户端网络通信模块传输到服务器端。
具体地，图片压缩的操作为：假设图像中有明显的目标和背景，则其灰度直方图呈双峰分布，当灰度级直方图具有双峰特性时，选取两峰之间的谷对应的灰度级作为阈值。如果背景的灰度值在整个图像中可以合理地看作为恒定，而且所有物体与背景都具有几乎相同的对比度，那么，可以选取一个阈值，采用SR(超分辨率)针对植物叶片图像进行压缩。当Pre PSNR(Peak Signal to Noise Ratio，峰值信噪比)大于预定阈值时，图像被下采样到(0.5W，0.5H)并且在解码之后进行SRCNN滤波。
步骤5、服务器端在接收到IOS客户端传来的图片后，会调用部署在工作服务器上的模型，进行识别并返回结果。算法上，本发明采用一种基于分段损失加权的生成式对抗网络进行精准识别。该网络在传统半监督式生成式对抗网络的基础上，控制GAN在不同的训练阶段采用不同形式的损失。训练前期以第二种形式损失函数为主，随着训练的进行，真实样本和生成样本就能够有所重叠，当到达切换参数点之后，再切换到以第一种形式损失函数为主，此时JS散度就可以发挥良性作用，从而避免生成器梯度消失和模式崩溃。具体识别的流程图如图3所示。图片经过背景分割、形态学处理后，通过深度卷积层进行特征提取，后通过半监督式生成式对抗网络的分类器进行分类识别，后输出分类结果。
当用户选择本地快速识别后，系统将调用部署在手机端的模型对植物叶片直接识别并快速的展示出识别结果。而当用户选择云端精准识别功能时，系统将对图片进行压缩来保证数据传输的高效性。然后发送请求将图片传输到服务端。服务端在接收到客户端传来的图片后，会调用部署在服务器上的模型，进行识别并通过网络协议返回结果。本监督学习和损失加权的机制作用于深度GAN模型下效果显著。所提模型在ICL植物叶片数据集拥有较好的识别效果，相比于ResNet50基础网络模型准确率提高4.77％。
最终的实验结果显示该发明能够有效地处理IOS客户端提交图片，并将识别后的精确的识别结果返回到IOS客户端的人机交互页面，并提高植物叶片的识别精度。
本发明系统利用半监督生成式对抗模型的图片分类能力，通过引入时间参数，使生成器在不同的训练阶段采用不同的损失函数，JS散度即可发挥良性作用；为了给生成器足够的梯度，引入额外的特征级均方差损失与对抗损失进行加权，将该模型用于半监督图像分类，可在一定程度上避免模式崩溃，并达到良好的识别效果，从而有效识别客户端上传的植物叶片图片，并精确地将识别结果返回。
本发明的技术思路原理如下：
本发明涉及一种植物叶片识别方法。该方法针对植物叶片数据集中样本类间差异小，类内差异大的问题，提出使用深度特征学习与度量学习结合的学习方式，弥补深度特征学习效率不高的缺点，在特征空间中扩大不同类别特征向量之间的距离，缩小同类别特征向量之间的距离，提升分类准确率。该模型提升识别准确率的方案主要集中在两个方面：特征表示和特征学习。模型基于两个互补的设计，分别是：1)全局特征表示和特征度量学习结合的学习方式；2)基于softmax的全局分类分支和具有三元损失的度量学习分支。
在常见的多分类任务中，softmax可以达到一定的分类效果。但是，如果在类别数较多，单个类别的样本数很少的情况下使用softmax，效果会很差，因为分类矩阵的参数更新实际上是学习每个类别的中心向量表示，而样本数不足会导致一种质量较差的表征学习结果，在特征空间中不同类别之间的距离区分度不够明显，分类效果大大降低。针对这个问题，有些做法提出在softmax中增加一个temperature(t)，
参数t控制softmax损失函数的聚合程度。参数t越大，softmax的输出越分散，将目标类别对应的维度输出分配给其他维度，以达到平滑效果。参数t越小，目标类别对应的维度输出越聚合，其他类别对应的维度输出越小，从而达到扩大类间距离的效果。
通过设置t参数，可以有效缓解类间距过小导致的分类效果差的现象。然而，在数据集的极端情况下，t参数不能有效地控制不同类别之间的距离，因此还是不能达到很好的分类效果。在这种情况下，有必要使用度量学习来控制不同类别之间的距离。
近年来，植物叶片识别模型大多集中在基于softmax损失函数的分类方法上。然而，大多数植物叶片具有很高的相似性。直接使用softmax很难区分不同类别之间的距离，导致实际分类过程中存在效果不佳的现象。本发明提出的模型利用全局特征直接分类，同时引入度量学习，使数据集中的正样本与选定样本之间的距离越来越近，负样本与选定样本之间的距离越来越远，在实际分类任务中，该模型可以更好地区分不同类别之间的差异。
该发明在植物叶片数据集ICL上，很好的解决了不同类别相似样本很容易被错误分类成同类别，以及相同类别样本差异过大被错误分成不同类别样本的问题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于度量学习和深度特征学习的植物叶片识别系统，其特征在于，该系统包括IOS客户端和与所述IOS客户端通过无线网络相连接的服务器端，其中：
所述IOS客户端，用于首先获取植物叶片图像后进行预处理，然后将预处理后的植物叶片图像通过所述IOS客户端的人机交互页面选取本地识别路径或服务器端识别路径发出请求，针对本地识别路径请求，调用自身网络模型进行植物叶片识别，针对服务器端识别路径请求，将预处理后的植物叶片图像无线发送至所述服务器端；
所述服务器端，用于接收服务器端识别路径请求下来自所述IOS客户端预处理后的植物叶片图像，并调用基于分段损失加权的生成式对抗网络进行识别。
2.根据权利要求1所述的一种基于度量学习和深度特征学习的植物叶片识别系统，其特征在于，所述的IOS客户端包括图像采集模块、图像上传模块、图像识别模块、图像处理模块、客户端数据存储模块和客户端网络通信模块，所述的人机交互页面与所述图像采集模块和图像上传模块分别连接，所述的图像处理模块分别与所述图像采集模块、图像上传模块、图像识别模块、人机交互页面、客户端数据存储模块和客户端网络通信模块相连接，所述的图像上传模块与所述客户端数据存储模块相连接，所述客户端网络通信模块与所述服务器端相连接。
3.根据权利要求1所述的一种基于度量学习和深度特征学习的植物叶片识别系统，其特征在于，所述的服务器端包括用于对外联网的流量分发服务器以及用于根据分发规则对请求分别进行发放的多个工作服务器，每个工作服务器还分别各自设有从属备份服务器，所述的流量分发服务器自身还设有备份服务器。
4.一种基于如权利要求1至3中任一项所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，该方法包括以下步骤：
步骤1：所述IOS客户端获取植物叶片图像后，对图像通过采取交互式的方式进行图片复杂背景去除操作；
步骤2：用户根据自身需求在所述IOS客户端的人机交互页面上选取识别途径，若选择本地识别路径请求，则执行步骤3，若选择服务器端识别路径请求，则执行步骤4；
步骤3：用户选择本地快速识别后，所述人机交互页面将控制信号发送至所述图像识别模块，所述图像识别模块调用部署于所述IOS客户端的模型对步骤1中经过处理的植物叶片图像直接进行识别，并于所述人机交互页面实时展示识别结果；
步骤4：用户选择服务器端识别后，所述人机交互页面将控制信号发送至所述图像处理模块并利用其对图片进行压缩处理，压缩处理完毕后随着所述人机交互页面发送请求至所述服务器端的同时，将压缩处理的图像通过无线网络传输至所述服务器端；
步骤5：所述服务器端接收来自所述IOS客户端传来的图像数据后，调用部署于自身的模型对图像数据进行植物叶片识别，并返回结果至所述IOS客户端的人机交互页面上实时展示识别结果。
5.根据权利要求4所述的一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，所述的步骤3中部署于所述IOS客户端的模型为轻量级网络模型mobileNet。
6.根据权利要求4所述的一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，所述步骤5中部署于自身的模型为基于分段损失加权的生成式对抗网络模型。
7.根据权利要求6所述的一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，调用所述基于分段损失加权的生成式对抗网络模型对图像数据进行植物叶片识别的过程中控制度量学习在不同的训练阶段采用不同形式的损失，训练前期采用第二种形式损失函数，训练过程中，负样本与选定样本之间的距离和正样本与选定样本之间的距离小于margin时，切换采用第一种形式损失函数。
8.根据权利要求4所述的一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，所述的步骤4中对图片进行压缩处理的过程具体包括：选取一个阈值，采用SR针对植物叶片图像进行压缩，当Pre PSNR大于预定阈值时，将图像下采样并解码后进行SRCNN滤波，至此完成压缩处理。
9.根据权利要求4所述的一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，所述的步骤1具体包括：所述IOS客户端通过拍摄植物叶片图像或选取本地存储的植物叶片图像获取植物叶片图像后，上传至所述IOS客户端中的图像处理模块以进行复杂背景的分割处理。
10.根据权利要求9所述的一种基于所述的基于度量学习和深度特征学习的植物叶片识别系统的植物叶片识别方法，其特征在于，所述复杂背景的分割处理通过部署于所述IOS客户端中的图像处理模块中的SRN-DeblurNet网络结构实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011315894.5A CN112418082A (zh) | 2020-11-22 | 2020-11-22 | 基于度量学习和深度特征学习的植物叶片识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011315894.5A CN112418082A (zh) | 2020-11-22 | 2020-11-22 | 基于度量学习和深度特征学习的植物叶片识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112418082A true CN112418082A (zh) | 2021-02-26 |
Family
ID=74777858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011315894.5A Pending CN112418082A (zh) | 2020-11-22 | 2020-11-22 | 基于度量学习和深度特征学习的植物叶片识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418082A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949796A (zh) * | 2021-03-23 | 2021-06-11 | 青岛农业大学 | 一种基于深度学习的混合式病虫害识别装置及方法 |
| CN114663766A (zh) * | 2022-04-02 | 2022-06-24 | 广西科学院 | 基于多图像协同注意力机制的植物叶片识别系统及方法 |
| CN116245855A (zh) * | 2023-03-15 | 2023-06-09 | 云南大学 | 作物品种鉴定方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803093A (zh) * | 2016-12-06 | 2017-06-06 | 同济大学 | 一种基于叶片纹理特征和iOS平台的植物物种识别方法 |
| CN110968734A (zh) * | 2019-11-21 | 2020-04-07 | 华东师范大学 | 一种基于深度度量学习的行人重识别方法及装置 |
| CN111814591A (zh) * | 2020-03-31 | 2020-10-23 | 同济大学 | 基于生成式对抗网络模型和ios平台的植物叶片识别系统 |
| CN111950391A (zh) * | 2020-07-23 | 2020-11-17 | 中国农业科学院农业信息研究所 | 果树芽体的识别方法及装置 |
-
2020
- 2020-11-22 CN CN202011315894.5A patent/CN112418082A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803093A (zh) * | 2016-12-06 | 2017-06-06 | 同济大学 | 一种基于叶片纹理特征和iOS平台的植物物种识别方法 |
| CN110968734A (zh) * | 2019-11-21 | 2020-04-07 | 华东师范大学 | 一种基于深度度量学习的行人重识别方法及装置 |
| CN111814591A (zh) * | 2020-03-31 | 2020-10-23 | 同济大学 | 基于生成式对抗网络模型和ios平台的植物叶片识别系统 |
| CN111950391A (zh) * | 2020-07-23 | 2020-11-17 | 中国农业科学院农业信息研究所 | 果树芽体的识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| NYAIOT: "深度学习之三元组损失原理与选取策略", 《CSDN》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949796A (zh) * | 2021-03-23 | 2021-06-11 | 青岛农业大学 | 一种基于深度学习的混合式病虫害识别装置及方法 |
| CN114663766A (zh) * | 2022-04-02 | 2022-06-24 | 广西科学院 | 基于多图像协同注意力机制的植物叶片识别系统及方法 |
| CN116245855A (zh) * | 2023-03-15 | 2023-06-09 | 云南大学 | 作物品种鉴定方法、装置、设备及存储介质 |
| CN116245855B (zh) * | 2023-03-15 | 2023-09-01 | 云南大学 | 作物品种鉴定方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418082A (zh) | 基于度量学习和深度特征学习的植物叶片识别系统及方法 | |
| CN108140032B (zh) | 用于自动视频概括的设备和方法 | |
| CN108460812B (zh) | 一种基于深度学习的表情包生成系统及方法 | |
| CN109389037B (zh) | 一种基于深度森林和迁移学习的情感分类方法 | |
| CN110033023B (zh) | 一种基于绘本识别的图像数据处理方法及系统 | |
| CN109961097B (zh) | 一种嵌入式场景下基于边缘计算的图像分类调度方法 | |
| CN104112143A (zh) | 基于加权超球支持向量机算法的图像分类方法 | |
| CN104809469A (zh) | 一种面向服务机器人的室内场景图像分类方法 | |
| CN107169148A (zh) | 图像搜索方法、装置、设备以及存储介质 | |
| CN111611889B (zh) | 基于改进卷积神经网络的农田微型虫害识别装置 | |
| CN111460195B (zh) | 图片处理方法、装置、存储介质及电子设备 | |
| CN110633669A (zh) | 家居环境中基于深度学习的移动端人脸属性识别方法 | |
| CN104346630A (zh) | 一种异构特征融合的云花卉识别方法 | |
| CN110348503A (zh) | 一种基于卷积神经网络的苹果品质检测方法 | |
| CN111814591A (zh) | 基于生成式对抗网络模型和ios平台的植物叶片识别系统 | |
| CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
| CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN112492297A (zh) | 一种对视频的处理方法以及相关设备 | |
| CN109460792A (zh) | 一种基于图像识别的人工智能模型训练方法及装置 | |
| CN116977937A (zh) | 一种行人重识别的方法及系统 | |
| CN108805279A (zh) | 一种利用照片快速生成视频的方法 | |
| CN114640669A (zh) | 边缘计算方法及装置 | |
| CN114663766A (zh) | 基于多图像协同注意力机制的植物叶片识别系统及方法 | |
| CN101504723B (zh) | 一种建立投影空间的方法和装置 | |
| CN115588150A (zh) | 基于改进YOLOv5-L的宠物犬视频目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |
|
| RJ01 | Rejection of invention patent application after publication |