CN111582051B - 一种基于无人机的毒品原植物识别方法、系统及存储介质 - Google Patents

一种基于无人机的毒品原植物识别方法、系统及存储介质 Download PDF

Info

Publication number
CN111582051B
CN111582051B CN202010303295.5A CN202010303295A CN111582051B CN 111582051 B CN111582051 B CN 111582051B CN 202010303295 A CN202010303295 A CN 202010303295A CN 111582051 B CN111582051 B CN 111582051B
Authority
CN
China
Prior art keywords
drug
original
cannabis
plant
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010303295.5A
Other languages
English (en)
Other versions
CN111582051A (zh
Inventor
翟懿奎
郑磊
周文略
柯琪锐
余翠琳
应自炉
甘俊英
秦传波
曾军英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010303295.5A priority Critical patent/CN111582051B/zh
Publication of CN111582051A publication Critical patent/CN111582051A/zh
Application granted granted Critical
Publication of CN111582051B publication Critical patent/CN111582051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机的毒品原植物识别方法、系统及存储介质，包括：无人机进行图像采集；对所述图像进行区分选择出大麻近红外图像和大麻伪彩色图像；对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取；将所述大麻近红外图像和所述大麻伪彩色图像提取出来的特征量进行融合并用于训练分类网络，得到大麻判别模型；基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，然后利用毒品原植物判别模型进行识别处理，从而能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

Description

一种基于无人机的毒品原植物识别方法、系统及存储介质
技术领域
本发明涉及毒品侦查领域，特别涉及一种基于无人机的毒品原植物识别方法、系统及存储介质。
背景技术
多项研究表明，使用诸如海洛因和大麻之类的非法毒品会严重影响人体。以大麻为例，这种毒品作物的易加工性使其成为全世界消费最多的毒品。与其他作物不同，它不需要特殊的天气条件即可种植。这使得禁止大麻的种植很困难，任何地方都可能成为潜在的种植地。
传统的非法毒品原植物勘查依赖人工踏查，通过组织大量的人力，由公安人员依据掌握的知识与经验对疑似毒品原植物在植物形态上进行辨认。然而随着近些年打击毒品力度的加大，非法种植呈现隐秘化趋势，多在人迹罕至的丛林山区，很多区域地形复杂险峻、崇山密林，盲点死角多。
近年来，随着遥感技术的发展，基于卫星遥感数据的植物检测已经获得广泛地应用。但是卫星遥感技术存在图像分辨率低，噪声干扰因素多，无云天气和地表覆盖物遮挡等限制。
此外，在实际过程中，很难得到大量带有标签的毒品原植物训练数据。在以往毒品原植物识别方法中，大多数依赖像素的光谱特征，图像可能非常嘈杂、容易出错，且从测试图像中的数百万个像素进行分类对设备的计算能力要求高。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于无人机的毒品原植物识别方法，能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
本发明还提出一种应用上述基于无人机的毒品原植物识别方法的基于无人机的毒品原植物识别系统。
本发明还提出一种应用上述基于无人机的毒品原植物识别方法的基于无人机的毒品原植物识别存储介质。
根据本发明第一方面实施例的基于无人机的毒品原植物识别方法，包括：
利用无人机进行图像采集；
对所述图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，得到特征量；
对所述特征量进行融合并用于训练分类网络，得到大麻判别模型；
基于所述大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型；
利用所述毒品原植物判别模型进行毒品原植物识别。
根据本发明实施例的基于无人机的毒品原植物识别方法，至少具有如下有益效果：利用无人机采集图像，然后从采集的图像中选择大麻近红外图像、大麻伪彩色图像作为输入数据，经过特征提取网络获取不同图像特征，再由融合特征分类网络识别大麻；以大麻识别网络为源域，通过弱监督对抗性域适应训练，获得其它毒品原植物判别模型；上述毒品原植物识别系统的网络参数量少，计算效率高，可由无人机本地处理；不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
根据本发明的一些实施例，所述无人机飞抵侦查区域，包括：
无人机依据A*算法规划飞行路线；
无人机依据所述飞行路线，到达待侦查区域；
无人机对所述待侦查区域进行图像采集。
根据本发明的一些实施例，所述对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，包括：
利用第一轻量化子网络对所述大麻近红外图像进行特征提取；
利用第二轻量化子网络对所述大麻伪彩色图像进行特征提取。
根据本发明的一些实施例，所述第一轻量化子网络包括深度分离卷积层、全连接层和若干个辅助层，所述辅助层包括池化层、drop-out层、激活层和数据压平层。
根据本发明的一些实施例，所述第二轻量化子网络包括卷积层、全连接层、批量归一化层、激活层和池化层。
根据本发明的一些实施例，所述利用所述特征量进行融合并用于训练分类网络，得到大麻判别模型，包括：
通过所述大麻近红外图像得到近红外特征量，通过所述大麻伪彩色图像得到伪彩色特征量；
将所述近红外特征量和所述伪彩色特征量进行结合，得到特征张量；
使用最小最大归一化算法对所述特征张量进行归一化预处理；
将经过归一化预处理的特征张量对分类网络进行训练，得到大麻判别模型。
根据本发明的一些实施例，所述基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，包括：
保持大麻判别模型的大麻分类网络和大麻特征映射不变，用所述大麻特征映射初始化毒品原植物特征映射；
优化生成对抗网络函数，获得目标域分类器和毒品原植物特征映射，生成毒品原植物判别模型。
根据本发明的一些实施例，所述使用最小最大归一化算法对所述特征张量进行归一化预处理，其中，所述最小最大归一化算法可表示为：
Figure BDA0002454817300000031
其中f'是最终归一化张量，f是原始张量，min(fi)和max(fi)分别是张量f的最小值和最大值。
根据本发明第二方面实施例的基于无人机的毒品原植物识别系统，还包括：
选择单元，用于对无人机采集的图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
特征提取单元，用于对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取；
处理单元，用于将所述大麻近红外图像和所述大麻伪彩色图像提取出来的特征量进行融合；
训练单元，用于将融合后特征量训练分类网络，从而得到大麻判别模型；
对抗迁移学习单元，能够基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型。
根据本发明实施例的基于无人机的毒品原植物识别系统，至少具有如下有益效果：通过上述的基于无人机的毒品原植物识别方法，能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
根据本发明第三方面实施例的基于无人机的毒品原植物识别存储介质，能够应用根据本发明上述第一方面实施例的基于无人机的毒品原植物识别方法。
根据本发明实施例的基于无人机的毒品原植物识别存储介质，至少具有如下有益效果：基于无人机的毒品原植物识别存储介质存储有基于无人机的毒品原植物识别系统的基于无人机的毒品原植物识别方法指令，能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一的基于无人机的毒品原植物识别方法的流程图；
图2为本发明实施例一的基于无人机的毒品原植物识别方法中的特征提取的工作流程图；
图3为本发明实施例一的基于无人机的毒品原植物识别方法中的融合训练的工作流程图；
图4为本发明实施例一的基于无人机的毒品原植物识别方法中的对抗迁移学习的工作流程图；
图5为本发明实施例二的基于无人机的毒品原植物识别系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明的描述中，除非另有明确的限定，设置、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
实施例一
参照图1，本发明实施例一提供了一种基于无人机的毒品原植物方法，其中的一种实施例包括但不限于以下步骤：
步骤S100，利用无人机进行图像采集。
在本实施例中，本步骤无人机飞到待侦查的区域，然后利用设置在无人机上的多光谱成像模块进行图像信息的采集，为了后续的毒品原植物识别做好准备。其中，多光谱成像模块主要包括多维运动控制器、光谱相机和成像光谱仪。多光谱图像不仅能反映毒品原植物的光谱特性，而且能够反映其细节特征。每个波段的像素值都是毒品原植物光谱特征的表现，理想情况下与周围植物的光谱特性不相关。使用此模块进行扫描，可以获得数百甚至上千波段的光谱信息。无人机遥感虽然在检测范围上不如卫星遥感，但无人机遥感的数据分辨率更高，对毒品原植物的判断更为准确，而且不受天气的干扰。无人机选择飞行噪声相对较小的无人机，增强侦查的隐蔽化程度，降低被非法分子发现风险。
步骤S200，对图像进行区分选择出大麻近红外图像和大麻伪彩色图像。
在本实施例中，本步骤主要将多光谱成像模块采集的图像进行区分，选择出大麻近红外图像和大麻伪彩色图像；在近红外波段，大麻作物的平均值高于地球其他物质的平均值，该项特征可用于遥感图像中识别大麻作物；选择数据驱动集成方法，重点放在突出显示绿色区域的不同表示形式上。然后将不同波段应用于相互补充的不同数据驱动方法，以避免单独的分类错误。选择以下两种图像表示。近红外图像的的捕获的光波长在0.75至1.4μm之间。伪彩色图像与正常的真彩色图像相比，伪彩色图像牺牲自然的颜色配置，以便于检测不容易辨别的特征。根据大麻的物理特性，通过选择和重新排列光谱带。使用以下映射选择伪彩色图像表示形式：BGRN→NRG，其中N、R和G分别是近红外，红色和绿色图像通道。
步骤S300，对大麻近红外图像和大麻伪彩色图像进行特征提取，得到特征量。
在本实施例中，本步骤对大麻近红外图像和大麻伪彩色图像进行特征提取，得到特征量，为了大麻分类网络的训练提供数据准备。
步骤S400，对特征量进行融合并用于训练分类网络，得到大麻判别模型。
在本实施例中，本步骤由于对大麻近红外图像和大麻伪彩色图像提取出来的特征量来自于不同图像表示的不同特征提取器，因此所有特征的范围应归一化，使每个特征对特征张量的贡献大致成比例，因此需要将大麻近红外图像特征量和大麻伪彩色图像特征量进行融合，然后将融合后的特征量对分类网络和特征映射，从而得到大麻判别模型。
步骤S500，基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型。
在本实施例中，毒品原植物并不只大麻一种，还包括罂粟、古柯等其它毒品原植物。为了能在小量标注数据的情况下，将模型泛化至对毒品原植物种类的识别，并降低其他毒品原植物的标注图像需求，使用弱监督深度对抗迁移学习框架；基于得到的大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，通过有限的数据获得泛化性能高的检测模型；上述毒品原植物识别系统的网络参数量少，计算效率高，可由无人机本地处理；不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
步骤S600，利用毒品原植物判别模型进行毒品原植物识别。
在本实施例中，利用生成的毒品原植物判别模型进行毒品原植物识别，从而能够实现利用无人机采集图像，然后将采集到的图像数据输入毒品原植物判别模型进行识别，进而能够达到对毒品原植物的识别处理，不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
本实施例的步骤S100中，可以包括但不限于以下步骤：
无人机依据A*算法规划飞行路线。
在本实施例中，无人机侦查平台采用A*算法运用启发式搜索运用启发信息进行路径规划，由启发式函数来排列OPEN表中节点的顺序，使搜索沿着某个被认为最有希望的前沿区段扩展，其中OPEN表保存所有已生成而未考察的节点。用符号f(n)表示节点n的估价函数值，f是从起始节点n到达目标节点的最小代价路径上的估算代价。估价值f越小，意味着节点位于最优解路径上的“希望”越大，最后找到的最优路径即平均综合指标为最小的路径。估价函数为f(n)＝h(n)+g(n)，启发函数h(n)＝节点n到目标节点的最小代价路径的代价估计值，利用h(n)来决定节点的扩展顺序，h(n)的值是对当前状态n的一个估计。g(n)＝从起始节点S到任一节点n的路径代价。
无人机依据所述飞行路线，到达待侦查区域。
在本实施例中，无人机依据A*算法得出的最佳路径，然后驱动到达待侦查区域处，为了图像采集扫描做好准备。
无人机对待侦查区域进行图像采集。
在本实施例中，无人机到达待侦查区域之后，然后利用设置在无人机上的多光谱成像模块进行图像信息的采集，为了后续的毒品原植物识别做好准备。其中，多光谱成像模块主要包括多维运动控制器、光谱相机和成像光谱仪。多光谱图像不仅能反映毒品原植物的光谱特性，而且能够反映其细节特征。每个波段的像素值都是毒品原植物光谱特征的表现，理想情况下与周围植物的光谱特性不相关。使用此模块进行扫描，可以获得数百甚至上千波段的光谱信息。
参照图2，本实施例的步骤S300中，可以包括但不限于以下步骤：
步骤S310，利用第一轻量化子网络对所述大麻近红外图像进行特征提取。
在本实施例中，本步骤的具体实施方式可以为如下所述：
第一轻量化子网络引入深度分离卷积，减少网络计算量。将传统卷积两步分离开进行，分别是深度卷积和逐点卷积。首先按照通道按位相乘计算；然后依据上一步得到的结果，使用1*1的卷积核进行卷积运算。通过深度分离卷积，计算量下降
Figure BDA0002454817300000071
N为输出通道数，DK为卷积核尺寸。
第一轻量化子网络处理近红外图像，输入数据为28×28的图像patches。第一轻量化子网络结构：第一轻量化子网络包括深度分离卷积层、一个全连接层和多个辅助层。辅助层包括池化层、drop-out层、激活层、Flatten层。该网络主要功能为特征提取器，并用于鉴别近红外图像表示的正样本和负样本。损失函数为加法角余量损失函数，将角度边缘t置于cos(θ)函数内部，使公式cos(θ+t)在θ∈[0,π-t]范围内小于cos(θ)，并且对分类不同植物的要求严苛。该函数中的cos(θ+t)不仅形式简单，并且动态依赖于sinθ，避免因无人机扫描角度造成的分类错误。公式如下所示：
Figure BDA0002454817300000072
s为植物特征分布的超球面半径。在特征向量xi和权重Wyi之间添加角余量罚分m，以增强不同类内部的紧凑性和类间的差异。最后的soft-max层标识两个类别，分别是近红外图像表示的正样本与负样本。
第一轻量化子网络训练步骤：
1、以28×28的patches为输入数据，将90％的训练数据作为训练集，10％的训练数据作为验证集。0/1分别作为标签代表负样本与正样本。
2、学习率设置为0.01。权重使用Xavier初始化进行初始化，Xavier初始化公式如下所示
Figure BDA0002454817300000081
3、选择ADAMAX优化算法，使用20个Epoch的32张图像训练。
4、训练至模型拟合，将最后的全连接层与softmax函数摘除，此时网络从判别二分类任务转换成输出128维张量，代表近红外图像提取的特征。
步骤S320，利用第二轻量化子网络对所述大麻伪彩色图像进行特征提取。
在本实施例中，本步骤的具体实施方式可以为如下所述：
第二轻量化子网络处理伪彩色图像的数据，输入层接受32×32的图像patches。patches划分方法同第一轻量化子网络相同。
第二轻量化子网络结构：由41个主要层(39个卷积层和2个全连接层)组成，并且包含批量归一化层，激活层和全连接层以及3个池化层。为了降低网络参数量和计算量，降低无人机本地处理的时间延迟，引入两个超参数：宽度乘数和分辨率乘数，前者按比例减少通道数，取值范围为(0，1]。后者按比例降低特征图的大小。用h-swish激活函数替代relu函数，在减小卷积通道数的情况下采用该函数可以保持精度，并且减少计算量。
Figure BDA0002454817300000082
该网络结构包含一组密集块，每个密集块由批量归一化层，激活层和卷积层以及输出组成。最后一层与softmax激活函数一起用于分类，判别伪彩色图像表示的正样本与负样本。损失函数为加法角余量损失函数。
第二轻量化子网络训练步骤：
1、采用组合增强方式对大麻图像进行增强，包括随机旋转和随机裁剪，为网络提供更多的正样本。为了保证随机裁剪后得到的patch大小保持一致，使用Resize的方法对裁剪后的patch进行缩放。其中Resize采用双线性插值法。
2、给定批处理大小batchsize＝32，从数据增强的正样本和原始负样本中分别随机选取batchsize/2个patches，保证在训练过程中正负样本均衡。
3、将选取的训练图像集划分为训练集和验证集，比例为10:1。
训练至模型拟合，将网络中全连接层与softmax函数摘除，网络从判别二分类任务转换成输出64维张量，代表大麻的伪彩色图像特征。
参照图3，步骤S400中，可以包括但不限于以下步骤：
步骤S410，通过大麻近红外图像得到近红外特征量，通过大麻伪彩色图像得到伪彩色特征量。
在本实施例中，本步骤从大麻近红外图像中提取出近红外特征量，从大麻伪彩色图像中得到伪彩色特征量，为了大麻分类网络做好准备。
步骤S420，将近红外特征量和伪彩色特征量进行结合，得到特征张量。
在本实施例中，本步骤将将近红外特征量和伪彩色特征量进行结合，得到特征张量，形成数据的初步融合。
步骤S430，使用最小最大归一化算法对所述特征张量进行归一化预处理。
在本实施例中，最终模型使用第一轻量化子网络和第二轻量化子网络的生成特征。根据两个不同图像的特征提取器，特征张量描述两种图像表示的互补程度。
由于特征张量来自于不同图像表示的不同特征提取器，因此所有特征的范围应归一化，使每个特征对特征张量的贡献大致成比例。使用最小最大归一化方法，通过以下方式归一化：
Figure BDA0002454817300000091
其中f'是最终归一化张量，f是原始张量，min(fi)和max(fi)分别是张量f的最小值和最大值。
步骤S440，将经过归一化预处理的特征张量对分类网络进行训练，得到大麻判别模型。
在本实施例中，具体实施例可表述如下：
引入挤压激励模块。首先通过平均池化对上一层输出特征进行挤压操作，把每个通道2维的特征压缩成1维，得到一个特征通道向量。然后进行激励(Excitation)操作，把特征通道向量输入两个全连接层和激励函数中，建模出特征通道间的相关性，得到的输出是每个通道对应的权重，以此完成相关通道权重的分配。
该网络还包括批量归一化层，深度分离卷积层，由relu函数激活的160个神经元全连接层，dropout层。最终由softmax函数进行分类，得到大麻作物与非大麻作物的识别结果。
训练步骤：
1、将子网络1的128维张量与子网络2的64维张量结合，为每个输入图像生成128+64＝192维特征张量。
2、使用最小最大归一化法对特征张量归一化预处理。
3、使用RMSPROP优化算法对子网络3训练，批量大小为32张图像。损失函数为加法角余量损失函数，初始学习率设置为0.01，当损失在10个Epoch后停止改善时，学习率降低为原先的0.68。
4、将图像送入训练好的模型，对模型识别效果进行评估。
以上特征融合方法能够对两种不同的图像编码，将其映射到同一嵌入空间，使模型学习到的特征更为丰富，提高模型表现能力
参照图4，本实施例的步骤S500中，可以包括但不限于以下步骤：
步骤S510，保持大麻判别模型的大麻分类网络和大麻特征映射不变，用所述大麻特征映射初始化毒品原植物特征映射。
在本实施例中，本步骤的具体实施例方式可如下表述：
毒品原植物并不只大麻一种，还包括罂粟、古柯等其它毒品原植物。为了能在小量标注数据的情况下，将模型泛化至对毒品原植物种类的识别，并降低其他毒品原植物的标注图像需求，使用弱监督深度对抗迁移学习框架。
生成对抗网络(GAN)受到二人零和博弈思想的启发而提出，一共包括两个部分：一部分为生成器，此部分生成以假乱真的样本；另一部分为判别器。
弱监督学习通常分为三种类型：不完全监督、不确切监督、不准确监督。在诸多针对不完全监督环境开发的机器学习范式中，迁移学习是最流行的方式之一。在迁移学习中，天然存在一个源域，一个目标域，因此，可以免去生成样本的过程。直接将目标域的数据当作是生成样本。通常用Gf来表示特征提取器(生成器)，用Gd来表示判别器。深度对抗迁移网络的损失由两部分构成：网络训练损失和领域判别损失。
首先用大麻的标签来学习判别式表示，然后由域对抗损失学习的非对称映射将毒品原植物b数据映射到相同空间。假设大麻的图像Xs和标签Ys遵从域分布ps(x,y)，以及没有标签的毒品原植物图像Xt遵从分布ps(x,y)。采用域适应学习大麻的映射Ms及分类器Cs，然后学习适应模型，以在识别毒品原植物b中使用。
对抗性域适应方法中，主要目标是规范化大麻映射Ms和毒品原植物b映射Mt的学习，以最小化不同毒品原植物的Ms(Xs)和Mt(Xt)之间距离。
使用以下标准监督损失训练大麻的分类网络：
Figure BDA0002454817300000111
首先是域识别符D，从大麻和毒品原植物b中提取数据点进行分类。因此，D是根据标准监督损失LadvD(Xs,Xt,Ms,Mt)优化的，其中标签表示大麻，定义如下：
Figure BDA0002454817300000112
其次，根据受约束的对抗目标优化大麻和毒品原植物b的映射。以下是域适应对抗技术的一般表述。
Figure BDA0002454817300000113
Figure BDA0002454817300000114
Figure BDA0002454817300000115
大麻和毒品原植物b之间进行映射：
在仅学习大麻映射Ms的情况下，使用已知标签Ys通过统一空间判别损失进行监督训练。
鉴于毒品原植物b的数据未标注，首先做映射的特定参数化。使用区分性基本模型，将输入的图像映射到对区分性任务有用的特征空间。生成模型使用随机噪声作为输入，以在图像空间中生成样本。通常，对抗性判别器的中间特征随后用作训练特定任务分类器的特征。使用大麻的映射参数初始化毒品原植物b映射参数，在二者之间选择不同的约束。确保已设置目标映射，最大程度地减少目标之间的距离。
考虑一个分层表示，对于给定的一组等效层{l1，...ln}，每个层表示为
Figure BDA0002454817300000116
或者
Figure BDA0002454817300000117
然后可以通过分层等式约束特征空间，如下所示：
Figure BDA0002454817300000118
每个单独的层都可以独立约束。约束的形式是大麻(源)层和毒品原植物b(目标)层相等：
Figure BDA0002454817300000119
步骤S520，优化生成对抗网络函数，获得目标域分类器和毒品原植物特征映射，生成毒品原植物判别模型。
在本实施例中，本步骤的具体实施例方式可如下表述：
采用对抗损失函数学习实际映射。所有对抗性损失均使用标准分类损失LadvD训练对抗性判别器。梯度反转层可优化映射，以最大程度地提高判别器损失：
LadvM＝-LadvD
训练GAN时，使用带有倒置标签和标准损失函数训练的生成器。将优化分为两个独立的目标，一个用于生成器，一个用于判别器，LadvD仍然不变，LadvM变为：
Figure BDA0002454817300000121
LadvM具有与极小极大损失函数相同的定点特性，但为目标映射提供了更强的渐变。对源和目标使用独立映射，并且仅对抗性学习Mt。在GAN设置中，实际图像分布保持固定，并且学习生成的分布以使其匹配。使用加法角余量损失函数针对均匀分布训练映射：
Figure BDA0002454817300000122
这种损失函数可确保对抗性判别器以相同的方式看待大麻和毒品原植物b两个不同域。
使用大麻识别模型、不共享的权重和标准GAN损失。首先，由大麻的近红外图像和伪彩色图像训练得到大麻识别模型，保持大麻的映射Ms和识别网络Cs不变。接下来，取消权重共享。使用这种更灵活的学习范式，有利于学习更多特定于领域的特征。使用预训练的大麻模型作为毒品原植物b表示空间的初始化，并在对抗训练中修正源模型。使用非对称映射学习，与原始的生成对抗学习设置相似，在原始的对抗学习设置中，生成的空间将更新，直到与固定的实际空间无法区分为止。
这样就能获得针对毒品原植物b的检测识别模型。通过不停迭代，可以获得不同的毒品原植物检测识别模型，这样通过有限的数据获得泛化性能高的检测模型。
通过上述技术方案可知，无人机搭载多光谱成像模块，扫描待侦查区域内的植物，选择大麻近红外图像、大麻伪彩色图像作为输入数据，经过特征提取网络获取不同图像特征，再由融合特征分类网络识别大麻；以大麻识别网络为源域，通过弱监督对抗性域适应训练，获得其它毒品原植物判别模型；上述毒品原植物识别系统的网络参数量少，计算效率高，可由无人机本地处理；不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
实施例二
参照图5，本发明实施例二提供了一种基于无人机的毒品原植物识别系统1000，还包括：选择单元1500，用于对多光谱成像模块1200采集的图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
特征提取单元1600，用于对大麻近红外图像和大麻伪彩色图像进行特征提取；
处理单元1700，用于将大麻近红外图像和大麻伪彩色图像提取出来的特征量进行融合；
训练单元1800，用于将融合后特征量训练分类网络，从而得到大麻判别模型；
对抗迁移学习单元1900，能够基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型。
需要说明的是，由于本实施例中的基于无人机的毒品原植物识别系统与上述实施例一中的基于无人机的毒品原植物识别方法基于相同的发明构思，因此，方法实施例一中的相应内容同样适用于本系统实施例，此处不再详述。
在本实施例中，多光谱成像模块1200包括多维运动控制器1210、光谱相机1220和成像光谱仪1230。
在本实施例中，基于无人机的毒品原植物识别系统1000还包括GPS1300和高清摄像头1400；GPS1300实时获取无人机1100的姿态、经纬度、距离、速度和高度等信息，并对其进行跟踪，定位和控制；高清摄像头1400能够对区域内的植物进行低空航拍。
通过上述方案可知，无人机1100搭载多光谱成像模块1200，扫描待侦查区域内的植物，选择大麻近红外图像、大麻伪彩色图像作为输入数据，经过特征提取网络获取不同图像特征，再由融合特征分类网络识别大麻；以大麻识别网络为源域，通过弱监督对抗性域适应训练，获得其它毒品原植物判别模型；上述毒品原植物识别系统的网络参数量少，计算效率高，可由无人机1100本地处理；不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。
实施例三
本发明实施例三还提供了一种基于无人机的毒品原植物识别存储介质，所述基于无人机的毒品原植物识别存储介质存储有基于无人机的毒品原植物识别系统可执行指令，基于无人机的毒品原植物识别系统可执行指令用于使基于无人机的毒品原植物识别系统执行上述的基于无人机的毒品原植物识别方法，例如，执行以上描述的图1中的方法步骤S100至S600，实现图5中的单元1000-1900的功能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于无人机的毒品原植物识别方法，其特征在于，包括：
利用无人机进行图像采集；
对所述图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，得到特征量；
对所述特征量进行融合并用于训练分类网络，得到大麻判别模型；
基于所述大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型；
利用所述毒品原植物判别模型进行毒品原植物识别；
其中，所述大麻判别模型包括大麻映射Ms，所述毒品原植物判别模型包括毒品原植物映射Mt，所述大麻映射的等效层表示为
Figure FDA0004133219290000011
所述毒品原植物映射的等效层表示为/>
Figure FDA0004133219290000012
ψ(Ms,Mt)表示所述大麻映射的等效层/>
Figure FDA0004133219290000013
和所述毒品原植物映射的等效层/>
Figure FDA0004133219290000014
的特征空间；所述大麻映射的等效层/>
Figure FDA0004133219290000015
和所述毒品原植物映射的等效层/>
Figure FDA0004133219290000016
的层数相等，表示如下：
Figure FDA0004133219290000017
其中，li表示不同的等效层。
2.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述利用无人机进行图像采集，包括：
无人机依据A*算法规划飞行路线；
无人机依据所述飞行路线，到达待侦查区域；
无人机对所述待侦查区域进行图像采集。
3.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，包括：
利用第一轻量化子网络对所述大麻近红外图像进行特征提取；
利用第二轻量化子网络对所述大麻伪彩色图像进行特征提取。
4.根据权利要求3所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述第一轻量化子网络包括深度分离卷积层、全连接层和若干个辅助层，所述辅助层包括池化层、drop-out层、激活层和数据压平层。
5.根据权利要求3所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述第二轻量化子网络包括卷积层、全连接层、批量归一化层、激活层和池化层。
6.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述对所述特征量进行融合并用于训练分类网络，得到大麻判别模型，包括：
通过所述大麻近红外图像得到近红外特征量，通过所述大麻伪彩色图像得到伪彩色特征量；将所述近红外特征量和所述伪彩色特征量进行结合，得到特征张量；
使用最小最大归一化算法对所述特征张量进行归一化预处理；
利用经过归一化预处理的特征张量对分类网络进行训练，得到大麻判别模型。
7.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，包括：
保持大麻判别模型的大麻分类网络和大麻特征映射不变，用所述大麻特征映射初始化毒品原植物特征映射；
优化生成对抗网络函数，获得目标域分类器和毒品原植物特征映射，生成毒品原植物判别模型。
8.根据权利要求6所述的一种基于无人机的毒品原植物识别方法，其特征在于：所述使用最小最大归一化算法对所述特征张量进行归一化预处理，其中，所述最小最大归一化算法可表示为：
Figure FDA0004133219290000021
其中f'是最终归一化张量，f是原始张量，min(fi)和max(fi)分别是张量f的最小值和最大值。
9.一种基于无人机的毒品原植物识别系统，其特征在于：还包括：
选择单元，用于对无人机采集的图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
特征提取单元，用于对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取；
处理单元，用于将所述大麻近红外图像和所述大麻伪彩色图像提取出来的特征量进行融合；训练单元，用于将融合后特征量训练分类网络，从而得到大麻判别模型；
对抗迁移学习单元，能够基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型；
其中，所述大麻判别模型包括大麻映射Ms，所述毒品原植物判别模型包括毒品原植物映射Mt，所述大麻映射的等效层表示为
Figure FDA0004133219290000031
所述毒品原植物映射的等效层表示为/>
Figure FDA0004133219290000032
ψ(Ms,Mt)表示所述大麻映射的等效层/>
Figure FDA0004133219290000033
和所述毒品原植物映射的等效层/>
Figure FDA0004133219290000034
的特征空间；所述大麻映射的等效层/>
Figure FDA0004133219290000035
和所述毒品原植物映射的等效层/>
Figure FDA0004133219290000036
的层数相等，表示如下：
Figure FDA0004133219290000037
其中，li表示不同的等效层。
10.一种基于无人机的毒品原植物识别存储介质，其特征在于：所述基于无人机的毒品原植物识别存储介质存储有基于无人机的毒品原植物识别系统可执行指令，基于无人机的毒品原植物识别系统可执行指令用于使基于无人机的毒品原植物识别系统执行如权利要求1至8任一所述的基于无人机的毒品原植物识别方法。
CN202010303295.5A 2020-04-17 2020-04-17 一种基于无人机的毒品原植物识别方法、系统及存储介质 Active CN111582051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010303295.5A CN111582051B (zh) 2020-04-17 2020-04-17 一种基于无人机的毒品原植物识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010303295.5A CN111582051B (zh) 2020-04-17 2020-04-17 一种基于无人机的毒品原植物识别方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111582051A CN111582051A (zh) 2020-08-25
CN111582051B true CN111582051B (zh) 2023-06-16

Family

ID=72122387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010303295.5A Active CN111582051B (zh) 2020-04-17 2020-04-17 一种基于无人机的毒品原植物识别方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111582051B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055576A (zh) * 2016-05-20 2016-10-26 大连理工大学 一种大规模数据背景下的快速有效的图像检索方法
CN108898112A (zh) * 2018-07-03 2018-11-27 东北大学 一种近红外人脸活体检测方法及系统
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
CN110909637A (zh) * 2019-11-08 2020-03-24 清华大学 一种基于视触融合的室外移动机器人地形识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055576A (zh) * 2016-05-20 2016-10-26 大连理工大学 一种大规模数据背景下的快速有效的图像检索方法
CN108898112A (zh) * 2018-07-03 2018-11-27 东北大学 一种近红外人脸活体检测方法及系统
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
CN110909637A (zh) * 2019-11-08 2020-03-24 清华大学 一种基于视触融合的室外移动机器人地形识别方法

Also Published As

Publication number Publication date
CN111582051A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
Kattenborn et al. Review on Convolutional Neural Networks (CNN) in vegetation remote sensing
Chen et al. Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images
Dhingra et al. A review of remotely sensed satellite image classification
Zhang et al. Ensemble multiple kernel active learning for classification of multisource remote sensing data
Civco et al. A comparison of land use and land cover change detection methods
CN109063754B (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN107346434A (zh) 一种基于多特征及支持向量机的植物病虫害检测方法
CN112668648B (zh) 基于对称融合网络的红外可见光融合识别方法
CN107463954B (zh) 一种模糊异谱图像的模板匹配识别方法
Opitz et al. Object recognition and image segmentation: the Feature Analyst® approach
Marconi et al. Continental-scale hyperspectral tree species classification in the United States National Ecological Observatory Network
CN115170961A (zh) 一种基于深度跨域少样本学习的高光谱图像分类方法及系统
CN114723994A (zh) 一种基于双分类器对抗增强网络的高光谱图像分类方法
Li et al. A new combination classification of pixel-and object-based methods
Öztürk et al. The impacts of vegetation indices from UAV-based RGB imagery on land cover classification using ensemble learning
CN112330562B (zh) 一种异构遥感图像变换方法及系统
US11526807B2 (en) Machine learning systems and methods with source-target adaptation
Perkins et al. Genie Pro: Robust image classification using shape, texture, and spectral information
CN111582051B (zh) 一种基于无人机的毒品原植物识别方法、系统及存储介质
Im et al. Fusion of feature selection and optimized immune networks for hyperspectral image classification of urban landscapes
Moreno et al. Comparison between new digital image classification methods and traditional methods for land-cover mapping
CN113409351B (zh) 基于最优传输的无监督领域自适应遥感图像分割方法
Liu et al. A novel deep transfer learning method for sar and optical fusion imagery semantic segmentation
Gómez-Chova et al. Advances in synergy of AATSR-MERIS sensors for cloud detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant