CN112990107B - 高光谱遥感图像水下目标检测方法、装置及计算机设备 - Google Patents

高光谱遥感图像水下目标检测方法、装置及计算机设备 Download PDF

Info

Publication number
CN112990107B
CN112990107B CN202110419442.XA CN202110419442A CN112990107B CN 112990107 B CN112990107 B CN 112990107B CN 202110419442 A CN202110419442 A CN 202110419442A CN 112990107 B CN112990107 B CN 112990107B
Authority
CN
China
Prior art keywords
water body
target
end member
network
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110419442.XA
Other languages
English (en)
Other versions
CN112990107A (zh
Inventor
钟平
齐嘉豪
薛伟
刘星月
姚爱欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110419442.XA priority Critical patent/CN112990107B/zh
Publication of CN112990107A publication Critical patent/CN112990107A/zh
Application granted granted Critical
Publication of CN112990107B publication Critical patent/CN112990107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种高光谱遥感图像水下目标检测方法、装置及计算机设备，所述方法基于不同的解混方法将像元从高光谱水体图像中分离出来；通过目标检测网络实现对水体‑目标像元的端元再分解；利用一维卷积神经在提取光谱特征的同时克服外界环境变换所造成光谱变化，并通过全连接网络实现对输入光谱曲线的重构，将重构误差作为目标函数同时附加水体模型约束对目标检测网络进行网络训练，提升本方法泛化能力。将目标检测网络的输出作为端元分解结果，根据丰度值和所有目标‑水体混合端元的丰度图得到最后的检测结果，由于检测结果是基于集成思想而得到的，可以保证其具有较小的检测虚警率；本发明可以在任何场景下对特定的水下目标进行检测识别。

Description

高光谱遥感图像水下目标检测方法、装置及计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种高光谱遥感图像水下目标检测方法、装置及计算机设备。
背景技术
高光谱水下目标检测的主要目的是克服水体环境对目标特性的干扰，在不具有明显纹理特性信息的前提条件下对水下感兴趣的目标进行检测识别并为后续的水下场景理解任务提供结果支撑。
在遥感对海探测领域，通常需要对特定的水下目标进行检测识别。由于遥感图像存在成像视场大、空间分辨率低等特点，基于图像传统光学特性的相关算法不能较好地完成检测识别任务。然而，如果不能找到一种精确且高效的水下目标检测算法，遥感图像海洋探测学中的高层次研究工作就得不到足够的技术与结论支撑，进而滞缓整个研究领域的发展进程。
目前，基于高光谱图像的水下目标检测方法主要可分为两类：基于水体测量模型的水下目标检测算法、基于距离学习的水下目标检测算法。这两种方法的检测结果都依赖于对水体固有属性反演结果的好坏，换言之现有方法必须保证在对水体固有属性进行精确预测的前提条件下才能取得较好的检测识别结果。在高光谱图像水下目标检测任务当中，由于存在水体环境的影响而导致水下目标光谱曲线的指纹信息存在较大的不确定性，导致现有基于目标光学指纹特性的高光谱目标检测无法获取到足够的先验信息，使得最终的检测识别结果存在较大的误差无法在具体的实际应用中发挥出相应的性能。
发明内容
基于此，有必要针对上述技术问题，提供一种不需要先验信息可以在任何场景下对特定的水下目标进行检测识别的一种高光谱遥感图像水下目标检测方法、装置及计算机设备。
一种高光谱遥感图像水下目标检测方法，所述方法包括：
获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元。
根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元。
构建目标检测网络，所述目标检测网络包括编码器网络和解码器网络；所述编码器网络包括一维卷积神经网络；所述解码器网络包括全连接层网络。
将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征。
将所述非线性的卷积光谱特征输入到所述解码器网络中，输出重构光谱曲线向量。
将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络。
获取待测高光谱遥感水体图像。
对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
在其中一个实施例中，获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元，还包括：
获取高光谱遥感水体图像。
根据所述高光谱遥感水体图像，采用通过顶点成分分析算法，得到顶点成分分析端元。
根据所述高光谱遥感水体图像，采用混合像元分解算法，得到混合像元分解端元。
根据所述高光谱遥感水体图像，采用纯元指数算法，得到纯元指数端元。
在其中一个实施例中，根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元，还包括：
根据所述不同的端元，计算得到不同端元之间的光谱信息散度。
根据所述不同的端元，以所述光谱信息散度作为度量，并采用学习向量量化算法，得到多个簇。
以端元对应的丰度值为权重系数通过加权求和将同一簇中的所有端元进行融合，得到融合后端元；所述融合包括对丰度值、丰度图和端元曲线的融合。
根据融合后端元所对应的丰度值，对融合后端元进行分类，得到水体端元和目标-水体混合端元。
在其中一个实施例中，所述编码器网络包括：一维卷积层和池化层。将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征，包括：
将所述目标-水体混合端元输入到一维卷积层，并对提取到的特征进行批量归一化操作，得到归一化特征；所述一维卷积层为感受野大小为1×3、步长为1、补零个数大小为1的一维卷积层。
将所述归一化特征输入到池化层，进行采样步长为2下采样操作，得到非线性的卷积光谱特征。
在其中一个实施例中，将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络，还包括：
根据重构光谱曲线向量和对应的输入目标-水体混合端元，采用二范数计算，得到重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异。
将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数。
根据解码器网络权重与预设参考水体曲线，得到与预设参考水体曲线距离较近的权重向量。
根据所述权重向量和预设参考水体曲线，计算得到所述权重向量到所述预设参考水体曲线的距离，并将所述距离作为目标函数的约束项。
根据所述目标函数和所述约束项，采用梯度下降法，对目标检测网络进行训练直至收敛或者达到预定训练轮数，得到训练好的目标检测网络。
在其中一个实施例中，对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果，还包括：
对所述待测高光谱遥感水体图像采用多种不同的高光谱解混算法进行处理，并将处理结果以光谱距离为度量采用聚类算法进行融合，并对融合得到的待测融合后端元进行分类，得到待测水体端元和待测目标-水体混合端元。
将所述待测目标-水体混合端元输入到训练好的目标检测网络的所述编码器网络中，得到非线性的卷积光谱特征。
将所述非线性的卷积光谱特征输入到解码器网络中，得到与待测目标-水体混合端元相同的待测重构光谱曲线向量。
根据所述待测重构光谱曲线向量到所述水体端元的光谱距离，将所述非线性的卷积光谱特征分为待测水体端元和待测目标端元。
将所述非线性的卷积光谱特征作为相应的丰度值。
根据所述丰度值和所述待测目标端元，得到最终的水下目标检测结果。
在其中一个实施例中，根据所述丰度值和所述待测目标端元，得到最终的水下目标检测结果，还包括：
以丰度值为权重系数将所述待测目标端元的丰度图进行加权融合，得到最终的水下目标检测结果。
一种高光谱遥感图像水下目标检测装置，所述装置包括：
高光谱遥感水体图像获取模块，用于获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元。
数据处理模块，用于根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元；
目标检测网络构建模块：用于构建目标检测网络，所述目标检测网络包括编码器网络、解码器网络；所述编码器网络包括一维卷积神经网络；所述解码器网络包括全连接层网络。
目标检测网络训练模块：用于将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征；将所述非线性的卷积光谱特征输入到所述解码器网络中，输出重构光谱曲线向量；将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络。
水下目标检测结果确定模块：用于获取待测高光谱遥感水体图像；对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元。
根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元；
构建目标检测网络，所述目标检测网络包括编码器网络和解码器网络；所述编码器网络包括一维卷积神经网络；所述解码器网络包括全连接层网络。
将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征。
将所述非线性的卷积光谱特征输入到所述解码器网络中，输出重构光谱曲线向量。
将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络。
获取待测高光谱遥感水体图像。
对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元。
根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元；
构建目标检测网络，所述目标检测网络包括编码器网络和解码器网络；所述编码器网络包括一维卷积神经网络；所述解码器网络包括全连接层网络。
将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征。
将所述非线性的卷积光谱特征输入到所述解码器网络中，输出重构光谱曲线向量。
将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络。
获取待测高光谱遥感水体图像。
对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
上述高光谱遥感图像水下目标检测方法、装置及计算机设备，该方法基于不同的解混方法设计出一个联合异常检测器用于将水体目标像元从高光谱水体中分离出来，在取得具有强鲁棒性分离结果的同时还抑制背景像素对检测结果的影响。之后，通过设计目标检测网络实现对水体目标像元的端元再分解；利用一维卷积神经网路构建编码器网络，在提取光谱特征的同时克服外界环境变换所造成光谱变化，并通过全连接网络实现对输入光谱曲线的重构，将重构误差作为目标函数同时附加水体模型约束对网络参数进行优化通过无监督的方式进行网络训练，从而提升发明方法的泛化能力；最后，将目标检测网络的输出作为端元分解结果，根据丰度值和所有目标-水体混合端元的丰度图得到最后的检测结果，由于检测结果是基于集成思想而得到的，可以保证其具有较小的检测虚警率；本发明可以在任何场景下对特定的水下目标进行检测识别。
附图说明
图1为一个实施例中高光谱遥感图像水下目标检测方法的流程示意图；
图2为另一个实施例中高光谱遥感图像水下目标检测方法的流程示意图；
图3为一个实施例中实验数据集的具体情况；
图4为另一个实施例中本发明的检测结果与物体位置真实值的对比图；
图5为一个实施例中高光谱遥感图像水下目标检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种高光谱遥感图像水下目标检测方法，该方法包括以下步骤：
步骤100：获取高光谱遥感水体图像；并根据高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元。
高光谱遥感水体图像是经过大气矫正等一系列预处理操作得到的高光谱水体图像。
利用多种不同的高光谱解混算法对高光谱遥感水体图像进行处理，将其转换成不同的端元。
步骤102：根据不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对融合后端元进行分类，得到水体端元和目标-水体混合端元。
通过计算不同端元之间的光谱信息散度(Spectral Information Divergence，SID)来表征其所对应的光谱距离，并且以此为度量通过聚类算法将不同解混算法所提取到的端元划分成不同的簇；之后，根据同一簇中的不同端元以及其所对应的丰度值，对端元、丰度值和丰度图进行融合，得到融合后端元。
由于水体背景像元通常在图像占据的较大比重，因此将丰度值最大的端元视为水体端元，将其余端元都是为水体目标混合像元。
步骤104：构建目标检测网络，目标检测网络包括编码器网络和解码器网络；编码器网络包括一维卷积神经网络；解码器网络包括全连接层网络。
步骤106：将目标-水体混合端元输入到编码器网络，输出非线性的卷积光谱特征。
考虑到由于外界环境因素的干扰导致高光谱水体图像存在一定的光谱变化性，因此利用一维卷积神经网络去构目标检测网络的解码器网络，并用于提取出输入的目标-水体混合端元具有局部不变性的二维光谱特征。
通过一维卷积神经网络将目标-水体混合端元压缩成一个二维向量。
二维向量是预测出丰度值特征向量。
步骤108：将非线性的卷积光谱特征输入到解码器网络中，输出重构光谱曲线向量。
步骤110：将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对目标检测网络进行训练，得到训练好的目标检测网络。
利用全连接网络对输入目标像元进行重构的本质是完成对其的端元提取，但是由于不存在任何先验信息，所以在解混结果中会得到不具有物理意义的端元。在步骤106中可以获取到水体端元，而由水体模型可知目标像元是由水体和目标线性加权所得到的，因此只要保证分解出的端元中一定存在水体端元，则另外一个端元必定会是目标-水体混合端元。所以，可以将步骤106中所求得的水体端元作为先验信息，并以此来约束端元分解的结果就可以得到具有物理意义像元分解结果。
步骤112：获取待测高光谱遥感水体图像。
步骤114：对待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
上述高光谱遥感图像水下目标检测方法中，所述方法基于不同的解混方法设计出一个联合异常检测器用于将水体目标像元从高光谱水体中分离出来，在取得具有强鲁棒性分离结果的同时还抑制背景像素对检测结果的影响。之后，通过设计目标检测网络实现对水体目标像元的端元再分解；利用一维卷积神经网路构建编码器网络，在提取光谱特征的同时克服外界环境变换所造成光谱变化，并通过全连接网络实现对输入光谱曲线的重构，将重构误差作为目标函数同时附加水体模型约束对网络参数进行优化通过无监督的方式进行网络训练，从而提升发明方法的泛化能力；最后，将目标检测网络的输出作为端元分解结果，根据丰度值和所有目标-水体混合端元的丰度图得到最后的检测结果，由于检测结果是基于集成思想而得到的，可以保证其具有较小的检测虚警率；本发明可以在任何场景下对特定的水下目标进行检测识别。
在其中一个实施例中，步骤100还包括：获取高光谱遥感水体图像；根据高光谱遥感水体图像，采用通过顶点成分分析算法，得到顶点成分分析端元；根据高光谱遥感水体图像，采用混合像元分解算法，得到混合像元分解端元；根据高光谱遥感水体图像，采用纯元指数算法，得到纯元指数端元。
在其中一个实施例中，步骤102还包括：根据不同的端元，计算得到不同端元之间的光谱信息散度；根据不同的端元，以光谱信息散度作为度量，并采用学习向量量化算法，得到多个簇；以端元对应的丰度值为权重系数通过加权求和将同一簇中的所有端元进行融合，得到融合后端元；融合包括对丰度值、丰度图和端元曲线的融合；根据融合后端元所对应的丰度值，对融合后端元进行分类，得到水体端元和目标-水体混合端元。
在其中一个实施例中，编码器网络包括：一维卷积层和池化层。步骤106还包括：将目标-水体混合端元输入到一维卷积层，并对提取到的特征进行批量归一化操作，得到归一化特征；一维卷积层为感受野大小为1×3、步长为1、补零个数大小为1的一维卷积层；将归一化特征输入到池化层，进行采样步长为2下采样操作，得到非线性的卷积光谱特征。
在其中一个实施例中，步骤110还包括：根据重构光谱曲线向量和对应的输入目标-水体混合端元，采用二范数计算，得到重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异；将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数；根据解码器网络权重与预设参考水体曲线，得到与预设参考水体曲线距离较近的权重向量；根据权重向量和预设参考水体曲线，计算得到权重向量到预设参考水体曲线的距离，并将距离作为目标函数的约束项；根据目标函数和约束项，采用梯度下降法，对目标检测网络进行训练直至收敛或者达到预定训练轮数，得到训练好的目标检测网络。
对目标函数施加了特定水体模型约束，在网络训练并达到收敛后，所提取到的端元中必定会存在类水体端元。而判定类水体端元的依据就是端元到参考水体曲线之间的距离，在所提取到两个端元中距离较小的判定为水体端元，另一个端元则是目标-水体混合端元。
在其中一个实施例中，步骤114还包括：对待测高光谱遥感水体图像采用多种不同的高光谱解混算法进行处理，并将处理结果以光谱距离为度量采用聚类算法进行融合，并对融合得到的待测融合后端元进行分类，得到待测水体端元和待测目标-水体混合端元；将待测目标-水体混合端元输入到训练好的目标检测网络的编码器网络中，得到非线性的卷积光谱特征；将非线性的卷积光谱特征输入到解码器网络中，得到与待测目标-水体混合端元相同的待测重构光谱曲线向量；根据待测重构光谱曲线向量到水体端元的光谱距离，将非线性的卷积光谱特征分为待测水体端元和待测目标端元；将非线性的卷积光谱特征作为相应的丰度值；根据丰度值和待测目标端元，得到最终的水下目标检测结果。
像元解混对应的公式如下式所示：
Figure BDA0003027226420000101
其中：x为像元光谱曲线，e为解混得到的端元，a为端元所对应的丰度值。因此像元解混的本质是将像元用解混得到的端元和其对应的丰度值线性表示。
而在解码器网络当中，因为没有使用非线性激活函数，所以输入υ到输出之间e的函数关系是：
Figure BDA0003027226420000102
所以如果将输入υ视为丰度向量，那么ω所代表的权重向量恰好就是解混得到的端元，因此如果能够较好地重构出像元光谱曲线，那么就可以将解码器网络的权重作为解混得到的端元。
由于网络权重是在训练过程中自动生成的，而重构光谱曲线本质上就是目标检测网络(目标检测网络包括编码器网络和解码器网络两个部分)也是事先就确定的，所以唯一能做的就是预测丰度向量，而丰度向量则是通过编码器网络将原始的输入通过复杂的非线性变换得到的，那么这种变换本质上是对一个未知量的估计。其中复杂的非线性变换就是卷积、非线性激活等操作。
在其中一个实施例中，步骤114还包括：以丰度值为权重系数将待测目标端元的丰度图进行加权融合，得到最终的水下目标检测结果。
在另一个实施例中，如图2所示，提供了一种高光谱遥感图像水下目标检测方法的具体流程，包括以下步骤：
第一步：将经过大气矫正等一系列预处理操作的高光谱水体图像作为输入。
第二步：利用多种不同的高光谱解混算法对输入的高光图像进行处理，将其转换成不同的端元。
2.1通过顶点成分分析(Vertex Component Analysis,VCA)算法处理输入高光谱图像得到相应端元处理结果。
2.2通过N-FINDR算法处理输入高光谱图像得到相应端元处理结果。
2.3通过纯元指数(Pure Pixel Index,PPI)算法处理输入高光谱图像得到相应端元处理结果。
第三步：以光谱距离为度量，通过聚类算法对不同解混算法所得到的结果进行融合。
3.1计算不同端元之间的光谱信息散度SID；
3.2将计算出的SID作为度量并通过学习向量量化算法将所有求解出的端元进行分类；
3.3对于同一簇的端元，更具以分度值为系数通过加权求和将所有端元进行融合，其中融合包括对丰度值、丰度图和端元曲线的融合；
3.4根据融合后端元所对应的丰度值大小进行端元分类，分为水体端元和目标-水体混合端元.
第四步：通过一维卷积神经网络去构建目标检测网络中的编码器网络，并将目标-水体混合端元压缩成一个二维向量。
4.1利用感受野大小为1×3、步长为1、补零个数大小为1的一维卷积层对原始高光谱曲线进行特征提取；
4.2对一维卷积层提取到的特征进行批量归一化操作；
4.3利用池化层对批量处理后的特征进行采样步长为2下采样操作；
4.4重复步骤4.1-4.3三次，提取出非线性的卷积光谱特征；
第五步：使用全连接层去构造目标检测网络中的解码器网络，将二维向量解码为一个维数与输入的目标-水体混合端元相同的重构光谱曲线向量。
第六步：计算重构光谱曲线向量与输入目标-水体混合端元之间的差异值并将其作为目标函数，加入水体模型约束并利用梯度下降法对步骤4和步骤5中网络结构的权重参数进行调整。
6.1通过二范数计算出重构曲线与输入目标-水体混合端元的光谱距离并将其作为目标函数。
6.2选出全连接网络权重中与参考水体曲线距离较近的权重向量；
6.3计算出该权重向量到参考水体曲线的距离，并将该距离作为目标函数的约束项。
6.4利用梯度下降法训练目标检测网络直至收敛。
第七步：重复步骤4-6直到重构损失小于预设数值或者达到预设训练轮数；
第八步：将训练好网络中解码器的参数作为所提取到的目标-水体混合端元，将编码器的输出结果作为相应的丰度值。
第九步：依据到参考水体曲线的光谱距离，将目标检测网络的输出划分为水体端元和目标端元。
第十步：以丰度值为系数将目标端元的丰度图进行加权融合即可得到最终的水下目标检测结果。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个验证性实施例中，在获取的真实水体数据集上开展了相关实验，通过比较本发明检测结果与物体位置真实值之间的差距可以反应本发明预测性能的优劣。图3为实验数据集的具体情况，其中图3(a)为水体数据集场景伪彩色图，图3(b)为待检测目标曲线和水体背景曲线图。图4为本发明的检测结果与物体位置真实值之间的对比图，其中图4(a)为水体数据集场景伪彩色图，图4(b)为目标位置的真实值(ground truth)，图4(c)为发明检测结果所对应的目标位置图。
在一个实施例中，如图5所示，提供了一种高光谱遥感图像水下目标检测装置，装置包括：高光谱遥感水体图像获取模块、数据处理模块、目标检测网络构建模块以及水下目标检测结果确定模块；其中：
高光谱遥感水体图像获取模块，用于获取高光谱遥感水体图像；并根据高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元。
数据处理模块，用于根据不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对融合后端元进行分类，得到水体端元和目标-水体混合端元；
目标检测网络构建模块：用于构建目标检测网络，目标检测网络包括编码器网络、解码器网络；编码器网络包括一维卷积神经网络；解码器网络包括全连接层网络。
目标检测网络训练模块：用于将目标-水体混合端元输入到编码器网络，输出非线性的卷积光谱特征；将非线性的卷积光谱特征输入到解码器网络中，输出重构光谱曲线向量；将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对目标检测网络进行训练，得到训练好的目标检测网络。
水下目标检测结果确定模块：用于获取待测高光谱遥感水体图像；对待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
在其中一个实施例中，高光谱遥感水体图像获取模块，还用于获取高光谱遥感水体图像；根据高光谱遥感水体图像，采用通过顶点成分分析算法，得到顶点成分分析端元；根据高光谱遥感水体图像，采用混合像元分解算法，得到混合像元分解端元；根据高光谱遥感水体图像，采用纯元指数算法，得到纯元指数端元。
在其中一个实施例中，数据处理模块，还用于根据不同的端元，计算得到不同端元之间的光谱信息散度；根据不同的端元，以光谱信息散度作为度量，并采用学习向量量化算法，得到多个簇；以端元对应的丰度值为权重系数通过加权求和将同一簇中的所有端元进行融合，得到融合后端元；融合包括对丰度值、丰度图和端元曲线的融合；根据融合后端元所对应的丰度值，对融合后端元进行分类，得到水体端元和目标-水体混合端元。
在其中一个实施例中，编码器网络包括：一维卷积层和池化层。目标检测网络训练模块，还用于将目标-水体混合端元输入到一维卷积层，并对提取到的特征进行批量归一化操作，得到归一化特征；一维卷积层为感受野大小为1×3、步长为1、补零个数大小为1的一维卷积层；将归一化特征输入到池化层，进行采样步长为2下采样操作，得到非线性的卷积光谱特征。
在其中一个实施例中，目标检测网络训练模块，还用于根据重构光谱曲线向量和对应的输入目标-水体混合端元，采用二范数计算，得到重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异；将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数；根据解码器网络权重与预设参考水体曲线，得到与预设参考水体曲线距离较近的权重向量；根据权重向量和预设参考水体曲线，计算得到权重向量到预设参考水体曲线的距离，并将距离作为目标函数的约束项；根据目标函数和约束项，采用梯度下降法，对目标检测网络进行训练直至收敛或者达到预定训练轮数，得到训练好的目标检测网络。
在其中一个实施例中，水下目标检测结果确定模块，还用于对待测高光谱遥感水体图像采用多种不同的高光谱解混算法进行处理，并将处理结果以光谱距离为度量采用聚类算法进行融合，并对融合得到的待测融合后端元进行分类，得到待测水体端元和待测目标-水体混合端元；将待测目标-水体混合端元输入到训练好的目标检测网络的编码器网络中，得到非线性的卷积光谱特征；将非线性的卷积光谱特征输入到解码器网络中，得到与待测目标-水体混合端元相同的待测重构光谱曲线向量；根据待测重构光谱曲线向量到水体端元的光谱距离，将非线性的卷积光谱特征分为待测水体端元和待测目标端元；将非线性的卷积光谱特征作为相应的丰度值；根据丰度值和待测目标端元，得到最终的水下目标检测结果。
在其中一个实施例中，水下目标检测结果确定模块，还用于以丰度值为权重系数将待测目标端元的丰度图进行加权融合，得到最终的水下目标检测结果。
关于高光谱遥感图像水下目标检测装置的具体限定可以参见上文中对于高光谱遥感图像水下目标检测方法的限定，在此不再赘述。上述高光谱遥感图像水下目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种高光谱遥感图像水下目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种高光谱遥感图像水下目标检测方法，其特征在于，所述方法包括：
获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元；
根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元；
构建目标检测网络，所述目标检测网络包括编码器网络和解码器网络；所述编码器网络包括一维卷积神经网络；所述解码器网络包括全连接层网络；
将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征；
将所述非线性的卷积光谱特征输入到所述解码器网络中，输出重构光谱曲线向量；
将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络；
获取待测高光谱遥感水体图像；
对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
2.根据权利要求1所述的方法，其特征在于，获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元，包括：
获取高光谱遥感水体图像；
根据所述高光谱遥感水体图像，采用通过顶点成分分析算法，得到顶点成分分析端元；
根据所述高光谱遥感水体图像，采用混合像元分解算法，得到混合像元分解端元；
根据所述高光谱遥感水体图像，采用纯元指数算法，得到纯元指数端元。
3.根据权利要求1所述的方法，其特征在于，根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元，包括：
根据所述不同的端元，计算得到不同端元之间的光谱信息散度；
根据所述不同的端元，以所述光谱信息散度作为度量，并采用学习向量量化算法，得到多个簇；
以端元对应的丰度值为权重系数通过加权求和将同一簇中的所有端元进行融合，得到融合后端元；所述融合包括对丰度值、丰度图和端元曲线的融合；
根据融合后端元所对应的丰度值，对融合后端元进行分类，得到水体端元和目标-水体混合端元。
4.根据权利要求1所述的方法，其特征在于，所述编码器网络包括：一维卷积层和池化层；
将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征，包括：
将所述目标-水体混合端元输入到一维卷积层，并对提取到的特征进行批量归一化操作，得到归一化特征；所述一维卷积层为感受野大小为1×3、步长为1、补零个数大小为1的一维卷积层；
将所述归一化特征输入到池化层，进行采样步长为2下采样操作，得到非线性的卷积光谱特征。
5.根据权利要求1所述的方法，其特征在于，将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络，包括：
根据重构光谱曲线向量和对应的输入目标-水体混合端元，采用二范数计算，得到重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异；
将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数；
根据解码器网络权重与预设参考水体曲线，得到与预设参考水体曲线距离较近的权重向量；
根据所述权重向量和预设参考水体曲线，计算得到所述权重向量到所述预设参考水体曲线的距离，并将所述距离作为目标函数的约束项；
根据所述目标函数和所述约束项，采用梯度下降法，对目标检测网络进行训练直至收敛或者达到预定训练轮数，得到训练好的目标检测网络。
6.根据权利要求1所述的方法，其特征在于，对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果，包括：
对所述待测高光谱遥感水体图像采用多种不同的高光谱解混算法进行处理，并将处理结果以光谱距离为度量采用聚类算法进行融合，并对融合得到的待测融合后端元进行分类，得到待测水体端元和待测目标-水体混合端元；
将所述待测目标-水体混合端元输入到训练好的目标检测网络的所述编码器网络中，得到非线性的卷积光谱特征；
将所述非线性的卷积光谱特征输入到解码器网络中，得到与待测目标-水体混合端元相同的待测重构光谱曲线向量；
根据所述待测重构光谱曲线向量到所述水体端元的光谱距离，将所述非线性的卷积光谱特征分为待测水体端元和待测目标端元；
将所述非线性的卷积光谱特征作为相应的丰度值；
根据所述丰度值和所述待测目标端元，得到最终的水下目标检测结果。
7.根据权利要求6所述的方法，其特征在于，根据所述丰度值和所述待测目标端元，得到最终的水下目标检测结果，包括：
以丰度值为权重系数将所述待测目标端元的丰度图进行加权融合，得到最终的水下目标检测结果。
8.一种高光谱遥感图像水下目标检测装置，其特征在于，所述装置包括：
高光谱遥感水体图像获取模块，用于获取高光谱遥感水体图像；并根据所述高光谱遥感水体图像，采用多种不同的高光谱解混算法，得到不同的端元；
数据处理模块，用于根据所述不同的端元，以光谱距离为度量采用聚类算法，得到融合后端元；并对所述融合后端元进行分类，得到水体端元和目标-水体混合端元；
目标检测网络构建模块：用于构建目标检测网络，所述目标检测网络包括编码器网络、解码器网络；所述编码器网络包括一维卷积神经网络；所述解码器网络包括全连接层网络；
目标检测网络训练模块：用于将所述目标-水体混合端元输入到所述编码器网络，输出非线性的卷积光谱特征；将所述非线性的卷积光谱特征输入到所述解码器网络中，输出重构光谱曲线向量；将重构光谱曲线向量和对应的输入目标-水体混合端元之间的差异作为目标函数，加入特定水体模型约束，采用梯度下降法对所述目标检测网络进行训练，得到训练好的目标检测网络；
水下目标检测结果确定模块：用于获取待测高光谱遥感水体图像；对所述待测高光谱遥感水体图像进行处理，并将处理后得到的待测目标-水体混合端元输入到训练好的目标检测网络中，得到最终的水下目标检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110419442.XA 2021-04-19 2021-04-19 高光谱遥感图像水下目标检测方法、装置及计算机设备 Active CN112990107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110419442.XA CN112990107B (zh) 2021-04-19 2021-04-19 高光谱遥感图像水下目标检测方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110419442.XA CN112990107B (zh) 2021-04-19 2021-04-19 高光谱遥感图像水下目标检测方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112990107A CN112990107A (zh) 2021-06-18
CN112990107B true CN112990107B (zh) 2022-09-09

Family

ID=76341120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110419442.XA Active CN112990107B (zh) 2021-04-19 2021-04-19 高光谱遥感图像水下目标检测方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112990107B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283411B (zh) * 2021-07-26 2022-01-28 中国人民解放军国防科技大学 无人机目标检测方法、装置、设备和介质
CN113486869B (zh) * 2021-09-07 2021-12-07 中国自然资源航空物探遥感中心 一种基于非监督特征提取的岩性识别方法、装置及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975912B (zh) * 2016-04-27 2019-10-25 天津大学 基于神经网络的高光谱图像非线性解混方法
CN109102529A (zh) * 2018-08-15 2018-12-28 西北工业大学 基于深度卷积神经网络的端对端高光谱图像变化检测方法
CN111260576B (zh) * 2020-01-14 2022-07-05 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法

Also Published As

Publication number Publication date
CN112990107A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Wang et al. GETNET: A general end-to-end 2-D CNN framework for hyperspectral image change detection
US10410292B2 (en) Method, system, apparatus, and storage medium for realizing antifraud in insurance claim based on consistency of multiple images
Nielsen The regularized iteratively reweighted MAD method for change detection in multi-and hyperspectral data
US20190156486A1 (en) Method and system of detecting image tampering, electronic device and storage medium
CN112990107B (zh) 高光谱遥感图像水下目标检测方法、装置及计算机设备
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN112990106B (zh) 水下物体检测方法、装置、计算机设备和存储介质
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN115858609A (zh) 电动汽车充电桩状态监测方法、故障鉴定方法及电子设备
CN115545334A (zh) 土地利用类型预测方法、装置、电子设备及存储介质
CN113704372B (zh) 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN116310851B (zh) 遥感图像变化检测方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN115205680A (zh) 基于显著性迁移的雷达目标sar图像联合检测识别方法
CN115601759A (zh) 端到端文本识别方法、装置、设备及存储介质
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN112766212B (zh) 高光谱遥感图像水体固有属性反演方法、装置和设备
CN114549849A (zh) 图像识别方法、装置、计算机设备和存储介质
CN111881729B (zh) 基于热成像的活体流向甄别方法、装置、设备及存储介质
CN117808807B (zh) 光学卫星遥感图像实例级变化检测方法
CN117710379B (zh) 一种无损检测模型构建方法、无损检测方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant