CN103593379B - 选择用于在处理高光谱数据中使用的算法的方法 - Google Patents

选择用于在处理高光谱数据中使用的算法的方法 Download PDF

Info

Publication number
CN103593379B
CN103593379B CN201310238342.2A CN201310238342A CN103593379B CN 103593379 B CN103593379 B CN 103593379B CN 201310238342 A CN201310238342 A CN 201310238342A CN 103593379 B CN103593379 B CN 103593379B
Authority
CN
China
Prior art keywords
processor
frame
spectral data
hyperion
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310238342.2A
Other languages
English (en)
Other versions
CN103593379A (zh
Inventor
B.T.奥基平蒂
E.D.比勒
K.R.库琴斯基
R.S.凯莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Aviation Systems LLC
Original Assignee
GE Aviation Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Aviation Systems LLC filed Critical GE Aviation Systems LLC
Publication of CN103593379A publication Critical patent/CN103593379A/zh
Application granted granted Critical
Publication of CN103593379B publication Critical patent/CN103593379B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及从算法集选择用于在处理高光谱数据中使用的算法的方法，每个具有用于处理高光谱数据的某些特性的性质。

Description

选择用于在处理高光谱数据中使用的算法的方法
背景技术
高光谱图像(HSI)的远程感测系统的环境很好地在Manolakis,D.,Marden,D.和Shaw G.(Lincoln Laboratory Journal；卷14；2003页：79-82)的“Hyperspectral ImageProcessing for Automatic Target Detection Applications”中描述。成像传感器具有记录高光谱能量测量的像素。HSI装置将采用像素阵列来记录能量，所述像素阵列通过阵列的几何形状捕获空间信息并且通过在多个相邻高光谱带的每个像素中做出测量来捕获光谱信息。进一步的空间和光谱信息处理取决于远程感测系统的特定应用。
已经证明远程感测HSI对于包括环境和土地利用监测、军事监视和侦查的广泛应用是有价值的。HSI提供包含空间和光谱信息两者的图像数据。这些类型的信息可以用于远程检测和跟踪任务。具体地，可获取给定的安装在例如无人飞行器(UAV)或地面站、HSI视频的平台上的一组视觉传感器并且算法集可应用于光谱视频以逐帧地检测和跟踪对象。
已经开发基于光谱的处理算法来对相似的像素归类或分组；即，具有相似光谱特性或签名的像素。单独采用该方式的处理不服从目标跟踪和检测应用，其中场景中目标的数量和大小典型地太小而不能支持对目标类型归类所必需的统计性质估计。然而，大多数HSI的空间处理由于收集HSI的典型系统的低空间分辨率而受损。因此，收集并且处理HSI的远程感测系统典型地开发为光谱与空间分辨率之间的权衡来使分辨和未分辨的目标两者的检测最大化，其中分辨目标是通过多于一个像素成像的对象。这样，光谱技术可以通过它们的签名来检测未分辨目标并且空间技术可以通过它们的形状来检测分辨目标。
已经开发多个搜索算法并且其在HSI处理中使用用于目标检测目的。这些搜索算法典型地设计成利用图像中候选目标的统计特性并且典型地建立在众所周知的统计概念上。例如，马氏距离是已经应用于高光谱像素签名的相似性的统计度量。马氏距离针对已知签名类别的平均和标准偏差通过测试签名来测量签名的相似性。
其他已知的技术包括光谱角映射(SAM)、光谱信息散度(SID)、零均值差分区(ZMDA)和巴氏距离。SAM是用于通过将每个光谱视为向量并且计算这些向量之间的角度而比较候选目标的签名与已知签名的方法。因为SAM仅使用向量方向而不是向量长度，方法对于照度中的变化不敏感。SID是用于通过测量光谱之间的概率差异或散度而比较候选目标的签名与已知签名的方法。ZMDA通过候选目标的签名和已知签名的差异将候选目标的签名和已知签名归一化并且计算它们的差，其对应于两个向量之间的区域。巴氏距离与马氏距离相似但用于针对已知类别的签名来测量一组候选目标签名的之间的距离。
发明内容
本发明涉及选择用于在处理高光谱数据中使用的算法的方法。该方法包括：提供算法集，每个具有用于处理高光谱数据的某些特性的性质；访问高光谱数据的帧特性；选择高光谱数据的至少一个特性；从具有该至少一个特性的参考样本建立该至少一个特性中的变化容限；将高光谱数据中的该至少一个特性与该容限比较；并且如果该至少一个特性超出该容限，则从与该至少一个特性最关联的集选择算法来处理高光谱数据。
附图说明
在图中：
图1是根据本发明第一实施例的用于跟踪并且确定HSI中观察对象的检测概率的方法的示意图。
图2是根据本发明实施例的用于选择搜索算法的方法的示意图。
图3是根据本发明实施例的用于为搜索算法选择容限的方法的示意图。
图4A示出一情形，其中根据本发明实施例的高光谱成像系统已经检测并且跟踪两个对象。
图4B示出一情形，其中根据本发明实施例的高光谱成像系统检测跟踪对象中的变化。
具体实施方式
在背景和下面的描述中，为了解释目的，阐述许多特定细节以便提供对本文描述的技术的全面理解。然而，示范性实施例可在没有这些特定细节的情况下实践，这对于本领域内技术人员将是显而易见的。在其他情况中，采用图的形式示出结构和装置以便便于描述示范性实施例。
参考图来描述示范性实施例。这些图图示实现本文描述的模块、方法或计算机程序产品的特定实施例的某些细节。然而，图不应解释为施加可在图中存在的任何限制。可在任何机器可读介质上提供方法和计算机程序产品用于实现它们的操作。可使用现有的计算机处理器或通过为该或另一个目的而包含的专用计算机处理器或通过硬连线系统来实现实施例。
如上文指出的，本文描述的实施例可包括计算机程序产品，其包括用于携带或具有存储在其上的机器可执行指令或数据结构的机器可读介质。这样的机器可读介质可以是任何可用介质，其可以被通用或专用计算机或具有处理器的其他机器访问。通过示例，这样的机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储装置，或可以用于携带或存储采用机器可执行指令或数据结构形式并且可以被通用或专用计算机或具有处理器的其他机器访问的期望程序代码的任何其他介质。当通过网络或另一个通信连接(硬连线、无线或硬连线或无线的组合)将信息传输或提供给机器时，机器适当地将连接视为机器可读介质。从而，任何这样的连接适当地称作机器可读介质。上文的组合也包括在机器可读介质的范围内。机器可执行指令包括，例如促使通用计算机、专用计算机或专用处理机执行某一功能或功能组的指令和数据。
将在可在一个实施例中通过包括机器可执行指令(诸如程序代码，例如采用由联网环境中的机器执行的程序模块的形式)的程序产品实现的方法步骤的一般背景下描述实施例。一般，程序模块包括具有执行特定任务或实现特定抽象数据类型的技术效果的例程、程序、对象、组件、数据结构等。计算机可执行指令、关联的数据结构和程序模块代表用于执行本文公开的方法的步骤的程序代码的示例。这样的可执行指令或关联的数据结构的特定序列代表用于在这样的步骤中实现描述的功能的对应动作的示例。
实施例可使用到具有处理器的一个或多个远程计算机的逻辑连接而在联网环境中实践。逻辑连接可包括局域网(LAN)和广域网(WAN)，其通过示例并且非限制性地在这里呈现。这样的联网环境在办公室范围或企业范围的计算机网络、内联网和因特网中是普通的，并且可使用很多种不同的通信协议。本领域内技术人员将意识到这样的网络计算环境典型地将包含许多类型的计算机系统配置，其包括个人计算机、手持装置、多处理器系统、基于微处理器或可编程的消费电子设备、网络PC、小型计算机、大型计算机等。
实施例还可在分布式计算环境中实践，其中任务由通过通信网络而链接(通过硬连线链路、无线链路或通过硬连线或无线链路的组合)的本地和远程处理装置执行。在分布式计算环境中，程序模块可位于本地和远程存储器存储装置两者中。
用于实现示范性实施例的全部或部分的示范性系统可包括采用计算机形式的通用计算装置，其包括处理单元、系统存储器和使包括系统存储器的各种系统组件耦合于处理单元的系统总线。系统处理器可包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可包括用于从磁硬盘读取和写入磁硬盘的磁硬盘驱动器、用于从可移动磁盘读取或写入该可移动磁盘的磁盘驱动器和用于从可移动光盘(例如CD ROM或其他光学介质)读取或写入可移动光盘的光盘驱动器。驱动器和它们关联的机器可读介质为计算机提供机器可执行指令、数据结构、程序模块和其他数据的非易失性存储。
在实施例中公开的方法的技术效果包括增加高光谱签名匹配的通用性和健壮性，尤其在对象检测和跟踪方法连同该方法一起使用时。该方法也通过自动实时选择最佳的已知签名匹配技术而在现有的签名匹配技术上加以改进。该技术可以在从光谱立方阵列产生复合图像的任何系统上使用。
图1是根据本发明第一实施例的用于跟踪并且确定观察对象中的检测概率的方法10的示意图。可包括单个图像或高光谱视频馈送的远程感测HSI可在12处输入到能够处理HSI的处理器。处理器在12处接收高光谱数据并且在14处通过执行一系列众所周知的图像处理步骤(其可包括但不限于噪声过滤、角检测、图像配准、单应性和帧到帧对齐)而将数据集处理为高光谱图像帧的集。处理器然后在16处使用搜索算法从高光谱图像帧中的跟踪对象选择候选目标，其中候选目标和跟踪对象是可代表感兴趣的真实世界对象的高光谱图像的像素集。例如，在收集HSI的系统(其设计成搜索移动目标)中，候选目标可以是移动对象。在该示例中，处理器可执行对识别HSI中移动对象的最小判别特性的计算搜索。在另一个示例中，收集HSI的系统的用户在显示器上手动选择像素并且识别对应的签名用于进一步分析。
处理器然后可在18处从HSI的帧逐个地跟踪选择的候选目标。处理器可在20处将选择的候选目标与存储在28处的模板数据库中的已知目标的参考目标模板比较，其中参考目标模板是先前已经建立来代表感兴趣的真实世界对象的高光谱图像的像素集。
在22处，处理器可做出匹配比较。如果选择的候选目标与来自28处的模板数据库的参考目标模板匹配，处理器然后可在24处确定选择的候选目标与参考目标模板之间的匹配度，以及已经检测的选择的候选目标的概率。如果选择的候选目标与模板不匹配，则处理器可在30处将选择的候选目标视为新的参考目标模板或在32处丢弃它。如果选择的候选目标在30处视为新的模板，则处理器可在28处将与新目标有关的数据添加到目标模板数据库。
在24处确定匹配度和检测的概率后，处理器可在26处将该概率与阈值比较。如果该概率超出阈值，处理器可在34处采取动作。否则，处理器可在18处继续跟踪选择的候选目标。
从28处的参考目标模板数据库识别特定参考目标模板并且在20处与候选目标比较后，处理器可在24处计算匹配度和检测的概率。匹配度和检测的概率可通过首先在24处将出现在选择的候选目标中的顶部光谱签名与限定参考目标模板的顶部光谱签名比较并且然后在空间上匹配它们而测量选择的候选目标成为特定参考目标模板的匹配者的概率。
计算在24处确定匹配度和检测的概率的方法的处理器可首先确定选择的候选目标和参考目标模板两者中出现的顶部签名集。然后，处理器可基于选择的候选目标和参考目标模板两者中的像素的数量来计算那些顶部签名的分布。为了进行此，第一步骤是确定参考目标模板中涵盖参考目标模板中的某一百分比像素的签名集并且确定参考目标模板中的签名中的每一个的百分比。计算24处的方法的处理器然后可确定选择的候选目标的签名分布。如果每个签名中的像素分布与参考目标模板中的签名分布相似，则计算该方法的处理器可在考虑相似签名像素之间的最大和最小差的情况下计算签名中的每个的匹配度。计算高光谱像素分布之间的相似性的处理器可采用相似度的一个或多个度量用于计算。相似性度量可包括SAM、SID、ZMDA或巴氏距离。处理器可根据实现而采用其他相似性度量。
让Si＝{s1,s2,…,sp}为目标中的签名集，并且让xij为高光谱帧的二维空间表示中ij位置中的像素。像素xij由子像素阵列组成使得像素xij具有值xb1、xb2、…、xbq的集，其中q是高光谱图像中的光谱带的数量。因此，每个像素包含与由像素描述的空间位置的每个光谱带关联的子像素值。
如果目标T中的R％顶部签名集以λ相似比例出现在对象Oi中，在这里为了简洁而引用为对象Oi的选择候选目标(其在空间上与在这里为了简洁而引用为目标T的参考模板目标匹配)还可在光谱上与具有置信度C的目标T匹配。目的是使对象和目标在空间和光谱上匹配，即，对象和目标的形状和签名相似。
让Ni为对象Oi中像素的数量并且ni1、ni2、…、nir(其中r<p)限定对象Oi中像素集的基数或大小，其代表相似的签名s1、s2、…、sr。如果对象Oi中前R％的光谱签名与对象Oi中的R％顶部签名匹配，计算24处的方法的处理器将两个对象Oi和Oj考虑为光谱匹配。如果对于对象Oi和Oj(其分别指示为{ni1,ni2,…,nir}和{nj1,nj2,…,njr})的所有选择数量的顶部签名：
这两个对象Oi和Oj精确地λ匹配。每个签名l的匹配度可定义为：
ηl(Oi，Oj)-|maxl|xil-xijl|-minl|xil-xijl||
方法可对每个签名l的匹配度采用其他定义。用于在24处确定匹配度的任何定义必须符合众所周知的模糊度量的数学定义。
最后，计算24处的方法的处理器可基于模板中的签名集与对象中的签名集之间的相似性而计算检测概率。考虑对象Oi中的Ni数量的像素和对象Oj中的Nj数量的像素，处理器可基于匹配度和与每个签名匹配的像素的数量而在24处计算检测概率。处理器可通过使匹配度归一化为对象的像素数量而计算检测概率来确定选择的候选目标对象的图像与高光谱图像参考目标模板有多匹配的置信度水平。检测概率(引用为TM)计算为：
其中Ni|s是Oi中与签名sλ匹配的像素的数量。
在26处，对作为目标模板的匹配者的选择的候选目标对象的检测概率(或TM)可与阈值比较。如在26处示出的，处理器可计算TM-1并且与阈值E比较。如果量TM-1超出阈值E，处理器可在34处采取动作。否则，处理器可在18处继续跟踪选择的候选目标。可基于22处的匹配算法的特定实现、16处的搜索算法以及关于28处的数据库中的参考目标模板和特定候选目标的信息(例如在HIS场景中计算的对象速度)来选择阈值E的值。
基于TM的值定义不同的置信度水平。例如，在一情况中，如果TM小于0.35，置信度水平将非常低；如果TM在0.35与0.60之间，置信度水平将是低的，如果TM在0.60与0.75之间，置信度水平将是中间的；如果TM在0.75与0.85之间，置信度水平将是中高的；并且如果TM大于0.85，置信度水平将是高的。当匹配的概率变为更可能时，结果的显示可通过映射到这些TM水平的一系列颜色来重复从而区分以高置信度水平检测的目标与以低置信度水平检测的目标。以高置信度水平检测的目标的图像像素在显示器上例如可以全部是红色。根据实现，可使用其他阈值、置信度水平和显示方案。
当处理器在12处接收数据并且在14处将它处理成高光谱帧集时，处理器然后可在16处从高光谱帧选择候选目标。处理器可在16处对高光谱数据选择并且使用搜索算法用于选择候选目标。高光谱数据的维数凭借众所周知的维降技术而降低，这些降维技术包括但不限于，主成分分析、特征提取和熵测量。图2是根据本发明实施例的用于对高光谱数据选择搜索算法的方法100的示意图。为了对高光谱数据选择搜索算法，计算100处的方法的处理器初始可在110处将高光谱帧的特性保存到数据库。接着，处理器可在112处访问高光谱帧的特性。如果处理器在112处访问对于高光谱帧具有重要性的特性，处理器可在116处将搜索算法应用于数据来区分帧的候选目标。如果处理器在112处访问对于高光谱帧不重要的特性，处理器可在114处访问第二特性。如果处理器在114处访问对于高光谱帧具有重要性的第二特性，处理器可在120处将第二光谱搜索算法应用于数据来区分帧的候选目标。如果处理器在114处访问对于帧不重要的第二特性，处理器可在118处访问第三特性。如果处理器在118处访问对于高光谱帧具有重要性的第三特性，处理器可在122处将第三搜索算法应用于数据来区分高光谱帧的候选目标。如果处理器在118处访问对于高光谱帧不重要的第三特性，处理器可将默认搜索算法124应用于数据。
初始，处理器可在110处确定高光谱帧的特性。处理器可在110处保存高光谱帧特性使得它们在选择搜索算法时可用于进一步处理。示例特性可包括成像场景的照度的变化性、具有相似签名的像素的变化性以及参考目标模板中截然不同的签名的数量的估计。可考虑高光谱帧的其他特性并且这些示例不应视为限制性的。
基于高光谱帧在112处的第一特性的评估，处理器可在116处应用搜索算法，已经证明该搜索算法与通过该第一特性而特性化的高光谱数据很好地一起工作。如果高光谱帧在112处的第一特性的评估未指示第一搜索算法将很好地与高光谱帧一起工作，处理器可在114处访问来自110的保存的帧特性用于第二帧特性的评估。在一个示例中，第一特性可以是高光谱帧的成像场景的照度的变化性。处理器可访问高光谱帧特性来确定成像场景的照度的变化性。处理器可做出决定来确定变化性是高还是低。根据实现，处理器可使用其他帧特性作为第一帧特性。
如果将第一高光谱帧特性评估为具有重要性，处理器可在116处使用第一搜索算法来处理高光谱帧和它的候选目标。在该示例中，如果处理器计算成像场景的高照度变化性，基于SAM的搜索算法可为了最佳结果而处理成像场景。根据实现，方法可使用基于归类方法的其他搜索算法，其包括但不限于，SID、马氏距离、ZMDA和巴氏距离。
基于高光谱帧在114处的第二特性的评估，处理器可在120处应用搜索算法，已知该搜索算法与通过该第二特性而特性化的高光谱数据很好地一起工作。如果高光谱帧在114处的第二特性的评估未指示第二搜索算法将很好地与高光谱帧一起工作，处理器可在118处访问来自110的保存的帧特性用于第三帧特性的评估。在一个示例中，第二特性可以是具有相似签名的像素的变化性。处理器可访问高光谱帧特性来确定具有相似签名的像素的变化性。处理器可做出决定来确定变化性是高还是低。根据实现，处理器可使用其他帧特性作为第二帧特性。
如果将第二高光谱帧特性评估为具有重要性，处理器可在120处使用第二搜索算法来处理高光谱帧和它的候选目标。在该示例中，如果处理器计算具有相似签名的像素的高变化性，基于SID的搜索算法可为了最佳结果而处理成像场景。根据实现，方法可使用基于相似性或距离度量的其他搜索算法，其包括但不限于，SAM、马氏距离、ZMDA和巴氏距离。
基于高光谱帧在118处的第三特性的评估，处理器可在122处应用搜索算法，已知该搜索算法与通过该第三特性而特性化的高光谱数据很好地一起工作。如果高光谱帧在118处的第三特性的评估未指示第三搜索算法将很好地与高光谱帧一起工作，处理器可在124处应用默认搜索算法来处理高光谱帧。在一个示例中，第三特性可以是参考目标模板中截然不同的签名的数量。处理器可访问高光谱帧特性(其包括先前跟踪的目标和对应的参考目标模板)来确定参考目标模板中截然不同的签名的数量。处理器可做出决定来确定参考目标模板中截然不同的签名的数量是高还是低。根据实现，处理器可使用其他帧特性作为第三帧特性。
如果将第三高光谱帧特性评估为具有重要性，处理器可在122处使用第三搜索算法来处理高光谱帧和它的候选目标。在该示例中，如果处理器计算参考目标模板中截然不同的签名的高数量，基于马氏距离的搜索算法可为了最佳结果而处理成像场景。根据实现，方法可使用基于相似性或距离度量的其他搜索算法，其包括但不限于，SAM、SID、ZMDA和巴氏距离。
在穷举帧特性时，处理器可在124处使用默认搜索算法来处理高光谱帧和它的候选目标。该默认搜索算法可基于SAM、SID、马氏距离、ZMDA和巴氏距离中的任一个。根据实现，方法可使用其他搜索算法作为默认搜索算法。
100处的方法可使用其他帧特性和它们的评估来实现额外的步骤。帧特性可菊链成决策步骤，其在先前公开的在112、114和118处的决策步骤之后。而且，处理器可访问多帧特性来确定特定的搜索算法是否最佳地部署成处理高光谱帧。
100处的方法可实现额外的搜索算法。例如，处理器可在高光谱帧上同时运行多个搜索算法。处理器然后可使用多标准决策制定方法将来自同时处理的多个搜索算法的结果聚合为单个结果。
图3是在200处用于对搜索算法选择容限的方法的示意图。当在图2中在116、120、122和124处用选择的搜索算法处理高光谱帧时，给定算法的参数或容限初始在210处可设置成一个默认值或多个值。搜索算法然后可在212处处理来自高光谱帧的数据连同默认容限。选择的搜索算法可在216处计算来自高光谱帧的高光谱像素的数量，这些高光谱像素被确定为使来自高光谱帧的候选目标与参考目标模板匹配。如果有太少的高光谱像素使来自高光谱帧的候选目标与参考目标模板匹配，处理器可在218处对选择的搜索算法放宽容限并且然后搜索算法可接着在212处用修改的容限再次处理高光谱帧。如果有太多的高光谱像素使来自高光谱帧的候选目标与参考目标模板匹配，处理器可在214处对选择的搜索算法收缩容限并且然后搜索算法可接着在212处用修改的容限再次处理高光谱帧。如果有可接受数量的高光谱像素来匹配，处理器可在220处保存匹配的高光谱像素的位置和签名。
处理器可重复在214和218处修改搜索算法的容限、接着在212处用选择的搜索算法处理高光谱帧的步骤直到在216处匹配的像素数量位于可接受界限内。
根据本发明第一实施例的用于跟踪并且确定HSI中观察对象的检测概率的图1中的10处的方法可基于对超出图1中26处的阈值的候选目标的检测概率(其基于相对于在28处参考目标模板数据库中已知模板的候选目标的光谱和空间参数的分析)而指示图1中34处的动作。这时，每个候选目标可具有与之关联的独特标识符。如果计算图1的10处的方法的处理器基于它的光谱和空间特性中的变化而在候选目标中检测到偏差，处理器然后可自动将该偏差标记为该目标的生命周期中的重要事件。处理器然后可分配标识符来将偏差目标标识为新的对象。处理器可将所有目标事件聚合成可回顾时间线，其中人类操作者具有评估并且潜在地校正使新的或现有的标识符与跟踪对象关联的处理器的选择的能力。
计算图1中10处的方法的处理器可在图1中的28处在目标模板数据库中创建条目，其具有高光谱和空间信息两者以及在图1中在16处目标选择时的候选目标的特性的描述。除高光谱和空间信息外，图1中28处的目标模板数据库还可在处理器跟踪HIS中的候选目标时存储关于时间的信息。如果处理器在图1中在20处在光谱或空间参数中检测到用于跟踪候选目标的偏差，处理器可将信息存储在图1中的28处的数据库中，其将变化归类为可用于未来回顾的事件。另外，处理器可使相同或新的独特的标识符与新的对象关联，该新的对象的限义的参数与原始目标显著不同。处理器可以以该决策为基础来指定关于计算的置信度测量的事件用于确定离建立参数的明显偏差。置信度测量可使用在空间、光谱或这两个域中限定的参数以对于感测高光谱和空间信息中的误差是健壮的。
存在其中候选目标的参数可明显偏离它先前建立的参数并且触发事件的许多情形。这样的情形可包括：跟踪的对象变成被另一个对象阻塞；跟踪的对象分成多个独立对象；跟踪的对象通过横穿到以阴影覆盖的区域内而明显改变它的光谱特性，例如颜色、对比度或亮度。存在其他情形并且这些不应视为限制性的。如果处理器无法使这样的事件之前和之后的候选目标关联，处理器可将用于事件之前的候选目标的相同标识符与事件之后的一个或多个新的候选目标关联，从而去除失去目标或对目标错贴标签的可能性。
图4A和4B证明一个这样的示例情形。图4A示出300处的示例情形，其中根据本发明实施例的用于跟踪并且确定HSI中观察对象的检测概率的方法已经检测并且跟踪在道路上行驶的两个车辆310、312。实现图1中10处的方法的处理器将在图1中在12处接收的高光谱数据在图1中在14处处理为高光谱帧序列以在图1中在16处选择候选目标。当将图1中20处的候选目标与图1中28处的参考目标模板数据库中的模板比较时，所得的在图1中24处的匹配度和检测概率的计算是明显的并且在图1中在34处触发动作。处理器对每个汽车310、312指定目标标识符，其可存储在图1中28处的参考目标模板数据库中。
图4B示出其中根据本发明实施例的用于跟踪并且确定HSI中观察对象的检测概率的方法已经检测跟踪对象中的变化的情形。图4B证明事件，由此先前识别的候选目标中的一个(图4A中的汽车310)在树324的阴影318下行驶由此明显地改变图4A中的跟踪汽车310的光谱特性。另外，第二相似的汽车现在正挨着先前跟踪的图4A中的汽车310行驶。计算如图1中的10的方法的处理器现在可以以低置信度区分是汽车314还是316是先前跟踪并且识别的图4A中的汽车310。处理器可采取图1中34处的动作来识别具有可与先前跟踪的汽车标识符关联的标识符的汽车314和316两者并且将对两个对象的事件时间记录到图1中28处的数据库中。
先前识别的候选目标中的第二个(图4A中的汽车312)停在停车场并且乘客322离开现在停止的车辆320。处理器可检测并且识别事件，由此图4A中的汽车312的原始对象已经分成两个独立可跟踪对象。处理器可采取如图1中的34的动作来识别在事件之前具有可与图4A中的汽车312关联的标识符的汽车320和人322两者并且将事件时间记录到图1中的28处的数据库中。
存储关于事件的信息并且创建可与事件关联的标识符的益处是系统的操作者可再调用与任何目标标识符关联的任何目标的事件历史。操作者然后可分析具有该标识符或被跟踪的关联标识符的所有对象连同对象的历史用于回顾。事件历史可包括与其中系统更改跟踪对象的标识符的事件中的全部有关的所有数据。另外，如果与事件处的一个目标或多个目标关联的标识符不正确，操作者可以手动校正系统。
该书面描述使用示例来公开本发明，其包括最佳模式，并且还使本领域内任何技术人员能够实践本发明，包括制作和使用任何装置或系统并且执行任何包含的方法。本发明的专利范围由权利要求限定，并且可包括本领域内技术人员想到的其他示例。这样的其他示例如果其具有不与权利要求的文字语言不同的结构元件，或者如果其包括与权利要求的文字语言无实质区别的等同结构元件则意在权利要求的范围内。
部件列表

Claims (3)

1.一种选择用于在处理高光谱数据中使用的算法的方法，包括：
提供算法集，每个具有用于处理高光谱数据的某些帧特性的性质，所述算法集包括光谱信息散度、光谱角映射、零均值差分区、马氏距离和巴氏距离；
访问所述高光谱数据的帧特性；
选择所述高光谱数据的至少一个帧特性；
从具有所述至少一个帧特性的参考样本建立所述至少一个帧特性中的变化容限；
将所述高光谱数据中的所述至少一个帧特性与所述容限比较；以及
如果所述至少一个帧特性超出所述容限，则从与所述至少一个帧特性最关联的算法集选择算法来处理所述高光谱数据。
2.如权利要求1所述的方法，其中，高光谱数据的所述帧特性包括高光谱数据的照度的变化性、具有高光谱数据的相似签名的像素的变化性。
3.如权利要求1所述的方法，包括选择至少两个帧特性并且如果所述至少一个帧特性不超出所述容限则从与第二帧特性最关联的算法集选择算法来处理所述高光谱数据的步骤。
CN201310238342.2A 2012-08-17 2013-06-17 选择用于在处理高光谱数据中使用的算法的方法 Expired - Fee Related CN103593379B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/588579 2012-08-17
US13/588,579 US8989501B2 (en) 2012-08-17 2012-08-17 Method of selecting an algorithm for use in processing hyperspectral data
US13/588,579 2012-08-17

Publications (2)

Publication Number Publication Date
CN103593379A CN103593379A (zh) 2014-02-19
CN103593379B true CN103593379B (zh) 2018-10-19

Family

ID=48692265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310238342.2A Expired - Fee Related CN103593379B (zh) 2012-08-17 2013-06-17 选择用于在处理高光谱数据中使用的算法的方法

Country Status (6)

Country Link
US (1) US8989501B2 (zh)
EP (1) EP2698767B1 (zh)
JP (1) JP6126469B2 (zh)
CN (1) CN103593379B (zh)
BR (1) BR102013015147A8 (zh)
CA (1) CA2818038A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
US9122929B2 (en) * 2012-08-17 2015-09-01 Ge Aviation Systems, Llc Method of identifying a tracked object for use in processing hyperspectral data
WO2014045012A1 (en) * 2012-09-20 2014-03-27 Bae Systems Plc Detecting a target in a scene
GB2506687B (en) 2012-10-08 2018-02-07 Bae Systems Plc Hyperspectral imaging of a moving scene
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9470579B2 (en) * 2014-09-08 2016-10-18 SlantRange, Inc. System and method for calibrating imaging measurements taken from aerial vehicles
US9009805B1 (en) 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US10217188B2 (en) 2014-11-12 2019-02-26 SlantRange, Inc. Systems and methods for aggregating and facilitating the display of spatially variable geographic data acquired by airborne vehicles
CN105043544B (zh) * 2015-05-05 2017-06-20 中山大学 一种图像光谱跟踪方法及系统
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
KR101732111B1 (ko) * 2016-06-30 2017-05-02 서울시립대학교 산학협력단 위성영상을 이용한 기름유출 탐지장치 및 방법
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
EP3510558A4 (en) * 2016-09-06 2020-05-06 B.G. Negev Technologies and Applications Ltd., at Ben-Gurion University OBTAINING HYPERSPECTRAL DATA FROM AN IMAGE
CN108510519B (zh) * 2017-02-28 2021-12-14 哈尔滨工业大学 一种跟踪过程中动态目标的特征光谱提取方法
US10803211B2 (en) * 2017-03-10 2020-10-13 General Electric Company Multiple fluid model tool for interdisciplinary fluid modeling
US10409950B2 (en) 2017-03-10 2019-09-10 General Electric Company Systems and methods for utilizing a 3D CAD point-cloud to automatically create a fluid model
US11004568B2 (en) 2017-03-10 2021-05-11 Altair Engineering, Inc. Systems and methods for multi-dimensional fluid modeling of an organism or organ
US10867085B2 (en) * 2017-03-10 2020-12-15 General Electric Company Systems and methods for overlaying and integrating computer aided design (CAD) drawings with fluid models
US10977397B2 (en) 2017-03-10 2021-04-13 Altair Engineering, Inc. Optimization of prototype and machine design within a 3D fluid modeling environment
US10657422B2 (en) 2017-04-20 2020-05-19 The Boeing Company Methods and systems for hyper-spectral systems
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
CN109145945B (zh) * 2018-07-12 2021-10-29 汕头大学 一种非局部加权联合稀疏表示的高光谱图像分类方法
CN109165628B (zh) * 2018-09-12 2022-06-28 首都师范大学 提高动目标检测精度的方法、装置、电子设备及存储介质
CN113916793B (zh) * 2021-09-18 2023-03-21 华南理工大学 基于稀疏阵列激励的非接触激光超声损伤检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140325A (zh) * 2007-10-16 2008-03-12 哈尔滨工业大学 高光谱图像的空间-光谱信息协同提高分辨率的方法
CN101144860A (zh) * 2007-10-16 2008-03-19 哈尔滨工业大学 基于选择性核主成份分析的高光谱图像异常点的检测方法
CN101266296A (zh) * 2008-04-28 2008-09-17 北京航空航天大学 高光谱小目标探测方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340978A (ja) * 1995-05-23 2004-12-02 Olympus Corp 色分類装置及び色分類方法並びに色むら検査装置
JP3822179B2 (ja) * 2003-03-17 2006-09-13 株式会社エヌ・ティ・ティ・データ マルチスペクトル画像処理装置、マルチスペクトル画像処理方法、およびコンピュータが実行するためのプログラム
US20060174164A1 (en) * 2005-02-01 2006-08-03 General Electric Company Methods, systems, and computer program products for implementing condition monitoring activities
WO2006107025A1 (ja) 2005-04-04 2006-10-12 Evolvable Systems Research Institute, Inc. パラメータ調整装置
US20070224694A1 (en) * 2006-02-10 2007-09-27 Puchalski Daniel M Method and system for hyperspectral detection of animal diseases
CA2642722A1 (en) * 2006-02-16 2007-08-30 Clean Earth Technologies, Llc Method for spectral data classification and detection in diverse lighting conditions
WO2009009175A2 (en) * 2007-04-06 2009-01-15 Cedars-Sinai Medical Center Spectral imaging device for hirschsprung's disease
JP5327419B2 (ja) * 2007-11-02 2013-10-30 日本電気株式会社 ハイパースペクトル画像解析システム、その方法及びそのプログラム
JP4941420B2 (ja) * 2008-07-08 2012-05-30 大日本印刷株式会社 目標物検出システム
US8295548B2 (en) * 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140325A (zh) * 2007-10-16 2008-03-12 哈尔滨工业大学 高光谱图像的空间-光谱信息协同提高分辨率的方法
CN101144860A (zh) * 2007-10-16 2008-03-19 哈尔滨工业大学 基于选择性核主成份分析的高光谱图像异常点的检测方法
CN101266296A (zh) * 2008-04-28 2008-09-17 北京航空航天大学 高光谱小目标探测方法及装置

Also Published As

Publication number Publication date
BR102013015147A2 (pt) 2015-08-04
US20140050406A1 (en) 2014-02-20
BR102013015147A8 (pt) 2017-07-25
US8989501B2 (en) 2015-03-24
EP2698767B1 (en) 2017-11-08
CN103593379A (zh) 2014-02-19
CA2818038A1 (en) 2014-02-17
JP6126469B2 (ja) 2017-05-10
JP2014038597A (ja) 2014-02-27
EP2698767A1 (en) 2014-02-19

Similar Documents

Publication Publication Date Title
CN103593379B (zh) 选择用于在处理高光谱数据中使用的算法的方法
JP6411718B2 (ja) ハイパースペクトルデータを処理する際に使用するための追跡される対象を識別する方法
CN103591940B (zh) 评估高光谱图像的标记匹配置信度的方法
Bergmann et al. The MVTec anomaly detection dataset: a comprehensive real-world dataset for unsupervised anomaly detection
US10839211B2 (en) Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
CN106845341A (zh) 一种基于虚拟号牌的无牌车辆识别方法
US20180137355A1 (en) Method, device and permanent storage memory for detecting drilling and/or hydraulic fracturing of hydrocarbon wells
EP2731052A2 (en) Spectral scene simplification through background substraction
CN104574356B (zh) 从空间和光谱对象模型进行识别的方法
JP5859594B2 (ja) ハイパースペクトル画像を使用して物体を追跡する方法
Ralph et al. An image metric-based ATR performance prediction testbed
Taghipour et al. A bottom-up and top-down human visual attention approach for hyperspectral anomaly detection
Ozturk et al. Semi-supervised gas detection in hyperspectral imaging
CN103810666B (zh) 基于高光谱特性的场景中的物质减去的方法
JP7175800B2 (ja) 分析支援装置、および、分析支援方法
Hienonen Automatic traffic sign inventory-and condition analysis
Brito Applications of Convolutional Neural Networks in vehicle damage recognition
Kowalczyk et al. Evaluation Methodology for Object Detection and Tracking in Bounding Box Based Perception Modules. Electronics 2022, 11, 1182

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181019

Termination date: 20210617