CN103591940B - 评估高光谱图像的标记匹配置信度的方法 - Google Patents

评估高光谱图像的标记匹配置信度的方法 Download PDF

Info

Publication number
CN103591940B
CN103591940B CN201310359260.3A CN201310359260A CN103591940B CN 103591940 B CN103591940 B CN 103591940B CN 201310359260 A CN201310359260 A CN 201310359260A CN 103591940 B CN103591940 B CN 103591940B
Authority
CN
China
Prior art keywords
processor
template
frame
target
hyperion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310359260.3A
Other languages
English (en)
Other versions
CN103591940A (zh
Inventor
A.I.德尔阿莫
B.T.奥基平蒂
E.D.比勒
K.R.库琴斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Aviation Systems LLC
Original Assignee
GE Aviation Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Aviation Systems LLC filed Critical GE Aviation Systems LLC
Publication of CN103591940A publication Critical patent/CN103591940A/zh
Application granted granted Critical
Publication of CN103591940B publication Critical patent/CN103591940B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种在跟踪至少一个被跟踪对象时实时地评估由图像传感器上的像素限定的所述至少一个被跟踪对象的高光谱图像的标记与高光谱图像模板匹配的置信度的方法。

Description

评估高光谱图像的标记匹配置信度的方法
技术领域
本发明涉及一种评估高光谱图象的标记匹配置信度的方法。
背景技术
用于高光谱影像(Hyperspectral imagery，简称HSI)的远程传感系统的环境在Manolakis,D.,Marden,D.和Shaw G所著的“Hyperspectral Image Processing forAutomatic Target Detection Applications”(Lincoln Laboratory Journal；Volume14；2003pp.79–82)中进行了清楚描述。成像传感器具有记录高光谱能量的测量值的像素。HSI装置会记录像素阵列中的能量，其通过阵列的几何形状捕获空间信息，通过对许多个连续的高光谱频带的每个像素进行测量来捕获光谱信息。空间和光谱信息的进一步处理取决于远程传感系统的具体应用。
远程传感HSI已经被证明对包括环境和土地使用监控，军事侦察和勘测在内的宽范围的应用是有价值的。HSI提供含有空间和光谱信息的图像数据。这些类型的信息可以用于远程检测和跟踪任务。具体地，假设一组视觉传感器安装在诸如无人驾驶飞行器(UAV)或地面站的平台上，则可以获得HSI的视频，可以将一组算法应用于光谱视频以逐帧检测并跟踪对象。
基于光谱的处理算法已经发展为对相似像素进行分类或分组；即，具有相似光谱特性或标记(signature)的像素。单独用这种方式进行的处理不适用于目标跟踪和检测应用，在目标跟踪和检测应用中，一个场景中目标的数量和大小一般太小不足以支持将目标类型进行分类所需的统计性质的估计。然而，典型的HSI的空间处理被采集HSI的典型系统的空间分辨率损坏。结果，采集、处理HSI的远程传感系统一般发展为在光谱和空间分辨率之间进行折衷，以最大化已解析目标和非解析目标之间的检测，其中，已解析目标是由超过一个像素反映的目标。以此方式，光谱技术可以通过他们的标记检测未解析目标，空间技术可以通过他们的形状检测已解析目标。
已经开发出许多高光谱搜索算法，并将他们用在HSI的处理中，以达到目标检测目的。这些高光谱搜索算法通常设计成利用影像中的候选目标的统计特性，并通常基于已知的统计思想构建。例如，马哈拉诺比斯距离(Mahalanobis distance)为已经应用于高光谱像素标记的相似性的统计测量。马哈拉诺比斯距离通过测试标记与已知类别标记的平均偏差和标准偏差来测量标记的相似性。
已知的技术包括光谱角映射(Spectral Angle Mapping：简称SAM)，光谱信息散度(Spectral Information Divergence：简称SID)，零平均值差分区(Zero MeanDifferential Area:简称ZMDA)和巴特查里亚距离(Bhattacharyya Distance)。SAM为通过将每个光谱作为矢量比较候选目标的标记与已知标记，并计算矢量之间的角度的方法。因为SAM只使用矢量方向，不使用矢量长度，所以该方法对照明的变化不敏感。SID为通过测量光谱之间的概率差异或散度(Probabilistic discrepancy or divergence)将候选目标的标记与已知标记进行比较的方法。ZMDA通过候选目标的标记和已知标记的方差标准化(normalized)候选目标的和已知的标记，并计算他们的差，该差与两个矢量之间的区域对应。巴特查里亚距离类似于马哈拉诺比斯距离，但用来测量一组候选目标标记与已知类别的标记之间的距离。
发明内容
本发明涉及一种在跟踪至少一个被跟踪对象时实时地评估由图像传感器上的像素限定的所述至少一个被跟踪对象的高光谱图像的标记与高光谱图像模板匹配的置信度的方法。所述方法包括：选择所述至少一个被跟踪对象的一组标记；选择与所述至少一个被跟踪对象的所述一组标记对应的高光谱图像模板的一组标记；确立所述至少一个被跟踪对象的所述一组标记中的像素值与所述高光谱图像模板的所述一组标记中的像素值之间的差的绝对值(absolute values of the differences)；通过从1中减去最大的绝对值和最小的绝对值之间的差确立匹配度；以及使所述匹配度标准化为所述至少一个被跟踪对象的图像的像素数，以确定所述至少一个被跟踪对象的图像与所述高光谱图像模板匹配程度的置信水平。
作为优选，所述高光谱图像是从高光谱成像摄像机采集的视频帧。
作为优选，所述至少一个被跟踪对象是一组可能的对象。
作为优选，所述一组标记包括高光谱数据和空间数据。
作为优选，所述方法进一步包括确定空间上匹配的标记的百分比的步骤，并且将通过从1中减去最大的绝对值和最小的绝对值之间的差确立匹配度的步骤应用于标记的百分比。
附图说明
在附图中：
图1是根据本发明的第一实施例，跟踪并确定HSI中被观察对象的检测概率的图解视图。
图2是根据本发明的实施例选择高光谱搜索算法的方法的图解视图。
图3是根据本发明的实施例选择高光谱搜索算法的容差的方法的图解视图。
图4A示出了根据本发明的实施例的高光谱成像系统已经检测并跟踪到两个对象的情形。
图4B示出了根据本发明的实施例的高光谱成像系统检测被跟踪对象的变化的情形。
具体实施方式
在背景部分和下文的描述中，出于解释目的，列出了许多具体细节，以便提供对本文中描述的技术的彻底理解。然而，本领域技术人员将了解，没有这些具体细节也可以实践示例性实施例。在其它实例中，结构和装置以图形形式示出，以便便于描述示例性实施例。
参照附图描述示例性实施例。这些附图图解说明实现本文中描述的模块，方法或计算机程序产品的具体实施例的特定细节。然而，附图不应当解读为强加可能出现在附图中的任何限制。所述方法和计算机程序产品可以在机器可读介质上提供以完成他们的工作。可以使用现有的计算机处理器，或者通过为此目的或另一目的加入的专用计算机处理器或者通过硬连线系统来实施实施例。
如上面指出的，本文中描述的实施例可以包括计算机程序产品，包括用于携带或其上具有存储的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任何可由通用或专用计算机或具有处理器的其它机器的可用介质。举例来说，这种机器可读介质可包括RAM,ROM,EPROM,EEPROM,CD-ROM或其它光盘存储器，磁盘存储器或其它磁存储装置，或者可以用来携带或存储形式为机器可执行指令或数据结构，可由通用或专用计算机或具有处理器的其它机器访问的其它任何介质。当信息通过网络或另一种通信连接(或者是硬连线，无线或者是硬连线或无线的组合)传送或提供给机器时，机器适当地将连接视为机器可读介质。因此，任何这种连接适当地称为机器可读介质。上述的组合也包括在机器可读介质的范围内。机器可执行指令包括例如指令和数据，其引起通用计算机，专用计算机或专用处理机执行特定的功能或功能组合。
在方法步骤的通常背景下描述这些实施例，在一个实施例中，这些方法步骤可以通过程序产品来实现，程序产品包括机器可执行指令，比方说例如形式为由联网环境中的机器执行的程序产品的程序代码。通常，程序模块包括具有执行特定任务或实现特定抽象数据类型的技术效果的例程，程序，对象，组件，数据结构等。机器可执行指令，关联的数据结构和程序模块代表用于执行本文中公开的方法的步骤的程序代码的例子。这种可执行指令或关联数据结构的特定顺序代表用于实现在这些步骤中描述的功能的相应动作的例子。
可以在联网环境中使用与具有处理器的一个或多个远程计算机的逻辑连接来实践实施例。逻辑连接可包括局域网(LAN)和广域网(WAN)，在这里通过例子但不是限制来将他们列出。这种联网环境在办公网或企业范围的计算机网络，内联网和因特网中是常见的，可以使用各种不同的通信协议。本领域技术人员会认识到这种网络计算环境通常包括许多类型的计算机系统配置，包括个人计算机，手持装置，微处理器系统，基于微处理器的或可编程的消费电子，网络PC，小型计算机，主机计算机等。
还可以在分布式计算环境中实践实施例，在分布式环境中，任务是由通过通信网络链接(或者通过硬连线链接，无线链接，或者通过硬连线或无线链接的组合)的本地或远程处理装置执行的。在分布式计算环境中，程序模块可以位于本地和远程存储器的存储装置中。
用于实现全部或部分示例性实施例的示例性系统可包括形式为将各种系统组件(包括系统存储器)耦连到处理单元的计算机的通用计算装置，包括处理单元、系统存储器和系统总线。系统存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可包括用于从磁质硬盘进行读写的磁质硬盘驱动器，用于从可移动磁盘进行读写的磁盘驱动器和用于从可移动光盘(诸如CD-ROM)或其它光介质进行读写的光盘驱动器。驱动器和他们关联的机器可读介质提供机器可执行指令、数据结构、程序模块和用于计算机的其它数据的非易失性存储。
实施例中公开的方法的技术效果包括使检测HSI中对象的任务自动化，给检测分配置信水平。同样，所述方法通常自动地将被检测对象在空间和光谱上与已知的标记进行实时比较，提高了现有的标记匹配技术。该技术可以用在由光谱立方体阵列(spectralcube arrays)产生复合影像的任何系统上。
图1是根据本发明的第一实施例跟踪并确定HSI中被观察对象的检测概率的方法10的图解视图。在12，可包括单个图像或高光谱视频反馈的远程感测HSI可输入到能够处理HSI的处理器。在12，处理器接收高光谱数据，并在14通过执行一连串已知的图像处理步骤将数据集处理成一组高光谱图像帧，已知的图像处理步骤可包括但不限于噪声过滤，边角检测，图像配准，单应性(homography)和帧-帧对齐。然后在16，处理器可以使用搜索算法从高光谱图像帧中的被跟踪对象选择候选目标，这里，候选目标和被跟踪对象是可代表所关心的真实世界对象的高光谱图像的像素集合。例如，在被设计成搜索移动目标的采集HSI的系统中，候选目标可以是移动的对象。在此例子中，处理器可以执行计算性搜索以识别HSI中的移动对象的最小判别式特征。在另一例子中，采集HSI的系统的用户人工选择显示器上的像素，并识别相应的标记以用于以后分析。
在18，处理器可以从HSI的每一帧跟踪所选择的候选目标。在20，处理器可以将选择的候选目标与在28存储在模板数据库中的已知目标的参考目标模板进行比较，其中，参考目标模板为以前已经确立的代表所关心的现实世界的高光谱图像的像素集。
在22，处理器可以进行匹配比较。如果所选择的候选目标与来自28的模板数据库的参考目标模板匹配，则在24，处理器可以确定所选择的候选目标和参考目标模板之间的匹配度，以及所选择的候选目标已经被检测到的概率。如果所选择的候选目标与模板不匹配，则在30，处理器可以认为所选择的候选目标为新的参考目标模板，或者在32，将其丢弃。在30，如果所选择的候选目标被认为是新模板，则在28，处理器可以将与新目标相关的数据增加到目标模板数据库。
在24确定匹配度和检测概率之后，在26，处理器可以将概率与阈值进行比较。如果概率超过阈值，则在34，处理器可以采取动作。否则，在18，处理器可以继续跟踪所选择的候选目标。
从28的参考目标模板数据库中识别特定参考目标模板，在20将特定参考目标模板与候选目标比较之后，在24，处理器可以计算匹配度和检测概率。通过在24首先将出现在所选择的候选目标中的最上面的光谱标记与限定参考目标模板的最上面的光谱标记进行比较，然后将他们进行空间匹配，匹配度和检测概率可以测量所选择的候选目标与特殊参考目标模板匹配的概率。
对24的确定匹配度和检测概率的方法进行计算的处理器可以首先确定既出现在所选择的候选目标中又出现在参考目标模板中的最上面的标记集。然后，处理器可以基于既在所选择的候选目标中又在参考目标模板中的像素数，计算最上面那些标记的分布。为此，第一步是要确定参考目标模板中覆盖参考目标模板中特定百分比的像素的标记集，以及确定参考目标模板中每个标记的百分比。处理器在24的计算方法则可以确定对于所选择的候选目标的标记分布。如果在每个标记中的像素分布类似于在参考目标模板中的标记分布，则计算所述方法的处理器可以通过考虑相似标记像素之间的最大和最小差来计算每个标记的匹配度。计算高光谱像素分布之间的相似度的处理器可以使用一个或多个相似度的测量值以用于计算。相似度测量可以包括SAM，SID，ZMDA或巴特查里亚距离。处理器可以根据实现情况使用其它相似度测量。
假设Si＝{s1,s2,···,sp}是一个目标的标记集，xij是高光谱帧的二维空间表示中ij位置的像素。像素xij由亚像素(subpixel)的阵列组成，因此，像素xij具有一组值xb1,xb2,···,xbq，其中，q是高光谱影像中的频带数。因此，对于像素所描述的空间位置，每个像素包含与每个频带关联的亚像素值。
如果目标T中R％的最上面的标记集以λ相似比例出现在对象Oi中，空间上与本文中提到的参考模板目标匹配(为了简洁表示为目标T)的所选择的候选目标(为了简洁表示为对象Oi)也可以在光谱上以置信度C与目标T匹配。目的是将对象和目标在空间和光谱上进行匹配，即对象和目标的形状和标记是相似的。
设Ni为对象Oi中的像素数，ni1,ni2,···,nir，r<p定义对象Oi中表现出相似标记s1,s2,···,sr的像素集的基数或大小。如果对象Oi中最上面的R％的光谱标记与对象Oj的R％的最上面的标记匹配，在24中对方法进行计算的处理器认为两个对象Oi和Oj光谱匹配。如果对于对象Oi和Oj的所有选择数目的最上面标记分别表示为{ni1,ni2,···,nir}和{nj1,nj2,···,njr}并满足下式，则两个对象Oi和Oj精确地λ匹配。
对于每个标记l，匹配度可以定义为：
ηl(Oi，Oj)＝1-|maxl|xil- xijl|-minl|xil-xijl||
对于每个标记l，所述方法可以使用匹配度的其它定义。在24确定匹配度的任何定义必须符合模糊测量的已知数学定义。
最后，在24对方法进行计算的处理器可以基于模板中的标记集和对象中的标记集之间的相似度计算检测概率。考虑对象Oi中的Ni个像素，对象Oj中的Nj个像素，处理器可以基于匹配度和匹配每个像素的像素数，在24计算检测概率。处理器可以通过将匹配度标准化(normalizing)为对象的像素数来计算检测概率，以确定所选择的候选目标对象的图像与高光谱图像参考目标模板的匹配程度的置信水平。被称为TM的检测概率按如下计算：
这里，Ni|s为Oi中与标记sλ-匹配的像素数。
在26，作为所选择的候选目标对象与目标模板匹配的检测概率或TM可以与阈值进行比较。如26所示，处理器可以计算TM-1，并与阈值ε比较。如果TM-1的数量超过阈值ε，在34，处理器可以采取动作。否则，在18，处理器可以继续跟踪所选择的候选目标。阈值ε的值可以基于22的匹配算法、16的搜索算法的具体实施和关于特殊候选目标和28的数据库中的参考目标模板的信息(诸如计算出的HSI场景中的对象速度)而选择。
基于TM的值定义不同的置信水平。例如，在一个实例中，如果TM小于0.35，则置信水平非常低；如果TM在0.35和0.60之间，则置信水平低，如果TM在0.60和0.75之间，则置信水平为中等；如果TM在0.75和0.85之间，则置信水平为中-高；如果TM大于0.85，则置信水平高。由于匹配概率变得更为可能，结果的显示可以通过映射到这些水平的TM的一系列颜色来进行叠加，以区分检测到具有高置信水平的目标和检测到具有低置信水平的目标。检测到具有高置信水平的目标的图像像素例如可以在显示器上全被以红色显示。根据实施情况，可以使用其它阈值、置信水平和显示方案。
当在12处理器接收数据，在14将数据处理成高光谱帧的集合时，在16，处理器可以从高光谱帧中选择候选目标。处理器可以使用对于高光谱数据的搜索算法进行选择，以在16选择候选目标。高光谱数据的维度可以通过已知的维度降低技术被降低，包括但不限于主成分分析(principle components analysis)、特征提取(feature extraction)和熵测量(entropy measurements)。图2是根据本发明的实施例选择高光谱数据搜索算法的方法100的图解视图。为了选择高光谱数据的搜索算法，在100对方法进行计算的处理器可以一开始在110将高光谱帧的特征(characteristics)保存到数据库中。接着，在112，处理器可以评估高光谱帧的特征。如果在112处理器将特征评估为对高光谱帧是重要的，则在116处理器可以对数据应用搜索算法，以区分帧的候选目标。如果在112处理器将特征评估为对高光谱帧不是重要的，则在114处理器可以评估第二特征。如果在114处理器将第二特征评估为对高光谱帧是重要的，则在120处理器可以对数据应用第二光谱搜索算法，以区分帧的候选目标。如果在114处理器将第二特征评估为对帧不重要，则在118处理器可以评估第三特征。如果在118处理器将第三特征评估为对高光谱帧是重要的，则在122处理器可以对数据应用第三光谱搜索算法，以区分高光谱帧的候选目标。如果在118处理器将第三特征评估为对高光谱帧不重要，则处理器可对数据应用默认搜索算法124。
一开始，在110处理器可以确定高光谱帧的特征。在110处理器可以保存高光谱帧特征，使得他们可用于选择搜索算法时的进一步的处理。示例的特征可以包括成像场景照明的变化性估计，具有相似标记的像素的变化性，及参考目标模板中不同标记的数目。可以考虑其它的高光谱帧的特征，这些例子不应当认为是限制。
基于在112对高光谱帧的第一特征的评估，处理器可以应用已经证明对116的第一特征表征的高光谱数据适用的搜索算法。如果在112对高光谱帧的第一特征的评估没有表明第一搜索算法对高光谱帧适用，则处理器可以访问从110保存的帧特征，以用于在114对第二帧特征的评估。在一个例子中，第一特征可以是高光谱帧的成像场景的照明的变化性。处理器可以访问高光谱帧特征，以确定成像场景照明的变化性。处理器可以进行判断，以确定变化性是高还是低。根据实施情况，处理器可以使用其它帧特征作为第一帧特征。
如果第一高光谱帧特征被评估为重要的，则在116处理器可以使用第一搜索算法，以处理高光谱帧和其候选目标。在此例子中，如果处理器计算成像场景照明的高变化性，则基于SAM的搜索算法可以处理成像场景以得到最佳结果。根据实施情况，所述方法可以基于分类方法使用其它搜索算法，包括但不限于SID，马哈拉诺比斯距离，ZMDA和巴特查里亚距离。
基于在114对高光谱帧的第二特征的评估，处理器可以应用已知对由120的第二特征表征的高光谱数据适用的搜索算法。如果在114对高光谱帧的第二特征的评估并未表明第二搜索算法适用于高光谱帧，则处理器可以访问从110保存的帧特征，以在118评估第三帧特征。在一个例子中，第二特征可以是具有相似标记的像素的变化性。处理器可以访问高光谱帧特征，以确定具有相似标记的像素的变化性。处理器可以进行判断，以确定变化性是高还是低。根据实施情况，处理器可以使用其它帧特征作为第二帧特征。
如果第二高光谱帧特征被评估为重要的，则在120处理器可以使用第二搜索算法以处理高光谱帧和其候选目标。在此例子中，如果处理器计算具有相似标记的像素的高变化性，则基于SID的搜索算法可以处理成像场景以得到最佳结果。根据实施情况，所述方法可以基于相似度或距离测量使用其它搜索算法，包括但不限于SAM，马哈拉诺比斯距离，ZMDA和巴特查里亚距离。
基于在118对高光谱帧的第三特征的评估，处理器可以应用已知的对由122的第三特征表征的高光谱数据适用的搜索算法。如果在118对高光谱帧的评估并未表明第三搜索算法对高光谱帧适用，则在124处理器可以应用默认搜索算法来处理高光谱帧。在一个例子中，第三特征可以是参考目标模板中不同标记的数目。处理器可以访问包括以前被跟踪对象和相应参考目标模板的高光谱帧特征，以确定参考目标模板中不同标记的数目。处理器可以进行判断以确定参考目标模板中不同标记的数目是高还是低。根据实施情况，处理器可以使用其它帧特征作为第三帧特征。
如果第三高光谱帧特征被评估为重要的，则在122处理器可以使用第三搜索算法，以处理高光谱帧和其候选目标。在此例子中，如果处理器计算在参考目标模板中有很多个不同标记，则基于马哈拉诺比斯距离的搜索算法可以处理成像场景以得到最佳结果。根据实施情况，所述方法可以基于相似度或距离测量使用其它搜索算法，包括但不限于SAM，SID，ZMDA和巴特查里亚距离。
一旦穷尽帧特征，在124处理器可以使用默认搜索算法来处理高光谱帧和其候选目标。默认搜索算法可以基于SAM，SID，马哈拉诺比斯距离，ZMDA和巴特查里亚距离中的任一个。根据实施情况，所述方法可以使用其它搜索算法作为默认搜索算法。
方法100可以使用其它帧特征和对他们的评估执行附加步骤。帧特征可以菊花链(daisy-chained)接成跟随在之前在112，114和118公开的判断步骤之后的判断步骤。同样，处理器可以评估多个帧特征以确定是否优选配置特定的搜索算法来处理高光谱帧。
方法100可以执行另外的搜索算法。例如，处理器可以在高光谱帧上同时运行多个搜索算法。然后，处理器可以通过同时处理多个搜索算法，使用多判据判断生成方法将若干结果聚合成单个结果。
图3是选择搜索算法的容差的方法200的图解视图。当在图2中116，120，122和124用所选择的搜索算法处理高光谱帧时，在210，给定算法的参数或容差一开始可以设置为一个或若干默认值。在212，搜索算法然后可以连同默认容差一起处理来自高光谱帧的数据。在216，所选择的搜索算法可以从高光谱帧计算高光谱像素的数目，确定此数目以将来自高光谱帧的候选目标与参考目标模板匹配。如果只有很少的高光谱像素将来自高光谱帧的候选目标与参考目标模板匹配，则在218，处理器可以对所选择的搜索算法放大容差，然后，在212搜索算法可以用修改的容差再次处理高光谱帧。如果有非常多的高光谱像素使来自高光谱帧的候选目标与参考目标模板匹配，则在214处理器可以对所选择的搜索算法压缩容差，然后在212搜索算法可以再次用修改的容差处理高光谱帧。如果有可接受数目的高光谱像素匹配，则在220处理器可以保存匹配的高光谱像素的位置和标记。
处理器可以重复在214和218的修改搜索算法容差的步骤，之后在212用所选择的搜索算法处理高光谱帧，直到在216像素的匹配数目在可接受的边界内。
根据相对于28中参考目标模板数据库中的已知模板对候选目标的光谱和空间参数的分析，如果在图1的26中确定候选目标的检测概率超过阈值，则图1中根据本发明第一实施例的用于跟踪并确定HSI中观测对象的检测概率的方法10可能将采取图1中的操作34。此时，每个候选目标可以具有与其关联的唯一标识符。如果计算图1方法10的处理器基于其光谱特征和空间特征中的变化检测到候选目标中的偏差，则处理器可以自动地将偏差标记为目标的生命周期中的重要事件。然后处理器随后可以分配标识符以识别偏差目标为新对象。处理器可以将所有的目标事件聚合为可审查时间表，以便操作员通过该表评估并潜在地校正处理器将新的或已存在的标识符与被跟踪对象关联的选项。
计算图1中方法10的处理器可以在图1中28的目标模板数据库中创建条目，描述图1中16的目标选择点的高光谱和空间信息及候选目标的特征。除了高光谱和空间信息之外，图1中28的目标模板数据库还可以存储在处理器跟踪HSI中的候选目标时关于时间的信息。如果在图1中的20，处理器检测到用来跟踪候选目标的光谱或空间参数中的偏差，处理器可以在图1的28的数据库中存储将这种变化分类为可用于以后审查的事件的信息。另外，处理器可以将相同的或新的唯一标识符与定义的参数略微与原始目标不同的新对象关联。处理器可以基于该判断，将事件分配到计算的置信测量值，以确定与已确立参数的明显偏差。置信测量可以使用在空间，光谱或上述两个域(空间和光谱)中定义的鲁棒的(robust)参数，以对高光谱和空间信息中的误差进行感测。
有许多情形下候选目标的参数可以与其以前确立的参数有明显偏差，并触发事件。这种情形可包括：被跟踪对象由另一对象遮挡；被跟踪对象分成多个单独对象；被跟踪对象通过穿过被阴影覆盖的区域而明显改变其光谱特征，如颜色，对比度或亮度。存在其它情形，这些都不应当被认为是进行限制。如果处理器不能将在这种事件之前和之后的候选目标关联，则处理器可以将事件之前用于候选目标的同一标识符与事件之后的一个或多个新候选目标关联，从而消除丢失或误标注目标的可能性。
图4A和图4B图示了一个这种示例性情形。图4A示出了一个示例情形300，根据本发明的实施例用于跟踪并确定HSI中被观察对象的检测概率的方法已经检测到并跟踪在路上行驶的两辆车310，312。执行图1中的方法10的处理器将图1中的12所接收的高光谱数据处理成图1中14的高光谱帧序列，以在图1中16选择候选目标。根据图1中20的候选目标和图1中28的参考目标模板数据库的比较，图1中24的匹配度和检测概率的最终计算是重要的并在图1 中的34触发动作。处理器给每辆车310，312分配一个目标标识符，该目标标识符可存储在图1中28的参考目标模板数据库中。
图4B示出了这样的情形，即根据本发明的实施例用于跟踪并确定HSI中被观察对象的检测概率的方法已经检测到被跟踪对象的变化。图4B图示了一种事件，以前识别的候选目标中一个候选目标，图4A中的车310在树324的阴影318下行驶，由此明显改变了图4A中被跟踪车310的光谱特征。此外，第二辆类似的车正在紧靠以前跟踪的图4A中的车310行驶。计算图1中的方法10的处理器现在可以以低置信度区分车314和车316中哪一辆车是以前被跟踪和标识的图4A中的车310。处理器可以在图1中的34采取动作，以识别标识符可与之前跟踪的车的标识符关联的车314和316，并针对两个对象，将事件时间记录到图1中28的数据库中。
以前识别的候选目标中的第二目标即图4A中的车312停在停车场，乘客322离开现在停止的车320。处理器可以检测并识别图4A中的原始对象，车312已经分成两个单独可跟踪的对象的事件。处理器可以采取图1中34的动作，以识别可能与事件之前图4A中的车312关联的具有标识符的车320和人322，并将事件的时间记录到图1中28的数据库中。
存储事件有关的信息并创建可能与事件关联的标识符的好处是系统操作员可以重调与任何目标标识符关联的任何目标的事件历史。操作员然后可以分析具有该标识符或相关标识符的所有被跟踪对象及对象历史，以用于回顾。事件历史可以包括与系统改变被跟踪对象的标识符的所有事件有关的所有数据。此外，如果与事件中的一个或若干目标关联的标识符不正确，操作员可以人工校正系统。
本书面说明书使用示例来公开本发明(包括最佳模式)，还使得任意本领域技术人员可实践本发明(包括制造和使用任意装置或系统和执行任意结合的方法)。本发明的专利范围由权利要求书限定，并且可以包括本领域技术人员想到的其他示例。如果这样的其他示例具有与权利要求书的文字语言并非不同的结构元件、或者如果这样的其他示例包括与权利要求书的文字语言具有非实质性区别的等同结构元件，则这样的其他示例意欲落入权利要求书的范围内。

Claims (5)

1.一种在跟踪至少一个被跟踪对象时实时地评估由图像传感器上的像素限定的所述至少一个被跟踪对象的高光谱图像的标记与高光谱图像模板匹配的置信度的方法，包括：
选择所述至少一个被跟踪对象的一组标记；
选择与所述至少一个被跟踪对象的所述一组标记对应的高光谱图像模板的一组标记；
确立所述至少一个被跟踪对象的所述一组标记中的像素值与所述高光谱图像模板的所述一组标记中的像素值之间的差的绝对值；
通过从1中减去最大的绝对值和最小的绝对值之间的差确立匹配度；以及
使所述匹配度标准化为所述至少一个被跟踪对象的图像的像素数，以确定所述至少一个被跟踪对象的图像与所述高光谱图像模板匹配程度的置信水平。
2.根据权利要求1所述的方法，其特征在于，所述高光谱图像是从高光谱成像摄像机采集的视频帧。
3.根据权利要求1所述的方法，其特征在于，所述至少一个被跟踪对象是一组可能的对象。
4.根据权利要求1所述的方法，其特征在于，所述一组标记包括高光谱数据和空间数据。
5.根据权利要求1所述的方法，其特征在于，确立匹配度的步骤包括确定所述高光谱图像模板中覆盖所述高光谱图像模板中特定百分比的像素的标记集，以及确定所述高光谱图像模板中每个标记的百分比。
CN201310359260.3A 2012-08-17 2013-08-16 评估高光谱图像的标记匹配置信度的方法 Expired - Fee Related CN103591940B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/588,574 2012-08-17
US13/588574 2012-08-17
US13/588,574 US8891875B2 (en) 2012-08-17 2012-08-17 Method of evaluating the confidence of matching signatures of a hyperspectral image

Publications (2)

Publication Number Publication Date
CN103591940A CN103591940A (zh) 2014-02-19
CN103591940B true CN103591940B (zh) 2017-05-03

Family

ID=49035305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310359260.3A Expired - Fee Related CN103591940B (zh) 2012-08-17 2013-08-16 评估高光谱图像的标记匹配置信度的方法

Country Status (6)

Country Link
US (1) US8891875B2 (zh)
EP (1) EP2698741A3 (zh)
JP (1) JP6159189B2 (zh)
CN (1) CN103591940B (zh)
BR (1) BR102013019507A2 (zh)
CA (1) CA2823370A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086296A1 (en) * 2013-12-10 2015-06-18 Bae Systems Plc Data processing method and system
US9881356B2 (en) 2013-12-10 2018-01-30 Bae Systems Plc Data processing method
GB201507454D0 (en) * 2015-04-30 2015-06-17 Phase Focus Ltd Method and apparatus for determining temporal behaviour of an object
CN105043549B (zh) * 2015-05-19 2017-05-24 中国资源卫星应用中心 一种干涉型光谱仪边缘光谱响应衰减补偿方法
US10482361B2 (en) 2015-07-05 2019-11-19 Thewhollysee Ltd. Optical identification and characterization system and tags
KR102482438B1 (ko) * 2016-09-06 2022-12-29 비.지. 네게브 테크놀로지즈 앤드 애플리케이션스 리미티드, 엣 벤-구리온 유니버시티 이미지로부터의 초분광 데이터 복원
US10657422B2 (en) 2017-04-20 2020-05-19 The Boeing Company Methods and systems for hyper-spectral systems
US10332272B2 (en) * 2017-08-07 2019-06-25 Caterpillar Inc. Systems and methods for testing an automatic perception system
EP3812978A1 (en) * 2019-10-25 2021-04-28 X-Rite, Inc. Delta e formula match prediction
CN112070008B (zh) * 2020-09-09 2024-03-19 武汉轻工大学 高光谱图像特征识别方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266296A (zh) * 2008-04-28 2008-09-17 北京航空航天大学 高光谱小目标探测方法及装置
CN101866424A (zh) * 2010-05-20 2010-10-20 复旦大学 基于独立分量分析的高光谱遥感图像混合像元分解方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020326B1 (en) * 1998-11-13 2006-03-28 Hsu Shin-Yi System for guiding users to formulate and use object extraction rules
US6909815B2 (en) * 2003-01-31 2005-06-21 Spectral Sciences, Inc. Method for performing automated in-scene based atmospheric compensation for multi-and hyperspectral imaging sensors in the solar reflective spectral region
US7212652B1 (en) 2003-07-07 2007-05-01 The United States Of America As Represented By The Secretary Of The Navy Method for tracking targets with hyper-spectral data
US7349076B2 (en) 2005-01-14 2008-03-25 The Institute For Technology Development Video tracking-based real-time hyperspectral data acquisition
US20060174164A1 (en) * 2005-02-01 2006-08-03 General Electric Company Methods, systems, and computer program products for implementing condition monitoring activities
US7620204B2 (en) * 2006-02-09 2009-11-17 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using covariance matrices
US20070224694A1 (en) * 2006-02-10 2007-09-27 Puchalski Daniel M Method and system for hyperspectral detection of animal diseases
WO2007098123A2 (en) * 2006-02-16 2007-08-30 Clean Earth Technologies, Llc Method for spectral data classification and detection in diverse lighting conditions
WO2009009175A2 (en) * 2007-04-06 2009-01-15 Cedars-Sinai Medical Center Spectral imaging device for hirschsprung's disease
US8203114B2 (en) * 2009-05-14 2012-06-19 Raytheon Company Adaptive spatial-spectral processing (ASSP)
US8295548B2 (en) * 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266296A (zh) * 2008-04-28 2008-09-17 北京航空航天大学 高光谱小目标探测方法及装置
CN101866424A (zh) * 2010-05-20 2010-10-20 复旦大学 基于独立分量分析的高光谱遥感图像混合像元分解方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIN-MAX CONFIDENCE INTERVALS;John Christoph Strelen;《http://web.informatik.uni-bonn.de/IV/strelen/Lehre/Veranstaltungen/sim/Folien/47MMCIs.pdf》;20040731;第13-16页 *

Also Published As

Publication number Publication date
CA2823370A1 (en) 2014-02-17
US8891875B2 (en) 2014-11-18
CN103591940A (zh) 2014-02-19
US20140050405A1 (en) 2014-02-20
EP2698741A3 (en) 2016-06-01
EP2698741A2 (en) 2014-02-19
JP6159189B2 (ja) 2017-07-05
BR102013019507A2 (pt) 2014-07-08
JP2014038614A (ja) 2014-02-27

Similar Documents

Publication Publication Date Title
CN103591940B (zh) 评估高光谱图像的标记匹配置信度的方法
CN103593379B (zh) 选择用于在处理高光谱数据中使用的算法的方法
CN103810226B (zh) 确定高光谱数据处理中所用的跟踪对象的方法
Lv et al. Land cover change detection techniques: Very-high-resolution optical images: A review
Nath et al. A survey of image classification methods and techniques
CN106250870B (zh) 一种联合局部和全局相似性度量学习的行人再识别方法
CN107341538A (zh) 一种基于视觉的统计数量方法
CN112712049A (zh) 一种小样本条件下的卫星影像舰船型号识别方法
EP2731052A2 (en) Spectral scene simplification through background substraction
CN104574356B (zh) 从空间和光谱对象模型进行识别的方法
Balali et al. Video-based highway asset recognition and 3D localization
Jedrasiak et al. SETh: the method for long-term object tracking
CN104112281B (zh) 使用高光谱成像跟踪对象的方法
Lavigne et al. Performance assessment of automated feature extraction tools on high resolution imagery
Hienonen Automatic traffic sign inventory-and condition analysis
Kazama et al. House damage assesment based on supervised learning method: case study on Haiti
Noboa et al. Utilization of Artificial Intelligence in Automated Image Analysis
Tardie USING REMOTELY SENSED DATA AND GIS to Assess Development in Essex County, Massachusetts.
Şenaras Self-supervised building detection with decision fusion
LV et al. Land Cover Change Detection Techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170503

Termination date: 20210816

CF01 Termination of patent right due to non-payment of annual fee