CN103810667A

CN103810667A - 通过背景减去的光谱场景简化

Info

Publication number: CN103810667A
Application number: CN201310406333.XA
Authority: CN
Inventors: B.T.奥基平蒂; E.D.比勒; T.B.塞巴斯蒂安; K.R.库琴斯基
Original assignee: GE Aviation Systems LLC
Current assignee: GE Aviation Systems LLC
Priority date: 2012-11-09
Filing date: 2013-09-09
Publication date: 2014-05-21
Also published as: US20140133753A1; BR102013022097A2; CA2825506A1; BR102013022097A8; EP2731052A2; EP2731052A3; JP2014096138A

Abstract

从高光谱图像去除静止对象的方法除其他事物外还包括：收集目标场景的高光谱图像系列；确定该目标场景中没有移动或新的对象的至少一个第一高光谱图像；选择该至少一个第一高光谱图像；确定目标场景中具有移动对象的至少一个第二高光谱图像；以及从至少一个第二高光谱图像减去至少一个第一高光谱图像来创建背景减去的高光谱图像。

Description

通过背景减去的光谱场景简化

背景技术

高光谱图像（HSI）的远程感测系统的环境很好地在Manolakis, D., Marden, D.和Shaw G.（Lincoln Laboratory Journal; 卷14; 2003 页：79- 82）的“Hyperspectral Image Processing for Automatic Target Detection Applications（自动目标检测应用的高光谱图像处理）”中描述。成像传感器具有记录高光谱能量测量的像素。HSI装置将采用像素阵列记录能量，该像素阵列通过阵列的几何形状捕获空间信息并且通过在多个相邻高光谱带的每个像素中做出测量来捕获光谱信息。进一步的空间和光谱信息处理取决于远程感测系统的特定应用。

已经证明远程感测HSI对于包括环境和土地使用监测、军事监视和侦查的广泛应用是有价值的。HSI提供包含空间和光谱信息两者的图像数据。这些类型的信息可以用于远程检测和跟踪任务。具体地，给定安装在例如无人飞行器（UAV）或固定地面站的平台上的一组视觉传感器，可获取HSI视频并且算法集可应用于光谱视频以逐帧地检测和跟踪对象。

发明内容

本发明的一个方面涉及从至少一个高光谱图像去除静止对象的方法。该方法包括收集目标场景的高光谱图像系列；确定该目标场景中没有移动或新的对象的至少一个第一高光谱图像；选择该至少一个第一高光谱图像；确定目标场景中具有移动对象的至少一个第二高光谱图像；以及从该至少一个第二高光谱图像减去至少一个第一高光谱图像来创建背景减去的高光谱图像。

附图说明

在图中：

图1是根据本发明的实施例选择没有要用于背景减去的移动对象的场景的高光谱图像的方法的示意图。

图2是根据本发明的实施例创建背景减去的高光谱图像的方法的示意图。

图3是根据本发明的实施例创建签名减去的高光谱图像的方法的示意图。

图4示出由多草地形环绕的公路的场景的高光谱图像。

图5示出图4的场景（其中汽车穿过公路）的高光谱图像。

图6示出根据本发明的实施例来自图5的场景（其中已经去除公路和多草地形）的背景减去的高光谱图像。

图7示出根据本发明的实施例来自图5的场景（其中已经去除多草地形）的签名减去的高光谱图像。

具体实施方式

在背景和下面的描述中，为了说明目的，阐述许多特定细节以便提供对本文描述的技术的全面理解。然而，示范性实施例可在没有这些特定细节的情况下实践，这对于本领域内技术人员将是显而易见的。在其他情形中，采用图的形式示出结构和装置以便便于描述示范性实施例。

参考图来描述示范性实施例。这些图图示实现本文描述的模块、方法或计算机程序产品的特定实施例的某些细节。然而，图不应解释为施加可在图中存在的任何限制。可在任何机器可读介质上提供方法和计算机程序产品用于实现它们的操作。可使用现有的计算机处理器或通过为该或另一个目的而包含的专用计算机处理器或通过硬连线系统来实现实施例。

如上文指出的，本文描述的实施例可包括计算机程序产品，其包括用于携带或具有存储在其上的机器可执行指令或数据结构的机器可读介质。这样的机器可读介质可以是任何可用介质，其可以被通用或专用计算机或具有处理器的其他机器访问。通过示例，这样的机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储装置，或可以用于携带或存储采用机器可执行指令或数据结构形式并且可以被通用或专用计算机或具有处理器的其他机器访问的期望程序代码的任何其他介质。当通过网络或另一个通信连接（硬连线、无线或硬连线或无线的组合）将信息传输或提供给机器时，机器适当地将连接视为机器可读介质。从而，任何这样的连接适当地称作机器可读介质。上文的组合也包括在机器可读介质的范围内。机器可执行指令包括，例如促使通用计算机、专用计算机或专用处理机执行某一功能或功能组的指令和数据。

将在可在一个实施例中通过包括机器可执行指令（诸如程序代码，例如采用由联网环境中的机器执行的程序模块的形式）的程序产品实现的方法步骤的一般上下文中描述实施例。一般，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、关联的数据结构和程序模块代表用于执行本文公开的方法步骤的程序代码的示例。这样的可执行指令或关联的数据结构的特定序列代表用于在这样的步骤中实现描述的功能的对应动作的示例。

实施例可使用到具有处理器的一个或多个远程计算机的逻辑连接而在联网环境中实践。逻辑连接可包括局域网（LAN）和广域网（WAN），其通过示例并且非限制性地在这里呈现。这样的联网环境在办公室范围或企业范围的计算机网络、内联网和因特网中是普通的，并且可使用很多种不同的通信协议。本领域内技术人员将意识到这样的网络计算环境典型地将包含许多类型的计算机系统配置，其包括个人计算机、手持装置、多处理器系统、基于微处理器或可编程的消费电子设备、网络PC、小型计算机、大型计算机等。

实施例还可在分布式计算环境中实践，其中任务由通过通信网络而链接（通过硬连线链路、无线链路或通过硬连线或无线链路的组合）的本地和远程处理装置执行。在分布式计算环境中，程序模块可位于本地和远程存储器存储装置两者中。

用于实现示范性实施例的全部或部分的示范性系统可包括采用计算机形式的通用计算装置，其包括处理单元、系统存储器和使包括系统存储器的各种系统组件耦合于处理单元的系统总线。系统存储器可包括只读存储器（ROM）和随机存取存储器（RAM）。计算机还可包括用于从磁硬盘读和写到磁硬盘的磁硬盘驱动器、用于从可移动磁盘读或写到可移动磁盘的磁盘驱动器和用于从可移动光盘（例如CD ROM或其他光介质）读或写到可移动光盘的光盘驱动器。驱动器和它们关联的计算机可读介质为计算机提供机器可执行指令、数据结构、程序模块和其他数据的非易失性存储。

在实施例中公开的方法的技术效果包括通过去除包括不必要高光谱签名的所有像素而增加高光谱图像的可压缩性。因此，用于存档目的所必需的数据和时间的量减少。同样，方法通过大致上减少要手动或自动搜索的数据的大小而在现有的检测方法的速度上有改进。另外，方法使高光谱图像增强使得之前未检测的对象和特征现在可被检测。

图1是根据本发明的实施例选择没有要用于背景减去的移动对象的场景的高光谱图像的方法10的示意图。在过程的开始12，可包括单个图像或高光谱视频馈送的远程感测HSI可在14处输入到能够处理HSI的处理器。

在14处输入到处理器的HSI是目标场景的高光谱图像系列。该目标场景是成像区，其中该成像区的空间边界对于高光谱图像（例如将由固定摄像机收集的）的整个集合将保持不变。例如，目标场景可具有由多草地形环绕的公路段。尽管每个高光谱图像可在例如汽车穿过公路或环境光水平一整天都在改变时不同，集合中的高光谱图像中的全部应该具有相同的公路段。注意该示例仅是为了说明性目的并且不应视为限制性的；静止场景的任何高光谱图像系列可以是相关的。

为了确定在目标场景中没有移动对象的至少一个高光谱图像，处理器可在16处开始迭代通过收集的高光谱图像系列。对于系列中的每个收集的高光谱图像，处理器可在18处确定高光谱图像是否在目标场景中具有任何移动或新的对象。如果处理器确定在目标场景中存在移动或新的对象，处理器可经由循环终止器32和循环迭代器16处的迭代逻辑步骤行进到高光谱图像系列中的下一个高光谱图像。如果处理器在20处确定高光谱图像中没有移动或新的对象，则处理器可在22处选择高光谱图像作为目标场景的背景。

当前发明的方法在24处允许高光谱图像代表目标场景的背景或允许高光谱图像集代表目标场景的背景，这取决于实现。如果处理器在26处将指定单个高光谱图像来代表目标场景的背景，处理器可将单个选择的高光谱图像存储在数据库46中并且在48处终止背景选择过程。如果处理器在30处将指派多个高光谱图像来代表目标场景的背景，处理器可经由循环终止器32和循环迭代器16处的迭代逻辑步骤继续迭代通过高光谱图像集。

当处理器已经在32处完全迭代通过目标场景的高光谱图像系列时，处理器可确定多个高光谱图像是否已经被指定来代表目标场景的背景。如果处理器已经在36处指定多个高光谱图像来代表目标场景的背景，处理器可在38处对多个高光谱图像求平均来创建存储在数据库46中的单个背景图像并且背景选择过程在48处终止。如果处理器在50处未指定多个高光谱图像来代表目标场景的背景，然后，如果处理器在40处指定单个高光谱图像来代表目标场景的背景，它在42处将该单个高光谱图像存储在数据库46中。然后，处理器在48处终止过程。如果处理器在40处未指定任何高光谱图像来代表目标场景的背景，处理器在44处可收集14处的新的高光谱图像系列来重新开始选择没有移动对象的目标场景的至少一个高光谱图像的过程。

处理器在18处可确定目标场景的高光谱图像是否包含通过由用户手动干预或自动移动或新的目标。根据本发明的实施例，处理器在18处可在处于操作的初始状态时向用户显示高光谱图像系列。用户可在22处选择至少一个高光谱图像作为目标场景的背景图像。备选地，处理器在18处可基于应用于当前高光谱图像的标准集来自动选择22处的至少一个高光谱图像作为目标场景的背景图像。上述标准可基于高光谱图像的空间或光谱特性并且可采用当前高光谱图像与之前收集的HSI的比较。

在确定、选择并且存储高光谱图像来代表没有移动或新的对象的目标场景的背景时，处理器然后可从目标场景的高光谱图像去除背景。图2是根据本发明的实施例创建背景减去的高光谱图像100的方法的示意图。在过程的开始112，可包括单个图像或高光谱视频馈送的远程感测HSI可在114处输入到能够处理HSI的处理器。远程感测的HSI可以是来自图1的14的相同的高光谱图像系列，或可以是相同目标场景的新的高光谱图像系列。处理器可在116处开始迭代通过收集的高光谱图像系列。

在118处，处理器可从当前高光谱图像减去在46处存储在数据库中的目标场景的背景图像来创建背景减去的高光谱图像。尽管减去可以是单个像素减去由此背景图像的像素签名从高光谱图像的对应像素的签名减去，根据实现可使用其他减去方法。例如，如果背景图像像素的签名与高光谱图像的对应像素的签名之间的绝对差小于预定阈值，处理器可在118处通过将所得的像素值设置成零而执行减去。对于一个示例预定阈值，高光谱签名的每一个值必须在背景图像的像素的签名的对应值的5%内。根据实现可使用其他阈值。

背景减去的高光谱图像然后可在46处存储在数据库中或显示给用户。处理器然后可经由120和116处的迭代逻辑来循环通过高光谱图像系列直到在122处终止过程。

在46处存储在数据库中的背景减去的高光谱图像的格式代表原始高光谱图像的大致上压缩版本。与传统的彩色图像中的每个RGB像素如何包含三个值相似，高光谱图像中的每个像素包含N个值，每个光谱带一个，其中N远大于三。通过仅保存目标场景中的移动或新的对象的像素，保存到数据库46的像素的数量可在保留所有光谱带的N个值时急剧下降。例如，具有20个带的640x480像素高光谱图像将需要6,144,000个独特的数值以完全存储在数据库46中。如果仅确定场景中移动或新的对象的300个像素，处理器将需要将300*20=6000个数值以及对应的二维像素坐标达总共6,600个值存储在数据库46中。

在本发明的一个实施例中，单个目标场景的若干不同的背景图像通过确定背景图像10的方法的多个情形而存储在数据库46中并且在其中分类。数据库46中的目标场景的每个背景图像通过照亮目标场景而分类。示例类别可代表例如早晨、中午、太阳、傍晚、夜晚、局部多云和完全多云的日间条件。当处理器在118处生成背景减去的图像时，处理器可通过使高光谱图像的属性特征化或比较场景的背景图像与高光谱图像的收集时间而确定从数据库46检索哪个背景图像。

图3是根据本发明的实施例创建签名减去的高光谱图像200的方法的示意图。在过程的开始212时，高光谱图像和高光谱签名可输入到能够处理高光谱图像的像素的处理器。高光谱图像可以是来自图1的14的高光谱图像系列中的一个，但高光谱图像的源可取决于实现。

要从高光谱图像去除的高光谱签名的源可以是签名的数据库或来自高光谱图像自身的签名。高光谱签名的数据库可包含方法200的用户感兴趣的自然或人工物质的签名。另外，用户可通过将数据库中的已知物质签名组合来选择生成额外的签名用于减去。例如，用户可通过使多个签名每个与不同的加权组合来生成签名用于减去。在另一个示例中，用户可通过从第一签名选择一组光谱带并且从第二签名选择一组不同的光谱带而创建签名用于减去。在再另一个示例中，处理器可通过对选择的签名应用变换来模拟例如日光、月光或前灯的变化的照明条件下物质的签名而创建有关的签名集。

处理器可在214处开始迭代通过高光谱图像的像素。处理器可在216处将高光谱图像的像素的签名与选择的高光谱签名比较以通过确定相异测量来确定匹配，并且在218处将相异测量的值与预定阈值比较。相异测量是用于确定两个向量之间的数学距离的度量。例如，处理器可使用曼哈顿距离或l₁范数来确定匹配，以计算高光谱图像的像素的签名与选择的高光谱签名之间的绝对差的和是否小于预定阈值。

处理器可计算其他相异测量。相异测量的一个种类是基于范数的并且是两个向量之间的距离的直接计算。除曼哈顿距离外，如果高光谱图像的像素的签名与选择的高光谱签名之间的平方差的和的平方根小于预定阈值，处理器可从欧几里得距离（也称为l₂范数）计算相异测量，来确定匹配。在基于范数的相异测量的另一个示例中，如果高光谱图像的像素的签名与选择的高光谱签名之间的最大绝对差小于预定阈值，处理器可计算切比雪夫距离（也称为l_∞范数）来确定匹配。

已经开发相异测量的另一个种类来利用图像中候选目标的统计特性。例如，马氏距离是已经应用于高光谱像素签名的相似性的统计测量。马氏距离通过测试针对已知签名种类的平均值和标准偏差的签名来测量签名的相似性。因为测量的统计性质，计算马氏距离需要签名集而不是如用于基于范数的计算的单个签名比较。

其他的已知技术包括光谱角映射表（SAM）、光谱信息散度（SID）、零均值差分区（ZMDA）和巴氏距离。SAM是用于通过将每个光谱视为向量并且计算这些向量之间的角度来将签名与已知签名比较的方法。因为SAM仅使用向量方向而不是向量长度，方法对照度中的变化不敏感。SID是用于通过测量光谱之间的概率性差异或散度而将候选目标的签名与已知签名比较的方法。ZMDA按照签名的变化而将它们归一化并且计算它们的差，其对应于两个向量之间的区。巴氏距离与马氏距离相似，但用于测量针对已知签名种类的候选目标签名集之间的距离。

在计算相异测量后，处理器可将相异测量的值与预定阈值比较来确定匹配。对于一个示例预定阈值，选择的签名的每一个值必须在高光谱图像的像素的签名的对应值的5%内。根据实现可使用其他阈值。

如果在220处签名不匹配，处理器可经由循环逻辑终止器226和迭代器214而迭代到高光谱图像中的下一个像素。如果在222处签名匹配，高光谱图像中的像素可通过在224处将它的值设置成零而删除并且然后处理器可经由循环逻辑终止器226和迭代器214而继续迭代通过高光谱图像的剩余像素。当处理器已经迭代通过高光谱图像中的像素中的全部时，过程在228处终止，在该点处签名减去的高光谱图像可存储在数据库中或由用户在显示器上查看。

可重复方法200来去除对高光谱图像的额外选择的签名。另外，可对高光谱图像系列重复过程。处理器可配置成通过经由显示器向用户显示中间结果并且经由图形用户接口接收关于要减去哪些物质签名的指令而自动或手动执行这些步骤。在方法的一个实现中，处理器去除代表背景图像的签名中的全部，从而仅留下与移动或新的对象的签名相关的图像。

通过示例，图4-7证明本发明的实施例。图4示出由多草地形环绕的公路的场景300的高光谱图像。该图像示出公路310、塔312、树314、人工基础设施316和多草地形320。处理器可在18处将图1中的高光谱图像识别为没有移动对象并且将它存储在数据库46中作为目标场景的背景图像。

图5示出图4的场景（其中汽车410正穿过公路310）的高光谱图像400。处理器可在18处将该图像识别为具有移动对象。场景的图像400对于图2的背景减去100的方法是候选。

图6示出根据本发明的实施例来自图5的场景（其中已经去除公路和多草地形）的背景减去的高光谱图像500。处理器可从图2中的数据库46检索来自图4的背景图像300。处理器从来自图5的场景的高光谱图像400减去来自图4的背景图像300。仅剩余的图像元素是汽车410。已经删除来自300的非移动对象中的全部，从而留下空白空间。公路的轮廓仅为了参考而示出并且将不在实际图像500中。

图7示出根据本发明的实施例来自图5的场景（其中已经去除来自图4的多草地形320）的签名减去的高光谱图像600。处理器使用来自图3的签名减去方法200来去除来自图4的多草地形320的签名以在所得的签名减去的图像600中创建一大片空白空间620。可以识别其他候选签名（包括公路310、树314和人工基础设施316的签名）用于去除。

图6的示例背景减去的图像500以及图7的签名减去的图像600证明本发明的方法可急剧改进高光谱图像中移动对象的检测能力。另外，之前描述的数据压缩水平在视觉上是明显的，尤其在图6中（其中仅剩余汽车410）。

该书面描述使用示例来公开本发明，其包括最佳模式，并且还使本领域内任何技术人员能够实践本发明，包括制作和使用任何装置或系统并且执行任何包含的方法。本发明的专利范围由权利要求限定，并且可包括本领域内技术人员想到的其他示例。这样的其他示例如果其具有不与权利要求的文字语言不同的结构元件，或者如果其包括与权利要求的文字语言无实质区别的等同结构元件则意在权利要求的范围内。

部件列表

10	背景图像指派的方法	12	过程的开始
				14	高光谱图像输入	16	循环迭代器
18	确定目标场景的高光谱图像是否包含移动或新的目标	20	确定目标场景的高光谱图像不包含移动或新的目标
				22	选择高光谱图像作为背景图像	24	允许多个背景图像？
26	否；仅单个背景图像	28	是；存在移动对象
				30	是；允许多个背景图像	32	循环终止器
34	确定是否已经指定多个高光谱图像来代表目标场景的背景	36	是；指定多个高光谱图像来代表目标场景的背景
				38	对多个高光谱图像求平均	40	指定单个图像？
42	是；单个背景图像	44	未指定背景图像
				46	数据库	48	过程的结束
50	否；未指定多个高光谱图像	100	背景减去的方法
				112	过程的开始	114	高光谱图像输入
116	迭代通过收集的高光谱图像系列	118	减去目标场景的背景图像
				120	循环终止器	122	过程的结束
200	光谱物质减去的方法	212	过程的开始
				214	循环通过图像	216	确定相异值来将搜索签名与像素签名比较
218	签名匹配？	220	否
				222	是	224	删除像素
226	循环终止器	228	过程的结束
				300	用作背景图像的场景的高光谱图像	310	公路
312	塔	314	树
				316	人工基础设施	320	多草地形
400	场景的高光谱图像	410	汽车
				500	背景减去的高光谱图像	510	背景去除的空间
600	签名减去的高光谱图像	620	签名减去的空间

Claims

1.一种从至少一个高光谱图像去除静止对象的方法，所述方法包括：

收集目标场景的高光谱图像系列；

确定所述目标场景中没有移动对象的至少一个第一高光谱图像；

选择所述至少一个第一高光谱图像；

确定所述目标场景中具有移动对象的至少一个第二高光谱图像；以及

从所述至少一个第二高光谱图像减去所述至少一个第一高光谱图像来创建背景减去的高光谱图像。

2.如权利要求1所述的方法，进一步包括显示所述背景减去的高光谱图像的步骤。

3.如权利要求1所述的方法，进一步包括存储所述背景减去的高光谱图像的步骤。

4.如权利要求1所述的方法，其中，如果在减去步骤中所述至少一个第二高光谱图像的签名与所述至少一个第一高光谱图像的平均签名之间的绝对差小于预定阈值，将差值设置成零。

5.如权利要求1所述的方法，进一步包括校准所述至少一个第一高光谱图像和所述至少一个第二高光谱图像来解释所述目标场景的照度中的差的步骤。

6.如权利要求1所述的方法，其中，手动进行确定和选择步骤。

7.如权利要求1所述的方法，其中，自动进行确定和选择步骤。

8.如权利要求1所述的方法，其中，所述选择步骤进一步包括选择至少两个第一高光谱图像并且对所述至少两个第一高光谱图像的签名求平均。

9.如权利要求1所述的方法，其中，确定所述目标场景中没有移动对象的所述至少一个第一高光谱图像的步骤通过将所述至少一个第一高光谱图像与目标场景的高光谱图像系列比较而进行。