CN103679758B - 控制高光谱图像的分辨率的方法 - Google Patents

Abstract

一种控制来自图像传感器的高光谱图像的分辨率的方法，所述图像传感器包括像素和定义每个像素内的子像素的至少一个滤波器，所述方法包括:在具有行和列子像素的阵列的图像传感器上定义窗口;基于所述高光谱图像的至少一个预定义参数，对所述窗口内的子像素进行加权，以确定针对预定义参数的所述阵列的加权平均值;将所述窗口移动预定数目的行或列;对所述图像传感器上的所有可能的窗口重复所述加权和移动步骤;以及基于加权平均值处理所述高光谱图像。

Description

控制高光谱图像的分辨率的方法

技术领域

本发明涉及一种控制高光谱图像的分辨率的方法。

背景技术

常规成像系统以及高光谱成像系统都采集并记录多个不同光谱带中的电磁能量。通过将光谱带信息组合成一个或许多通道以形成图像的灰度或彩色表示，来显示产生的图像。高光谱图像(HSI)装置是一类同时记录众多空间图片元素(称为图像传感器上的像素)的许多离散光谱带或颜色的能量的光谱仪。标准的宽带成像器对一个宽光谱内的所有检测到的入射能量记录每个像素的一个值，并通过二维阵列的检测器创建两个空间维度的图像。HSI装置与标准的宽带成像器的不同之处在于，创建具有附加的光谱维度的图像。每个HSI像素可以具有十个到几百个记录波长值。

发明内容

本发明的一个方面涉及一种控制来自图像传感器的高光谱图像的分辨率的方法，所述图像传感器包括像素和定义每个像素内的子像素(subpixel)的至少一个滤波器。所述方法包括:在包括行和列子像素的阵列的图像传感器上定义窗口;基于所述高光谱图像的一个或多个预定义参数，对所述窗口内的子像素进行加权(weighting)，以确定对于预定义参数的所述阵列的加权平均值;将所述窗口移动预定数目的行或列，其中，所述预定数目小于所述阵列中相应的行或列的数目;对所述图像传感器上的所有可能的窗口重复加权和移动步骤;以及基于加权平均值处理所述高光谱图像。

作为优选，所述至少一个预定义参数为红色、绿色和蓝色光谱带中至少一个的强度值。

作为优选，所述至少一个预定义参数为所有红色、绿色和蓝色光谱带的强度值。

作为优选，所述至少一个滤波器为拜耳滤波器。

作为优选，所述至少一个预定义参数为连续光谱带的强度值。

作为优选，所述强度值是由16个光谱带确定的。

作为优选，所述至少一个滤波器为包括微透镜阵列(microlens array)的小透镜(lenslets)的高光谱滤波器。

附图说明

在附图中:

图1是图解说明通过高光谱数据立方体，通常已知的对高光谱图像采样的示意图示。

图2是图解说明根据本发明的实施例对从高光谱数据立方体得到的高光谱图像进行上采样(upsampling)的方法的流程图。

图3是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第一像素进行上采样的示意图示。

图4是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第二像素进行上采样的示意图示。

图5是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第三像素进行上采样的示意图示。

图6是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第四像素进行上采样的示意图示。

图7是图解说明对在图2的方法中通过高光谱数据立方体得到的高光谱图像进行完整上采样的示意图示。

具体实施方式

在背景部分以及下文的描述中，出于解释目的，列出了各种具体细节以便提供对本文中描述的技术的彻底理解。然而，对本领域技术人员而言显然没有这些具体细节也可以实施这些示例性实施例。在其它实例中，以图形方式显示了结构和装置以便便于对示例性实施例的描述。

参照附图，描述这些示例性实施例。这些图图示了实现本文中描述的模块、方法或计算机程序产品的特定实施例的一些细节。然而，这些图示不应当理解为强加图中可能出现的任何限制。方法和计算机程序产品可以提供于任何机器可读介质上以用来完成他们的操作。可以使用现有的计算机处理器，或者通过为此目的或其它目的包括的专用计算机处理器，或者通过硬件系统来实施这些实施例。

如上文指出的，本文中描述的实施例可以包括计算机程序产品，计算机程序产品包括用于执行或者具有其上存储的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任意可用介质，它可以通过通用或专用计算机或具有处理器的其它机器访问。作为示例，这种机器可读介质可包括RAM，ROM，EPROM，EEPROM，CD-ROM或其它光盘存储器，磁盘存储器或其它磁存储装置，或者可以用来执行或存储所需的形式为机器可执行指令或数据结构的程序代码，并可以由通用或专用计算机或具有处理器的其它机器访问的任意其它介质。当信息通过网络或其它通信连接(或者硬连线、无线或者是硬连线或无线的组合)传送或提供给机器时，机器适当地将连接视为机器可读介质。因此，任何这类连接被适当地称作机器可读介质。上述的组合也包括在机器可读介质的范围内。机器可执行指令包括，例如指令和数据，其引起通用计算机、专用计算机或专用处理机执行一个特定功能或功能组。

在方法步骤的一般背景下描述这些实施例，在一个实施例中，这些方法步骤可以通过程序产品实现，程序产品包括机器可执行指令，诸如形式为例如由联网环境中的机器执行的程序模块的程序代码。通常，程序模块包括具有执行特定任务或实现特定的抽象数据类型的技术效果的例程、程序、对象、组件、数据结构等。机器可执行指令，相关的数据结构以及程序模块代表用于执行本文中公开的方法步骤的程序代码的示例。这种可执行指令或关联数据结构的特定顺序表示用于实现在这些步骤中描述的功能的相应行为的例子。

可以在联网环境中使用与具有处理器的一个或多个远程计算机的逻辑连接来实现这些实施例。逻辑连接可包括局域网(LAN)和广域网(WAN)，他们在这里作为例子而不是作为限制列出。这种联网环境在办公或企业计算机网络、企业内部网和因特网是常见的，可以使用各种不同的通信协议。本领域技术人员会认识到这种联网计算环境通常包括许多类型的计算机配置，包括个人计算机、手持装置、多处理器系统、微处理器类型或可编程消费电子，网络PC、微型计算机、主机计算机等。

还可以在分布式计算环境中实施这些实施例，在分布式计算环境中，任务是通过通信网络链接(通过硬链接、无线链接或通过硬链接或无线链接的组合)的本地和远程处理装置执行的。在分布式计算环境中，程序模块可位于本地和远程存储装置中。

用于实现示例性实施例的全部或一部分的示例性系统可包括形式为计算机的通用计算装置，包括处理单元、系统存储器和系统总线，系统总线将包括系统存储器的各个系统组件耦连到处理单元。系统存储器可包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可包括用于读写磁硬盘的磁硬盘驱动器，用于读写可移动磁盘的磁盘驱动器和用于读写可移动光盘(诸如CD-ROM或其它光介质)的光盘驱动器。驱动器和驱动器关联的机器可读介质提供机器可执行指令、数据结构、程序模块和用于计算机的其它数据的非易失性存储。

在实施例中公开的方法的技术效果包括通过现有信息提高图像的空间分辨率，这与提高传感器的范围，特别是当结合传感器使用对象检测和跟踪方法时有直接相互关联。同样，所述方法通过更加有效地使用系统所收集的数据提高了现有的光谱复合图像技术。这种技术可以用在通过光谱立方体阵列生成复合图像的任意系统上。在光谱立方体阵列系统上实施这种技术会将传感器的空间分辨率提高与光谱立方体维度相同的因数。

图1是图解说明通过高光谱数据立方体12得到高光谱图像14的全色表示的已知采样的示意图示。由高光谱数据立方体12形成的高光谱图像14的全色表示是通过将从HSI装置的像素收集的所有光谱带的数据组合成单个阵列而形成的宽带图像。高光谱数据立方体12包括来自HSI装置的图像传感器上的像素的值的阵列，这里，每个像素，诸如高光谱数据立方体12的22包括子像素阵列，在此实施例中数目为9，标识为1-9，诸如，16，18，20。每个子像素，诸如像素22中的16，18，20表示特定的光谱带，并包含于单个像素22内。应理解，取决于特定应用，每个像素可以有更多或更少的子像素。由子像素表示的光谱带可以是高光谱数据立方体12的9个光谱带，或HSI装置(如来自Surface Optics公司的SOC710)的16个光谱带或与已知的拜耳滤波器(Bayer filter)的红色、蓝色和绿色对应的三个不同的光谱带，不过，取决于特定实施的需要，其它的光谱带滤波器配置(包括由子像素表示的光谱带对于一个像素中的多个子像素是相同的配置)是可行的。

高光谱数据立方体12通过转换方法24被转换成高光谱图像14的全色表示，转换方法24将给定的高光谱像素22的所有子像素(在此实施例中是1-9)的值转换成单个全色像素28的值。在此实施例中，像素22中的9个子像素各自包括表示唯一波长强度的值，编号为1到9，并通过转换方法24进行组合。对高光谱数据立方体12中的所有高光谱像素重复用来组合每个高光谱像素22的所有子像素值的转换方法24，在此实施例中，每个像素的中心位于与波长5(16，26，44，46，48，50，52，54)对应的子像素，并包括与波长5和8个最近的子像素对应的子像素。

用来形成单个全色像素28的值的一种转换方法24是对高光谱像素22的所有9个子像素的值取平均。通过使用规定的转换方法24对高光谱数据立方体12中的数据采样，高光谱图像14将具有与高光谱数据立方体12相同的分辨率或像素数。以与波长5对应的子像素(16，26，27，44，46，48，50，52，54)为中心的高光谱数据立方体12的每个像素将被采样，以生成单个全色像素，诸如28和30。

图2是图解说明根据本发明的实施例控制从高光谱数据立方体得到的高光谱图像的分辨率的上采样方法80的流程图。使用方法80，高光谱图像的每个全色像素可通过采样的高光谱数据立方体的子像素的采样子集来生成，而不考虑高光谱数据立方体的像素的边界。方法80可包括步骤:定义窗口(步骤82)，对于给定窗口位置，对窗口中的子像素值进行加权(步骤86)，给输出高光谱图像分配加权平均值(步骤88)，从第一窗口位置开始(步骤84)通过迭代窗口位置的集合，并递增连续的窗口位置(步骤90)来重复地加权和移动窗口的子像素，直到已经处理完所有的窗口位置(步骤92)。

上采样方法80的第一步可以是定义窗口82，在图像处理中也称为掩模(mask)或模板(template)，以确定高光谱数据立方体的哪些子像素可以用来计算产生高光谱图像的像素的值。窗口在所包括的子像素的数目和位置方面可以与像素的大小相同。然而，取决于实现方式，可以使用任意大小的窗口。窗口可以包括比像素中所包含的子像素多或少的子像素，并且可以是与定义像素的子像素集合的形状完全不同的形状。例如，包括矩形布置子像素的窗口可应用于由具有正方形布置子像素的像素组成的高光谱数据立方体。

窗口可应用到第一窗口位置(步骤84)，之后对窗口中的子像素值进行加权(步骤86)。在每个窗口位置，可以对每个窗口子像素的值应用加权过程。以数学方式，这可以表示为:

这里，z是所产生的高光谱图像的像素值;y是窗口中高光谱数据立方体的子像素的值;w是应用于子像素的权重，P是窗口中子像素的总数。以其最简单形式，可以应用影响平均运算的相等加权，即所有的w_p权重都被设置为l/P值。

可以使用加权过程来修改每个子像素对所产生的像素值的相对贡献，这里，权重的设置可以基于预定义参数。可以选择预定义参数来有利地显示所产生图像主体的特征。

可以应用其它权重，尽管窗口中所有权重的集合通常总和为1，本发明并不局限于这种约束。推导出优选的权重集，来补偿太阳辐射的频率响应以及由于地球大气中的吸收频带造成的选择波长的进一步衰减。加权方案可以被设计为有利地显示所产生图像主体的特征。

加权的窗口子像素的值可以组合成子像素的单个加权平均值。然后，在与当前窗口位置对应的位置，对所产生的高光谱图像中的像素分配加权平均值(步骤88)。

对所有可能的窗口位置，可以重复对窗口中的子像素值进行加权(步骤86)，以及将加权平均值分配给所产生的高光谱图像中的输出像素的过程(步骤88)，直到已经处理完所有位置(步骤92)。连续地，此过程可相当于将窗口移动预定的行数和列数。在本发明的一个优选实施例中，可以在垂直或者水平方向上将窗口移动一个子像素，但是可以采用其它移动用来控制所产生的高光谱图像的分辨率。然后，可以重复加权过程，以使用新的邻近窗口子像素形成高光谱图像中的下一个像素。在本发明的另一实施例中，可以初始化同步窗口，使得他们是在垂直或者水平方向上移动一个子像素的窗口集合，所有产生的高光谱图像的输出像素可以同时生成。

通过例子，图3是图解说明对在图2的方法中通过高光谱数据立方体12得到的高光谱图像114的第一像素128进行上采样100的示意图示。图解说明对通过高光谱数据立方体12得到的高光谱图像114的第一像素128的上采样100的转换方法124可使用窗口22来确定高光谱数据立方体12的哪些子像素可以用来计算所产生的高光谱图像114的像素128的值。

然后，可以将窗口22移动预定的行数或列数。在本发明的一个实施例中，可以在垂直或者水平方向上将窗口移动一个子像素，但其它移动可以用来控制所产生的高光谱图像114的分辨率。图4-6分别是图解说明通过使用以单个子像素移动来重复移动窗口22的高光谱图像114的像素226，328，430的上采样的示意图示。

图4是图解说明根据图3的实施例，对通过高光谱数据立方体12得到的高光谱图像114的第二像素226进行上采样200的示意图示。图解说明对通过高光谱数据立方体12得到的高光谱图像114的第二像素226的上采样200的转换方法224可以使用从图3中的窗口位置向右移动一列得到的窗口22来确定以高光谱数据立方体12的子像素216为中心的哪些子像素可以用来计算所产生的高光谱图像114的第二像素226的值。

图5是图解说明根据图3和图4的实施例对通过高光谱数据立方体12得到的高光谱图像114的第三像素328进行上采样300的示意图示。图解说明对通过高光谱数据立方体12得到的高光谱图像114的第三像素328的上采样300的转换方法324可以使用从图4中的窗口位置向右移动一列得到的窗口22来确定以高光谱数据立方体12的哪些子像素可以用来计算所产生的高光谱图像114的第三像素328的值。

图6是图解说明根据图3-5的实施例，对通过高光谱数据立方体12得到的高光谱图像114的第四像素430进行上采样400的示意图示。图解说明对通过高光谱数据立方体12得到的高光谱图像114的第四像素430的上采样400的转换方法424可以使用从图3中的窗口位置向下移动一行得到的窗口22来确定高光谱数据立方体12的哪些子像素可以被转换方法424用来计算所产生的高光谱图像114的第四像素430的值。

图7是图解说明根据图2的方法，对通过高光谱数据立方体12得到的高光谱图像114进行完整上采样500的示意图示。可以通过对高光谱数据立方体12的子像素的所有可能阵列重复加权和移动步骤，来形成高光谱图像114的全色表示。图解说明通过高光谱数据立方体12创建高光谱图像114的上采样500的转换方法524可以重复地使用一次移动一个子像素的窗口来确定高光谱数据立方体12的哪些子像素可以用来计算所产生的高光谱图像114的每个像素的值，如图3-6所示。通过如图3-6所示的加权、窗口平均所产生的像素128，226，328，430显示为相对于用来构造高光谱图像114的所有像素的所有加权、窗口平均值被置于最终的高光谱图像114中。

使用本发明的分辨率控制方法的实施例，由高光谱数据立方体12形成的高光谱图像114的全色表示可以建立起高光谱数据立方体子像素和具有可能边界高光谱数据立方体子像素异常(诸如518，520)的高光谱图像像素之间的一一映射。边界高光谱数据立方体子像素518，520可能在所产生的高光谱图像114中没有相似性，确定高光谱图像的最终分辨率为M-2xN-2像素，这里，M和N分别是一行和一列中高光谱数据立方体子像素的数目，有效地将传感器的空间分辨率提高了与光谱立方体维度相等的因数。

使用单一的加权方案可以产生显示为灰度的图像。可以同时使用多个不同的加权方案，以生成所产生图像的不同通道。例如，高光谱图像114的全色表示的显示可以具有多个颜色通道。通常表示为RGB的所产生的通道可以表示图像主体实际表现的实际可视颜色或错误颜色的图像，因此，高光谱图像的加权全色表示充满(imbued)可能不能表示图像主体的实际颜色特征但是在视觉上吸引观看者的可视颜色特征。

本发明的方法与已知的去马赛克技术之间的重要区别在于通常使用的去马赛克技术内插(interpolate)了周围像素以估计每个子像素中本来丢失的红色、绿色和蓝色子像素值。本发明的方法没有尝试通过分析周围的子像素来插入丢失的像素值，而是改变用来显示的RGB像素的中心。通过在每个颜色通道上重复，所述方法通过连续地重新定义拜耳滤波器的颜色滤波器阵列图案定义，可以执行RGB像素值的插入，而不是尝试插入丢失的像素值。

本书面说明书使用示例来公开本发明(包括最佳模式)，还使得任意本领域技术人员可实施本发明(包括制造和使用任意装置或系统和执行任意结合的方法)。本发明的专利范围由权利要求书限定，并且可以包括本领域技术人员想到的其他示例。如果这样的其他示例具有与权利要求书的文字语言并非不同的结构元件、或者如果这样的其他示例包括与权利要求书的文字语言具有非实质性区别的等同结构元件，则这样的其他示例意欲落入权利要求书的范围内。

Claims (7)

1.一种提高来自图像传感器的高光谱图像的分辨率的方法，所述图像传感器包括像素和定义每个像素内的子像素的至少一个滤波器，所述方法包括：

在包括行和列子像素的阵列的图像传感器上定义窗口；

基于所述高光谱图像的至少一个预定义参数，对所述窗口内的子像素进行加权，以确定针对所述至少一个预定义参数的所述阵列的加权平均值；

将所述窗口移动预定数目的行或列，其中，所述预定数目小于所述阵列中相应行或列的数目；

对所述图像传感器上的所有可能的阵列重复加权步骤和移动步骤，并基于加权平均值处理所述高光谱图像。

2.根据权利要求1所述的方法，其特征在于：所述至少一个预定义参数为红色、绿色和蓝色光谱带中至少一个的强度值。

3.根据权利要求2所述的方法，其特征在于：所述至少一个预定义参数为所有红色、绿色和蓝色光谱带的强度值。

4.根据权利要求1所述的方法，其特征在于：所述至少一个滤波器为拜耳滤波器。

5.根据权利要求1所述的方法，其特征在于：所述至少一个预定义参数为连续光谱带的强度值。

6.根据权利要求5所述的方法，其特征在于：所述强度值是由16个光谱带确定的。

7.根据权利要求1所述的方法，其特征在于：所述至少一个滤波器为包括微透镜阵列的小透镜的高光谱滤波器。