CN114359585A - 一种红外偏振马赛克图像的直方图特征提取方法 - Google Patents

Abstract

本发明公开了一种红外偏振马赛克图像的直方图特征提取方法，根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成红外偏振马赛克图像的空间偏振梯度图；根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成红外偏振马赛克图像的偏振梯度图；基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图；将第一直方图和第二直方图进行级联，得到红外偏振马赛克图像的直方图描述符；本发明方法能够直接在原始马赛克图像中提取空间偏振特征，不需要进行预处理，避免了信息的变化与信息的丢失，同时降低了计算成本，提高了特征提取的鲁棒性和有效性，适用于实时视频处理。

Description

一种红外偏振马赛克图像的直方图特征提取方法

技术领域

本发明属于红外偏振马赛克图像处理技术领域，尤其涉及一种红外偏振马赛克图像的直方图特征提取方法。

背景技术

红外偏振马赛克图像是由红外焦平面上加工一层微偏振片阵列所构成的分焦平面红外偏振相机所采集的，微偏振片阵列中每2×2个像元为一组。如图3(a)所示，2×2个像元对应四个不同的偏振滤波角度，依次为0°、45°、90°、135°，采集到的红外偏振马赛克图像如图3(b)所示。

由于所获取图像的特征马赛克结构，在特征提取时，传统的思路是先通过去马赛克、偏振参数解算等一系列的预处理，然后，再进一步利用所得的偏振和空间信息实现目标检测、识别、跟踪等相关任务。

但是，在预处理过程中的每一步处理过程，都会导致信息的变化与不可避免的信息丢失，而且预处理会消耗大量时间，影响方法的实时性。

发明内容

本发明的目的是提供一种红外偏振马赛克图像的直方图特征提取方法，可以直接从原始红外偏振马赛克图像中提取特征，不再需要进行去马赛克、偏振参数解算等预处理步骤，避免了信息变化与信息丢失。

本发明采用以下技术方案：一种红外偏振马赛克图像的直方图特征提取方法，包括以下步骤：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成红外偏振马赛克图像的空间偏振梯度图；

根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成红外偏振马赛克图像的偏振梯度图；

基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图；

将第一直方图和第二直方图进行级联，得到红外偏振马赛克图像的直方图描述符。

进一步地，生成红外偏振马赛克图像的空间偏振梯度图包括：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，确定每个像素的空间偏振梯度图；

根据每个像素的空间偏振梯度图确定红外偏振马赛克图像的空间偏振梯度图。

进一步地，确定每个像素的空间偏振梯度图包括：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，计算每个像素的空间偏振梯度算子；

将每个像素的空间偏振梯度算子与该像素的灰度值进行卷积，得到每个像素的空间偏振梯度图。

进一步地，计算每个像素的空间偏振梯度算子包括：

根据红外偏振马赛克图像在采集过程中使用的微偏振片阵列的排布模式，生成红外偏振马赛克图像中每个像素的偏振相关性矩阵；

基于每个像素的偏振相关性矩阵和梯度算子，计算每个像素的空间偏振梯度算子。

进一步地，生成红外偏振马赛克图像的偏振梯度图包括：

根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性生成红外偏振马赛克图像的偏振梯度算子；

将红外偏振马赛克图像与偏振梯度算子进行卷积，得到红外偏振马赛克图像的偏振梯度图。

进一步地，基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图包括：

基于空间偏振梯度图，生成第一直方图；其中，第一直方图包括第一梯度幅值和第一角度方向。

进一步地，基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图还包括：

基于空间偏振梯度图和偏振梯度图生成第二直方图；其中，第二直方图包括第二梯度幅值和第二角度方向。

本发明的另一种技术方案：一种红外偏振马赛克图像的直方图特征提取装置，包括：

第一生成模块，根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成红外偏振马赛克图像的空间偏振梯度图；

第二生成模块，根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成红外偏振马赛克图像的偏振梯度图；

第三生成模块，用于基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图；

级联模块，用于将第一直方图和第二直方图进行级联，得到红外偏振马赛克图像的直方图描述符。

进一步地，第一生成模块包括：

第一确定模块，用于根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，确定每个像素的空间偏振梯度图；

第二确定模块，用于根据每个像素的空间偏振梯度图确定红外偏振马赛克图像的空间偏振梯度图。

本发明的另一种技术方案：一种红外偏振马赛克图像的直方图特征提取装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述的一种红外偏振马赛克图像的直方图特征提取方法。

本发明的有益效果是：本发明方法能够直接在原始马赛克图像中提取空间偏振特征，不需要进行去马赛克、偏振参数解算等一系列的预处理，避免了信息的变化与信息的丢失，同时降低了计算成本，提高了特征提取的鲁棒性和有效性，适用于实时视频处理。

附图说明

图1为本发明实施例一种红外偏振马赛克图像的直方图特征提取方法的流程图；

图2为本发明实施例中关联的像素的相关性示意图；

图3为现有技术中采集的红外偏振马赛克图像示例和2×2个像元的偏振滤波角度示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例公开了一种红外偏振马赛克图像的直方图特征提取方法，如图1所示，包括以下步骤：根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成红外偏振马赛克图像的空间偏振梯度图；根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成红外偏振马赛克图像的偏振梯度图；基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图；将第一直方图和第二直方图进行级联，得到红外偏振马赛克图像的直方图描述符。

本发明方法能够直接在原始马赛克图像中提取空间偏振特征，不需要进行去马赛克、偏振参数解算等一系列的预处理，避免了信息的变化与信息的丢失，同时降低了计算成本，提高了特征提取的鲁棒性和有效性，适用于实时视频处理。

在本实施例中，生成红外偏振马赛克图像的空间偏振梯度图包括：根据红外偏振马赛克图像在采集过程中使用的微偏振片阵列的排布模式(即根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性)，生成红外偏振马赛克图像中每个像素的偏振相关性矩阵；基于每个像素的偏振相关性矩阵和梯度算子，计算每个像素的空间偏振梯度算子；将每个像素的空间偏振梯度算子与该像素的灰度值进行卷积，得到每个像素的空间偏振梯度图；根据每个像素的空间偏振梯度图确定红外偏振马赛克图像的空间偏振梯度图。

梯度信息在目标检测、识别、跟踪等相关任务中已经成为重要的特征，然而这些梯度特征利用的只有空间相关性，在偏振马赛克图像中既有空间相关性，同时还有偏振相关性，是空间信息和偏振信息的混叠。因此，在构造特征提取算子时，需要考虑原始马赛克图像中空间和偏振信息的混叠。

本发明使用空间距离表示像素之间的空间相关性，该空间距离可以是实际的像素之间的距离，也可以是由像素之间的欧式距离计算得到。马赛克图像中的每个像素都具有相同的空间相关矩阵，表示如下：

其中，f_s表示中心像素的空间相关矩阵，d_i分别表示第i个邻域像素与中心像素之间的空间距离。

本发明中利用不同角度通道之间相互的投影系数来表示不同角度之间的偏振相关性。在振动平面内，光波的振动在各个方向上都是平均对称的，它们有相同的振幅，所以非偏振光在振动平面内各个方向的振动幅值是相同的，当非偏振光通过某一方向的偏振片时，该方向的光的振动幅值会大于其他方向，就形成了偏振光。

本实施例中，利用其他方向的振动光波在偏振片方向的分量系数来描述偏振相关性。例如，0°所关联的像素与45°所关联的像素的相关性可以用45°方向的光在0°方向的投影系数来描述，0°所关联的像素与135°所关联的像素的相关性可以用135°方向的光在0°方向的投影系数来描述。因为0°与90°是两个正交的通道，所以它们之间的相关性为0。

具体的，0°所关联的像素与其他三个角度45°、90°和135°所关联的像素的相关性可用图2来说明，图2(a)为0°通道与45°通道的相关性示意图，图2(b)为0°通道与135°通道的相关性示意图。由该图可知，0°所关联的像素对应的偏振相关性矩阵可以表示如下：

其中，f_p表示某一角度所关联的像素与其他角度所关联像素的偏振相关性矩阵，r表示光的振幅。

构造相关矩阵f_p,p＝{0°,45°,90°,135°}之后，通过将偏振相关性矩阵f_p分别和水平梯度算子f_sx和垂直梯度算子f_sy进行卷积，可以得到空间偏振水平梯度算子和空间偏振垂直梯度算子，具体表示如下：

其中，f_xp为空间偏振水平梯度算子，f_yp为空间偏振垂直梯度算子。

在本发明实施例中，水平梯度算子f_sx和垂直梯度算子f_sy表示如下：

在得到空间偏振水平梯度算子和空间偏振垂直梯度算子后，可以利用它们来计算红外偏振马赛克图像的空间偏振梯度图。具体的，可以采用下式进行计算：

其中，G_xp为红外偏振马赛克图像的空间偏振水平梯度图，G_yp为红外偏振马赛克图像的空间偏振垂直梯度图。由于马赛克图像的排布模式，马赛克图像的最终空间偏振梯度图包含了空间偏振水平梯度图和空间偏振垂直梯度图，即有G_M＝{G_x,G_y}。另外，由于上述计算过程均是对每个像素进行的，所以，需要把各个像素的空间偏振梯度图进行组合，进而得到该红外偏振马赛克图像的空间偏振梯度图G_M。

在组合的过程中，可以采用取并集的方法来实现，具体表示如下：

其中，G_xp(p)为角度p所关联的像素的空间偏振水平梯度图，G_yp(p)为角度p所关联的像素的空间偏振垂直梯度图。

在多光谱图像中，通常通过相邻频带之间的差来计算频谱梯度。伪全色图像(PPI)表示光谱图像所有通道上的平均图像，PPI与所有通道都密切相关。利用该特性，可以得到结论：马赛克光谱图像和PPI图像之间的差可用于表示目标的光谱梯度。由于偏振梯度是通过相邻偏振角度所关联的像素之间的差来计算得到的，而PPI与所有通道都具有很强的相关性，所以可以把光谱马赛克图像中PPI的结论用于偏振马赛克图像，即用偏振马赛克图像与PPI图像之间的差来表示偏振梯度。

在本发明的一个实施例中，根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性(即根据直方图特征提取过程中使用的滤波器的大小)，生成红外偏振马赛克图像的偏振梯度算子；将红外偏振马赛克图像与偏振梯度算子进行卷积，得到红外偏振马赛克图像的偏振梯度图。

具体的，偏振马赛克图像与PPI图像之间的差来表示偏振梯度。由于PPI是所有通道对应的像素的平均，所以使用平均滤波器来估计偏振马赛克图像的PPI。该滤波器需要考虑所有通道，并且其大小应不小于包含所有通道的最小奇数邻域窗口的大小。在本实施例中，取滤波器M的大小为3×3，M中的每个值为1/n，n为该通道在滤波器窗口中出现的次数，M表示如下：

进而，根据上述结论，红外偏振马赛克图像的偏振梯度图表示如下：

其中，f_l＝[1]-M表示偏振梯度算子，[1]表示3×3矩阵(该矩阵中心元素为1，其他元素均为0)。由此可知，在计算偏振梯度图时，可直接用偏振梯度算子f_l对原始马赛克图像进行卷积来得到偏振梯度图G_l。

在进行梯度计算之后，通过梯度的幅值和方向构建直方图，然后将其级联以形成用于红外偏振马赛克图像的马赛克空间偏振梯度方向直方图描述符。

具体的，在生成第一直方图和第二直方图过程中，其具体方法可以是基于空间偏振梯度图，生成第一直方图；其中，第一直方图包括第一梯度幅值和第一角度方向。基于空间偏振梯度图和偏振梯度图生成第二直方图；其中，第二直方图包括第二梯度幅值和第二角度方向。

作为一种具体的实现方法，第一直方图是通过空间偏振水平梯度图G_x和空间偏振垂直梯度图G_y来计算第一梯度幅值M_xy和第一角度方向θ_xy，其表达式为：

θ_xy＝tan^-1(G_x/G_y) (14)

第二直方图是通过空间偏振水平梯度图G_x、空间偏振垂直梯度图G_y和偏振梯度图G_l来计算第一梯度幅值M_xyl和第一角度方向

具体为：

综上，在局部单元内构建上述的直方图，以表示局部空间偏振信息，类似于经典的HOG特征，在9个敏感方向和18个不敏感方向内构建直方图，计算每对振幅和方向的直方图，最后通过在第三维度中串联直方图得到MSPHOG特征。本发明方法能够直接在原始马赛克图像中提取空间偏振特征，不需要进行去马赛克、偏振参数解算等一系列的预处理，避免了信息的变化与信息的丢失，同时降低了计算成本。提高了特征提取的鲁棒性和有效性，适用于实时视频处理。

另外，本发明另一实施例还公开了一种红外偏振马赛克图像的直方图特征提取装置，包括：第一生成模块，用于根据红外偏振马赛克图像在采集过程中使用的微偏振片阵列的排布模式，生成红外偏振马赛克图像的空间偏振梯度图；第二生成模块，根据直方图特征提取过程中使用的滤波器的大小，生成红外偏振马赛克图像的偏振梯度图；第三生成模块，用于基于空间偏振梯度图和偏振梯度图分别生成第一直方图和第二直方图；级联模块，用于将第一直方图和第二直方图进行级联，得到红外偏振马赛克图像的直方图描述符。

进一步地，第一生成模块包括：第一确定模块，用于根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，确定每个像素的空间偏振梯度图；第二确定模块，用于根据每个像素的空间偏振梯度图确定红外偏振马赛克图像的空间偏振梯度图。

需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明另一实施例还公开了一种红外偏振马赛克图像的直方图特征提取装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述的一种红外偏振马赛克图像的直方图特征提取方法。

所述装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于，处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，包括以下步骤：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成所述红外偏振马赛克图像的空间偏振梯度图；

根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成所述红外偏振马赛克图像的偏振梯度图；

基于所述空间偏振梯度图和所述偏振梯度图分别生成第一直方图和第二直方图；

将所述第一直方图和第二直方图进行级联，得到所述红外偏振马赛克图像的直方图描述符。

2.如权利要求1所述的一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，生成所述红外偏振马赛克图像的空间偏振梯度图包括：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，确定每个所述像素的空间偏振梯度图；

根据每个所述像素的空间偏振梯度图确定所述红外偏振马赛克图像的空间偏振梯度图。

3.如权利要求2所述的一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，确定每个所述像素的空间偏振梯度图包括：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，计算每个所述像素的空间偏振梯度算子；

将每个所述像素的空间偏振梯度算子与该像素的灰度值进行卷积，得到每个所述像素的空间偏振梯度图。

4.如权利要求3所述的一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，计算每个所述像素的空间偏振梯度算子包括：

根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成所述红外偏振马赛克图像中每个像素的偏振相关性矩阵；

基于每个所述像素的所述偏振相关性矩阵和梯度算子，计算每个所述像素的空间偏振梯度算子。

5.如权利要求2-4任一所述的一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，生成所述红外偏振马赛克图像的偏振梯度图包括：

根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成所述红外偏振马赛克图像的偏振梯度算子；

将所述红外偏振马赛克图像与所述偏振梯度算子进行卷积，得到所述红外偏振马赛克图像的偏振梯度图。

6.如权利要求5所述的一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，基于所述空间偏振梯度图和所述偏振梯度图分别生成第一直方图和第二直方图包括：

基于所述空间偏振梯度图，生成第一直方图；其中，所述第一直方图包括第一梯度幅值和第一角度方向。

7.如权利要求6所述的一种红外偏振马赛克图像的直方图特征提取方法，其特征在于，基于所述空间偏振梯度图和所述偏振梯度图分别生成第一直方图和第二直方图还包括：

基于所述空间偏振梯度图和所述偏振梯度图生成第二直方图；其中，所述第二直方图包括第二梯度幅值和第二角度方向。

8.一种红外偏振马赛克图像的直方图特征提取装置，其特征在于，包括：

第一生成模块，用于根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，生成所述红外偏振马赛克图像的空间偏振梯度图；

第二生成模块，根据红外偏振马赛克图像中不同偏振通道与PPI图像之间的相关性，生成所述红外偏振马赛克图像的偏振梯度图；

第三生成模块，用于基于所述空间偏振梯度图和所述偏振梯度图分别生成第一直方图和第二直方图；

级联模块，用于将所述第一直方图和第二直方图进行级联，得到所述红外偏振马赛克图像的直方图描述符。

9.如权利要求8所述的一种红外偏振马赛克图像的直方图特征提取装置，其特征在于，所述第一生成模块包括：

第一确定模块，用于根据红外偏振马赛克图像中像素之间的空间相关性以及不同偏振通道之间的相关性，确定每个所述像素的空间偏振梯度图；

第二确定模块，用于根据每个所述像素的空间偏振梯度图确定所述红外偏振马赛克图像的空间偏振梯度图。

10.一种红外偏振马赛克图像的直方图特征提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的一种红外偏振马赛克图像的直方图特征提取方法。

Images