CN114782502B - 一种多光谱多传感器协同处理方法及装置、存储介质 - Google Patents

Abstract

一种多光谱多传感器协同处理方法及装置、存储介质，所述多光谱多传感器协同处理方法包括：获取多个通道的图像，每个通道的图像为一个单色图像，且不同通道的图像的颜色不同；根据所述单色图像进行目标检测、识别和跟踪，生成针对所述目标的跟踪框，保存所述跟踪框的信息；对所述多个通道的图像进行配准融合，生成融合图像，将保存的所述跟踪框的信息叠加到所述融合图像。本实施例提供的方案，通过采集多通道图像可以减少色彩失真，且通过单色图像进行目标跟踪可以实现快速跟踪，避免配准融合时延造成跟踪失败。

Description

一种多光谱多传感器协同处理方法及装置、存储介质

技术领域

本文涉及图像处理技术，尤指一种多光谱多传感器协同处理方法及装置、存储介质。

背景技术

单图像传感器的摄像机采用拜耳格式成像，图像中的每个像素点在传感器中只能采集RGB三色中的其中一个信息，另外两个信息来自周围的像素点，导致图像采集颜色失真。在一技术方案中，可以采用三个图像传感器分别进行RGB三色的采集，然后进行配准和融合，生成可见光彩色图像。但是，配准融合需要消耗时间，增加了成像的时延，对于快速移动的车辆等目标进行跟踪容易跟丢。

发明内容

本申请实施例提供了一种多光谱多传感器协同处理方法及装置、存储介质，可以实现目标的跟踪。

本申请实施例提供了一种多光谱多传感器协同处理方法，包括：

获取多个通道的图像，每个通道的图像为一个单色图像，且不同通道的图像的颜色不同；

根据所述单色图像进行目标检测、识别和跟踪，生成针对所述目标的跟踪框，保存所述跟踪框的信息；

对所述多个通道的图像进行配准融合，生成融合图像，将保存的所述跟踪框的信息叠加到所述融合图像。

在一示例性实施例中，所述将保存的所述跟踪框的信息叠加到所述融合图像包括：

将保存的最新的跟踪框的信息叠加到所述融合图像。

在一示例性实施例中，所述通道包括红色通道；所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度小于预设光照强度阈值时，选择红色通道的近红外图像进行目标检测、识别和跟踪。

在一示例性实施例中，所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度大于等于预设光照强度阈值，获取每个通道的图像的像素值的和，当存在第一通道的图像的像素值的和大于每个其他通道的图像的像素值的和，且第一通道的图像的像素值的和与至少一个其他通道的图像的像素值的和的差值大于预设值时，选择除所述第一通道外的一个或多个通道的单色图像进行目标检测、识别和跟踪。

在一示例性实施例中，所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度大于等于预设光照强度阈值时，获取每个通道的图像的像素值的和，且对任意第一通道和第二通道，第一通道的图像的像素值之和与第二通道的图像的像素值之和的差值小于预设值时，选择全部通道的单色图像进行目标检测、识别和跟踪。

在一示例性实施例中，所述方法还包括：当选择多个通道的单色图像进行目标检测、识别和跟踪时，将该多个通道的单色图像中检测到的目标的合集作为融合图像的目标；

所述将保存的所述跟踪框的信息叠加到所述融合图像包括：

将保存的该多个通道的单色图像中检测到的目标的跟踪框信息叠加到所述融合图像。

在一示例性实施例中，所述对所述多个通道的图像进行配准融合包括：

对所述多个通道的图像，选择一个通道的图像作为参考图像，其余通道的图像分别作为待配准图像与所述参考图像按如下方式配准：

选择使得

最小，且

和

的重叠区域非零时的

作为配准后的图像，其中，

表示沿

方向的导数算子，

；

为待配准的图像进行坐标变换后的图像，

为参考图像，Ω为

和

的重叠区域，

为二维空间坐标； 或者，

选择使得

最小的

作为配准后的图像，其中，

；

将配准后的图像与所述参考图像进行融合。

本公开实施例提供一种多光谱多传感器协同处理装置，包括存储器和处理器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现上述任一实施例所述的多光谱多传感器协同处理方法。

在一示例性实施例中，所述多光谱多传感器协同处理装置还包括：镜头、分光棱镜和多个传感器，其中：

所述镜头用于接收外部光线，传输至所述分光棱镜；

所述分光棱镜用于，将入射光线进行分光为多路单色光线，所述多路单色光线分别入射至所述多个传感器，其中，每路单色光线入射至一个传感器；

所述传感器用于，将入射光线转换为电信号输出至所述处理器。

本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一实施例所述的多光谱多传感器协同处理方法。

与相关技术相比，本申请包括一种多光谱多传感器协同处理方法及装置、存储介质，所述多光谱多传感器协同处理方法包括：获取多个通道的图像，每个通道的图像为一个单色图像，且不同通道的图像的颜色不同；根据所述单色图像进行目标检测、识别和跟踪，生成针对所述目标的跟踪框，保存所述跟踪框的信息；对所述多个通道的图像进行配准融合，生成融合图像，将保存的所述跟踪框的信息叠加到所述融合图像。本实施例提供的方案，通过采集多通道图像可以减少色彩失真，且通过单色图像进行目标跟踪可以实现快速跟踪，避免配准融合时延造成跟踪失败。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为一示例性实施例提供的摄像机光学子系统示意图；

图2为本公开实施例提供的一种多光谱多传感器协同处理方法流程图；

图3为一示例性实施提供的多光谱图像局部亮度的不一致性示意图；

图4为一示例性实施提供的多光谱多传感器协同处理装置框图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

采用三个图像传感器分别进行RGB三个图像的采集，然后进行配准和融合，当前存在两方面的问题。一是配准融合需要消耗时间，增加了成像的时延，对于快速移动的车辆等目标进行跟踪容易跟丢；二是配准本身采用SIFT(Scale-invariant feature transform，尺度不变的特征变换)或SURF（Speeded Up Robust Features，加速鲁棒特征）技术，存在鲁棒性弱的问题，配准不可靠容易导致最后的融合图像模糊。

本公开实施例中，使用多个图像传感器采集图像，基于单色图像进行目标跟踪，可以避免跟丢目标。

传统摄像机采用拜耳（Bayer）格式进行图像采集，每个像素点仅采集RGB三个分量中的一个分量，另外两个分量基于附近像素点信息进行插值估计，因此，所获得的图像不是真实的。为了实现真实的色彩还原效果，本公开实施中，使用RGB三色分离的光学子系统，通过分光棱镜将光线分离成RGB三原色，然后由3个传感器（Sensor）分别采集，各自成像，最后合成真实的彩色图像。

图1为一示例性实施例提供的摄像机的光学子系统示意图。如图1所示，本实施例提供的摄像机的光学子系统包括：镜头1、IR滤镜2、ND滤镜（中性密度滤光镜）3、分光棱镜4和多个传感器5，其中，每个传感器5采集一个颜色分量的光线。IR滤镜2包括可对红外光进行过滤的红外滤光片，在光线强度较大时（比如白天环境），红外滤光片工作，对红外光进行过滤；在光线强度较小时（比如夜晚环境），红外滤光片不工作，红外光可以通过，从而可以生成近红外图像。ND滤镜3用于对入射光线进行衰减，降低曝光量，摄像机可以控制使用或不使用ND滤镜3。分光棱镜4可以包括3个棱镜，每个棱镜出射一种颜色的光。比如，3个棱镜的出光面分别有R通镀膜、G通镀膜和B通镀膜，可以实现带通滤波，分别获得红光（R通镀膜）、绿光（G通镀膜）和蓝光（B通镀膜），3个出光面出射的光线分别进入三个传感器。镀膜可以滤除一些杂波，获得各通道较好的波形，滤除杂波讯号以及特殊角度的异常讯号，使得颜色还原性更为逼真。但本公开实施例不限于此，可以不使用镀膜。

在一示例性实施例中，超高清摄像机可以支持3片 2/3英寸4K CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)传感器，实现RGB3路分光。此处仅为示例，可以是其他尺寸和像素数量的传感器。

在一示例性实施例中，所述摄像机还可以包括近红外光的补光设备，在光照强度小于预设光照强度阈值时可以开启近红外补光设备，实现近红外图像的采集，在光照强度大于等于预设光照强度阈值时可以关闭近红外补光设备。

上述摄像机系统仅为示例，本公开实施例不限于此，可以是其他能实现多通道图像采集的摄像机系统，比如，摄像机系统可以包括其他滤镜组件等等。

图2为本公开实施例提供的一种多光谱多传感器协同处理方法流程图。如图2所示，本公开实施例提供的多光谱多传感器协同处理方法包括：

步骤201，获取多个通道的图像，每个通道的图像为一个单色图像，且不同通道的图像的颜色不同；

步骤202，根据所述单色图像进行目标检测、识别和跟踪，生成针对所述目标的跟踪框，保存所述跟踪框的信息；

步骤203，对所述多个通道的图像进行配准融合，生成融合图像，将保存的所述跟踪框的信息叠加到所述融合图像。

本实施例提供的方案，通过采集多通道图像可以减少色彩失真，且通过单色图像进行目标跟踪可以实现快速跟踪，避免配准融合时延造成跟踪失败。

在一示例性实施例中，所述目标包括但不限于车辆，还可以是行人、动物、流水线上被传递的物品等，目标的类属并不应当成为对于本申请的限制。

在一示例性实施例中，所述多个通道可以包括第一通道、第二通道和第三通道，所述第一通道的图像可以是红色图像，所述第二通道的图像可以是绿色图像，所述第三通道的图像可以蓝色图像。

在一其他示例性实施例中，第一通道的图像可以是绿色图像，第二通道的图像可以是蓝色图像，第三通道的图像可以红色图像，并不以此为限制。

在一示例性实施中，所述将保存的所述跟踪框的信息叠加到所述融合图像包括：

将保存的最新的跟踪框的信息叠加到所述融合图像。本实施例提供的方案，可以实现实时跟踪目标并在融合图像中进行显示。但本公开实施例不限于此，融合图像中显示的跟踪框可以是融合图像对应的时刻的跟踪框。由于单色图像的时延较小，融合配准会产生一定的时延，根据单色图像得到的最新的跟踪框对应的时刻通常会晚于融合图像对应的时刻。

在一示例性实施例中，可以根据单色图像实施目标的检测、识别和跟踪，若发现符合要求的目标，对该目标进行放大跟踪，并生成跟踪框叠加到该目标上。所述目标至少部分位于所述跟踪框内，比如，目标可以全部位于跟踪框内。

在一示例性实施例中，所述跟踪框的信息可以包括跟踪框左上角和右下角的坐标信息，但不限于此，跟踪框的信息可以是跟踪框的左上角的坐标信息、跟踪框的长度和宽度，或者，可以是跟踪框的中心点的坐标、跟踪框的长度和宽度，等等。跟踪框可以是矩形或者其他形状。由于单色图像采集的时延非常小，因此可以实现目标的实时跟踪。随着目标的移动，生成的跟踪框的位置和大小跟随目标进行更新。将跟踪框左上角和右下角的坐标信息实时保存在内存中，若跟踪框的位置和大小发生了变更，则保存的跟踪也同步变更。可以只保存最新时刻的跟踪框信息，或者，可以保存一段时间内跟踪框的信息。

每融合完一帧图像，可以提取最新保存的跟踪框坐标信息，将跟踪框叠加到融合得到的彩色图像上，从而为用户呈现出彩色视频图像中的目标跟踪效果，即跟踪框实时的跟随着移动的目标。

本领域技术人员知晓或应当知晓，在上述的图像的融合过程中，可以是将三个通道对应的图像进行融合，也可以是融合任二个通道对应的图像，以适应不同的需求。

利用单色图像跟踪目标所生成的跟踪框坐标的信息，与融合后图像的跟踪框的叠加，可以不同步，也不要求一一对应。即，步骤202中跟踪框坐标信息的生成与步骤203中融合后图像的目标跟踪框叠加之间独立，二者之间无顺序关系，按融合图像的生成频率按需从内存中提取跟踪框的坐标信息，在融合图像中生成相应的跟踪框。

在一示例性实施例中，所述通道包括红色通道；所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度小于预设光照强度阈值时，选择红色通道的近红外图像进行目标检测、识别和跟踪。当前环境光照强度小于预设光照强度阈值时，摄像机的近红外补光设备打开。近红外光会通过红色通道生成近红外图像，从而生成清晰的近红外图像。本实施例提供的方案，可以实现环境光照强度小于预设光照强度阈值时的目标跟踪。

在一示例性实施例中，环境光照强度可以通过光强传感器确定。

在一示例性实施例中，可以通过摄像机上的近红外补光设备（近红外补光灯）是否打开确定当前环境光照强度是否小于预设光照强度阈值。即近红外补光设备打开时，判断环境光照强度小于预设光照强度阈值；近红外补光设备关闭时，判断环境光照强度大于预设光照强度阈值。

在一示例性实施例中，可以根据场景色调选择一种或多种单色图像进行目标检测、识别和跟踪。所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度大于等于预设光照强度阈值，获取每个通道的图像的像素值的和，当存在第一通道的图像的像素值的和大于每个其他通道的图像的像素值的和，且第一通道的图像的像素值的和与至少一个其他通道的图像的像素值的和的差值大于预设值时，选择除所述第一通道外的一个或多个通道的单色图像进行目标检测、识别和跟踪。其中，通道的图像的像素值的和为该通道的图像的全部像素值的和。

以三个通道（第一通道、第二通道、第三通道）为例，即，存在第一通道的图像的像素值的和大于第二通道的图像的像素值的和，且第一通道的图像的像素值的和大于第三通道的图像的像素值的和，且，第一通道的图像的像素值的和与第二通道的图像的像素值的和的差，以及，第一通道的图像的像素值的和与第三通道的图像的像素值的和的差至少其中之一大于所述预设值，选择第二通道、第三通道至少之一的单色图像进行目标检测、识别和跟踪。

本实施例提供的方案，第一通道的图像的像素值的和大于每个其他通道的图像的像素值的和，且差值大于预设值，说明第一通道的图像的颜色为图像的总色调，选择与总色调不同的颜色的图像进行目标跟踪，凸出了前景目标，避免目标和背景均为总色调导致区分困难。

下面通过示例分别进行说明。

在一示例性实施例中，如果总色调为红色（例如满是枫叶的秋天），则可以随机采用绿色分量图像（即绿色通道的图像）或蓝色分量图像（即蓝色通道的图像）进行目标跟踪，而不采用红色分量图像（即红色通道的图像）进行目标跟踪，如此，背景的绿色或蓝色分量分别得到弱化，突出了前景目标（背景主要是红色），避免目标和背景都是红色导致区分困难。

若总色调为绿色（比如为山景），则可以随机选择红色或蓝色分量图像进行目标跟踪，而不采用绿色分量图像进行目标跟踪，从而避免目标和背景都是绿色导致区分困难。

若总色调为蓝色（比如为天空或海景），则可以随机选择红色或绿色分量图像进行目标跟踪，而不采用蓝色分量图像进行目标跟踪，从而避免目标和背景都是蓝色导致区分困难。

上述实施例中仅采用一个通道的单色图像进行目标跟踪。在另一实施例中，可以使用多个通道的单色图像进行目标跟踪。比如，例如，若总色调为红色（例如满是枫叶的秋天），则分别采用绿色分量的图像和蓝色分量的图像进行目标跟踪，避免其中一个通道图像中的目标和背景区分不明显。本实施例提供的方案，可以增加可靠性，避免前景目标和背景场景的色彩相似所带来的干扰。

在一示例性实施例中，可以在当前环境光照强度大于等于预设光照强度阈值，获取每个通道的图像的像素值的和，当存在第一通道的图像的像素值的和大于每个其他通道的图像的像素值的和，则：

当第一通道的图像的像素值的和与每个其他通道的图像的像素值的和的差值大于第一预设值时，选择除所述第一通道外的一个通道的单色图像进行目标检测、识别和跟踪；

当第一通道的图像的像素值的和与至少一个其他通道的图像的像素值的和的差值小于等于第一预设值，大于第二预设值时，选择除所述第一通道外的全部其他通道的单色图像进行目标检测、识别和跟踪；所述第一预设值大于第二预设值。即本实施例中，在第一通道的图像的像素值的和与其他通道的图像的像素值的和相差较大时，采用一个单色图像进行目标跟踪，在相差较小时，采用多个单色图像进行目标跟踪。

在一示例性实施例中，所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度大于等于预设光照强度阈值时，获取每个通道的图像的像素值的和，且对任意第一通道和第二通道，第一通道的图像的像素值之和与第二通道的图像的像素值之和的差值小于预设值时，选择全部通道的单色图像进行目标检测、识别和跟踪。以三个颜色通道为例，红色通道的图像的像素值之和与绿色通道的图像的像素值之和小于所述预设值，且，红色通道的图像的像素值之和与蓝色通道的图像的像素值之和小于所述预设值，且，蓝色通道的图像的像素值之和与绿色通道的图像的像素值之和小于所述预设值时，选择红色通道的单色图像、绿色通道的单色图像、蓝色通道的单色图像进行目标检测、识别和跟踪。本实施例提供的方案，在场景色彩比较均衡时，利用全部通道的单色图像进行目标跟踪。

在一示例性实施例中，当选择多个通道的单色图像进行目标检测、识别和跟踪时，将该多个通道的单色图像中检测到的目标的合集作为融合图像的目标；

所述将保存的所述跟踪框的信息叠加到所述融合图像包括：

将保存的该多个通道的单色图像中检测到的目标的跟踪框信息叠加到所述融合图像。

比如，以两个通道的单色图像进行目标跟踪时，可以取这两个通道图像中所检测出的目标集的合集作为总目标集，在融合图像中叠加总目标集中的全部目标的跟踪框。以三个通道的单色图像进行目标跟踪时，可以取这三个通道图像中所检测出的目标集的合集作为总目标集，在融合图像中叠加总目标集中的全部目标的跟踪框。

图像配准任务旨在通过最大化两幅图像间的相似性测度（或最小化距离测度）寻找图像间的坐标对应关系。目前成熟的基于特征的图像配准技术，都一定程度上假设了图像局部亮度具有一致的响应特性，以便于局部特征的检测与匹配。在多光谱图像中，不同通道图像的局部亮度不存在一致性，因此很难用基于特征的图像配准技术精确配准。

不同波段图像局部亮度上固有的差异，给多光谱图像配准带来了极大的挑战。图3为多光谱图像局部亮度的不一致性示意图。图 3中(a)至(c)展示了在多光谱图像中，不同波段图像局部亮度与对比度变化剧烈的特性。图3中(a) 为RGB表示的多光谱图像；(b) 为560 nm波段图像；(c) 为700 nm波段图像；(d) 为560 nm与700 nm图像亮度的联合直方图分布，对图3中（d）中，对任意一点（i_c，i_b），表示700nm波段图像中出现灰度i_c，560nm波段图像中出现灰度i_b的相关点的个数，颜色越浅对应数目点越大。联合直方图中未见明显的函数性映射关系存在，即同通道图像的局部亮度不存在一致性。由于陶瓷猫脸部的区域32与区域31的频谱响应在560 纳米（nm）波段差异明显而在700 nm波段相近，导致区域31在560nm波段通道图像中清晰可见，而在700 nm波段通道图像中较难辨别。区域31与区域32在560nm图像对比明显，在700 nm图像对比几不可见。因此很难用基于特征的图像配准技术精确配准。

本公开实施例中，可以根据差值图像的梯度进行配准。

差值图像为参考通道图像与待配准的通道图像进行坐标变换得到的变换图像的差值。作为一种梯度最稀疏的直接结果，配准时的差值图像梯度的绝对值之和会小于未配准时差值图像梯度绝对值之和。令

表示参考通道图像，

为二维空间坐标，

与

分别表示配准的与未配准的通道图像，则上述结果可表示为：

其中算子

表示图像沿着

方向的导数算子。区间

，

表示有效计算区域，

为图像

和

的重叠区域，

为图像

和

的重叠区域。若用

、

与

分别表示向量化后的图像

、

与

，并且记

则上式可以用

范数表示为

不等式两边对所有

方向求和，有

在上式中，

范数自然而然地起到了差值图像梯度稀疏性度量的作用。将图像沿着各个方向（本方案中为

方向）的梯度绝对值之和称为各向异性的总变分。由于本方案由梯度分布出发导出，可以将

称为图像的总梯度。上式表明已配准多光谱图像其差值图像总梯度总小于未配准差值图像总梯度，因此多光谱图像配准可由最小化差值图像总梯度表征。因此，可以通过计算使得

最小时的

作为配准后的图像。在一示例性实施中，对所述多个通道的图像进行配准融合包括：

对所述多个通道的图像，选择一个通道的图像作为参考图像，其余通道的图像作为待配准的图像与所述参考图像按如下方式配准：

选择使得

最小，且

和

的重叠区域非零时的

作为配准后的图像，其中，

；

为待配准的图像进行坐标变换后的图像，

为参考图像，Ω为

和

的重叠区域，

为二维空间坐标；

将配准后的图像与参考图像进行融合。

其中，待配准的图像进行坐标变换可以包括旋转、仿射、缩放、平移等等变换。

本实施例提供的配准方法，相比基于特征进行配准的方案，增强了鲁棒性，提高了配准效果。

在差值图像总梯度的计算过程中，空间上的求和是在图像重叠区域中进行，因此对重叠区域变化敏感。测度值

将会随着重叠区域的变小而变小，当两幅图像没有重叠区域时，测度值减到零点。这意味着直接最小化差值图像总梯度，其解集中包含零重叠区域的错误配准结果。为避免陷入错误的解集中，可以对差值图像总梯度作归一化。为避免零重叠区域，最小化测度值不仅要求图像内容配准，还要求重叠区域中能够提供尽量多的图像信息，即重叠区域中的图像能量要大。因此，可以定义归一化差值图像总梯度（Normalized Total Gradient，简称NTG）如下

上述表达式的右边项中，分子即为差值图像总梯度，分母为重叠区域能提供的图像总能量。最小化NTG的值要求图像配准的同时要使得重叠区域尽量大，有效地避免了配准结果陷入零重叠的错误中。

以NTG为测度，多光谱图像的配准问题可被转换为NTG最小化问题。通过标准的最小化问题求解方法，可以实现多光谱图像的配准。即，在一示例性实施例中，对所述多个通道的图像进行配准融合包括：

对所述多个通道的图像，选择一个通道的图像作为参考图像，其余通道的图像作为待配准图像与所述参考图像按如下方式进行配准：

选择使得

最小的

作为配准后的图像，其中，

；

为待配准的图像进行坐标变换后的图像，

为参考图像，Ω为

和

的重叠区域；

将配准后的图像与参考图像进行融合。

如图4所示，本公开实施例提供一种多光谱多传感器协同处理装置40，包括存储器410和处理器420，所述存储器410存储有程序，所述程序在被所述处理器420读取执行时，实现上述任一实施例所述的多光谱多传感器协同处理方法。

在一示例性实施例中，参考图1，所述多光谱多传感器协同处理装置还可以包括：镜头1、分光棱镜4和多个传感器5，其中：

所述镜头1用于，接收外部光线，传输至所述分光棱镜4；

所述分光棱镜4用于，将入射光线进行分光为多路单色光线，所述多路单色光线分别入射至所述多个传感器5，其中，每路单色光线入射至一个传感器5；

所述传感器5用于，将入射光线转换为电信号输出至所述处理器420。处理器420根据每个传感器5的信号生成一个通道的图像，根据多个传感器5的信号生成多个通道的图像。

在一示例性实施例中，如图1所示，所述多光谱多传感器协同处理装置40还可以包括：设置在所述镜头1和所述分光棱镜4之间的IR滤镜2、ND滤镜3至少之一。

本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一实施例所述的多光谱多传感器协同处理方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种多光谱多传感器协同处理方法，包括获取多个通道的图像，其特征在于：

所述多个通道为将入射光线分光为多路单色光线构成的多个通道，每个通道的图像为对一路单色光线进行采集所得的一个单色图像，且不同通道的图像的颜色不同；

所述方法还包括：根据所述单色图像进行目标检测、识别和跟踪，生成针对所述目标的跟踪框，保存所述跟踪框的信息；

对所述多个通道的图像进行配准融合，生成融合图像，将保存的所述跟踪框的信息叠加到所述融合图像。

2.根据权利要求1所述的多光谱多传感器协同处理方法，其特征在于，所述将保存的所述跟踪框的信息叠加到所述融合图像包括：

将保存的最新的跟踪框的信息叠加到所述融合图像。

3.根据权利要求1所述的多光谱多传感器协同处理方法，其特征在于，所述通道包括红色通道；所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度小于预设光照强度阈值时，选择红色通道的近红外图像进行目标检测、识别和跟踪。

4.根据权利要求1所述的多光谱多传感器协同处理方法，其特征在于，所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度大于等于预设光照强度阈值，获取每个通道的图像的像素值的和，当存在第一通道的图像的像素值的和大于每个其他通道的图像的像素值的和，且第一通道的图像的像素值的和与至少一个其他通道的图像的像素值的和的差值大于预设值时，选择除所述第一通道外的一个或多个通道的单色图像进行目标检测、识别和跟踪。

5.根据权利要求1所述的多光谱多传感器协同处理方法，其特征在于，所述根据所述单色图像进行目标检测、识别和跟踪包括：

当前环境光照强度大于等于预设光照强度阈值时，获取每个通道的图像的像素值的和，且对任意第一通道和第二通道，第一通道的图像的像素值之和与第二通道的图像的像素值之和的差值小于预设值时，选择全部通道的单色图像进行目标检测、识别和跟踪。

6.根据权利要求4或5所述的多光谱多传感器协同处理方法，其特征在于，所述方法还包括：当选择多个通道的单色图像进行目标检测、识别和跟踪时，将该多个通道的单色图像中检测到的目标的合集作为融合图像的目标；

所述将保存的所述跟踪框的信息叠加到所述融合图像包括：

将保存的该多个通道的单色图像中检测到的目标的跟踪框信息叠加到所述融合图像。

7.根据权利要求1至5任一所述的多光谱多传感器协同处理方法，其特征在于，所述对所述多个通道的图像进行配准融合包括：

对所述多个通道的图像，选择一个通道的图像作为参考图像，其余通道的图像分别作为待配准图像与所述参考图像按如下方式配准：

选择使得

最小，且

和

的重叠区域非零时的

作为配 准后的图像，其中，

表示沿

方向的导数算子，

；

为待配准的图像进行坐标变换后的图像，

为参考图像，Ω为

和

的重叠区域，

为二维空间坐标；

或者，

选择使得

最小的

作为配准后的图像，其中，

；

将配准后的图像与所述参考图像进行融合。

8.一种多光谱多传感器协同处理装置，其特征在于，包括存储器和处理器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现如权利要求1至7任一所述的多光谱多传感器协同处理方法。

9.根据权利要求8所述的多光谱多传感器协同处理装置，其特征在于，所述多光谱多传感器协同处理装置还包括：镜头、分光棱镜和多个传感器，其中：

所述镜头用于接收外部光线，传输至所述分光棱镜；

所述分光棱镜用于，将入射光线进行分光为多路单色光线，所述多路单色光线分别入射至所述多个传感器，其中，每路单色光线入射至一个传感器；

所述传感器用于，将入射光线转换为电信号输出至所述处理器。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7任一所述的多光谱多传感器协同处理方法。

Images