CN113763295A - 图像融合方法、确定图像偏移量的方法及装置 - Google Patents

Abstract

本申请提供一种图像融合方法、确定图像偏移量的方法及装置，该方法包括：对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，所述第一图像和所述第二图像的分块策略相同；基于所述第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量；基于所述目标偏移量对所述第一图像和第二图像进行融合。该方法可以提高融合图像的质量。

Description

图像融合方法、确定图像偏移量的方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种图像融合方法、确定图像偏移量的方法及装置。

背景技术

在低照度下可见光图像的清晰度低，边缘模糊，含有大量噪声，图像效果差；红外图像的清晰度好，但没有色彩信息。融合可见光图像和红外光图像可以有效提升低照度下的图像效果。

双目摄像头的可见光图像和红外光图像融合的难点之一在于双目摄像头存在视差，与双目相机距离不同的物体在双目相机的左右图像中的视差不同。

双目相机在使用前需要进行双目标定，通过寻找目标对象在图像与现实世界的转换关系，找出其定量的联系，从而可以从图像中获得相关实际数据的信息。

现有的双目标定方法，如张正友标定法等，一次标定仅仅是对相机物理模型在采样空间范围内的一次近似。当成像物体所在空间与相机标定时的采样空间不一样时，标定结果的精度会严重受到影响。当大幅度改变相机与成像物体的距离时，需要重新标定相机。而同一场景中通常会包括多个与相机距离不同的目标，某个距离下的标定难以兼容不同距离的物体在左右视图中的视差。因此，现有标定方式下双目相机的图像融合效果较差。

发明内容

有鉴于此，本申请提供一种图像融合方法、确定图像偏移量的方法及装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像融合方法，包括：

对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，所述第一图像和所述第二图像的分块策略相同；

基于所述第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量；

基于所述目标偏移量对所述第一图像和第二图像进行融合。

在一个实施例中，所述基于所述第一图像分块和第二图像分块的亮度分量，确定对应的第一图像分块和第二图像分块之间的目标偏移量，包括：

对于相对应的第一图像分块和第二图像分块，分别确定预设偏移量范围内各偏移量下，该第一图像分块和第二图像分块中各像素的亮度差异；

基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量。

在一个实施例中，所述基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

对于所述预设偏移量范围内的任一偏移量，确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和；

基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量。

在一个实施例中，所述基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

将使该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和最小的偏移量，确定为该第一图像分块的参考点的偏移量；

基于该第一图像分块的参考点的偏移量，利用插值的方式，确定该第一图像分块中各像素的偏移量。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述基于所述目标偏移量对所述第一图像和第二图像进行融合，包括：

分别基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的亮度分量进行偏移；

将偏移后的可见光图像的亮度分量与所述红外图像的亮度分量进行融合，以得到亮度融合图像；

基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的颜色分量进行偏移；

对偏移后的可见光图像的颜色分量与所述亮度融合图像进行二次融合。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，包括：

以膨胀后的红外亮度边缘作为掩膜mask模板，确定该偏移量下该可见光图像分块和红外图像分块中mask位置的各像素的绝对亮度差异的定量和。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述基于所述第一图像和第二图像的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量之前，还包括：

确定所述可见光图像中的噪声是否满足降噪条件；

若满足，则对所述可见光图像进行降噪处理。

在一个实施例中，所述确定所述可见光图像中的噪声是否满足降噪条件，包括：

对所述可见光图像进行中值滤波；

比较中值滤波后的可见光图像和所述可见光图像，以确定亮度差异超过预设亮度阈值的像素的占比；

若该占比低于预设比例阈值，则确定所述可见光图像中的噪声满足降噪条件

根据本申请实施例的第二方面，提供一种确定图像偏移量的方法，包括：

获取第一图像分块和第二图像分块，其中，所述第一图像分块是对第一图像进行分块生成，所述第二图像分块是按照相同分块策略对第二图像进行分块生成；

基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，其中任一偏移量用于指示水平向左和/或水平向右偏移所述第一图像分块；

基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，其中，所述最佳偏移量以使基于所述最佳偏移量偏移后的第一图像分块与所述第二图像分块之间的亮度差值最小。

在一个实施例中，任一偏移量用于指示水平向左或水平向右偏移指定数量个像素点。

在一个实施例中，任一偏移量小于所述第一图像分块水平像素点个数。

在一个实施例中，所述亮度差值的个数等同于所述预设一组偏移量的个数。

在一个实施例中，所述亮度差值包括：

任一偏移后的第一图像分块的任一像素点与所述第二图像分块对应的像素点之间的亮度差值。

在一个实施例中，所述基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，包括：

对于任一偏移后的第一图像分块，基于该偏移后的第一图像分块中的任一像素点，计算所述像素点对应的亮度差值的绝对值；

基于预设的分段阈值和各像素点对应的亮度差值的绝对值，统计绝对值落入到各个分段的像素点的数量；

基于各分段对应的权重，计算所述数量和对应的权重的加权和，得到该偏移后的第一图像分块的评价值；

将最小评价值对应的偏移量，确定为所述最佳偏移量。

在一个实施例中，所述方法还包括：

在所述第一图像分块中选择一个像素点，将所述最佳偏移量与所述像素点关联；

在所述第一图像分块中其他的像素点，基于临近像素点对应的偏移量，进行线性插值后得到对应的偏移量；

基于像素点的偏移量，融合第一图像分块和第二图像分块。

在一个实施例中，与所述最佳偏移量关联的像素点通过以下方式选择：

在确定所述第一图像分块位于所述第一图像的边界时，选择所述第一图像分块边界线上的任一像素点；

在确定所述第一图像分块位于所述第一图像的中心区域时，选择所述第一图像分块中心的任一像素点。

根据本申请实施例的第三方面，提供一种图像融合装置，包括：

分块单元，用于对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，所述第一图像和所述第二图像的分块策略相同；

确定单元，用于基于所述第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量；

融合单元，用于基于所述目标偏移量对所述第一图像和第二图像进行融合。

在一个实施例中，所述确定单元基于所述第一图像分块和第二图像分块的亮度分量，确定对应的第一图像分块和第二图像分块之间的目标偏移量，包括：

对于相对应的第一图像分块和第二图像分块，分别确定预设偏移量范围内各偏移量下，该第一图像分块和第二图像分块中各像素的亮度差异；

基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量。

在一个实施例中，所述确定单元基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

对于所述预设偏移量范围内的任一偏移量，确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和；

基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量。

在一个实施例中，所述确定单元基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

将使该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和最小的偏移量，确定为该第一图像分块的参考点的偏移量；

基于该第一图像分块的参考点的偏移量，利用插值的方式，确定该第一图像分块中各像素的偏移量。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述融合单元基于所述目标偏移量对所述第一图像和第二图像进行融合，包括：

分别基于所述可见光图像分块中各像素的偏移量，对所述可见将光图像的亮度分量进行偏移；

将偏移后的可见光图像的亮度分量与所述红外图像的亮度分量进行融合，以得到亮度融合图像；

基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的颜色分量进行偏移；

对颜色分量偏移后的可见光图像的颜色分量与所述亮度融合图像进行二次融合。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，包括：

以膨胀后的红外亮度边缘作为掩膜mask模板，确定该偏移量下该可见光图像分块和红外图像分块中mask位置的各像素的绝对亮度差异的定量和。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述确定单元基于所述第一图像和第二图像的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量之前，还包括：

确定所述可见光图像中的噪声是否满足降噪条件；

若满足，则对所述可见光图像进行降噪处理。

在一个实施例中，所述确定单元确定所述可见光图像中的噪声是否满足降噪条件，包括：

对所述可见光图像进行中值滤波；

比较中值滤波后的可见光图像和所述可见光图像，以确定亮度差异超过预设亮度阈值的像素的占比；

若该占比低于预设比例阈值，则确定所述可见光图像中的噪声满足降噪条件。

根据本申请实施例的第四方面，提供一种确定图像偏移量的装置，包括：

获取单元，用于获取第一图像分块和第二图像分块，其中，所述第一图像分块是对第一图像进行分块生成，所述第二图像分块是按照相同分块策略对第二图像进行分块生成；

偏移单元，用于基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，其中任一偏移量用于指示水平向左和/或水平向右偏移所述第一图像分块；

确定单元，用于基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，其中，所述最佳偏移量以使基于所述最佳偏移量偏移后的第一图像分块与所述第二图像分块之间的亮度差值最小。

在一个实施例中，任一偏移量用于指示水平向左或水平向右偏移指定数量个像素点。

在一个实施例中，任一偏移量小于所述第一图像分块水平像素点个数。

在一个实施例中，所述亮度差值的个数等同于所述预设一组偏移量的个数。

在一个实施例中，所述亮度差值包括：

任一偏移后的第一图像分块的任一像素点与所述第二图像分块对应的像素点之间的亮度差值。

在一个实施例中，所述确定单元基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，包括：

对于任一偏移后的第一图像分块，基于该偏移后的第一图像分块中的任一像素点，计算所述像素点对应的亮度差值的绝对值；

基于预设的分段阈值和各像素点对应的亮度差值的绝对值，统计绝对值落入到各个分段的像素点的数量；

基于各分段对应的权重，计算所述数量和对应的权重的加权和，得到该偏移后的第一图像分块的评价值；

将最小评价值对应的偏移量，确定为所述最佳偏移量。

在一个实施例中，所述确定单元，还用于在所述第一图像分块中选择一个像素点，将所述最佳偏移量与所述像素点关联；在所述第一图像分块中其他的像素点，基于临近像素点对应的偏移量，进行线性插值后得到对应的偏移量；基于像素点的偏移量，融合第一图像分块和第二图像分块。

在一个实施例中，所述确定单元通过以下方式选择与所述最佳偏移量关联的像素点：

在确定所述第一图像分块位于所述第一图像的边界时，选择所述第一图像分块边界线上的任一像素点；

在确定所述第一图像分块位于所述第一图像的中心区域时，选择所述第一图像分块中心的任一像素点。

根据本申请实施例的第五方面，提供一种电子设备，该电子设备包括：

处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现第一方面的图像融合方法或第二方面的确定图像偏移量的方法。

本申请实施例的图像融合方法，对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块，并基于第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量，进而，基于目标偏移量对第一图像和第二图像进行融合，通过对图像进行分块偏移量评价，而不是按照单一的偏移量对整个图像进行偏移，从而可以有效地消除与双目相机的距离远近不同的多个目标在双目相机的左右图像中的视差，提高融合图像的质量。

本申请实施例的确定图像偏移量的方法，获取第一图像分块和第二图像分块，基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，基于一组偏移后的第一图像分块的亮度值与第二图像分块的亮度值之间的亮度差值，在一组偏移量中确定出一个最佳偏移量，通过对图像进行分块偏移量评价，基于图像分块的亮度差值确定图像分块的最佳偏移量，从而在基于所确定的最佳偏移量进行图像融合时，可以有效地消除与双目相机的距离远近不同的多个目标在双目相机的左右图像中的视差，提高融合图像的质量。

附图说明

图1为一种双目成像基本原理的示意图；

图2为本申请一示例性实施例示出的一种图像融合方法的流程示意图；

图3A为本申请一示例性实施例示出的一种原始红外图像的示意图；

图3B为本申请一示例性实施例示出的一种评价参量的示意图；

图3C为本申请一示例性实施例示出的一种mask模板的示意图；

图4为本申请一示例性实施例示出的一种确定目标偏移量的流程示意图；

图5为本申请一示例性实施例示出的一种确定目标偏移量的流程示意图；

图6为本申请一示例性实施例示出的一种确定目标偏移量的流程示意图；

图7为本申请一示例性实施例示出的一种图像融合的流程示意图；

图8为本申请一示例性实施例示出的一种确定图像偏移量的方法的流程示意图；

图9为本申请一示例性实施例示出的一种图像融合的流程示意图；

图10为本申请一示例性实施例示出的一种图像分块的示意图；

图11为本申请一示例性实施例示出的一种图像融合装置的结构示意图；

图12为本申请一示例性实施例示出的一种确定图像偏移量的装置的结构示意图；

图13为本申请一示例性实施例示出的图11或12所示装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例中涉及的部分技术术语、双目成像的原理以及部分现有的双目标定方法及主要缺陷进行简单说明。

一、技术术语

低照度：照度是指单位面积上所接收的可见光的能量，照度用单位lux表示。低照度的环境是指照度低于一定阈值的环境，例如，路灯下0.1lux左右、满月下0.02lux左右、星光下0.0002lux左右。

双目配准：指将不同传感器(成像设备)获取的两幅图像进行匹配、叠加的过程。

视差：指从一定距离的两个点上观察同一个目标所产生的方向差异。表现在图像上即同一个目标在两幅图像中的位置差异。

极线校正：指把左右两个图像进行变换，使其左右图像的极线左右平行。即左图像中某一行中的每一个点，都出现在右图像中对应的行中。这样做可以极大地减少立体匹配的计算量。

共面行对准：摄像机双目图像平面在同一平面上，且同一点投影到两个镜头图像平面时，应该在两个像素坐标系的同一行。

双目标定：双目标定是双目图像配准的一个前提，经过标定后，左右图像实现极线平行。具体来说，双目标定是通过寻找目标对象在图像与现实世界的转换关系，找出其定量的联系，从而实现从图像中测量出实际数据的目的。

二、双目成像基本原理

如图1所示，世界坐标系中的目标点(X，Y，Z)经过基线长度为T_x的双目相机在左右图像中的成像点坐标分别为(u_l，v_l)和(u_r，v_r)。根据三角形的相似关系，容易得到目标与相机成像平面的距离Z与视差(u_l-v_r)之间满足关系如式1所示：

其中，f为焦距(假设双目相机左右图像焦距相同)，dx为单个像素的宽度(单位与焦距单位相同，一般为毫米)。

由双目成像的原理可得，成像物体的视差随着物体离相机距离的减小而增加。

三、传统双目标定方法

1、张正友标定法

通过标定可以求出每个摄像机的相机内参数矩阵A和畸变系数矩阵D，以及左右两个摄像机的相对位置关系(即右摄像头相对于左摄像头的平移向量t和旋转矩阵R)。从而得到标定所用棋盘格平面到图像平面的单应性关系如式(2)所示：

其中，

为三维世界坐标的点，

为二维相机像素平面上的对应点，s为世界坐标系到图像坐标系的尺度因子，R为旋转矩阵，t为平移向量，A如式(3)所示：

其中，α和β为焦距和像素横纵比的融合，γ为径向畸变参数，(u₀，v₀)为像主点坐标。

将一定距离下标定好的相机作用于不同场景时，场景中的物体距离相机远近不同，相机的外部参数(即相机相对于世界坐标系的位置)发生了改变，因此需要对该距离下的相机重新进行标定，这大大增加了过程的繁琐性和复杂性。

2、基于仿射投影模型的双目标定法

通过直接求解双目相机左右图像存在的仿射投影变换关系，从而不需要相机具体参数间的约束关系，也不考虑模型相对透视投影的模型误差和镜头畸变。

在一定距离下标定好的相机可以很好地描述该距离下的物体在两个摄像头中的视差，但作用于不同场景时，由于不同物体距离远近不同，在左右图像中的视差也不同，就需要利用距离修正偏移量，使得相机适用于另一确定距离的目标物体。但每修正一次偏移量，只能描述一个距离下双目相机位置坐标模型，无法兼容同一场景中所有不同远近的物体。

为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图2，为本申请实施例提供的一种图像融合方法的流程示意图，如图2所示，该图像融合方法可以包括以下步骤：

步骤S200、对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，第一图像分块和第二图像的分块策略相同。

本申请实施例中，若未特殊说明，所提及的双目相机均指进行过一次双目标定(如相机出厂前进行的双目标定)的双目相机，即双目相机的左右两幅图像(即第一图像和第二图像)满足共面行对准要求。

此外，若未特殊说明，所提及的第一图像和第二图像均指满足融合条件的图像，如拍摄时刻一致(允许存在预设范围的时间误差)的第一图像和第二图像，本申请实施例后续不再复述。

示例性的，第一图像为可见光图像，第二图像为红外图像；或，第一图像为红外图像，第二图像为可见光图像。

为便于描述和理解，下文中以第一图像为可见光图像，第二图像为红外图像为例进行说明。

本申请实施例中，考虑到同一场景中通常会存在与双目相机的距离远近不同的多个目标(即该多个目标在左右图像中存在不同的水平视差)，基于某一距离下标定后的双目相机拍摄得到的可见光图像和红外图像融合时无法将该多个目标的视差均消除，从而，导致无法保证融合图像的质量。

因而，为了提高融合图像的质量，需要针对场景中与双目相机的距离远近不同的目标按照不同偏移量进行偏移，以消除各目标在左右两幅图像中的视差。

相应地，在对双目相机的可见光图像和红外图像进行融合之前，可以先对可见光图像和红外图像进行分块划分。

示例性的，对可见光图像和红外图像进行分块划分时，需要采用相同的分块策略，且划分得到的可见光图像分块和红外图像分块一一对应。

在一个示例中，可以按照相同的分块形状和尺寸对可见光图像和红外图像进行分块划分。

在另一个示例中，可以基于图像中的目标对可见光图像和红外图像进行分块划分，以使不同的目标处于不同分块中。

需要说明的是，在本申请实施例中，对图像进行分块划分时，若分块的数量太少，则不利于区分场景中不同距离的目标的不同偏移量；若分块的数量太多，则场景内容单一的区域的鲁棒性会变差。

步骤S210、基于第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量。

本申请实施例中，按照步骤S200中描述的方式得到可见光图像分块和红外图像分块时，可以基于可见光图像分块和红外图像分块的亮度分量，确定相对应的可见光图像分块和红外图像分块之间的偏移量(本文中称为目标偏移量)，以便图像融合过程中可以基于所确定的偏移量进行图像偏移，以消除图像中各目标在左右图像中的视差。

举例来说，假设可见光图像和红外图像被等分为N个分块(N≥2)，则可以分别确定相对应的可见光图像分块i和红外图像分块i(位置和尺寸均相同)之间的偏移量。

需要说明的是，在本申请实施例中，所确定的偏移量可以包括但不限于：可见光图像相对红外图像的偏移量(即保持红外图像不变，对可见光图像进行偏移)、红外图像相对可见光图像的偏移量(即保持可见光图像不变，对红外图像进行偏移)，或可见光图像相对红外图像的偏移量以及红外图像相对可见光图像的偏移量。

举例来说，假设对于某一目标，需要可见光图像向左偏移20像素来消除视差，则也可以通过红外图像向右偏移20像素，或者，可见光图像向左偏移M像素，红外图像向右偏移(20-M)像素。

步骤S220、基于目标偏移量对第一图像和第二图像进行融合。

本申请实施例中，当按照步骤S210中描述的方式确定了目标偏移量时，可以基于所确定的目标偏移量对可见光图像和/或红外图像进行偏移，并对偏移后的图像进行融合。

可见，在图2所示方法流程中，在考虑到同一场景中可能存在与双目相机的距离远近不同的多个目标的情况下，通过对图像进行分块偏移量评价，而不是按照单一的偏移量对整个图像进行偏移，从而可以有效地消除与双目相机的距离远近不同的多个目标在双目相机的左右图像中的视差，提高融合图像的质量。

在本申请其中一个实施例中，如图4所示，步骤S210中，基于第一图像分块和第二图像分块的亮度分量，确定对应的第一图像分块和第二图像分块之间的目标偏移量，可以包括以下步骤：

步骤S211、对于相对应的第一图像分块和第二图像分块，分别确定预设偏移量范围内各偏移量下，该第一图像分块和第二图像分块中各像素的亮度差异；

步骤S212、基于该亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量。

示例性的，考虑到与双目相机的距离远近不同的目标在双目相机的左右图像中视差存在上限(假设为A)，即与双目相机的距离远近不同的目标在双目相机的左右图像中视差范围为(0，A)，其中，0对应与双目相机的距离无穷远的目标，A对应与双目相机的距离趋近于0的目标(距离越近，视差越大)。

基于此，为了消除与双目相机的距离远近不同的目标在双目相机的左右图像中视差，对图像进行偏移的偏移量也会存在一定的范围。

因而，可以根据实际场景预先设定一个偏移量范围，并在该偏移量范围内搜索对可见光图像和红外图像进行偏移的偏移量。

示例性的，对于相对应的可见光图像分块和红外图像分块，可以分别确定预设偏移量范围内各偏移量下，该可见光图像分块和红外图像分块中各像素的亮度差异，并基于该亮度差异确定该可见光图像分块和红外图像分块之间的目标偏移量。

在一个示例中，如图5所示，步骤S212中，基于亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量，可以包括以下步骤：

步骤S2121、对于预设偏移量范围内的任一偏移量，确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和；

步骤S2122、基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量。

示例性的，可以通过遍历预设偏移量范围，分别确定各偏移量下该可见光图像分块和红外图像分块中各像素的绝对亮度差异(即相同位置的像素点的亮度差的绝对值)的定量和。

示例性的，对于任一分块，可以分别统计该分块中各像素的绝对亮度差异(即统计各像素位置的可见光图像的亮度与红外图像的亮度的差值的绝对值)，并基于各像素的绝对亮度差异确定各像素的权重，进而，基于各像素的权重确定该分块内各像素的绝对亮度差异的定量和。

举例来说，假设分块i中共包括n个像素，对于任一像素(假设为像素j)，可以确定该像素j的绝对亮度差异(即可见光图像的分块i的像素j的亮度与红外图像的分块i的像素j的亮度的差值的绝对值)，并基于像素j的绝对亮度差异确定像素j的权重。

例如，可以定义多个不同阈值范围区间，并基于像素的绝对亮度差异所处的阈值范围区间，确定像素的权重。

示例性的，当像素j的绝对亮度差异小于第一阈值时，像素j的权重为W1；当像素j的绝对亮度差异处于第一阈值与第二阈值之间(第二阈值大于第一阈值)时，像素j的权重为W2；当像素j的绝对亮度差异大于第二阈值时，像素j的权重为W3。

示例性的，W1＜W2＜W3。

按照上述方式，对于任一分块，可以统计出该分块中各像素的权重，并将各权重的和值确定为该分块中各像素的绝对亮度差异的定量和。

示例性的，在确定了各偏移量下该可见光图像分块和红外图像分块中各像素的绝对亮度差异的定量和时，可以基于各偏移量下该可见光图像分块和红外图像分块中各像素的绝对亮度差异的定量和，确定该可见光图像分块和红外图像分块之间的目标偏移量。

在一个示例中，如图6所示，步骤S2122中，基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量，可以包括以下步骤：

步骤S21221、将使该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和最小的偏移量，确定为该第一图像分块的参考点的偏移量；

步骤S21222、基于该第一图像分块的参考点的偏移量，利用插值的方式，确定该第一图像分块中各像素的偏移量。

示例性的，为了提高融合图像质量，可以分别确定各像素的偏移量，并基于所确定的偏移量对图像中各像素进行偏移。

考虑到若需要分别通过计算绝对亮度差异的方式确定每一个像素的偏移量，则一方面计算量会较大，另一方面由于像素数量较多，容易出现计算错误，进而影响融合图像质量。

基于此，对于任一分块，为了确定该分块中各像素的偏移量，可以在该分块中选取一个参考点，并通过计算绝对亮度差异的方式确定该参考点的偏移量。对于该分块的其余像素点的偏移量，则可以通过插值的方式确定。

示例性的，各分块中的参考点的选取可以基于所使用的插值方式来实现，其具体实现在此不做赘述。

以可见光图像相对红外图像进行偏移为例，当确定了各偏移量下该可见光图像分块和红外图像分块中各像素的绝对亮度差异的定量和时，可以将使该可见光图像分块和红外图像分块中各像素的绝对亮度差异的定量和最小的偏移量，确定为该可见光图像分块的参考点的偏移量，并基于该可见光图像分块的参考点的偏移量，利用插值的方式，确定该可见光图像分块中各像素的偏移量。

在一个示例中，第一图像和第二图像分别为可见光图像和红外图像。

上述步骤S2121中，确定该偏移量下该可见光图像分块和红外图像分块中各像素的绝对亮度差异的定量和，可以包括：

以膨胀后的红外亮度边缘作为mask(掩膜)模板，确定该偏移量下该可见光图像分块和红外图像分块中mask位置的各像素的绝对亮度差异的定量和。

示例性的，为了减少由于偏移带来的目标平坦区域的亮度差异对分块内像素的绝对亮度差异的定量和的影响，进一步提高融合图像的质量，可以选用膨胀后的红外亮度边缘作为mask模板，确定该偏移量下该可见光图像分块和红外图像分块中mask位置的各像素的绝对亮度差异的定量和，即对于任一分块，确定该分块中mask位置的各像素(即mask模板中该分块的位置的各像素)的绝对亮度差异的定量和。

在一个示例中，第一图像和第二图像分别为可见光图像和红外图像；

如图7所示，步骤S220中，基于目标偏移量对第一图像和第二图像进行融合，可以包括以下步骤：

步骤S221、分别基于可见光图像分块中各像素的偏移量，对可见光图像的亮度分量进行偏移；

步骤S222、将偏移后的可见光图像的亮度分量与所述红外图像的亮度分量进行融合，以得到亮度融合图像；

步骤S223、基于可见光图像分块中各像素的偏移量，对可见光图像的颜色分量进行偏移；

步骤S224、对颜色分量偏移后的可见光图像的颜色分量与亮度融合图像进行二次融合。

示例性的，当确定了图像中各像素点的偏移量时，可以先将可见光图像的亮度按照偏移量偏移后与红外图像的亮度初步相融，然后再将可见光图像的颜色分量偏移后与亮度融合图像二次融合，以得到颜色会更加接近原始可见光图像的融合图像。

需要说明的是，在本申请实施例中，当按照上述方式得到融合图像时，在输出之前可以对融合图像进行裁剪，并输出裁剪后的融合图像，其具体实现在此不做赘述。

在本申请其中一个示例中，第一图像和第二图像分别为可见光图像和红外图像；

上述基于第一图像和第二图像的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量之前，还可以包括：

确定可见光图像中的噪声是否满足降噪条件；

若满足，则对可见光图像进行降噪处理。

示例性的，考虑到在某些特定环境，如低照度环境下，可见光图像中噪声会比较大，在该情况下，可见光图像与红外图像的融合图像的质量会受到影响，因此，为了提高融合图像质量，在进行图像融合之前，可以先确定可见光图像中的噪声是否满足降噪条件(即确定可见光图像中的噪声是否过大)，并当可见光图像中的噪声满足降噪条件(即可见光图像中噪声过大)时，对可见光图像进行降噪处理。

在一个示例中，上述确定可见光图像中的噪声是否满足降噪条件，可以包括：

对可见光图像进行中值滤波；

比较中值滤波后的可见光图像和所述可见光图像，以确定亮度差异超过预设亮度阈值的像素的占比；

若该占比低于预设比例阈值，则确定可见光图像中的噪声满足降噪条件。

示例性的，可以通过中值滤波前后图像各像素的亮度差异确定可见光图像是否满足降噪条件。

相应地，可以通过对可见光图像进行中值滤波，并比较中值滤波后的可见光图像和中值滤波前的可见光图像的亮度的方式，确定可见光图像中中值滤波前后亮度差异超过预设亮度阈值(可以根据实际场景设定，如40)的像素的占比(占可见光图像中像素总量的比例)，并比较该占比与预设比例阈值(可以根据实际场景设定，如0.8)。

当该占比低于预设比例阈值时，可以确定可见光图像中的噪声满足降噪条件。

在一个示例中，当确定可见光图像中的噪声满足降噪条件时，可以对可见光图像进行Beeps保边降噪，以保证可见光图像的色彩和清晰度。

示例性的，考虑到对图像进行Beeps保边降噪可能带来椒盐噪声，即Beeps保边降噪后的图像中容易出现突兀点，为了消除Beeps保边降噪带来的椒盐噪声，在对可见光图像进行Beeps保边降噪后，可以对得到的图像进行一次中值滤波，其具体实现在此不做赘述。

请参见图8，为本申请实施例提供的一种确定图像偏移量的方法的流程示意图，如图8所示，该确定图像偏移量的方法可以包括以下步骤：

步骤S800、获取第一图像分块和第二图像分块，其中，该第一图像分块是对第一图像进行分块生成，第二图像分块是按照相同分块策略对第二图像进行分块生成。

本申请实施例中，对第一图像进行分块得到多个第一图像分块，以及，对第二图像进行分块得到多个第二图像分块的具体实现可以参见图2所示方法流程中的相关描述，本申请实施例在此不再赘述。

示例性的，第一图像为可见光图像，第二图像为红外图像；或，第一图像为红外图像，第二图像为可见光图像。

步骤S810、基于预设的一组偏移量，将第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，其中任一偏移量用于指示水平向左和/或水平向右偏移第一图像分块。

本申请实施例中，考虑到与双目相机的距离远近不同的目标在双目相机的左右图像中视差存在上限(如A)，即与双目相机的距离远近不同的目标在双目相机的左右图像中视差范围为(0，A)，其中，0对应与双目相机的距离无穷远的目标，A对应与双目相机的距离趋近于0的目标(距离越近，视差越大)。

基于此，为了消除与双目相机的距离远近不同的目标在双目相机的左右图像中视差，对图像进行偏移的偏移量也会存在一定的范围。

因而，可以根据实际场景预先设定一个偏移量范围，基于该偏移量范围内的一组偏移量，将第一图像分块进行偏移处理，得到一组偏移后的第一图像分块。

需要说明的是，对于任一第一图像分块，基于任一偏移量对该第一图像分块进行偏移处理得到的偏移后的第一图像分块，可以通过基于该偏移量对该第一图像分块进行偏移得到，或者，可以通过基于该偏移量对第一图像进行偏移，并从偏移后的第一图像获取基于该偏移量进行偏移后的第一图像分块的方式得到。

例如，假设预设偏移量范围为-10～20，则该一组偏移量可以为-10、-9、…、0、1、2、…、20，共31个偏移量。分别基于各偏移量对第一图像整体进行偏移，对于任一第一图像分块，都可以得到31个不同偏移后的第一图像分块。

以第一图像左上角的第一图像分块为例，按照偏移量1进行偏移得到的偏移后的第一图像分块，可以为按照偏移量1对第一图像进行偏移后得到的偏移后的第一图像的左上角的分块(偏移前后分块策略相同)。

示例性的，任一偏移量用于指示水平向左或水平向右偏移指定数量个像素点。

例如，偏移量-10指示水平向左偏移10个像素点；偏移量20指示水平向右偏移20个像素点。

示例性的，任一偏移量小于第一图像分块水平像素点个数。

步骤S820、基于一组偏移后的第一图像分块的亮度值与第二图像分块的亮度值之间的亮度差值，在一组偏移量中确定出一个最佳偏移量，其中，该最佳偏移量以使基于最佳偏移量偏移后的第一图像分块与第二图像分块之间的亮度差值最小。

本申请实施例中，对于任一第一图像分块，当按照步骤S810中描述的方式进行偏移得到一组偏移后的第一图像分块之后，可以分别基于该一组偏移后的第一图像分块中的各第一图像分块的亮度值，以及第二图像分块的亮度值，确定各偏移后的第一图像分块的亮度值与第二图像分块的亮度值之间的亮度差值，以确定亮度值与第二图像分块的亮度值之间的亮度差值最小的偏移后的第一图像分块，并将该偏移后的第一图像分块对应的偏移量，确定为该第一图像分块的最佳偏移量。

示例性的，对于任一第一图像分块，步骤S820中的亮度差值的个数等同于预设一组偏移量的个数。

举例来说，对于第一图像分块A，假设步骤S810中得到的偏移后的第一图像分块A包括第一图像分块A1～第一图像分块A31(即共31个偏移量)，则可以分别确定第一图像分块Ai(i为1～31中任一整数值)的亮度值与第二图像分块的亮度值之间的亮度差值，假设第一图像分块Aj(j为1～31中任一整数值)的亮度值与第二图像分块的亮度值之间的亮度差值最小，则第一图像分块Aj对应的偏移量为第一图像分块A的最佳偏移量。

在一个示例中，步骤S820中，任一偏移后的第一图像分块的亮度值与第二图像分块的亮度值之间的亮度差值，可以包括：

任一偏移后的第一图像分块的任一像素点与第二图像分块对应的像素点之间的亮度差值。

需要说明的是，若未特殊说明，所提及的第一图像分块和第二图像分块均值相对应的图像分块，即第一图像分块与第二图像分块在第一图像中的位置和第二图像中的位置相同。

示例性的，对于任一偏移后的第一图像分块，可以分别计算该偏移后的第一图像分块的任一像素点与第二图像分块对应的像素点之间的亮度差值。

在一个示例中，基于一组偏移后的第一图像分块的亮度值与第二图像分块的亮度值之间的亮度差值，在一组偏移量中确定出一个最佳偏移量，包括：

对于任一偏移后的第一图像分块，基于该偏移后的第一图像分块中的任一像素点，计算该像素点对应的亮度差值的绝对值；

基于预设的分段阈值和各像素点对应的亮度差值的绝对值，统计绝对值落入到各个分段的像素点的数量；

基于各分段对应的权重，计算各分段的像素点的数量和该分段对应的权重的加权和，得到该偏移后的第一图像分块的评价值；

将最小的评价值对应的偏移量，确定为最佳偏移量。

示例性的，对于任一偏移后的第一图像分块，可以分别计算该偏移后的第一图像分块的各像素点与第二图像分块对应的像素点之间的亮度差值。

由于不同亮度差值对图像融合的影响不同，且通常亮度差值越大，对应偏移量下图像融合的效果越差，因此，可以设置多个亮度差值的绝对值的分段阈值，基于所设置的分段阈值，将该偏移后的第一图像分块中的像素点进行分组(或称为分段)，并为各分组设置不同的权重。

示例性的，分段的阈值越大，分段的权重越高。

对于任一像素点，该像素点对应的亮度差值的绝对值属于到哪一个分段，该像素点落入该分段。

举例来说，假设分段阈值分别为5和10，则亮度差值的绝对值为[0，5)的像素点落入第一分段，亮度差值的绝对值为[5，10]的像素点落入第二分段，亮度差值的绝对值为(10，255)的像素点落入第三分段。

可以基于各分段的像素点的数量，以及各分段对应的权重，计算该数量与权重的加权和，得到该偏移后的第一图像分块的评价值，

在得到各偏移后的第一图像分块的评价值之后，可以将最小评价值对应的偏移量，确定为该一组偏移量中的最佳偏移量。

在本申请其中一个实施例中，步骤820之后，还可以包括：

在第一图像分块中选择一个像素点，将最佳偏移量与该像素点关联；

在第一图像分块中其他的像素点，基于临近像素点对应的偏移量，进行线性插值后得到对应的偏移量；

基于像素点的偏移量，融合第一图像分块和第二图像分块。

考虑到若需要分别通过计算亮度差值的绝对值的方式确定每一个像素的最佳偏移量，则一方面计算量会较大，另一方面由于像素数量较多，容易出现计算错误，进而影响融合图像质量。

基于此，对于任一分块，为了确定该分块中各像素的偏移量，可以在该分块中选取一个参考点，并通过计算亮度差值的绝对值的方式确定该参考点的最佳偏移量。对于该分块的其余像素点的偏移量，则可以通过插值的方式确定。

在确定了第一图像分块中各像素点的偏移量时，可以基于各像素点的偏移量，融合第一图像分块和第二图像分块。

在一个示例中，在确定第一图像分块位于第一图像的边界时，选择第一图像分块边界线上的任一像素点；

在确定第一图像分块位于第一图像的中心区域时，选择第一图像分块中心的任一像素点。

示例性的，为了优化插值效果，对于位于图像边界的图像分块，可以选择图像分块的边界线上的像素点作为参考点；对于位于图像中心区域的图像分块，可以选择图像分块中心的像素点作为参考点。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

以图3A所示原始红外图像为例。在该场景中，不同物体摆放在距离镜头的不同距离的各个位置。

由于视差和低照度下噪声的存在，未处理的原始红外图像和原始可见光图像融合的图像效果非常差，其原因主要包括以下几方面：

1、由于低照度下的可见光图像带来的噪声很大；

2、融合图像的颜色与原始可见光图像发生了较大的变化；

3、视场中不同远近距离的物体在左右摄像头中的视差不一样，导致图中不同距离的目标物体重叠的偏差也不尽相同。

为了提高融合图像的质量，该实施例在兼顾低照度下可见光图像与红外图像融合的颜色和清晰度的同时，利用图像分块偏移量评价，考虑了可以包含视场中所有不同距离的物体的偏移量范围，选用绝对亮度差异作为评价参量，确定图像中各像素的偏移量，其实现流程如图可以如图8所示。

下面分别对图9所示的流程中的主要步骤进行详细说明。

1、判断可见光图像的噪声及Beeps保边降噪

对可见光图像(原图)进行中值滤波，比较中值滤波后的可见光图像中各像素点与原图中各像素点之间的亮度差异(相同位置的像素点进行亮度比较)，统计亮度差异超过40(即假设预设亮度阈值为40)的像素个数占比。若该占比小于0.8，则确定可见光图像需要进行Beeps保边降噪；否则，确定可见光图像不需要进行降噪。

举例来说，通过按照上述方式进行统计，低照度环境下的可见光图像中大差异点(即中值滤波前后亮度差异超过40的像素)个数占比为0.0990，照度较好的环境下的可见光图像中的大差异点个数占比为0.9578，即低照度下的场景有降噪的需要。

以采用Beeps保边降噪方式为例，假设原图为x，目标图为y，Beeps滤波器分别对x进行水平方向和垂直方向的递归运算，再对两次递归的结果进行均值计算以得到结果图。

以水平递归运算为例，是对x进行前向递归和后向递归后的加权组合，前向、后向递归如式(4)、式(5)所示，加权组合如式(6)所示：

φ0[k]＝(1-ρ[k]·λ)·x[k]+ρ[k]·λ·φ[k+1] (5)

其中，

ρ[k]＝r(x[k]，φ[k+1])。各参数的初始值设置可以分别如式(7)～(10)所示：

φ[k-1]＝x[k-1] (8)

示例性的，考虑到Beeps保边降噪容易带来椒盐噪声，因此，为了提高图像质量，可以对Beeps保边降噪处理后的可见光图像进行一次中值滤波。

相对于降噪前的图像，降噪后图像的噪声可以去除的很好，但细节上的清晰度也受到了损失，因此需要与红外图像融合，使融合图像既保留可见光图像真实的颜色，又可以保留红外图像的清晰度。

2、提取红外亮度Yir分量，提取可见光亮度Yvs、颜色Uvs和Vvs分量，不同偏移量评价融合

为了尽可能的保留降噪后的可见光图像的色彩信息与红外图像的清晰细节，同时尽可能消除二者之间存在的视差的影响。可以将降噪后的可见光图像由RGB颜色空间转换到YUV颜色空间，并分别提取红外图像的亮度Yir分量和可见光图像的亮度Yvs、颜色Uvs和Vvs分量。

以双目相机的可见光镜头在红外镜头的右边，对可见光图像的YUV分量进行偏移为例。

为了满足视场中可能出现的不同距离物体的视差，该实施例中选定从+10到-20共31个偏移量(其中+表示向右偏移，-表示向左偏移，以像素为单位进行偏移)。

经过实验发现，当偏移量为+10时，距离镜头最远处的布景墙的视差基本消除；当偏移量为-7时，距离镜头最近的水杯的视差基本消除。

因此，可以定义衡量的标准来判断不同图像位置的偏移量，以找到视差都接近最小的偏移效果。

2.1、选择合适的评价参量和衡量指标进行图像分块评价

如图10所示，在该实施例中，以将图像等分为24个分块为例。考虑块与块之间的过渡性，对于任一分块，将该分块的偏移量赋给图10所示的参考点所表示的位置，其它位置的偏移量根据双线性插值的结果获得。

示例性的，为了确定各参考点的偏移量，可以定义如式11所示评价参量(即绝对亮度差异)：

structure＝abs(Yir-Yvs{k}) (11)

其中，Yir为红外图像的亮度Y分量，Yvs{k}为不同偏移量下的可见光图像的亮度分量，abs表示取绝对值。K从1到31，依次表示使用的从+10到-20的31种偏移量。

偏移量的衡量指标定义为structure的定量和，按绝对差异的大小分段赋予不同权重加权。

举例来说，对于任一分块中的任一像素点，若按照式(11)计算得到的structure的值小于80，则衡量指标加1；若按照式(11)计算得到的structure的值在80～120之间，则衡量指标加3；若按照式(11)计算得到的structure的值大于120，则衡量指标加5。

基于上述方式，对于任一分块，可以分别统计该分块中各像素点在各偏移量下的structure的定量和，将使structure的定量和最小的偏移量确定为该分块的参考点的偏移量。

举例来说，对于任一偏移量，在基于该偏移量对任一可见光图像分块进行偏移之后，可以分别利用式11计算该偏移后的可见光图像分块中各像素点的亮度分量与对应的红外图像分块中对应的像素点的亮度分量的差值的绝对值(即structure)，并基于该绝对值所落入的分段，如0～80、80～120或120～255(假设分别对应分段1～3)。

例如，对于偏移后的可见光图像分块中第m1行第n1列的像素点，当该像素点的亮度分量与对应的红外图像分块中第m1行第n1列的像素点的亮度分量的差值的绝对值为90，则确定该像素点落入分段2。

又例如，对于偏移后的可见光图像分块中第m2行第n2列的像素点，当该像素点的亮度分量与对应的红外图像分块中第m2行第n2列的像素点的亮度分量的差值的绝对值为130，则确定该像素点落入分段3。

在确定了该偏移后的可见光图像分块中各像素点落入的分段之后，可以基于各分段中像素点的数量，以及各分段的权重(假设分段1～3的权重分别为1、3和5)，计算数量与权重的加权和，确定为该可见光图像分块在该偏移量下的structure的定量和。

例如，假设可见光图像分块A1基于偏移量offset1偏移后，按照式11计算structure后，落入分段1～3的像素点的数量分别为N1～N3，则可见光图像分块在offset1下的structure的定量和为：N1*1+N2*3+N3*5。

对于任一可见光图像分块，在按照上述方式确定了该可见光图像分块在各偏移量(+10到-20)下的structure的定量和之后，可以将对应的structure的定量和最小的偏移量，确定为该可见光图像分块的最佳偏移量，即该可见光图像分块的参考点的偏移量。

示例性的，以k＝31，即偏移量为-20为例，按照上述方式计算得到的评价参量的示意图可以如图3B所示。

为了减少由于偏移带来的物体平坦区域的绝对亮度差异对衡量指标的影响，可以选用膨胀后的红外亮度边缘作为mask模板，基于mask模板下的像素的评价参量统计衡量指标。该衡量指标值反映了可见光图像与红外图像之间的偏移量大小，取值越小反映当前图像块在这个偏移量下融合的效果最好，通过插值获得图像每个点的偏移量。

示例性的，利用图3C所示的膨胀后的红外亮度边缘作为mask模板，统计mask模板下的各偏移量下的衡量指标，选取使衡量指标最小的偏移量作为最优偏移量，并将其作为参考点的偏移量，各分块中其余像素点的偏移量可以通过双线性插值方式确定。

插值得到每个点的偏移量后，先将可见光图像中各像素的亮度分量按照偏移量偏移后与红外图像的亮度分量初步相融，再将可见光图像中各像素的颜色分量按照偏移量偏移后与亮度融合图进行二次相融，以得到颜色更加接近原始可见光图像的融合图像，经过裁剪后得到的最终融合图。

通过本申请实施例提供的技术方案处理后的得到的融合图像可以既保留可见光图像丰富的色彩信息，又保留红外图像的清晰程度，同时也消除整个视场中视差的影响。

本申请一个实施例中，对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块，并基于第一图像和第二图像的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量，进而，基于目标偏移量对第一图像和第二图像进行融合，通过对图像进行分块偏移量评价，而不是按照单一的偏移量对整个图像进行偏移，从而可以有效地消除与双目相机的距离远近不同的多个目标在双目相机的左右图像中的视差，提高融合图像的质量。

本申请另一个实施例中，获取第一图像分块和第二图像分块，基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，基于一组偏移后的第一图像分块的亮度值与第二图像分块的亮度值之间的亮度差值，在一组偏移量中确定出一个最佳偏移量，通过对图像进行分块偏移量评价，基于图像分块的亮度差值确定图像分块的最佳偏移量，从而在基于所确定的最佳偏移量进行图像融合时，可以有效地消除与双目相机的距离远近不同的多个目标在双目相机的左右图像中的视差，提高融合图像的质量。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图11，为本申请实施例提供的一种图像融合装置的结构示意图，如图11所示，该图像融合装置可以包括：

分块单元，用于对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，所述第一图像和所述第二图像的分块策略相同；

确定单元，用于基于所述第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量；

融合单元，用于基于所述目标偏移量对所述第一图像和第二图像进行融合。

在一个实施例中，所述确定单元基于所述第一图像分块和第二图像分块的亮度分量，确定对应的第一图像分块和第二图像分块之间的目标偏移量，包括：

对于相对应的第一图像分块和第二图像分块，分别确定预设偏移量范围内各偏移量下，该第一图像分块和第二图像分块中各像素的亮度差异；

基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量。

在一个实施例中，所述确定单元基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

对于所述预设偏移量范围内的任一偏移量，确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和；

基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量。

在一个实施例中，所述确定单元基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

将使该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和最小的偏移量，确定为该第一图像分块的参考点的偏移量；

基于该第一图像分块的参考点的偏移量，利用插值的方式，确定该第一图像分块中各像素的偏移量。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述融合单元基于所述目标偏移量对所述第一图像和第二图像进行融合，包括：

分别基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的亮度分量进行偏移；

将偏移后的可见光图像的亮度分量与所述红外图像的亮度分量进行融合，以得到亮度融合图像；

基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的颜色分量进行偏移；

对颜色分量偏移后的可见光图像的颜色分量与所述亮度融合图像进行二次融合。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，包括：

以膨胀后的红外亮度边缘作为掩膜mask模板，确定该偏移量下该可见光图像分块和红外图像分块中mask位置的各像素的绝对亮度差异的定量和。

在一个实施例中，所述第一图像和第二图像分别为可见光图像和红外图像；

所述确定单元基于所述第一图像和第二图像的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量之前，还包括：

确定所述可见光图像中的噪声是否满足降噪条件；

若满足，则对所述可见光图像进行降噪处理。

在一个实施例中，所述确定单元确定所述可见光图像中的噪声是否满足降噪条件，包括：

对所述可见光图像进行中值滤波；

比较中值滤波后的可见光图像和所述可见光图像，以确定亮度差异超过预设亮度阈值的像素的占比；

若该占比低于预设比例阈值，则确定所述可见光图像中的噪声满足降噪条件。

请参见图12，为本申请实施例提供的一种确定图像偏移量的装置的结构示意图，如图12所示，该确定图像偏移量的装置可以包括：

获取单元，用于获取第一图像分块和第二图像分块，其中，所述第一图像分块是对第一图像进行分块生成，所述第二图像分块是按照相同分块策略对第二图像进行分块生成；

偏移单元，用于基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，其中任一偏移量用于指示水平向左和/或水平向右偏移所述第一图像分块；

确定单元，用于基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，其中，所述最佳偏移量以使基于所述最佳偏移量偏移后的第一图像分块与所述第二图像分块之间的亮度差值最小。

在一个实施例中，任一偏移量用于指示水平向左或水平向右偏移指定数量个像素点。

在一个实施例中，任一偏移量小于所述第一图像分块水平像素点个数。

在一个实施例中，所述亮度差值的个数等同于所述预设一组偏移量的个数。

在一个实施例中，所述亮度差值包括：

任一偏移后的第一图像分块的任一像素点与所述第二图像分块对应的像素点之间的亮度差值。

在一个实施例中，所述确定单元基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，包括：

对于任一偏移后的第一图像分块，基于该偏移后的第一图像分块中的任一像素点，计算所述像素点对应的亮度差值的绝对值；

基于预设的分段阈值和各像素点对应的亮度差值的绝对值，统计绝对值落入到各个分段的像素点的数量；

基于各分段对应的权重，计算所述数量和对应的权重的加权和，得到该偏移后的第一图像分块的评价值；

将最小评价值对应的偏移量，确定为所述最佳偏移量。

在一个实施例中，所述确定单元，还用于在所述第一图像分块中选择一个像素点，将所述最佳偏移量与所述像素点关联；在所述第一图像分块中其他的像素点，基于临近像素点对应的偏移量，进行线性插值后得到对应的偏移量；基于像素点的偏移量，融合第一图像分块和第二图像分块。

在一个实施例中，所述确定单元通过以下方式选择与所述最佳偏移量关联的像素点：

在确定所述第一图像分块位于所述第一图像的边界时，选择所述第一图像分块边界线上的任一像素点；

在确定所述第一图像分块位于所述第一图像的中心区域时，选择所述第一图像分块中心的任一像素点。

对应地，本申请还提供了图11或12所示装置的硬件结构。参见图13，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的方法。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。

示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种图像融合方法，其特征在于，包括：

对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，所述第一图像和所述第二图像的分块策略相同；

基于所述第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量；

基于所述目标偏移量对所述第一图像和第二图像进行融合。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像分块和第二图像分块的亮度分量，确定对应的第一图像分块和第二图像分块之间的目标偏移量，包括：

对于相对应的第一图像分块和第二图像分块，分别确定预设偏移量范围内各偏移量下，该第一图像分块和第二图像分块中各像素的亮度差异；

基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量。

3.根据权利要求2所述的方法，其特征在于，所述基于所述亮度差异确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

对于所述预设偏移量范围内的任一偏移量，确定该偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和；

基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量。

4.根据权利要求3所述的方法，其特征在于，所述基于各偏移量下该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和，确定该第一图像分块和第二图像分块之间的目标偏移量，包括：

将使该第一图像分块和第二图像分块中各像素的绝对亮度差异的定量和最小的偏移量，确定为该第一图像分块的参考点的偏移量；

基于该第一图像分块的参考点的偏移量，利用插值的方式，确定该第一图像分块中各像素的偏移量。

5.根据权利要求4所述的方法，其特征在于，所述第一图像和第二图像分别为可见光图像和红外图像；

所述基于所述目标偏移量对所述第一图像和第二图像进行融合，包括：

分别基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的亮度分量进行偏移；

将偏移后的可见光图像的亮度分量与所述红外图像的亮度分量进行融合，以得到亮度融合图像；

基于所述可见光图像分块中各像素的偏移量，对所述可见光图像的颜色分量进行偏移；

对偏移后的可见光图像的颜色分量与所述亮度融合图像进行二次融合。

6.一种确定图像偏移量的方法，其特征在于，包括：

获取第一图像分块和第二图像分块，其中，所述第一图像分块是对第一图像进行分块生成，所述第二图像分块是按照相同分块策略对第二图像进行分块生成；

基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，其中任一偏移量用于指示水平向左和/或水平向右偏移所述第一图像分块；

基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，其中，所述最佳偏移量以使基于所述最佳偏移量偏移后的第一图像分块与所述第二图像分块之间的亮度差值最小。

7.根据权利要求6所述的方法，其特征在于，任一偏移量用于指示水平向左或水平向右偏移指定数量个像素点；或，

任一偏移量小于所述第一图像分块水平像素点个数。

8.根据权利要求6所述的方法，其特征在于，所述亮度差值的个数等同于所述预设一组偏移量的个数。

9.根据权利要求6所述的方法，其特征在于，所述亮度差值包括：

任一偏移后的第一图像分块的任一像素点与所述第二图像分块对应的像素点之间的亮度差值。

10.根据权利要求9所述的方法，其特征在于，所述基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，包括：

对于任一偏移后的第一图像分块，基于该偏移后的第一图像分块中的任一像素点，计算所述像素点对应的亮度差值的绝对值；

基于预设的分段阈值和各像素点对应的亮度差值的绝对值，统计绝对值落入到各个分段的像素点的数量；

基于各分段对应的权重，计算所述数量和对应的权重的加权和，得到该偏移后的第一图像分块的评价值；

将最小评价值对应的偏移量，确定为所述最佳偏移量。

11.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述第一图像分块中选择一个像素点，将所述最佳偏移量与所述像素点关联；

在所述第一图像分块中其他的像素点，基于临近像素点对应的偏移量，进行线性插值后得到对应的偏移量；

基于像素点的偏移量，融合第一图像分块和第二图像分块。

12.根据权利要求11所述的方法，其特征在于，与所述最佳偏移量关联的像素点通过以下方式选择：

在确定所述第一图像分块位于所述第一图像的边界时，选择所述第一图像分块边界线上的任一像素点；

在确定所述第一图像分块位于所述第一图像的中心区域时，选择所述第一图像分块中心的任一像素点。

13.一种图像融合装置，其特征在于，包括：

分块单元，用于对双目相机的第一图像和第二图像进行分块，得到多个第一图像分块和第二图像分块；其中，所述第一图像和所述第二图像的分块策略相同；

确定单元，用于基于所述第一图像分块和第二图像分块的亮度分量，确定相对应的第一图像分块和第二图像分块之间的目标偏移量；

融合单元，用于基于所述目标偏移量对所述第一图像和第二图像进行融合。

14.一种确定图像偏移量的装置，其特征在于，包括：

获取单元，用于获取第一图像分块和第二图像分块，其中，所述第一图像分块是对第一图像进行分块生成，所述第二图像分块是按照相同分块策略对第二图像进行分块生成；

偏移单元，用于基于预设的一组偏移量，将所述第一图像分块进行偏移处理，得到一组偏移后的第一图像分块，其中任一偏移量用于指示水平向左和/或水平向右偏移所述第一图像分块；

确定单元，用于基于所述一组偏移后的第一图像分块的亮度值与所述第二图像分块的亮度值之间的亮度差值，在所述一组偏移量中确定出一个最佳偏移量，其中，所述最佳偏移量以使基于所述最佳偏移量偏移后的第一图像分块与所述第二图像分块之间的亮度差值最小。

Images