CN113556475A - 一种高动态范围图像的生成方法、装置及设备 - Google Patents

Abstract

本申请提供一种高动态范围图像的生成方法、装置及设备，该方法包括：获取第一可见光图像和非可见光图像；其中，所述第一可见光图像的曝光起始时刻与所述非可见光图像的曝光起始时刻相同，且所述第一可见光图像的曝光时长与所述非可见光图像的曝光时长相同；根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像。通过本申请的技术方案，高动态范围图像不会出现“鬼影”，图像质量较高，画面对比度较好，颜色表现正常。

Description

一种高动态范围图像的生成方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其是涉及一种高动态范围图像的生成方法、装置及设备。

背景技术

与普通图像相比，高动态范围(High Dynamic Range，HDR)图像可以提供更多的动态范围以及图像细节，能够为用户提供更好的视觉体验，从而在视频监控、地理信息系统、医学影像、影视特效等领域中得到了广泛应用。

为了获取高动态范围图像，可以通过多次曝光，采集不同曝光时间的低动态范围(Low Dynamic Range，LDR)图像，即，这些低动态范围图像的曝光时间存在差异，并将多个低动态范围图像合成为高动态范围图像。

由于多个低动态范围图像的曝光时间存在差异，因此，多个低动态范围图像中的运动物体存在位移差，在基于这些低动态范围图像合成高动态范围图像时，高动态范围图像会出现“鬼影”，导致高动态范围图像的图像质量降低。

发明内容

本申请提供一种高动态范围图像的生成方法，所述方法包括：

获取第一可见光图像和非可见光图像；其中，所述第一可见光图像的曝光起始时刻与所述非可见光图像的曝光起始时刻相同，且所述第一可见光图像的曝光时长与所述非可见光图像的曝光时长相同；

根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像。

本申请提供一种高动态范围图像的生成装置，所述装置包括：

获取模块，用于获取第一可见光图像和非可见光图像；其中，所述第一可见光图像的曝光起始时刻与所述非可见光图像的曝光起始时刻相同，且所述第一可见光图像的曝光时长与所述非可见光图像的曝光时长相同；

确定模块，用于根据第一可见光图像的第一亮度分量和非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；

生成模块，用于根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像。

本申请提供一种摄像机，包括：

透镜组，用于透射监控区域的光线；分光装置，用于将透射入的光线进行分光处理，生成一路可见光和一路非可见光；第一传感器，用于感知可见光并生成可见光图像；第二传感器，用于感知非可见光并生成非可见光图像；

处理器，所述处理器与所述第一传感器和所述第二传感器连接，用于接收来自所述第一传感器的可见光图像和所述第二传感器的非可见光图像；

在第一曝光时长内：所述第一传感器用于生成第一可见光图像和第二可见光图像，所述第一可见光图像的曝光时长大于所述第二可见光图像的曝光时长；

所述第二传感器用于生成非可见光图像，所述非可见光图像的曝光时长等于所述第一可见光图像的曝光时长；以及

响应于接收到的所述第一可见光图像、所述第二可见光图像和所述非可见光图像，所述处理器用于：获取所述第一可见光图像的第一亮度分量、第一色度分量；获取所述第二可见光图像的第二色度分量；获取所述非可见光图像的第二亮度分量；根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；根据所述第一可见光图像的第一色度分量和所述第二可见光图像的第二色度分量，确定所述第一可见光图像与所述第二可见光图像的色度融合分量；根据所述所述亮度融合分量和所述色度融合分量，生成高动态范围图像。

由以上技术方案可见，本申请实施例中，由于第一可见光图像是在可见光范围内采集到的图像，而非可见光图像是在非可见光范围内采集到的图像，因此，可以根据第一可见光图像和非可见光图像生成高动态范围图像，高动态范围图像包括可见光范围的信息和非可见光范围的信息，从而包括更多的动态范围和图像细节。由于第一可见光图像的曝光起始时刻与非可见光图像的曝光起始时刻相同，第一可见光图像的曝光时长与非可见光图像的曝光时长相同，即，第一可见光图像和非可见光图像的曝光时间完全一致，因此，第一可见光图像和非可见光图像中的运动物体不存在位移差，在基于第一可见光图像和非可见光图像生成高动态范围图像时，高动态范围图像不会出现“鬼影”，不存在“鬼影”问题，高动态范围图像的图像质量较高，画面对比度较好，颜色表现正常。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的高动态范围图像的生成方法的流程图；

图2A和图2B是本申请一种实施方式中的前端设备的结构示意图；

图3A和图3B是本申请一种实施方式中的曝光控制示意图；

图4是本申请一种实施方式中的亮度融合分量的确定流程图；

图5是本申请一种实施方式中的高动态范围图像的生成过程示意图；

图6是本申请另一种实施方式中的高动态范围图像的生成方法的流程图；

图7是本申请一种实施方式中的高动态范围图像的生成过程示意图；

图8是本申请一种实施方式中的高动态范围图像的生成装置的结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中，可以根据可见光图像和非可见光图像生成高动态范围图像(即HDR图像)，由于可见光图像是在可见光(可见光是电磁波谱中人眼可以感知的部分，如波长在400～760nm之间)范围内采集到的图像，而非可见光图像是在非可见光范围内采集到的图像，因此，高动态范围图像包括可见光范围的信息和非可见光范围的信息，从而包括更多的动态范围和图像细节。

本申请实施例中，可见光图像的曝光时间与非可见光图像的曝光时间完全一致，即可见光图像和非可见光图像中的运动物体不存在位移差，因此，在基于可见光图像和非可见光图像生成高动态范围图像时，高动态范围图像不会出现“鬼影”，高动态范围图像的图像质量较高。“鬼影”是指：多帧曝光时间不同的图像进行融合时，由于运动物体存在位移差而导致的不重叠现象。

以下结合具体实施例，对本申请实施例的技术方案进行说明。

参见图1所示，为高动态范围图像的生成方法的流程图，该方法包括：

步骤101，获取第一可见光图像和非可见光图像。

示例性的，第一可见光图像的曝光起始时刻与非可见光图像的曝光起始时刻相同，第一可见光图像的曝光时长与非可见光图像的曝光时长相同，且第一可见光图像的曝光结束时刻与非可见光图像的曝光结束时刻相同。

示例性的，高动态范围图像的生成方法可以应用于任意设备，如前端设备(如IPC(IP CAMERA，网络摄像机)，模拟摄像机，相机等)，后续以前端设备为例进行说明。参见图2A所示，为前端设备的一个结构示意图，前端设备可以包括但不限于分光结构，窄带滤光片，感光传感器1和感光传感器2。

入射光线经过光学系统(由透镜、反射镜、棱镜和光阑等多种光学元件组成，对此不做限制)后到达分光结构，到达分光结构的光线可以包括可见光范围的可见光以及非可见光范围的非可见光，分光结构将可见光范围的可见光输出给感光传感器1，并将非可见光范围的非可见光输出给窄带滤光片。

窄带滤光片是非可见光波段的窄带滤光片，用于向感光传感器2输出位于特定波段的非可见光，该特定波段可以包括但不限于近红外波段，当然，近红外波段只是特定波段的一个示例，对此特定波段不做限制，可以任意配置。

例如，分光结构输出给窄带滤光片的非可见光包括波段A1的非可见光和波段A2的非可见光，若波段A1位于特定波段，波段A2不位于特定波段，则窄带滤光片将波段A1的非可见光输出给感光传感器2，但不将波段A2的非可见光输出给感光传感器2，即感光传感器2只接收到波段A1的非可见光。

通过在感光传感器2的前面增加窄带滤光片，使得位于特定波段的非可见光到达感光传感器2，从而可以控制非可见光图像的动态范围。

感光传感器1可以对可见光范围的可见光进行成像，得到可见光图像。

感光传感器2可以对非可见光范围的非可见光进行成像，得到非可见光图像。例如，由于输入给感光传感器2的是位于特定波段的非可见光，因此，感光传感器2可以对位于特定波段的非可见光进行成像，得到非可见光图像。

参见图2B所示，为前端设备的另一个结构示意图，前端设备可以包括但不限于非可见光滤光片，窄带滤光片，感光传感器1和感光传感器2。

入射光线经过光学系统1后到达非可见光滤光片，到达非可见光滤光片的光线可以包括可见光范围的可见光和非可见光范围的非可见光，非可见光滤光片用于向感光传感器1输出可见光范围的可见光。例如，到达非可见光滤光片的光线包括波段A1的非可见光，波段A2的非可见光，波段B的可见光，非可见光滤光片将波段B的可见光输出给感光传感器1，但不将波段A1和波段A2的非可见光输出给感光传感器1，即感光传感器1只接收到波段B的可见光。

入射光线经过光学系统2后到达窄带滤光片，到达窄带滤光片的光线可以包括可见光范围的可见光和非可见光范围的非可见光，窄带滤光片用于向感光传感器2输出位于特定波段(如近红外波段)的非可见光。例如，到达窄带滤光片的光线包括波段A1的非可见光，波段A2的非可见光，波段B的可见光，若波段A1位于特定波段，波段A2不位于特定波段，则窄带滤光片将波段A1的非可见光输出给感光传感器2，即感光传感器2只接收到波段A1的非可见光。

光学系统2的光圈小于光学系统1的光圈，或光学系统2的光圈等于光学系统1的光圈，或光学系统2的光圈大于光学系统1的光圈，对此不做限制。

感光传感器1可以对可见光范围的可见光进行成像，得到可见光图像。感光传感器2可以对位于特定波段的非可见光进行成像，得到非可见光图像。

基于图2A或者图2B所示的结构，感光传感器1可以对可见光范围的可见光进行多次曝光，得到多个可见光图像，将多个可见光图像中的某个可见光图像作为第一可见光图像，如将第一次曝光得到的可见光图像作为第一可见光图像。感光传感器2可以对位于特定波段的非可见光进行曝光，得到非可见光图像，并确定与第一可见光图像对应的非可见光图像。然后，基于第一可见光图像以及与第一可见光图像对应的非可见光图像，可以执行后续步骤。

在一种可能的实施方式中，参见图3A所示，感光传感器1对可见光进行n次曝光，依次得到可见光图像1，可见光图像2，…，可见光图像n。可以将可见光图像1作为第一可见光图像，或者，将可见光图像2作为第一可见光图像，以此类推。为了方便描述，后续以可见光图像1作为第一可见光图像为例。

示例性的，关于各可见光图像的曝光起始时刻以及曝光时长，可以根据经验进行控制，对此不做限制。例如，可见光图像1的曝光起始时刻可以早于可见光图像2的曝光起始时刻，可见光图像1的曝光时长可以大于可见光图像2的曝光时长。可见光图像2的曝光起始时刻可以早于可见光图像3的曝光起始时刻，可见光图像2的曝光时长可以大于可见光图像3的曝光时长，以此类推。

参见图3A所示，感光传感器2对非可见光进行n次曝光，依次得到非可见光图像1，非可见光图像2，…，非可见光图像n。非可见光图像1的曝光起始时刻与可见光图像1的曝光起始时刻相同，非可见光图像1的曝光时长与可见光图像1的曝光时长相同，非可见光图像1的曝光结束时刻与可见光图像1的曝光结束时刻相同。非可见光图像2的曝光起始时刻与可见光图像2的曝光起始时刻相同，非可见光图像2的曝光时长与可见光图像2的曝光时长相同，非可见光图像2的曝光结束时刻与可见光图像2的曝光结束时刻相同，以此类推。

在将可见光图像1作为第一可见光图像时，将非可见光图像1作为与第一可见光图像对应的非可见光图像，在将可见光图像2作为第一可见光图像时，将非可见光图像2作为与第一可见光图像对应的非可见光图像，以此类推。

本应用场景中，将可见光图像1作为第一可见光图像，并将非可见光图像1作为与第一可见光图像对应的非可见光图像，即，可见光图像1和非可见光图像1作为步骤101中获取的第一可见光图像和非可见光图像。

示例性的，为了实现非可见光图像1的曝光起始时刻与可见光图像1的曝光起始时刻相同，可以采用如下方式：主控芯片(在图2A或者图2B中未视出，主控芯片与感光传感器1和感光传感器2分别连接)同时向感光传感器1和感光传感器2发送曝光指令，感光传感器1在接收到曝光指令后，将曝光指令的接收时刻作为可见光图像1的曝光起始时刻，感光传感器2在接收到曝光指令后，将曝光指令的接收时刻作为非可见光图像1的曝光起始时刻。

由于主控芯片同时向感光传感器1和感光传感器2发送曝光指令，因此，感光传感器1接收到曝光指令的时刻与感光传感器2接收到曝光指令的时刻相同，即，非可见光图像1的曝光起始时刻与可见光图像1的曝光起始时刻相同。

又例如，主控芯片可以向感光传感器1发送曝光指令1，向感光传感器2发送曝光指令2，曝光指令1携带可见光图像1的曝光起始时刻，曝光指令2携带非可见光图像1的曝光起始时刻，且，非可见光图像1的曝光起始时刻与可见光图像1的曝光起始时刻相同。感光传感器1在接收到曝光指令1后，根据曝光指令1确定可见光图像1的曝光起始时刻。感光传感器2在接收到曝光指令2后，根据曝光指令2确定非可见光图像1的曝光起始时刻。

基于上述方式，可以使非可见光图像1的曝光起始时刻与可见光图像1的曝光起始时刻相同，当然，上述方式只是示例，对此不做限制。

示例性的，感光传感器1可以确定可见光图像1的曝光起始时刻与可见光图像2的曝光起始时刻的间隔a1，如主控芯片配置间隔a1。感光传感器1对可见光进行第1次曝光后，在间隔a1后，对可见光进行第2次曝光，从而控制可见光图像1的曝光起始时刻与可见光图像2的曝光起始时刻的间隔为a1。

同理，感光传感器1可以确定可见光图像2的曝光起始时刻与可见光图像3的曝光起始时刻的间隔a2，以此类推，在此不再重复赘述。

感光传感器2可以确定非可见光图像1的曝光起始时刻与非可见光图像2的曝光起始时刻的间隔a1，以此类推，实现过程参见感光传感器1。

示例性的，为了实现可见光图像1的曝光时长大于可见光图像2的曝光时长，可以采用如下方式：基于曝光算法确定可见光图像1的曝光时长T1与可见光图像2的曝光时长T2的关系，例如，曝光算法指示如下关系：T2＝c*T1，c为大于0且小于1的数值。当然，这只是曝光算法的示例，对此曝光算法不做限制。通过上述曝光算法，可以保证曝光时长T1大于曝光时长T2。

然后，感光传感器1对可见光进行第1次曝光时，通过控制快门等参数，使得第1次曝光的曝光时长为T1，在感光传感器1对可见光进行第2次曝光时，通过控制快门等参数，使得第2次曝光的曝光时长为T2。综上所述，可以使得现可见光图像1的曝光时长大于可见光图像2的曝光时长。

同理，基于相同的方式，也可以实现可见光图像2的曝光时长大于可见光图像3的曝光时长，以此类推。此外，基于相同的方式，也可以实现非可见光图像1的曝光时长大于非可见光图像2的曝光时长，以此类推。

示例性的，感光传感器1的曝光总时长与感光传感器1的类型有关，对此不做限制，可以将感光传感器1的曝光总时长记为第一曝光时长，即，感光传感器1在第一曝光时长内，对可见光进行n次曝光，依次得到可见光图像1，可见光图像2，…，可见光图像n。显然，由于是在第一曝光时长内进行曝光，因此，可见光图像1的曝光时长小于第一曝光时长，可见光图像2的曝光时长小于第一曝光时长，以此类推。在一个可选方式中，所有可见光图像的曝光时长之和可以小于第一曝光时长，例如，假设得到可见光图像1和可见光图像2，则可见光图像1和可见光图像2的曝光时长之和小于第一曝光时长。

感光传感器2的曝光总时长与感光传感器1的曝光总时长相同，即，感光传感器2的曝光总时长也为第一曝光时长。感光传感器2在第一曝光时长内，对非可见光进行n次曝光，依次得到非可见光图像1，非可见光图像2，…，非可见光图像n。非可见光图像1的曝光时长小于第一曝光时长，非可见光图像2的曝光时长小于第一曝光时长，以此类推。在一个可选方式中，所有非可见光图像的曝光时长之和可以小于第一曝光时长。

在另一种可能的实施方式中，参见图3B所示，感光传感器1对可见光进行n次曝光，依次得到可见光图像1，可见光图像2，…，可见光图像n。可以将可见光图像1作为第一可见光图像。示例性的，关于各可见光图像的曝光起始时刻以及曝光时长，可以根据经验进行控制，对此不做限制。

感光传感器2对非可见光进行一次曝光，得到非可见光图像1，将非可见光图像1作为与第一可见光图像对应的非可见光图像，即，可见光图像1和非可见光图像1作为步骤101中获取的第一可见光图像和非可见光图像。

示例性的，非可见光图像1的曝光起始时刻与可见光图像1的曝光起始时刻相同，非可见光图像1的曝光时长与可见光图像1的曝光时长相同，非可见光图像1的曝光结束时刻与可见光图像1的曝光结束时刻相同。

图3B与图3A相比，感光传感器2只进行一次曝光，而不是进行n次曝光，其它过程与图3A的实现过程类似，在此不再重复赘述。

综上所述，基于图3A或者图3B所示的曝光控制方式，可以得到第一可见光图像和非可见光图像，第一可见光图像的曝光起始时刻与非可见光图像的曝光起始时刻相同，第一可见光图像的曝光时长与非可见光图像的曝光时长相同。

步骤102，根据第一可见光图像的第一亮度分量和非可见光图像的第二亮度分量，确定第一可见光图像与非可见光图像的亮度融合分量。

在得到第一可见光图像和非可见光图像后，获取第一可见光图像的亮度分量，获取非可见光图像的亮度分量。为了区分方便，将第一可见光图像的亮度分量称为第一亮度分量，将非可见光图像的亮度分量称为第二亮度分量。

示例性的，若第一可见光图像是RGB(Red Green Blue，红绿蓝)格式的第一可见光图像，即第一可见光图像包括R通道分量，G通道分量，B通道分量，则可以对RGB格式的第一可见光图像进行色彩空间转换，对此转换过程不做限制，得到YUV(LuminanceChrominance，明亮度色度)格式的第一可见光图像，即第一可见光图像包括亮度分量和色度分量(Cb色度分量和Cr色度分量)，基于此，可以得到第一可见光图像的第一亮度分量。若第一可见光图像是YUV格式的第一可见光图像，可以直接得到第一可见光图像的第一亮度分量。

示例性的，若非可见光图像是RGB格式的非可见光图像，即非可见光图像包括R通道分量，G通道分量，B通道分量，则可以对RGB格式的非可见光图像进行色彩空间转换，得到YUV格式的非可见光图像，即非可见光图像包括亮度分量和色度分量，基于此，可以得到非可见光图像的第二亮度分量。或者，可以将非可见光图像的B通道分量直接作为非可见光图像的第二亮度分量，而不需要将RGB格式的非可见光图像转换为YUV格式的非可见光图像。

若非可见光图像是YUV格式的非可见光图像，可以直接得到非可见光图像的第二亮度分量。或者，将YUV格式的非可见光图像转换为RGB格式的非可见光图像，将RGB格式的非可见光图像的B通道分量作为第二亮度分量。

示例性的，将非可见光图像的B通道分量作为非可见光图像的第二亮度分量，其原因在于：由于非可见光图像是对位于特定波段(如近红外波段)的非可见光进行成像得到的，因此，针对非可见光图像的R通道分量的亮度信息，G通道分量的亮度信息，B通道分量的亮度信息，会存在一定差异，而B通道分量的亮度信息的感光性能最低，高亮信息表现更佳，因此，将B通道分量作为第二亮度分量时，能够获取更多场景中的高亮区域信息，提升图像的动态范围。

在得到第一可见光图像的第一亮度分量和非可见光图像的第二亮度分量后，可以根据第一亮度分量和第二亮度分量确定亮度融合分量，在一种可能的实施方式中，参见图4所示，可以采用如下步骤确定亮度融合分量。当然，这里只是一个示例，只要亮度融合分量与第一亮度分量和第二亮度分量有关即可。

步骤1021，获取第一亮度分量的第一低频分量和第一高频分量。

示例性的，第一低频分量和第一高频分量可以组合成第一亮度分量。

步骤1022，获取第二亮度分量的第二低频分量和第二高频分量。

示例性的，第二低频分量和第二高频分量可以组合成第二亮度分量。

例如，对第一亮度分量(记为Y1)进行低通滤波，得到第一亮度分量的第一低频分量(记为LY1)，对此低通滤波方式不做限制。将第一亮度分量减去第一低频分量，可以得到第一亮度分量的第一高频分量(记为HY1)。

例如，对第二亮度分量(记为Y2)进行低通滤波，得到第二亮度分量的第二低频分量(记为LY2)，对此低通滤波方式不做限制。将第二亮度分量减去第二低频分量，可以得到第二亮度分量的第二高频分量(记为HY2)。

步骤1023，根据第一低频分量和第二低频分量确定低频融合分量。

在一种可能的实施方式中，第一低频分量可以包括多个像素位置的低频分量值，第二低频分量可以包括多个像素位置的低频分量值，第一低频分量中的像素位置与第二低频分量中的像素位置一一对应。针对第一低频分量中的每个原始像素位置(为了区分方便，将第一低频分量中的像素位置记为原始像素位置)，从第二低频分量的像素位置中确定与该原始像素位置对应的目标像素位置(为了区分方便，将第二低频分量中的像素位置记为目标像素位置)。

然后，根据该原始像素位置的低频分量值和第一权重值，以及该目标像素位置的低频分量值和第二权重值，确定该原始像素位置的低频融合值。然后，根据每个原始像素位置的低频融合值确定低频融合分量。

例如，第一低频分量可以包括像素位置a1的低频分量值，像素位置a2的低频分量值，…，像素位置am的低频分量值。第二低频分量可以包括像素位置b1的低频分量值，像素位置b2的低频分量值，…，像素位置bm的低频分量值。

m可以为正整数，m是第一低频分量的像素总数量，且第二低频分量的像素总数量与第一低频分量的像素总数量相同。像素位置a1与像素位置b1对应，像素位置a2与像素位置b2对应，…，像素位置am与像素位置bm对应。

基于此，可以根据像素位置a1的低频分量值和第一权重值，像素位置b1的低频分量值和第二权重值，确定像素位置a1的低频融合值。

例如，像素位置a1的低频融合值可以为：像素位置a1的低频分量值乘以第一权重值，加上像素位置b1的低频分量值乘以第二权重值。

同理，可以得到像素位置a2的低频融合值，…，像素位置am的低频融合值，在得到这些低频融合值后，将这些低频融合值组合在一起，就得到低频融合分量，该低频融合分量可以包括像素位置a1的低频融合值，像素位置a2的低频融合值，…，像素位置am的低频融合值。

示例性的，在得到第一可见光图像和非可见光图像后，可以对第一可见光图像和非可见光图像进行配准处理，使得第一可见光图像的像素位置与非可见光图像的像素位置对齐。由于第一可见光图像的像素位置与非可见光图像的像素位置对齐，因此，第一可见光图像的第一亮度分量的像素位置与非可见光图像的第二亮度分量的像素位置对齐，第一亮度分量的第一低频分量的像素位置与第二亮度分量的第二低频分量的像素位置对齐。

综上所述，第一低频分量中的像素位置与第二低频分量中的像素位置一一对应，例如，像素位置a1与像素位置b1对齐，二者均为像素位置(0，0)，像素位置a2与像素位置b2对齐，二者均为像素位置(1，1)，像素位置a3与像素位置b3对齐，二者均为像素位置(2，0)，以此类推。

以下结合具体应用场景，对低频融合分量的确定过程进行说明。

针对第一低频分量中的原始像素位置(i,j)，原始像素位置(i,j)在第二低频分量中对应的是目标像素位置(i,j)，假设原始像素位置(i,j)的第一权重值为wgt(i,j)，且原始像素位置(i,j)的第一权重值与目标像素位置(i,j)的第二权重值的和为预设常数(可以根据经验配置，对此不做限制，如1等)，则目标像素位置(i,j)的第二权重值为(1-wgt(i,j))。综上所述，可以采用公式(1)确定原始像素位置(i,j)的低频融合值。当然，公式(1)只是一个示例，对此不做限制。

mergeLY(i,j)＝wgt(i,j)*LY1(i,j)+(1-wgt(i,j))*LY2(i,j) (1)

(i,j)表示第一低频分量中的任意原始像素位置，mergeLY(i,j)表示原始像素位置(i,j)的低频融合值。LY1(i,j)表示原始像素位置(i,j)在第一低频分量中的低频分量值，LY2(i,j)表示目标像素位置(i,j)在第二低频分量中的低频分量值。

综上所述，可以根据原始像素位置(i,j)的低频分量值LY1(i,j)和第一权重值wgt(i,j)，目标像素位置(i,j)的低频分量值LY2(i,j)和第二权重值(1-wgt(i,j))，确定原始像素位置(i,j)的低频融合值mergeLY(i,j)。在得到每个原始像素位置(i,j)的低频融合值mergeLY(i,j)后，可以将这些低频融合值组成低频融合分量。

在上述公式中，涉及原始像素位置(i,j)的第一权重值wgt(i,j)，不同原始像素位置(i,j)的第一权重值wgt(i,j)可以相同，也可以不同。原始像素位置(i,j)的第一权重值wgt(i,j)可以根据经验配置，也可以采用某种策略确定，对此不做限制。

例如，可以根据原始像素位置(i,j)的低频分量值LY1(i,j)确定原始像素位置(i,j)的第一权重值wgt(i,j)。由于原始像素位置(i,j)的第一权重值与目标像素位置(i,j)的第二权重值的和为预设常数，因此，在得到原始像素位置(i,j)的第一权重值wgt(i,j)后，可以根据原始像素位置(i,j)的第一权重值wgt(i,j)确定目标像素位置(i,j)的第二权重值，如预设常数为1时，第二权重值可以为(1-wgt(i,j))。

示例性的，当原始像素位置(i,j)的低频分量值LY1(i,j)越大时，原始像素位置(i,j)的第一权重值wgt(i,j)越小，目标像素位置(i,j)的第二权重值(1-wgt(i,j))越大。或者，当原始像素位置(i,j)的低频分量值LY1(i,j)越小时，原始像素位置(i,j)的第一权重值wgt(i,j)越大，目标像素位置(i,j)的第二权重值(1-wgt(i,j))越小。

参见公式(1)所示，当原始像素位置(i,j)的第一权重值wgt(i,j)越小，目标像素位置(i,j)的第二权重值(1-wgt(i,j))越大时，目标像素位置(i,j)的低频分量值LY2(i,j)在低频融合分量中的占比较大，原始像素位置(i,j)的低频分量值LY1(i,j)在低频融合分量中的占比较小，即，非可见光图像的低频分量值的占比较大。

原始像素位置(i,j)的低频分量值LY1(i,j)较大的区域，表示第一可见光图像的高亮区域，即，对第一可见光图像的高亮区域进行融合时，非可见光图像的低频分量值在低频融合分量的占比较大，从而在第一可见光图像的高亮区域更多的显示非可见光图像的亮度分量的低频分量值，体现更多的细节信息。

参见公式(1)所示，当原始像素位置(i,j)的第一权重值wgt(i,j)越大，目标像素位置(i,j)的第二权重值(1-wgt(i,j))越小时，目标像素位置(i,j)的低频分量值LY2(i,j)在低频融合分量中的占比较小，原始像素位置(i,j)的低频分量值LY1(i,j)在低频融合分量中的占比较大，即，第一可见光图像的低频分量值的占比较大。

原始像素位置(i,j)的低频分量值LY1(i,j)较小的区域，表示第一可见光图像的低亮区域(也可以称为暗区)，即，对第一可见光图像的低亮区域进行融合时，第一可见光图像的低频分量值在低频融合分量的占比较大，从而在第一可见光图像的低亮区域更多的显示第一可见光图像的亮度分量的低频分量值。

示例性的，基于原始像素位置(i,j)的低频分量值LY1(i,j)，可以采用公式(2)确定原始像素位置(i,j)的第一权重值wgt(i,j)，当然，公式(2)只是一个示例，对此不做限制，只要LY1(i,j)越大时，第一权重值wgt(i,j)越小即可。

在公式(2)中，σ、α和β均为预设系数，可以根据经验进行配置，对这些预设系数均不做限制。例如，α可以为0-1之间的任意数值，β可以为0-1之间的任意数值，且(α+β)∈[0,1]。又例如，σ可以为根据经验配置的任意数值。

步骤1024，根据第一高频分量和第二高频分量确定高频融合分量。

在一种可能的实施方式中，第一高频分量可以包括多个像素位置的高频分量值，第二高频分量可以包括多个像素位置的高频分量值，第一高频分量中的像素位置与第二高频分量中的像素位置一一对应。针对第一高频分量中的每个原始像素位置(为了区分方便，将第一高频分量中的像素位置记为原始像素位置)，从第二高频分量的像素位置中确定与该原始像素位置对应的目标像素位置(为了区分方便，将第二高频分量中的像素位置记为目标像素位置)。

然后，根据该原始像素位置的高频分量值和第一系数值，以及该目标像素位置的高频分量值和第二系数值，确定该原始像素位置的高频融合值。然后，根据每个原始像素位置的高频融合值确定高频融合分量。

例如，第一高频分量可以包括像素位置a1的高频分量值，像素位置a2的高频分量值，…，像素位置am的高频分量值。第二高频分量可以包括像素位置b1的高频分量值，像素位置b2的高频分量值，…，像素位置bm的高频分量值。像素位置a1与像素位置b1对应，…，像素位置am与像素位置bm对应。

基于此，可以根据像素位置a1的高频分量值和第一系数值，像素位置b1的高频分量值和第二系数值，确定像素位置a1的高频融合值。

例如，像素位置a1的高频融合值可以为：像素位置a1的高频分量值乘以第一系数值，加上像素位置b1的高频分量值乘以第二系数值。

同理，可以得到像素位置a2的高频融合值，…，像素位置am的高频融合值，将这些高频融合值组合在一起，得到高频融合分量，高频融合分量包括像素位置a1的高频融合值，…，像素位置am的高频融合值。

以下结合具体应用场景，对高频融合分量的确定过程进行说明。

针对第一高频分量中的原始像素位置(i,j)，原始像素位置(i,j)在第二高频分量中对应的是目标像素位置(i,j)，可以采用公式(3)确定原始像素位置(i,j)的高频融合值。当然，公式(3)只是一个示例，对此不做限制。

mergeHY(i,j)＝w₁*HY1(i,j)+w₂*HY2(i,j) (3)

在公式(3)中，(i,j)表示第一高频分量中的任意原始像素位置，mergeHY(i,j)表示原始像素位置(i,j)的高频融合值。HY1(i,j)表示原始像素位置(i,j)在第一高频分量中的高频分量值，HY2(i,j)表示目标像素位置(i,j)在第二高频分量中的高频分量值。w₁和w₂分别表示第一系数值和第二系数值，不同原始像素位置(i,j)的第一系数值w₁可以相同或者不同，不同目标像素位置(i,j)的第二系数值w₂可以相同或者不同。w₁和w₂均可以根据经验进行配置，对此w₁和w₂的取值不做限制。例如，w₁的取值范围可以为[0-3]，w₂的取值范围可以为[0-3]。

综上所述，可以根据原始像素位置(i,j)的高频分量值HY1(i,j)和第一系数值w₁，目标像素位置(i,j)的高频分量值HY2(i,j)和第二系数值w₂，确定原始像素位置(i,j)的高频融合值mergeHY(i,j)。在得到每个原始像素位置(i,j)的高频融合值mergeHY(i,j)后，可以将这些高频融合值组成高频融合分量。

步骤1025，根据低频融合分量以及高频融合分量确定亮度融合分量。

低频融合分量包括多个像素位置的低频融合值，高频融合分量包括多个像素位置的高频融合值，低频融合分量中的像素位置与高频融合分量中的像素位置一一对应。例如，低频融合分量包括像素位置a1的低频融合值，…，像素位置am的低频融合值，高频融合分量包括像素位置a1的高频融合值，…，像素位置am的高频融合值。然后，根据像素位置a1的低频融合值与像素位置a1的高频融合值，确定像素位置a1的融合分量值，如融合分量值为低频融合值与高频融合值的和。同理，可以得到像素位置a2的融合分量值，…，像素位置am的融合分量值，将这些融合分量值组合在一起，可以得到亮度融合分量，亮度融合分量包括像素位置a1的融合分量值，…，像素位置am的融合分量值。

例如，可以采用公式(4)确定像素位置(i,j)的融合分量值：

mergeY(i,j)＝mergeLY(i,j)+mergeHY(i,j) (4)

在公式(4)中，(i,j)可以表示亮度融合分量中的任意像素位置，mergeY(i,j)可以表示像素位置(i,j)的融合分量值，mergeLY(i,j)可以表示像素位置(i,j)的低频融合值，mergeHY(i,j)可以表示像素位置(i,j)的高频融合值。

综上所述，参见步骤1021-步骤1025，可以得到第一可见光图像与非可见光图像的亮度融合分量，并基于该亮度融合分量执行后续步骤103。

步骤103，根据第一可见光图像的第一色度分量(为区分方便，将第一可见光图像的色度分量记为第一色度分量)和亮度融合分量，生成高动态范围图像。

参见步骤102，若第一可见光图像是RGB格式的第一可见光图像，则将RGB格式的第一可见光图像转换为YUV格式的第一可见光图像，该第一可见光图像包括第一色度分量(Cb色度分量和Cr色度分量)。若第一可见光图像是YUV格式的第一可见光图像，可以直接得到第一可见光图像的第一色度分量。

然后，可以将第一色度分量与亮度融合分量组合在一起，得到YUV格式的高动态范围图像，比如说，第一色度分量作为高动态范围图像的色度分量，亮度融合分量作为高动态范围图像的亮度分量，从而得到高动态范围图像。

在得到YUV格式的高动态范围图像后，可以直接输出YUV格式的高动态范围图像，或者，也可以将YUV格式的高动态范围图像转换为RGB格式的高动态范围图像，并输出RGB格式的高动态范围图像，对此不做限制。

以下结合图5对高动态范围图像的生成过程进行说明。参见图5所示，第一可见光图像可以包括第一亮度分量和第一色度分量，非可见光图像可以包括第二亮度分量。基于此，可以根据第一亮度分量和第二亮度分量确定亮度融合分量，并根据第一色度分量和亮度融合分量生成高动态范围图像。

由以上技术方案可见，本申请实施例中，由于第一可见光图像是在可见光范围内采集到的图像，而非可见光图像是在非可见光范围内采集到的图像，因此，可以根据第一可见光图像和非可见光图像生成高动态范围图像，高动态范围图像包括可见光范围的信息和非可见光范围的信息，从而包括更多的动态范围和图像细节。由于第一可见光图像的曝光起始时刻与非可见光图像的曝光起始时刻相同，第一可见光图像的曝光时长与非可见光图像的曝光时长相同，即，第一可见光图像和非可见光图像的曝光时间完全一致，因此，第一可见光图像和非可见光图像中的运动物体不存在位移差，在基于第一可见光图像和非可见光图像生成高动态范围图像时，高动态范围图像不会出现“鬼影”，不存在“鬼影”问题，高动态范围图像的图像质量较高，画面对比度较好，颜色表现正常。

参见图6所示，为高动态范围图像的生成方法的另一流程图，该方法包括：

步骤601，获取第一可见光图像，第二可见光图像和非可见光图像。

示例性的，第一可见光图像的曝光起始时刻与非可见光图像的曝光起始时刻相同，第一可见光图像的曝光时长与非可见光图像的曝光时长相同，且第一可见光图像的曝光结束时刻与非可见光图像的曝光结束时刻相同。

示例性的，第一可见光图像的曝光时长大于第二可见光图像的曝光时长，第一可见光图像的曝光起始时刻可以早于第二可见光图像的曝光起始时刻。

在一种可能的实施方式中，参见图3A所示，可以将可见光图像1作为第一可见光图像，将可见光图像2(或位于可见光图像2后面的可见光图像)作为第二可见光图像，或者，将可见光图像2作为第一可见光图像，将可见光图像3(或位于可见光图像3后面的可见光图像)作为第二可见光图像，以此类推。若将可见光图像1作为第一可见光图像，则将非可见光图像1作为与第一可见光图像对应的非可见光图像，若将可见光图像2作为第一可见光图像，则将非可见光图像2作为与第一可见光图像对应的非可见光图像，以此类推。

在另一种可能的实施方式中，参见图3B所示，将可见光图像1作为第一可见光图像，将可见光图像2(或位于可见光图像2后面的可见光图像)作为第二可见光图像，并将非可见光图像1作为与第一可见光图像对应的非可见光图像。

示例性的，关于图3A和图3B的曝光方式，可以参见步骤101。

步骤602，根据第一可见光图像的第一亮度分量和非可见光图像的第二亮度分量，确定第一可见光图像与非可见光图像的亮度融合分量。

示例性的，步骤602可以参见步骤102，在此不再重复赘述。

步骤603，根据第一可见光图像的第一色度分量和第二可见光图像的第二色度分量，确定第一可见光图像与第二可见光图像的色度融合分量。

在得到第一可见光图像和第二可见光图像后，获取第一可见光图像的色度分量和第二可见光图像的色度分量。为了区分方便，将第一可见光图像的色度分量称为第一色度分量，将第二可见光图像的色度分量称为第二色度分量。

关于第一色度分量的获取方式，参见步骤102和步骤103，在此不再赘述。第二色度分量的获取方式与第一色度分量的获取方式类似，在此不再赘述。

在得到第一可见光图像的第一色度分量和第二可见光图像的第二色度分量后，还可以根据第一色度分量和第二色度分量确定色度融合分量，色度融合分量包括部分第一可见光图像的第一色度分量和部分第二可见光图像的第二色度分量。例如，可以根据第一可见光图像的第一亮度分量，将第一可见光图像划分为高亮区域和低亮区域。对应于第一可见光图像的高亮区域，色度融合分量等于第二可见光图像的第二色度分量；对应于第一可见光图像的低亮区域，色度融合分量等于第一可见光图像的第一色度分量。

在一种可能的实施方式中，可以采用如下步骤确定色度融合分量。当然，这里只是示例，只要色度融合分量与第一色度分量和第二色度分量有关即可。

步骤6031，针对第一色度分量中的每个原始像素位置，从第二色度分量的像素位置中确定与该原始像素位置对应的目标像素位置。

在一种可能的实施方式中，第一色度分量包括多个像素位置的色度分量值，第二色度分量包括多个像素位置的色度分量值，第一色度分量中的像素位置与第二色度分量中的像素位置一一对应。基于此，针对第一色度分量中的每个原始像素位置(为了区分方便，将第一色度分量中的像素位置记为原始像素位置)，可以从第二色度分量的像素位置中确定与该原始像素位置对应的目标像素位置(为了区分方便，将第二色度分量中的像素位置记为目标像素位置)。

例如，第一色度分量可以包括像素位置c1的色度分量值，…，像素位置cn的色度分量值，第二色度分量可以包括像素位置d1的色度分量值，…，像素位置dn的色度分量值。n可以为正整数，n可以是第一色度分量的像素总数量，像素位置c1与像素位置d1对应，…，像素位置cn与像素位置dn对应。

示例性的，在得到第一可见光图像和第二可见光图像后，可以对第一可见光图像和第二可见光图像进行配准处理，使得第一可见光图像的像素位置与第二可见光图像的像素位置对齐。显然，由于第一可见光图像的像素位置与第二可见光图像的像素位置对齐，因此，第一可见光图像的第一色度分量的像素位置与第二可见光图像的第二色度分量的像素位置对齐，比如说，第一色度分量中的像素位置与第二色度分量中的像素位置一一对应。

步骤6032，根据原始像素位置的色度分量值(第一色度分量的色度分量值)和目标像素位置的色度分量值(第二色度分量的色度分量值)，确定原始像素位置的色度融合值。例如，根据原始像素位置的亮度分量值，原始像素位置的色度分量值和目标像素位置的色度分量值，确定原始像素位置的色度融合值。

在一种可能的实施方式中，若原始像素位置的亮度分量值小于或者等于预设亮度阈值(亮度分量值小于或者等于预设亮度阈值的区域，就是第一可见光图像的低亮区域)，则可以根据原始像素位置的色度分量值确定原始像素位置的色度融合值，比如说，可以将原始像素位置的色度分量值作为原始像素位置的色度融合值。或者，若原始像素位置的亮度分量值大于预设亮度阈值(亮度分量值大于预设亮度阈值的区域，就是第一可见光图像的高亮区域)，则可以根据目标像素位置的色度分量值确定原始像素位置的色度融合值，比如说，可以将目标像素位置的色度分量值作为原始像素位置的色度融合值。

以下结合具体应用场景，对色度融合值的确定过程进行说明。

针对第一色度分量中的原始像素位置(i,j)，原始像素位置(i,j)在第二色度分量中对应的是目标像素位置(i,j)，可以采用公式(5)确定原始像素位置(i,j)的色度融合值。当然，公式(5)只是一个示例，对此不做限制。

(i,j)表示第一色度分量中的任意原始像素位置，mergeR(i,j)表示原始像素位置(i,j)的色度融合值。R1(i,j)表示原始像素位置(i,j)在第一色度分量中的色度分量值，R2(i,j)表示目标像素位置(i,j)在第二色度分量的色度分量值。

Y1(i,j)表示原始像素位置(i,j)的亮度分量值，比如说，第一可见光图像包括第一亮度分量和第一色度分量，针对第一色度分量中的原始像素位置(i,j)，可以对应第一亮度分量中的某个亮度分量值，将这个亮度分量值记为Y1(i,j)。

T表示预设亮度阈值，可以根据经验进行配置，对此预设亮度阈值T的取值不做限制，例如，预设亮度阈值T的取值范围可为200～255之间。

综上所述，若原始像素位置(i,j)的亮度分量值Y1(i,j)小于或等于T，则原始像素位置(i,j)的色度融合值mergeR(i,j)可以为原始像素位置(i,j)的色度分量值R1(i,j)，若原始像素位置(i,j)的亮度分量值Y1(i,j)大于T，则原始像素位置(i,j)的色度融合值mergeR(i,j)可以为目标像素位置(i,j)的色度分量值R2(i,j)。

参见公式(5)所示，当亮度分量值Y1(i,j)较大时，如大于T，则色度融合值mergeR(i,j)采用的是第二可见光图像的色度分量值R2(i,j)。亮度分量值Y1(i,j)较大的区域，表示第一可见光图像的高亮区域，即，对第一可见光图像的高亮区域进行融合时，采用第二可见光图像的色度分量值，从而在第一可见光图像的高亮区域更多的显示第二可见光图像的色度分量值，体现更多的细节信息。

参见公式(5)所示，当亮度分量值Y1(i,j)较小时，如小于或者等于T，则色度融合值mergeR(i,j)采用的是第一可见光图像的色度分量值R1(i,j)。亮度分量值Y1(i,j)较小的区域，表示第一可见光图像的低亮区域(也可以称为暗区)，即，对第一可见光图像的低亮区域进行融合时，采用第一可见光图像的色度分量值，从而在第一可见光图像的低亮区域更多的显示第一可见光图像的色度分量值。

步骤6033，根据每个原始像素位置的色度融合值确定色度融合分量。

例如，在得到每个原始像素位置(i,j)的色度融合值mergeR(i,j)后，可以将这些色度融合值组合成色度融合分量，例如，该色度融合分量可以包括像素位置c1的色度融合值…，像素位置cn的色度融合值。

在一种可能的实施方式中，色度分量包括U色度分量和V色度分量，即第一色度分量包括第一U色度分量和第一V色度分量，第二色度分量包括第二U色度分量和第二V色度分量，因此，根据第一U色度分量和第二U色度分量确定U色度融合分量，根据第一V色度分量和第二V色度分量确定V色度融合分量，步骤603中的色度融合分量包括U色度融合分量和V色度融合分量。

关于U色度融合分量的确定方式，可以参见步骤6031-步骤6033，关于V色度融合分量的确定方式，也可以参见步骤6031-步骤6033，在此不再重复赘述。例如，可以将公式(5)替换为公式(6)，其它内容类似。

(i,j)表示任意原始像素位置，mergeU(i,j)表示原始像素位置(i,j)的U色度融合值，mergeV(i,j)表示原始像素位置(i,j)的V色度融合值，U1(i,j)表示原始像素位置(i,j)在第一U色度分量中的色度分量值，U2(i,j)表示目标像素位置(i,j)在第二U色度分量中的色度分量值，V1(i,j)表示原始像素位置(i,j)在第一V色度分量中的色度分量值，V2(i,j)表示目标像素位置(i,j)在第二V色度分量中的色度分量值，Y1(i,j)表示原始像素位置(i,j)的亮度分量值，T表示预设亮度阈值。

综上所述，参见步骤6031-步骤6033，可以得到第一可见光图像与第二可见光图像的色度融合分量，并基于该色度融合分量执行后续步骤604。

步骤604，根据色度融合分量和亮度融合分量，生成高动态范围图像。

例如，可以将色度融合分量与亮度融合分量组合在一起，得到YUV格式的高动态范围图像，比如说，色度融合分量作为高动态范围图像的色度分量，亮度融合分量作为高动态范围图像的亮度分量，从而得到高动态范围图像。

以下结合图7对高动态范围图像的生成过程进行说明。参见图7所示，第一可见光图像包括第一亮度分量和第一色度分量，非可见光图像包括第二亮度分量，第二可见光图像包括第二色度分量。基于此，可以根据第一亮度分量和第二亮度分量确定亮度融合分量，根据第一色度分量和第二色度分量确定色度融合分量，根据色度融合分量和亮度融合分量生成高动态范围图像。

由以上技术方案可见，本申请实施例中，由于第一可见光图像是在可见光范围内采集到的图像，第二可见光图像是在可见光范围内采集到的图像，非可见光图像是在非可见光范围内采集到的图像，因此，可以根据第一可见光图像的亮度分量和色度分量，第二可见光图像的色度分量及非可见光图像的亮度分量生成高动态范围图像，高动态范围图像的亮度分量包括可见光范围的亮度信息和非可见光范围的亮度信息，高动态范围图像的色度分量包括长曝光范围的色度信息和短曝光范围的色度信息，从而使得高动态范围图像包括更多的动态范围和图像细节。由于第一可见光图像的曝光起始时刻与非可见光图像的曝光起始时刻相同，第一可见光图像的曝光时长与非可见光图像的曝光时长相同，因此，第一可见光图像和非可见光图像中的运动物体不存在位移差，高动态范围图像不会出现“鬼影”，高动态范围图像的图像质量较高，画面对比度较好。

基于与上述方法同样的申请构思，本申请实施例中还提出一种高动态范围图像的生成装置，如图8所示，为所述装置的结构图，所述装置包括：获取模块81，用于获取第一可见光图像和非可见光图像；其中，所述第一可见光图像的曝光起始时刻与所述非可见光图像的曝光起始时刻相同，且所述第一可见光图像的曝光时长与所述非可见光图像的曝光时长相同；确定模块82，用于根据第一可见光图像的第一亮度分量和非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；生成模块83，用于根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像。

所述确定模块82具体用于：获取第一亮度分量的第一低频分量和第一高频分量；获取第二亮度分量的第二低频分量和第二高频分量；根据第一低频分量和第二低频分量确定低频融合分量；根据第一高频分量和第二高频分量确定高频融合分量；根据所述低频融合分量以及所述高频融合分量确定亮度融合分量。

第一低频分量包括多个像素位置的低频分量值，第二低频分量包括多个像素位置的低频分量值，所述第一低频分量中的像素位置与所述第二低频分量中的像素位置一一对应；所述确定模块82根据第一低频分量和第二低频分量确定低频融合分量时具体用于：针对所述第一低频分量中的每个原始像素位置，从所述第二低频分量的像素位置中确定与所述原始像素位置对应的目标像素位置；

根据所述原始像素位置的低频分量值和第一权重值，以及所述目标像素位置的低频分量值和第二权重值，确定所述原始像素位置的低频融合值；

根据每个原始像素位置的低频融合值确定所述低频融合分量。

所述确定模块82还用于：根据原始像素位置的低频分量值确定原始像素位置的第一权重值；当原始像素位置的低频分量值越大时，原始像素位置的第一权重值越小；根据原始像素位置的第一权重值确定目标像素位置的第二权重值；原始像素位置的第一权重值与目标像素位置的第二权重值的和为预设常数。

所述获取模块81还用于获取第二可见光图像，所述第一可见光图像的曝光时长大于所述第二可见光图像的曝光时长；

所述生成模块83具体用于：根据第一可见光图像的第一色度分量和第二可见光图像的第二色度分量，确定第一可见光图像与第二可见光图像的色度融合分量；根据所述色度融合分量和所述亮度融合分量，生成高动态范围图像。

第一色度分量包括多个像素位置的色度分量值，第二色度分量包括多个像素位置的色度分量值，第一色度分量中的像素位置与第二色度分量中的像素位置一一对应；所述生成模块83根据第一可见光图像的第一色度分量和第二可见光图像的第二色度分量，确定第一可见光图像与第二可见光图像的色度融合分量时具体用于：针对第一色度分量中的每个原始像素位置，从第二色度分量的像素位置中确定与所述原始像素位置对应的目标像素位置；根据所述原始像素位置的色度分量值以及所述目标像素位置的色度分量值，确定所述原始像素位置的色度融合值；根据每个原始像素位置的色度融合值确定所述色度融合分量。

所述生成模块83根据所述原始像素位置的色度分量值以及所述目标像素位置的色度分量值，确定所述原始像素位置的色度融合值时具体用于：

若所述原始像素位置的亮度分量值小于或等于预设亮度阈值，则根据所述原始像素位置的色度分量值确定所述原始像素位置的色度融合值；

若所述原始像素位置的亮度分量值大于预设亮度阈值，则根据所述目标像素位置的色度分量值确定所述原始像素位置的色度融合值。

基于与上述方法同样的申请构思，本申请实施例还提出一种摄像机，包括：

透镜组(如图2A中的光学系统)，用于透射监控区域的光线；分光装置(如图2A中的分光结构)，用于将透射入的光线进行分光处理，生成一路可见光和一路非可见光；第一传感器(如图2A中的感光传感器1)，用于感知可见光并生成可见光图像；第二传感器(如图2A中的感光传感器2)，用于感知非可见光并生成非可见光图像；处理器，处理器与第一传感器和第二传感器连接，用于接收来自第一传感器的可见光图像和第二传感器的非可见光图像；

在第一曝光时长内：第一传感器用于生成第一可见光图像和第二可见光图像，所述第一可见光图像的曝光时长大于所述第二可见光图像的曝光时长；

第二传感器用于生成非可见光图像，所述非可见光图像的曝光时长等于所述第一可见光图像的曝光时长；以及

响应于接收到的所述第一可见光图像、所述第二可见光图像和所述非可见光图像，所述处理器用于：获取所述第一可见光图像的第一亮度分量、第一色度分量；获取所述第二可见光图像的第二色度分量；获取所述非可见光图像的第二亮度分量；根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；根据所述第一可见光图像的第一色度分量和所述第二可见光图像的第二色度分量，确定所述第一可见光图像与所述第二可见光图像的色度融合分量；根据所述所述亮度融合分量和所述色度融合分量，生成高动态范围图像。

在一种可能的实施方式中，所述色度融合分量包括部分所述第一可见光图像的第一色度分量和部分所述第二可见光图像的第二色度分量。

在一种可能的实施方式中，所述处理器进一步用于：根据所述第一可见光图像的第一亮度分量，将所述第一可见光图像划分为高亮区域和低亮区域；

响应于所述高亮区域和低亮区域，所述色度融合分量被设置为包括：

对应于所述第一可见光图像的高亮区域，所述色度融合分量等于所述第二可见光图像的第二色度分量；对应于所述第一可见光图像的低亮区域，所述色度融合分量等于所述第一可见光图像的第一色度分量。

在一种可能的实施方式中，所述第一可见光图像和所述非可见光图像的曝光起始时刻和曝光结束时刻相同，所述第一可见光的曝光时长小于所述第一曝光时长，所述非可见光的曝光时长小于所述第一曝光时长。所述第一可见光图像和所述第二可见光图像的曝光时长之和小于所述第一曝光时长。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，其中，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。

示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种高动态范围图像的生成方法，其特征在于，所述方法包括：

获取第一可见光图像和非可见光图像；其中，所述第一可见光图像的曝光起始时刻与所述非可见光图像的曝光起始时刻相同，且所述第一可见光图像的曝光时长与所述非可见光图像的曝光时长相同；

根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；

根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像。

2.根据权利要求1所述的方法，其特征在于，

根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量，包括：

获取第一亮度分量的第一低频分量和第一高频分量；

获取第二亮度分量的第二低频分量和第二高频分量；

根据所述第一低频分量和所述第二低频分量确定低频融合分量；

根据所述第一高频分量和所述第二高频分量确定高频融合分量；

根据所述低频融合分量以及所述高频融合分量确定亮度融合分量。

3.根据权利要求2所述的方法，其特征在于，第一低频分量包括多个像素位置的低频分量值，第二低频分量包括多个像素位置的低频分量值，所述第一低频分量中的像素位置与所述第二低频分量中的像素位置一一对应；

根据所述第一低频分量和所述第二低频分量确定低频融合分量，包括：

针对所述第一低频分量中的每个原始像素位置，从所述第二低频分量的像素位置中确定与所述原始像素位置对应的目标像素位置；

根据所述原始像素位置的低频分量值和第一权重值，以及所述目标像素位置的低频分量值和第二权重值，确定所述原始像素位置的低频融合值；

根据每个原始像素位置的低频融合值确定所述低频融合分量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述原始像素位置的低频分量值和第一权重值，以及所述目标像素位置的低频分量值和第二权重值，确定所述原始像素位置的低频融合值之前，所述方法还包括：

根据原始像素位置的低频分量值确定所述原始像素位置的第一权重值；其中，当原始像素位置的低频分量值越大时，原始像素位置的第一权重值越小；

根据原始像素位置的第一权重值确定目标像素位置的第二权重值；其中，原始像素位置的第一权重值与目标像素位置的第二权重值的和为预设常数。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像之前，所述方法还包括：获取第二可见光图像，所述第一可见光图像的曝光时长大于所述第二可见光图像的曝光时长；

所述根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像，包括：

根据所述第一可见光图像的第一色度分量和所述第二可见光图像的第二色度分量，确定所述第一可见光图像与所述第二可见光图像的色度融合分量；

根据所述色度融合分量和所述亮度融合分量，生成高动态范围图像。

6.根据权利要求5所述的方法，其特征在于，第一色度分量包括多个像素位置的色度分量值，第二色度分量包括多个像素位置的色度分量值，所述第一色度分量中的像素位置与所述第二色度分量中的像素位置一一对应；根据所述第一可见光图像的第一色度分量和所述第二可见光图像的第二色度分量，确定所述第一可见光图像与所述第二可见光图像的色度融合分量，包括：

针对所述第一色度分量中的每个原始像素位置，从所述第二色度分量的像素位置中确定与所述原始像素位置对应的目标像素位置；

根据所述原始像素位置的色度分量值以及所述目标像素位置的色度分量值，确定所述原始像素位置的色度融合值；

根据每个原始像素位置的色度融合值确定所述色度融合分量。

7.根据权利要求6所述的方法，其特征在于，

所述根据所述原始像素位置的色度分量值以及所述目标像素位置的色度分量值，确定所述原始像素位置的色度融合值，包括：

若所述原始像素位置的亮度分量值小于或等于预设亮度阈值，则根据所述原始像素位置的色度分量值确定所述原始像素位置的色度融合值；

若所述原始像素位置的亮度分量值大于预设亮度阈值，则根据所述目标像素位置的色度分量值确定所述原始像素位置的色度融合值。

8.根据权利要求1-7任一项所述的方法，其特征在于，

所述非可见光图像包括R通道分量，G通道分量，B通道分量，所述非可见光图像的第二亮度分量具体为：所述非可见光图像的B通道分量；

所述非可见光图像是针对位于特定波段的非可见光进行成像得到；

其中，所述特定波段包括近红外波段。

9.一种高动态范围图像的生成装置，其特征在于，所述装置包括：

获取模块，用于获取第一可见光图像和非可见光图像；其中，所述第一可见光图像的曝光起始时刻与所述非可见光图像的曝光起始时刻相同，且所述第一可见光图像的曝光时长与所述非可见光图像的曝光时长相同；

确定模块，用于根据第一可见光图像的第一亮度分量和非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；

生成模块，用于根据所述第一可见光图像的第一色度分量和所述亮度融合分量，生成高动态范围图像。

10.一种摄像机，其特征在于，包括：

透镜组，用于透射监控区域的光线；

分光装置，用于将透射入的光线进行分光处理，生成一路可见光和一路非可见光；

第一传感器，用于感知可见光并生成可见光图像；

第二传感器，用于感知非可见光并生成非可见光图像；

处理器，所述处理器与所述第一传感器和所述第二传感器连接，用于接收来自所述第一传感器的可见光图像和所述第二传感器的非可见光图像；

在第一曝光时长内：

所述第一传感器用于生成第一可见光图像和第二可见光图像，所述第一可见光图像的曝光时长大于所述第二可见光图像的曝光时长；

所述第二传感器用于生成非可见光图像，所述非可见光图像的曝光时长等于所述第一可见光图像的曝光时长；以及

响应于接收到的所述第一可见光图像、所述第二可见光图像和所述非可见光图像，所述处理器用于：

获取所述第一可见光图像的第一亮度分量、第一色度分量；

获取所述第二可见光图像的第二色度分量；

获取所述非可见光图像的第二亮度分量；

根据所述第一可见光图像的第一亮度分量和所述非可见光图像的第二亮度分量，确定所述第一可见光图像与所述非可见光图像的亮度融合分量；

根据所述第一可见光图像的第一色度分量和所述第二可见光图像的第二色度分量，确定所述第一可见光图像与所述第二可见光图像的色度融合分量；

根据所述所述亮度融合分量和所述色度融合分量，生成高动态范围图像。

11.根据权利要求10所述的摄像机，其特征在于，所述色度融合分量包括部分所述第一可见光图像的第一色度分量和部分所述第二可见光图像的第二色度分量。

12.根据权利要求10所述的摄像机，其特征在于，所述处理器进一步用于：

根据所述第一可见光图像的第一亮度分量，将所述第一可见光图像划分为高亮区域和低亮区域；

响应于所述高亮区域和低亮区域，所述色度融合分量被设置为包括：

对应于所述第一可见光图像的高亮区域，所述色度融合分量等于所述第二可见光图像的第二色度分量；

对应于所述第一可见光图像的低亮区域，所述色度融合分量等于所述第一可见光图像的第一色度分量。

13.根据权利要求10所述的摄像机，其特征在于，所述第一可见光图像和所述非可见光图像的曝光起始时刻和曝光结束时刻相同，所述第一可见光的曝光时长小于所述第一曝光时长，所述非可见光的曝光时长小于所述第一曝光时长。

14.根据权利要求13所述的摄像机，其特征在于，所述第一可见光图像和所述第二可见光图像的曝光时长之和小于所述第一曝光时长。

Images