CN114374776B - 摄像机以及摄像机的控制方法 - Google Patents

Abstract

本申请提供了一种摄像机及摄像机的控制方法，涉及图像领域。该摄像机包括镜头、图像传感器、补光控制单元和处理单元；图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧，彩色图像帧的帧率与红外图像帧的帧率之比小于1；补光控制单元控制红外补光灯对被摄物体进行红外补光；处理单元对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧。本申请实施例的方案能够在低照度的场景下提高成像质量。

Description

摄像机以及摄像机的控制方法

技术领域

本申请实施例涉及图像领域，尤其涉及一种摄像机以及摄像机的控制方法。

背景技术

随着成像技术的发展，当前拍摄设备在照度较高的情况下，例如白天的理想情况下，能够获得较好的成像效果。然而，在低照度的场景下，例如阴雨天气或夜间场景，拍摄的视频存在分辨率低、对比度差、图像细节丢失等问题。为了提高成像效果，一般通过补光灯进行额外补光。补光灯从光谱上分类主要包括两种：可见光补光灯和红外补光灯。可见光补光一般采用白光发光二极管(light emitting diode，LED)，用可见光补光得到的视频画面颜色准确、质量较高，但白光属于人眼可以感知的范围，会对被摄的人眼造成视觉刺激，也就是引起光污染，干扰人的正常生活。人眼对红外光不敏感，因此，采用红外光补光没有光污染的问题，但红外光无法反映颜色信息，得到的红外补光图像帧的信噪比较高，但无法还原物体的真实色彩。

由于彩色图像帧和红外补光图像帧存在一定的互补性，即彩色图像帧能够反映真实的颜色信息但信噪比较低，红外补光图像帧信噪比较高但没有颜色信息，可以将红外补光图像帧和彩色图像帧进行图像融合得到信噪比较高且颜色准确的彩色图像帧，能够在不产生光污染的情况下获得高质量的成像效果。目前可以采用两个传感器(sensor)分别对可见光和红外光进行成像得到彩色图像帧和红外图像帧，再进行图像融合，输出融合后的图像帧。然而，采用两个传感器的物料成本较高，且两个传感器的配准的工艺复杂度较高。

因此，如何在低照度的场景下提高成像质量成为一个亟待解决的问题。

发明内容

本申请提供一种摄像机以及摄像机的控制方法，能够提高在低照度的场景下的成像质量，同时保证画面的颜色准确自然。

第一方面，提供一种摄像机，该摄像机包括：镜头、图像传感器、补光控制单元和处理单元，镜头用于接收来自被摄物体的光信号；图像传感器用于对光信号进行光电转换生成彩色图像帧和红外图像帧，彩色图像帧为曝光时段没有红外补光的图像帧，红外图像帧为曝光时段有红外补光的图像帧，彩色图像帧的帧率与红外图像帧的帧率之比小于1；补光控制单元用于控制红外补光灯对被摄物体进行红外补光；处理单元用于对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧。

本申请实施例中，通过设置彩色图像帧的帧率与红外图像帧的帧率之比小于1，在输出视频的帧率一定的情况下，可以降低图像传感器的实际帧率，且帧率之比越小，所需的图像传感器的实际帧率越低，也就是说帧长越大，这样彩色图像帧的最大曝光时间越长，能够提高彩色图像帧的成像质量。或者说，在图像传感器的实际帧率一定的情况下，可以提高输出视频的帧率，且帧率之比越小，输出视频的帧率越高。

此外，由于彩色图像帧的帧率与红外图像帧的帧率之比帧率之比小于1，进行插帧时的运动估计的运算量降低，提高了处理效率。

图像传感器周期性地生成彩色图像帧和红外图像帧，在一个周期内以m:n的比例生成彩色图像帧和红外图像帧。

示例性地，可以根据帧号预先设定彩色图像帧和红外图像帧的生成顺序。例如，设定帧号为奇数的帧为红外图像帧，帧号为偶数的帧为彩色图像帧。再如，帧号为3的倍数的帧为彩色图像帧，其余帧为红外图像帧。

需要说明的是，在本申请实施例中，彩色图像帧不一定是仅对可见光成像得到的帧，用于生成彩色图像帧的光信号中可以包括红外光。红外图像帧也不一定是仅对红外光成像得到的帧，用于生成红外图像帧的光信号中可以包括可见光。

例如，图像传感器可以为卷帘快门CMOS传感器。

结合第一方面，在第一方面的某些实现方式中，彩色图像帧和红外图像帧为周期性交替曝光生成的，一个周期包括m个彩色图像帧和n个红外图像帧，m和n为整数，m:n的值等于彩色图像帧的帧率与红外图像帧的帧率之比的值。

结合第一方面，在第一方面的某些实现方式中，红外补光时段位于红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，第一像素点为红外图像帧中最后开始曝光的像素点，第二像素点为红外图像帧中最先开始曝光的像素点。

根据本申请实施例的方案，红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，在彩色图像帧开始时，红外补光已经结束，或者说，在进行红外补光时，彩色图像帧的所有像素点都没有在曝光，保证了彩色图像帧的颜色信息的准确性。而且，红外补光时长对彩色图像帧的曝光时长没有影响，因此，可以增加彩色图像帧的曝光时长，彩色图像帧的曝光时长最大可以等于帧长，提高了彩色图像帧的成像质量。

而且，在对红外图像帧曝光时，在进行红外补光时，红外图像帧的每个像素点均处于曝光时长内，每个像素点能够在同一时段接收补光后的红外光，接受红外补光的时长相同，光能量相同，相当于采用全局快门进行曝光，能够提高红外图像帧的成像质量，避免在红外图像帧的不同位置出现亮度不同或成像失真等情况。

此外，由于红外补光时长小于红外图像帧的曝光时长，在夜晚等低照度的场景下，对于画面中的背景区域，通过增加红外图像帧的曝光时长，也可以提高背景区域的成像质量，相当于使背景区域达到长曝光的效果。进行红外补光后，图像传感器能够捕捉更多的细节信息，而不进行补光时，细节信息较难捕获。尤其是对于前景中的运动物体而言，经过红外补光后，图像传感器能够捕捉更多的运动细节信息，不进行补光时，较难捕获到前景中的运动物体的运动细节信息，通过减少红外补光时长，能够在捕获更多前景的运动细节信息的同时，避免出现运动模糊，相当于使前景运动物体达到短曝光的效果。

此外，采用人眼不敏感的红外光进行补光，不会造成光污染，而且提高在夜晚等低照度场景下摄像机输出的图像/视频的画面质量，使输出的图像/视频具有自然的色彩以及丰富的纹理信息。

此外，本申请实施例中的摄像机仅采用一个传感器，结构简单，能够节约成本。

红外补光时长小于红外图像帧的曝光时长。红外图像帧为曝光时段与红外补光时段重叠的图像帧。或者说，红外图像帧为曝光时段内包括红外补光时段的图像帧。

本申请实施例中的图像帧的曝光时段指的是整个图像帧从开始曝光的时刻到结束曝光的时刻之间的时段。图像帧的曝光时长指的是图像帧中的每个像素点的曝光时长，或者说每行的曝光时长。

示例性地，红外补光灯可以包括红外光源和该红外光源的控制器。该红外光源的控制器可以接收补光控制单元的控制信号，控制红外光源的开启和关闭。具体地，可以通过电平或电流等方式触发红外光源的开启和关闭。

示例性地，红外光源发出的光信号的波段范围为760nm～1000nm。

结合第一方面，在第一方面的某些实现方式中，红外光源关闭时光能量的下降沿(例如，光能量由90％下降至10％)的时间在0-10ms之间。

例如，红外光源关闭时光能量的下降沿(例如，光能量由90％下降至10％)的时间小于2ms。

由于彩色图像帧的曝光时间与红外补光时间不能重叠，因此，红外光源关闭时的光能量的下降沿的时间越短，对之后的彩色图像帧的影响越小，能够进一步提升彩色图像帧的成像质量。

结合第一方面，在第一方面的某些实现方式中，红外光源开启时光能量的上升沿(例如，光能量由10％上升至90％)的时间在0-10ms之间。

例如，红外光源开启时光能量的上升沿(例如，光能量由10％上升至90％)的时间小于2ms。

红外光源开启时的光能量的上升沿的时间越短，对红外图像帧而言，补光时间越长，能够捕捉到更准确的细节信息，提升红外图像帧的成像质量。

结合第一方面，在第一方面的某些实现方式中，0.3≤m:n≤0.75。

结合第一方面，在第一方面的某些实现方式中，处理单元具体用于：根据第一彩色图像帧和第二彩色图像帧在第一时刻预测得到目标彩色图像帧，第一时刻为生成第一红外图像帧的时刻，第一红外图像帧位于第一彩色图像帧和第二彩色图像帧之间；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

结合第一方面，在第一方面的某些实现方式中，处理单元具体用于：根据第一彩色图像帧和第二彩色图像帧预测第一时刻的目标彩色图像帧，第一时刻为第一红外图像帧的生成时刻，第一彩色图像帧是位于第一时刻之前的彩色图像帧中与第一时刻之间的时间间隔最小的彩色图像帧，第二彩色图像帧是位于第一时刻之后的彩色图像帧中与第一时刻之间的时间间隔最小的彩色图像帧；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

本申请实施例中通过对彩色图像帧进行插帧得到与红外图像帧相同时刻的彩色图像帧，进而与红外图像帧进行融合得到融合后的融合图像帧，对彩色图像帧进行插帧不会影响用于图像融合的红外图像帧的画面质量，因此能够保证融合后的融合图像帧的成像质量。

结合第一方面，在第一方面的某些实现方式中，摄像机还包括双通滤光片，双通滤光片位于图像传感器之前，用于对镜头接收的光信号进行滤光处理，将滤光后得到的可见光波段的光信号和红外波段的光信号传输至图像传感器。

示例性地，在被摄场景的照度小于第一阈值的情况下，开启双通滤光片。或者说，将双通滤光片移动至图像传感器之前。

在夜晚等低照度的情况下，环境中存在较多的近红外光，对彩色图像帧的成像结果的偏色影响较大，通过设置双通滤光片可以允许可见光和第一波段的红外光通过，过滤近红外光，减少对成像结果的影响。

结合第一方面，在第一方面的某些实现方式中，双通滤光片允许通过的红外波段与红外补光灯的发光光谱之间的差值小于第二阈值。

例如，红外光源可以采用发光光谱在940nm附近的LED红外灯，双通滤光片允许通过的红外波段的光信号的波长可以为940±10nm。

这样在红外图像帧曝光时可以增加进入图像传感器中的红外光信号的强度，提高红外图像帧的成像质量。

结合第一方面，在第一方面的某些实现方式中，摄像机还包括红外补光灯，红外补光灯用于对被摄物体进行红外补光。

结合第一方面，在第一方面的某些实现方式中，红外补光的时长小于或等于10ms。

10ms可以保证被红外补光灯照射的行人在生成的红外图像帧上不会出现拖影。对于其他移动速度更快的物体，例如奔跑的行人或者自行车等，可以进一步缩短补光时间，以避免在生成的红外图像帧上出现拖影。

结合第一方面，在第一方面的某些实现方式中，红外图像帧的曝光时长等于帧长。

结合第一方面，在第一方面的某些实现方式中，彩色图像帧的曝光时长等于帧长。

结合第一方面，在第一方面的某些实现方式中，摄像机还包括红外截止滤光片，红外截止滤光片位于图像传感器之前，在被摄场景的照度小于第一阈值的情况下，图像传感器用于对光信号进行光电转换生成彩色图像帧和红外图像帧；在被摄场景的照度大于或等于第一阈值的情况下，红外截止滤光片用于过滤红外波段的光信号，图像传感器还用于对过滤后得到的光信号进行光电转换，生成彩色图像帧。

示例性地，在被摄场景的照度大于或等于第一阈值的情况下，开启红外截止滤光片。或者说将红外截止滤光片移动至图像传感器之前。

通过设置红外截止滤光片，可以过滤红外波段的光信号，避免成像结果发生偏色。

第二方面，提供一种摄像机的控制方法，该方法包括：控制镜头接收来自被摄物体的光信号；控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧，所彩色图像帧为曝光时段没有红外补光的图像帧，红外图像帧为曝光时段有红外补光的图像帧，彩色图像帧的帧率与红外图像帧的帧率之比小于1；控制红外补光灯对被摄物体进行红外补光；控制处理单元对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧。

本申请实施例中，通过设置彩色图像帧的帧率与红外图像帧的帧率之比m:n小于1，在输出视频的帧率一定的情况下，可以降低图像传感器的实际帧率，且m:n越小，所需的图像传感器的实际帧率越低，也就是说帧长越大，这样彩色图像帧的最大曝光时间越长，能够提高彩色图像帧的成像质量。或者说，在图像传感器的实际帧率一定的情况下，可以提高输出视频的帧率，且m:n越小，输出视频的帧率越高。

结合第二方面，在第二方面的某些实现方式中，彩色图像帧和红外图像帧为周期性交替曝光生成的，一个周期包括m个彩色图像帧和n个红外图像帧，m和n为整数，m:n的值等于彩色图像帧的帧率与红外图像帧的帧率之比的值。

结合第二方面，在第二方面的某些实现方式中，红外补光时段位于红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，第一像素点为红外图像帧中最后开始曝光的像素点，第二像素点为红外图像帧中最先开始曝光的像素点。

根据本申请实施例的方案，红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，在彩色图像帧开始时，红外补光已经结束，或者说，在进行红外补光时，彩色图像帧的所有像素点都没有在曝光，保证了彩色图像帧的颜色信息的准确性。而且，红外补光时长对彩色图像帧的曝光时长没有影响，因此，可以增加彩色图像帧的曝光时长，彩色图像帧的曝光时长最大可以等于帧长，提高了彩色图像帧的成像质量。

结合第二方面，在第二方面的某些实现方式中，0.3≤m:n≤0.75。

结合第二方面，在第二方面的某些实现方式中，控制处理单元对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧，包括：根据第一彩色图像帧和第二彩色图像帧预测得到目标彩色图像帧，第一时刻为生成第一红外图像帧的时刻，第一红外图像帧位于第一彩色图像帧和第二彩色图像帧之间；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

结合第二方面，在第二方面的某些实现方式中，摄像机还包括双通滤光片，双通滤光片位于图像传感器之前，方法还包括：在被摄场景的照度小于第一阈值的情况下，控制双通滤光片对镜头接收的光信号进行滤光处理，将滤光后得到的可见光波段的光信号和红外波段的光信号传输至图像传感器。

结合第二方面，在第二方面的某些实现方式中，红外补光的时长小于或等于10ms。

结合第二方面，在第二方面的某些实现方式中，红外图像帧的曝光时长等于帧长。

结合第二方面，在第二方面的某些实现方式中，彩色图像帧的曝光时长等于帧长。

结合第二方面，在第二方面的某些实现方式中，摄像机还包括红外截止滤光片，红外截止滤光片位于图像传感器之前，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧，包括：在被摄场景的照度小于第一阈值的情况下，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧；以及，方法还包括：在被摄场景的照度大于或等于第一阈值的情况下，控制红外截止滤光片过滤红外波段的光信号，控制图像传感器对过滤后得到的光信号进行光电转换，生成彩色图像帧。

第三方面，提供一种摄像机的补光方法，该摄像机包括：镜头，用于接收来自被摄物体的光信号，图像传感器，用于对光信号进行光电转换生成彩色图像帧和红外图像帧，彩色图像帧为曝光时段与红外补光时段不重叠的图像帧，补光控制单元，该方法包括：补光控制单元控制红外补光灯对被摄物体进行红外补光，红外补光时段位于红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，第一像素点为红外图像帧中最后开始曝光的像素点，第二像素点为红外图像帧中最先开始曝光的像素点。

根据本申请实施例的方案，红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，在彩色图像帧开始时，红外补光已经结束，或者说，在进行红外补光时，彩色图像帧的所有像素点都没有在曝光，保证了彩色图像帧的颜色信息的准确性。而且，红外补光时长对彩色图像帧的曝光时长没有影响，因此，可以增加彩色图像帧的曝光时长，彩色图像帧的曝光时长最大可以等于帧长，提高了彩色图像帧的成像质量。

结合第三方面，在第三方面的某些实现方式中，红外补光的时长小于或等于10ms。

第四方面，提供一种视频采集方法，该摄像机包括：镜头，用于接收来自被摄物体的光信号，图像传感器，用于对光信号进行光电转换生成彩色图像帧和红外图像帧，彩色图像帧为曝光时段与红外补光时段不重叠的图像帧，补光控制单元，用于控制红外补光灯对被摄物体进行红外补光，该方法包括：图像传感器根据彩色图像帧的帧率与红外图像帧的帧率的比值m:n输出彩色图像帧和红外图像帧，其中，m:n小于1；处理单元根据第一彩色图像帧和第二彩色图像帧预测第一时刻的目标彩色图像帧，第一时刻为生成第一红外图像帧的时刻，第一红外图像帧位于第一彩色图像帧和第二彩色图像帧之间；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

本申请实施例中，通过设置彩色图像帧的帧率与红外图像帧的帧率之比m:n小于1，在输出视频的帧率一定的情况下，可以降低图像传感器的实际帧率，且m:n越小，所需的图像传感器的实际帧率越低，也就是说帧长越大，这样彩色图像帧的最大曝光时间越长，能够提高彩色图像帧的成像质量。或者说，在图像传感器的实际帧率一定的情况下，可以提高输出视频的帧率，且m:n越小，输出视频的帧率越高。

此外，由于彩色图像帧的帧率与红外图像帧的帧率之比m:n小于1，进行插帧时的运动估计的运算量降低，提高了处理效率。例如，如图5所示，m:n为1:2，由两帧彩色图像帧插帧得到两帧彩色图像帧，如图2所示，m:n为1:1，由两帧彩色图像帧插帧得到一帧彩色图像帧，在输出视频的帧率相同的情况下，图5所示的方案的运算量明显小于图2所示的方案的运算量。

结合第四方面，在第四方面的某些实现方式中，0.3≤m:n≤0.75。

第五方面，提供一种摄像机的控制装置，该装置包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第二方面中的任意一种实现方式中的方法。

第六方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第二方面、第三方面或第四方面中的任意一种实现方式中的方法。

第七方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机对摄像机进行配置，以使摄像机执行上述第二方面、第三方面或第四方面中的任意一种实现方式中的方法。

第八方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第二方面、第三方面或第四方面中的任意一种实现方式中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述第二方面、第三方面或第四方面中的任意一种实现方式中的方法。

上述芯片具体可以是现场可编程门阵列(field-programmable gate array，FPGA)或者专用集成电路(application-specific integrated circuit，ASIC)。

附图说明

下面对本申请实施例用到的附图进行介绍。

图1为一种摄像机的示意性结构图；

图2为一种视频采集方法的示意性框图；

图3为本申请实施例提供的一种摄像机的示意性结构图；

图4为本申请实施例提供的红外图像帧中红外补光时段的示意图；

图5为本申请实施例提供的一种插帧方式的示意图；

图6为本申请实施例提供的一种彩色图像帧和红外图像帧的生成顺序的示意图；

图7为本申请实施例提供的另一种彩色图像帧和红外图像帧的生成顺序的示意图；

图8为本申请实施例提供的一种视频采集方法的示意图；

图9为本申请实施例提供的输出图像的效果对比图；

图10为本申请实施例提供的一种摄像机的控制方法的示意性流程图；

图11为本申请实施例提供的一种摄像机的控制装置的示意性结构图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请实施例提供的方案能够应用在仓库管理、智慧城市等监控领域。

视频监控是当前城市综合治安和交通监管的重要手段。随着成像技术的发展，当前监控设备在白天理想情况下，可获得较好的成像效果。但在一些不理想的情况下，例如阴雨天气或夜间等照度不佳的场景下，采集到的监控画面存在分辨率低、对比度差以及图像细节丢失等问题。

本申请实施例提供的方案能够显著提高采集到的图像/视频的成像质量，更好地满足监控人员对监控画面的清晰度要求，便于监控人员查看，获取有价值的信息。

为了便于描述本申请实施例的方案，下面对本申请实施例中出现的名词进行解释和说明。

(1)卷帘快门(rolling shutter)

图像传感器的曝光方式为逐行曝光，即一帧画面中各行不是同时曝光得到的。

在一帧的曝光开始时，图像传感器逐行扫描进行曝光，帧中的每一行的曝光时长是相同的，但每一行在不同的时刻开始曝光。每行在完成前一帧的读取后可以开始下一帧的曝光，也就是说，允许两帧的曝光时段存在重叠。

曝光指的是使图像传感器感光，具体来说，曝光是为了将光信号投射至图像传感器上。曝光时长也可以称为感光时长。

(2)双通滤光片

双通滤光片为仅允许两个波段的光透过而阻止其他波段的光的滤光片。

(3)红外截止滤光片

红外截止滤光片指的是能够过滤红外波段的滤光片。

(4)IR-CUT

IR-CUT为可切换滤光片，包括至少两片滤光片，其中一片仅允许可见光透过，其他几片可以根据需要设计透过光谱。IR-CUT可以根据不同工作状态将对应的滤光片移动到图像传感器之前。

(5)YUV

YUV是一种颜色空间，Y表示明亮度(Luminance或Luma)，也就是灰阶值；“U”和“V”表示色度(Chrominance或Chroma)，用于描述图像色彩及饱和度，用于指定像素的颜色。“U”和“V”是构成彩色的两个分量。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V信号分量，那么这样表示的图像就是黑白灰度图像。亮度信号也可以称为亮度通道，色度信号也可以称为色度通道。

(6)图像融合(image fusion)

图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。

具体来说，图像融合可以经由工作于不同波长范围或具有不同成像机理的图像传感器获取的关于同一场景的多个图像信息融合在一起，生成新的图像。

在低照度的场景下，例如阴雨天气或夜间场景，拍摄图像/视频存在分辨率低、对比度差、图像细节丢失等问题。当前的设备通常采用红外补光的方式来提升低照度场景下的成像质量。将红外补光图像帧和彩色图像帧进行图像融合得到信噪比较高且颜色准确的彩色图像帧，能够在不产生光污染的情况下获得高质量的成像效果。

图1示出了一种摄像机的示意图。如图1所示，分光棱镜包括棱镜1020和滤光片1030。利用分光棱镜可以将镜头1010接收的入射光分为可见光和红外光，通过彩色传感器1040对可见光成像得到彩色图像，通过近红外传感器1050对红外光成像得到红外图像。对彩色图像和红外图像进行图像融合，可以输出融合后的彩色图像。

图1所示的摄像机需要采用分光棱镜以及两个传感器，物料成本较高。而且，两个传感器在装配时需要进行配准，工艺复杂度较高，此外，在镜头后加入了分光棱镜，无法兼容目前的标准后焦镜头，光路部分体积较大，不利于实现设备小型化。

图2示出了一种视频采集方法的示意图。该方法基于分时复用的策略，利用一个传感器交替获取彩色图像帧和红外图像帧，通过插帧算法获得与红外图像帧同一时刻的彩色图像帧，进而执行图像融合，得到融合后的融合图像帧。插帧指的是通过前后个图像帧的信息，获得中间的图像帧。

具体地，传感器输出的图像帧按照顺序编号(即帧号)可以分为奇数帧和偶数帧。预先设定奇数帧为红外图像帧，偶数帧为彩色图像帧，如图2所示，红外图像帧和彩色图像帧交替出现。当奇数帧开始曝光时，开启红外补光灯，到达传感器的光线主要为场景中的可见光和红外光，该帧的成像能够获得较高的图像亮度和信噪比，但由于红外光和可见光均参与了成像，而且在低照度的情况下，参与成像的光线主要为场景中的红外光，该帧的颜色还原不准确。奇数帧曝光结束时，关闭红外补光灯。偶数帧曝光期间，红外补光灯处于关闭状态。此时参与成像的光线主要为场景中的可见光，偶数帧能够准确获取场景的颜色信息。

而且，图2中的图像传感器融合后的融合图像帧的输出帧率为红外图像帧的帧率，也就是说图像传感器的实际帧率的为输出帧率两倍，每帧图像帧的帧长较短，影响图像帧的最大曝光时长。

由于全局快门传感器成本过高，通常使用卷帘快门传感器。使用卷帘快门传感器时，每一帧是通过逐行曝光的方式得到的。例如，如图2所示，每一帧在曝光时，均是最下方的一行像素点最先开始曝光，最上方的一行像素点最后开始曝光。红外图像帧在每一行的曝光时段内均需要红外补光，因此，如图2所示，红外补光时长较长，而彩色图像帧在曝光时段内需要避免红外补光灯的干扰，需要压缩彩色图像帧的曝光时间，导致图2中的彩色图像帧的曝光时长远小于帧长，进一步减小彩色图像帧的曝光时长，造成彩色图像帧的信噪比极低，影响融合图像的质量。

本申请实施例提供的方案能够在低照度的场景下提高成像质量。

下面结合图3至图9对本申请实施例的方案进行详细说明。

图3示出了本申请实施例提供的一种摄像机300。

示例性地，本申请实施例中的摄像机可以为筒机、枪机、球机或云台等各种形态的监控摄像机。

如图3所示，摄像机300包括：镜头310、图像传感器320、补光控制单元330和处理单元340。

镜头310可以接收来自被摄物体的光线。也就是说镜头310用于对被摄物体成像。

示例性地，镜头310为可见光和红外光共焦的镜头。即镜头310可以将可见光和红外光在同一像面处成像。

由于实际拍摄过程中难以实现频繁调焦或者说频繁调焦对设备要求较高，通过使用共焦的镜头可以避免可见光或红外光成像模糊，提高成像质量，同时减小摄像机的体积，降低成像的复杂度。

例如，镜头310的焦距可以为10mm至40mm，光圈为F1.4。

图像传感器320对接收到的光信号进行光电转换生成图像帧。具体地，生成的图像帧包括彩色图像帧和红外图像帧。

示例性地，可以根据帧号预先设定彩色图像帧和红外图像帧的生成顺序。例如，设定帧号为奇数的帧为红外图像帧，帧号为偶数的帧为彩色图像帧。再如，帧号为3的倍数的帧为彩色图像帧，其余帧为红外图像帧。也就是说，在本申请实施例中，彩色图像帧不一定是仅对可见光成像得到的帧，用于生成彩色图像帧的光信号中可以包括红外光。红外图像帧也不一定是仅对红外光成像得到的帧，用于生成红外图像帧的光信号中可以包括可见光。

示例性地，图像传感器320可以为电荷耦合器件(charge coupled device，CCD)或者互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)等。

例如，图像传感器可以为卷帘快门CMOS传感器。

补光控制单元330用于控制红外补光灯350对被摄物体进行红外补光。具体地，补光控制单元330用于触发红外补光灯350的开启信号和关闭信号。

红外补光灯350用于接收补光控制单元330的控制信号，对被摄物体进行红外补光。应理解，红外补光灯350也可以独立于摄像机，即不属于摄像机300。

红外补光时段位于红外图像帧的曝光时段内。

彩色图像帧的曝光时段与红外补光时段不重叠，彩色图像帧的曝光时段内没有进行红外补光。也就是说，彩色图像帧为曝光时段与红外补光时段不重叠的图像帧。红外图像帧为曝光时段与红外补光时段重叠的图像帧，红外图像帧的曝光时段内进行红外补光，或者说，红外图像帧为曝光时段内包括红外补光时段的图像帧。由于彩色图像帧中参与成像的光线主要为可见光，彩色图像帧为彩色图。红外图像帧中参与成像的光线主要为红外光，红外图像帧主要为黑白图。

可选地，红外补光时段位于红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，第一像素点为红外图像帧中最后开始曝光的像素点，第二像素点为红外图像帧中最先开始曝光的像素点。

这样，红外补光时长小于红外图像帧的曝光时长。

图4示出了本申请实施例中一种红外图像帧的曝光时段和红外补光时段之间的位置关系的示意图。

需要说明的是，本申请实施例中的图像帧的曝光时段指的是整个图像帧从开始曝光的时刻到结束曝光的时刻之间的时段，即图4中时刻A与时刻C之间的时段。图像帧的曝光时长指的是图像帧中的每个像素点的曝光时长，或者说每行的曝光时长，例如，图4中的时刻A与时刻D之间的时长或者时刻B与时刻C之间的时长。

如图4所示，图像帧中的最下方一行像素点为该图像帧中最先开始曝光的像素点，也就是说图4中的最下方一行像素点即为前述第一像素点。图像帧中的最上方一行像素点为该图像帧中最后开始曝光的像素点，也就是说图4中最上方一行像素点即为前述第二像素点。

该图像帧中最下方一行像素点开始曝光的时刻为时刻A，时刻A即为图像帧开始曝光的时刻，该图像帧中最下方一行像素点结束曝光的时刻为时刻D。该图像帧中最上方一行像素点开始曝光的时刻为时刻B，该图像帧中最上方一行像素点结束曝光的时刻为时刻C，时刻C即为图像帧结束曝光的时刻。红外补光时段位于时刻B和时刻D之间。也就是说红外图像帧的曝光时长需要满足时刻D位于时刻B之后，红外图像帧的曝光时长最大可以为帧长。彩色图像帧的曝光时长最大可以为帧长。其中，时刻A与时刻B之间的时长与图像传感器的性能相关。

应理解，图4中的曝光方式仅为示意，例如，图像传感器中的曝光顺序还可以为最上方一行像素点最先开始曝光，最下方一行像素点最后开始曝光，本申请实施例对此不做限定。

补光控制单元330与图像传感器320保持高精度同步。

具体地，如前所述，可以根据帧号预先设定图像传感器320生成的彩色图像帧和红外图像帧的顺序。补光控制单元330可以根据帧号确定补光开始时刻和补光结束时刻。

例如，设定帧号为奇数的帧为红外图像帧，帧号为偶数的帧为彩色图像帧。补光控制单元330在帧号为奇数的帧中控制红外补光灯350进行红外补光，在帧数为偶数的帧中控制红外补光灯处于关闭状态，不进行红外补光。再如，帧号为3的倍数的帧为彩色图像帧，其余帧为红外图像帧。补光控制单元330在帧号为3的倍数的帧中控制红外补光灯处于关闭状态，不进行红外补光，在其余帧中控制红外补光灯350进行红外补光。

例如，图4中的B时刻位于A时刻之后16ms处，曝光时长为26ms，则补光控制单元330可以控制红外补光灯350在红外图像帧开始曝光后延迟16ms之后开启，在10ms以内关闭。

10ms可以保证被红外补光灯350照射的行人在生成的红外图像帧上不会出现拖影。对于其他移动速度更快的物体，例如奔跑的行人或者自行车等，可以进一步缩短补光时间，以避免在生成的红外图像帧上出现拖影。

示例性地，补光控制单元330可以为进阶精简指令集机器(advanced RISCmachine，ARM)或者现场可编程门阵列(field programmable fate array，FPGA)等。

处理单元340可以根据彩色图像帧和红外图像帧进行图像融合，生成融合后的融合图像帧。

示例性地，运算单元350可以为以下任一种或多种的组合：ARM、中央处理器(central processing unit，CPU)、数字信号处理(digital signal processing，DSP)、图形处理器(graphics processing unit，GPU)、FPGA、神经网络加速硬件等。只要运算单元的算力能够执行插帧算法和融合算法等即可。

例如，运算单元350可以为片上系统(system on chip，SOC)集成的ARM和DSP。

根据本申请实施例的方案，红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，在彩色图像帧开始时，红外补光已经结束，或者说，在进行红外补光时，还处于红外图像帧的范围内，彩色图像帧的所有像素点自然没有在曝光，保证了彩色图像帧的颜色信息的准确性。而且，红外补光时长对彩色图像帧的曝光时长没有影响，因此，可以增加彩色图像帧的曝光时长，彩色图像帧的曝光时长最大可以等于帧长，提高了彩色图像帧的成像质量。

而且，在对红外图像帧曝光时，在进行红外补光时，红外图像帧的每个像素点均处于曝光时长内，每个像素点能够在同一时段接收补光后的红外光，接受红外补光的时长相同，光能量相同，相当于采用全局快门进行曝光，能够提高红外图像帧的成像质量，避免在红外图像帧的不同位置出现亮度不同或成像失真等情况。

此外，由于红外补光时长小于红外图像帧的曝光时长，在夜晚等低照度的场景下，对于画面中的背景区域，通过增加红外图像帧的曝光时长，也可以提高背景区域的成像质量，相当于使背景区域达到长曝光的效果。进行红外补光后，图像传感器能够捕捉更多的细节信息，而不进行补光时，细节信息较难捕获。尤其是对于前景中的运动物体而言，经过红外补光后，图像传感器能够捕捉更多的运动细节信息，不进行补光时，较难捕获到前景中的运动物体的运动细节信息，通过减少红外补光时长，能够在捕获更多前景的运动细节信息的同时，避免出现运动模糊，相当于使前景运动物体达到短曝光的效果。

此外，采用人眼不敏感的红外光进行补光，不会造成光污染，而且提高在夜晚等低照度场景下摄像机输出的图像/视频的画面质量，使输出的图像/视频具有自然的色彩以及丰富的纹理信息。

此外，本申请实施例中的摄像机仅采用一个传感器，结构简单，能够节约成本。

示例性地，红外补光灯360可以包括红外光源和该红外光源的控制器。该红外光源的控制器可以接收补光控制单元330的控制信号，控制红外光源的开启和关闭。具体地，可以通过电平或电流等方式触发红外光源的开启和关闭。

示例性地，红外光源发出的光信号的波段范围为760nm～1000nm。

进一步地，红外光源关闭时光能量的下降沿(例如，光能量由90％下降至10％)的时间在0-10ms之间。例如，红外光源关闭时光能量的下降沿(例如，光能量由90％下降至10％)的时间小于2ms。

由于彩色图像帧的曝光时间与红外补光时间不能重叠，因此，红外光源关闭时的光能量的下降沿的时间越短，对之后的彩色图像帧的影响越小，能够进一步提升彩色图像帧的成像质量。

进一步地，红外光源开启时光能量的上升沿(例如，光能量由10％上升至90％)的时间在0-10ms之间。例如，红外光源开启时光能量的上升沿(例如，光能量由10％上升至90％)的时间小于2ms。

红外光源开启时的光能量的上升沿的时间越短，对红外图像帧而言，补光时间越长，能够捕捉到更准确的细节信息，提升红外图像帧的成像质量。

可选地，摄像机300可以包括滤光片360。

滤光片360位于镜头310和图像传感器320之间，用于对镜头310接收的光信号进行滤光处理，并将滤光处理后的光信号传输至图像传感器320。在该情况下，图像传感器320用于对滤光处理后的光信号进行光电转换，得到图像帧。

示例性地，滤光片360可以包括红外截止滤光片。红外截止滤光片指的是能够过滤红外波段的滤光片，在本申请实施例中，可以理解为仅允许可见光透过的滤光片。

可选地，在被摄场景的照度大于或等于第一阈值的情况下，开启红外截止滤光片。或者说将红外截止滤光片移动至图像传感器320之前。图像传感器320基于过滤后的光信号进行光电转换，生成图像帧。过滤后的光信号主要为可见光信号，该图像帧可以理解为彩色图像帧。

由于图像传感器可以接收红外光，而人眼对红外光不敏感，环境中的红外光会使成像结果发生偏色，也就是成像结果和人眼观察到的物体的颜色不符。尤其是在光线较好的场景下，较多的红外光传输至图像传感器会导致成像结果出现较严重的偏色。通过设置红外截止滤光片，可以过滤红外波段的光信号，避免成像结果发生偏色。

示例性地，滤光片360可以包括双通滤光片，该双通滤光片可以对镜头310接收的光信号进行处理，得到可见光波段的光信号和红外波段的光信号。

可选地，在被摄场景的照度小于第一阈值的情况下，开启双通滤光片。或者说，将双通滤光片移动至图像传感器320之前。图像传感器320基于过滤后的光信号进行光电转换，生成彩色图像帧和红外图像帧。

在夜晚等低照度的情况下，环境中存在较多的近红外光，对彩色图像帧的成像结果的偏色影响较大，通过设置双通滤光片可以允许可见光和第一波段的红外光通过，过滤近红外光，减少对成像结果的影响。

例如，第一波段可以是低照度情况下环境中存在较少的光信号对应的波段。虽然双通滤光片允许透过可见光和第一波段的红外光，但由于第一波段的红外光较少，参与成像的光信号主要为可见光，可以减小彩色图像帧受到的偏色影响。

进一步地，第一波段可以为红外补光灯的发光波段，也就是说，双通滤光片可以允许可见光与红外光的发光波段相同的红外光通过。

例如，红外光源可以采用发光光谱在940nm附近的LED红外灯，双通滤光片允许通过的红外波段的光信号的波长可以为940±10nm。

这样在红外图像帧曝光时可以增加进入图像传感器中的红外光信号的强度，提高红外图像帧的成像质量。

示例性地，滤光片360可以为IR-CUT，根据不同的工作状态将对应的滤光片移动至图像传感器前，也就是根据不同的工作状态开启对应的滤光片。

例如，若该IR-CUT包括两片滤光片，则一片为红外截止滤光片，另一片为双通滤光片或全通滤光片。需要说明的是，此处IR-CUT包括两片滤光片仅为示例，IR-CUT还可以包括更多数量的滤光片，其他滤光片可以根据需要设置，本申请实施例对此不做限定。

为了便于解释和说明，在后文中以IR-CUT包括红外截止滤光片和双通滤光片为例对本申请实施例的方案进行说明，不对本申请实施例的方案构成限定。如前所示，本申请实施例中的IR-CUT还可以采用全通滤光片。

示例性地，在照度较高的场景中，开启红外截止滤光片，在照度较低的场景中，移开红外截止滤光片，开启双通滤光片。

例如，在白天开启红外截止滤光片，从入射光中过滤掉红外光，避免成像画面出现偏色，在夜晚开启双通滤光片，使更多光线传输到图像传感器，提高低照度环境下的成像效果，降低噪点。

可选地，处理单元340可以根据第一彩色图像帧和第二彩色图像帧在第一时刻预测得到目标彩色图像帧，第一时刻为生成第一红外图像帧的时刻；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。其中，第一红外图像帧位于第一彩色图像帧和第二彩色图像帧之间。

其中，在第一时刻预测得到目标彩色图像帧也可以理解预测得到第一时刻的彩色图像帧。第一红外图像帧也可以称为第一时刻的红外图像帧。该融合图像帧也可以理解为第一时刻的融合图像帧，即红外图像帧的生成时刻对应的融合图像帧。

进一步地，第一彩色图像帧是位于第一时刻之前的彩色图像帧中与第一时刻之间的时间间隔最小的彩色图像帧，第二彩色图像帧是位于第一时刻之后的彩色图像帧中与第一时刻之间的时间间隔最小的彩色图像帧。

具体地，可以通过对第一彩色图像帧和第二彩色图像帧进行插帧预测第一时刻的彩色图像帧。

第一彩色图像帧和第二彩色图像帧为距离第一时刻的红外图像帧最近的彩色图像帧。也就是基于第一时刻的红外图像帧前后的彩色图像帧进行插值预测第一时刻的彩色图像帧。

例如，如图5所示，图像传感器330按顺序生成彩色图像帧1(第一彩色图像帧的一例)、红外图像帧2、红外图像帧3和彩色图像帧4(第二彩色图像帧的一例)，红外图像帧2为时刻1生成的，红外图像帧3为时刻2生成的。

根据彩色图像帧1和彩色图像帧4进行插帧预测时刻1的彩色图像帧5，将该彩色图像帧与红外图像帧2进行融合，得到时刻1对应的融合后的融合图像帧7。

根据彩色图像帧1和彩色图像帧4进行插帧预测时刻2的彩色图像帧6，将该彩色图像帧与红外图像帧3进行融合，得到时刻2对应的融合后的融合图像帧8。

由于红外图像帧和彩色图像帧是图像传感器在不同时刻生成的，因此需要通过插帧得到同一时刻的彩色图像帧和红外图像帧，然后对同一时刻的彩色图像帧和红外图像帧进行图像融合得到融合后的融合图像帧。红外图像帧是经过红外补光得到的，具有更多的细节信息，成像质量更高，彩色图像帧主要用于提供颜色信息。插帧得到的图像帧的成像质量低于图像传感器生成的图像帧的成像质量，本申请实施例中通过对彩色图像帧进行插帧得到与红外图像帧相同时刻的彩色图像帧，进而与红外图像帧进行融合得到融合后的融合图像帧，对彩色图像帧进行插帧不会影响用于图像融合的红外图像帧的画面质量，因此能够保证融合后的融合图像帧的成像质量。

彩色图像帧的帧率与红外图像帧的帧率之比小于1。

帧率指的是以帧为单位的图像出现的频率，帧率可以等于帧数除以时间。例如，帧率为60帧每秒，则一秒钟内的帧数为60帧。

具体地，彩色图像帧和红外图像帧是通过周期性交替曝光生成的。也就是说，图像传感器330周期性地交替生成彩色图像帧和红外图像帧，在一个周期内以m:n的比例生成彩色图像帧和红外图像帧。一个周期可以包括m个彩色图像帧和n个红外图像帧。m和n为整数。

也就是说彩色图像帧的帧率和红外图像帧的帧率之比为m:n。

进一步地，0.3≤m:n≤0.75。例如，m:n为1:2，如图5或图6所示，以一帧彩色图像帧和两帧红外图像帧的顺序交替生成彩色图像帧和红外图像帧。再如，m:n为2:3，以一个周期包括5帧为例，在一个周期内，彩色图像帧为2帧，红外图像帧为5帧。其中，在一个周期内，图像传感器330可以连续生成2帧彩色图像帧和3帧红外图像帧，例如，如图7的(a)所示。在一个周期内，图像传感器330也可以间隔生成彩色图像帧和红外图像帧，只要在该周期内生成2帧彩色图像帧和3帧红外图像帧即可。例如，如图7的(b)所示，一个周期内，图像传感器320以彩色图像帧、红外图像帧、红外图像帧、红外图像帧、彩色图像帧的顺序生成相应帧。

如图5所示，m:n为1:2，一个周期包括3帧图像帧，该3帧图像帧可以包括图6中的彩色图像帧1、红外图像帧1和红外图像帧2，彩色图像帧2为下一个周期中的图像帧。或者，该3帧图像帧可以包括图6中的红外图像帧1、红外图像帧2和彩色图像帧2，彩色图像帧1为上一个周期中的图像帧。

图像传感器的实际帧率为红外图像帧的帧率与彩色图像帧的帧率之和，输出视频的帧率与红外图像帧的帧率相同。例如，m:n为1:2，若输出帧率为25fps，也就是红外图像帧的帧率为25fps，则彩色图像帧的帧率为12.5fps，图像传感器的实际帧率为37.5fps，帧长约为26.6ms。如图2所示，m:n为1:1，若输出帧率为25fps，也就是红外图像帧的帧率为25fps，则彩色图像帧的帧率为25fps，图像传感器的实际帧率为50fps，帧长约为20ms。

本申请实施例中，通过设置彩色图像帧的帧率与红外图像帧的帧率之比m:n小于1，在输出视频的帧率一定的情况下，可以降低图像传感器的实际帧率，且m:n越小，所需的图像传感器的实际帧率越低，也就是说帧长越大，这样彩色图像帧的最大曝光时间越长，能够提高彩色图像帧的成像质量。或者说，在图像传感器的实际帧率一定的情况下，可以提高输出视频的帧率，且m:n越小，输出视频的帧率越高。

此外，由于彩色图像帧的帧率与红外图像帧的帧率之比m:n小于1，进行插帧时的运动估计的运算量降低，提高了处理效率。例如，如图5所示，m:n为1:2，由两帧彩色图像帧插帧得到两帧彩色图像帧，如图2所示，m:n为1:1，由两帧彩色图像帧插帧得到一帧彩色图像帧，在输出视频的帧率相同的情况下，图5所示的方案的运算量明显小于图2所示的方案的运算量。

示例性地，输入处理单元340中的图像帧可以为经过图像信号处理器(imagesignal processor，ISP)处理的图像帧，也可以为没有经过ISP处理的图像帧。没有经过ISP处理的图像帧可以称为原始图像(raw)。

示例性地，ISP可以为片上系统(system on chip，SOC)集成的ISP单元。

示例性地，ISP处理可以包括色彩空间转换，例如将RGB图像转换为YUV图像。在该情况下，经过ISP处理可以得到YUV图像。

例如，ISP可以从图像传感器320接收彩色图像帧和红外图像帧，对彩色图像帧和红外图像帧进行图像信号处理，并将处理后的彩色图像帧和红外图像帧传输给处理单元340。

再如，图像传感器320可以直接将彩色图像帧和红外图像帧传输给处理单元340。

下面举例说明应用摄像机300进行图像采集的方法，详细描述参见前述摄像机300，为了避免不必要的重复，在描述图像采集的方法时做适当省略。

示例性地，摄像机包括镜头、IR-CUT、图像传感器、红外补光灯、补光控制单元、处理单元和ISP。

镜头的焦距为10mm-40mm，光圈为F1.4。该镜头为红外光与可见光共焦的镜头。

图像传感器为卷帘快门CMOS传感器。分辨率为四百万。

IR-CUT包括两片滤光片，一片仅允许可见光通过，另一片为双通滤光片，仅允许波长在940±10nm以内的红外光以及可见光通过。

红外补光灯包括红外光源及其控制器。红外光源为发光光谱在940nm附近的LED红外灯。红外光源关闭时光能量的下降沿(例如，光能量由90％下降至10％)的时间小于2ms。红外光源开启时光能量的上升沿(例如，光能量由10％上升至90％)的时间小于2ms。

补光控制单元与图像传感器保持高精度同步，可以为ARM。

ISP为SOC集成的ISP单元。

处理单元为SOC集成的ARM处理器及DSP。

需要说明的是，以上硬件配置仅为示例，不对本申请实施例的摄像机构成限定。

在一种实现方式中，摄像机在白天等照度较高的场景和夜晚等照度较低的场景中可以工作在不同的模式。例如，白天等照度较高的场景工作在第一模式，夜晚等照度较低的场景工作在第二模式。下面对第一模式和第二模式进行说明。

第一模式：

IR-CUT设置为仅允许可见光通过的模式，也就是说开启红外截止滤光片。

图像传感器的采集帧率设置为25fps。

工作流程：

红外截止滤光片对镜头接收的光信号进行滤光处理，将滤光处理后得到的可见光传输至图像传感器，由图像传感器进行光电转换生成彩色图像帧。输出彩色图像帧的帧率为25fps。

进一步地，图像传感器可以将生成的图像帧传输至ISP进行图像信号处理，例如，对图像帧进行颜色空间转换，生成YUV图像帧。

进一步地，通过编码器可以将YUV图像帧进行编码，得到可供播放的图像帧。例如，将YUV图像帧生成H.264或者H.265的图像帧。编码后的图像帧可以供显示器播放，比如，在网页上播放，或者，也可以进行存储。

第二模式：

IR-CUT设置为允许可见光和红外光通过的模式，也就是开启双通滤光片。例如，允许可见光和940±10nm的红外光通过。

图像传感器周期性生成红外图像帧和彩色图像帧，彩色图像帧的帧率和红外图像帧的帧率之比m:n。例如，m:n为1:2，图像传感器的实际采集帧率为37.5fps，彩色图像帧的帧率为12.5fps，红外图像帧的帧率为25fps。若一个周期包括3帧图像帧，则彩色图像帧为1帧，红外图像帧为2帧。比如，图像传感器可以以彩色图像帧-红外图像帧-红外图像帧为一个周期，周期性交替生成红外图像帧和彩色图像帧。

补光控制单元控制红外补光时长小于红外图像帧的曝光时长，仅在红外图像帧的曝光时段内进行红外补光。例如，如图8所示，帧长为约为26.6ms，设置红外图像帧和彩色图像帧的曝光时长为26.6ms，补光时长为10ms，在红外图像帧开始曝光后延迟16ms之后控制红外补光灯开启，在红外补光灯开启之后10ms内控制红外补光灯关闭。这样可以保证在红外补光时段内，彩色图像帧的所有行像素点均没有在曝光，避免红外光对彩色图像帧的偏色影响。

工作流程：

补光控制单元控制红外补光灯在红外图像帧的曝光时段内进行红外补光，双通滤光片对镜头接收的光信号进行滤光处理，将滤光处理后得到的可见光和红外光传输至图像传感器，由图像传感器进行光电转换生成红外图像帧和彩色图像帧，处理单元对彩色图像帧进行插帧处理预测得到与红外图像帧对应的彩色图像帧，进而对该彩色图像帧和红外图像帧进行图像融合，得到融合后的融合图像帧。输出彩色图像帧的帧率为25fps。

具体地，工作流程包括步骤S1至步骤S4，下面对步骤S1和步骤S4进行说明。

S1，图像传感器周期性地生成红外图像帧和彩色图像帧。

例如，m:n为1:2，图像传感器可以以3帧为周期按照彩色图像帧、红外图像帧和红外图像帧的顺序输出图像帧。其中，红外图像帧指的是经过红外补光的图像帧。

S2，图像传感器可以将生成的图像帧传输至ISP进行图像信号处理，例如，对图像帧进行颜色空间转换，生成YUV图像帧。

需要说明的是，步骤S2为可选步骤，图像传感器也可以直接将生成的图像帧输入处理单元。

例如，ISP对上述一个周期内的彩色图像帧、红外图像帧和红外图像帧进行图像信号处理，分别得到彩色图像帧的YUV图像帧v1、红外图像帧的YUV图像帧ir1_1和红外图像帧的YUV图像帧ir1_2，并将生成的图像帧保存到队列。

S3，对彩色图像帧进行插帧处理。

例如，若上一个周期的彩色图像帧的YUV图像帧v0、红外图像帧的YUV图像帧ir0_1和红外图像帧的YUV图像帧ir0_2保存在队列中，则根据v0和v1进行插帧，得到两帧和上一个周期的红外图像帧对应的彩色图像帧的YUV图像帧v0_1和v0_2。示例性地，插帧方法可以参见后文中的方法800。

若若上一个周期的彩色图像帧的YUV图像帧v0、红外图像帧的YUV图像帧ir0_1和红外图像帧的YUV图像帧ir0_2没有保存在队列中，则返回步骤S1。

S4，图像融合，得到融合后的融合图像帧。

例如，对v0_1和ir0_1进行图像融合处理，对v0_2和ir0_2进行图像融合处理，得到两帧融合后的融合图像帧。

示例性地，图像融合方法可以参见后文中的方法900。

通过上述方法可以不断得到融合后的融合图像帧，多个融合后的融合图像帧连续播放即组成视频，因此上述图像采集方法也可以应用于为视频采集。

进一步地，通过编码器可以将融合后的融合图像帧进行编码，得到可供播放的图像帧。例如，将YUV图像帧生成H.264或者H.265的图像帧。编码后的图像帧可以供显示器播放，比如，在网页上播放，或者，也可以进行存储。

需要说明的是，以上两种工作模式仅为示例，摄像机也可以仅工作在第二模式下，在该情况下，摄像机中可以不包括红外截止滤光片。

下面通过具体的示例对本申请实施例提供的插帧方法800进行详细说明。方法800包括步骤S810至步骤S870。下面对步骤S810至步骤S870进行说明。

为了便于描述，以m:n为1:2为例对方法800进行说明，对于m:n为其他值的情况，适应性地修改方法800中的参数即可。

S810，输入待插帧的两个时刻的彩色图像帧。

例如，输入前述图像v0和v1。

S820，对彩色图像帧进行下采样。

例如，对v0和v1进行下采样，得到分辨率为100万的图像d0和d1。

这样可以降低彩色图像帧的分辨率，减少计算量，提高处理效率。

S830，计算下采样后得到的图像的前向光流和后向光流。

例如，计算图像d0和d1的前向光流fd₀₁和后向光流fd₁₀。

S840，对前向光流和后向光流进行上采样，还原至原分辨率。

例如，对前向光流fd₀₁和后向光流fd₁₀进行上采样，得到分辨率为400万的前向光流f₀₁和后向光流f₀₂。

S850，计算映射关系。

例如，映射关系满足如下公式：

f_0a＝f₀₁/3，f_a0＝f₁₀*2/3，f_0b＝f₀₁*2/3，f_b0＝f₁₀/3，

f_0a表示v0的每个像素点和ir0_1时刻的映射关系，f_a0表示v1的每个像素点和ir0_1时刻的映射关系。f_0b表示v0的每个像素点和ir0_2时刻的映射关系，f_b0表示v1的每个像素点和ir0_2时刻的映射关系。其中，ir0_1时刻表示图像ir0_1的采集时段的中间时刻，ir0_2时刻表示图像ir0_2的采集时段的中间时刻。

需要说明的是，上述公式中的参数均为m:n为1:2时的参数，对于m:n为其他值的情况，需要适应性地修改上述参数。

S860，根据映射关系进行映射。

也就是将输入图像以光流方向作像素移动生成新的图像。

例如，根据f_0a将v0映射到ir1_1时刻得到图像w_0a,根据f_a0将v1映射到ir1_1时刻得到图像w_a0。根据f0b将v0映射到ir0_2时刻得到图像w_0b,根据fb0将v1映射到ir0_1时刻得到图像w_b0。

S870，根据映射结果计算插帧后得到的彩色图像帧。

例如，插帧后得到的彩色图像帧满足如下公式：

v0_1＝alpha*w_0a+(1-alpha)*w_a0；

v0_2＝alpha*w_b0+(1-alpha)*w_0b；

其中，alpha为参数，例如，alpha为0.7。

需要说明的是，方法800仅为示例，本申请实施例中的插帧方法还可以采用现有技术中的其他插帧方法，本申请实施例对此不做限定。

下面通过具体的示例对本申请实施例提供的图像融合方法900进行详细说明。方法900包括步骤S910至步骤S960。下面对步骤S910至步骤S960进行说明。

S910，输入待融合的彩色图像帧和红外图像帧。

例如，输入彩色图像帧的YUV图像帧v0_1和红外图像帧的YUV图像帧ir0_1。

S920，分别提取待融合的彩色图像帧和红外图像帧的亮度通道。

例如，提取彩色图像帧的YUV图像帧v0_1的亮度通道v，提取红外图像帧的YUV图像帧ir0_1的亮度通道ir。

S930，分别对待融合的彩色图像帧和红外图像帧的亮度通道进行导向滤波，得到滤波结果。

例如，对亮度通道v进行导向滤波，得到滤波结果v_base；对亮度通道ir进行导向滤波，得到滤波结果ir_base。

S940，根据滤波结果分别计算彩色图像帧和红外图像帧的细节信息。

图像的细节信息也可以理解为图像的高频信息。

例如，彩色图像帧和红外图像帧的细节信息满足如下公式：

v_tex＝v–v_base；

ir_tex＝ir–ir_base；

其中，v_tex表示彩色图像帧的细节信息，ir_tex表示红外图像帧的细节信息，

S950，计算融合后的融合图像帧的亮度通道。

例如，融合后的融合图像帧的滤波结果f_base和细节信息f_tex满足如下公式：

f_base＝a*v_base+(1-a)*ir_base；

f_tex＝b*v_tex+(1-b)*ir_tex；

其中，a和b为参数，可以用于调节融合效果。a和b的取值范围为[0,1]，在实际应用中可以根据需要设定。通常b小于a，这样可以在融合后的融合图像帧中保留更多的红外图像的高频信息，提供更多的纹理信息，有利于提高成像质量。

融合后的融合图像帧的亮度通道f满足如下公式：

f＝f_base+f_tex；

S960，利用融合后的融合图像帧的亮度通道替换待融合的彩色图像帧中的亮度通道，得到融合后的融合图像帧。

需要说明的是，方法900仅为示例，本申请实施例中的图像融合方法还可以采用现有技术中的其他图像融合方法，本申请实施例对此不做限定。

图9为采用本申请实施例中的方案与采用图2所示的方案输出的图像的对比示意图。

图9的(a)为采用图8所示的方案得到的图像，图9的(b)为采用图2所示的方案得到的图像，可以看出，本申请实施例的方案得到的图像画面中地面噪声更小，整体图像质量更高。

图10示出了本申请实施例提供的一种摄像机的控制方法1000，该方法可以由摄像机的控制单元执行，例如，由SOC执行。具体描述参见摄像机300中的相关描述，为了避免不必要的重复，下面在介绍方法1000时做适当的省略。方法1000包括步骤S1010至步骤S1040。下面对步骤S1010至步骤S1040进行说明。

S1010，控制镜头接收来自被摄物体的光信号。

S1020，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧，彩色图像帧为曝光时段与红外补光时段不重叠的图像帧。即彩色图像帧为曝光时段内没有红外补光的图像帧。彩色图像帧的帧率与红外图像帧的帧率之比小于1。

S1030，控制红外补光灯对被摄物体进行红外补光，红外补光时段位于红外图像帧的曝光时段内。

可选地，红外补光时段位于红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，第一像素点为红外图像帧中最后开始曝光的像素点，第二像素点为红外图像帧中最先开始曝光的像素点。

S1040，控制处理单元对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧。

可选地，控制处理单元对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧，包括：根据第一彩色图像帧和第二彩色图像帧在第一时刻预测得到目标彩色图像帧，第一时刻为生成第一红外图像帧的时刻，第一红外图像帧位于第一彩色图像帧和第二彩色图像帧之间；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

可选地，摄像机还包括双通滤光片，双通滤光片位于图像传感器之前，方法还包括：在被摄场景的照度小于第一阈值的情况下，控制双通滤光片对镜头接收的光信号进行滤光处理，将滤光后得到的可见光波段的光信号和红外波段的光信号传输至图像传感器。

可选地，红外补光的时长小于或等于10ms。

可选地，红外图像帧的曝光时长等于帧长。

可选地，彩色图像帧的曝光时长等于帧长。

可选地，摄像机还包括红外截止滤光片，红外截止滤光片位于图像传感器之前，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧，包括：在被摄场景的照度小于第一阈值的情况下，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧；以及，方法还包括：在被摄场景的照度大于或等于第一阈值的情况下，控制红外截止滤光片过滤红外波段的光信号，控制图像传感器对过滤后得到的光信号进行光电转换，生成彩色图像帧。

图11是本申请实施例提供的一种控制装置的硬件结构示意图。图11所示的控制装置5000包括存储器5001、处理器5002、通信接口5003以及总线5004。其中，存储器5001、处理器5002、通信接口5003通过总线5004实现彼此之间的通信连接。

存储器5001可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器5001可以存储程序，当存储器5001中存储的程序被处理器5002执行时，处理器5002和通信接口5003用于执行本申请实施例中的控制方法1000的各个步骤。

处理器5002可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器或者一个或多个集成电路，用于执行相关程序，以执行本申请方法实施例控制方法1000。

具体地，处理器5002具体用于执行以下步骤：

S1010，控制镜头接收来自被摄物体的光信号。

S1020，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧，彩色图像帧为曝光时段没有红外补光的图像帧，红外图像帧为曝光时段有红外补光的图像帧。彩色图像帧的帧率与红外图像帧的帧率之比小于1。

S1030，控制红外补光灯对被摄物体进行红外补光，红外补光时段位于红外图像帧的曝光时段内。

S1040，控制处理单元对红外图像帧和彩色图像帧进行图像融合，生成融合后的融合图像帧。

可选地，红外补光时段位于红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，第一像素点为红外图像帧中最后开始曝光的像素点，第二像素点为红外图像帧中最先开始曝光的像素点。

可选地，处理器5002具体用于：根据第一彩色图像帧和第二彩色图像帧在第一时刻预测得到目标彩色图像帧，第一时刻为生成第一红外图像帧的时刻，第一红外图像帧位于第一彩色图像帧和第二彩色图像帧之间；对第一红外图像帧和目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

可选地，摄像机还包括双通滤光片，双通滤光片位于图像传感器之前，处理器5002还用于：在被摄场景的照度小于第一阈值的情况下，控制双通滤光片对镜头接收的光信号进行滤光处理，将滤光后得到的可见光波段的光信号和红外波段的光信号传输至图像传感器。

可选地，红外补光的时长小于或等于10ms。

可选地，红外图像帧的曝光时长等于帧长。

可选地，彩色图像帧的曝光时长等于帧长。

可选地，摄像机还包括红外截止滤光片，红外截止滤光片位于图像传感器之前，处理器5002用于：在被摄场景的照度小于第一阈值的情况下，控制图像传感器对光信号进行光电转换生成彩色图像帧和红外图像帧；以及，处理器5002还用于：在被摄场景的照度大于或等于第一阈值的情况下，控制红外截止滤光片过滤红外波段的光信号，控制图像传感器对过滤后得到的光信号进行光电转换，生成彩色图像帧。

处理器5002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的控制方法的各个步骤可以通过处理器5002中的硬件的集成逻辑电路或者软件形式的指令完成。

上述的处理器5002还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器5001，处理器5002读取存储器5001中的信息，结合其硬件执行本申请方法实施例的控制方法1000。

通信接口5003使用例如但不限于收发器一类的收发装置，来实现装置5000与其他设备或通信网络之间的通信。例如，在摄像机不包括红外补光灯的情况下，通信接口5003可以用于实现装置5000与红外补光灯之间的通信。

总线5004可包括在装置5000各个部件(例如，存储器5001、处理器5002、通信接口5003)之间传送信息的通路。

应注意，尽管图11所示的装置5000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置5000还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置5000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置5000也可仅仅包括实现本申请实施例所必须的器件，而不必包括图11中所示的全部器件。

本申请实施例中的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(USB flash disk，UFD)，UFD也可以简称为U盘或者优盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种摄像机，其特征在于，包括：镜头、图像传感器、补光控制单元和处理单元，

所述镜头用于接收来自被摄物体的光信号；

所述图像传感器用于对所述光信号进行光电转换生成彩色图像帧和红外图像帧，所述彩色图像帧为曝光时段没有红外补光的图像帧，所述红外图像帧为曝光时段有红外补光的图像帧，所述彩色图像帧的帧率与所述红外图像帧的帧率之比小于1，所述有红外补光的曝光时段为红外补光时段，所述红外补光时段位于所述红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，所述第一像素点为所述红外图像帧中最后开始曝光的像素点，所述第二像素点为所述红外图像帧中最先开始曝光的像素点；

所述补光控制单元用于控制红外补光灯对所述被摄物体进行红外补光；

所述处理单元用于对所述红外图像帧和所述彩色图像帧进行图像融合，生成融合后的融合图像帧。

2.根据权利要求1所述的摄像机，其特征在于，所述彩色图像帧和所述红外图像帧为周期性交替曝光生成的，一个周期包括m个所述彩色图像帧和n个所述红外图像帧，m和n为整数，m:n的值等于所述彩色图像帧的帧率与所述红外图像帧的帧率之比的值。

3.根据权利要求1或2所述的摄像机，其特征在于，所述处理单元具体用于：

根据第一彩色图像帧和第二彩色图像帧在第一时刻预测得到目标彩色图像帧，所述第一时刻为生成第一红外图像帧的时刻，所述第一红外图像帧位于所述第一彩色图像帧和所述第二彩色图像帧之间；

对所述第一红外图像帧和所述目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

4.根据权利要求1或2所述的摄像机，其特征在于，所述摄像机还包括双通滤光片，所述双通滤光片位于所述图像传感器之前，用于对所述镜头接收的光信号进行滤光处理，将滤光后得到的可见光波段的光信号和红外波段的光信号传输至所述图像传感器。

5.根据权利要求1或2所述的摄像机，其特征在于，所述摄像机还包括所述红外补光灯，所述红外补光灯用于对所述被摄物体进行红外补光。

6.根据权利要求1或2所述的摄像机，其特征在于，所述红外补光的时长小于或等于10ms。

7.根据权利要求1或2所述的摄像机，其特征在于，所述摄像机还包括红外截止滤光片，所述红外截止滤光片位于所述图像传感器之前，在被摄场景的照度小于第一阈值的情况下，所述图像传感器用于对所述光信号进行光电转换生成彩色图像帧和红外图像帧；在被摄场景的照度大于或等于所述第一阈值的情况下，所述红外截止滤光片用于过滤红外波段的光信号，所述图像传感器还用于对过滤后得到的光信号进行光电转换，生成彩色图像帧。

8.一种摄像机的控制方法，其特征在于，所述方法包括：

控制镜头接收来自被摄物体的光信号；

控制图像传感器对所述光信号进行光电转换生成彩色图像帧和红外图像帧，所述彩色图像帧为曝光时段没有红外补光的图像帧，所述红外图像帧为曝光时段有红外补光的图像帧，所述彩色图像帧的帧率与所述红外图像帧的帧率之比小于1，所述有红外补光的曝光时段为红外补光时段，所述红外补光时段位于所述红外图像帧的第一像素点开始曝光的时刻和第二像素点结束曝光的时刻之间，所述第一像素点为所述红外图像帧中最后开始曝光的像素点，所述第二像素点为所述红外图像帧中最先开始曝光的像素点；

控制红外补光灯对所述被摄物体进行红外补光；

控制处理单元对所述红外图像帧和所述彩色图像帧进行图像融合，生成融合后的融合图像帧。

9.根据权利要求8所述的方法，其特征在于，所述彩色图像帧和所述红外图像帧为周期性交替曝光生成的，一个周期包括m个所述彩色图像帧和n个所述红外图像帧，m和n为整数，m:n的值等于所述彩色图像帧的帧率与所述红外图像帧的帧率之比的值。

10.根据权利要求8或9所述的方法，其特征在于，所述控制处理单元对所述红外图像帧和所述彩色图像帧进行图像融合，生成融合后的融合图像帧，包括：

根据第一彩色图像帧和第二彩色图像帧在第一时刻预测得到目标彩色图像帧，所述第一时刻为生成第一红外图像帧的时刻，所述第一红外图像帧位于所述第一彩色图像帧和所述第二彩色图像帧之间；

对所述第一红外图像帧和所述目标彩色图像帧进行图像融合，生成融合后的融合图像帧。

11.根据权利要求8或9所述的方法，其特征在于，所述摄像机还包括双通滤光片，所述双通滤光片位于所述图像传感器之前，所述方法还包括：

在被摄场景的照度小于第一阈值的情况下，控制所述双通滤光片对所述镜头接收的光信号进行滤光处理，将滤光后得到的可见光波段的光信号和红外波段的光信号传输至所述图像传感器。

12.根据权利要求8或9所述的方法，其特征在于，所述红外补光的时长小于或等于10ms。

13.根据权利要求8或9所述的方法，其特征在于，所述摄像机还包括红外截止滤光片，所述红外截止滤光片位于所述图像传感器之前，所述控制图像传感器对所述光信号进行光电转换生成彩色图像帧和红外图像帧，包括：

在被摄场景的照度小于第一阈值的情况下，控制所述图像传感器对所述光信号进行光电转换生成彩色图像帧和红外图像帧；以及，所述方法还包括：

在被摄场景的照度大于或等于所述第一阈值的情况下，控制所述红外截止滤光片过滤红外波段的光信号，控制图像传感器对过滤后得到的光信号进行光电转换，生成彩色图像帧。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储设备执行的程序代码，当所述程序代码被执行时能够实现对摄像机的配置，使所述摄像机执行如权利要求8至13中任一项所述的方法。

Images