CN110493536B - 图像采集装置和图像采集的方法 - Google Patents

Abstract

本公开提供了一种图像采集装置和图像采集的方法，属于视频技术领域。所述图像采集装置包括图像采集部件和补光部件，图像采集部件包括滤光部件和图像传感器，图像传感器，用于通过多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，第一图像信号是根据第一曝光产生的图像信号，第二图像信号是根据第二曝光产生的图像信号，滤光部件包括第一滤光装置，用于使可见光和部分近红外光通过，补光部件包括第一补光装置，用于在第一曝光时不进行近红外补光，并在第二曝光时进行近红外补光，第二曝光时进行近红外补光的开始时刻是根据第一时刻确定的，第二曝光时进行近红外补光的结束时刻是根据第二时刻确定的。采用本公开，可以降低实现难度。

Description

图像采集装置和图像采集的方法

技术领域

本公开涉及视频技术领域，特别涉及一种图像采集装置和图像采集的方法。

背景技术

随着计算机技术的发展，相对于指纹、虹膜等体貌特征，人脸更直观，所以人脸检测技术逐渐被应用于门禁等安防系统中。

在相关技术中，为了防止非法用户使用合法用户的人脸照片通过门禁等系统，一般是将人脸检测设备与双目摄像机连接，双目摄像机包括一个可见光摄像机和一个红外摄像机。进行人脸检测时，检测设备获取同一时刻可见光摄像机拍摄的可见光图像和红外摄像机拍摄的红外图像，通过红外图像确定是否是活体人脸，并通过可见光图像确定是否是合法用户。

这样，获得红外图像和可见光图像，需要两个摄像机，然而两个摄像机的安装需要较高的加工精度，所以导致实现难度较高。

发明内容

为了解决相关技术中实现难度较高的问题，本公开实施例提供了一种图像采集装置和图像采集的方法。所述技术方案如下：

第一方面，提供了一种图像采集装置，所述图像采集装置包括：

图像采集部件和补光部件，所述图像采集部件包括滤光部件和图像传感器；

所述图像传感器，用于通过多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一曝光产生的图像信号，所述第二图像信号是根据第二曝光产生的图像信号，所述第一曝光和所述第二曝光为所述多次卷帘式快门曝光中的其中两次曝光；

所述滤光部件，包括第一滤光装置，使可见光和部分近红外光通过；

所述补光部件，包括第一补光装置，所述第一补光装置用于在所述第一曝光时，不进行近红外补光，并在进行所述第二曝光时，进行近红外补光，所述第二曝光时进行近红外补光的开始时刻是至少根据第一时刻确定的，所述第二曝光时进行近红外补光的结束时刻是至少根据第二时刻确定的；

其中，所述第二图像信号包括多行有效图像信号，所述第二曝光为当前曝光时，所述第一时刻是所述当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，所述第二时刻是所述当前曝光产生的第二图像信号的第一行有效图像信号的结束曝光时刻。

作为一种可能的实现方式，所述第二曝光时进行近红外补光的开始时刻不早于所述第一时刻。

作为一种可能的实现方式，所述第二曝光时进行近红外补光的结束时刻不晚于所述第二时刻。

作为一种可能的实现方式，所述第二曝光时进行近红外补光的开始时刻不早于所述第一时刻，且所述第二曝光时进行近红外补光的结束时刻不晚于所述第二时刻。

作为一种可能的实现方式，所述当前曝光产生的第二图像信号中任一行有效图像信号的曝光时长不小于所述当前曝光产生的第二图像信号的有效图像信号的读出时长。

作为一种可能的实现方式，所述当前曝光产生的第二图像信号中每一行有效图像信号的补光时长相同。

作为一种可能的实现方式，所述多次卷帘式快门曝光中包括多个曝光周期，每个曝光周期中包括至少一次所述第一曝光和至少一次所述第二曝光。

作为一种可能的实现方式，所述图像采集部件还包括镜头；

所述滤光部件位于所述镜头与所述图像传感器之间，且所述图像传感器位于所述滤光部件的出光侧；或者，

所述镜头位于所述滤光部件与图像传感器之间，且所述图像传感器位于所述镜头的出光侧。

作为一种可能的实现方式，所述图像传感器包括多个感光通道，所述多个感光通道包括R感光通道、G感光通道、B感光通道、W感光通道中的至少一种，所述多个感光通道通过所述多次卷帘式快门曝光产生并输出所述第一图像信号和所述第二图像信号；

其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，W感光通道，用于感应全波段的光。

作为一种可能的实现方式，所述图像传感器为红绿蓝白RGBW传感器、红白白蓝RCCB传感器、红绿蓝RGB传感器、或红黄黄蓝RYYB传感器中的任一种传感器；

其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，W表示W感光通道。

作为一种可能的实现方式，所述第一曝光与所述第二曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

作为一种可能的实现方式，所述第二曝光的曝光增益小于所述第一曝光的曝光增益。

作为一种可能的实现方式，所述第一曝光和所述第二曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

作为一种可能的实现方式，所述第一曝光的曝光时间等于所述第二曝光的曝光时间。

作为一种可能的实现方式，所述滤光部件还包括第二滤光装置和切换部件，所述第一滤光装置和所述第二滤光装置均与所述切换部件连接；

所述切换部件，用于将所述第二滤光装置切换到所述图像传感器的入光侧；

在所述第二滤光装置切换到所述图像传感器的入光侧之后，所述第二滤光装置使可见光波段的光通过，阻挡近红外光波段的光，所述图像传感器，用于通过曝光产生并输出第三图像信号。

作为一种可能的实现方式，所述补光部件还包括第二补光装置；

所述第二补光装置用于以常亮方式进行可见光补光；或者，

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第二曝光的部分曝光时间段内存在可见光补光，在所述第一曝光的整个曝光时间段内不存在可见光补光；或者，

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第二曝光的整个曝光时间段内不存在可见光补光，在所述第一曝光的部分曝光时间段内存在可见光补光。

作为一种可能的实现方式，所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光装置的近红外光的中心波长和/或波段宽度达到约束条件。

作为一种可能的实现方式，所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

作为一种可能的实现方式，所述约束条件包括：通过所述第一滤光装置的近红外光的中心波长与所述第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；或者，

通过所述第一滤光装置的近红外光的半带宽小于或等于50纳米；或者，

第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一滤光装置的近红外光的波段宽度，所述第二波段宽度是指被所述第一滤光装置阻挡的近红外光的波段宽度；或者，

第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。

第二方面，提供了一种图像采集的方法，应用于图像采集装置，所述图像采集装置包括：图像传感器、补光器部件和滤光部件，所述补光部件包括第一补光装置，所述滤光部件包括第一滤光装置，其特征在于，所述方法包括：

通过所述第一补光装置进行近红外补光，其中，在第一曝光时不进行近红外补光，在第二曝光时进行近红外补光，所述第二曝光时进行近红外补光的开始时刻是至少根据第一时刻确定的，所述第二曝光时进行近红外补光的结束时刻是至少根据第二时刻确定的；

通过所述第一滤光装置，使可见光和部分近红外光通过；

通过所述图像传感器进行多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据所述第一曝光产生的图像信号，所述第二图像信号是根据所述第二曝光产生的图像信号；所述第二图像信号包括多行有效图像信号，所述第二曝光为当前曝光时，所述第一时刻是所述当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，所述第二时刻是所述当前曝光产生的第二图像信号的第一行有效图像信号的结束曝光时刻。

作为一种可能的实现方式，所述第二曝光时进行近红外补光的开始时刻不早于所述第一时刻。

作为一种可能的实现方式，所述第二曝光时进行近红外补光的结束时刻不晚于所述第二时刻。

作为一种可能的实现方式，所述第二曝光时进行近红外补光的开始时刻不早于所述第一时刻，且所述第二曝光时进行近红外补光的结束时刻不晚于所述第二时刻。

作为一种可能的实现方式，所述当前曝光产生的第二图像信号中任一行有效图像信号的曝光时长不小于所述当前曝光产生的第二图像信号的有效图像信号的读出时长。

作为一种可能的实现方式，所述当前曝光产生的第二图像信号中每一行有效图像信号的补光时长相同。

本公开实施例提供的技术方案带来的有益效果至少包括：

本公开实施例中，利用图像传感器的曝光时序来控制补光部件的近红外补光时序，以便存在近红外补光时通过第二曝光产生第二图像信号，不存在近红外补光时通过第一曝光产生第一图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，使得该图像采集装置更加简便，降低实现难度。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同，因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。

附图说明

图1是本公开实施例提供的一种卷帘式快门曝光的示意图；

图2是本公开实施例提供的一种卷帘式快门曝光的示意图；

图3是本公开实施例提供的一种图像采集装置的结构示意图；

图4是本公开实施例提供的一种卷帘式快门曝光的示意图；

图5是本公开实施例提供的一种卷帘式快门曝光的示意图图；

图6是本公开实施例提供的一种卷帘式快门曝光的示意图；

图7是本公开实施例提供的一种卷帘式快门曝光的示意图；

图8是本公开实施例提供的一种卷帘式快门曝光的示意图；

图9是本公开实施例提供的一种图像采集装置的结构示意图；

图10是本公开实施例提供的一种光线通过率的示意图；

图11是本公开实施例提供的一种图像采集装置的结构示意图；

图12是本公开实施例提供的一种图像采集装置的结构示意图；

图13是本公开实施例提供的一种RGBW传感器的通道结构示意图；

图14是本公开实施例提供的一种RCCB传感器的通道结构示意图；

图15是本公开实施例提供的一种RGB传感器的通道结构示意图；

图16是本公开实施例提供的一种RYYB传感器的通道结构示意图；

图17是本公开实施例提供的一种光谱响应曲线示意图；

图18是本公开实施例提供的一种曝光顺序的示意图；

图19是本公开实施例提供的一种曝光顺序的示意图；

图20是本公开实施例提供的一种曝光顺序的示意图；

图21是本公开实施例提供的一种图像采集的方法的流程示意图。

图例说明

图像采集部件1 补光部件2

滤光部件11 图像传感器12

镜头13 第一滤光装置111

第二滤光装置112 切换部件113

第一补光装置21 第二补光装置22

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

下面首先对本公开实施例中涉及的技术术语进行简单介绍。

可见光，是人眼可以感知的电磁波，可见光谱没有精确的范围，一般人的眼睛可以感知的电磁波的波长在400nm(纳米)～760nm之间。

可见光图像，是指仅感知可见光信号的色彩图像，该色彩图像仅对可见光波段感光。

红外图像，是指感知近红外光信号的亮度图像。

卷帘式快门曝光，是指图像传感器不同行的曝光时间不完全重合，每一行的曝光开始时刻和曝光结束时刻逐行向后推移一段时间。

如图1所示，水平坐标轴表示时间，垂直坐标轴表示图像传感器的像素行序号，对于每一行像素，空心圆点表示曝光开始时刻，实心圆点表示曝光结束时刻，图像传感器的第一行像素在T1时刻开始曝光，在T3时刻结束曝光，第二行像素在T2时刻开始曝光，在T4时刻结束曝光，T2相比于T1向后推移了一段时间，T4相比于T3向后推移了一段时间，其他行以此类推。

读出时间，是指卷帘式快门曝光每一行像素结束曝光后会进行数据输出，因此，从第一行像素数据结束曝光，到最后一行像素结束曝光并输出数据的时间，表示读出时间。

如图1所示，第一行像素在T3时刻结束曝光，开始输出数据，在T5时刻结束输出数据，最后一行像素在T6时刻结束曝光，T7时刻结束输出数据，则T3～T7的时间即为读出时间，如图1中矩形所示。

如图2所示，为多次卷帘式快门曝光简化示意图，其中，水平方向表示时间，虚线表示每次曝光的开始时刻(由于每一行像素的开始曝光时刻不相同，所以曝光开始时刻会形成一条斜线)，实线表示每次曝光的结束时刻(由于每一行像素的结束曝光时刻不相同，所以曝光结束时刻会形成一条斜线)，矩形表示读出时间。

相关技术中，获得一个物体的红外图像和可见光图像，需要使用双目摄像机，导致实现难度高，为了降低实现难度，本公开提供了如下结构的图像采集装置。

图3是本公开实施例提供的一种图像采集装置的结构示意图，该图像采集装置包括图像采集部件1和补光部件2，图像采集部件1包括滤光部件11、图像传感器12和镜头13(镜头13在图3中未示出)。图像传感器12用于通过多次卷帘式快门曝光产生并输出第一图像信号和第二图像信号，第一图像信号是根据第一曝光产生的图像信号，第二图像信号是根据第二曝光产生的图像信号，第一曝光和第二曝光为多次卷帘式快门曝光中的其中两次曝光。滤光部件11，包括第一滤光装置111，使可见光和部分近红外光通过。补光部件2，包括第一补光装置21，第一补光装置21用于在第一曝光时，不进行近红外补光，并在进行第二曝光时，进行近红外补光，且第二曝光时进行近红外补光的开始时刻是至少根据第一时刻确定的，第二曝光时进行近红外补光的结束时刻是至少根据第二时刻确定的。其中，第二图像信号包括多行有效图像信号，第二曝光为当前曝光时，第一时刻是当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，第二时刻是当前曝光产生的第二图像信号的第一行有效图像信号的结束曝光时刻。

其中，第一图像信号和第二图像信号均包括多行有效图像信号，有效图像信号指最终读出的图像信号。例如，一个卷帘式快门曝光有1000行的感光通道，最终输出的图像的像素点的行数为800行，那么有效图像信号就是1000行的感光通道中其中800行的感光通道输出的图像信号，可以是从第1行至第800行，也可以是从第100行至第900行，本公开实施例不作限定。

在实施中，图像采集装置可以包括图像采集部件1和补光部件2，图像采集部件1可以包括滤光部件11、图像传感器12和镜头13。补光部件2包括第一补光装置21，第一补光装置21用于进行近红外补光，滤光部件11包括第一滤光装置111，第一滤光装置111用于仅使可见光和近红外光通过。

滤光部件11可以由采用镀膜技术的滤光片组成，可以用于过滤除近红外光和可见光之外的光，也即是使可见光和近红外光通过，或者使可见光和部分近红外光通过，即第一滤光装置111使可见光和近红外光通过，或者使可见光和部分近红外光通过。

图像传感器12可以用于多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，第一图像信号是根据第一曝光产生的图像信号，第二图像信号是根据第二曝光产生的图像信号，第一曝光和第二曝光为多次卷帘式快门曝光中的两次曝光。

在进行第一曝光时，补光部件2可以不进行近红外补光，如补光部件2为近红外补光灯，可以关闭近红外光补光灯等，使在第一曝光的曝光时间段经过被拍摄物体反射进入滤光部件11的光为环境光，这时图像传感器12可以以第一曝光的曝光参数，进行卷帘式快门曝光，输出第一图像信号。

在进行第二曝光时，补光部件2可以进行红外补光，如补光部件2为近红外补光灯，可以开启近红外光补光灯等，在第二曝光为当前曝光(指当前时刻正在进行的曝光)时，在进行近红外补光的开始时刻可以是根据第一时刻确定的，第一时刻可以是当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，在进行近红外补光的结束时刻可以是根据第二时刻确定，第二时刻可以是当前曝光产生的第二图像信号的第一行有效图像信号的结束时刻。在这开始时刻和结束时刻之间，补光部件2可以进行近红外补光，图像传感器12可以以第二曝光的曝光参数，进行卷帘式快门曝光，输出第二图像信号，第二图像信号为红外光图像信号。

需要说明的是，多次卷帘式快门曝光包括多次第一曝光和多次第二曝光，例如，在一秒钟内既要进行多次第一曝光，也要进行多次第二曝光，第一曝光和第二曝光的顺序可以提前配置。

补光部件2可以包括第一补光装置21，第一补光装置21可以位于图像采集装置内，也可以位于图像采集装置的外部。第一补光装置21可以为图像采集装置的一部分，也可以为独立于图像采集装置的一个器件。当第一补光装置21位于图像采集装置的外部时，第一补光装置21可以与图像采集装置进行通信连接，从而可以保证图像采集装置中的图像传感器12的曝光时序与第一补光装置21的近红外补光时序存在一定的关系。

作为一种可能的实现方式，为了使第二曝光时的有效图像信号中每一行均有近红外补光，可以在不早于第二曝光时最后一行有效图像信号的开始曝光时刻时，就进行近红外补光。这样，最后一行有效图像信号就有近红外补光。

作为一种可能的实现方式，为了使第二曝光时的有效图像信号的每一行均有近红外补光，可以在不晚于第二曝光时第一行有效图像信号的结束曝光时刻时，就结束近红外补光。这样，第一行有效图像信号有近红外补光。

作为一种可能的实现方式，为了使第二曝光时的有效图像信号中每一行均有近红外补光，可以在不早于第二曝光时最后一行有效图像信号的开始曝光时刻，就进行近红外补光，且在不晚于第一行有效图像信号的结束曝光时刻时，就结束近红外补光。这样，进行近红外补光的时间段，属于第二曝光的最后一行有效图像信号的开始曝光时刻和第一行有效图像信号的结束曝光时刻之间。

例如，如图4所示，图像传感器12的第一曝光和第二曝光交替进行，第一曝光时第一补光装置21对应第一补光状态，第二曝光时第一补光装置21对应第二补光状态，第一补光状态为关闭，第一补光装置21不进行近红外补光，第二补光状态为开启，第一补光装置21进行近红外补光，前一帧图像信号为第一图像信号，当前帧图像信号(即当前曝光产生的图像信号)为第二图像信号，则当前曝光为第二曝光并产生第二图像信号，第二图像信号对应的第二补光状态开启了近红红外光时，第一补光装置21开始近红外补光的时刻不早于当前帧图像信号的最后一行有效图像信号的开始曝光时刻。进一步地，第一补光装置21结束近红外补光的时刻不晚于当前帧图像信号的第一行有效图像信号的结束曝光时刻。

这样，由图4可知，由于不晚于第一行有效图像信号的结束曝光时刻结束近红外补光，且不早于最后一行有效图像信号的开始曝光时刻开始近红外补光，所以对于每一行有效图像信号的近红外图像的补光时长都是相等的。例如，如图5所示，在两条竖直虚线范围内(第一时刻与第二时刻之间)存在近红外补光的时间段，靠近左边的虚线为第5毫秒，靠近右边的虚线为第25毫秒，可以在第8毫秒时开始近红外补光，在第24毫秒结束近红外补光，这样，每一行有效图像信号的近红外补光的补光时长为16毫秒。

作为一种可能的实现方式，为了使进行近红外补光的补光时长尽可能的长，当前曝光产生的第二图像信号中任一行有效图像信号的曝光时长不小于当前曝光产生的第二图像信号的有效图像信号的读出时长。

需要说明的是，为了更清楚的描述补光与曝光的关系，还可以认为是曝光时间与补光时间满足一定约束：

在第二曝光时，第一补光装置21进行近红外补光，如果第一曝光和第二曝光交替进行，当前曝光为第二曝光，近红外补光的补光时间的开始时刻不早于当前曝光的最后一行有效图像信号的开始曝光时刻，且近红外补光的补光时间的结束时刻不晚于当前曝光的第一行有效图像信号的结束曝光时刻。

需要说明的是，上述第一和第二仅是相对概念，可以相互交换。

在一种示例中，如图6所示，图像传感器在A曝光、B曝光两种曝光下，交错进行曝光，在A曝光时间内，第一补光装置21关闭，输出未进行近红外补光的图像信号(即第一图像信号)，在B曝光时间内，第一补光装置21打开，输出补光灯近红外补光的图像信号(即第二图像信号)。第一补光装置21在不早于当前帧B曝光最后一行有效图像信号的开始曝光时刻打开，在不晚于当前帧B曝光第一行有效图像信号的结束曝光时刻关闭。

进一步的，如图7所示，A曝光与B曝光的曝光时间均为19ms，读出时间均为10ms，A曝光在11ms时第一行有效图像信号开始曝光，在40ms时最后一行有效图像信号结束曝光，B曝光在31ms时第一行有效图像信号开始曝光，在60ms时最后一行有效图像信号结束曝光。第一补光装置21可以在43ms时开始近红外补光，在49ms时关闭近红外补光，补光时间为6ms。从而获得没有近红外补光的A曝光，能够真实反映环境的色彩信息，有近红外补光的B曝光拥有更好的亮度、清晰度和信噪比。

进一步的，第一补光装置21可以在B曝光最后一行有效图像信号的开始曝光的时刻打开，在第一行有效图像信号的结束曝光的时刻关闭，能够充分利用红外补光能量。如图8所示，A曝光时间为19ms，B曝光时间为16ms，读出时间均为10ms，A曝光在11ms时第一行有效图像信号开始曝光，在40ms时最后一行有效图像信号结束曝光，B曝光在34ms时第一行有效图像信号开始曝光，在60ms时最后一行有效图像信号结束曝光。第一补光装置21可以在44ms时开始近红外补光，在50ms时关闭近红外补光，补光时间为6ms。

作为一种可能的实现方式，如图9所示，图像采集部件1还可以包括镜头13，镜头13可以由多片镜片组成，用于对光线起到聚焦作用，帮助物体在图像传感器12上成像。在图9的(a)中，滤光部件11可以位于镜头13与图像传感器12之间，且图像传感器12可以位于滤光部件11的出光侧。作为一种示例，滤光部件11可以是滤光薄膜，当滤光部件11位于镜头13与图像传感器12之间时，滤光部件11可以贴在镜头13的出光侧的表面。

或者，如图9所示，图像采集部件1还可以包括镜头13，镜头13可以由多片镜片组成，用于对光线起到聚焦作用，帮助物体在图像传感器12上成像。在图9的(b)中，镜头13可以位于滤光部件11与图像传感器12之间，图像传感器12可以位于镜头13的出光侧。作为一种示例，滤光部件11可以是滤光薄膜，当镜头13位于滤光部件11与图像传感器12之间时，滤光部件11可以贴在镜头13的入光侧的表面。

以上述图9中(a)的图像采集装置的结构为例，滤光部件11可以位于镜头13和图像传感器12之间，且图像传感器12位于滤光部件11的出光侧的结构特征为例，图像采集装置采集第一图像信号和第二图像信号的过程为：在图像传感器12进行第一曝光时，第一补光装置21不存在近红外补光，此时拍摄场景中的环境光经由镜头13、滤光部件11之后，由图像传感器12通过第一曝光产生第一图像信号，在图像传感器12进行第二曝光时，第一补光装置21存在近红外补光，此时，拍摄场景中的环境光和第一补光装置21进行近红外补光时被场景中物体反射的近红外光，经由镜头13、滤光部件11之后，由图像传感器12通过第二曝光产生第二图像信号，在图像采集的一个单位时间段内可以有M个第一曝光和N个第二曝光，第一曝光和第二曝光之间可以有多种组合的排序，在图像采集的一个单位时间段中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

第一补光装置21为可以发出近红外光的装置，例如，近红外补光灯等，第一补光装置21可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本公开实施例对此不做限定。在一些示例中，当第一补光装置21以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置21以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置21以频闪方式进行近红外补光，本公开实施例对此不做限定。

其中，第一补光装置21进行近红外补光的时间段可以与第二曝光的曝光时间段重合，也可以大于第二曝光的曝光时间段或者小于第二曝光的曝光时间段，只要在第二曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第一曝光的曝光时间段内不进行近红外补光即可。

作为一种示例，第一补光装置21在第二曝光时进行近红外补光，对于卷帘曝光方式来说，第二曝光的曝光时间段可以是第二图像信号第一行有效图像信号的开始曝光时刻与最后一行有效图像信号的结束曝光时刻之间的时间段，但并不局限于此。例如，第二曝光的曝光时间段也可以是第二图像信号中目标图像信号对应的曝光时间段，目标图像信号为第二图像信号中与目标对象或目标区域所对应的若干行有效图像信号，这若干行有效图像信号的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二曝光的曝光时间段。

需要说明的是，由于第一补光装置21在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光装置111中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光装置111中。因此，在进行近红外补光时通过第一滤光装置111的近红外光可以包括第一补光装置21进行近红外补光时经物体反射进入第一滤光装置111的近红外光，在不进行近红外补光时通过第一滤光装置111的近红外光可以包括第一补光装置21未进行近红外补光时经物体反射进入第一滤光装置111的近红外光。也即是，在进行近红外补光时通过第一滤光装置111的近红外光包括第一补光装置21发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一滤光装置111的近红外光包括环境光中经物体反射后的近红外光。

另外，由于环境光中的近红外光的强度低于第一补光装置21发出的近红外光的强度，因此，第一补光装置21进行近红外补光时通过第一滤光装置111的近红外光的强度高于第一补光装置21未进行近红外补光时通过第一滤光装置111的近红外光的强度。

其中，第一补光装置21进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米等，本申请实施例对此不做限定。另外，入射到第一滤光装置111的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。

由于在存在近红外补光时，通过第一滤光装置111的近红外光可以包括第一补光装置21进行近红外光补光时经物体反射进入第一滤光装置111的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入第一滤光装置111的近红外光的强度较强。但是，在不存在近红外补光时，通过第一滤光装置111的近红外光仅包括环境光中经物体反射进入第一滤光装置111的近红外光。由于没有第一补光装置21进行补光的近红外光，所以此时通过第一滤光装置111的近红外光的强度较弱。因此，根据第二曝光产生并输出的第二图像信号包括的近红外光的强度，要高于根据第一曝光产生并输出的第一图像信号包括的近红外光的强度。

第一补光装置21进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置21和第一滤光装置111有更好的配合，可以对第一补光装置21进行近红外补光的中心波长进行设计，以及对第一滤光装置111的特性进行选择，从而使得在第一补光装置21进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光装置111的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光装置111的近红外光的中心波长尽可能准确，以及通过第一滤光装置111的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置21进行近红外补光的中心波长可以为第一补光装置21发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置21发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置21进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置21进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置21进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置21进行近红外补光的中心波长为940纳米，第一补光装置21进行近红外补光的波长和相对强度之间的关系，第一补光装置21进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在存在近红外补光时，通过第一滤光装置111的近红外光大部分为第一补光装置21进行近红外补光时经物体反射进入第一滤光装置111的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光装置111的近红外光的中心波长与第一补光装置21进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光装置111的近红外补光的中心波长可以为第一滤光装置111的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光装置111的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光装置111的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光装置111的近红外光的波段宽度，第二波段宽度是指被第一滤光装置111阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光装置111的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光装置111的近红外光的波段宽度小于第一滤光装置111阻挡的近红外光的波段宽度。

例如，参见图10，图10为第一滤光装置111可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光装置111的近红外光的波段为650纳米～1100纳米，第一滤光装置111可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光装置111的近红外光的波段宽度小于第一滤光装置111阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光部件，能够通过滤光部件的近红光波段的波段范围可以有所不同，被滤光部件阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一滤光装置111的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光装置111的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一滤光装置111的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。

例如，参见图10，入射到第一滤光装置111的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图10可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

作为一种可能的实现方式，由于人眼容易将补光部件2进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，如图11所示，补光部件2还可以包括第二补光装置22，第二补光装置22用于进行可见光补光。这样，如果第二补光装置22至少在第二曝光的部分曝光时间提供可见光补光，也即是，至少在第二曝光的部分曝光时间段内存在近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光部件2进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置22在第一曝光的曝光时间段内提供可见光补光，由于第一曝光的曝光时间段内可见光的强度不是特别高，因此，在第一曝光的曝光时间段内进行可见光补光时，还可以提高第一图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二补光装置22可以用于以常亮方式进行可见光补光；或者，第二补光装置22可以用于以频闪方式进行可见光补光，其中，至少在第二曝光的部分曝光时间段内存在可见光补光，在第一曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置22可以用于以频闪方式进行可见光补光，其中，至少在第二曝光的整个曝光时间段内不存在可见光补光，在第一曝光的部分曝光时间段内存在可见光补光。当第二补光装置22以常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置21进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第以图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置22以频闪方式进行可见光补光时，可以避免人眼将第一补光装置21进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第一图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置22的补光次数，从而延长第二补光装置22的使用寿命。

作为一种可能的实现方式，如图12所示，滤光部件11还包括第二滤光装置112和切换部件113(图中未示出)，第一滤光装置111和第二滤光装置112均与切换部件113连接，切换部件113，用于将第二滤光装置112切换到图像传感器12的入光侧；在第二滤光装置112切换到图像传感器12的入光侧之后，第二滤光装置112使可见光波段的光通过，阻挡近红外光波段的光，图像传感器12，用于通过曝光产生并输出第三图像信号。

这样，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置21频闪式的补光，第一滤光装置111可以使可见光和部分近红外光通过，使图像传感器12产生并输出包含近红外亮度信息的第二图像信号，以及包含可见光亮度信息的第一图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器12获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较高，采集的图像的色彩还原度不佳，可以通过第二滤光装置112阻止近红外光通过，图像传感器12可以产生并输出的包含可见光亮度信息的第三图像信号，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息。

作为一种可能的实现方式，第一图像信号是第一曝光产生并输出的，第二图像信号可以是第二曝光产生并输出的，在产生并输出第二图像信号和第一图像信号之后，可以对第二图像信号和第一图像信号进行处理。在某些情况下，第二图像信号和第一图像信号的用途可能不同，所以在一些实施例中，第二曝光与第一曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中，可以理解的是，与第一曝光相比，在存在近红外补光时，图像传感器12感应到的近红外光的强度较强，相应地产生并输出的第二图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器12输出的图像信号的亮度越高，曝光增益越小，图像传感器12输出的图像信号的亮度越低，因此，为了保证第二图像信号包含的近红外光的亮度在合适的范围内，在第二曝光和第一曝光的至少一个曝光参数不同的情况下，作为一种示例，第二曝光的曝光增益可以小于第一曝光的曝光增益。这样，在补光部件2进行近红外补光时，图像传感器12产生并输出的第二图像信号包含的近红外光的亮度，不会因补光部件2进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器12得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器12得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第二图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第二图像信号中的运动拖尾较短。在第二曝光和第一曝光的至少一个曝光参数不同的情况下，作为一种示例，第二曝光的曝光时间可以小于第一曝光的曝光时间。这样，在补光部件2进行近红外补光时，图像传感器12产生并输出的第二图像信号包含的近红外光的亮度，不会因补光部件2进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第二图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第二曝光的曝光时间为40毫秒，第一曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第二曝光的曝光增益小于第一曝光的曝光增益时，第二曝光的曝光时间不仅可以小于第一曝光的曝光时间，还可以等于第一曝光的曝光时间。同理，当第二曝光的曝光时间小于第一曝光的曝光时间时，第二曝光的曝光增益可以小于第一曝光的曝光增益，也可以等于第一曝光的曝光增益。

在另一些实施例中，第二图像信号和第一图像信号的用途可以相同，例如第二图像信号和第一图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第二曝光与第一曝光的至少一个曝光参数可以相同。作为一种示例，第二曝光的曝光时间可以等于第一曝光的曝光时间，如果第二曝光的曝光时间和第一曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第二曝光的曝光增益可以等于第一曝光的曝光增益。

值得注意的是，在一些实施例中，当第二曝光的曝光时间等于第一曝光的曝光时间时，第二曝光的曝光增益可以小于第一曝光的曝光增益，也可以等于第一曝光的曝光增益。同理，当第二曝光的曝光增益等于第一曝光的曝光增益时，第二曝光的曝光时间可以小于第一曝光的曝光时间，也可以等于第一曝光的曝光时间。

作为一种可能的实现方式，图像采集装置可以是摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机等。

作为一种可能的实现方式，本公开实施例中，提供了图像传感器12的通道的描述：

图像传感器12包括多个感光通道，多个感光通道包括R感光通道、G感光通道、B感光通道、W感光通道中的至少一种，多个感光通道通过多次卷帘式快门曝光产生并输出第一图像信号和第二图像信号。其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，W感光通道，用于感应全波段的光。这样，由于R感光通道、G感光通道、B感光通道、W感光通道均可以感应近红外波段的光，所以只要有上述感光通道中的至少一种即可。

作为一种可能的实现方式，图像传感器12为红绿蓝白RGBW传感器、红白白蓝RCCB传感器、红绿蓝RGB传感器、或红黄黄蓝RYYB传感器中的任一种传感器；其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，W表示W感光通道。如图13所示，图像传感器12可以为RGBW传感器，或者，如图14所示，图像传感器12可以为RCCB传感器，或者，如图15所示，图像传感器12可以为RGB传感器，或者，如图16所示，图像传感器16可以为RYYB传感器。

在进行第一曝光或进行第二曝光时，通道阵列中的每个感光通道可用于感应一种颜色的光。对于RGBW传感器的通道阵列包括红、绿、蓝、白四种颜色感光通道，R感光通道对红色光波段内的红色光的感应量子效率较高，G感光通道对绿色光波段内的绿色光的感应量子效率较高，B感光通道对蓝色光波段内的蓝色光的感应量子效率较高，W感光通道W对全波段内的白色光的感应量子效率较高。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器12可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器12为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图17，图17中的R曲线代表图像传感器12对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器12对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器12感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器12感应近红外波段的光的感应曲线。

作为一种可能的实现方式，多次卷帘式快门曝光中包括多个曝光周期，每个曝光周期中包括至少一次第一曝光和至少一次第二曝光，也就是说第一曝光与第二曝光可以交替进行，也可以是连续多次第一曝光，再进行第二曝光，或者连续多次第二曝光，再进行第一曝光。例如，曝光周期为1秒，图像传感器12在每个曝光周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个曝光周期内产生的第一图像信号和第二图像信号称为一组图像信号，这样，25个曝光周期内就会产生25组图像信号。

其中，每个曝光周期包括一次第一曝光和一次第二曝光时，多次卷帘式快门曝光中第一曝光和第二曝光的排列顺序至少包括以下几种：

第一种可能的实现方式，每个曝光周期中包括一次第一曝光和一次第二曝光，排列顺序为第一曝光、第二曝光。例如，如图18所示，多次卷帘式快门曝光中的第1次曝光、第3次曝光、第5次曝光等奇数次曝光均为第一曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二曝光。

第二种可能的实现方式，每个曝光周期中包括一次第一曝光和一次第二曝光，排列顺序为第二曝光、第一曝光。例如，如图19所示，多次卷帘式快门曝光中的第1次曝光、第3次曝光、第5次曝光等奇数次曝光均为第二曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一曝光。

其中，如图20所示，每个曝光周期包括两次第一曝光和一次第二曝光，排列顺序为第一曝光、第一曝光、第二曝光，多次卷帘式快门曝光中第一曝光和第二曝光的排列顺序可以为第一曝光、第一曝光、第二曝光、第一曝光、第一曝光、第二曝光等。

另外，每个曝光周期包括两次第二曝光和一次第一曝光，排列顺序为第二曝光、第二曝光、第一曝光，多次卷帘式快门曝光中第一曝光和第二曝光的排列顺序可以为第二曝光、第二曝光、第一曝光、第二曝光、第二曝光、第一曝光等。

需要说明的是，上述仅提供了几种第一曝光和第二曝光的可能的实现方式，实际应用中，不限于上述几种可能的实现方式，本公开实施例对此不做限定。

作为一种可能的实现方式，可以基于环境光，调整曝光时间，相应的处理可以如下：

当环境光的亮度小于第一数值时，如果进行第一曝光时采用的曝光参数中的曝光时间不是第二数值，则控制进行第一曝光时采用的曝光参数中的曝光时间更新为第二数值，如果进行第二曝光时采用的曝光参数中的曝光时间不是第三数值，则控制进行第二曝光时采用的曝光参数中的曝光时间更新为第三数值；当环境光的亮度大于或等于第一数值时，如果进行第一曝光时采用的曝光参数中的曝光时间不是第四数值，则控制进行第一曝光时采用的曝光参数中的曝光时间更新为第四数值，如果进行第二曝光时采用的曝光参数中的曝光时间不是第五数值，则控制进行第二曝光时采用的曝光参数中的曝光时间更新为第五数值，其中，第二数值大于第四数值，第三数值小于第五数值。

其中，第一数值、第二数值、第三数值、第四数值和第五数值均可以提前设置，存储在图像采集装置中。第二数值大于第四数值，第三数值小于第五数值。

在实施中，在进行曝光时，图像传感器12可以确定当前环境光的亮度，可以是通过光线传感器检测得到，判断环境光的亮度与第一数值的大小。在环境光的亮度小于第一数值时，如果进行第一曝光时采用的曝光时间不是第二数值，则控制进行第一曝光时采用的曝光时间更新为第二数值，以后就使用的曝光时间即为第二数值，并且如果进行第二曝光时采用的曝光时间不是第三数值，则控制进行第二曝光时采用的曝光时间更新为第三数值。例如，一般第一曝光的曝光时间为10毫秒，第二曝光的曝光时间为15毫秒，在环境光的亮度小于第一数值时，第一曝光的曝光时间可以更新为15毫秒，第二曝光的曝光时间可以更新为10毫秒，这样，在环境光亮度较低时，可以适当的延长第一曝光的曝光时间，并且适当的缩短第二曝光的曝光时间，可以使第一图像信号的色彩、清晰度和信噪比均增加。上述更新为第二数值和第三数值，一般是使多次卷帘式快门曝光的总曝光时间不变。

在环境光的亮度大于或等于第一数值时，如果进行第一曝光时采用的曝光时间不是第四数值，则控制进行第一曝光时采用的曝光时间更新为第四数值，并且如果进行第二曝光时采用的曝光时间不是第五数值，则控制进行第二曝光时采用的曝光时间更新为第五数值。

这样，在光线比较暗时，适当的延长曝光时间，可以使获取的第一图像信号亮度比较高，在光线比较亮时，适当的缩短曝光时间，可以避免过度曝光。

作为一种可能的实现方式，在进行图像拍摄之前，图像传感器12、补光部件2中分别已经配置好何时进行第一曝光，何时进行第二曝光，并配置好每次曝光时，补光部件2和图像传感器12分别的处理方式，这样，图像传感器12和补光部件2可以分别在第一曝光时，各自执行自己的处理。例如，在10毫秒时，补光部件2关闭，并且图像传感器12采集第一图像信号。

作为一种可能的实现方式，本公开实施例中的图像采集装置中，还可以包括一个控制器，控制器分别与图像采集部件1、补光部件2电性连接，也即控制器可以分别与图像采集部件1、补光部件2电性连接。控制器可以控制图像传感器12何时开始第一曝光，何时开始第二曝光，以实现第一曝光和第二曝光。

作为一种可能的实现方式，本公开实施例中可以通过手动的方式来控制何时开启补光部件2，何时关闭补光部件2。

需要说明的是，上述传感器仅为举例，凡是可以用于感应至少一种感应红、绿、蓝中一种可见光、以及用于感应近红外光，均可以应用于本公开实施例。

需要说明的是，本公开实施中提到的曝光时间均是指每次曝光时每行的曝光时间，也即第二曝光的曝光时间为10毫秒时，第二曝光产生的第二图像信号的每一行有效图像信号的曝光时间均为10毫秒。

还需要说明的是，频闪指补光灯在第二曝光进行近红外补光时开启，在第一曝光时关闭，形成的闪烁。

本公开实施例中，利用图像传感器的曝光时序来控制补光部件的近红外补光时序，以便存在近红外补光时通过第二曝光产生第二图像信号，不存在近红外补光时通过第一曝光产生第一图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，使得该图像采集装置更加简便，降低实现难度。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同，因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。

需要说明的是，上述图像采集装置可以应用于任何确定第一图像信号和第二图像信号的场景中，本公开实施例不做限定。

本公开实施例中，还提供了一种图像采集的方法，应用于上述图像采集装置，图像采集装置包括：图像传感器、补光器部件和滤光部件，补光部件包括第一补光装置，滤光部件包括第一滤光装置，如图21所示，该方法的执行流程可以如下：

步骤2101，通过第一补光装置进行近红外补光，其中，在第一曝光时不进行近红外补光，在第二曝光时进行近红外补光，第二曝光时进行近红外补光的开始时刻是至少根据第一时刻确定的，第二曝光时进行近红外补光的结束时刻是至少根据第二时刻确定的。

步骤2102，通过第一滤光装置使可见光和部分近红外光通过。

步骤2103，通过图像传感器进行多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，其中，第一图像信号是根据第一曝光产生的图像信号，第二图像信号是根据第二曝光产生的图像信号；第二图像信号包括多行有效图像信号，第二曝光为当前曝光时，第一时刻是当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，第二时刻是当前曝光产生的第二图像信号的第一行有效图像信号的结束曝光时刻。

第二曝光时进行近红外补光的开始时刻不早于第一时刻。

作为一种可能的实现方式，第二曝光时进行近红外补光的结束时刻不晚于第二时刻。

作为一种可能的实现方式，第二曝光时进行近红外补光的开始时刻不早于第一时刻，且第二曝光时进行近红外补光的结束时刻不晚于第二时刻。

作为一种可能的实现方式，当前曝光产生的第二图像信号中任一行有效图像信号的曝光时长不小于当前曝光产生的第二图像信号的有效图像信号的读出时长。

作为一种可能的实现方式，当前曝光产生的第二图像信号中每一行有效图像信号的补光时长相同。

作为一种可能的实现方式，多次卷帘式快门曝光中包括多个曝光周期，每个曝光周期中包括至少一次第一曝光和至少一次第二曝光。

作为一种可能的实现方式，图像采集部件还包括镜头；

滤光部件位于镜头与图像传感器之间，且图像传感器位于滤光部件的出光侧；或者，

镜头位于滤光部件与图像传感器之间，且图像传感器位于镜头的出光侧。

作为一种可能的实现方式，图像传感器包括多个感光通道，多个感光通道包括R感光通道、G感光通道、B感光通道、W感光通道中的至少一种，多个感光通道通过多次卷帘式快门曝光产生并输出第一图像信号和第二图像信号；

其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，W感光通道，用于感应全波段的光。

作为一种可能的实现方式，图像传感器为红绿蓝白RGBW传感器、红白白蓝RCCB传感器、红绿蓝RGB传感器、或红黄黄蓝RYYB传感器中的任一种传感器；

其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，W表示W感光通道。

作为一种可能的实现方式，第一曝光与第二曝光的至少一个曝光参数不同，至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。

作为一种可能的实现方式，第二曝光的曝光增益小于第一曝光的曝光增益。

作为一种可能的实现方式，第一曝光和第二曝光的至少一个曝光参数相同，至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。

作为一种可能的实现方式，第一曝光的曝光时间等于第二曝光的曝光时间。

作为一种可能的实现方式，滤光部件还包括第二滤光装置和切换部件，第一滤光装置和第二滤光装置均与切换部件连接；

切换部件，用于将第二滤光装置切换到图像传感器的入光侧；

在第二滤光装置切换到图像传感器的入光侧之后，第二滤光装置使可见光波段的光通过，阻挡近红外光波段的光，图像传感器，用于通过曝光产生并输出第三图像信号。

作为一种可能的实现方式，补光部件还包括第二补光装置；

第二补光装置用于以常亮方式进行可见光补光；或者，

第二补光装置用于以频闪方式进行可见光补光，其中，至少在第二曝光的部分曝光时间段内存在可见光补光，在第一曝光的整个曝光时间段内不存在可见光补光；或者，

第二补光装置用于以频闪方式进行可见光补光，其中，至少在第二曝光的整个曝光时间段内不存在可见光补光，在第一曝光的部分曝光时间段内存在可见光补光。

作为一种可能的实现方式，第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光装置的近红外光的中心波长和/或波段宽度达到约束条件。

作为一种可能的实现方式，第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

作为一种可能的实现方式，约束条件包括：通过第一滤光装置的近红外光的中心波长与第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，波长波动范围为0～20纳米；或者，

通过第一滤光装置的近红外光的半带宽小于或等于50纳米；或者，

第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光装置的近红外光的波段宽度，第二波段宽度是指被第一滤光装置阻挡的近红外光的波段宽度；或者，

第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。

需要说明的是，图像采集的方法中的处理与前面图3所示的图像采集装置中的进行曝光的处理相同，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (18)

1.一种图像采集装置，其特征在于，所述图像采集装置包括：

图像采集部件和补光部件，所述图像采集部件包括滤光部件和图像传感器；所述滤光部件，包括第一滤光装置、第二滤光装置和切换部件，所述第一滤光装置和所述第二滤光装置均与所述切换部件连接；所述切换部件，用于将所述第一滤光装置或所述第二滤光装置切换到所述图像传感器的入光侧；

所述图像传感器，用于在所述第一滤光装置切换到所述图像传感器的入光侧之后，通过多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一曝光产生的图像信号，所述第二图像信号是根据第二曝光产生的图像信号，所述第一曝光和所述第二曝光为所述多次卷帘式快门曝光中的相邻两次曝光，所述第一曝光和所述第二曝光交替进行，所述第一图像信号和所述第二图像信号为单个帧图像信号；

在所述第一滤光装置切换到所述图像传感器的入光侧之后，所述第一滤光装置使可见光和部分近红外光通过；

所述补光部件，包括第一补光装置，在所述第一滤光装置切换到所述图像传感器的入光侧之后，所述第一补光装置用于在所述第一曝光时，不进行近红外补光，并在进行所述第二曝光时，进行近红外补光，所述第二曝光时进行近红外补光的开始时刻不早于第一时刻，所述第二曝光时进行近红外补光的结束时刻不晚于第二时刻；其中，所述第二图像信号包括多行有效图像信号，所述第二曝光为当前曝光时，所述第一时刻是所述当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，所述第二时刻是所述当前曝光产生的第二图像信号的第一行有效图像信号的结束曝光时刻；

在所述第二滤光装置切换到所述图像传感器的入光侧之后，所述第二滤光装置使可见光波段的光通过，阻挡近红外光波段的光，所述图像传感器，用于通过曝光产生并输出第三图像信号。

2.根据权利要求1所述的图像采集装置，其特征在于，所述当前曝光产生的第二图像信号中任一行有效图像信号的曝光时长不小于所述当前曝光产生的第二图像信号的有效图像信号的读出时长。

3.根据权利要求1所述的图像采集装置，其特征在于，所述当前曝光产生的第二图像信号中每一行有效图像信号的补光时长相同。

4.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述多次卷帘式快门曝光中包括多个曝光周期，每个曝光周期中包括至少一次所述第一曝光和至少一次所述第二曝光。

5.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述图像采集部件还包括镜头；

所述滤光部件位于所述镜头与所述图像传感器之间，且所述图像传感器位于所述滤光部件的出光侧；或者，

所述镜头位于所述滤光部件与图像传感器之间，且所述图像传感器位于所述镜头的出光侧。

6.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述图像传感器包括多个感光通道，所述多个感光通道包括R感光通道、G感光通道、B感光通道、W感光通道中的至少一种，所述多个感光通道通过所述多次卷帘式快门曝光产生并输出所述第一图像信号和所述第二图像信号；

其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，W感光通道，用于感应全波段的光。

7.根据权利要求6所述的图像采集装置，其特征在于，所述图像传感器为红绿蓝白RGBW传感器、红白白蓝RCCB传感器、红绿蓝RGB传感器、或红黄黄蓝RYYB传感器中的任一种传感器；

其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，W表示W感光通道。

8.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述第一曝光与所述第二曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

9.根据权利要求8所述的图像采集装置，其特征在于，所述第二曝光的曝光增益小于所述第一曝光的曝光增益。

10.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述第一曝光和所述第二曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

11.根据权利要求10所述的图像采集装置，其特征在于，所述第一曝光的曝光时间等于所述第二曝光的曝光时间。

12.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述补光部件还包括第二补光装置；

所述第二补光装置用于以常亮方式进行可见光补光；或者，

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第二曝光的部分曝光时间段内存在可见光补光，在所述第一曝光的整个曝光时间段内不存在可见光补光；或者，

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第二曝光的整个曝光时间段内不存在可见光补光，在所述第一曝光的部分曝光时间段内存在可见光补光。

13.根据权利要求1至3任一所述的图像采集装置，其特征在于，所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光装置的近红外光的中心波长和/或波段宽度达到约束条件。

14.根据权利要求13所述的图像采集装置，其特征在于，所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

15.根据权利要求13所述的图像采集装置，其特征在于，所述约束条件包括：通过所述第一滤光装置的近红外光的中心波长与所述第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；或者，

通过所述第一滤光装置的近红外光的半带宽小于或等于50纳米；或者，

第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一滤光装置的近红外光的波段宽度，所述第二波段宽度是指被所述第一滤光装置阻挡的近红外光的波段宽度；或者，

第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。

16.一种图像采集的方法，其特征在于，应用于图像采集装置，所述图像采集装置包括：图像传感器、补光器部件和滤光部件，所述补光部件包括第一补光装置，所述滤光部件包括第一滤光装置、第二滤光装置和切换部件，所述第一滤光装置和所述第二滤光装置均与所述切换部件连接，在通过所述切换部件将所述第一滤光装置切换到所述图像传感器的入光侧时，所述方法包括：

通过所述第一补光装置进行近红外补光，其中，在第一曝光时不进行近红外补光，在第二曝光时进行近红外补光，所述第二曝光时进行近红外补光的开始时刻不早于第一时刻，所述第二曝光时进行近红外补光的结束时刻不晚于第二时刻；通过所述第一滤光装置使可见光和部分近红外光通过；通过所述图像传感器进行多次卷帘式快门曝光感应并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一曝光产生的图像信号，所述第二图像信号是根据所述第二曝光产生的图像信号；所述第二图像信号包括多行有效图像信号，所述第二曝光为当前曝光时，所述第一时刻是所述当前曝光产生的第二图像信号的最后一行有效图像信号的开始曝光时刻，所述第二时刻是所述当前曝光产生的第二图像信号的第一行有效图像信号的结束曝光时刻，所述第一曝光和所述第二曝光为所述多次卷帘式快门曝光中的相邻两次曝光，所述第一曝光和所述第二曝光交替进行，所述第一图像信号和所述第二图像信号为单个帧图像信号；

在通过所述切换部件将所述第二滤光装置切换到所述图像传感器的入光侧之后，所述方法还包括：通过所述第二滤光装置使可见光波段的光通过，阻挡近红外光波段的光，通过所述图像传感器的曝光产生并输出第三图像信号。

17.根据权利要求16所述的方法，其特征在于，所述当前曝光产生的第二图像信号中任一行有效图像信号的曝光时长不小于所述当前曝光产生的第二图像信号的有效图像信号的读出时长。

18.根据权利要求16所述的方法，其特征在于，所述当前曝光产生的第二图像信号中每一行有效图像信号的补光时长相同。

Images