CN110505376B - 图像采集装置及方法 - Google Patents

Abstract

本申请提供一种图像采集装置及方法，其中，该图像采集装置包括：镜头组件、图像传感器、补光器和滤光组件，补光器包括第一补光装置，滤光组件包括第一滤光片。该第一补光装置用于进行近红外补光，其中，至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光，第一滤光片使可见光和部分近红外光通过，这样图像传感器通过多次曝光中的第一曝光序列和第二曝光序列产生并输出第一图像信号序列和第二图像信号序列。该技术方案中，不需要采用分光机构和多个图像传感器便可以实现多图像信息的采集，结构简单，降低了图像采集装置的成本，提高了产品的竞争力。

Description

图像采集装置及方法

技术领域

本申请涉及信息处理技术领域，尤其涉及一种图像采集装置及方法。

背景技术

随着科学技术的迅速发展，安全防护产品的应用已经应用到各个领域，例如，政府部门、大型企业、社区和家庭。其中，监控系统属于安全防护产品的重要组成部分，而图像采集可以为后续数据分析提供来源，以实现各种应用场景的不同需求。

在现有技术中，为了得到准确可靠、并含有丰富信息量的图像，图像采集系统包括：镜头、多个图像传感器以及位于镜头和多个图像传感器之间的分光机构，使得自镜头入射到分光机构的光线分别被多个图像传感器接收后输出包含不同信息量的多个图像，从而实现图像信息的采集。

然而，由于现有图像采集系统采用分光机构和多个图像传感器，存在结构复杂和成本高的问题。

发明内容

本申请提供一种图像采集装置及方法，以克服现有图像采集系统存在的结构复杂和成本高的问题。

本申请第一方面提供的一种图像采集装置，包括：镜头组件、图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧；

所述图像传感器用于通过多次曝光产生并输出第一图像信号序列和第二图像信号序列，其中，所述第一图像信号序列包括依次输出的N帧图像信号，所述N帧图像信号是根据第1、…、N预设曝光产生的图像信号，所述第1、…、N预设曝光组成第一曝光序列，所述第二图像信号序列包括依次输出的M帧图像信号，所述M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，所述第N+1、…、N+M预设曝光组成第二曝光序列；所述N和M均为大于或等于1的整数；

所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一曝光序列的曝光时间段内存在近红外补光，在所述第二曝光序列的曝光时间段内不存在近红外补光；

所述滤光组件包括第一滤光片，所述第一滤光片用于使可见光和部分近红外光通过。

本申请第二方面提供一种图像采集方法，应用于图像采集装置，所述图像采集装置包括镜头组件、图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述方法包括：

通过所述第一补光装置进行近红外补光，其中，至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光；

通过所述第一滤光片使可见光和部分近红外光通过；

通过所述图像传感器进行多次曝光，以产生并输出第一图像信号序列和第二图像信号序列，其中，所述第一图像信号序列包括依次输出的N帧图像信号，所述N帧图像信号是根据第1、…、N预设曝光产生的图像信号，所述第1、…、N预设曝光组成所述第一曝光序列，所述第二图像信号序列包括依次输出的M帧图像信号，所述M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，所述第N+1、…、N+M预设曝光组成所述第二曝光序列；所述N和M均为大于或等于1的整数。

本申请实施例提供的图像采集装置及方法，其中，该装置包括镜头组件、图像传感器、补光器和滤光组件，该图像传感器位于滤光组件的出光侧，该图像传感器通过多次曝光产生并输出包括依次输出的N帧图像信号的第一图像信号序列和包括依次输出的M帧图像信号的第二图像信号序列，该N帧图像信号是根据第1、…、N预设曝光产生的图像信号，该第1、…、N预设曝光组成第一曝光序列，该M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，该第N+1、…、N+M预设曝光组成第二曝光序列，该补光器包括的第一补光装置进行近红外补光，其中，至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光，该滤光组件包括的第一滤光片可以使可见光和部分近红外光通过。该技术方案中，不需要采用分光机构和多个图像传感器便可以实现多图像信息的采集，结构简单，降低了图像采集装置的成本，提高了产品的竞争力。

附图说明

图1为本申请实施例提供的一种图像采集装置结构示意图；

图2为本申请实施例中第一补光装置的开启时间的分布示意图；

图3为一种卷帘曝光方式的示意图；

图4为一种全局式曝光方式的示意图；

图5为另一种全局式曝光方式的示意图；

图6为再一种全局式曝光方式的示意图；

图7是本申请实施例提供的一种RGB传感器的示意图；

图8是本申请实施例提供的一种RGBW传感器的示意图；

图9是本申请实施例提供的一种RCCB传感器的示意图；

图10是本申请实施例提供的一种RYYB传感器的示意图；

图11是本申请实施例提供的一种第一滤光片通过的光线的波长与通过率之间的关系示意图；

图12是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图；

图13为第一滤光片可以通过的光的波长与通过率之间的关系的一种示意图；

图14为本申请实施例提供的另一种图像采集装置的结构示意图；

图15是本申请实施例提供的一种图像采集方法的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例针对现有图像采集系统存在的结构复杂和成本高等问题，提出了一种图像采集装置，包括镜头组件、图像传感器、补光器和滤光组件，该图像传感器位于滤光组件的出光侧，该图像传感器通过多次曝光产生并输出包括依次输出的N帧图像信号的第一图像信号序列和包括依次输出的M帧图像信号的第二图像信号序列，该N帧图像信号是根据第1、…、N预设曝光产生的图像信号，该第1、…、N预设曝光组成第一曝光序列，该M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，该第N+1、…、N+M预设曝光组成第二曝光序列，该补光器包括的第一补光装置进行近红外补光，其中，至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光，该滤光组件包括的第一滤光片可以使可见光和部分近红外光通过。该技术方案中，不需要采用分光机构和多个图像传感器便可以实现多图像信息的采集，结构简单，降低了图像采集装置的成本，提高了产品的竞争力。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本申请实施例提供的一种图像采集装置结构示意图。如图1所示，该图像采集装置可以包括：图像传感器01、补光器02、滤光组件03和镜头组件04、，该图像传感器01位于滤光组件03的出光侧。

在本申请的实施例中，该图像传感器01用于通过多次曝光产生并输出第一图像信号序列和第二图像信号序列。其中，该第一图像信号序列包括依次输出的N帧图像信号，该N帧图像信号是根据第1、…、N预设曝光产生的图像信号，该第1、…、N预设曝光组成第一曝光序列，该第二图像信号序列包括依次输出的M帧图像信号，该M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，该第N+1、…、N+M预设曝光组成第二曝光序列；N和M均为大于或等于1的整数。

示例性的，在本申请的实施例中，图像传感器通过多次曝光产生并输出N+M帧图像信号，由于N+M帧图像信号分别是根据第1、…、N、…、N+M预设曝光产生的图像信号，其提升了信号采集能力，有利于提升图像质量。

在本申请的实施例中，该补光器02包括第一补光装置021，该第一补光装置021用于进行近红外补光，其中，至少在上述第一曝光序列的曝光时间段内存在近红外补光，在上述第二曝光序列的曝光时间段内不存在近红外补光。值得说明的是，该曝光时间段通常指有效像素的曝光时间段，有效像素指图像经过处理后输出的像素。

在本申请的实施例中，该滤光组件03包括第一滤光片031，该第一滤光片031用于使可见光和部分近红外光通过。

在本申请实施例中，参见图1所示，滤光组件03可以位于镜头组件04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。

作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头组件04和图像传感器01之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。

示例性的，第一补光装置021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

在本申请的实施例中，作为一种示例，图像采集装置可以是摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机等，补光器02可以位于图像采集装置内，也可以位于图像采集装置的外部。也即是，补光器02可以为图像采集装置的一部分，也可以为独立于图像采集装置的一个器件。当补光器02位于图像采集的外部时，补光器02可以与图像采集装置进行通信连接，可以保证图像采集设备中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一曝光序列的部分曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光。

在本申请的一些实施例中，上述第一曝光序列和第二曝光序列可以是指一个帧周期内的两个曝光序列，第一曝光序列包括N次预设曝光，第二曝光序列包括M次预设曝光，也即，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出第一图像信号序列和第二图像信号序列，该第一图像信号序列包括N帧第一图像信号，该第二图像信号序列包括M帧第二图像信号。

例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生N帧第一图像信号和M帧第二图像信号，上述第一图像信号序列包括N帧第一图像信号，上述第二图像信号序列包括M帧第二图像信号，将一个帧周期内产生的第一图像信号序列和第二图像信号序列称为一组图像信号序列，这样，25个帧周期内就会产生25组图像信号序列。其中，第一曝光序列和第二曝光序列可以是一个帧周期内的两个曝光序列，第一曝光序列可以包括相邻的N次曝光，也可以是一个帧周期内多次曝光中依次排序但不相邻的N次曝光，第二曝光序列可以包括相邻的M次曝光，也可以是一个帧周期内多次曝光中依次排序但不相邻的M次曝光，其中，第一曝光序列和第二曝光序列没有交集。本申请实施例并不限定每个曝光序列包括的至少一次曝光在一个帧周期内的位置关系，其可以根据实际情况确定。

可以理解的是，第一补光装置021为可以发出近红外光的装置，例如，近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。

其中，第一补光装置021进行近红外补光的时间段可以与第一曝光序列的曝光时间段重合，也可以大于第一曝光序列的曝光时间段或者小于第一曝光序列的曝光时间段，只要在第一曝光序列中每个预设曝光的整个曝光时间段或者部分曝光时间段内存在近红外补光，而在第二曝光序列中每个预设曝光的曝光时间段内不存在近红外补光即可。

需要说明的是，第二曝光序列中每个预设曝光的曝光时间段内不存在近红外补光，对于全局曝光方式来说，第二曝光序列中每个预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二曝光序列中每个预设曝光的曝光时间段可以是第二图像信号序列中对应图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。

需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在存在近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不存在近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在存在近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不存在近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。

可选的，以图像采集装置中，滤光组件03可以位于镜头组件04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集装置采集第一图像信号序列和第二图像信号序列的过程为：在图像传感器01进行第1、…、N次预设曝光时，第一补光装置021存在近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头组件04、第一滤光片031之后，由图像传感器01依次通过第1、…、N次预设曝光产生包括N帧图像信号的第一图像信号序列；在图像传感器01进行第N+1、…、N+M次预设曝光时，第一补光装置021不存在近红外补光，此时拍摄场景中的环境光经由镜头组件04、第一滤光片031之后，由图像传感器01依次通过第N+1、…、N+M次预设曝光产生包括M个图像信号的第二图像信号序列。

值得说明的是，在图像采集的一个帧周期内可以第一曝光序列和第二曝光序列，第一曝光序列可以包括N次预设曝光，第二曝光序列可以包括M次预设曝光，M和N的取值可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

此外，本申请实施例也不限定第一曝光序列和第二曝光序列的位置关系，例如，第二曝光序列的M次预设曝光可以位于第一曝光序列的N次预设曝光之前，从而图像传感器可以先输出包括M帧图像信号的第二图像信号序列，再输出包括N帧图像信号的第一图像信号序列。

示例性的，图像采集装置采集第一图像信号序列和第二图像信号序列的过程还可以为：在图像传感器01进行第1、…、M次预设曝光时，第一补光装置021不存在近红外补光，此时拍摄场景中的环境光经由镜头组件04、第一滤光片031之后，由图像传感器01依次通过第1、…、M次预设曝光产生包括M个图像信号的第二图像信号序列，在第一补光装置021存在近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头组件04、第一滤光片031之后，由图像传感器01依次通过第M+1、…、M+N次预设曝光产生包括N帧图像信号的第一图像信号序列。

另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度，从而可以在近红外补光时间段内可获得近红外图像信号，在非补光时间段内获得色彩准确的可见光图像信号。

在实际应用中，作为一种示例，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021频闪式的近红外补光，使图像传感器01产生并输出包含近红外亮度信息的第一图像信号序列，该第一图像信号序列包括第1、…、N帧图像信号，以及包含可见光亮度信息的第二图像信号序列，该第二图像信号序列包括第N+1、…、N+M帧图像，且由于第一图像信号序列和第二图像信号序列均由同一个图像传感器01获取，所以第一图像信号序列中每帧图像信号的视点与第二图像信号序列中每帧图像信号的视点相同，从而通过第一图像信号序列和第二图像信号序列可以获取完整的外部场景的信息。

作为另一种示例，在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器01产生并输出的包含可见光亮度信息的第三图像信号序列，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息。

本申请实施例提供的图像采集装置，通过控制图像传感器的曝光时序与第一补光装置的近红外补光时序的关系，使得图像传感器在第一曝光序列包括的第1、…、N预设曝光的过程中进行近红外补光并产生包括N帧图像信号的第一图像信号序列，在第二曝光序列包括第N+1、…、N+M预设曝光的过程中不进行近红外补光并产生包括M帧图像信号的第二图像信号序列，这样的数据采集方式，无需采用分光机构和多个图像传感器，通过一个图像传感器便可以直接采集到亮度信息不同的第一图像信号序列和第二图像信号序列，降低了结构复杂度和设备成本。

示例性的，在本申请的实施例中，为了能够直接采集到亮度信息不同的第一图像信号序列和第二图像信号序列，第一补光装置021需要至少在第一曝光序列的每个预设曝光的部分曝光时间段进行近红外补光，在第二曝光序列的每个预设曝光的曝光时间段内不进行近红外补光。

具体的，第一补光装置021进行近红外补光的时间段可以与第一曝光序列中每个预设曝光的曝光时间段重合，也可以大于每个预设曝光的曝光时间段或者小于每个预设曝光的曝光时间段，只要在第一曝光序列中每个预设曝光的整个曝光时间段或者部分曝光时间段内存在近红外补光，而在第二曝光序列中每个预设曝光的曝光时间段内不存在近红外补光即可。

示例性的，下面结合图像传感器的两种不同曝光方式对预设曝光和补光的关系进行说明。具体的，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。

在本申请的一种可能设计中，该图像传感器01用于采用卷帘曝光方式进行多次曝光。

在本申请的实施例中，上述第一曝光序列和上述第二曝光序列循环排列。对于当前第一曝光序列对应的近红外补光，该近红外补光的时间段与当前第一曝光序列之前的最邻近第二曝光序列的第N+M预设曝光，以及与当前第一曝光序列之后的最邻近第二曝光序列的第N+1预设曝光的曝光时间段均不存在交集。

例如，图2为本申请实施例中第一补光装置的开启时间的分布示意图。如图2所示，第一补光装置021的开启时刻不早于最接近的第N+M图像信号最后一行有效图像的曝光结束时刻，该第一补光装置021的关闭时刻不晚于最接近的第N+1图像信号第一行有效图像的曝光开始时刻，这样可以减轻产品的光污染问题，提高补光效率。

另外，由于卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以示为读出时间。

示例性地，参见图3，图3为一种卷帘曝光方式的示意图。如图3所示，水平坐标轴表示时间，垂直坐标轴表示图像传感器的行序号，空心圆点表示每行曝光的开始时刻，实心圆点表示每行曝光的结束时刻，图像传感器的第一行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第二行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

在本申请的另一种可能设计中，该图像传感器01用于采用全局曝光方式进行多次曝光。

全局曝光方式是指图像传感器不同行的曝光时间完全重合，每一行的开始曝光时间和结束曝光时刻完全一致。因而，在本申请的实施例中，对于第一曝光序列对应的近红外补光，该近红外补光的时间段与第一曝光序列最邻近的第二曝光序列的曝光时间段不存在交集。

具体的，该近红外补光的时间段是第一曝光序列中第1、…、N预设曝光的曝光时间段的子集，或者，该近红外补光的时间段与第一曝光序列中第1、…、N预设曝光的曝光时间段存在交集，或者，该第一曝光序列中第1、…、N预设曝光的曝光时间段是近红外补光的时间段的子集。这样，即可实现至少在第一曝光序列包含的第1、…、N预设曝光的部分曝光时间段内存在近红外补光，在第二曝光序列包含的第N+1、…、N+M预设曝光的整个曝光时间段内不存在近红外补光，从而不会对第二曝光序列包含的预设曝光造成影响。

示例性的，图4为一种全局式曝光方式的示意图。如图4所示，对于第一曝光序列对应的近红外补光，近红外补光的时间段是第一曝光序列中第1、…、N预设曝光的曝光时间段的子集，其与最邻近的第二曝光序列的预设曝光的曝光时间段不存在交集。图5为另一种全局式曝光方式的示意图。如图5所示，对于第一曝光序列对应的近红外补光，该近红外补光的时间段与第一曝光序列中第1、…、N预设曝光的曝光时间段存在交集，近红外补光的时间段与最邻近的第二曝光序列(例如，第N+1预设曝光)的曝光时间段不存在交集，当然，近红外补光的时间段与最邻近的第二曝光序列的第N+M预设曝光的曝光时间段也不存在交集，此处不再赘述。图6为再一种全局式曝光方式的示意图。如图6所示，对于第一曝光序列对应的近红外补光，该第一曝光序列中第1、…、N预设曝光的曝光时间段是近红外补光的时间段的子集，即近红外补光的时间段与该第一曝光序列的前一个第二曝光序列中第N+M预设曝光以及该第一曝光序列的后一个第二曝光序列中第N+1曝光时间段均不存在交集。

值得说明的是，本申请实施例并不对“至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光”的实现方式进行限定，其可以根据实际需要确定。

例如，第二曝光序列中每个预设曝光的曝光时间段也可以是第二图像信号序列的每个图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号序列的每个图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二曝光序列中每个预设曝光的曝光时间段。

示例性的，在本申请的一种实施例中，第一曝光序列与第二曝光序列的至少一个曝光参数不同，该至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，该曝光增益包括模拟增益，和/或，数字增益。

示例性的，第一曝光序列与第二曝光序列的曝光增益不同。

在本实施例中，第一图像信号序列是第一曝光序列产生并输出的，第二图像信号序列是第二曝光序列产生并输出的，在产生并输出第一图像信号序列和第二图像信号序列之后，可以对第一图像信号序列和第二图像信号序列进行处理。在某些情况下，第一图像信号序列和第二图像信号序列的用途可能不同，所以在一些实施例中，第一曝光序列与第二曝光序列的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中，可以理解的是，与第二曝光序列相比，在存在近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号序列中各图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一图像信号序列包含的近红外光的亮度在合适的范围内，在第一曝光序列和第二曝光序列的至少一个曝光参数不同的情况下，作为一种示例，第一曝光序列的曝光增益可以小于第二曝光序列的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号序列中各图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动对象在图像信号中的运动拖尾越短。因此，为了保证第一图像信号序列中各图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动对象在第一图像信号序列中各图像信号的运动拖尾较短。

在第一曝光序列和第二曝光序列的至少一个曝光参数不同的情况下，作为一种示例，第一曝光序列中各预设曝光的曝光时间可以小于第二曝光序列中各预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号序列中各图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高，并且较短的曝光时间使外部场景中的运动对象在第一图像信号序列中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一曝光序列中各预设曝光的曝光时间为40毫秒，第二曝光序列中各预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一曝光序列中各预设曝光的曝光增益小于第二曝光序列中各预设曝光的曝光增益时，第一曝光序列中各预设曝光的曝光时间不仅可以小于第二曝光序列中各预设曝光的曝光时间，还可以等于第二曝光序列中各预设曝光的曝光时间。同理，当第一曝光序列中各预设曝光的曝光时间小于第二曝光序列中各预设曝光的曝光时间时，第一曝光序列中各预设曝光的曝光增益可以小于第二曝光序列中各预设曝光的曝光增益，也可以等于第二曝光序列中各预设曝光的曝光增益。

在另一些实施例中，第一图像信号序列和第二图像信号序列的用途可以相同，例如第一图像信号序列和第二图像信号序列都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一曝光序列中各预设曝光与第二曝光序列中各预设曝光的至少一个曝光参数可以相同。作为一种示例，第一曝光序列中各预设曝光的曝光时间可以等于第二曝光序列中各预设曝光的曝光时间，如果第一曝光序列中各预设曝光的曝光时间和第二曝光序列中各预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号序列的清晰度不同。同理，作为另一种示例，第一曝光序列中各预设曝光的曝光增益可以等于第二曝光序列中各预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一曝光序列中各预设曝光的曝光时间等于第二曝光序列中各预设曝光的曝光时间时，第一曝光序列中各预设曝光的曝光增益可以小于第二曝光序列中各预设曝光的曝光增益，也可以等于第二曝光序列中各预设曝光的曝光增益。同理，当第一曝光序列中各预设曝光的曝光增益等于第二曝光序列中各预设曝光的曝光增益时，第一曝光序列中各预设曝光的曝光时间可以小于第二曝光序列中各预设曝光的曝光时间，也可以等于第二曝光序列中各预设曝光的曝光时间。

此外，在本申请的实施例中，关于第一曝光序列中的各个预设曝光、第二曝光序列中的各个预设曝光的曝光参数也可以有多种不同的组合方式，例如：

第一曝光序列中各个预设曝光的至少一个曝光参数相同，第二曝光序列中各个预设曝光的至少一个曝光参数相同；

或者，第一曝光序列中各个预设曝光的所有曝光参数均不同，第二曝光序列中各个预设曝光的所有曝光参数均不同。

值得说明的是，第一曝光序列中各个预设曝光的至少一个曝光参数相同可以包括：第一曝光序列中各个预设曝光的曝光参数部分相同(也即，部分不同)或全部相同，同理，第二曝光序列中各个预设曝光的至少一个曝光参数相同可以包括：第二曝光序列中各个预设曝光的曝光参数部分相同(也即，部分不同)或全部相同。

关于第一曝光序列和第二曝光序列中各曝光参数的不同组合方式可以有很多种，其可以根据实际情况进行选择，此处不再赘述。

在本申请的实施例中，利用一颗图像传感器，通过多次曝光并输出N+M帧图像信号，其中，，第1、…、N预设曝光可以采用相同的曝光参数，第N+1、…、M预设曝光采用相同的曝光参数，这样可以简化曝光控制逻辑，提升系统稳定性。

进一步的，在上述实施例的基础上，该图像采集装置还可以包括：处理组件。

可选的，该处理组件用于对第一图像信号序列包括的N帧图像信号进行加权，得到第一合成图像信号，其中，该N为大于1的整数；

和/或

该处理组件用于对第二图像信号序列包括的M帧图像信号进行加权，得到第二合成图像信号，其中，所述M为大于1的整数。

示例性的，在本申请的实施例中，若N为大于1的整数，则上述第一图像序列中包括多个第一图像信号，这时，可以通过加权的方式对N帧图像信号进行处理，得到第一合成图像信号，进而将该第一合成图像信号应用到不同的场景中。

同理，若M为大于1的整数，则上述第二图像序列中包括多个第二图像信号，这时，可以通过加权的方式对M帧图像信号进行处理，得到第二合成图像信号，进而将该第二合成图像信号应用到不同的场景中。

本申请中通过利用多帧图像进行合成得到第一合成图像信号和/或第二合成图像信号，提升了信号采集能力，有利于提升图像质量。

示例性的，在本申请的实施例中，该图像传感器01包括多个感光通道，每个感光通道均具有感应近红外波段的光的能力。

示例性的，该图像传感器01包括多个感光通道，每个感光通道均具有感应近红外波段的光的能力的同时，每个感光通道还用于感应至少一种可见光波段的光。

也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光。可选地，该多个感光通道可以用于感应至少两种不同的可见光波段的光。

在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。

由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。

也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。

其中，图7是本申请实施例提供的一种RGB传感器的示意图。图8是本申请实施例提供的一种RGBW传感器的示意图。图9是本申请实施例提供的一种RCCB传感器的示意图。图10是本申请实施例提供的一种RYYB传感器的示意图。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图7，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图8，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图9，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图10。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，图11是本申请实施例提供的一种第一滤光片通过的光线的波长与通过率之间的关系示意图。参见图11，图11中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。

示例性的，在本申请提供的图像采集装置中，入射到第一滤光片031的近红外补光的波段范围为第一参考波段范围，该第一参考波段范围为650纳米～1100纳米。

作为一种示例，第一补光装置021进行近红外补光的波段范围为预设的参考波段范围，在本实施例中，该预设的参考波段范围称为第二参考波段范围。其中，该第二参考波段范围为700纳米～800纳米，或者，900纳米～1000纳米。

本申请实施例并不对第一参考波段范围和第二参考波段范围的具体取值进行限定，其可以根据实际需要确定。

在本申请的实施例中，当第一补光装置021进行近红外光补光时，通过第一滤光片031的近红外光可以包括该第一补光装置021发出的近红外光补光中经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光，因而，在第一曝光序列对应的曝光时间段内进入滤光组件03的近红外光的强度较强。

当第一补光装置021不进行近红外光补光时，通过第一滤光片031的近红外光只包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以，在第二曝光序列对应的曝光时间段内通过第一滤光片031的近红外光的强度较弱。

因此，在本实施例中，根据第一曝光序列产生并输出的第一图像信号序列包括的近红外光的强度，要高于根据第二曝光序列产生并输出的第二图像信号序列包括的近红外光的强度。

示例性的，在本申请的一种可能设计中，该第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度达到约束条件。

可选的，第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

作为一种示例，第一补光装置021进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为810±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

在本实施例中，该设定特征波长或者设定特征波长范围可以预先设置。也即，设定特征波长范围可以为750±10纳米的波长范围、780±10纳米的波长范围、810±10纳米的波长范围、940±10纳米的波长范围中的任意一种。

可选的，在本实施例中，第一补光装置发出的近红外补光，其能量分布在700nm～1000nm范围内，并且，主要集中在700nm～800nm范围内，或者集中于900nm～1000nm范围内，其相应的减轻了常见850nm红外灯造成的干扰，保证色彩准确性。

可选的，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

示例性地，图12是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图。如图12所示，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图12所示。从图12可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在存在近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。

例如，参见图13，图13为第一滤光片可以通过的光的波长与通过率之间的关系的一种示意图。如图13所示，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度，从而可以保证有效利用红外补光的前提下，尽量少受其他光源干扰。

例如，参见图13，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图13可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

由于第一补光装置021至少在第一曝光序列中每个预设曝光的部分曝光时间段内提供近红外补光，在第二曝光序列中每个预设曝光的整个曝光时间段内不提供近红外补光，而第一曝光序列和第二曝光序列为图像传感器01的多次曝光中的分别由N次曝光和M次曝光组成的两个曝光序列，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

示例性的，图14为本申请实施例提供的另一种图像采集装置的结构示意图。如图14所示，在本实施例中，上述滤光组件03还包括第二滤光片032和切换部件033，第一滤光片031和该第二滤光片032均与切换部件033连接。

在本实施例中，该切换部件033，用于将该第二滤光片032切换到该图像传感器01的入光侧，或者将第一滤光片031切换到该图像传感器01的入光侧。例如，在白天时候，将该第二滤光片032切换到该图像传感器01的入光侧，在夜晚时候，将第一滤光片031切换到该图像传感器01的入光侧。

在该第二滤光片032切换到图像传感器01的入光侧之后，该第二滤光片032用于使可见光通过，阻挡近红外光，该图像传感器01，用于通过曝光产生并输出第三图像信号序列，从而保证在可见光能量充足环境下色彩准确性。

示例性的，切换部件033用于将第二滤光片032切换到图像传感器01的入光侧，也可以理解为第二滤光片032替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片032切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。

示例性的，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参照图14所示，在本实施例中，该补光器02还包括第二补光装置022，该第二补光装置022用于进行可见光补光。

在本实施例中，第二补光装置022可以通过多种方式进行可见光补光。示例性的，该第二补光装置022用于以常亮方式进行可见光补光；或者，第二补光装置022用于以频闪方式进行可见光补光，其中，至少在第1、…、N次预设曝光的曝光时间段内存在可见光补光，在第N+1…、N+M次预设曝光的曝光时间段内不存在可见光补光；或者，第二补光装置022用于以频闪方式进行可见光补光，其中，至少在第1、…、N次预设曝光的曝光时间段内不存在可见光补光，在第N+1…、N+M次预设曝光的曝光时间段内存在可见光补光。

作为一种示例，当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号序列中的可见光的亮度，进而保证图像采集的质量。

作为另一种示例，当第二补光装置022以频闪方式进行可见光补光时，同样可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号序列中的可见光的亮度，进而保证图像采集的质量。此外，通过频闪方式进行可见光补光还可以减少第二补光装置022的补光次数，延长第二补光装置022的使用寿命。

具体的，第二补光装置022以频闪方式进行可见光补光时，如果第二补光装置022至少在第1、…、N次预设曝光的曝光时间段内提供可见光补光，也即是，至少在第一曝光序列包括的第1、…、N次预设曝光的曝光时间段内存在近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。

另外，第二补光装置022以频闪方式进行可见光补光时，如果第二补光装置022在第二曝光序列包括的第N+1…、N+M次预设曝光的曝光时间段内提供可见光补光，由于第N+1…、N+M次预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第N+1…、N+M次预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号序列中的可见光的亮度，进而保证图像采集的质量。

因此，在本申请的实施例中，由于该图像采集装置的补光器02还包括第二补光装置022，并利用其进行可见光补光，使补光看起来不那么偏红，其避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆的问题，而且提高图像采集的质量。

基于上述对图像采集装置的描述，该图像采集装置可以通过多次曝光产生并输出第一图像信号序列和第二图像信号序列。示例性的，图15是本申请实施例提供的一种图像采集方法的流程图。该方法应用于图像采集装置，该图像采集装置包括镜头组件、图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片。示例性的，本实施例基于上述图1-14所示的实施例提供的图像采集装置来对图像采集方法进行说明。

参见图15，该图像采集方法可以包括如下步骤：

步骤1501：通过第一补光装置进行近红外补光，其中，至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光。

步骤1502：通过第一滤光片使可见光和部分近红外光通过。

步骤1503：通过图像传感器进行多次曝光，以产生并输出第一图像信号序列和第二图像信号序列。

其中，第一图像信号序列包括依次输出的N帧图像信号，N帧图像信号是根据第1、…、N预设曝光产生的图像信号，第1、…、N预设曝光组成所述第一曝光序列，第二图像信号序列包括依次输出的M帧图像信号，该M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，该第N+1、…、N+M预设曝光组成所述第二曝光序列；N和M均为大于或等于1的整数。

可选的，第一补光装置进行近红外补光时通过第一滤光片的近红外光的强度高于第一补光装置未进行近红外补光时通过第一滤光片的近红外光的强度。

可选地，在本申请的一种可能设计中，该滤光组件还可以包括第二滤光片和切换部件，此时，该方法还可以包括如下步骤：

通过切换部件将第二滤光片切换到图像传感器的入光侧；

在第二滤光片切换到图像传感器的入光侧之后，通过第二滤光片使可见光通过，阻挡近红外光；

在第二滤光片通过可见光且阻挡近红外光之后，通过图像传感器进行曝光，以产生并输出第三图像信号。

可选地，补光器还可以包括第二补光装置，此时，该图像采集方法，还可以包括如下步骤：

通过第二补光装置进行可见光补光。

可选的，所述第二补光装置以常亮方式进行可见光补光；

或者

所述第二补光装置以频闪方式进行可见光补光，其中，至少在所述第1、…、N次预设曝光的曝光时间段内存在可见光补光，在所述N+1…、N+M次预设曝光的曝光时间段内不存在可见光补光；

或者

所述第二补光装置以频闪方式进行可见光补光，其中，至少在所述第1、…、N次预设曝光的曝光时间段内不存在可见光补光，在所述N+1…、N+M次预设曝光的曝光时间段内存在可见光补光。

可选地，在本申请的另一种可能设计中，该图像采集装置还包括：处理组件。此时，该方法还可以包括如下步骤：

通过处理组件对第一图像信号序列包括的N帧图像信号进行加权，得到第一合成图像信号，其中，该N为大于1的整数；

和/或

通过该处理组件对第二图像信号序列包括的M帧图像信号进行加权，得到第二合成图像信号，其中，该M为大于1的整数。

可选的，作为一种示例，该图像传感器采用卷帘曝光方式进行多次曝光；所述第一曝光序列和所述第二曝光序列循环排列；

对于当前第一曝光序列对应的近红外补光，所述近红外补光的时间段与所述当前第一曝光序列之前的最邻近第二曝光序列的第N+M预设曝光，以及与所述当前第一曝光序列之后的最邻近第二曝光序列的第N+1预设曝光的曝光时间段均不存在交集。

可选的，所述第一补光装置的开启时刻不早于最接近的第N+M图像信号最后一行有效图像的曝光结束时刻，所述第一补光装置的关闭时刻不晚于最接近的第N+1图像信号第一行有效图像的曝光开始时刻。

可选的，作为另一种示例，所述图像传感器采用全局曝光方式进行多次曝光；

对于所述第一曝光序列对应的近红外补光，所述近红外补光的时间段与所述第一曝光序列最邻近的所述第二曝光序列的曝光时间段不存在交集，所述近红外补光的时间段是所述第一曝光序列中第1、…、N预设曝光的曝光时间段的子集，或者，所述近红外补光的时间段与所述第一曝光序列中第1、…、N预设曝光的曝光时间段存在交集，或者，所述第一曝光序列中第1、…、N预设曝光的曝光时间段是所述近红外补光的时间段的子集。

示例性的，所述第一曝光序列与所述第二曝光序列的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

可选的，所述第一曝光序列与所述第二曝光序列的曝光增益不同。

可选的，所述第一曝光序列中各个预设曝光的至少一个曝光参数相同，所述第二曝光序列中各个预设曝光的至少一个曝光参数相同；

或者

所述第一曝光序列中各个预设曝光的所有曝光参数均不同，所述第二曝光序列中各个预设曝光的所有曝光参数均不同。

示例性的，在本实施例中，所述图像传感器包括多个感光通道，每个感光通道均具有感应近红外波段的光的能力。

可选的，每个感光通道用于感应至少一种可见光波段的光。

可选地，多个感光通道用于感应至少两种不同的可见光波段的光。

可选地，多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；

其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。

可选地，图像传感器为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。

示例性的，在本申请的一种可能设计中，入射到所述第一滤光片的近红外补光的波段范围为第一参考波段范围，所述第一参考波段范围为650纳米～1100纳米。

可选的，所述第一补光装置进行近红外补光的波段范围为第二参考波段范围，所述第二参考波段范围为700纳米～800纳米，或者，900纳米～1000纳米。

示例性的，在本申请的另一种可能设计中，所述第一补光装置进行所述近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

可选的，所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为810±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

可选地，约束条件包括：

通过第一滤光片的近红外光的中心波长与第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，波长波动范围为0～20纳米。

可选地，约束条件包括：

通过第一滤光片的近红外光的半带宽小于或等于50纳米。

可选地，约束条件包括：

第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光片的近红外光的波段宽度，第二波段宽度是指被第一滤光片阻挡的近红外光的波段宽度。

可选地，约束条件为：

第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。

可选地，设定比例为30％～50％的比例范围内的任一比例。

需要说明的是，由于本实施例与上述图1-14所示的实施例可以采用同样的发明构思，因此，关于本实施例内容的解释可以参考上述图1-14所示实施例中相关内容的解释，此处不再赘述。

在本申请实施例中，可以通过图像传感器的多次曝光获取第一图像信号序列和第二图像信号序列，这样通过一个图像传感器就可以获取两种不同的图像信号，使得该图像采集装置更加简便，不需要采用分光机构和多个图像传感器便可以实现多图像信息的采集，结构简单，降低了图像采集装置的成本，提高了产品的竞争力。

此外，由于第一图像信号序列和第二图像信号序列均由同一个图像传感器产生并输出，所以第一图像信号序列中各图像信号对应的视点与第二图像信号序列中各图像信号对应的视点相同，这样通过第一图像信号序列和第二图像信号序列可以共同获取外部场景的信息，解决了由于第一图像信号序列对应的视点与第二图像信号对应的视点不相同，导致根据第一图像信号和第二图像信号生成的图像不对齐的问题。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (21)

1.一种图像采集装置，其特征在于，包括：镜头组件、图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧，所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接，所述第一滤光片用于使可见光和部分近红外光波段的光通过；

所述图像传感器用于在所述切换部件将所述第一滤光片切换到所述图像传感器的入光侧之后，通过多次曝光产生并输出第一图像信号序列和第二图像信号序列，其中，所述第一图像信号序列包括依次输出的N帧图像信号，所述N帧图像信号是根据第1、…、N预设曝光产生的图像信号，所述第1、…、N预设曝光组成第一曝光序列，所述第二图像信号序列包括依次输出的M帧图像信号，所述M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，所述第N+1、…、N+M预设曝光组成第二曝光序列；所述N和M均为大于或等于1的整数，且N+M大于2；

所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一曝光序列的曝光时间段内存在近红外补光，在所述第二曝光序列的曝光时间段内不存在近红外补光；

在所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧之后，所述第二滤光片用于使可见光通过，阻挡近红外光，所述图像传感器，用于通过曝光产生并输出第三图像信号序列。

2.根据权利要求1所述的图像采集装置，其特征在于，所述图像传感器用于采用卷帘曝光方式进行多次曝光；所述第一曝光序列和所述第二曝光序列循环排列；

对于当前第一曝光序列对应的近红外补光，所述近红外补光的时间段与所述当前第一曝光序列之前的最邻近第二曝光序列的第N+M预设曝光，以及与所述当前第一曝光序列之后的最邻近第二曝光序列的第N+1预设曝光的曝光时间段均不存在交集。

3.根据权利要求2所述的图像采集装置，其特征在于，所述第一补光装置的开启时刻不早于最接近的第N+M图像信号最后一行有效图像的曝光结束时刻，所述第一补光装置的关闭时刻不晚于最接近的第N+1图像信号第一行有效图像的曝光开始时刻。

4.根据权利要求1所述的图像采集装置，其特征在于，所述图像传感器采用全局曝光方式进行多次曝光；

对于所述第一曝光序列对应的近红外补光，所述近红外补光的时间段与所述第一曝光序列最邻近的所述第二曝光序列的曝光时间段不存在交集，所述近红外补光的时间段是所述第一曝光序列中第1、…、N预设曝光的曝光时间段的子集，或者，所述近红外补光的时间段与所述第一曝光序列中第1、…、N预设曝光的曝光时间段存在交集，或者，所述第一曝光序列中第1、…、N预设曝光的曝光时间段是所述近红外补光的时间段的子集。

5.根据权利要求1所述的图像采集装置，其特征在于，所述第一曝光序列与所述第二曝光序列的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

6.根据权利要求5所述的图像采集装置，其特征在于，所述第一曝光序列与所述第二曝光序列的曝光增益不同。

7.根据权利要求5所述的图像采集装置，其特征在于，所述第一曝光序列中各个预设曝光的至少一个曝光参数相同，所述第二曝光序列中各个预设曝光的至少一个曝光参数相同；

或者

所述第一曝光序列中各个预设曝光的所有曝光参数均不同，所述第二曝光序列中各个预设曝光的所有曝光参数均不同。

8.根据权利要求1-7任一项所述的图像采集装置，其特征在于，还包括：处理组件；

所述处理组件用于对所述第一图像信号序列包括的所述N帧图像信号进行加权，得到第一合成图像信号，其中，所述N为大于1的整数；

和/或

所述处理组件用于对所述第二图像信号序列包括的所述M帧图像信号进行加权，得到第二合成图像信号，其中，所述M为大于1的整数。

9.根据权利要求1所述的图像采集装置，其特征在于，所述第一补光装置进行近红外补光时通过所述第一滤光片的近红外光的强度高于所述第一补光装置未进行近红外补光时通过所述第一滤光片的近红外光的强度。

10.根据权利要求1所述的图像采集装置，其特征在于，所述图像传感器包括多个感光通道，每个感光通道均具有感应近红外波段的光的能力。

11.根据权利要求10所述的图像采集装置，其特征在于，每个感光通道用于感应至少一种可见光波段的光。

12.根据权利要求1所述的图像采集装置，其特征在于，所述第一补光装置进行近红外补光的波段范围为预设的参考波段范围，所述参考波段范围为700纳米~800纳米，或者，900纳米~1000纳米。

13.根据权利要求1所述的图像采集装置，其特征在于，所述第一补光装置进行所述近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

14.根据权利要求13所述的图像采集装置，其特征在于，所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为810±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

15.根据权利要求1所述的图像采集装置，其特征在于，所述补光器还包括第二补光装置，所述第二补光装置用于进行可见光补光。

16.一种图像采集方法，应用于图像采集装置，所述图像采集装置包括镜头组件、图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，其特征在于，所述方法包括：

通过所述第一补光装置进行近红外补光，其中，至少在第一曝光序列的曝光时间段内存在近红外补光，在第二曝光序列的曝光时间段内不存在近红外补光；

通过所述第一滤光片使可见光和部分近红外光通过；

其中，所述滤光组件还包括第二滤光片和切换部件，所述方法还包括：

在所述切换部件将所述第一滤光片切换到所述图像传感器的入光侧之后，通过所述图像传感器进行多次曝光，以产生并输出第一图像信号序列和第二图像信号序列，其中，所述第一图像信号序列包括依次输出的N帧图像信号，所述N帧图像信号是根据第1、…、N预设曝光产生的图像信号，所述第1、…、N预设曝光组成所述第一曝光序列，所述第二图像信号序列包括依次输出的M帧图像信号，所述M帧图像信号是根据第N+1、…、N+M预设曝光产生的图像信号，所述第N+1、…、N+M预设曝光组成所述第二曝光序列；所述N和M均为大于或等于1的整数，且N+M大于2；

在所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧之后，通过所述第二滤光片使可见光通过，阻挡近红外光；

在所述第二滤光片通过可见光且阻挡近红外光之后，通过所述图像传感器进行曝光，以产生并输出第三图像信号序列。

17.根据权利要求16所述的方法，其特征在于，所述图像采集装置还包括：处理组件；所述方法还包括：

通过所述处理组件对所述第一图像信号序列包括的所述N帧图像信号进行加权，得到第一合成图像信号，其中，所述N为大于1的整数；

和/或

通过所述处理组件对所述第二图像信号序列包括的所述M帧图像信号进行加权，得到第二合成图像信号，其中，所述M为大于1的整数。

18.根据权利要求16所述的方法，其特征在于，所述图像传感器采用卷帘曝光方式进行多次曝光；所述第一曝光序列和所述第二曝光序列循环排列；

对于当前第一曝光序列对应的近红外补光，所述近红外补光的时间段与所述当前第一曝光序列之前的最邻近第二曝光序列的第N+M预设曝光，以及与所述当前第一曝光序列之后的最邻近第二曝光序列的第N+1预设曝光的曝光时间段均不存在交集。

19.根据权利要求18所述的方法，其特征在于，所述第一补光装置的开启时刻不早于最接近的第N+M图像信号最后一行有效图像的曝光结束时刻，所述第一补光装置的关闭时刻不晚于最接近的第N+1图像信号第一行有效图像的曝光开始时刻。

20.根据权利要求16所述的方法，其特征在于，所述图像传感器采用全局曝光方式进行多次曝光；

对于所述第一曝光序列对应的近红外补光，所述近红外补光的时间段与所述第一曝光序列最邻近的所述第二曝光序列的曝光时间段不存在交集，所述近红外补光的时间段是所述第一曝光序列中第1、…、N预设曝光的曝光时间段的子集，或者，所述近红外补光的时间段与所述第一曝光序列中第1、…、N预设曝光的曝光时间段存在交集，或者，所述第一曝光序列中第1、…、N预设曝光的曝光时间段是所述近红外补光的时间段的子集。

21.根据权利要求16所述的方法，其特征在于，所述补光器还包括第二补光装置，所述方法还包括：

通过所述第二补光装置进行可见光补光。

Images