CN109951624B - 一种基于滤镜光轮的成像拍摄系统和方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于滤镜光轮的成像拍摄系统和方法，其中方法包括：滤镜光轮在旋转过程中使不同区域轮番进入光路，将光线过滤后分成不同频率的光信号通过；所述不同频率的光信号分别在图像传感器上成像；将所述不同频率的光信号对应的成像进行合成处理，得到需要的图像。其中，所述滤镜光轮沿圆周方向划分为至少两个区域，不同区域分别进行不同的表面镀膜，用于通过不同频率的光信号。通过本发明的成像拍摄系统和方法，不同频率的光信号可分别通过滤镜过滤并到达图像传感器成像，最终合成为需要的图像或视频，避免了由光栅或者透镜分光带来的光强损失，增加成像细节，保证同步效果，图像质量有效提高。

Description

一种基于滤镜光轮的成像拍摄系统和方法

【技术领域】

本发明涉及图像处理技术领域，具体涉及一种基于滤镜光轮的成像拍摄系统和方法。

【背景技术】

伴随着国民经济的发展，视频监控系统作为安防领域发展的核心部分，在全球范围内已成为保障社会稳定和公私财产安全的必需品。视频监控相关技术随着工业和网络的发展也有了长足的发展，但是摄像头本身的技术仍存在一定的不足。目前普及型的摄像头无法满足全天候、复杂光照条件等需求，虽然数字图像处理技术能对摄像头成像效果提供一定的补充和加强，但只有摄像头本身的技术升级，才能从根本上满足各种复杂光线条件下的成像质量需求。

目前针对摄像头技术的升级主要是两个方向：一个是通过多摄像头融合成像，一个是通过单摄像头分光加多传感器融合成像。多摄像头方案虽然结构简单，但是因为多摄像头光轴之间存在距离，所以在图像合成时必然带来图像边缘的错位，而且在不同的成像距离上也无法做到完美的图像融合，另外多摄像头之间存在同步问题，这也进一步带来图像合成的错位问题。而单摄像头分光方式除了结构复杂、体积过大之外，采用光栅或者棱镜分光还会带来光强的损失，所以图像质量也会有一定的下降。同时，这两种方式都会带来较大的成本增加，其缺陷比较明显。

鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明需要解决的技术问题是：

目前的成像拍摄系统中，单摄像头分光方式结构复杂、体积过大，采用光栅或者棱镜分光容易造成光强损失，影响图像质量，而多摄像头方案在图像合成时存在同步问题，容易造成图像合成的错位。

本发明通过如下技术方案达到上述目的：

第一方面，本发明提供了一种基于滤镜光轮的成像拍摄系统，包括镜头系统1、滤镜光轮系统2、图像传感器3和图像处理系统4，所述滤镜光轮系统2包括可旋转的滤镜光轮21和电机22，所述滤镜光轮21沿圆周方向划分为至少两个区域，不同区域分别进行不同的表面镀膜，用于通过不同频率的光信号；所述电机22与所述滤镜光轮21传动连接，进而带动所述滤镜光轮21旋转；

其中，所述镜头系统1用于提供光路通道使光线进入；所述滤镜光轮21旋转时不同区域轮番进入光路，进而将光线过滤后分成不同频率的光信号通过；所述图像传感器3用于对不同频率的光信号进行成像；所述图像处理系统4用于对不同频率光信号的成像进行同步合成处理。

优选的，所述不同的表面镀膜包括增透膜、近红外滤镜镀膜、中红外滤镜镀膜和远红外滤镜镀膜中任意的至少两种；其中，增透膜、近红外滤镜镀膜、中红外滤镜镀膜和远红外滤镜镀膜的对应区域分别用于通过可见光、近红外光、中红外光和远红外光。

优选的，所述滤镜光轮系统2还包括黑标传感器23，所述滤镜光轮21或所述电机22上设有黑标位，所述黑标传感器23用于在所述滤镜光轮21旋转时识别所述黑标位，以便根据黑标位识别当前处于光路中的滤镜光轮区域。

优选的，所述图像传感器3内设有帧处理器，用于将接收到的光信号生成帧；所述黑标传感器23与所述帧处理器连接，当识别到任两个相邻区域同时处于光路中时，所述帧处理器跳过对应的帧生成过程；当识别到任一区域单独处于光路中时，所述帧处理器将接收到的光信号生成帧；

或者，所述黑标传感器23与所述图像处理系统4连接，当识别到任两个相邻区域同时处于光路中时，所述图像处理系统4将所述图像传感器3上对应的成像丢弃，仅对保留的成像进行合成处理。

优选的，所述图像处理系统4包括图像融合模块和饱和度调整模块，所述图像融合模块用于将所述图像传感器3上不同频率光信号的成像进行融合；所述饱和度调整模块用于对融合图像进行饱和度调整。

第二方面，本发明提供了一种基于滤镜光轮的成像拍摄方法，可采用上述第一方面所述的成像拍摄系统实现，滤镜光轮沿圆周方向划分为至少两个区域，不同区域用于通过不同频率的光信号，则所述方法包括：

所述滤镜光轮在旋转过程中使不同区域轮番进入光路，将光线过滤后分成不同频率的光信号通过；

所述不同频率的光信号分别在图像传感器上成像；

将所述不同频率的光信号对应的成像进行同步合成处理，得到需要的图像。

优选的，在所述滤镜光轮旋转过程中，存在任一区域单独处于光路中，以及任两个相邻区域同时处于光路中两种状态；则所述方法还包括：

在所述滤镜光轮旋转过程中，通过黑标传感器识别当前处于光路中的滤镜光轮区域；则在进行同步合成处理时，将任两个相邻区域同时处于光路中时对应的在所述图像传感器上的成像丢弃，仅对保留下来的成像进行合成处理。

优选的，当所述滤镜光轮划分为p个区域，转速为n转/秒时，所述图像传感器上每秒成像为2p*n帧，其中，任两个相邻区域同时处于光路中时对应的成像为p*n帧，在同步合成处理时被丢弃；则经过同步合成处理后，每秒获取n帧的连续合成图像；其中p≥2。

优选的，所述将所述不同频率的光信号对应的成像进行同步合成处理，得到需要的图像，具体包括：

对所述不同频率的光信号对应的成像进行融合，得到融合图像；

对所述融合图像进行饱和度调整，得到需要的图像。

优选的，所述滤镜光轮沿圆周方向划分为两个区域，分别用于通过可见光和红外光，使所述图像传感器上分别得到RGB图和NIR图的成像；则所述对所述不同频率的光信号对应的成像进行融合，得到融合图像，具体包括：

将得到的RGB图转换为YCbCr，进而分解得到Y通道、Cb通道和Cr通道；

对得到的NIR图进行配准后，将配准的NIR图与所述RGB图的Y通道融合，得到融合的Y通道；

将融合的Y通道、原始的Cb通道和原始的Cr通道重新合成YCbCr，并对YCbCr转换得到RGB图和NIR图的融合图像。

与现有技术相比，本发明的有益效果是：

本发明提供的成像拍摄系统在光路中加入滤镜光轮，滤镜光轮按需求进行区域划分和镀膜，旋转时使不同频率的光信号通过并分别成像，最终合成得到需要的图像或视频，简单可靠、成本较低，避免了由光栅或者透镜分光带来的光强损失，也避免了多镜头带来的图像错位，降低图像噪声，增加成像细节，使图像质量有效提高；

而且设置黑标传感器和黑标位进行光路中的区域识别，并判断图像传感器上形成的帧的有效性，则在同步合成处理时可将无效帧丢弃，仅选择连续的有效帧进行合成，保证了同步效果，进而得到清晰的图像或视频。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于滤镜光轮的成像拍摄系统的组成图；

图2为本发明实施例提供的一种滤镜光轮的平面示意图；

图3为本发明实施例提供的一种基于滤镜光轮的成像拍摄系统的结构爆炸图；

图4为本发明实施例提供的一种滤镜光轮系统的平面结构图；

图5为本发明实施例提供的一种基于滤镜光轮的成像拍摄方法的流程图；

图6为本发明实施例提供的滤镜光轮在光路中的旋转示意图；

图7为本发明实施例提供的一种图像合成的流程图；

图8为本发明实施例提供的RGB图和NIR图的融合方法流程图；

图9为本发明实施例提供的RGB图和NIR图的融合示意图；

图10为本发明实施例提供的RGB和NIR的融合图像的饱和度非线性拉伸曲线图；

图11为本发明实施例提供的一种基于滤镜光轮的成像拍摄装置的结构图；

其中，附图标记如下：

镜头系统1，滤镜光轮系统2，图像传感器3，图像处理系统4，固定支架5；镜头11，镜头座12，定位件121，安装槽122；滤镜光轮21，电机22，黑标传感器23，减震垫24；通光孔51，第一螺丝61，第二螺丝62，第三螺丝63，第四螺丝64。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。

在本发明各实施例中，符号“/”表示同时具有两种功能的含义，而对于符号“A和/或B”则表明由该符号连接的前后对象之间的组合包括“A”、“B”、“A和B”三种情况。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。

实施例1：

本发明实施例提供了一种基于滤镜光轮的成像拍摄系统，可用于使不同频率的光信号分别通过并成像，进而根据需求将不同光信号对应的成像合成为需要的图像或视频。

如图1所示，本发明实施例提供的所述成像拍摄系统包括镜头系统1、滤镜光轮系统2、图像传感器3和图像处理系统4。结合图2和图3，所述滤镜光轮系统2包括可旋转的滤镜光轮21，所述滤镜光轮21沿圆周方向划分为至少两个扇形的区域，不同区域分别进行不同的表面镀膜，进而形成不同的滤光片，用于通过不同频率的光信号，即每个区域仅可通过一种特定的光信号，其他光信号无法通过。为满足透光性能，所述滤镜光轮21具体可采用玻璃或合成树脂等透光材料制作，此处不做限定。

其中，所述镜头系统1用于提供光路通道使光线进入；所述滤镜光轮21用于旋转时使不同区域按照排列顺序轮番进入光路，进而将光线过滤后分成不同频率的光信号通过；所述图像传感器3位于所述滤镜光轮21之后，用于对不同频率的光信号分别进行成像；所述图像处理系统4用于对不同频率光信号的成像进行合成处理。

结合图1-图3，成像过程具体为：光线首先进入所述镜头系统1，然后通过旋转的滤镜光轮21过滤后分成不同频率的光信号(包括但不限于可见光、近红外光、中红外光和远红外光)，这些不同频率的光信号分别在所述图像传感器3上成像后，由所述图像处理系统4将所述图像传感器3上不同频率光信号的图像进行同步合成，得到需要的图像和视频提供给用户使用。

本发明提供的上述成像拍摄系统在光路中加入滤镜光轮，滤镜光轮旋转时不同的区域轮流进入光路，进而使不同频率的光信号分别通过并在图像传感器上成像，最终合成得到需要的图像或视频，该系统简单可靠、成本较低，避免了由光栅或者透镜分光带来的光强损失，也避免了多镜头带来的图像错位，降低图像噪声，增加成像细节，使图像质量有效提高。

其中，所述滤镜光轮21的表面镀膜包括但不限于增透膜、近红外滤镜镀膜、中红外滤镜镀膜和远红外滤镜镀膜；增透膜、近红外滤镜镀膜、中红外滤镜镀膜和远红外滤镜镀膜的对应区域分别用于通过可见光、近红外光、中红外光和远红外光。用户可根据实际需要，选择所述滤镜光轮21划分的区域个数以及表面镀膜的种类，即根据需要选择其中的全部或者部分滤镜组成光轮，从而可将对应的不同光信号的成像合成为所需的图像或视频。

以图2为例，图(a)所示的滤镜光轮被划分为A、B两个区域，从而可用于通过两种不同的光信号(比如可见光和近红外光)；图(b)所示的滤镜光轮被划分为C、D、E三个区域，从而可用于通过三种不同的光信号(比如可见光、近红外光和中红外光)；图(c)所示的滤镜光轮被划分为F、G、H、I四个区域，从而可用于通过四种不同的光信号(比如可见光、近红外光、中红外光和远红外光)。图2中所示的三种滤镜光轮中，区域划分均为等面积划分，但实际应用中，在所述滤镜光轮21的转速满足要求的前提下，各区域也可以是不等面积的划分，两种划分方法均在本发明的保护范围内。

下面结合各附图，对所述成像拍摄系统的各部分结构进行具体介绍：

如图3所示，所述镜头系统1包括镜头11和镜头座12，所述镜头座12可设计为一环形壳体，进而可对所述镜头11形成一定的保护作用。所述镜头座12内设定位件121，所述定位件121中间开有孔，用于通过光线。所述镜头11固定安装在所述镜头座12的第一侧(即图中左侧)，具体为所述镜头11右端与所述定位件121耦合连接；所述滤镜光轮21设置在所述镜头座12的第二侧(即图中右侧)，且部分区域位于光路中。光线进入所述镜头11后穿过所述定位件121上的孔到达所述滤镜光轮21，当所述滤镜光轮21旋转时，所述滤镜光轮21的不同区域可轮番进入所述镜头11形成的光路中，进而在不同的时间切片下分别使不同频率的光信号通过，并到达所述图像传感器3成像。

其中，所述滤镜光轮21的旋转可通过以下结构实现：如图3和图4所示，所述滤镜光轮系统2还包括电机22，所述电机22与所述滤镜光轮21传动连接，进而用于带动所述滤镜光轮21旋转，使滤镜光轮21的不同区域轮番进入光路。因此，所述滤镜光轮21的转速由所述电机22控制，用户可根据实际需求进行转速调节。本发明实施例以所述滤镜光轮21划分成A、B两个区域为例(即图2(a)中所示的滤镜光轮)，则转动时A、B区域可轮番进入光路；假设所述滤镜光轮21如图2(b)所示，且顺时针转动，则各区域按照C-D-E-C的顺序轮番进入光路；假设所述滤镜光轮21如图2(c)所示，且顺时针转动，则各区域按照F-G-H-I-F的顺序轮番进入光路。

继续参考图3，所述成像拍摄系统还包括固定支架5，用于连接所述镜头系统1、所述滤镜光轮系统2和所述图像传感器3。其中，所述固定支架5的第一侧(即图中左侧)分别与所述滤镜光轮21和所述镜头座12连接，所述固定支架5的第二侧(即图中右侧)与所述图像传感器3固定连接。另外，所述固定支架5上开有通光孔51，所述通光孔51位于所述光路通道上，以便使光信号通过所述滤镜光轮21后，可通过所述通光孔51到达所述图像传感器3成像。其中，所述固定支架5与各结构之间的连接具体如下：

所述滤镜光轮21通过所述电机22与所述固定支架5连接，且为减少电机振动对所述固定支架5稳定性的影响，所述电机22的一端(即图3中右端)先固定连接一个或多个减震垫24，再通过所述减震垫24与所述固定支架5连接；所述减震垫24可采用橡胶材料，以便起到良好的减震缓冲作用。为方便安装和拆卸，所述固定支架5与所述减震垫24之间、与所述镜头座12之间以及与所述图像传感器3之间均可通过螺丝实现固定连接。其中，所述图像传感器3设于PCB板上，所述固定支架5、所述减震垫24、所述镜头座12以及所述图像传感器3所在的PCB板上均设有相应的安装孔，用于穿过螺丝。具体参考图3，所述固定支架5与所述减震垫24之间通过第一螺丝61固定连接，所述固定支架5与所述镜头座12之间通过第二螺丝62固定连接，所述固定支架5与所述图像传感器3所在的PCB板之间通过第三螺丝63固定连接。其中，所述图像传感器3具体可以是CMOS感光芯片或CCD感光芯片。

在所述滤镜光轮21旋转过程中，光路中存在两种情况：一种是任一区域单独处于光路中，此时过滤后可通过单一频率的光信号(比如近红外光)，对应在所述图像传感器3的成像为有效帧；另一种则是任两个相邻区域同时处于光路中，即相邻区域的交汇处旋转至光路中，此时过滤后可通过两种光信号(比如可见光和近红外光)，则对应的成像为无效帧，或者说是坏帧。在所述图像处理系统4进行合成处理时，需要将这部分坏帧丢弃，仅对保留下来的有效帧进行合成；这是因为如果不丢弃坏帧，将会影响图像的同步效果，合成后出现画面模糊、不清楚的问题。考虑到旋转过程中有大约一半的时间在跨滤镜区域，对应的成像不能使用，所以合成时需要丢弃一半的帧数。

为识别当前处于光路中的滤镜区域，进而判断帧的有效性，所述滤镜光轮系统2还包括黑标传感器23，所述滤镜光轮21或所述电机22上设有黑标位，所述黑标传感器23用于在所述滤镜光轮21旋转时检测所述黑标位，以便根据黑标位识别当前处于光路中的滤镜光轮区域。参考图4(从左至右分别为所述滤镜光轮系统2的左视图、正视图和右视图)，所述电机22的转轮上设有黑标位m，所述电机22旋转时所述黑标位m也随之旋转，且旋转状态与所述滤镜光轮21一致。因此，通过识别所述黑标位m的位置，即可判断当前是A区域单独处于光路中，还是B区域单独处于光路中，还是A区域和B区域共同处于光路中。

其中，所述黑标位可仅设置一个，如图4所示，则仅当所述黑标位m旋转至某一特定位置时可被所述黑标传感器23检测到，在转速确定的情况下，进而可根据所述滤镜光轮21的转速和区域划分情况来判断当前处于光路中的区域。比如，所述滤镜光轮21划分为A、B两个区域，每转一周需40ms，假设当检测到所述黑标位m时及随后的10ms内表征当前处于光路中的为A区域，则从10ms到20ms之间可判定当前处于光路中的为A+B区域，从20ms到30ms之间判定当前处于光路中的为B区域，从30ms到40ms之间判定当前处于光路中的为B+A区域，按照上述方法判断光路中的区域情况。

在可选的方案中，还可在所述滤镜光轮21的外侧一圈或所述电机22的转轮外侧一圈均设有黑标位，具体可以是围绕圆周不间断的一整条黑标位，且不同位置处的黑标位宽度不一样，用于表征不同的区域。则在旋转过程中所述黑标传感器23可一直检测到不同位置处的黑标位，根据黑标位宽度的不同来判断当前处于光路中的区域。

在另一个可选的方案中，还可在所述滤镜光轮21的外侧一圈或所述电机22的转轮外侧一圈设有多个黑标位，且不同位置处的黑标位密度不一样，用于表征不同的区域。则在旋转过程中所述黑标传感器23可一直检测到不同位置处的黑标位，根据黑标位密度的不同来判断当前处于光路中的区域。

进一步地，所述黑标传感器23与所述图像处理系统4连接，以便所述图像处理系统4从所述黑标传感器23处获取区域识别结果，进而将任两个相邻区域同时处于光路中时在所述图像传感器3上对应的成像丢弃，仅对所述图像传感器3上保留的成像进行合成处理，得到同步效果较好的图像或视频。其中，当所述滤镜光轮21划分为p(p≥2)个区域时，所述滤镜光轮21每转一圈，可在所述图像传感器3上形成2p帧的图像，其中一半(p帧)为无效帧，一半(p帧)为有效帧，将p帧连续的有效帧合成为1帧。同理地，当所述滤镜光轮划分为p个区域，转速为n转/秒时，所述图像传感器上每秒成像为2p*n帧，其中，p*n帧是任两个相邻区域同时处于光路中时对应的成像，即无效帧，在合成处理时被丢弃；则在同步合成处理时，将每p帧连续的有效帧合成为1帧，每秒可获取n帧的连续合成图像。

举例说明，假设所述滤镜光轮21被划分为A、B两个区域，如图3和图4所示，A区域表面镀有增透膜，用于通过可见光，B区域表面镀有近红外滤镜透膜，用于通过近红外光。当所述滤镜光轮21的转速为60转/秒时，通过A区域的可见光以及通过B区域的近红外光在所述图像传感器3上每秒成像的画面均为60帧。因此，所述图像处理系统4每秒可接收到120帧的有效图像，将每2个连续帧合成后输出一张图像，最终用户获得的是60帧/秒的连续合成图像(跨区域时对应形成的120帧不能使用，被丢弃)。所述每2个连续帧中包括1帧可见光图像和1帧近红外光图像，合成后即可得到1帧融合图像。

继续参考图3，为方便安装和拆卸，所述黑标传感器23也可通过螺丝固定安装在所述固定支架5上，具体如下：所述黑标传感器23设于PCB板上，对应的PCB板上开设有安装孔，所述固定支架5上也开设有相应的安装孔，将第四螺丝64依次穿过对应的安装孔，实现所述固定支架5与所述黑标传感器23的固定连接。安装完成后，所述黑标传感器23位于所述电机22的上方，因此可检测到所述电机22上的黑标位m。

其中，所述图像传感器3内还设有帧处理器，用于将接收到的光信号形成帧，则在可选的方案中，所述黑标传感器23还可与所述帧处理器连接，以便所述帧处理器根据所述黑标传感器23的区域识别结果形成帧。具体的，当所述黑标传感器23识别到光路中仅有一个单独区域时，所述帧处理器将得到的光信号形成帧；当识别到光路中同时存在两个区域时，所述帧处理器跳过对应的帧生成过程，即不会将得到的光信号形成帧。因此，最终所述图像传感器3上的成像均是有效帧，所述图像处理系统4可直接对各有效帧进行合成处理，得到同步效果较好的图像或视频。在该可选方案中，所述图像传感器3在生成帧的过程中对后续无法使用的帧图像合理地跳过，选择性地生成帧，可节省存储空间，而且在所述图像处理系统4进行同步合成时无需进行帧丢弃，从而简化了合成过程，提高处理效率。

在图3中，所述镜头系统1仅设置一个镜头11，所述滤镜光轮21可设于所述镜头11之后，也可设于所述镜头11之前；相比多镜头系统中只能使用固定焦距镜头而言，单镜头系统可以用可变焦距镜头，而且使用单镜头时，画面合成不会有多镜头系统的轴距造成边缘不齐的问题。当然，根据用户不同应用的需求，所述镜头系统1也可为多镜头系统，即包括多个镜头，当包括多个镜头时，所述滤镜光轮21可位于所述多个镜头之后，也可位于所述多个镜头之前，还可以是位于所述多个镜头之间，并不影响成像拍摄；这几种设置方式均在本发明的保护范围之内。

进一步地，所述图像处理系统4包括图像融合模块和饱和度调整模块，所述图像融合模块用于将所述图像传感器3上不同频率光信号的成像进行融合；所述饱和度调整模块用于对融合图像进行饱和度拉伸。比如，当需要对所述滤镜光轮21通过的可见光和近红外光进行合成时，首先利用所述图像融合模块将RGB图(可见光的成像)和NIR图(近红外光的成像)进行融合，得到RGB图和NIR图的融合图像；然后再利用所述饱和度调整模块对所述融合图像进行饱和度调整，进而得到所需的图像或视频。

本发明实施例通过滤镜光轮系统，可以把可见光、近红外光、中红外光、远红外光等有机的分离出来，在传统的系统中这需要多个镜头实现，从而极大的降低了系统的复杂度和成本，并且避免了因为光栅或者透镜分光带来的光强损失问题；使用单镜头系统，可以采用可变焦距镜头完成光学实现，且画面合成不会有多镜头系统的轴距造成的图像边缘不齐问题；通过图像处理系统可将不同频率光信号进行图像合成，降低画面噪声，提高成像细节。本发明提供的系统相对原有的成像系统改动较小，对整个系统的成本和影响都尽量降低，还能极大的提升成像质量，因此可以作为现有成像系统的良好升级换代产品。

实施例2：

在上述实施例1的基础上，本发明实施例还提供了一种基于滤镜光轮的成像拍摄方法，可采用实施例1所述的成像拍摄系统来完成。如图5所示，本发明实施例提供的所述成像拍摄方法具体包括：

步骤10，所述滤镜光轮在旋转过程中使不同区域轮番进入光路，将光线过滤后分成不同频率的光信号通过。

结合实施例1，光线首先进入所述镜头系统1，然后沿着光路到达所述滤镜光轮21。所述滤镜光轮21与所述电机22连接，进而在所述电机22的带动作用下旋转，使得所述滤镜光轮21不同区域按照排列顺序轮番进入光路，进而使不同频率的光信号分别通过并到达所述图像传感器3。

步骤20，所述不同频率的光信号分别在图像传感器上成像。

结合实施例1，所述图像传感器3具体可以是CMOS感光芯片或CCD感光芯片，用于将不同频率的光信号分别形成不同的图像。因此，光信号通过所述滤镜光轮21后，不同的时间切片下会在所述图像传感器3上形成不同的图像。

步骤30，将所述不同频率的光信号对应的成像进行合成处理，得到需要的图像。

结合实施例1，所述图像传感器3上形成的不同的图像会传输给所述图像处理系统4，由所述图像处理系统4中的处理芯片合成后，形成最终的图像和视频信号提供给用户。

本发明实施例提供的上述成像拍摄方法中，在光路中加入滤镜光轮，滤镜光轮根据用户需求划分成至少两个区域，旋转时不同区域轮流进入光路，进而使不同频率的光信号分别通过并在图像传感器上成像，合成处理后得到需要的图像或视频，该方法简单可靠、成本较低，避免了由光栅或者透镜分光带来的光强损失，降低图像噪声，增加成像细节，使图像质量有效提高。

由实施例1可知，在所述滤镜光轮21的旋转过程中，光路中存在两种情况：一种是任一区域单独处于光路中，此时对应的成像为有效帧；另一种则是任两个相邻区域同时处于光路中，此时对应的成像为无效帧。在进行合成处理时，如果将形成的所有帧进行合成，无效帧的存在将会影响同步效果，合成后出现画面模糊、不清楚的问题。因此，所述方法还包括：

在所述滤镜光轮21旋转过程中，通过黑标传感器23识别当前处于光路中的滤镜光轮区域，识别方法与黑标位的设置方式有关，具体可参考实施例1的相关介绍，此处不再赘述。则在步骤30中进行合成处理时，将任两个相邻区域同时处于光路中时对应的在所述图像传感器3上的成像丢弃，仅对所述图像传感器3上保留下来的成像进行合成处理。通过这种方法可有效改善同步效果，得到清晰的图像或视频。其中，在可选方案中，还可由所述帧处理器根据所述黑标传感器23的区域识别结果形成帧，即当光路中仅有一个单独区域时，所述帧处理器将得到的光信号形成帧；当光路中同时存在两个区域时，所述帧处理器跳过对应的帧生成过程，具体可参考实施例1的相关介绍，此处不再赘述。

其中，当所述滤镜光轮划分为p(p≥2)个区域时，每转一圈，可在所述图像传感器3上形成2p帧的图像，其中一半(p帧)为无效帧，一半(p帧)为有效帧，将p帧有效帧进行合成为1帧图像。同理地，当所述滤镜光轮划分为p个区域，转速为n转/秒时，所述图像传感器上每秒成像为2p*n帧，其中，p*n帧是任两个相邻区域同时处于光路中时对应的成像，在合成处理时被丢弃；则经过合成处理后，每秒可获取n帧的连续合成图像。

在实际应用中，可见光信号对应形成的RGB图虽然具有图像色彩，但图像细节不高，尤其是图像中的远景几乎不可见；而近红外光信号对应形成的NIR图的图像细节较高，图像中的远景可见，但是图像没有颜色，此时可考虑将RGB图和NIR图进行合成。因此，本发明实施例以用户需要得到可见光和近红外光的合成图像为例说明，则所述滤镜光轮21划分成A、B两个区域为例，A区域镀有增透膜，只能通过可见光，B区域表面为近红外滤镜镀膜，只能通过近红外光。所述滤镜光轮21旋转时，A、B区域轮番进入光路，分别使可见光和近红外光通过并到达所述图像传感器3，不同的时间切片下分别在所述图像传感器3形成RGB图和NIR图，最终经过处理后得到RGB图和NIR图的合成图像。

图6中给出了所述滤镜光轮21在旋转过程中的四种不同状态，按照图中箭头所示，四张图片可分别标记为第一状态、第二状态、第三状态和第四状态；所述图像传感器3(即图中右侧区域中的小方块)设置在所述滤镜光轮21之后，位置固定不动；光路范围大约可覆盖所述滤镜光轮21的四分之一面积，即图中虚线的圆圈所示。所述滤镜光轮21的一半(即A区域)可通过可见光，另一半(即B区域)可通过近红外光。下面结合图6，对所述滤镜光轮21旋转过程中图像的同步细节进行介绍：

所述滤镜光轮21顺时针旋转，在第1帧图像的曝光时间内，所述滤镜光轮21从第一状态旋转至第二状态，旋转90°，在整个旋转过程中，处于光路中的一直只有B区域，仅有近红外光能通过，则所述图像传感器3接收的全部为近红外光，因此输出有效的NIR帧。

在第2帧图像的曝光时间内，所述滤镜光轮21从第二状态旋转至第三状态，旋转90°，在整个旋转过程中，处于光路中的为部分A区域+部分B区域，则所述图像传感器3既接收到可见光，也接收到近红外光，输出为一半RGB，一半NIR，成为坏帧。

在第3帧图像的曝光时间内，所述滤镜光轮21从第三状态旋转至第四状态，旋转90°，在整个旋转过程中，处于光路中的一直只有A区域，仅有可见光能通过，则所述图像传感器3接收的全部为可见光，因此可输出有效的RGB帧。

在第4帧图像的曝光时间内，所述滤镜光轮21从第四状态又旋转至第一状态，旋转90°，在整个旋转过程中，处于光路中的为部分A区域+部分B区域，则所述图像传感器3既接收到可见光，也接收到近红外光，情况同第2帧类似，输出为一半RGB，一半NIR，成为坏帧。

当划分为A、B两个区域时，4帧为一个周期(即旋转一圈)，第5帧图像的输出情况与第1帧相同，为新周期中的第1帧；后续各帧图像的形成以此类推。其中，每个周期内形成4帧图像，其中2帧为坏帧，在图像合成时被丢弃，保留的两帧为RGB帧和NIR帧，将2个连续的RGB帧和NIR帧合成，即可输出一帧合成图像。因此，当所述滤镜光轮21的转速为60转/秒时，所述图像传感器3上每秒形成的坏帧有120帧，有效图像有120帧(RGB图和NIR图分别为60帧)，将每2个连续的有效帧合成后输出一张图像，最终可得到60帧/秒的连续合成图像。

除了采用丢弃坏帧的方法来保证同步以外，在可选方案中还可采用以下方法：所述黑标传感器23与所述帧处理器连接，当识别到光路中仅有一个单独区域时，所述帧处理器将得到的光信号形成帧；当识别到光路中同时存在两个区域时，所述帧处理器跳过对应的帧生成过程，即不会将得到的光信号形成帧。因此，最终所述图像传感器3上的成像均是有效帧，所述图像处理系统4可直接对各有效帧进行合成处理，得到同步效果较好的图像或视频。在该可选方案中，所述图像传感器3在生成帧的过程中直接对后续无法使用的帧图像跳过，选择性地生成帧，最终生成的均为有效帧，则所述图像处理系统4在同步合成时无需进行帧丢弃，从而简化了合成过程，提高处理效率。

进一步地，所述将所述不同频率的光信号对应的成像进行合成处理，得到需要的图像(即步骤30)，相应地可参考图7，包括：

步骤301，对所述不同频率的光信号对应的成像进行融合，得到融合图像。在本实施例中，通过所述图像融合模块将对应的RGB图和NIR图进行融合，进而可在RGB图的基础上使图像细节提高；具体实现过程可参考图8和图9，包括：

步骤3011，将得到的RGB图转换为YCbCr，进而分解得到Y通道、Cb通道和Cr通道。其中，YCbCr表示色彩空间的一种，Y表示颜色的亮度成分，Cb表示蓝色的浓度偏移量成分，Cr表示红色的浓度偏移量成分。

步骤3012，对得到的NIR图进行配准后，将配准的NIR图与所述RGB图的Y通道融合，得到融合的Y通道。

由于RGB图的图像细节不够，而NIR图的图像细节较好，因此将NIR图与RGB图融合的主要目的是提高RGB图的图像细节，为实现这一目的，此处图像融合的关键便在于NIR图与RGB图转换所得的亮度Y通道融合。Y通道的融合采用加权融合的方式，且权重与RGB图像的暗原色有关；在本发明实施例中，经过多次试验，权重的确定如下：

dark(p)＝min{R(p),G(p),B(p)}

其中，R(p)、G(p)和B(p)分别表示RGB图中红、绿、蓝三原色的像素，dark(p)表示RGB图像暗原色的像素；w表示图像融合时NIR图像的融合权重值。则实际的加权过程满足如下公式：

Y(p)表示RGB图原始的Y通道的像素，NIR(p)表示配准的NIR图的像素，Y_fused(p)表示配准的NIR图与RGB图原始Y通道融合后的融合Y通道的像素。

步骤3013，将融合的Y通道、原始的Cb通道和原始的Cr通道重新合成YCbCr，并对YCbCr转换得到RGB图和NIR图的融合图像。其中，经过Y通道的融合后，经测试可知最终得到的融合图像的图像细节明显提高。

步骤302，对所述融合图像进行饱和度调整，得到需要的图像。

由于NIR图像过曝，通常NIR与RGB的融合图像偏白偏亮，饱和度不足，影响视觉效果。因此，需要进一步通过所述饱和度调整模块，在HSV空间对饱和度S进行调整，具体是将融合图像分解到H通道、S通道和V通道，在S通道上进行调整，再将调整后的S通道与原来的H通道、V通道融合，进而得到饱和度调整后的图像。

在进行多次调整后，得到以下规律：1)整体来说，RGB融合图像的饱和度需要增强；2)直接采用直方图均衡效果不好，色彩失真严重；3)对于饱和度极低的区域(如天空、白墙、黑色区域)不能进行饱和度拉伸，否则会产生严重的视觉失真。本发明实施例中测试了多次非线性拉伸的结果之后，发现采用分段拉伸的效果比较好。具体可参考图10，饱和度区间为0-1，原始的饱和度曲线如曲线p所示，呈y＝x的线性关系；采用分段拉伸时，首先选择阈值t，对小于阈值的区间不做拉伸，对大于阈值的区间非线性增大。经过多次试验，确定非线性拉伸的曲线为1/4个圆周，如图10中曲线q所示，此时阈值t＝0.2。数学表达式为：

其中，S_in表示输入的融合图像(未处理时)对应的饱和度，S_out表示输出的融合图像(经处理后)对应的饱和度。经过上述处理后，最终得到的合成图像不仅图像细节明显提高，而且保证了图像的色彩，提升画面质量，呈现出良好的视觉效果。

在上述整个成像处理过程中，所述黑标传感器23可一直处于工作状态，即每转一周都会进行黑标位的检测，进而判断当前处于光路中的区域。在优选的方案中，所述黑标传感器23与所述帧处理器连接，则为了省电和提高处理效率，还可按照以下方式控制所述黑标传感器23的工作状态：在所述黑标传感器23的工作过程中，将所述帧处理器的图像成帧时间和所述黑标传感器23检测到黑标位的检测时间进行匹配，当匹配成功时将所述黑标传感器23关闭，则后续过程中无需再依靠所述黑标传感器23进行光路中的区域识别，直接将所述帧处理器形成的有效帧进行合成处理即可。

其中，匹配成功是指f1＝p*f2，且通过检测黑标位确定当前处于光路中的为单一区域时，所述帧处理器恰好进行一次图像成帧；p为所述滤镜光轮21划分的区域个数，f1表示所述帧处理器的图像成帧频率，即每秒形成的图像帧数，f2表示所述黑标传感器23检测到黑标位的检测频率，即每秒检测到黑标位的次数(仅设置一个黑标位时)。所述帧处理器的图像成帧频率可以是提前设置好的，例如，所述滤镜光轮21划分为A、B两个区域，转速为100转/秒，则每转一周检测到一次黑标位，所述黑标传感器每秒可检测到100次黑标位，如果所述帧处理器每秒形成200帧图像，且当检测到黑标位时(对应单独区域处于光路中)恰好进行一次图像采集，则可认为两个频率匹配成功，所述帧处理器形成的均为有效帧，后续直接按照所述帧处理器的成帧图像进行合成即可，关闭所述黑标传感器既能省电，又可提高处理效率。除此以外，也可直接根据所述黑标传感器的检测时间来动态设置所述帧处理器的图像成帧时间，使二者匹配成功，然后关闭黑标传感器。

在另一个优选的方案中，所述黑标传感器23与所述图像处理系统4连接，则为了省电和提高处理效率，还可按照以下方式控制所述黑标传感器23的工作状态：在所述黑标传感器23的工作过程中，将所述图像处理系统4的图像丢弃时间和所述黑标传感器23检测到黑标位的检测时间进行匹配，当匹配成功时将所述黑标传感器23关闭，则后续过程中无需再依靠所述黑标传感器23进行光路中的区域识别，直接将所述图像传感器3上保留的图像进行合成处理即可。

其中，匹配成功是指f3＝p*f2，且通过检测黑标位确定当前处于光路中的为两个区域时，所述图像处理系统4恰好进行一次图像丢弃；f3表示所述图像处理系统4的图像丢弃频率，即每秒丢弃的图像帧数。所述图像处理系统4的图像丢弃频率可以是提前设置好的，例如，所述滤镜光轮21划分为A、B两个区域，转速为100转/秒，则每转一周检测到一次黑标位，所述黑标传感器每秒可检测到100次黑标位，如果所述图像处理系统4每秒丢弃200帧图像，且当检测到黑标位时(对应单独区域处于光路中)恰好将采集的图像保留，则可认为两个频率匹配成功，所述图像处理系统4保留的均为有效帧，后续直接将保留的图像进行合成即可，关闭所述黑标传感器既能省电，又可提高处理效率。除此以外，也可直接根据所述黑标传感器的检测时间来动态设置所述图像处理系统4的图像丢弃时间，使二者匹配成功，然后关闭黑标传感器。

进一步地，上述两个优选方案尤其适用于转速一定的情况下，考虑到在整个过程中可能会出现转速不稳定的情况，可周期性地开启所述黑标传感器重新进行相应的匹配过程，确认再次匹配成功后再关闭黑标传感器。如此一来，既可达到省电效果，又可保证所述帧处理器的成帧或所述图像处理系统的丢弃帧的动作合理有效。

在本发明实施例中，是以所述滤镜光轮21划分为两个区域，分别通过可见光和近红外光为例进行说明，但并不用以限制本发明。在实际使用中，如果用户需要的图像特性需要更多不同频率的光线来合成图像，则可将所述滤镜光轮21划分成更多的区域，并进行相应的镀膜以通过相应频率的光信号。对应的成像拍摄方法可参考本发明实施例中上面介绍的方法，此处不再赘述。

综上所述，与现有技术相比，本发明实施例提供的成像拍摄方法具有以下优势：

光线通过分区域的旋转的滤镜光轮过滤后，分成不同频率的光信号通过并到达所述图像传感器成像，最终合成得到需要的图像或视频，避免了由光栅或者透镜分光带来的光强损失，降低图像噪声，增加成像细节，使图像质量有效提高；

在滤镜光轮旋转过程中识别当前旋转至光路中的滤镜区域，并判断形成的帧的性质，最终处理时仅将连续的有效帧合成，而两个相邻区域同时处于光路中时对应的无效帧被丢弃，从而可有效提高图像的同步效果，得到清晰的图像或视频；

在图像合成处理时，先进行图像融合再进行饱和度的调整，不仅使图像细节明显提高，而且保证了图像的色彩，提升画面质量，呈现出良好的视觉效果。

实施例3：

在上述实施例1和实施例2的基础上，本发明实施例还提供了一种基于滤镜光轮的成像拍摄装置，如图11所示，是本发明实施例的装置架构示意图。本实施例的基于滤镜光轮的成像拍摄装置包括一个或多个处理器71以及存储器72。其中，图11中以一个处理器71为例。

所述处理器71和所述存储器72可以通过总线或者其他方式连接，图11中以通过总线连接为例。

所述存储器72作为一种基于滤镜光轮的成像拍摄方法非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的基于滤镜光轮的成像拍摄方法。所述处理器71通过运行存储在所述存储器72中的非易失性软件程序、指令以及模块，从而执行基于滤镜光轮的成像拍摄装置的各种功能应用以及数据处理，即实现实施例2的基于滤镜光轮的成像拍摄方法。

所述存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，所述存储器72可选包括相对于所述处理器71远程设置的存储器，这些远程存储器可以通过网络连接至所述处理器71。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器72中，当被所述一个或者多个处理器71执行时，执行上述实施例2中的基于滤镜光轮的成像拍摄方法，例如，执行以上描述的图5、图7和图8所示的各个步骤。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于滤镜光轮的成像拍摄系统，其特征在于，包括镜头系统(1)、滤镜光轮系统(2)、图像传感器(3)和图像处理系统(4)，所述滤镜光轮系统(2)包括滤镜光轮(21)和电机(22)，所述滤镜光轮(21)沿圆周方向划分为至少两个区域，不同区域分别进行不同的表面镀膜，用于通过不同频率的光信号；所述电机(22)与所述滤镜光轮(21)传动连接，进而带动所述滤镜光轮(21)旋转；

其中，所述镜头系统(1)用于提供光路通道使光线进入；所述滤镜光轮(21)旋转时不同区域轮番进入光路，进而将光线过滤后分成不同频率的光信号通过；所述图像传感器(3)用于对不同频率的光信号分别进行成像；所述图像处理系统(4)用于对不同频率光信号的成像进行同步合成处理；

所述滤镜光轮系统(2)还包括黑标传感器(23)，所述滤镜光轮(21)或所述电机(22)的转轮上设有黑标位，所述黑标传感器(23)用于在所述滤镜光轮(21)旋转时识别所述黑标位，以便根据黑标位识别当前处于光路中的滤镜光轮区域；所述图像传感器(3)内设有帧处理器，用于将接收到的光信号生成帧，且所述帧处理器与所述黑标传感器(23)连接；

其中，当所述黑标传感器(23)识别到任两个相邻区域同时处于光路中时，所述帧处理器跳过对应的帧生成过程；当所述黑标传感器(23)识别到任一区域单独处于光路中时，所述帧处理器将接收到的光信号生成帧。

2.根据权利要求1所述的基于滤镜光轮的成像拍摄系统，其特征在于，所述不同的表面镀膜包括增透膜、近红外滤镜镀膜、中红外滤镜镀膜和远红外滤镜镀膜中任意的至少两种；其中，增透膜、近红外滤镜镀膜、中红外滤镜镀膜和远红外滤镜镀膜的对应区域分别用于通过可见光、近红外光、中红外光和远红外光。

3.根据权利要求1所述的基于滤镜光轮的成像拍摄系统，其特征在于，所述黑标传感器(23)与所述图像处理系统(4)连接，当所述黑标传感器(23)识别到任两个相邻区域同时处于光路中时，所述图像处理系统(4)将所述图像传感器(3)上对应的成像丢弃，以便所述图像处理系统(4)仅对所述图像传感器(3)上保留的成像进行合成处理。

4.一种基于滤镜光轮的成像拍摄方法，其特征在于，所述基于滤镜光轮的成像拍摄方法应用在如权利要求1-3任一项所述的基于滤镜光轮的成像拍摄系统上，滤镜光轮沿圆周方向划分为至少两个区域，不同区域用于通过不同频率的光信号，则所述方法包括：

所述滤镜光轮在旋转过程中使不同区域轮番进入光路，将光线过滤后分成不同频率的光信号通过；

所述不同频率的光信号分别在图像传感器上成像；

将所述不同频率的光信号对应的成像进行同步合成处理，得到需要的图像。

5.根据权利要求4所述的基于滤镜光轮的成像拍摄方法，其特征在于，在所述滤镜光轮旋转过程中，存在任一区域单独处于光路中以及任两个相邻区域同时处于光路中两种状态；则所述方法还包括：

在所述滤镜光轮旋转过程中，通过黑标传感器识别当前处于光路中的滤镜光轮区域；则在进行同步合成处理时，将任两个相邻区域同时处于光路中时对应的在所述图像传感器上的成像丢弃，仅对保留下来的成像进行合成处理。

6.根据权利要求5所述的基于滤镜光轮的成像拍摄方法，其特征在于，当所述滤镜光轮划分为p个区域，转速为n转/秒时，所述图像传感器上每秒成像为2p*n帧，其中，任两个相邻区域同时处于光路中时对应的成像为p*n帧，在同步合成处理时被丢弃；则经过同步合成处理后，每秒获取n帧的连续合成图像；其中p≥2。

7.根据权利要求4所述的基于滤镜光轮的成像拍摄方法，其特征在于，所述将所述不同频率的光信号对应的成像进行同步合成处理，得到需要的图像，具体包括：

对所述不同频率的光信号对应的成像进行融合，得到融合图像；

对所述融合图像进行饱和度调整，得到需要的图像。

8.根据权利要求7所述的基于滤镜光轮的成像拍摄方法，其特征在于，所述滤镜光轮沿圆周方向划分为两个区域，分别用于通过可见光和红外光，使所述图像传感器上分别得到RGB图和NIR图的成像；则所述对所述不同频率的光信号对应的成像进行融合，得到融合图像，具体包括：

将得到的RGB图转换为YCbCr，进而分解得到Y通道、Cb通道和Cr通道；

对得到的NIR图进行配准后，将配准的NIR图与所述RGB图的Y通道融合，得到融合的Y通道；

将融合的Y通道、原始的Cb通道和原始的Cr通道重新合成YCbCr，并对YCbCr转换得到RGB图和NIR图的融合图像。