CN106060364A - 光学透雾彩色图像采集方法及摄像机 - Google Patents

Abstract

本申请提供一种光学透雾彩色图像采集方法及摄像机，该摄像机包括镜头、可见光图像传感器、红外光图像传感器以及依次连接的图像合成模块、图像处理模块、编码模块和网络模块，在镜头和可见光图像传感器、红外光图像传感器之间设有分光机构，入射光线自镜头入射至分光机构后被可见光图像传感器和红外光图像传感器接收，所述可见光图像传感器和红外光图像传感器将各自采集的图像发送至图像合成模块。本申请采用单镜头在降低成本的同时，能够使可见光图像传感器和红外光图像传感器采集到高度一致视场的图像，得到的光透雾彩色图像能有效提升透雾摄像机所拍图像的效果，提供区别于传统光学透雾摄像机所不能提供的彩色图像。

Description

光学透雾彩色图像采集方法及摄像机

技术领域

本申请涉及图像采集处理技术领域，具体涉及一种光学透雾彩色图像采集方法及摄像机。

背景技术

随着雾霾天气的频繁出现，PM2.5的概念也广为知晓。由于空气中的雾气、烟尘等微小颗粒对光线有阻挡作用，使得光线反射而无法通过镜头，从而影响视频监控设备的成像。由于雾霾的影响，监控系统所监控的图像色彩将会黯淡，对比度也会随着雾霾的严重程度增加而呈急剧下降的趋势，由此会造成一些关键监控目标的细节信息被雾霾所掩盖，导致视频监控系统的功能发挥受到限制。

目前市面上最为常见的透雾摄像机有两种，一种是数字透雾摄像机，另一种是光学透雾摄像机。

参见图1，数字透雾摄像机包括普通镜头、IR Cut(双滤光片切换器)、图像传感器、图像处理模块、编码模块和网络模块，普通镜头的透过光谱中心波长范围为500-600nm，入射光线自普通镜头入射至IR Cut，由IR Cut将红外波段滤除，由图像传感器采集到可见光波段的普通彩色图像。其核心是在图像处理模块对普通镜头采集的普通彩色图像进行透雾算法处理，例如直方图均衡算法、暗通道透雾算法等。数字透雾摄像机本质上是对图像原有信息进行增强，以提高画面的可辨识度，但无法恢复因雾霾遮挡而丢失的画面细节信息，透雾效果较为有限。

红外线在传播时受气溶胶的影响较小，可穿透一定浓度的雾霾到达摄像机的传感器靶面，从而获得较为清晰的监控画面。参见图2，光学透雾摄像机与数字透雾摄像机主要区别在于将数字透雾摄像机的普通镜头替换成特殊的透雾镜头。透雾镜头在500-600nm和780-900nm的波长范围内均有良好的光线透过率，即透雾镜头会同时透过可见光与红外光，再通过IR Cut滤除掉可见光部分，让图像传感器接收红外光，从而呈现出具有透雾效果的图像。但由于在780nm+的红外波段，这类不可见光没有对应的可见光色彩图，故当前的透雾摄像机只能呈现黑白的透雾图像。

随着图像处理技术的发展，图像融合技术已经慢慢成熟，可通过图像融合技术把不同传感器采集的图像整合成一幅更加准确可靠并含有丰富信息量的图像，以解决上述数字透雾摄像机和透雾摄像机存在的缺陷。

参见图3，现有的双镜头双传感器的光学透雾彩色摄像机包括普通镜头、透雾镜头以及相应的图像传感器，通过普通镜头采集普通彩色图像，并通过透雾镜头采集光学透雾图像，将普通彩色图像和光学透雾图像均送入同一个图像处理模块，进行图像合成处理和其它ISP(Image Signal Processor，图像处理器)图像信号处理的操作。例如基于脉冲耦合神经网络和非子采样轮廓变换相结合的图像融合算法，将普通彩色图像和光学透雾图像融合，以得到清晰可靠的彩色光学透雾图像。

但这种双镜头双传感器的光学透雾彩色摄像机需要特定的摄像机外形设计来容纳两个镜头，结构上要保证两个镜头所采集的视场一致，在实际中需要对两个镜头进行定制来达到。两个镜头不仅价格昂贵而且效率低下，另一方面两个镜头获得的图像不可能严格保持一致，要想使普通彩色图像和光学透雾图像进行融合，需要在融合前进行配准，从而降低了实时性和可靠性。

发明内容

有鉴于此，本申请提供一种光学透雾彩色图像采集方法及摄像机，以解决现有技术中采用两个镜头而造成的各自对应的图像传感器采集的图像视场难以保证的问题。

具体地，本申请是通过如下技术方案实现的：

一种光学透雾彩色摄像机，包括镜头、可见光图像传感器、红外光图像传感器以及依次连接的图像合成模块、图像处理模块、编码模块和网络模块，在镜头和可见光图像传感器、红外光图像传感器之间设有分光机构，入射光线自镜头入射至分光机构后被可见光图像传感器和红外光图像传感器接收，所述可见光图像传感器和红外光图像传感器将各自采集的图像发送至图像合成模块。

在一实施例中，所述分光机构是分光棱镜。

在一实施例中，所述分光棱镜为直角棱镜，所述直角棱镜的一直角棱镜面垂直于入射光线的光轴。

在一实施例中，所述可见光图像传感器与红外光图像传感器选择面阵图像传感器和线阵图像传感器中的一种，所述可见光、红外光分别垂直入射至可见光图像传感器和红外光图像传感器。

在一实施例中，所述分光棱镜对可见光的平均折射率N为：N＜N0；其中，N0为空气对可见光的平均折射率。

在一实施例中，还包括一侧面设有光线入射口的外壳，所述镜头安装在所述光线入射口上，所述分光机构、可见光图像传感器和红外光图像传感均设于外壳内。

在一实施例中，所述外壳内壁设有由黑色细磨砂涂设成的消光层。

在一实施例中，在所述分光机构与可见光图像传感器之间设有红外光截止滤光片。

在一实施例中，在所述分光机构与红外光图像传感器之间设有可见光截止滤光片。

一种光学透雾彩色图像采集方法，应用于摄像机，所述摄像机包括镜头、分光机构、可见光图像传感器、红外光图像传感器及图像合成模块，所述方法包括：

入射光线自镜头入射至分光机构后，由分光机构分离成可见光和红外光，所述可见光、红外光分别由可见光图像传感器与红外光图像传感器接收；

所述可见光图像传感器和红外光图像传感器将各自采集的图像发送至图像合成模块并进行合成，得到光学透雾彩色图像。

在一实施例中，还包括：所述可见光图像传感器和红外光图像传感器采集图像前，利用所述图像合成模块控制所述可见光图像传感器和红外光图像传感器采集图像时序的同步。

本申请的有益效果：相对于一般的双镜头摄像机，本申请采用的单镜头在降低成本的同时，能够使可见光图像传感器和红外光图像传感器采集到高度一致视场的图像。

并且，通过设置能够分离出可见光与红外光的分光机构及两个相应的图像传感器，获得彩色图像和光学透雾黑白图像并进行合成，得到光学透雾彩色图像，使得摄像机具有在彩色图像下呈现优异的透雾图像效果的能力，有效提升透雾摄像机所拍图像的效果，提供区别于传统光学透雾摄像机所不能提供的彩色图像，能够在提供清晰的光学透雾图像的同时，让用户仍旧能查看到摄像机所拍摄景物的具体颜色。

另外，通过图像合成模块融合两个传感器的图像后，即可将合成的图像发送至现有的图像处理模块进行后续处理，避免了大幅度修改现有图像处理模块的步骤。

附图说明

图1是现有技术中一种数字透雾摄像机的结构图；

图2是现有技术中一种光学透雾摄像机的结构图；

图3是现有技术中一种双镜头双传感器的光学透雾彩色摄像机的结构图；

图4是本申请一示例性实施例示出的一种光学透雾彩色摄像机的结构图；

图5是本申请一示例性实施例示出的一种分光棱镜的光谱图；

图6是本申请一示例性实施例示出的一种分光棱镜图像采集系统结构图；

图7是本申请一示例性实施例示出的一种可见光图像传感器与红外光图像传感器之间夹角示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

实施例一

参见图4，本实施例提供的一种光学透雾彩色摄像机，包括镜头1、分光机构2、可见光图像传感器3、红外光图像传感器4以及依次连接的图像合成模块5、图像处理模块6、编码模块7和网络模块8。

分光机构2设置在镜头1与可见光图像传感器3、红外光图像传感器4之间，入射的全波段的景物光自镜头1入射至分光机构2后被可见光图像传感器3和红外光图像传感器4所接收，分别获得可见光波段的彩色图像和具有透雾能力的红外波段的黑白图像并发送至图像合成模块5。

考虑到当前业界主流的图像处理模块6只能接入一路图像传感器，并进行ISP图像信号相关处理，少数的图像处理模块6虽然能接入两路图像传感器，但通常只能够支持对一路图像传感器输入的图像进行ISP图像信号相关处理。此外，考虑到常用的ISP图像信号处理流程无法进行双画面的合成处理，故在本实施例中可见光图像传感器3和红外光图像传感器4是将各自采集的图像发送至图像合成模块5进行合成，获得一幅图像后再发送至现有的图像处理模块6进行处理，避免大幅度修改现有图像处理模块6。

图像合成模块5、图像处理模块6、编码模块7和网络模块8均采用现有技术中常规的算法。例如图像合成模块5可选择基于脉冲耦合神经网络和非子采样轮廓变换相结合的图像融合算法对可见光图像传感器3采集的可见光图像及红外光图像传感器4采集的光学透雾黑白图像进行合成，获得光学透雾彩色图像。

图像处理模块6接收自图像合成模块5发送的光学透雾彩色图像，并进行传统的图像信息处理，例如自动白平衡和/或降噪(2D或3D)等相关处理，获得质量较高的光学透雾彩色图像。

编码模块7对图像处理模块6输出的图像进行编码压缩，编码压缩的格式可根据需要选择，例如264\JPEG\MPEG4等格式，以利于高效的网路传输。

网络模块8则对编码模块7输出的压缩图像进行网络传输，通过网络模块8连接摄像机与外界设备，将摄像机拍摄的光学透雾彩色图像传输至外界设备中。

本实施例通过一个镜头1采集景物光，使得可见光图像传感器3和红外光图像传感器4同时采集目标同一点的可见光图像和红外图像，获得图像不需要进行配准即可直接融合，图像采集的实时性强、可靠性高。通过图像合成模块5对可见光图像传感器3和红外光图像传感器4各自所采集的图像进行融合，获得具有光学透雾能力的彩色图像，使得本实施例的摄像机具有在彩色图像下呈现优异的透雾图像效果的能力。

镜头1采用常规的监控镜头1，由多个镜片组成，以减少色偏改善聚焦，完成监控画面的采集、聚焦等功能，从而为分光机构2提供清晰稳定的监控图像。

为了同时获取彩色图像与光学透雾图像，需要对入射光线中的可见光与红外光进行分离，在一优选实施例中，分光机构2采用能够反射可见光并折射红外光的分光棱镜22。

参见图5，入射光线在经过镜头1后主要波段不会发生明显的变化，在入射光线入射至该分光棱镜22后，分光棱镜22能对该入射光线中小于780nm(可见光与红外光的分割点)的可见光进行反射，并对该入射光线中大于780nm的红外光进行折射，从而得到将入射光线分离成可见光与红外光。

优选地，为了简化光路设计，分光棱镜22为直角棱镜，可见光图像传感器3和红外光图像传感器4均为面阵图像传感器或线阵图像传感器，或者可见光图像传感器3为面阵图像传感器，红外光图像传感器4为线阵图像传感器，或者可见光图像传感器3为线阵图像传感器，红外光图像传感器4为面阵图像传感器。

直角棱镜的一直角棱镜面与入射光线的光轴相垂直，可见光、红外光分别垂直入射至可见光图像传感器3和红外光图像传感器4的感光面。

参见图6，为形成一个密闭的图像采集空间，以减少外界光线的干扰，本实施例还包括一侧面设有光线入射口21的外壳23，外壳23内部靠近该光线入射口21放置有直角棱镜，可见光图像传感器3和红外光图像传感器4均设置于外壳23内部。

在一更为优选的实施例中，直角棱镜为等腰直角棱镜，全波段的入射光线由等腰直角棱镜的一直角棱镜面入射至该等腰直角棱镜内部后，波长小于780nm的可见光会在等腰直角棱镜中发生一次全反射，由等腰直角棱镜的另一直角棱镜面射出，并入射至平行放置于该直角棱镜面一侧的可见光图像传感器3中，可见光图像传感器3采集可见光波段的图像，获得彩色图像。

同时，波长大于780nm的红外光会在等腰直角棱镜中发生一次折射，由等腰直角棱镜的斜棱镜面输出并垂直入射至红外光图像传感器4，红外光图像传感器4采集红外波段图像，获取光学透雾的黑白图像。

参见图7，设红外光图像传感器4面与可见光图像传感器3面之间的夹角为γ，入射光线与法线的夹角为α，折射的红外光线与法线的夹角为β，直角棱镜材质对波长大于780nm的红外光平均折射率为Nir，空气对波长大于780nm的红外光平均折射率为N0ir。

由几何关系得出：

γ＝α+β (1)

由折射定律得出：

$\frac{sin\mathrm{\α}}{sin\mathrm{\β}}=\frac{Nir}{N0ir}---\left(2\right)$

由公式(1)和(2)求得γ：

$\mathrm{\γ}=\mathrm{\α}+arcsin\left(\frac{Nir}{N0ir}sin\mathrm{\α}\right)---\left(3\right)$

设直角棱镜材质对可见光的平均折射率为N，空气对可见光的平均折射率为N0，为使得直角棱镜对入射光线中的可见光进行全反射，从而获得更高质量的可见光图像，需满足：

N<N0 (4)

为充分接收自分光棱镜22反射出的可见光，可见光图像传感器3选择可见光面阵CCD，可见光垂直入射至可见光面阵CCD的感光面。同样，为充分接收自分光棱镜22折射出的红外光，红外光图像传感器4选择红外光面阵CCD，红外光垂直入射至红外光面阵CCD的感光面。

而为消除因光的散射而导致的极少数红外光射向可见光图像传感器3，在可见光图像传感器3接与分光棱镜22之间设置红外光截止滤光片9，将分光棱镜22反射的可见光经由红外光截止滤光片9进行红外光的滤除后入射至可见光图像传感器3。

同样，为消除因光的散射而导致的极少数可见光射向红外光图像传感器4，在红外光图像传感器4与分光棱镜22之间设置可见光截止滤光片10，将分光棱镜22折射的红外光经由可见光截止滤光片10后入射至红外光图像传感器4。

为避免漏光且防止镜头1抖动，镜头1紧密贴合安装在光线入射口21上。例如，将光线入射口21设置成刚好能卡接镜头1的大小，将镜头1密封在光线入射口21上，防止外界光线从镜头1与光线入射口21的连接处进入外壳23内部并防止外壳23内部光线向外泄漏。

为进一步防止外界光线从镜头1与光线入射口21的连接处进入外壳23内部，而造成的杂光干扰，且防止漏光与镜头1抖动，在镜头1与光线入射口21的连接处还设有一密封层。

另外，外壳23内壁上设有消光层，对杂光进行消光处理。该消光层可选择常规的消光材料制作，例如黑色的细磨砂。

实施例二

本实施例提供一种光学透雾彩色图像采集方法，应用于摄像机，该摄像机包括镜头1、分光机构2、可见光图像传感器3、红外光图像传感器4及图像合成模块5。当然，该摄像机也可直接采用如实施例一中的光学透雾彩色摄像机。

其中，本实施例的光学透雾彩色图像采集方法包括：

入射光线自镜头1入射至分光机构2后，由分光机构2分离成可见光和红外光，可见光、红外光分别由可见光图像传感器3与红外光图像传感器4接收；

可见光图像传感器3和红外光图像传感器4将各自采集的图像发送至图像合成模块5并进行合成，得到光学透雾彩色图像。

可见光图像传感器3和红外光图像传感器4采集图像前，还通过图像合成模块5控制所述可见光图像传感器3和红外光图像传感器4采集图像时序的同步，使得可见光图像传感器3和红外光图像传感器4采集图像的时间差较小，实现两个图像传感器采集图像的一致性。

相对于一般的双镜头摄像机，本申请采用单镜头在降低成本的同时，能够使可见光图像传感器和红外光图像传感器采集到高度一致视场的图像，可将光图像传感器和红外光图像传感器采集到的图像无需配准即可在图像合成模块中进行合成，可靠性强。并且，本申请的摄像机具有在彩色图像下呈现优异的透雾图像效果的能力，有效提升透雾摄像机所拍图像的效果。图像合成模块避免了大幅度修改现有图像处理模块的步骤。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种光学透雾彩色摄像机，包括镜头、可见光图像传感器、红外光图像传感器以及依次连接的图像合成模块、图像处理模块、编码模块和网络模块，其特征在于，在镜头和可见光图像传感器、红外光图像传感器之间设有分光机构，入射光线自镜头入射至分光机构后被可见光图像传感器和红外光图像传感器接收，所述可见光图像传感器和红外光图像传感器将各自采集的图像发送至图像合成模块。

2.如权利要求1所述的光学透雾彩色摄像机，其特征在于，所述分光机构是分光棱镜。

3.如权利要求2所述的光学透雾彩色摄像机，其特征在于，所述分光棱镜为直角棱镜，所述直角棱镜的一直角棱镜面垂直于入射光线的光轴。

4.如权利要求3所述的光学透雾彩色摄像机，其特征在于，所述可见光图像传感器与红外光图像传感器选择面阵图像传感器和线阵图像传感器中的一种，所述可见光、红外光分别垂直入射至可见光图像传感器和红外光图像传感器。

5.如权利要求2所述的光学透雾彩色摄像机，其特征在于，所述分光棱镜对可见光的平均折射率N为：N＜N0；其中，N0为空气对可见光的平均折射率。

6.如权利要求1-4任一项所述的光学透雾彩色摄像机，其特征在于，还包括一侧面设有光线入射口的外壳，所述镜头安装在所述光线入射口上，所述分光机构、可见光图像传感器和红外光图像传感均设于外壳内。

7.如权利要求6所述的光学透雾彩色摄像机，其特征在于，所述外壳内壁设有由黑色细磨砂涂设成的消光层。

8.如权利要求1所述的光学透雾彩色摄像机，其特征在于，在所述分光机构与可见光图像传感器之间设有红外光截止滤光片。

9.如权利要求1所述的光学透雾彩色摄像机，其特征在于，在所述分光机构与红外光图像传感器之间设有可见光截止滤光片。

10.一种光学透雾彩色图像采集方法，应用于摄像机，其特征在于，所述摄像机包括镜头、分光机构、可见光图像传感器、红外光图像传感器及图像合成模块，所述方法包括：

入射光线自镜头入射至分光机构后，由分光机构分离成可见光和红外光，所述可见光、红外光分别由可见光图像传感器与红外光图像传感器接收；

所述可见光图像传感器和红外光图像传感器将各自采集的图像发送至图像合成模块并进行合成，得到光学透雾彩色图像。

11.如权利要求10所述的光学透雾彩色图像采集方法，其特征在于，还包括：所述可见光图像传感器和红外光图像传感器采集图像前，利用所述图像合成模块控制所述可见光图像传感器和红外光图像传感器采集图像时序的同步。