【具体实施例】
本发明人经过研究发现,现有技术日夜两用摄像机难以兼顾夜晚红外拍摄与白天拍摄而导致白天图像偏色的根本原因,是白天拍摄时进入摄像机的自然光与红外光比例过低,更深层原因,是进入摄像机中的各种颜色红外光比例失衡。以下,本发明人通过分别对白天拍摄模式与夜晚拍摄模式下的光学成像过程进行深入研究,并找到解决现有技术问题的方法:
1.白天红外光对摄像机拍摄中颜色的破坏:
1)物体反射光
图2是太阳光照射到被摄物体上、被摄物体反射光线到摄像机的示意图。图3是一天中可见光与波长800-900纳米的近红外光的相对辐射比的变化曲线示意图。本文中,所称的800-900纳米的近红外光、850纳米波段红外光都是方便描述本发明而举的例子,根据本发明精神,可以泛指任何适合应用的红外光。
由于白天拍摄时段中红外光对拍摄图像颜色影响较大的时间是在太阳下山时,解决此时间段的偏色问题最为关键,因此下面先分析此时段物体反射光中的可见光与红外光的能量比值。
其中,一天中太阳下山时的色温大约在3000K-4000K左右。这时候的可见光的相对辐射比为0.15,而红外光800-900波段的相对辐射比为0.36,它们的能量辐射分别为:
K0=(700-400)×0.15×u
K1=(900-800)×0.36×u
而物体反射光中的可见光的反射比率为a0,红外光的反射比率为a1,所以物体反射光中可见光与波长为800-900纳米的红外光的能量分别为:
P0=K0×a0
P1=K1×a1
在生活环境中常见而且反射红外非常强的有树叶,尤其是表面有灰尘的树叶,而灰尘吸收部分可见光。而现实环境中绿叶是比较常见,而且是反射红外光非常强的,因此在本发明的一个实现方法中,是以树叶反射红外光代表所有物体反射红外光对摄像机进行白天拍摄的颜色影响。也就是说,只要克服树叶反射红外光对摄像机进行白天拍摄的颜色影响,就克服白天拍摄模式中的偏色问题。为方便描述,后面的分析过程也基于此例子。
因此,物体反射光的能量比值小于上述树叶中可见光与红外光能量比例:F=P0/P1时,可以认为摄像机中拍摄的图像颜色开始变差。
除了需分析物体反射光的情况外,还需分析光线最终被摄像机图像传感器所感应到之前所涉及的各个部分,包括镜头、滤光片和图像传感器本身,以下分别进行分析:
2)镜头:
在日夜两用摄像机中,一般使用的红外镜头为全透镜头,对所有光的透过为90%,经过镜头后的可见光和800-900纳米的红外能量为:
J0=P0×90%
J1=P1×90%
3)滤光片:
在日夜两用摄像机中,平时所有使用的850IR的红外滤光片其原理如图1所示。其中,波长800-900纳米的近红外光的平均透光率在75%。
因此,本发明的一个实施例中,是采用专门的红外滤光片来有效抑制红外光对摄像机所拍摄图像的色彩的破坏。参阅图4,所述红外滤光片的可见光的透光率为90%,波长800-900纳米的近红外光平均透光率在5%-35%之间。
所以,在物体反射光为阳光照射在绿叶上反射所得的能量为:
L0=90%×J0
L1max=35%×J1
L1min=5%×J1
本发明的一个实施例中,为补偿因采用上述平均透光率在5%-35%的红外滤光片而可能减少的夜晚模式下图像传感器对红外光的感应量,可以提高所述图像传感器的光线感应能力,比如,采用CMOS图像传感器来感应光线。
在摄像机中,图像的采集是通过一个自动曝光的算法来判断当前亮度是否满足要求。而在采用所述CMOS图像传感器的摄像机中,则是利用控制每个像素的电子快门的打开时间来实现。电子快门打开后,光进入每个像素,然后通过光电转换变为相应的电信号。这里像素对每个光线波段的转化效率就是本文所述图像传感器的感应能力跟随光谱变化的示意图。
本发明的一个实施例中,所采用的图像传感器的感应能力跟随光谱变化的曲线如图5所示。其中,所述图像传感器对可见光的平均感应能力为37.9%、对800-900纳米的红外光的感应能力为32.3%。
在物体的反射光是单色光,光的波段在于520-540纳米之间,这波段图像感应器的光电效应分别为:
Tg0=31.6%×L0,31.6%为像素点G的可见光转换效率;
Tr0=5.7%×L0,5.7%为像素点R的可见光转换效率;
Tb0=7.8%×L0,7.8%为像素点B的可见光转换效率;
在波段800-900纳米的近红外光的光电效应分别为:
Tg1max=9.17%×L1max,Tg1min=9.17%×L1min,9.17%为像素点G的转换效率;
Tr1max=11.12%×L1max,Tr1min=11.12%×L1min,11.12%为像素点R的转换效率;
Tb1max=11.07%×L1max,Tb1min=11.07%×L1min,11.07%为像素点B的转换效率;
由上可以知道图像传感器的RGB阵列在红外感应的光电效应不一样,即感应到的红外线各种颜色的比例不一样,所以造成白天拍摄模式下摄像机所拍摄图像颜色失真或改变。由于其中Tg1的值最少,所以当进来的红外光太多的时候,可能造成颜色的偏差。
综上所述:
T0max(R,G,B)=(Tr0+Tr1max,Tg0+Tg1max,Tb0+Tb1max)
真实颜色:Tt(R,G,B)=(Tr0,Tg0,Tb0)
本文所述的红外光对颜色的影响就是因为Tr1max、Tg1max、Tb1max的值比例搭配不当。当Tb0+Tb1max>Tg0+Tg1max的时候,颜色就发生畸变。
当然Tr1max、Tg1max、Tb1max的值,在整个比例中占的比例越少,对颜色的破坏就越少。
经过发明人多次测试:T0max(Tr0+Tr1max,Tg0+Tg1max,Tb0+Tb1max)为在白天拍摄模式下可以接受颜色的畸变的最大值。在测试实验例子中,绿叶为最难矫正的颜色。在白天中物体反射可见光和物体反射800-900纳米红外光的比值,因为这比值不能改变,所以可以通过调节滤光片对可见光和800-900纳米红外光之间的比值来使得绿叶颜色不发生畸变,也就是要满足Tr0+Tr1max<Tg0+Tg1max,Tb0+Tb1max<Tg0+Tg1max。
通过实验证明当滤光片在可见光透光率保持在90%,而把800-900纳米的红外光的透光率不断减少,颜色还原度不断提高,当平均透光率在35%以下的时候,颜色畸变比较小。
根据上面的分析,这里给出本发明的颜色修正率的定义如下:
在白天模式下,一束包含可见光和800-900纳米之间的近红外光的光线,通过镜头、滤光片以及CMOS图像传感器等后,其可见光与红外光最终为所述图像传感器感应到的能量比例。这与镜头的可见光和红外光的透光率、滤光片的可见光和红外光的透光率、CMOS图像传感器对可见光和红外光的感应能力有关,下面是所述颜色修正率D的公式:
D=(Tkj×Tkl×Tks)/(Thj×Thl×Ths)
其中,Tkj:镜头可见光的透光率
Tkl:滤光片对可见光的透光率
Thj:镜头对850纳米红外光透光率
Thl:滤光片对850纳米红外光透光率
Ths:图像传感器对850纳米红外光的感应能力
ΔCMAX:在图像传感器的RGB阵列中,RGB分别对800-900纳米之间平均红外光的感应能力之间最大差距。比如本例中的RGB的800-900纳米之间平均红外光的感应能力为(11.12%,9.17%,11.07%),他们的ΔCMAX=Tr-Tg=1.95%。
其中,图像传感器RGB阵列的排列方式之一为Bayer阵列,其是以矩阵的方式排列。相邻两行中第一行以R、G、R、G、R、G的方式排列,第二行以G、B、G、B、G、B的方式排列,依此类推。
上述像素排列方式中像素G的数量是像素R、B的两倍,因为人眼对绿色比较敏感。当图像还原时需要对阵列中每一个元素进行插值。以中心的绿色为例,此颜色只有G,缺少R与B,R就等于上下两个R的平均值,B就等于左右两个B的平均值。其他的R与B都一样,每个像素都要补齐RGB三色。
ΔC:为ΔCMAX中所述的两种像素对可见光感应能力之间的最大差距,比如MT9V136型图像传感器,其ΔC为R与G之间的差距ΔC=31.6%-5.7%=25.9%。
所以D>(90%×90%×25.9%)/(90%×35%×1.95%),
D>34.15
850纳米红外光定义为:800-900纳米之间的红外光,根据发明人大量实验验证,当D大于34.15时候,摄像机所拍摄到的图像颜色为人们所能接受。
2.夜视效果
图6是夜晚模式中摄像机进行红外拍摄的示意图。图7是辅助摄像机进行红外拍摄的红外灯的能量曲线图。
图中可知,红外光的能量集中在800-900之间,在850纳米时候能量值最高,跟滤光片的光谱图一致。红外光能量随着传送的距离而递减,在实际的应用环境和现有的市场中,摄像机可以在15米距离内使用32个红外灯。
下面以32个红外灯作为例子来说明:
单颗LED红外灯的发射能量为:b
32个红外灯能量为B0=32×b
在漆黑的夜晚,可以认为可见光数量为0,所以进入镜头的能量为B0。
1)镜头:
由上面论述可以知道,镜头通红外能力为90%,所以经过镜头后的光能量值为J0=90%·B0。
2)滤光片:
由上面论述可以知道,使用本发明的专用滤光片,其通红外能力为5%~35%,所以经过滤光片后的光能量值为:
L0min=5%·J0
L0max=35%·J0
3)CMOS图像传感器:
由上面论述知道,现有图像传感器产品的感红外能力为:
R0min=11.12%·L0min,R0max=11.12%·L0max
G0min=9.17%·L0min,G0max=9.17%·L0max
B0min=11.07%·L0min,B0max=11.07%·L0max
经过发明人大量试验测试表明,T0min(R0min,G0min,B0min)的亮度为人们能够接受的最少值。
根据上面分析,本发明给出红外的感应率的定义如下:
一束光(带有800-900纳米红外光)通过镜头、滤光片,最后到达CMOS图像传感器,在图像传感器中所能感受到的能量与这束光中的800-900纳米红外光的能量比值为所述红外感应率E。
E=(Thj×Thl×Ths)
Thj:镜头对800-900红外光透光率
Thl:滤光片对800-900纳米红外光透光率
Ths:图像传感器对800-900纳米红外光的感应能力
850纳米红外光定义为:800-900之间的红外光。图像传感器对800-900nm的红外光的感应能力为32.3%,经过多次试验,当E>90%×5%×32.3%、即E>1.45%时,可以认为人们能够接受漆黑环境下的红外拍摄效果。
由上面1和2的分析可以知道:现有技术中通红外的能力和白天颜色为一对不可以调和的矛盾。但是经过本发明人的深入研究与大量实验,得出:当颜色修正率D>34.15,红外感应率E>1.45%时候,是可以调和这对矛盾的解决办法。
为使红外感应率E>1.45%的时候能取得更好的夜视效果,本发明的一个实施例中,在摄像机中使用新一代CMOS图像传感器,比如感光能力较强的APTINA公司的MT9V126或者MT9V136型图像传感器等。所述图像传感器比传统图像传感器拥有更强的感光能力。如上述发明人的研究发现,通过减少红外滤光片等对850纳米波段的透光率,可以实现减少红外光对图像色彩还原的破坏,使摄像机在自然光下也能获得色彩还原较佳的图像效果。为此,本发明提出如下各种实施例:
参阅图8,本发明提出一种日夜两用摄像装置,用于在白天模式下和夜晚模式下进行摄像,包括:
光学系统,所述光学系统包括镜头、图像传感器、位于所述镜头和传感器之间的滤光片;
在所述白天模式下所述光学系统的颜色修正率:D>34.15,在夜晚模式下所述光学系统的红外感应率:E>1.45%,
其中,
所述D=(Tkj×Tkl×ΔC)/(Thj×Thl×ΔCMAX),所述E=(Thj×Thl×Ths);
所述Tkj为所述镜头对可见光的透光率,Tkl为所述滤光片对可见光的透光率,Thj为所述镜头对800-900纳米之间红外平均透光率,Thl为所述滤光片对800-900纳米之间红外平均透光率,Ths为所述图像传感器对800-900纳米红外光的感应能力,ΔCMAX为所述图像传感器中RGB各个像素对800-900纳米之间红外光平均感应能力之间的最大差距,ΔC为ΔCMAX中所述的两种像素对可见光感应能力之间的最大差距,所述ΔC中的两种像素是指ΔCMAX中红外光感应能力之间存在最大差距所对应的两种像素。
本实施例是利用上述的研究结果,使摄像机光学系统的颜色修正率大于34.15,也就是使光学系统在白天模式下其可见光与红外光最终为所述图像传感器感应到的能量比例大于34.15。大于这个比例,可以使白天拍摄的图像中红外光对图像色彩还原的破坏最少,在34.15这个数值,可以认为基本无偏色现象产生或可以忍受较小的偏色现象;
并且使摄像机光学系统的红外感应率大于1.45%,也就是使所述光学系统在夜晚模式下其红外光在进入所述光学系统前与进入所述光学系统后最终为所述图像传感器感应到的能量比例为大于1.45%。大于这个比例,可以使夜晚能进行正常的红外拍摄,在1.45%这个数值,可以认为基本能进行正常的红外拍摄,能拍摄出基本清楚的物体。
在颜色修正率大于34.15以及红外感应率大于1.45%的标准下,可以任意设计本发明日夜两用摄像装置的光学系统,比如单独设计其滤光片,使其满足上述标准,或综合设计滤光片与图像传感器,或单独设计图像传感器、镜头等等。
可以理解,区别于现有技术日夜两用摄像机难以兼顾夜晚红外拍摄与白天拍摄而导致白天图像偏色的情况,本发明通过对日夜两用摄像机偏色原因进行分析,先设计在夜晚模式下光学系统的红外感应率:E>1.45%,保证暗环境中能接收足够的红外光以进行正常的红外拍摄,同时,研究得到在白天自然光拍摄情况下实现基本无偏色现象时的颜色修正率,在满足所述颜色修正率的条件下可以相对现有技术大幅减少整个光学系统对850纳米波段的透光率,实现减少红外光对图像色彩还原的破坏,使摄像机在自然光下也能获得色彩还原较佳的拍摄效果。
进一步地、大量地实验与实践表明,当滤光片的850纳米波段透光率在5%~35%之间的时候,即能满足白天模式拍摄时图像的色彩还原,又能满足黑暗中在有850纳米波段红外灯的补光光源环境下,看得清被摄物体。
在一个实施例中,所述式中D=(Tkj×Tkl×ΔC)/(Tkj×Thl×ΔCMAX)的所述Tkj为90%,Tkl为90%,ΔC为25.9%,Thj为90%,Thl为小于35%,ΔCMAX为1.95%。
所述式中E=(Thj×Thl×Ths)的Thj为90%,Thl为大于5%,Ths为32.3%。
也即相对现有技术仅改变滤光片对红外光的透光率。
在另一个实施例中,所述Tkj为90%,Tkl为90%,ΔCMAX为1.95%、Thj为90%,Ths为32.3%、ΔC为25.9%,所述Thl的数值在5%~35%之间,优选为6%、7%、8%、9%、10%、11%、12%、13%、14%、15%、16%、17%、18%、19%、20%、21%、22%、23%、24%、25%、26%、27%、28%、29%、30%、31%、32%、33%、34%。
当然,上述滤光片对红外光的透光率仅仅是举例说明,还可以有更多的实施例,比如所述Thl的数值优选在17%~20%之间,如17.5%、18.6%、或19.4%,或优选在22%~26%之间等等。
本发明还提供一种应用于日夜两用摄像装置的滤光片,所述滤光片对800~900纳米之间红外平均透光率在5%~35%之间。
上述滤光片是专用于本发明日夜两用摄像机,仅用一片滤光片,即可实现摄像机白天拍摄不偏色、晚间拍摄足够清楚的技术效果。
上述滤光片对800~900纳米之间红外平均透光率优选为6%、7%、8%、9%、10%、11%、12%、13%、14%、15%、16%、17%、18%、19%、20%、21%、22%、23%、24%、25%、26%、27%、28%、29%、30%、31%、32%、33%、34%。
本发明还提供一种应用于日夜两用摄像装置的光学系统,包括图像传感器,
所述光学系统在白天模式下其可见光与红外光最终为所述图像传感器感应到的能量比例大于34.15,
并且所述光学系统在夜晚模式下其红外光在进入所述光学系统前与进入所述光学系统后最终为所述图像传感器感应到的能量比例为大于1.45%。
本光学系统实施例中,所述比例34.15和1.45%的设计并不限定是在某个元件中的改进,可以是光学系统中任何相关元件的设计,也可以是两个或两个相关光学元件的配合设计,以共同达到满足比例34.15和1.45%的要求。
比如,除了所述图像传感器外,所述光学系统包括设置于所述图像传感器前面的镜头、以及位于所述镜头和图像传感器之间的滤光片,所述镜头或滤光片对800~900纳米之间红外平均透光率在5%~35%之间,所述图像传感器可以是APTINA公司的MT9V126或者MT9V136型图像传感器。
本发明还提供一种日夜两用摄像装置,包括光学系统,所述光学系统包括图像传感器,所述光学系统的红外失衡率:F=H/D<3/155,在夜晚模式下所述光学系统的红外感应率:E>1.45%,
其中,
H=(3·Tg1max-Tg1max-Tr1max-Tb1max)/(3·Tg1max+3.Tr1max+3·Tb1max);
所述Tg1max、Tr1max、Tb1max分别是所述图像传感器的像素点G、R、B对来自常见红外强反射参照物红外光的转换效率,所述D为光学系统在白天模式下其可见光与红外光最终为所述图像传感器感应到的能量比例。所述常见红外强反射参照物,可以如前述的绿叶等。
如前文所述,本文所述的红外光对颜色的影响就是因为Tr1max、Tg1max、Tb1max的值比例搭配不当。当Tb0+Tb1max>Tg0+Tg1max的时候,颜色就发生畸变。Tg1max/T0max的比例有个极限值,超过这个极限值即是不可接受的偏色现象,而小于等于这个值则认为无偏色或偏色现象可以接受。本实施例用另一种参数H来代替Tg1max/T0max,红外失衡率H小于等于3/155时,可以认为无偏色或偏色现象可以接受。同时,本实施例也限定了在夜晚模式下的最低红外感应率,即大于1.45%,以在夜晚提供足够的红外光给摄像机进行拍摄,并兼顾夜晚红外拍摄与白天拍摄。
同样,所述D=(Tkj×Tkl×ΔC)/(Thj×Thl×ΔCMAX)>34.15,所述Tkj为所述镜头对可见光的透光率,Tkl为所述滤光片对可见光的透光率,Thj为所述镜头对800-900纳米之间红外平均透光率,Thl为所述滤光片对800-900纳米之间红外平均透光率,ΔCMAX为所述图像传感器中RGB各个像素对800-900纳米之间红外光平均感应能力之间的最大差距,ΔC为ΔCMAX中所述的两种像素对可见光感应能力之间的最大差距。
值得说明的是,本发明各个实施例中,图像传感器的类型并非仅限于CMOS类型,可以是感应能力较强的CCD类型。本发明日夜两用摄像装置可以包括辅助红外灯,也可以不包括辅助红外灯,视实际情况而定。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。