CN101621697B - 一种用多色图像传感器的背景消除装置及使用方法 - Google Patents

Abstract

本发明涉及一种多色图像传感器和用它进行图像背景的消除装置及使用方法，该装置由数码摄相机(1)和图像处理器组成，其特征是数码摄相机(1)中的感光芯片采用多色(红色、绿色、篮色、红外和可见光)图像传感器，在被检测物(3)的前方、数码摄相机(1)的同一侧固定安装着红外光源(2)。使用时，依次对采集的原始图像的各像素点去马赛克、排除红外线信息PixelI、计算出每个像素点的灰色图像Gray’，得到纯红外信息图象PixelI(纯)，最后实现图像背景消除。本发明是结构简单、通用性好、功耗小、避免运动模糊和退避运动伪影、分析和计算量小的图像背景消除装置和使用方法，它可用于物体检测，图像分割等多个领域。

Description

一种用多色图像传感器的背景消除装置及使用方法

技术领域

本发明涉及一种图像传感设备和图像采集和模式识别技术领域，特别是一种利用半导体的多色图像传感器和用它进行图像采集和模式识别的技术领域。

背景技术

司机睡意，司机分心，司机疲劳是在造成交通事故的最重大的因素。这些因素造成对交通安全的主要威胁，并且随着车辆数目的增长和车内外牵制司机的注意分心因素逐渐增长，这个问题逐渐恶化。所以，司机检测系统受到了研究人员的注意。面孔鉴定，识别和面部表情和司机行为分析是被用于监测司机状态的主要技术。在对人面信息的分析之前，必须先从复杂的背景里检查和定位人脸。司机监控系统在最近几十年受到了研究人员的关注，面孔定位和面孔检测是一个必要的处理过程。只有定位面孔后才能进行进一步面部表情，眨眼次数等检测。但是考虑到背景和光照条件的复杂和变化，人脸定位并不容易。人们提出了各种各样的解决方案。例如因为眼睛是在人脸中最突出和最稳定的特点，眼睛的定位经常是人脸定位的重要的步骤，并且在某些情况下面孔定位由眼睛定位替代。背景消除是确定不是人脸的区域，缩小人脸搜索的范围，使面孔定位更加快速和更加可靠的一个重要阶段。

关于面孔和眼睛检测和跟踪的工作可以被分类入二个类别：被动式图像分析方法和主动红外线辅助方法，前者根据模式识别的原理从图象中找出眼睛或面孔，这些技术可以大致被分类入二个类别：整体特征法和局部特征法。在整体特征法中，整体面孔图象由唯一的特征向量来表示，它常用Eigenfaces、线性分类分析、有差别共同向量、贝叶斯分类等判别方法。然而，整体特征对目标物的位移、转动、大小、变形和遮挡等很敏感，同时计算机运算量很大。要克服这些问题，可加入一些预处理，例如重新排列和正常化面孔，但这时也可能产生负面作用，并且计算量额外增加。到目前为止以局部特征法更为有效，它是找出目标物的某个特点，例如眼睛、嘴和鼻子，从而实现一个基于局部特征的分类判别。然而，由于标的物的尺寸、位置、方向和姿势的可变性，从图象或录影中实现脸部定位或脸部检测侦查是一项富有挑战性的任务。此外，面部表情的变化，障碍物的存在，以及光照条件的变化也改变面孔的图像，并且使检测过程更加困难。通常对目标图象实施穷举搜索法，从左到右、从上到下逐步运算。同时考虑面孔的大小和照明条件的变化，计算时间将无法承受的长，尤其对于实时便携式移动系统而言，而大多数汽车视觉系统是这种情况。

主动红外线辅助方法，这种方法使用一台照相机摄取二个连贯的司机的图象，这两图像分别在不同红外线照明条件下摄取。第一个图象在850毫微米红外光照条件下获取，由于视网膜的反射特性，司机的瞳孔在这个波段的红外照射下会闪光。第二个图象在950毫微米红外光照条件下获取，司机的瞳孔在这个波段的红外照射下不会闪光。红外线光源与图像传感器将同步，并且每间隔一个帧光源打开。除了瞳孔的亮度外，这两个图象是相同的。通过计算这两个图象区别我们可以得到第三个区别图象。因为在两幅图像的眼睛部位亮度的不同，司机的眼睛在这个第三个图象中轻松找到。

对这个主动式红外线方法的一个缺点是即使红外光源与图像摄取很好同步，目标对象或照相机的移动将很大地降低整体背景消除效果和眼睛的定位精度。由于距离前景对象比背景接近，脉冲红外线光源有对前景的物体有更大的影响。在连续两帧图像中，前景对象的区别高于那其他部分。经过阈值化处理后，标的物背景图像信息将被淡化。但由于二幅图像是在不同的时间里摄取，不可避免地在区别图象中将有行动模糊，当照相机本身也在移动时运动模糊的现象将更为严重。虽然高的帧频可能减缓运动模糊，但是由于当前技术条件的限制，帧速率不可能无限提高，同时过高的帧频率也会有功率消耗过大等问题。

美国专利《一个近红外光照下头部跟踪及彩色录像采集的系统及相关方法》(专利申请号20020118861)，这里公布的技术是：发射近红外光的显像管安放在一个背投的周围，这个本地用户的头部被这个均匀发光的背投屏幕照亮。这个本地用户的头部的近红外图像由一个安装红外滤波器的近红外照相机拍得，这个滤波器可以把被照亮的前景和背景分开。本地用户的头部的彩色图像和远端位置的投影由一个彩色摄像机摄取，这个彩色摄像机和红外摄像机放得很近。在近红外的图像中本地用户的头部划上一个方框。同时在彩色图像中找到这个这个方框的对应位置。同时彩色图像的响应位置被剪辑下来。剪下的彩色图像同时被传送到远端。

美国专利《车辆的夜视系统》(美国专利申请号20020067413)是介绍在弱光条件下一个汽车夜视系统和控制方法；因此，目前在视觉图像测量与模式识别技术领域，都急需一种结构简单、通用性好、功耗小、避免运动模糊和退避运动伪影、分析和计算量小的图像背景消除装置和使用方法。

发明内容

本发明所要解决的技术问题是：针对上述不足，提供一种用多色图像传感器的背景消除装置及使用方法。

本发明解决上述技术问题所采用的技术方案是：一种用多色图像传感器的背景消除装置，它由数码摄相机1和图像处理器组成，其特征是数码摄相机1中的感光芯片采用多色图像传感器，上述多色为红色、绿色、蓝色、红外和可见光，分别用R、G、B、I表示，其光学滤波器的各滤波阵列容许红色、绿色、蓝色、红外和可见光这4个波段的光谱单独通过，且光学滤波器的滤波阵列是这样排列的：

上排R    G    R    G    R    G    …………

下排I    B    I    B    I    B    …………

    ·   ·   ·   ·   ·   ·   …………

    ·   ·   ·   ·   ·   ·   …………

如此类推，上下各排依次交叉排列；

上述背景消除装置工作时，多色图像传感器安装在被检测物3的前方，数码摄相机1的同一侧固定安装着红外光源2；

所述背景消除装置工作时，红外光源2是一直被打开的；

数码摄相机1采集的被检测物3的图像传输到图像处理器后，首先对采集的原始图像的各像素点去马赛克：即用插值法，使每个像素点都把相邻3种不同颜色像素点的多频道信号，叠加到该像素点上，以在每个像素点上得到四频道的复合信号：PixelR，PixelG，PixelB，PixelI；

从每个像素点上的四频道的复合信号中，排除红外线信息：

$R^{\′}=\frac{({\mathrm{\α}}_1\×\mathrm{PixelR}+{\mathrm{\α}}_2\×\mathrm{PixelI}-{\mathrm{\α}}_3\×\mathrm{PixelG}-{\mathrm{\α}}_4\×\mathrm{PixelB})}{2}$

$G^{\′}=\frac{({\mathrm{\β}}_1\×\mathrm{PixelG}+{\mathrm{\β}}_2\×\mathrm{PixelI}-{\mathrm{\β}}_3\×\mathrm{PixelR}-{\mathrm{\β}}_4\×\mathrm{PixelB})}{2}---\left(1\right)$

$B^{\′}=\frac{({\mathrm{\γ}}_1\×\mathrm{PixelB}+{\mathrm{\γ}}_2\×\mathrm{PixelI}-{\mathrm{\γ}}_3\×\mathrm{PixelG}-{\mathrm{\γ}}_4\×\mathrm{PixelR})}{2}$

其中R′，G′，B’是在每个像素点上纯净的红色，绿色，蓝色信号，系数α1、_αα2、α3、α4、β1、β2、β3、β4、γ1、γ2、γ3、γ4通过实验确定；

从彩色图像到灰色图象转换：从公式(1)得到的彩色图像，用下面的公式(2)即可计算出每个像素点的灰色图像Gray’：

Gray′＝0.299*R′+0.587*G′+0.114*B′   (2)

图像背景消除：用每个像素点的红外和可见光信号PixelI和公式(2)的灰色信号Gray’，即可用公式(3)计算出除去背景后的纯红外信息图象PixelI纯：

PixelI纯＝PixelI-Gray’，               (3)

因为前景物体距离红外光源的距离较近，而物体反射的照度和距离的平方成反比，由前景物体反射的纯红外信息PixelI纯，要远比背景物体反射的纯红外信息PixelI纯大得多，对图像PixelI纯可以简单找到一门限值，并对图像进行二元化，完成被检测物(3)的图像背景消除。

按上述方案，其不同之处在于所述的多色图像传感器中的光学滤波器中红外和可见光I的滤波阵列的光通波段是：容许波长低于950纳米的红外和可见光通过。

一种使用所述的背景消除装置以消除图像背景的方法，其特征在于采用下列步骤：

所述背景消除装置工作时，红外光源2是一直被打开的；

数码摄相机1采集的被检测物3的图像传输到图像处理器后，首先对采集的原始图像的各像素点去马赛克：即用插值法，使每个像素点都把相邻3种不同颜色像素点的多频道信号，叠加到该像素点上，以在每个像素点上得到四频道的复合信号：PixelR，PixelG，PixelB，PixelI；

从每个像素点上的四频道的复合信号中，排除红外线信息：

$R^{\′}=\frac{({\mathrm{\α}}_1\×\mathrm{PixelR}+{\mathrm{\α}}_2\×\mathrm{PixelI}-{\mathrm{\α}}_3\×\mathrm{PixelG}-{\mathrm{\α}}_4\×\mathrm{PixelB})}{2}$

$G^{\′}=\frac{({\mathrm{\β}}_1\×\mathrm{PixelG}+{\mathrm{\β}}_2\×\mathrm{PixelI}-{\mathrm{\β}}_3\×\mathrm{PixelR}-{\mathrm{\β}}_4\×\mathrm{PixelB})}{2}---\left(1\right)$

$B^{\′}=\frac{({\mathrm{\γ}}_1\×\mathrm{PixelB}+{\mathrm{\γ}}_2\×\mathrm{PixelI}-{\mathrm{\γ}}_3\×\mathrm{PixelG}-{\mathrm{\γ}}_4\×\mathrm{PixelR})}{2}$

其中R′，G′，B’是在每个像素点上纯净的红色，绿色，蓝色信号，系数α1、_αα2、α3、α4、β1、β2、β3、β4、γ1、γ2、γ3、γ4通过实验确定；

从彩色图像到灰色图象转换：从公式(1)得到的彩色图像，用下面的公式(2)即可计算出每个像素点的灰色图像Gray’：

Gray′＝0.299*R′+0.587*G′+0.114*B′      (2)

图像背景消除：用每个像素点的红外和可见光信号PixelI和公式(2)的灰色信号Gray’，即可用公式(3)计算出除去背景后的纯红外信息图象PixelI纯：

PixelI纯＝PixelI-Gray’，                  (3)

因为前景物体距离红外光源的距离较近，而物体反射的照度和距离的平方成反比，由前景物体反射的纯红外信息PixelI纯，要远比背景物体反射的纯红外信息PixelI纯大得多，对图像PixelI纯可以简单找到一门限值，并对图像进行二元化，完成被检测物(3)的图像背景消除。

与现有技术相比，本发明的有益效果是：

1、在常规RGB图像传感器，通常在它的上面要安装红外阻隔滤色镜来阻拦红外信息，本发明采用多色图像传感器，不用安装这种红外阻隔滤色镜，并除掉现有技术中常规RGB图像传感器中多余的绿色频道(因为绿色的高的分解率并不会改进图像的解析质量)，而用红外和可见光I频道替换，这样，在多色图像传感器的像素阵列中有25％的像元容许红外信息和可见光都可通过，使传感器采集的红外信息极大的增加，为在以后的图像解析中，最大限度的利用红外的背景消除特性，提供了最佳图像信息。

2、本发明装置使用时，红外光源2是一直打开的，从而不需要任何外部控制电路来控制红外线光源和图像传感器的同步，不仅降低了本发明装置的产品成本，还避免了伪图像和模糊图像的采集，为以后的背景消除和图像解析提供了捷径和方便，从而极大地提高了对包括前景快速移动的标的图像的监测精度。

3、本发明中同时采集的几幅图象，包括灰色、彩色、黑白和红外线图象可以从同一个RGBI多色传感器中实时获得，从而可以扩展这些图象在图像识别领域的应用，例如，在进行面部定位和检测时，还可解析眼睛的方向监控和眨眼睛次数计数等。

4、本发明还可以按不同的使用环境，使多色图像传感器中的光学滤波器中红外和可见光I的滤波阵列，减少部分红外光的输入，只容许低于1200纳米的红外或可见光通过，这样，可以极大地提高对检测物3的彩色监视图像和解析精度。

图1是本发明一个实施例的结构示意图。

图2(a)是贝尔三色图像传感器像素点阵排列图。

图2(b)是本发明多色图像传感器像素点阵排列图。

具体实施方式

下面结合附图进一步说明本发明的实施例，图1是本发明一个实施例的结构示意图：在汽车4驾驶室的前方，依次安装着数码摄相机1和红外光源2，本发明装置开机后，数码摄相机1和红外光源2是同步开启的，数码摄相机1开始拍摄司机的面部头像，车载的图像处理器也同时对数码摄相机1实时传来的有关图像信息进行解析，并可随时把监测结果传输到车内显示屏和(或)车内报警器上，也可按需要无线传输到交通监管等有关部门。

在本实施例中，数码摄相机1中的感光芯片采用多色-红色、绿色、蓝色、红外和可见光，分别用R、G、B、I表示-图像传感器，其光学滤波器的各滤波阵列容许红色和部分红外、绿色和部分红外、篮色和部分红外、部分红外和可见光这四个波段的光谱单独通过。

在本发明的另一实施例中，数码摄相机1中的感光芯片也是采用多色-红色、绿色、蓝色、红外和可见光，分别用R、G、B、I表示-图像传感器，不同之处在于其光学滤波器上安装阻断高于950纳米的红外光通过的滤波器。因为红，绿，蓝的光学滤波器无法阻拦红外光的穿透，传统的红绿蓝感光传感器上安装750纳米以下的低通滤波器来消除红外光。本发明的传感器可以容许部分红外光的穿过，这样时间上这里所描述的红，绿，蓝信道分别是红和红外，绿和红外，蓝和红外的混合。红外和可见光是红外和所有可见光的混合。

数码摄相机1采集的被检测物3的图像传输到图像处理器后，对该图像的背景消除，是按上面发明内容所述的方法，采用下列4个步骤：

1.首先对采集的原始图像的各像素点去马赛克，用插值法计算出在每个像素点上四频道的复合信号：PixelR，PixelG，PixelB，PixelI。

2.从每个像素点上的四频道的复合信号中，排除红外线信息，用公式(1)计算出纯净的红色、绿色、蓝色信号值：R′，G′，B’，从而得到没有红外线信息的含有红、绿和篮三色的彩色图像。

3.从彩色图像到灰色图象转换：从公式(1)得到的彩色图像，用公式(2)即可计算出每个像素点的灰色图像Gray’。

4.图像背景消除：用每个像素点的红外和可见光信号PixelI和公式(2)的灰色信号Gray’，即可用公式(3)计算出除去背景后的纯红外信息图象PixelI纯：

PixelI纯＝PixelI-Gray’，    (3)

因为前景物体距离红外光源的距离较近，而物体反射的照度和距离的平方成反比，由前景物体反射的纯红外信息PixelI纯，要远比背景物体反射的纯红外信息PixelI纯大得多，对图像PixelI纯可以简单找到一门限值，并对图像进行二元化，完成被检测物3的图像背景消除。

Claims (3)

1.一种用多色图像传感器的背景消除装置，它由数码摄相机(1)和图像处理器组成，其特征是数码摄相机(1)中的感光芯片采用多色图像传感器，上述多色为红色、绿色、蓝色、红外和可见光，分别用R、G、B、I表示，其光学滤波器的各滤波阵列容许红色、绿色、蓝色、红外和可见光这4个波段的光谱单独通过，且光学滤波器的滤波阵列是这样排列的：

上排R    G    R    G    R    G    …………

下排I    B    I    B    I    B    …………

    ·   ·   ·   ·   ·   ·   …………

    ·   ·   ·   ·   ·   ·   …………

如此类推，上下各排依次交叉排列；

上述背景消除装置工作时，多色图像传感器安装在被检测物(3)的前方，数码摄相机(1)的同一侧固定安装着红外光源(2)；

所述背景消除装置工作时，红外光源(2)是一直被打开的；

数码摄相机(1)采集的被检测物(3)的图像传输到图像处理器后，首先对采集的原始图像的各像素点去马赛克：即用插值法，使每个像素点都把相邻3种不同颜色像素点的多频道信号，叠加到该像素点上，以在每个像素点上得到四频道的复合信号：PixelR，PixelG，PixelB，PixelI；

从每个像素点上的四频道的复合信号中，排除红外线信息：

$\begin{array}{c}{R}^{\′}=\frac{({\mathrm{\α}}_1\×\mathrm{PixelR}+{\mathrm{\α}}_2\×\mathrm{PixelI}-{\mathrm{\α}}_3\×\mathrm{PixelG}-{\mathrm{\α}}_4\×\mathrm{PixelB})}{2}\\ G^{\′}=\frac{({\mathrm{\β}}_1\×\mathrm{PixelG}+{\mathrm{\β}}_2\×\mathrm{PixelI}-{\mathrm{\β}}_3\×\mathrm{PixelR}-{\mathrm{\β}}_4\×\mathrm{PixelB})}{2}\\ B^{\′}=\frac{({\mathrm{\γ}}_1\×\mathrm{PixelB}+{\mathrm{\γ}}_2\×\mathrm{PixelI}-{\mathrm{\γ}}_3\×\mathrm{PixelG}-{\mathrm{\γ}}_4\×\mathrm{PixelR})}{2}\end{array}---\left(1\right)$

其中R′，G′，B’是在每个像素点上纯净的红色，绿色，蓝色信号，系数α1、_αα2、α3、α4、β1、β2、β3、β4、γ1、γ2、γ3、γ4通过实验确定；

从彩色图像到灰色图象转换：从公式(1)得到的彩色图像，用下面的公式(2)即可计算出每个像素点的灰色图像Gray’：

Gray′＝0.299*R′+0.587*G′+0.114*B′(2)

图像背景消除：用每个像素点的红外和可见光信号PixelI和公式(2)的灰色信号Gray’，即可用公式(3)计算出除去背景后的纯红外信息图象PixelI纯：

PixelI纯＝PixelI-Gray’，(3)

因为前景物体距离红外光源的距离较近，而物体反射的照度和距离的平方成反比，由前景物体反射的纯红外信息PixelI纯，要远比背景物体反射的纯红外信息PixelI纯大得多，对图像PixelI纯可以简单找到一门限值，并对图像进行二元化，完成被检测物(3)的图像背景消除。

2.根据权利要求1所述的装置，其特征是所述的多色图像传感器中的光学滤波器中红外和可见光I的滤波阵列的光通波段是：容许波长低于950纳米的红外和可见光通过。

3.一种使用权利要求1的背景消除装置以消除图像背景的方法，其特征在于采用下列步骤：

所述背景消除装置工作时，红外光源(2)是一直被打开的；

数码摄相机(1)采集的被检测物(3)的图像传输到图像处理器后，首先对采集的原始图像的各像素点去马赛克：即用插值法，使每个像素点都把相邻3种不同颜色像素点的多频道信号，叠加到该像素点上，以在每个像素点上得到四频道的复合信号：PixelR，PixelG，PixelB，PixelI；

从每个像素点上的四频道的复合信号中，排除红外线信息：

$\begin{array}{c}{R}^{\′}=\frac{({\mathrm{\α}}_1\×\mathrm{PixelR}+{\mathrm{\α}}_2\×\mathrm{PixelI}-{\mathrm{\α}}_3\×\mathrm{PixelG}-{\mathrm{\α}}_4\×\mathrm{PixelB})}{2}\\ G^{\′}=\frac{({\mathrm{\β}}_1\×\mathrm{PixelG}+{\mathrm{\β}}_2\×\mathrm{PixelI}-{\mathrm{\β}}_3\×\mathrm{PixelR}-{\mathrm{\β}}_4\×\mathrm{PixelB})}{2}\\ B^{\′}=\frac{({\mathrm{\γ}}_1\×\mathrm{PixelB}+{\mathrm{\γ}}_2\×\mathrm{PixelI}-{\mathrm{\γ}}_3\×\mathrm{PixelG}-{\mathrm{\γ}}_4\×\mathrm{PixelR})}{2}\end{array}---\left(2\right)$

其中R′，G′，B’是在每个像素点上纯净的红色，绿色，蓝色信号，系数α1、_αα2、α3、α4、β1、β2、β3、β4、γ1、γ2、γ3、γ4通过实验确定；

从彩色图像到灰色图象转换：从公式(1)得到的彩色图像，用下面的公式(2)即可计算出每个像素点的灰色图像Gray’：

Gray′＝0.299*R′+0.587*G′+0.114*B′(2)

图像背景消除：用每个像素点的红外和可见光信号PixelI和公式(2)的灰色信号Gray’，即可用公式(3)计算出除去背景后的纯红外信息图象PixelI纯：

PixelI纯＝PixelI-Gray’，(3)

因为前景物体距离红外光源的距离较近，而物体反射的照度和距离的平方成反比，由前景物体反射的纯红外信息PixelI纯，要远比背景物体反射的纯红外信息PixelI纯大得多，对图像PixelI纯可以简单找到一门限值，并对图像进行二元化，完成被检测物(3)的图像背景消除。

Images