CN103716606B - 一种Bayer域图像下采样的方法、装置及摄像设备 - Google Patents

Abstract

本发明公开了一种Bayer域图像下采样方法、装置及摄影设备，下采样方法包括以下步骤：采集一Bayer域图像；对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值；对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像；输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理。通过在图像采集单元与图像处理单元之间设置插值单元和下采样单元，首先利用插值技术，对图像传感器输入的Bayer图像的每一像素点插值出缺失的另外两通道像素值，提高图像采样率；然后对插值的Bayer图像进行下采样，获得目标尺寸的Bayer图像，节省后续图像处理单元的硬件实现成本，同时达到较高的图像质量。

Description

一种Bayer域图像下采样的方法、装置及摄像设备

技术领域

本发明涉及视频图像处理领域，尤其涉及一种能有效节省视频摄像系统硬件实现成本，同时获得较高的图像质量的Bayer域图像下采样的方法、装置及摄像设备。

背景技术

在标准的视频摄像系统中，如图1所示，图像采集单元21通过图像传感器采集RGB Bayer域图像，图像处理单元22（ISP）对Bayer域图像进行图像效果处理，输出目标图像给存储或显示终端23。图像处理单元22通常涉及到图像2D降噪、3D降噪，去马赛克处理、图像色彩空间转换、图像增强等处理，在这些图像处理中需要若干的行缓存以及帧缓存。这些缓存通常消耗较高的硬件实现成本。

目前图像传感器多具有较高的有效像素（如8M或5M像素图像传感器），但是在终端存储或显示通常只需要较小的图像尺寸，如果仍然采用图1的框架，对Bayer域图像进行ISP处理，则需要较大的行缓存以及帧缓存，必然增加硬件实现成本。为了能够实现较小输出幅面，大多图像传感器都具有Bayer域图像下采样（Binning）功能，但是传感器的下采样功能只是将邻域里相同通道的像素进行简单的加权滤波，然后输出目标幅面，并且传感器的采样功能通常只能实现整数倍下采样。下采样能有效降低后续ISP处理的硬件实现成本，但是通常会带来图像质量下降，譬如会导致明显的图像边缘锯齿，以及牺牲图像分辨率。

在图像采集单元21采用较大幅面传感器时，为了节省图像处理单元22的硬件实现成本，需要对Bayer域图像进行下采样处理，同时需要保证图像质量。

发明内容

本发明所要解决的技术问题是提供一种实现图像下采样，节省后续ISP处理的硬件实现成本，同时达到较高的图像质量的Bayer域图像下采样的方法及装置。

为实现上述技术效果，本发明公开了一种Bayer域图像下采样方法，包括以下步骤：

采集一Bayer域图像；

对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值；

对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像；

输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理。

所述方法进一步的改进在于，所述插值处理包括以下步骤：

计算R和/或B通道处缺失的G通道像素值，插值R像素位置、B像素位置缺失的G通道像素值；

利用G-R或G-B间的像素差值进行R和/或B通道插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G通道处缺失的R和B通道像素值。

所述方法进一步的改进在于，所述下采样处理包括以下步骤：

确定下采样后的Bayer域图像中的位置及该位置处的通道类型，计算映射在下采样前的Bayer域图像中的位置；

确定插值数据窗，经过插值滤波得到所述下采样后的Bayer域图像中的位置处的通道像素值，从而得到下采样处理后的Bayer域图像。

所述方法进一步的改进在于，所述插值滤波的方式包括双线性插值滤波、样条插值、三次多项式插值、非参数核函数插值。

本发明还公开了一种Bayer域图像下采样装置，设置于图像采集单元与图像处理单元之间，所述Bayer域图像下采样装置包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元。

所述装置进一步的改进在于，所述插值单元包括相互连接的一G通道插值单元和一R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。

本发明还公开了一种摄像设备，包括一图像采集单元、一图像处理单元和一存储或显示终端，所述图像采集单元连接所述图像处理单元的输入端，所述显示终端连接所述图像处理单元的输出端，所述图像采集单元与图像处理单元之间还连接有一Bayer域图像下采样装置，所述Bayer域图像下采样装置进一步包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元。

所述摄像设备进一步的改进在于，所述插值单元包括相互连接的一G通道插值单元和一R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。

本发明由于采用了以上技术方案，使其具有以下有益效果是：通过在图像采集单元与图像处理单元之间设置插值单元和下采样单元，首先利用插值技术，对图像传感器输入的Bayer图像的每一像素点插值出缺失的另外两通道像素值，提高图像采样率；然后对插值的Bayer图像进行下采样，获得目标尺寸的Bayer图像，节省后续图像处理单元的硬件实现成本，同时达到较高的图像质量。

附图说明

图1是现有的摄像系统的结构框图。

图2是本发明摄像设备的结构框图。

图3～图6是四种Bayer域图像格式。

图7是本发明Bayer域图像下采样装置的结构示意图。

图8是本发明Bayer域图像下采样方法中插值单元数据窗示意图。

图9是本发明Bayer域图像下采样方法中双线性插值数据窗示意图。

图10是本发明Bayer域图像下采样方法的一较佳实施例的流程图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细的说明。

首先参阅图2所示，本发明的Bayer域图像下采样装置10设于摄像设备的图像采集单元11与图像处理单元12之间，Bayer域图像下采样装置10的输入端连接图像采集单元11，其输出端连接图像处理单元12，对图像采集单元11的图像传感器输入的Bayer图像下采样，获得目标尺寸的Bayer图像，节省后续图像处理单元12的硬件实现成本，同时达到较高的图像质量。图像处理单元12进一步连接一存储或显示终端13。图像处理单元12内依次包含有图像前处理、去马赛克、图像后处理以及图像下采样。图像采集单元11内的图像传感器输采集的Bayer域图像通常有四种格式，如图3～图6所示，GRBG格式、GBRG格式、RGGB格式以及BGGR格式。Bayer域图像下采样装置10中输入的Bayer域图像可以是四种格式中的一种，输出也可选择为四种格式中的一种。

由于直接在Bayer域上进行图像下采样，Bayer 图像采样率较低，R、G、B像素通道的相位各不相同，在边界处易导致锯齿现象，同时锐度较高的地方会产生较为明显的假色现象。因此，需要利用插值技术，对每一像素点插值出缺失的另外两通道像素值，提高图像采样率。配合图7所示，本发明的Bayer域图像下采样装置10包括一插值单元101和一下采样单元104，插值单元101与下采样单元104相互连接，插值单元101进一步包括相互连接的一G通道插值单元102和一R/B通道插值单元103，并且R/B通道插值单元103连接下采样单元104。

G通道插值单元102用于计算R/B通道处缺失的G通道像素值。配合图8所示，采用5x5的数据窗为例说明G通道插值技术，采用边界自适应的插值方式计算R12位置处的G12通道像素值，具体计算见如下公式(1)。同理可计算B位置处G像素值。在实际应用中可以根据需求选取不同的数据窗以及采用不同的G通道插值方法。

$\mathrm{Cv}=\left|\frac{-R2+2*\mathrm{Gb}7-2*\mathrm{Gb}17+R22}{4}\right|+1$

$\mathrm{Ch}=\left|\frac{-R10+2*\mathrm{Gr}11-2*\mathrm{Gr}13+R14}{4}\right|+1$

$\mathrm{Gv}=\frac{\mathrm{Gb}7+\mathrm{Gb}17}{2}+\frac{2*R12-R2-R22}{4}---\left(1\right)$

$\mathrm{Gh}=\frac{\mathrm{Gr}11+\mathrm{Gr}13}{2}+\frac{2*R12-R10-R14}{4}$

G12=(Gh*Cv+Gv*Ch)/(Ch+Cv)

在G通道插值完成时，采用R/B通道插值单元103利用G-R或G-B间的像素差值进行R/B通道插值。如图9所示，插值R12处的B12像素值，则先需要计算B6、B8、B16、B18、R12处的G6、G8、G16、G18、G12像素值（G通道插值计算见G通道插值单元102），再计算G-B通道间色差信号进而计算B12点，见如下公式(2)。同理可插值计算B处的R像素值，插值G处的R/B值，同样需插值以当前G点为中心的3x3的数据窗内R/B处的G通道像素值（G通道插值计算见G通道插值单元102），再利用G-B、G-R色差计算G位置处R/B，以图9中插值Gr13处的R13/B13为例，先利用G通道插值单元102计算方法计算B8、B18、R12、R14处的G8、G18、G12、G14像素值，再插值R13/B13，见如下公式(3)。

D6=B6-G6

D8=B8-G8

D16=B16-G16         (2)

D18=B18-G18

$B12=G12+\frac{D6+D8+D16+D18}{4}$

D8=B8-G8

D18=B18-G18

D12=R12-G12

D14=R14-G14      (3)

$B13=\mathrm{Gr}13+\frac{D8+D18}{2}$

$R13=\mathrm{Gr}13+\frac{D12+D14}{2}$

下采样单元104，假设下采样前Bayer图像幅面为MxN，下采样后Bayer图像尺寸为M'xN'，下采样单元具体实现步骤如下：

步骤(1)，确定下采样后图像中位置P'(i',j')处像素点的颜色C（C指R、G或B颜色）、以及该像素点在下采样前图像中的具体P(i,j)，计算见如下公式(4)，其中表示向下取整。

$X=\frac{i^{\′}*M}{M^{\′}}$

$y=\frac{j^{\′}*M}{M^{\′}}$

步骤(2)，根据步骤(1)，利用插值单元101计算以（P(i,j)、P(i+1,j)、P(i,j+1)、P(i+1,j+1)）四个像素点为中心的邻域内的相同颜色通道C的值，再利用邻域内的C值插值滤波出(x,y)的C像素值即得到下采样后的P'(i',j')处像素值C。根据实际的应用要求，可以采取不同的插值滤波方法，常用的插值滤波方法如双线性插值滤波（Bilinear Interpolation）、样条插值、CuBic三次多项式插值、非参数核函数插值等方法。假定C为R颜色通道，以采用双线性插值滤波方法为例，则选择邻域数据窗如图9所示。其中邻域数据R13、R17、R18通过101插值单元计算得到。具体双线性插值计算见如下公式(5)

s=x-i

t=y-j                               (5)

R(x,y)=(1-t)×(1-s)×R12+s×R13+t×(1-s)×R17+s×R18

本发明Bayer域图像下采样方法的具体实施例流程图如图10所示。

步骤201，Bayer域图像输入，通过图像传感器获取Bayer图像。

步骤202，进行G通道插值，插值R像素位置、B像素位置处缺失的G通道像素值。

步骤203，进行R/B通道插值，插值R像素位置处缺失的B通道像素值；插值B像素位置处缺失的R通道像素值；插值G通道位置处缺失的R和B通道像素值。

步骤204，进行下采样，根据下采样后图像位置P'(i',j')及该位置处颜色通道C（C指R、G或B颜色通道），计算映射到下采样前的图像中的位置P(x,y)，根据选择的插值滤波方式，确定插值数据窗，经过插值滤波得到下采样后P'(i',j')处的C通道像素值。

步骤205，输出下采样Bayer域图像，通过步骤202、203、204得到下采样Bayer图像，输出给后续图像处理单元进行相关图像处理。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (4)

1.一种Bayer域图像下采样方法，其特征在于所述方法包括以下步骤：

采集一Bayer域图像；

对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值；

对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像；

输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理；

所述插值处理包括以下步骤：

计算R和/或B通道处缺失的G通道像素值，插值R像素位置、B像素位置缺失的G通道像素值；

利用G-R或G-B间的像素差值进行R和/或B通道插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G通道处缺失的R和B通道像素值；

所述下采样处理包括以下步骤：

确定下采样后的Bayer域图像中的位置及该位置处的通道类型，计算映射在下采样前的Bayer域图像中的位置；

确定插值数据窗，经过插值滤波得到所述下采样后的Bayer域图像中的位置处的通道像素值，从而得到下采样处理后的Bayer域图像。

2.如权利要求1所述的方法，其特征在于：所述插值滤波的方式包括双线性插值滤波、样条插值、三次多项式插值、非参数核函数插值。

3.一种Bayer域图像下采样装置，设置于图像采集单元与图像处理单元之间，其特征在于：所述Bayer域图像下采样装置包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元；

所述插值单元包括相互连接的一G通道插值单元和一R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。

4.一种摄像设备，包括一图像采集单元、一图像处理单元和一存储或显示终端，所述图像采集单元连接所述图像处理单元的输入端，所述显示终端连接所述图像处理单元的输出端，其特征在于：所述图像采集单元与图像处理单元之间还连接有一Bayer域图像下采样装置，所述Bayer域图像下采样装置进一步包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元；

所述插值单元包括相互连接的一G通道插值单元和一R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。