CN103458249A - 图像处理方法及装置 - Google Patents

Abstract

本发明涉及将所收集的图像分割为多个图像切片来进行处理的图像处理方法及装置。本发明的实施例的用于对通过图像传感器收集的图像进行处理的方法包括接收图像的步骤、将图像分割为多个图像切片的步骤以及利用关于图像切片的分割信息来依次处理多个图像切片的步骤。根据本发明，在对通过图像传感器收集的图像进行处理时，将图像分割为多个图像切片来进行处理，具有能够减小使用于图像处理的存储器的大小及整个图像模块的大小的优点。

Description

图像处理方法及装置

技术领域

本发明涉及图像处理方法及装置，更为详细地，涉及将所收集的图像分割为多个图像切片来进行处理的图像处理方法及装置。

背景技术

一般，图像传感器（image sensor）为将作为模拟信号的光转换为电信号的半导体器件。目前，不仅是数码相机，手机、智能手机、拍照手机、个人数字助理（PDA，Personal Digital Assistant）等终端上也都搭载摄像模块（module），来拍摄影像的功能正在大众化。这种摄像模块利用如电荷耦合元件（CCD，Charged-Coupled Device）或互补金属氧化物半导体（CMOS，ComplementaryMetal-Oxide Semiconductor）等图像传感器来捕捉有关被拍摄体的影像。

通常的图像传感器使用贝尔图像（Bayer pattern）的像素阵列。使用这种贝尔图像的图像传感器包括将关于被拍摄体的光信号输出为电信号的多个单位像素。贝尔图像的单位像素将分别具有红（Red）/绿（Green）/蓝（Blue）中的某一种信息。从各单位像素检测出的R、G及B值，通过包括于图像传感器的模拟数字转换器（ADC，Analog Digital Converter）被转换为数字信号，并向图像信号处理器（ISP，Image Signal Processor）输入。

图1是对通过这种贝尔图像的图像传感器收集的图像进行处理的装置的结构图。通过图像传感器102收集的图像，在输入于图像信号处理器功能块（block）104并被处理后，通过YUV编写（Write）功能块118存储为YUV格式的图像。图像信号处理器功能块104包含缺陷像素校正（DPC，Defect Pixel Correction）功能块106、镜头阴影校正功能块（LSC，Lense Shading Correction）108、贝尔降噪（BNR，Bayer Noise Reduction）功能块110、颜色插值功能块（CI，ColorInterpolation）112、伽玛（Gamma）功能块114、色度抑制功能块（CS，ChromaSuppression）116。这些功能块的功能在本发明所属技术领域广为熟知，因而省略详细的说明。

另一方面，图1所示的图像信号处理器功能块104所包括的特定功能块，例如缺陷像素校正功能块106、贝尔降噪功能块110、颜色插值功能块112等功能块使用掩模滤波器（Mask Filter）。由此，包含图1的图像信号处理器功能块104的图像处理模块，将需要与相应功能块所处理的图像的大小和相应功能块所需的掩模滤波器的大小相对应的存储器（memory）。这种存储器被称为行缓冲器（line-buffer），大概有静态随机存储器（SRAM）等被使用为行缓冲器。

若要实时处理通过如图1所示的图像传感器102输入的图像，需要更大的掩模滤波器。而且，随着掩模滤波器的大小变大，图像信号处理器功能块104所需的行缓冲器的大小也会增加。例如，高性能图像传感器使用17×17大小的掩模滤波器，在这种情况下，图像信号处理器需要16个行缓冲器。像这样，行缓冲器的增加，最终导致图像信号处理器功能块的大小增加，进而导致整个图像处理模块的大小增加。

发明内容

本发明的目的在于，提供图像处理方法及装置，在对通过图像传感器收集的图像进行处理时，将图像分割为多个图像切片（Image slice）来进行处理，从而能够减小使用于图像处理的存储器的大小及整个图像模块的大小。

本发明的目的并非局限于以上所提及的目的，未提及的本发明的其他目的和优点可以通过以下的说明进行了解，通过本发明的实施例会更加明确地了解。并且，很容易理解本发明的目的和优点可以通过权利要求书中所记载的单元及其组合来实现。

为了达成如上所述的目的，本发明提供一种图像处理方法，用于对通过图像传感器收集的图像进行处理，其特征在于，包括以下步骤：接收图像的步骤；考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息的步骤；根据图像切片大小信息来将图像分割为多个图像切片的步骤；以及利用关于图像切片的分割信息来依次处理多个图像切片的步骤。

并且，本发明一种图像处理装置，用于对通过图像传感器收集的图像进行处理，其特征在于，包括：输入部，其用于接收图像；图像切片生成部，其用于考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息，并根据图像切片大小信息来将图像分割为多个图像切片；以及图像处理部，其利用关于图像切片的分割信息来依次处理多个图像切片。

根据如上所述的本发明，在对通过图像传感器收集的图像进行处理时，将图像分割为多个图像切片来进行处理，具有能够减小使用于图像处理的存储器的大小及整个图像模块的大小的优点。

附图说明

图1是基于现有技术的图像处理装置的结构图。

图2是本发明的实施例的图像处理装置的结构图。

图3是本发明的一实施例的图像处理装置的结构图。

图4是包括于本发明的一实施例的图像处理装置的图像切片生成部的结构图。

图5是用于说明本发明的一实施例的图像处理方法中处理图像之间的边界的方法的图。

图6是用于说明本发明的一实施例的图像处理方法中处理图像切片之间的边界的方法的图。

图7是用于说明本发明的一实施例的图像处理方法中处理图像切片之间的边界的方法的图。

图8是本发明的实施例的图像处理方法的流程图。

具体实施方式

下面，将参照附图详细说明上述的目的、特征及优点，以便本发明所属技术领域的普通技术人员可以容易实施本发明的技术思想。在说明本发明时，如果判断为与本发明相关的公知技术的具体说明对本发明的要旨造成不必要的混淆，将省略详细说明。下面，将参照附图对本发明的优选实施例进行详细说明。附图中同一附图标记表示同一或者类似的组成部分。

如上所述，不仅是数码相机，手机、智能手机、拍照手机、个人数字助理等终端上也都搭载摄像模块。在这种摄像模块，主要使用如图1的贝尔图像的图像传感器。

若要实时处理通过如图1所示的图像传感器102输入的图像，需要更大的掩模滤波器。而且，随着掩模滤波器的大小变大，图像信号处理器功能块104所需的行缓冲器的大小也会增加。例如，高性能图像传感器使用17×17大小的掩模滤波器，在这种情况下，图像信号处理器需要16个行缓冲器。像这样，行缓冲器的增加，最终导致图像信号处理器功能块的大小增加，进而导致整个图像处理模块的大小增加。

本发明着眼于这种问题，提供图像处理方法及装置，在对通过图像传感器收集的图像进行处理时，将图像分割为多个图像切片来进行处理，从而能够减小使用于图像处理的存储器的大小及整个图像模块的大小。

图2是本发明的实施例的图像处理装置的结构图。

参照图2，图像处理装置202包括输入部204、图像切片生成部206、图像处理部208。输入部204可接收通过图像传感器收集的图像。

在本发明的实施例中，图像切片生成部206可将通过输入部204输入的图像分割为多个图像切片。此时，图像切片生成部206考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息。在本发明的一实施例中，图像切片生成部206可利用切片数量信息（关于要生成的图像切片的数量的信息）、图像大小信息（关于所接收的图像大小的信息）以及掩模信息（关于图像处理部208所使用的掩模的大小的信息），来确定作为关于图像切片大小的信息的图像切片大小信息。

之后，图像切片生成部206可根据所确定的图像切片大小信息来将所接收的图像分割为多个图像切片。

图像处理部208可利用关于图像切片的分割信息来依次处理多个图像切片。在这里，分割信息可包含切片数量信息、图像大小信息中的至少一种。

另一方面，虽然未在图2中示出，但图像处理装置202还可包括图像切片合并部。图像切片合并部可将经图像处理部208依次处理后的多个图像切片进行合并来生成一个图像。在本发明的一实施例中，图像切片合并部可考虑当生成多个图像切片时考虑的边界区域来合并多个图像切片。例如，图像切片合并部除了在确定图像切片大小信息的过程中附加的像素之外，可存储多个图像切片。

以下，通过实施例，对本发明的图像处理装置的结构及动作进行说明。在该实施例中，将一个图像分割为2个图像切片，并使用5×5大小的掩模滤波器作为图像信号处理器。但是本发明并不局限于此，且本发明可适用于图像切片的数量以及掩模滤波器的大小不同的情况。

图3是本发明的一实施例的图像处理装置的结构图。

首先，输入部304接收通过图像传感器302收集的图像。然后，图像切片生成部306将所接收的图像分割为2个图像切片。

更为具体地，图像切片生成部306利用切片数量信息、图像大小信息以及掩模信息来确定图像切片大小信息。在本实施例中，切片数量信息为2。并且，通过输入部304接收的图像的大小为（iWidth，iHeight），图像处理部308使用5×5的掩模。此时，1个切片的大小（sWidth，sHeight）分别如下确定。

sWidth＝（iWidth/2）＋（NM>>1）

sHeight＝iHeight

在本实施例中，图像切片的数量为2，因而在确定sWidth时，将iWidth除以2。并且，NM表示掩模的大小，>>表示二进制数位移（Shift）运算。例如，在本实施例中，NM为5，5>>1为将二进制数“101”向右侧位移1位（bit）得到的结果“10”，即2。

另一方面，在本发明中，将iWidth除以切片数量再加上“NM>>1”而得到的值作为sWidth的值，这是因为考虑图像切片之间的边界区域。例如，在以往的图像处理过程中，如图5所示，利用在图像之间的边界区域502、504与下一个图像共享上一个图像的一部分像素的方法来处理图像之间的边界。

在本发明中，如上所述，将一个图像分割为多个图像切片，因而要考虑图像切片之间的边界区域。即，如图6所示，在生成2个图像切片时，在切片0和切片1之间的边界区域，如图5所示，与切片1共享切片0的一部分像素，由此能够防止边界区域的像素缺陷。最终，在上式中，“NM>>1”表示在图像切片之间共享的像素的大小。

根据如上地确定的图像切片大小信息，图像切片生成部306将所接收的图像分割为2个图像切片。

参照图4，对本发明的一实施例的图像切片生成部306的结构进行说明。图4是本发明的一实施例的图像处理装置所包括的图像切片生成部306的结构图。

图像切片生成部306可包括图像编写部402、控制部404、图像读取部406。图像编写部402通过总线（Bus）408将通过输入部304接收的图像存储于存储器。然后，图像读取部406根据控制部404的控制，以图像切片为单位，读取存储在上述存储器的图像，并通过总线408传输给图像处理部308。如上所述，控制部404利用切片数量信息、图像大小信息以及掩模信息来确定图像切片大小信息，并根据所确定的图像切片大小信息来控制图像读取部406。

重新参照图3，图像处理部308，例如图像信号处理器依次处理从图像切片生成部306接收的图像切片。然后，图像合并部310将经图像处理部308处理后的图像进行合并来生成一个图像。

此时，图像合并部310可考虑图像切片之间的边界区域来排列多个图像切片。图7是用于说明本发明的一实施例的图像处理方法中处理图像切片之间的边界的方法的图。

如上所述，图像切片生成部306考虑图像切片之间的边界来确定图像切片的大小。因此，在重新合并这些图像切片来生成一个图像时，也有必要考虑图像切片之间的边界区域。

如在之前进行过说明，由图像切片生成部306生成的图像切片的宽度sWidth的值为将所接收的图像的宽度iWidth除以图像数量再加上考虑掩模的大小的值“NM>>1”而得到的值。例如，参照图7，第0个切片和第1个切片的sWidth分别具有将iWidth除以2再加上作为考虑边界区域的值的2而得到的值。这在图7中分别表示为区域708和区域706。

在本发明的实施例中，图像合并部310将在生成图像切片时附加的像素（例如，NM>>1）从相应图像切片排除在外。例如，图像合并部310在处理第1个切片时，将图7的两个像素702排除在外，而将两个像素704记录于区域708。由此，能够解决在分割图像切片时由于考虑边界区域而导致的图像的失真。

图8是本发明的实施例的图像处理方法的流程图。

首先，接收通过图像传感器收集的图像（步骤802）。之后，考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息（步骤804）。在这里，可利用切片数量信息、图像大小信息以及掩模信息来确定图像切片大小信息。

之后，根据所确定的图像切片大小信息，将所接收的图像分割为多个图像切片（步骤806）。在这里，分割信息可包含切片数量信息、图像大小信息中的至少一种。之后，利用关于图像切片的分割信息来依次处理多个图像切片（步骤808）。

虽然未在图8中示出，本发明的实施例的图像处理方法还可包括考虑边界区域来将依次处理后的多个图像切片进行合并的步骤。并且，考虑边界区域来将依次处理后的多个图像切片进行合并的步骤还可包括以下步骤：除了在考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息的步骤中附加的像素之外，存储上述多个图像切片。

根据目前为止所说明的本发明，在存储器的带宽允许的限度内，以图像切片为单位来进行处理，从而能够减小图像信号处理器的行缓冲器大小及整个图像处理模块的大小。并且，本发明的图像处理方法还能保障与现有图像信号处理器之间的兼容性。

针对如上所述的本发明，对本发明所属技术领域的普通技术人员而言，在不脱离本发明的技术思想的范围内，可以进行各种替换、变形及变更，因而本发明并不局限于上述实施例及附图。

Claims (12)

1.一种图像处理方法，用于对通过图像传感器收集的图像进行处理，其特征在于，包括以下步骤：

接收上述图像的步骤；

考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息的步骤；

根据上述图像切片大小信息来将上述图像分割为多个图像切片的步骤；以及

利用关于上述图像切片的分割信息来依次处理上述多个图像切片的步骤。

2.根据权利要求1所述的图像处理方法，其特征在于，利用切片数量信息、图像大小信息以及掩模信息来确定上述图像切片大小信息。

3.根据权利要求2所述的图像处理方法，其特征在于，上述图像切片大小信息由以下数学式1定义，

数学式1：

sWidth＝（iWidth/n）＋（NM>>1）

sHeight＝iHeight

其中，sWidth为图像切片的宽度，sHeight为图像切片的高度，iWidth为上述图像的宽度，iHeight为上述图像的高度，n为图像切片的数量，NM为处理上述图像时使用的掩模的大小。

4.根据权利要求1所述的图像处理方法，其特征在于，上述分割信息包括切片数量信息、图像大小信息中的至少一种。

5.根据权利要求1所述的图像处理方法，其特征在于，还包括考虑上述边界区域来将依次处理后的上述多个图像切片进行合并的步骤。

6.根据权利要求5所述的图像处理方法，其特征在于，上述考虑上述边界区域来对依次处理后的上述多个图像切片进行合并的步骤包括以下步骤：除了在上述考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息的步骤中附加的像素之外，存储上述多个图像切片。

7.一种图像处理装置，用于对通过图像传感器收集的图像进行处理，其特征在于，包括：

输入部，其用于接收上述图像；

图像切片生成部，其用于考虑要生成的多个图像切片之间的边界区域来确定图像切片大小信息，并根据上述图像切片大小信息来将上述图像分割为多个图像切片；以及

图像处理部，其利用关于上述图像切片的分割信息来依次处理上述多个图像切片。

8.根据权利要求7所述的图像处理装置，其特征在于，上述图像切片生成部利用切片数量信息、图像大小信息以及掩模信息来确定上述图像切片大小信息。

9.根据权利要求8所述的图像处理装置，其特征在于，上述图像切片大小信息由如下述数学式1来定义，

数学式1：

sWidth＝（iWidth/n）＋（NM>>1）

sHeight＝iHeight

其中，sWidth为图像切片的宽度，sHeight为图像切片的高度，iWidth为上述图像的宽度，iHeight为上述图像的高度，n为图像切片的数量，NM为处理上述图像时使用的掩模的大小。

10.根据权利要求7所述的图像处理装置，其特征在于，上述分割信息包括切片数量信息、图像大小信息中的至少一种。

11.根据权利要求7所述的图像处理装置，其特征在于，还包括图像切片合并部，该图像切片合并部用于考虑上述边界区域来将依次处理后的上述多个图像切片进行合并。

12.根据权利要求11所述的图像处理装置，其特征在于，上述图像切片合并部，除了在确定上述图像切片大小信息的过程中附加的像素之外，存储上述多个图像切片。

Images