CN101547370B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置，图像处理方法和用于实现图像处理的程序。接收马赛克图像数据，垂直方向上关于该数据中每个像素列计算垂直方向色差分量、水平方向上关于该数据中每个像素行计算水平方向色差分量。通过垂直方向上G和R分量像素的交替布置以及G和B分量像素的交替布置的像素列、水平方向上G和R分量像素的交替布置以及G和B分量像素的交替布置的像素行的组合，表示该数据。从该数据选择R和B分量像素，关于至少所选像素中每个将垂直与水平方向色差分量的变动比较以检测至少所选像素的边缘取向。参照检测的边缘取向，在具备该数据的每个像素内的一个色彩分量设置的该数据的每个像素中插值缺失的色彩分量。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及到用成像器件诸如数码相机生成图像数据的技术。更具体地本发明关于通过应用具有对应于光的三原色的R(红)、G(绿)、和B(蓝)的精细滤色器的马赛克布置(mosaic arrangement)的滤色器阵列而生成彩色图像数据的技术。

背景技术

随着数字技术的进步，图像一般作为数字数据(图像数据)处理。成像器件(诸如数码相机)能实现图像数据形式的捕获图像的即时输出。成像器件通常配备了由用于将光强转化为电信号的小元件组成的电子图像传感器。成像器件将捕获的对象图像借助于光学系统而聚焦到图像传感器上并检测单个元件中作为电信号的光强以生成图像数据。进入光学系统的光可以被分为对应于光的三原色的三种色彩分量R，G，B。三种色彩分量R，G，B的相应色光被聚焦到图像传感器上，且表示相应的色彩分量的光强的电信号被输出以生成彩色图像数据。

将进入光学系统的光分离而得到的三种色彩分量R、G和B的相应色光聚焦到图像传感器上的最简单方法，使用了光谱棱镜来将入射光分为三种色彩分量R，G和B的色光并将相应的色光聚焦到图像传感器上以生成关于相应的色彩分量R，G和B的图像数据。此方法不合需要之处为需要三个图像传感器。一种广泛使用的技术将R，G和B色彩分量之一分配到构成图像传感器的每个元件以实现通过一个图像传感器对相应色彩分量R，G和B的检测。此技术的典型配置提供了容许仅R分量在指定用于R分量检测的元件前方透射过的小滤色器、容许仅G分量在指定用于G分量检测的元件前方透射过的小滤色器、和容许仅B分量在指定用于B分量检测的元件前方透射过的小滤色器。此配置能实现通过一个图像传感器对三种色彩分量R，G和B的图像数据的同时检测。在通过一个图像传感器检测相应色彩分量R，G和B的技术中，指定用于预定色彩分量(例如，R分量)检测的每个元件不能检测其它色彩分量(例如，G分量和B分量)。产生的图像数据因此具有R分量的像素、G分量的像素、和B分量的像素的马赛克布置。用相邻像素的色彩分量进行每个像素中缺失的色彩分量的插值(interpolation)，能生成在所有像素中具备所有色彩分量R，G和B设置的彩色图像数据。

依赖于三个图像传感器来将三种色彩分量R，G和B的分离的色光转换为电信号并生成相应色彩分量R，G和B的图像数据的成像器件有时被称为“三图像传感器”器件。仅使用一个图像传感器来生成马赛克布置的图像数据并通过插值计算缺失的色彩分量的成像器件有时被称为“单一图像传感器”器件。插值马赛克布置的图像数据中缺失的色彩分量以生成具备所有色彩分量R，G和B设置的过程往往被称作“反马赛克化(demosaicking)过程”。

单一图像传感器器件需要缺失色彩分量的插值。这自然地耗费了用于插值的时间且可能由于插值误差导致伪彩色的出现。存在有着眼于在使得插值所需时间的增加最小化同时防止伪彩色出现的各种拟用技术。一种拟用技术在计算了缺失的色彩分量之后计算了相应像素中的色差分量(例如，G分量与R分量之间的差)，将具备最大色差分量的像素和具备最小色差分量的像素作为噪音从包括目标像素的预设数目像素的像素阵列中除去，并重新计算目标像素中的相应色彩分量(见日本专利公开号2005-167974)。另一种拟用技术将低通滤波器应用于在相应像素中计算出的色差分量并在除去噪音之后从色差分量重新计算目标像素中的相应色彩分量(见日本专利公开号2005-260908)。

发明内容

随着消费者对成像器件更高画质的日益增加的需求，已极度需要研发防止伪彩色出现的去马赛克技术。构成被成像器件捕获的每个图像的像素数目日益增加以满足消费者对更高画质的需求。也需要研发能实现高速处理的去马赛克技术。

为了同时满足对现有技术的去马赛克过程的这些矛盾的需要，将需要提供能在有效防止伪彩色出现同时实现高速处理的去马赛克技术。

为了实现上述的至少部分需求，本发明的一方面是针对图像处理装置，其接收在每个像素中具有对应于光的三原色的三种色彩分量R，G和B之中的仅一种色彩分量设置的马赛克图像，并使得所接收的马赛克图像数据经受一系列图像处理来生成在每个像素中具有所有三种色彩分量R，G和B设置的彩色图像数据。通过在垂直方向上具有G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素列、在垂直方向上具有G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上具有G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素行的组合，表示了马赛克图像数据。

图像处理装置包括两方向的色差计算模块、边缘取向检测模块和缺失色彩分量插值模块。垂直方向的色差分量计算模块被配置成通过使用垂直方向上邻近的可用分量来获取在另一色彩分量的像素位置中的G分量或获取在G分量像素位置中的另一色彩分量，以便计算包括在马赛克图像的每个像素列中的每个像素内的G分量与另一色彩分量之间的垂直方向色差分量。水平方向的色差分量计算模块被配置成通过使用水平方向上邻近的色彩分量来获取在另一色彩分量的像素位置中的G分量或获取在G分量像素位置中的另一色彩分量，以便计算包括在马赛克图像的每个像素行中的每个像素内的G分量与另一色彩分量之间的水平方向色差分量。边缘取向检测模块被配置成从马赛克图像选择R分量的像素和B分量的像素并在每个这样的像素位置关于至少所选择像素中的每个而将垂直方向的色差分量的变动与水平方向色差分量的变动相比较以致检测出至少所选择像素的边缘取向。最后，缺失色彩分量插值模块被配置成参照检测出的边缘取向、并在马赛克图像的每个像素中插值缺失的色彩分量，其中马赛克图像中每个像素内有一个色彩分量设置。

本发明的另一方面是对应于上述配置的图像处理装置的图像处理方法。图像处理方法接收在每个像素中具有对应于光的三原色的三种色彩分量R，G和B之中的仅一种色彩分量设置的马赛克图像数据，并使得所接收的马赛克图像数据经受一系列图像处理来生成在每个像素中具有所有三种色彩分量R，G和B设置的彩色图像数据。

图像处理方法接收作为马赛克图像数据的图像数据，所述图像数据是通过在垂直方向上具有G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素列、在垂直方向上具有G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上具有G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素行的组合而表示的。图像处理方法随后通过插值获得在马赛克图像数据的每个像素列中所包括的每个像素内的G分量和另一色彩分量，并计算在垂直方向上每个像素列中所包括的每个像素内的G分量与另一色彩分量之间的垂直方向色差分量。类似地，图像处理方法通过插值获得在马赛克图像数据的每个像素行中所包括的每个像素内的G分量和另一色彩分量，并计算在水平方向上每个像素行中所包括的每个像素内的G分量与另一色彩分量之间的水平方向色差分量。图像处理方法随后从马赛克图像数据选择R分量的像素和B分量的像素，并在每个这样的像素位置关于至少所选择像素中的每个而将垂直方向的色差分量的变动与水平方向色差分量的变动相比较以检测出至少所选择像素的边缘取向。图像处理方法参照检测出的边缘取向，并在马赛克图像数据的每个像素中插值缺失的色彩分量，其中马赛克图像数据中每个像素内有一个色彩分量设置。

在依据本发明各方面的图像处理装置和对应的图像处理方法中，该过程计算了在构成所接收马赛克图像数据的每个像素列中的垂直方向色差分量和在构成马赛克图像数据的每个像素行中的水平方面色差分量两者。通过在垂直方向上具有G分量的像素和R分量的像素的交替布置的像素列、在垂直方向上具有G分量的像素和B分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和R分量的像素的交替布置的像素行和在水平方向上具有G分量的像素和B分量的像素的交替布置的像素行的组合，表示了马赛克图像数据。要么获得G分量与R分量之间的色差分量或者获得G分量与B分量之间的色差分量，作为在每个像素列中的垂直方向色差分量。类似地要么获得G分量与R分量之间的色差分量或者获得G分量与B分量之间的色差分量，作为在每个像素行中的水平方向色差分量。该过程随后从马赛克图像数据选择R分量的像素和B分量的像素，并关于至少所选择像素中的每个而将垂直方向的色差分量的变动与水平方向色差分量的变动相比较以检测至少所选择像素的边缘取向。如上所述，垂直方向色差分量和水平方向色差分量中的每个要么代表了G分量与R分量之间的色差分量或者G分量与B分量之间的色差分量。在R分量的像素中，垂直方向色差分量和水平方向色差分量两者是G分量与R分量之间的色差分量。垂直方向色差分量与水平方向色差分量之间的比较因此能实现在R分量的这些像素中的每个的边缘取向的精确检测。在B分量的像素中，垂直方向色差分量和水平方向色差分量两者是G分量与B分量之间的色差分量。垂直方向色差分量与水平方向色差分量之间的比较因此能实现在B分量的这些像素中的每个的边缘取向的精确检测。该过程参照精确地检测出的边缘取向，并在马赛克图像数据的每个像素中适当地插值缺失的色彩分量，其中马赛克图像数据中的每个像素内有一个色彩分量设置。此布置因而能生成适当的彩色图像数据。

在根据本发明的一方面的图像处理装置中，可以按下列方式计算出用于检测每个像素中边缘取向的水平方向色差分量的变动和垂直方向色差分量的变动。根据一个优选应用，图像处理装置首先选择每个目标像素作为边缘取向的检测对象。从包括目标像素的目标像素列的垂直方向色差分量和邻近目标像素列的相邻像素列的垂直方向色差分量计算目标像素中的垂直方向色差分量的变动。在一个示例中，可以从包括目标像素的目标像素列以及两个像素列(即邻近目标像素列的两个相邻像素列)的垂直方向色差分量计算目标像素中的垂直方向色差分量的变动。在另一个示例中，可以从较大数目的像素列(即，至少是包括目标像素的目标像素列和在目标像素列两侧上的两个相邻像素列)的垂直方向色差分量计算目标像素中垂直方向色差分量的变动。类似地从包括目标像素的目标像素行的水平方向色差分量和邻近目标像素行的相邻像素行的水平方向色差分量计算目标像素中的水平方向色差分量的变动。在此情况下，可以从两个像素行(即，包括目标像素的目标像素行和邻近目标像素行的一个相邻像素行)的水平方向色差分量，或从更大数目的像素行的水平方向色差分量计算目标像素中水平方向色差分量的变动。

与基于单一像素列的计算相比，基于多个像素列(包括：至少包括了作为边缘取向的检测对象的目标像素的目标像素列、和邻近目标像素列的一个相邻像素列)的计算以更高精确度确定了垂直方向的色差分量的变动。类似地与基于单一像素行的计算相比，基于多个像素行(包括：至少是包括了目标像素的目标像素行、和邻近目标像素行的一个相邻像素行)的计算以更高精确度确定了水平方向的色差分量的变动。在目标像素中，精确计算出的垂直方向色差分量的变动和精确计算出的水平方向色差分量的变动之间的比较能实现在目标像素中边缘取向的适当检测。

在像素列中有两种不同类型的垂直方向色差分量，即，G分量与R分量之间的色差分量和G分量与B分量之间的色差分量。彼此相邻的像素列的垂直方向色差分量可能不具有同样类型的垂直方向色差分量。在此情况下，从不同类型的色差分量计算变动似乎是无意义的。然而，已知经验是，甚至不同类型的色差分量在图像中的相邻位置内具有类似趋势的变动。从甚至不同类型的色差分量计算出的目标像素中垂直方向色差分量的变动因此是有重大意义的。根据多个相邻像素列中的垂直方向色差分量的计算因而以高精确度确定了目标像素中垂直方向色差分量的变动。在像素行中也有两种不同类型的水平方向色差分量，即，G分量与R分量之间的色差分量和G分量与B分量之间的色差分量。从甚至不同类型的色差分量计算的目标像素中水平方向色差分量的变动因此是有重大意义的。根据多个相邻像素行中的水平方向色差分量的计算因而以高精确度确定了目标像素中水平方向色差分量的变动。在目标像素中，垂直方向色差分量的变动和水平方向色差分量的变动之间的比较能实现在目标像素中边缘取向的适当检测。

根据本发明的上述方面的另一优选应用，图像处理装置仅检测马赛克图像数据中所包括的R分量的像素和B分量的像素内的边缘取向。

马赛克图像数据中的R分量的像素和B分量的像素需要插值G分量。与B分量和R分量相比较，G分量更接近人类视觉对亮度的变动具有更高的灵敏度的特定波长。从而G分量对产生的画质具有更大影响。对马赛克图像数据中R分量的像素和B分量的像素内的边缘取向的检测能实现参照所检测边缘取向在这些像素中插值G分量。此布置确保了即便在没有对所有像素检测边缘取向时的有效且适当的插值。

根据本发明的上述方面的再一个优选应用，当像素的垂直方向色差分量的变动大于像素的水平方向色差分量的变动时，图像处理装置将每个像素中边缘取向检测为水平方向。当像素的垂直方向色差分量的变动小于像素的水平方向色差分量的变动时，图像处理装置将每个像素中边缘取向检测为垂直方向。当像素的垂直方向色差分量的变动等于像素的水平方向色差分量的变动时，图像处理装置将每个像素中边缘取向检测为垂直方向或水平方向。在此情况下，像素中的边缘取向可能被固定到垂直方向或水平方向、或可能在垂直方向和水平方向之间被交替地或随机地改变。

边缘取向要么是垂直方向或者是水平方向。这样的设置显著地简化了缺失色彩分量的插值。在此应用中，基于这样的假设执行插值，即：即使在实际上具有对角边缘或甚至于没有边缘的像素中，存在着要么垂直方向上的边缘或者水平方向上的边缘。然而，在没有边缘的像素中有要么垂直方向上的边缘或者水平方向上的边缘存在的假设一般对产生的画质没有影响。另外，由于使用了稍后说明的细化插值概念，在具有对角边缘的像素中使用垂直和水平边缘取向的估计的插值一般不会大幅度劣化产生的画质。

根据本发明的上述方面的另一优选应用，图像处理装置用一对相邻像素中的色彩分量在作为插值对象的插值目标像素中插值作为缺失的色彩分量的G分量，所述的一对相邻像素是在插值目标像素上方和下方的一对上部和下部相邻像素、以及在插值目标像素左侧和右侧的一对左侧和右侧相邻像素之间选择的。

当插值目标像素中检测到的边缘取向是垂直方向时，用插值目标像素上方和下方的一对上部和下部相邻像素中获得的色彩分量来对插值目标像素中的G分量进行插值。另一方面，当插值目标像素中检测到的边缘取向是水平方向时，用插值目标像素左侧和右侧的一对左侧和右侧相邻像素中获得的色彩分量来对插值目标像素中的G分量进行插值。当插值目标像素不具有边缘时，用插值目标像素上方和下方的一对上部和下部相邻像素中、或插值目标像素左侧和右侧的一对左侧和右侧相邻像素中获得的色彩分量来对插值目标像素中的G分量进行插值。此布置能基于两个相邻像素的色彩分量实现G分量的高速插值。作为G分量插值对象的插值目标像素是马赛克图像数据中不具有G分量设置的非G像素(R像素和B像素)。马赛克图像数据包括相对较大数目的这种非G像素。G分量的高速插值显著地加速了在马赛克图像数据中插值缺失的色彩分量的整个处理过程。

在用于在插值目标像素中插值G分量的上述应用的一个优选实施例中，图像处理装置用插值目标像素上方和下方的一对上部和下部相邻像素中的垂直方向色差分量、或者插值目标像素左侧和右侧的一对左侧和右侧相邻像素中的水平方向色差分量来在插值目标像素中插值垂直方向的色差分量或者水平方向的色差分量。基于在插值目标像素中插值的垂直方向的色差分量或者水平方向的色差分量、以及马赛克图像数据中的插值目标像素的色彩分量的设置，图像处理装置随后计算插值目标像素中的G分量。

对于插值对象为G分量的插值像素而言，存在着R分量或者B分量。垂直方向上的色差分量和水平方向上的色差分量被给定为G分量和现有分量之间的差值。上述配置的图像处理装置用插值目标像素上方和下方的上部和下部相邻像素中的垂直方向色差分量或用插值目标像素左侧和右侧的左侧和右侧相邻像素中的水平方向色差分量在插值目标像素中插值垂直方向的色差分量或者水平方向的色差分量。插值目标像素中的G分量是可以容易地从插值的垂直方向色差分量或水平方向色差分量和插值目标像素中设置的马赛克图像数据的色彩分量而计算得到的。根据垂直方向或水平方向上插值的色差分量的计算确保了G分量的适当计算，同时有效地防止了伪彩色出现。G分量与R分量之间差值的显著变动、或者G分量与B分量之间差值的显著变动导致了可见的色彩改变。相应色彩分量R，G和B的插值可能导致在插值目标像素中色彩分量间的差值显著不同于相邻像素中色彩分量间对应的差值。这可能导致伪彩色的出现。然而，垂直方向上或水平方向上色差分量的插值、以及根据插值的色差分量对G分量的计算，防止了在至少插值方向上色彩分量之间差值的大变动。这种布置有效地防止了伪彩色的出现。

在上述应用的另一优选实施例中，图像处理装置在马赛克数据中不具备G分量设置的所有像素中插值G分量并随后在该像素中插值其它缺失的色彩分量。

如上所述，基于在插值目标像素上方和下方的相邻像素或者插值目标像素左侧和右侧的相邻像素中获得的色彩分量，迅速地对每个插值目标像素中的G分量进行插值。在马赛克图像数据中不具备G分量设置的所有像素中高速插值G分量之后，能够用插值的G分量和马赛克图像数据中像素的色彩分量的设置来容易且快速地对其它缺失的色彩分量进行插值。

在本发明的上述方面的另一优选应用中，在对缺失色彩分量进行插值之前，图像处理装置检测马赛克图像数据中所包括的至少R分量的像素和B分量的像素内的边缘取向以产生边缘取向图。图像处理装置参照储存在边缘取向图中的边缘取向以在马赛克图像数据的每个像素中插值缺失的色彩分量。

在此配置的图像处理装置中，边缘取向的检测与相应像素中缺失色彩分量的插值分开，且因而理想地简化了整个处理。通过简单参照边缘取向图可以同时获取多个像素的边缘取向。基于相邻像素的边缘取向，每个像素中缺失的色彩分量被适当插值。在检测仅关于马赛克图像数据中的R分量的像素和B分量的像素的边缘取向的结构中，存在着没有检测边缘取向的像素。即便在这样一种情况下，基于根据所检测到的相邻像素的边缘取向而估计的像素的边缘取向，可以对每个像素的缺失色彩分量进行插值。

在本发明的另一应用中，计算机读取储存在计算机可读介质上的程序用于实施上述图像处理方法以实现相应的功能。本发明的另一方面因此是储存了程序的计算机可读介质，所述程序导致计算机实施如下方法：接收在每个像素中具有对应于光的三原色的三种色彩分量R，G和B之中的仅一种色彩分量设置的马赛克图像数据，并使得所接收的马赛克图像数据经受一系列图像处理来生成在每个像素中具有所有三种色彩分量R，G和B设置的彩色图像数据。

该程序导致计算机实现以下功能：

接收作为马赛克图像数据的图像数据，所述图像数据是通过在垂直方向上具有G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素列、在垂直方向上具有G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上具有G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素行的组合而表示的；

通过使用垂直方向上邻近的可用分量而获取在另一色彩分量的像素位置中的G分量或获取在G分量像素位置中的另一色彩分量，以便计算包括在马赛克图像的每个像素列中的每个像素内的G分量与另一色彩分量之间的垂直方向色差分量；

通过使用水平方向上邻近的可用分量而获取在另一色彩分量的像素位置中的G分量或获取在G分量像素位置中的另一色彩分量，以便计算包括在马赛克图像的每个像素行中的每个像素内的G分量与另一色彩分量之间的水平方向色差分量；

从马赛克图像数据选择R分量的像素和B分量的像素，并在每个这样的像素位置关于所选择像素而将垂直方向的色差分量的变动与水平方向色差分量的变动相比较以检测出至少所选择像素的边缘取向；和

参照检测出的边缘取向，并在马赛克图像数据的每个像素中插值两个缺失的色彩分量，其中马赛克图像数据中的每个像素内有一个色彩分量设置。

计算机读取根据本发明这方面的程序以实现上述的相应功能并适当插值马赛克图像数据的缺失色彩分量。此布置因而确保了在有效防止伪彩色出现同时实现彩色图像数据的高速生成。

附图说明

图1示意性图解了配备有根据本发明的一个实施例的图像处理装置的数码相机的配置；

图2是示出包括在图1的图像处理装置中的图像传感器以及滤色器阵列的结构；

图3是示出彩色图像数据生成过程的流程图，其是通过实施例的图像处理装置执行以从原始图像数据生成彩色图像数据；

图4概念性地示出将原始图像数据转换为色差分量的数据的过程；

图5示出用于从原始图像数据计算色差分量的公式；

图6示出了应用于去除色差分量中所包括的噪音的低通滤波器；

图7是示出了通过实施例的图像处理装置在图3的彩色图像数据生成过程中执行的边缘取向图产生过程的细节；

图8示出从垂直方向的色差分量CDv计算垂直方向上的变动Vv；

图9示出从水平方向的色差分量CDh计算水平方向上的变动Vh；

图10示出选择用于检测边缘取向的目标像素周围的相邻像素的可能布置；

图11示出可应用于G像素的边缘取向检测的一种方法；

图12示出可应用于G像素的边缘取向检测的另一种方法；

图13示出可应用于计算色差分量变动的另一种方法；

图14示出可应用于计算色差分量变动的再一种方法；

图15示出可应用于计算色差分量的小变动的另一种方法；

图16是示出通过实施例的图像处理装置在图3的彩色图像数据生成过程中执行的G分量插值过程的细节的流程图；

图17示出计算非G像素中缺失的G分量的处理流程；

图18是示出通过实施例的图像处理装置在图3的彩色图像数据生成过程中执行的非G像素插值过程的细节的流程图；

图19是示出通过实施例的图像处理装置在图3的彩色图像数据生成过程中执行的G像素插值过程的细节的流程图；

图20示出根据相邻像素的边缘取向对G插值目标像素中的边缘取向的估计。

具体实施方式

参考基于附图以下列次序说明的优选实施例可以更全面地理解本发明：

A.系统配置

B.彩色图像数据生成过程的概述

C.边缘取向图产生过程

D.G分量插值过程

E.非G像素插值过程

F.G像素插值过程

A.系统配置

图1示意性图解了配备有根据本发明的一个实施例的图像处理装置30的数码相机100的配置；如图所示，数码相机100包括具有一组多个透镜的光学系统10、将光学系统10所形成的对象的图像转换为电信号的成像组件20、以及从成像组件20接收电信号并使得所接收的电信号经受预定的一系列图像处理以生成彩色图像数据的图像处理装置30。

成像组件20的图像传感器24具有用于将光强转化为电信号的多个精细成像元件的二维布置。滤色器阵列22设置在图像传感器24之前且其具有R(红)、G(绿)和B(蓝)的精细滤色器的马赛克布置。构成滤色器阵列22的R，G和B滤色器布置将在下面详细说明。R滤色器，G滤色器和B滤色器被构造为分别容许R色光的透射，G色光的透射，和B色光的透射。图像传感器24捕获图像数据，该图像数据具有根据滤色器阵列22中的R，G和B滤色器的马赛克布置的响应R光强的图像部分、响应G光强的图像部分和响应B光强的图像部分的马赛克布置。

安装到数码相机100上的图像处理装置30从成像组件20接收马赛克布置的图像数据并生成在相应像素中具有R分量、G分量、和B分量设置的彩色图像数据。在实施例的图像处理装置30中，CPU、ROM、RAM和数据输入/输出接口(I/F)经由总线互连以实现相互的数据传输。CPU执行一系列处理以根据储存在ROM中的程序生成彩色图像数据。因而产生的彩色图像数据可以经由外部输出终端40输出到外部设备或可以被输出到外部记录介质50。

由图像传感器24捕获的具有R，G和B分量的马赛克布置的图像数据用作源数据，图像处理装置30参照源数据生成在相应像素中具备R，G和B分量的设置的彩色图像数据。图像传感器24所捕获的马赛克布置的图像数据因而也可以在此后被称为“原始图像数据”。

图2是示出了滤色器阵列22和图像传感器24的结构的概念性视图。如上所述，图像传感器24具有输出的电信号对应于光强的精细成像元件的二维布置。在图2所图解的示例中，精细成像元件以格子图案布置。图像传感器24的格子图案中的每个小矩形概念性地表示出一个成像元件。

滤色器阵列22具有对应于构成图像传感器24的多个成像元件中的每一个的位置而设置的R滤色器、G滤色器和B滤色器之一。在图2中，带稀疏阴影线的矩形、带密集阴影线的矩形和不带阴影线的开放矩形分别表示R滤色器、B滤色器和G滤色器。在R，G和B滤色器的布置中，G滤色器首先被定位为相互成对角并形成棋盘图案。即，G滤色器占据了滤色器阵列22的一半面积。相同数目的R滤色器和B滤色器随后被均匀地布置在滤色器阵列22的剩余一半面积中。图2中所示的此布置产生的滤色器阵列22被称为Bayer滤色器阵列。

如上所述，G滤色器、R滤色器和B滤色器被设计为分别容许仅G色光的透射，仅R色光的透射和仅B色光的透射。图像传感器24因此用如图2所示定位于图像传感器24之前的Bayer滤色器阵列22的功能捕获马赛克布置的图像数据。马赛克布置的图像数据不可以用与普通图像数据相同的方式处理且不能直接表示图像。图像处理装置30接收马赛克布置的图像数据(原始图像数据)并生成在相应像素中具有R，G和B分量设置的普通彩色图像数据。

B.彩色图像数据生成过程的概述

图3是示出了彩色图像数据生成过程的流程图，其是通过实施例的图像处理装置30来执行以从原始图像数据生成彩色图像数据。在此实施例的结构中，图像处理装置30中所包括的CPU通过软件配置执行此彩色图像数据生成。然而，并非必需的，但是特定的硬件元件(例如信号处理器)可以被用于相同目的。

在彩色图像数据生成过程开始时，如下详细所述，CPU首先从图像传感器24接收作为源数据的原始图像数据(步骤S100)并将接收到的原始图像数据转换为色差分量的数据(步骤S102)。

图4概念性地示出了将原始图像数据转换为色差分量的数据的过程。图4的顶部示出了从图像传感器24读取的原始图像数据的概念性视图。用Bayer滤色器阵列获得的原始图像数据具有R，G和B分量的马赛克布置。在水平方向上，在原始图像数据中仅有两种类型的像素行：具有交替布置的G像素(带G分量的像素)和R像素(带有R分量的像素)的像素行，和具有交替布置的G像素和B像素(带有B分量的像素)的像素行。在垂直方向上，类似地，在原始图像数据中仅有两种类型的像素列：具有交替布置的G像素和R像素的像素列和具有交替布置的G像素和B像素的像素列。图4的中间概念性地示出了在水平方向上仅由交替的G像素与R像素的像素行和交替的G像素与B像素的像素行组成的、且同时仅由交替的G像素与R像素的像素列和交替的G像素和B像素的像素列组成的原始图像数据。

基于此观察结果，此实施例的彩色图像数据生成过程将R，G，和B分量的原始图像数据转换为表示水平方向上像素行的色彩分量差(水平方向上的色差分量)的数据和表示垂直方向上像素列的色彩分量差(垂直方向上的色差分量)的数据。例如，原始图像数据被转换为关于交替的G像素和R像素的像素行或像素列的G和R分量之间的色差分量的数据。类似地，原始图像数据被转换为关于交替的G像素和B像素的像素行或像素列的G和B分量之间的色差分量的数据。用于计算色差分量的计算公式将在稍后详细说明。

图4的底部概念性地示出了因而获得的水平方向上和垂直方向上的色差分量。底部的左侧视图示出了通过处理垂直方向上的原始图像数据获得的垂直方向上的色差分量CDv。每个带阴影线的像素列是交替的G像素和B像素的像素列。此像素列上的每个色差分量CDv因而代表了G分量和B分量之间的色差分量。每个剩下的不带阴影线的像素列是交替的G像素和R像素的像素列。此像素列上的每个色差分量CDv因而代表了G分量和R分量之间的色差分量。水平方向上的原始图像数据是可以类似地处理的。每个带阴影线的像素行给出了G像素和B像素之间的色差分量CDh。每个剩下的不带阴影线的像素行给出了G像素和R像素之间的色差分量CDh。

图5示出了用于从原始图像数据计算色差分量的公式。图5(a)示出了用于计算垂直方向上色差分量CDv的计算公式，且图5(b)示出了用于计算水平方向上色差分量CDh的计算公式。在这些计算公式中，“z”表示通过图像传感器24获得的原始图像数据的值，且z(r，s)示出了由图像中设置的原点位置起向下的第r个像素位置和由原点位置起向右的第s个像素位置所限定的特定位置处的值(参见图4的顶部)。

参考图5(a)，说明了计算垂直方向上色差分量CDv的计算公式。当作为色差分量CDy的计算对象的目标像素是具有G分量的像素(G像素)时，采用了图5(a)的上部计算公式。该过程首先计算了目标像素上方和下方的上部和下部像素的值的均值(即，由点划线围绕的第二项)并从目标像素的G分量(即，由虚线围绕的第一项)减去计算出的均值以计算垂直方向上目标像素的色差分量CDv。由于用于色差分量CDv的计算的目标像素是G像素，目标像素的色调值z(r，s)自然代表G分量。第二项中的元素z(r-1，s)示出了目标像素上方的上部像素中的原始图像数据的色调值，而第二项中的元素z(r+1，s)示出了目标像素下方的下部像素中的原始图像数据的色调值。如上所述参考图4，目标G像素上方和下方的上部和下部像素可以是R像素或B像素，但总是同一色彩分量的像素。由图5(a)中上部计算公式中的点划线围绕的第二项因此代表了从上部像素和下部像素(即，要么是R像素要么是B像素)的值计算出的R分量或者B分量。图5(a)中的上部计算公式的应用决定了垂直方向上的关于G分量像素(G像素)的色差分量CDv，而与作为R像素或B像素的上部和下部像素无关。

应注意到同一计算公式应用于作为上部和下部像素的R像素和B像素，给出了两种不同类型的色差分量CDv。当上部和下部像素是R像素时，产生的垂直方向上的色差分量CDv代表了G分量与R分量之间的色差分量。另一方面，当上部和下部像素是B像素时，产生的垂直方向上的色差分量CDv代表了G分量与B分量之间的色差分量。

类似地可以关于不同于G像素的像素(即，R像素和B像素)计算出垂直方向上的色差分量CDv。例如，当作为色差分量CDv的计算对象的目标像素为R像素时，目标像素上方和下方的上部和下部像素是如上面参考图4所述的G像素。据信，上部和下部像素值的均值指定了作为色差分量CDv的计算对象的目标像素中的G分量。从指定的G分量减去目标像素的色调值(在此情况下，为R分量)确定色差分量CDv。设为目标像素的每个B像素经受了同样的系列的处理。关于G像素以外的像素，如图5(a)中的下部计算公式中所示，从右侧上的虚线所围绕的第一项减去由点划线围绕的第二项，给出了垂直方向上的色差分量CDv。

关于设置为除G像素以外的目标像素的R像素和B像素两者，可应用同一计算公式于垂直方向上色差分量的计算。然而，应当注意到作为目标像素处理的R像素和B像素给出了两种不同类型的色差分量CDv。当目标像素为R分量时，产生的色差分量CDv代表了G分量和R分量之间的色差分量。另一方面，当目标像素为B分量时，产生的色差分量CDv代表了G分量和B分量之间的色差分量。

实施例的彩色图像数据生成过程应用了完全相同的计算公式，用于采用两种不同类型的色差分量CDv的先进的处理。同样的计算公式的应用在理想情况下实现了使用两种不同类型的色差分量CDv的先进的处理的高速度及简单化，这可以与常规的简单处理相比。然而，不像常规的简单处理，实施例的此先进的处理能实现充分去马赛克且防止了伪彩色的出现。

可以用与上述垂直方向上的色差分量CDv相同的方式计算水平方向上的色差分量CDh。参考图5(b)简要地说明了色差分量CDh的计算。如图5(b)中的上部计算公式中所示，从右侧虚线所围绕的第一项减去由点划线围绕的第二项，给出了水平方向上G像素的色差分量CDh。在计算公式中，元素z(r，s)代表了作为色差分量计算对象的目标像素中的原始图像数据的色调值(即，G分量)。元素z(r，s-1)示出了目标像素左侧上的左侧像素中原始图像数据的色调值，而元素z(r，s+1)示出了目标像素右侧上的右侧像素中原始图像数据的色调值。目标G像素的左侧和右侧上的左侧像素和右侧像素可能是R像素或B像素，但总是同一色彩分量的像素。

在水平方向上关于G像素以外的目标像素(即，关于R目标像素或B目标像素)对色差分量CDh的计算中，R或B目标像素的左侧和右侧上的左侧像素和右侧像素为G像素。如图5(b)中的下部计算公式中所示，从虚线所围绕的第一项(左侧像素和右侧像素的值的均值)减去由点划线围绕的第二项(目标像素的色调值)，给出了水平方向上的色差分量CDh。

关于具有作为左侧像素和右侧像素的R像素或B像素的目标G像素以及关于设为G像素以外的目标像素的R像素和B像素两者，同一计算公式可应用于水平方向上色差分量CDh的计算。然而，计算给出了两种不同类型的色差分量CDh，即，G分量与R分量之间的色差分量和G分量与B分量之间的色差分量。完全相同的计算公式的应用在理想情况下实现了在水平方向上使用两种不同类型的色差分量CDh的先进的处理的高速度及简单化，这可以与常规的简单处理相比。

正如从图5(a)与5(b)之间的对比明白理解到的，用于计算垂直方向上的色差分量CDv的计算公式明显类似于用于计算水平方向上的色差分量CDh的计算公式。即处理流程可以被标准化用于计算两个不同方向上的色差分量CDv和CDh二者。这进一步增强了整个处理的简单化和高速度。

在图3的流程图中的步骤S102处，图像传感器24捕获的原始图像数据被转换成垂直方向上的色差分量CDv和水平方向上的色差分量CDh。优选但非必要的是，应用低通滤波器到垂直方向上的色差分量CDv和水平方向上的色差分量CDh是为了从这些色差分量去除可能的噪音。如稍后所述的，实施例的彩色图像数据生成过程使用色差分量用于检测图像中所包括的边缘取向。低通滤波器的应用一般是不合需要的，因为低通滤波器常常会模糊边缘和降低边缘的检测精确度。然而，此实施例的步骤能实现以极高精确度检测边缘取向，如稍后所述。因而某些边缘模糊不显著降低检测精确度，但是噪音的去除能实现对边缘取向的稳定检测。

图6示出了应用于去除色差分量中所包括的噪音的低通滤波器。图6(a)示出了待应用于垂直方向上的色差分量CDv和待应用于水平方向上的色差分量CDh的低通滤波器。为了更好地理解，图6(b)示出了将低通滤波器应用于水平方向上的色差分量CDh。作为低通滤波器的应用对象的目标像素是用图6(b)中带阴影线的矩形而代表的。此实施例的低通滤波器合计了目标像素中的色差分量与目标像素左侧和右侧上的两个左侧像素和两个右侧像素中的色差分量。目标像素的色差分量乘以四个像素的权重，从而使得合计的色差分量对应于八个像素。在此情况下，总数简单地向较低位移位3位，给出了一个像素的色差分量，其等于总数除以8。这样的加权能实现使用低通滤波器的高速处理。

垂直方向上的色差分量CDv和水平方向上的色差分量CDh中的每个均可以代表G分量与R分量之间的色差分量或者G分量与B分量之间的色差分量，如前面解释的。低通滤波器可应用于垂直方向上的色差分量CDv和水平方向上的色差分量CDh，而不考虑这样不同类型的色差分量。实施例的彩色图像数据生成过程因而实现了先进的处理的极度简单化和高速度。

回头参考图3的流程图，在以上述方式计算了垂直方向上的色差分量CDv和水平方向上的色差分量CDh以后，实施例的彩色图像数据生成过程产生了具有这些关于色差分量的这些数据的边缘取向图(边缘取向图产生过程)(步骤S104)。边缘取向图将图像中所包括的每个边缘的取向图示为要么垂直方向、要么水平方向。不必为所有像素设置边缘取向，但应该至少为非G像素(即，R像素和B像素)设置边缘取向。实施例的彩色图像数据生成过程基于垂直方向上的色差分量CDv和水平方向上的色差分量CDh检测边缘取向，如稍后所述。这确保了边缘取向的精确且相对高速的检测。边缘取向图产生过程的细节将在稍后加以说明。

在产生边缘取向图之后，CPU通过插值确定除G像素以外每个目标像素(即，要么R像素或B像素)中的G分量的色调值(G分量插值过程)(步骤S106)。G分量插值过程参照边缘取向图并用相邻像素中的G分量的值执行插值以确定非G目标像素中的G分量的适当值。此G分量插值过程的细节将在稍后加以说明。

CPU随后执行除G像素以外的非G目标像素中的剩余的色彩分量的插值(非G像素插值过程)(步骤S108)。非G目标像素(可以是R像素或B像素)的G分量，已经通过在前述步骤S106处的插值确定。步骤S108的处理因而为R目标像素插值了B分量，同时为B目标像素插值了R分量。除G像素以外的像素因此已获得了所有的色彩分量R，G和B。将在稍后说明非G像素插值过程的细节(在关于除G像素以外的每个非G目标像素进行了G分量的插值之后的剩余色彩分量的插值)。

当除G像素外的像素中的插值完成时，CPU对原始图像数据的关于每个G目标像素的缺失色彩分量(R分量和B分量)进行插值(G像素插值过程)(步骤S110)。G像素插值过程也参照边缘取向图并执行插值以确定G目标像素中的缺失色彩分量的适当值。此G像素插值过程的细节将在稍后加以说明。

当除G像素以外的像素中的缺失色彩分量插值(步骤S106和S108)以及G像素中的缺失色彩分量的插值(步骤S110)完成时，所有像素已获得了所有色彩分量R，G和B。CPU随后将获得的RGB色彩分量作为从原始图像数据生成的彩色图像数据输出(步骤S112)并终止了图3的彩色图像数据生成过程。

如上所述，此实施例的彩色图像数据生成过程基于垂直方向上的色差分量CDv和水平方向上的色差分量CDh来检测边缘取向以产生边缘取向图。更具体地，根据两种不同类型(G分量与R分量之间的色差分量和G分量与B分量之间的色差分量)的垂直方向色差分量CDv和水平方向色差分量CDh检测边缘取向。这个特性能实现以高精确度产生边缘取向图。这个非常精确的边缘取向图的应用能实现对原始图像数据的缺失色彩分量的适当插值。边缘取向图产生过程和缺失色彩分量插值两者都相当简单且可以高速执行。实施例中的上述系列的处理因而能实现从具有R，G和B色彩分量的马赛克布置的原始图像高速生成了适当的彩色图像数据。下列说明顺序地考虑了边缘取向图产生过程、G分量插值过程(在除G像素以外的像素内的G分量的插值)、非G像素插值过程(在除G像素以外的像素内的剩余色彩分量的插值)、和G像素插值过程(G像素内的缺失色彩分量的插值)的细节。

C.边缘取向图产生过程

图7是示出了通过实施例的图像处理装置30在图3的彩色图像数据生成过程中的步骤S104处执行的边缘取向图产生过程的细节。

边缘取向图产生过程首先选择了一个目标像素作为边缘取向检测的对象(步骤S200)并计算了垂直方向上的色差分量的变动Vv(步骤S202)。自然地从垂直方向上的色差分量CDv计算了垂直方向上的变动Vv。

图8示出了从垂直方向的色差分量CDv计算垂直方向上的变动Vv。图8(a)示出了计算公式，且图8(b)概念性地示出了根据图8(a)的计算公式计算垂直方向上的变动Vv。图8(b)中的带阴影线矩形代表了目标像素的位置。垂直方向上的变动Vv的计算过程首先计算目标像素中和目标像素上方的上部像素中的色差分量CDv之间的差的平方。类似地计算过程计算目标像素中与目标像素下方的下部像素中的色差分量CDv之间的差的平方。图8(b)中的带阴影线目标像素与下部像素之间、以及带阴影线目标像素与上部像素之间所示的空箭头代表了对相应像素的色差分量CDv之间的差的平方的计算。

在计算了目标像素中与上部及下部像素中的色差分量CDv之间的相应差的平方之后，计算过程类似地计算目标像素左侧上的左侧像素中与该左侧像素上方和下方的上部及下部像素中的色差分量CDv之间的相应差的平方、以及目标像素右侧上的右侧像素中与该右侧像素上方和下方的上部及下部像素中的色差分量CDv之间的相应差的平方。图8(b)示出了从垂直方向上排列的六对像素获得的六个平方值。这六个平方的总和被指定为垂直方向上关于目标像素的变动Vv。

回头参考图7的流程图，在计算了垂直方向上的变动Vv之后，边缘取向图产生过程计算了水平方向上的色差分量的变动Vh(步骤S204)。除了使用水平方向上的色差分量CDh用于计算以外，以类似于垂直方向上的变动Vv的计算的方式而计算了水平方向上的变动Vh。

图9示出了从水平方向的色差分量CDh计算水平方向上的变动Vh。图9(a)示出了计算公式，且图9(b)概念性地示出了根据图9(a)的计算公式计算水平方向上的变动Vh。如图9(b)中的空箭头所示，计算过程接连地计算了目标像素中与目标像素左侧和右侧上的左侧及右侧像素中的色差分量CDh之间的相应差的平方、目标像素上方的上部像素中与该上部像素的左侧和右侧的左侧及右侧像素中的色差分量CDh之间的相应差的平方、以及目标像素下方的下部像素中与该下部像素的左侧和右侧的左侧及右侧像素中的色差分量CDh之间的相应差的平方。这六个平方的总和被指定为水平方向上关于目标像素的变动Vh。

回头再次参考图7的流程图，如上所计算的垂直方向上的变动Vv和水平方向上的变动Vh关于目标像素而相互比较(步骤S206)。当水平方向上的变动Vh大于或等于垂直方向上的变动Vv时(步骤S206：是)，确定了边缘穿过垂直方向上的目标像素。代表了边缘取向的值‘d’随后被设为等于‘1’(步骤S208)。相反，当垂直方向上的变动Vv大于水平方向上的变动Vh时(步骤S206：否)，确定了边缘穿过水平方向上的目标像素。代表了边缘取向的值‘d’随后被设为等于‘3’(步骤S210)。即其边缘取向‘d’设为‘1’的像素具有垂直方向上的边缘，而其边缘取向‘d’设为‘3’的像素具有水平方向上的边缘。

在确定垂直方向上的变动Vv(见图8)过程中和在确定水平方向上的变动Vh(见图9)过程中计算了色差分量之间的差的平方。这种计算能实现对边缘取向的检测而不考虑色差分量之间差的符号。一种可能的修改因而可以计算色差分量之间的相应差的绝对值，而非计算它们的平方。关于相邻像素的绝对值的总和给出了垂直方向上的变动Vv或水平方向上的变动Vh。然而，与绝对值相比，此平方提高了色差分量之间的差值并因而增加了边缘取向的检测精确度。应理解到此发明不限于绝对值差或平方差且可以使用其它任何差值或相似性度量代替以确定边缘取向。

需要对垂直方向上的变动Vv与水平方向上的变动Vh之间的对比有一些留意。因此在图7所示的边缘取向图产生过程中有某些变动，如下所述。

图10示出了选择用于检测边缘取向的目标像素周围的相邻像素的可能布置。所选择的目标像素周围的相邻像素满足图10(a)到10(d)中所示的四个状态之一。在图10(a)的状态下，目标像素及其在垂直方向上的上部和下部像素的目标像素列给出了G分量与R分量之间的相应两个色差分量CD_GR的平方，而在该目标像素的左侧和右侧上的垂直方向上的左侧像素列及右侧像素列给出了G分量和B分量之间的相应四个色差分量CD_GB的平方。因而将垂直方向上的变动Vv作为色差分量CD_GR的两个平方与色差分量CD_GB的四个平方的总和进行计算。类似地将水平方向上的变动Vh作为色差分量CD_GR的两个平方与色差分量CD_GB的四个平方的总和进行计算。垂直方向上的变动Vv与水平方向上的变动Vh之间的简单对比因而能实现目标像素中的边缘取向的适当检测。

在图10(b)的状态中，将垂直方向上的变动Vv和水平方向上的变动Vh中的每个作为色差分量CD_GB的两个平方与色差分量CD_GR的四个平方的总和进行计算。垂直方向上的变动Vv与水平方向上的变动Vh之间的简单对比因而能实现目标像素中的边缘取向的适当检测。

然而，这在图10(c)的状态中或在图10(d)的状态中没有得到满足。例如，在图10(c)的状态中，将垂直方向上的变动Vv作为色差分量CD_GB的两个平方与色差分量CD_GR的四个平方的总和进行计算。然而，将水平方向上的变动Vh作为色差分量CD_GR的两个平方与色差分量CD_GB的四个平方的总和进行计算。即垂直方向上的变动Vv不能简单地与水平方向上的变动Vh相比较。在图10(d)的状态中，垂直方向上的变动Vv也不能简单地与水平方向上的变动Vh相比较。

针对此问题的一种可能措施是仅对满足图10(a)状态或图10(b)状态的像素检测边缘取向。在此措施中，图7的边缘取向图产生过程在步骤S200处选择了仅G像素以外的像素(即，R像素和B像素)中的目标像素。如前面参考图2所述，G像素占据了Bayer滤色器阵列的一半面积。对仅R像素和B像素进行的边缘取向检测，平分了待处理的像素数目并确保了边缘取向图的高速产生。在此情况下，G像素中边缘取向未知。然而，应用适当的插值步骤可以防止G像素中未知边缘取向对产生的画质的不利影响。

对G像素而言边缘取向是不可检测的，但可以根据下列步骤检测到。与应用到其它像素列或像素行的权重相比，图11的步骤将双权重应用于包括了目标像素的目标像素列或目标像素行。图11(a)示出了用于确定垂直方向上变动Vv的计算公式，且图11(b)示出了用于确定水平方向上变动Vh的计算公式。根据计算公式，关于所有像素(即G像素、R像素和B像素)可以计算垂直方向上的变动Vv和水平方向上的变动Vh。随后可以通过垂直方向上的变动Vv与水平方向上的变动Vh之间的对比为所有这些像素确定边缘取向。在图11的计算公式中，权重可以备选地为没有目标像素的像素列或像素行而被平分。

另一种计算方法可以基于两个像素列的变动和两个像素行的变动(即，包括目标像素的目标像素列和一个邻近目标像素列的相邻像素列、以及包括目标像素的目标像素行和一个邻近目标像素行的相邻像素行)检测每个目标像素中的边缘取向。图12(a)示出了关于垂直方向的包括目标像素的目标像素列和目标像素列右侧上垂直方向的右侧像素列，用于计算垂直方向上的变动Vv的计算公式。图12(b)根据图12(a)的计算公式概念性地示出了垂直方向上的变动Vv的计算。如前面参考图4所述，交替布置的G像素和R像素的像素列和交替布置的G像素和B像素的像素列在基于Bayer滤色器阵列的原始图像数据的垂直方向上交替出现。因此将根据图12(a)计算公式的垂直方向上的变动Vv给定为色差分量CD_GB的两个平方和色差分量CD_GR的两个平方的总和。

类似地关于两个像素行计算了水平方向上的变动Vh。图12(c)示出了用于计算水平方向上的变动Vh的计算公式，且图12(d)概念性地示出了根据图12(c)的计算公式来计算在水平方向上的变动Vh。如前面参考图4所述，交替布置的G像素和R像素的像素行和交替布置的G像素和B像素的像素行在基于Bayer滤色器阵列的原始图像数据的水平方向上交替出现。像根据图12(a)的计算公式的垂直方向上的变动Vv一样，因此将根据图12(c)计算公式的水平方向上的变动Vh给定为色差分量CD_GB的两个平方和色差分量CD_GR的两个平方的总和。因而可以通过垂直方向上的变动Vv与水平方向上的变动Vh之间的对比检测边缘取向。

回头再参考图7的流程图，如上所述，实施例的边缘取向图产生过程计算垂直方向上色差分量的变动Vv和水平方向上色差分量的变动Vh(步骤S202和S204)，并基于垂直方向上的变动Vv与水平方向上的变动Vh之间的对比而检测目标像素的边缘取向(步骤S206到S210)。在根据图8和9中所示方法计算变动Vv和Vh的情况下，作为边缘取向检测对象的目标像素可以在仅G像素以外的像素(即，R像素和B像素)中选择(步骤S200)。另一方面，在根据图11和12中所示方法之一计算变动Vv和Vh的情况下，可以在所有像素中选择目标像素(步骤S200)。然而，这不是限制性的。即便在根据图11和12中所示方法之一计算变动Vv和Vh的情况下，可以在仅G像素以外的像素(即，R像素和B像素)中选择目标像素。在对步骤S200处选择的目标像素中的边缘取向的检测之后，CPU确定是否已经关于所有像素检测了边缘取向(步骤S212)。当有任何未处理像素时(步骤S212：否)，边缘取向图产生过程返回步骤S200以在未处理像素中选择另一目标像素并执行随后系列的处理。在关于所有像素的边缘取向检测完成时(步骤S212：是)，图7的边缘取向图产生过程终止。

实施例的边缘取向图产生过程能以极高精确度实现对包括在原始图像数据中的边缘取向的检测。参考此极精确的边缘取向图而执行对构成原始图像数据的相应像素中缺失的色彩分量的插值。这确保了适当的插值而没有伪彩色出现。下面根据实施例的边缘取向图产生过程说明产生极精确边缘取向图的原因。

如图2和4所述，基于Bayer滤色器阵列的原始图像数据具有仅在离散像素位置处的色彩分量R、G或B的数据。G分量具有的数据的比率为每2像素1个(G像素)，而R分量和B分量具有的数据的比率为每4像素1个(R像素和B像素)。由于数据的这种离散出现，难于以高精确度从关于色彩分量R、G和B中的每个的色调值变动检测出边缘。

因此使用色差分量代替R、G和B色彩分量。关于具有G分量和R分量的交替布置的每个像素列或像素行，原始图像数据被转换为G分量与R分量之间的色差分量的数据。关于具有G分量和B分量的交替布置的每个像素列或像素行，原始图像数据被转换为G分量与B分量之间的色差分量的数据。图4的底部示出了原始图像数据转换为垂直方向上的色差分量CDv和水平方向上的色差分量CDh。具有G分量与B分量之间的色差分量的像素列和像素行被图示为图4中的带阴影线矩形。

色差分量的变动是可以在相邻像素列或相邻像素行之间比较的。例如，在具有突然的亮度(lightness)改变的图像区域中，G分量与R分量之间的色差分量以及G分量与B分量之间的色差分量两者有显著变动。类似地，在具有突然的亮度改变的图像区域中，G分量与R分量之间的色差分量和/或G分量与B分量之间的色差分量中也有显著变动。甚至具有不同类型的色差分量的变动因此是可比较的。边缘是可以随后根据相邻像素列或相邻像素行的色差分量检测到的。这个根据相邻像素列或相邻像素行的色差分量的边缘检测技术能实现甚至小尺度边缘的精确检测。

实施例的边缘取向图产生过程基于上述考虑以高精确度检测边缘取向并因此给出了极精确的边缘取向图。具体步骤将基于Bayer滤色器阵列的原始图像数据转换为垂直方向上的色差分量CDv和水平方向上的色差分量CDh。如图4的底部中所示，获得的色差分量的数据具有G分量与R分量之间色差分量CD_GR的像素列或像素行、以及G分量和B分量之间色差分量CD_GB的像素列或像素行的交替布置。随后根据图8和9的计算公式或图11和12的计算公式之一，计算色差分量的变动。从具有不同类型的相邻像素列或相邻像素行的色差分量获得了计算的变动。甚至根据具有不同类型的色差分量计算出的变动是可以比较而用于如上所述的边缘检测的。这样的根据相邻像素列或相邻像素行的色差分量的边缘检测确保了甚至小尺度边缘的极精确检测。因而可以通过垂直方向上的变动Vv与水平方向上的变动Vh之间的对比实现每个像素中边缘取向的精确检测。

正如由此解释明确理解到的，在实施例的边缘取向图产生过程中，基于相邻像素列或相邻像素行的色差分量计算垂直方向上的变动Vv和水平方向上的变动Vh是重要的。换句话说，使用什么计算公式用于计算垂直方向上的变动Vv和水平方向上的变动Vh是不那么重要的。因而可以应用各种计算公式取代图8和9的计算公式或图11和12的计算公式。

一种修改的步骤可以计算每个像素列或每个像素行中的每两个像素的色差分量之间的相应差的平方，并对平方求和以确定色差分量的变动，如图13所示。尽管图13仅示出了水平方向上的变动Vh的计算，可以按类似方式计算垂直方向上的变动Vv。另一种修改的步骤可以计算相邻像素以及每个像素列或每个像素行中的每两个像素的色差分量之间的相应差的平方，并对平方求和以确定色差分量的变动，如图14所示。

再有另一种修改可以通过考虑更远处像素的色差分量之间的差来确定色差分量的变动。例如，图15的修改的步骤通过考虑每个像素列或每个像素行中每四个像素的色差分量之间的差、以及每个像素列或每个像素行中每两个像素的色差分量之间的差来确定色差分量的变动。尽管图14和15仅示出了水平方向上的变动Vh的计算，可以按类似方式计算垂直方向上的变动Vv。

D.G分量插值过程

如上面参考图3的流程图所述，在产生边缘取向图之后(步骤S104)，实施例的彩色图像数据生成过程开始G分量插值过程以在除G像素外的像素(即，R像素和B像素)中插值G分量(步骤S106).

图16是示出了在R像素和B像素中插值G分量的G分量插值过程细节的流程图。G分量插值过程首先参照产生的边缘取向图以将每个插值目标像素中的边缘取向‘d’指定为插值对象(步骤S300)。如上所述，边缘取向图可以具有对于所有像素所检测到的边缘取向‘d’或对于仅非G像素(即，R像素和B像素)所检测到的边缘取向‘d’。在非G像素中插值G分量的过程中，总是通过参照边缘取向图而指定边缘取向‘d’。

G分量插值过程随后确定指定的边缘取向‘d’是否等于‘1’(步骤S302)。当指定的边缘取向‘d’等于‘1’时(步骤S302：是)，用插值目标像素上方和下方的上部及下部像素的色差分量对插值目标像素的色差分量进行插值(步骤S304)。另一方面，当指定的边缘取向‘d’等于“‘3’时(步骤S302：否)，用插值目标像素左侧和右侧的左侧及右侧像素的色差分量对插值目标像素的色差分量进行插值(步骤S306)。G分量插值过程随后获得插值目标像素的原始图像数据(步骤S308)并将原始图像数据添加到插值目标像素的插值的色差分量，以计算插值目标像素的G分量(步骤S310)。对这系列的处理加以更详细说明。

图17示出了计算非G像素中缺失的G分量的处理流程。插值目标像素为非G像素，即，要么R像素或者B像素。当插值目标像素为R像素时，相邻像素被布置成如图17(a)所示。另一方面，当插值目标像素为B像素时，相邻像素被布置成如图17(b)所示。此处假定作为G分量插值对象的插值目标像素为R像素且指定的边缘取向‘d’等于‘1’。

在边缘取向‘d’等于‘1’时，水平方向上色差分量的变动Vh大于垂直方向上色差分量的变动Vv。总而言之，较小变动状态(更接近稳定状态)下的插值有望比较大变动状态下的插值具有更好的插值效果。因而使用垂直方向上的具有较小变动的色差分量用于G分量的计算。如从图17(a)明确地知道的，在R插值目标像素中，通过从G分量减去R分量而获得了垂直方向上的色差分量和水平方向上的色差分量二者。即要么从垂直方向上的色差分量或者从水平方向上的色差分量可以计算出插值目标像素的G分量。为了提高插值精确度，从具有较小变动的垂直方向上的色差分量计算插值目标像素的G分量，正如已经通过插值目标像素中的对应边缘取向标记‘d’的值‘1’所标示的。

垂直方向上的色差分量是从G分量减去R分量，且插值目标像素中获得的原始图像数据是R分量。将原始图像数据添加到色差分量因而立即确定了插值目标像素中的G分量。用于计算G分量的色差分量可以是根据图5的计算公式计算的插值目标像素中的色差分量。优选地，用于G分量计算的色差分量可以是在用图6中的低通滤波器去除噪音之后的色差分量。

可以从相邻像素的色差分量计算出插值目标像素的色差分量，而不是直接读取。这个经修改的过程可以读取垂直方向上插值目标像素上方和下方的上部和下部像素的色差分量，并从读出的色差分量计算插值目标像素中的色差分量。图16的G分量插值过程计算来自于步骤S304或步骤S306的相邻像素色差分量的插值目标像素的色差分量。另一个经修改的过程可以读取插值目标像素的较大范围的邻区中的像素的色差分量，以便从读出的色差分量计算插值目标像素中的色差分量。

在如上所述计算了所有插值目标像素中的G分量之后，CPU终止图16的G分量插值过程，并回到图3的彩色图像数据生成过程。彩色图像数据生成过程随后启动非G像素插值过程以在除G像素以外的像素中插值剩余的色彩分量(步骤S108)。

E.非G像素插值过程

图18是示出了非G像素插值过程的细节的流程图。如前面所解说的，当在非G像素中插值G分量之后，非G像素插值过程在每个非G像素中插值剩余的色彩分量，即，R像素中的B分量或B像素中的R分量。在处理细节之前，简要说明了非G像素插值过程的基本概念。

非G像素插值过程在R像素中插值B分量，同时在B像素中插值R分量。当插值目标像素为R像素时，邻近插值目标像素的四个对角布置的像素都是B像素，如图17(a)中所示。获得了作为这四个相邻像素的原始图像数据的B分量。另一方面，当插值目标像素为B像素时，邻近插值目标像素的四个对角布置的像素都是R像素，如图17(b)中所示。获得了作为这四个相邻像素的原始图像数据的R分量。最简单的过程用邻近插值目标像素的四个对角布置的像素的原始图像数据执行插值，以确定插值目标像素中的剩余色彩分量的色调值。例如，可以获得插值目标像素中的R分量作为在对角方向围绕的像素中可用的四个原始R分量的均值。类似地，可以获得插值目标像素中的B分量作为在对角方向围绕的像素中可用的四个原始B分量的均值。

用相邻像素的原始图像数据直接插值剩余的色彩分量，可能由于差值对其它色彩分量的某些偏离而导致伪彩色的发生。在自然的彩色图像中，RGB数据在信道内和信道间的感测中是显著相关的。这意味着在局部图像区域中的像素常常具有类似的色差特性。因此优选的是在插值目标像素中用相邻像素的色差分量插值色差分量，并基于插值的色差分量确定在插值目标像素中的剩余色彩分量的色调值。因而，取代了用邻近插值目标像素的四个对角布置的像素的原始图像数据的直接插值，另一可用步骤从四个相邻像素的色差分量计算插值目标像素的色差分量、并基于所计算的插值目标像素的色差分量而确定插值目标像素中的剩余色彩分量的色调值。例如，插值对象是用于图17(a)状态中的R插值目标像素的B分量。优选的步骤在邻近R插值目标像素的四个对角布置的B像素中获得G分量和B分量之间的色差分量，并使用这四个色差分量来计算R插值目标像素中的对应色差分量。例如，可以将插值目标位置中的色差分量计算为可用色差分量的均值。该过程随后从计算的色差分量和在R插值目标像素中插值的G分量计算剩余色彩分量的色调值。

邻近R插值目标像素的对角布置的像素都是B像素。根据图5的计算公式关于这些相邻像素而计算的垂直方向上的色差分量CDv和水平方向上的色差分量CDh二者是G分量与B分量之间的色差分量。可以从总共八个色差分量计算出插值目标像素的对应色差分量。一种典型的过程可以将在邻近插值目标像素的四个对角布置的像素中的每个内的垂直方向上色差分量CDv和水平方向上色差分量CDh的均值作为像素中的代表性的色差分量而进行计算，并从四个相邻像素的代表性色差分量确定插值目标像素的对应色差分量。另一典型过程可以检测插值目标像素中的边缘取向，并仅从满足所检测的边缘取向的相邻像素的色差分量(根据图5的计算公式获得)计算插值目标像素的色差分量。这个方法通过考虑关于相邻像素的垂直方向上的色差分量CDv和水平方向上的色差分量CDh而确定插值目标像素的色差分量，该方法需要相当复杂的一系列处理。另一方面，基于邻近插值目标像素的四个对角布置的像素中的G分量和B分量的计算，能高速确定插值目标像素中的色差分量CD_GB。

基于此基本概念，图18的流程图中所示实施例的非G像素插值过程在其G分量的插值之后在每个非G像素中插值剩余的色彩分量，参考图18的流程图解释了非G像素插值过程的具体步骤。

该非G像素插值过程首先获得邻近插值目标像素的四个对角布置的像素的原始图像数据和G分量(步骤S350)。当插值目标像素为R像素时，四个对角布置的相邻像素都是B像素，如图17(a)中所示。此处获得的这些相邻像素的原始图像数据因此考虑了B分量。另一方面，当插值目标像素为B像素时，四个对角布置的相邻像素都是R像素，如图17(b)所示。此处获得的这些相邻像素的原始图像数据因此考虑了R分量。

非G像素插值过程随后通过从原始图像数据减去G分量计算这四个相邻像素的色差分量，并计算作为插值目标像素的色差分量的四个色差分量的均值(步骤S352)。在此处的应用中，色差分量一般代表了从G分量减去R分量或B分量，如图5中所示。然而，步骤S352的计算通过从原始图像数据(R分量或B分量)减去G分量而改变了色差分量的符号。这样就免于改变稍后计算中的符号。

在计算插值目标像素中的色差分量之后，非G像素插值过程获得了插值目标像素的G分量(步骤S354)。插值目标像素为非G分量，从而插值目标像素的原始图像数据不考虑G分量。然而，已经通过在此非G像素插值过程之前执行的图16的G分量插值过程，确定了插值目标像素的G分量。

步骤S352处计算的插值目标像素的色差分量以及步骤S354处获得的G分量的和，确定插值目标像素中的剩余色彩分量(步骤S356)。

在如上所述计算了所有非G插值目标像素中的剩余色彩分量之后，CPU终止图18的非G像素插值过程，并回到图3的彩色图像数据生成过程。彩色图像数据生成过程随后启动G像素插值过程以在G像素中插值缺失的色彩分量(步骤S110)。

F.G像素插值过程

图19是示出了G像素插值过程的细节的流程图。G像素插值过程首先指定了作为插值对象的每个插值目标像素中的边缘取向‘d’(步骤S400)。通过图7的边缘取向图产生过程，已经预先检测到了边缘取向并将其设置在边缘产生图中。如前所述，可以对所有像素或备选地仅对非G像素检测边缘取向。当已经对所有像素检测边缘取向时，步骤S400的处理通过参照边缘取向图立即指定插值目标像素的边缘取向。另一方面，当仅对非G像素检测边缘取向时，步骤S400的处理从检测到的相邻像素的边缘取向估计插值目标像素的边缘取向。

图20示出了根据相邻像素的边缘取向对插值目标像素中的边缘取向的估计。G像素插值过程在G像素中插值缺失的(即，R和B)色彩分量。围绕插值目标像素的原始数据的初始像素满足要么图20(a)的布置或者图20(b)的布置。在图20(a)和20(b)中，带阴影线的矩形代表了插值目标像素。假设已经仅对非G像素检测了边缘取向，则执行此估计。因此已经在插值目标像素的上方、下方、左侧和右侧的四个相邻像素中设置了边缘取向。

图20(c)和20(d)示出了插值目标像素的四个相邻像素中的边缘取向‘d’的布置。在图20(c)中所示的四个相邻像素的边缘取向‘d’的布置中，具有设为‘1’的边缘取向‘d’的相邻像素的数目大于具有设为‘3’的边缘取向‘d’的相邻像素的数目。因此足以估计作为‘1’的插值目标像素的边缘取向‘d’。另一方面，在图20(d)中所示的四个相邻像素的边缘取向‘d’的布置中，具有设为‘3’的边缘取向‘d’的相邻像素的数目大于具有设为‘1’的边缘取向‘d’的相邻像素的数目。因此足以估计作为‘3’的插值目标像素的边缘取向‘d’。

这样，估计过程计数了具有设为‘1’的边缘取向‘d’的相邻像素的数目和具有设为‘3’的边缘取向‘d’的相邻像素的数目，并将较大计数值的边缘取向‘d’指定为插值目标像素的边缘取向‘d’。代替计数相邻像素的相应数目，另一估计过程可能计算插值目标像素上方、下方、左侧和右侧上的四个相邻像素中设置的边缘取向‘d’的总数。当存在着相同数目的具有设为‘1’的边缘取向‘d’的相邻像素和具有设为‘3’的边缘取向‘d’的相邻像素时，边缘取向‘d’的总数等于‘8’。当边缘取向‘d’的总数小于‘8’时，较大数目的相邻像素有望具有设为‘1’的边缘取向‘d’。因而将插值目标像素的边缘取向‘d’指定为‘1’。另一方面，当边缘取向‘d’的总数大于‘8’时，较大数目的相邻像素有望具有设为‘3’的边缘取向‘d’。因而将插值目标像素的边缘取向‘d’指定为‘3’。当边缘取向‘d’的总数等于‘8’时(当存在着相同数目的具有设为‘1’的边缘取向‘d’的相邻像素和具有设为‘3’的边缘取向‘d’的相邻像素时)，插值目标像素的边缘取向‘d’可以被指定为要么‘1’或‘3’。

如上所述，当已经为所有像素设置了边缘取向‘d’时，图19的G像素插值过程只是在步骤S400从边缘取向图读取插值目标像素的边缘取向‘d’。另一方面，当已经只对非G像素设置了边缘取向‘d’时，G像素插值过程在步骤S400从边缘取向图读取了邻近插值目标像素的相邻像素的边缘取向并估计插值目标像素的边缘取向‘d’。

在指定了插值目标像素中的边缘取向‘d’之后，G像素插值过程确定所指定的边缘取向‘d’是否等于‘1’(步骤S402)。当指定的边缘取向‘d’等于‘1’时(步骤S402：是)，确定了边缘在垂直方向上穿过插值目标像素。G像素插值过程因此获得了在插值目标像素上方和下方的上部和下部相邻像素的R分量、G分量和B分量(步骤S404)。如图20(a)和20(b)的布置中所示，插值目标像素上方和下方的上部及下部相邻像素总是非G像素。已经通过图16的G分量插值过程和图18的非G像素插值过程计算了非G像素的缺失的色彩分量。这些上部及下部相邻像素的R、G和B分量因而是可以立即得到的。

另一方面，当指定的边缘取向‘d’不等于‘1’时(步骤S402：否)，确定了边缘在水平方向上穿过插值目标像素。G像素插值过程因此获得了在插值目标像素左侧和右侧的左侧及右侧相邻像素的R分量、G分量和B分量(步骤S406)。因为插值目标像素的左侧和右侧上的左侧及右侧相邻像素总是非G像素，这些左侧及右侧相邻像素的R、G和B分量是可以立即得到的。

G像素插值过程随后计算作为R、G和B分量的采集对象的相邻像素中的色差分量(步骤S408)。当插值目标像素的边缘取向‘d’等于‘1’时(步骤S402：是)，G像素插值过程计算在上部及下部相邻像素中的色差分量。另一方面，当插值目标像素的边缘取向‘d’不等于‘1’时(步骤S402：否)，G像素插值过程计算在左侧及右侧相邻像素中的色差分量。正如在图18的非G像素插值过程中一样，在步骤S408处通过从R分量减去G分量并通过从B分量减去G分量，获得了符号变化的色差分量。这就免于在稍后对插值目标像素中的R分量和B分量的计算中改变符号。

在计算了在上部及下部相邻像素、或在左侧及右侧相邻像素中的色差分量(步骤S408)之后，G像素插值过程用计算出的相邻像素的色差分量来执行插值以计算插值目标像素的色差分量(步骤S410)。如上所述，在上部及下部相邻像素中、和在左侧及右侧相邻像素中计算出的色差分量是符号改变的色差分量(即，通过从R分量减去G分量得到的色差分量、和通过从B分量减去G分量得到的色差分量)。插值的色差分量因而是符号改变的色差分量。

G像素插值过程随后获得了插值目标像素的G分量(步骤S412)。由于插值目标像素是G像素，则原始图像数据直接考虑G分量。G分量插值过程随后从插值的色差分量和获得的插值目标像素的G分量计算插值目标像素中的R分量和B分量(步骤S414)。由于插值色差分量是符号改变(即，从红色分量减去的绿色分量，和从蓝色分量减去的绿色分量)的色差分量，将G分量简单添加到插值色差分量确定了插值目标像素的R分量和B分量。

在如上所述计算了所有G像素中的缺失色彩分量(R分量和B分量)之后，CPU终止图19的G像素插值过程，并回到图3的彩色图像数据生成过程。

当G像素插值过程完成时(步骤S110)，已经结束了所有像素的去马赛克过程(即，缺失色彩分量的插值)。CPU随后将相应像素的R、G和B分量作为从原始图像数据生成的彩色图像数据输出(步骤S 112)并终止了图3的彩色图像数据生成过程。

实施例的数码相机100执行原始图像数据的去马赛克以根据下面详细说明的一系列处理生成彩色图像数据。在去马赛克过程之前，彩色图像数据生成过程产生了边缘取向图。通过考虑垂直方向上色差分量CDv的变动和水平方向上色差分量CDh的变动，可以从两种不同类型的色差分量(即，G分量与R分量之间的色差分量和G分量与B分量之间的色差分量)检测相应像素的边缘取向。这确保了对即便小尺度边缘的极精确检测，并因此能产生精确的边缘取向图。随后的去马赛克过程参照此精确的边缘取向图以在相应像素中适当地插值缺失的色彩分量。

边缘取向图产生过程和缺失色彩分量插值过程两者都相当简单且可以高速执行。实施例中的系列处理因而能实现从具有R，G和B色彩分量的马赛克布置的原始图像数据高速生成了适当的彩色图像数据。

将领会到，本发明可以在实施例中作为储存在计算机可读介质上的指令的程序而实施，即，当由计算机执行时，实行本发明方法。计算机可读介质的示例包括，但不限于：诸如硬盘、软盘、和磁带这样的磁介质；诸如CD-ROM和全息器件这样的光学介质；磁-光介质；和专门配置成储存、或储存并执行程序代码的硬件器件，诸如专用集成电路(ASIC)、可编程逻辑器件(PLD)、闪存器件、和ROM及RAM器件。

实施例的数码相机100根据上述步骤从原始图像数据生成了彩色图像数据。本发明不限于上述的此实施例及其修改中的任意方案，但可以在各种应用和方面中实现，而不离开本发明的主要特性的范畴或宗旨。

Claims (9)

1.一种图像处理装置，其接收在每个像素中具有对应于光的三原色的三种色彩分量R、G和B之中的仅一种色彩分量设置的马赛克图像数据，并使所接收的马赛克图像数据经受一系列图像处理来生成在每个像素中具有所有三种色彩分量R、G和B设置的彩色图像数据，

所述马赛克图像数据通过在垂直方向上具有色彩分量G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素列、在垂直方向上具有色彩分量G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有色彩分量G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上具有色彩分量G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素行的组合来表示，

该图像处理装置包括：

垂直方向的色差分量计算模块，其被配置成通过使用垂直方向上邻近的色彩分量来获取在另一色彩分量的像素位置中的G分量或获取在G分量像素位置中的另一色彩分量，以便计算包括在马赛克图像的每个像素列中的每个像素内的G分量与另一色彩分量之间的垂直方向色差分量；

水平方向的色差分量计算模块，其被配置成通过使用水平方向上邻近的色彩分量来获取在另一色彩分量的像素位置中的G分量或获取在G分量像素位置中的另一色彩分量，以便计算包括在马赛克图像的每个像素行中的每个像素内的G分量与另一色彩分量之间的水平方向色差分量；

边缘取向检测模块，其被配置成从马赛克图像数据选择R分量的像素和B分量的像素，并在每个R分量和B分量的像素位置关于至少所选择像素中的每个而将垂直方向的色差分量的变动与水平方向色差分量的变动相比较，以便检测至少所选择像素的边缘取向；和

缺失色彩分量插值模块，其被配置成参照检测的边缘取向、并在马赛克图像数据的每个像素中插值缺失的色彩分量，其中马赛克图像数据中的每个像素内有一个色彩分量设置。

2.根据权利要求1所述的图像处理装置，其中边缘取向检测模块具有：

垂直方向变动计算模块，其被配置成根据包括目标像素的目标像素列的垂直方向色差分量和邻近目标像素列的相邻像素列的垂直方向色差分量，计算作为边缘取向检测对象的每个目标像素中的垂直方向色差分量的变动，所述目标像素选自R分量的像素和B分量的像素；和

水平方向变动计算模块，其被配置成根据包括目标像素的目标像素行的水平方向色差分量和邻近目标像素行的相邻像素行的水平方向色差分量，计算作为边缘取向检测对象的每个目标像素中的水平方向色差分量的变动。

3.根据权利要求1所述的图像处理装置，其中边缘取向检测模块仅检测包括在马赛克图像数据中的B分量的像素及R分量的像素中的边缘取向。

4.根据权利要求1所述的图像处理装置，其中当像素的垂直方向色差分量的变动大于像素的水平方向色差分量的变动时，边缘取向检测模块将每个像素中边缘取向作为水平方向进行检测，

当像素的垂直方向色差分量的变动小于像素的水平方向色差分量的变动时，边缘取向检测模块将每个像素中边缘取向作为垂直方向进行检测，以及

当像素的垂直方向色差分量的变动等于像素的水平方向色差分量的变动时，边缘取向检测模块将每个像素中边缘取向作为垂直方向或水平方向进行检测。

5.根据权利要求1所述的图像处理装置，其中缺失色彩分量插值模块用一对相邻像素中的色彩分量在作为插值对象的插值目标像素中插值作为缺失的色彩分量的G分量，所述的一对相邻像素是分别在插值目标像素上方和下方的一对上部和下部相邻像素、以及分别在插值目标像素左侧和右侧的一对左侧和右侧相邻像素之间选择的。

6.根据权利要求5所述的图像处理装置，其中缺失色彩分量插值模块具有：

色差分量插值模块，其被配置成用分别在插值目标像素上方和下方的一对上部和下部相邻像素中的垂直方向色差分量、或者用分别在插值目标像素左侧和右侧的一对左侧和右侧相邻像素中的水平方向色差分量，在插值目标像素中插值垂直方向色差分量或者水平方向色差分量；和

G分量计算模块，其被配置成基于在插值目标像素中插值的垂直方向的色差分量或者水平方向的色差分量、以及马赛克图像数据中的插值目标像素的色彩分量的设置，来计算插值目标像素中的G分量。

7.根据权利要求5所述的图像处理装置，其中缺失色彩分量插值模块在不具备马赛克数据中的G分量设置的所有像素中插值G分量，并随后在具有马赛克图像数据中的像素的色彩分量的设置以及插值的G分量的像素中插值R分量和B分量。

8.根据权利要求1所述的图像处理装置，其中边缘取向检测模块检测包括在马赛克图像数据中的至少B分量的像素及R分量的像素中的边缘取向以产生边缘取向图，和

缺失色彩分量插值模块参照储存在边缘取向图中的边缘取向以在马赛克图像数据的每个像素中插值缺失的色彩分量。

9.一种图像处理方法，其接收在每个像素中具有对应于光的三原色的三种色彩分量R、G和B之中的仅一种色彩分量设置的马赛克图像数据，并使所接收的马赛克图像数据经受一系列图像处理来生成在每个像素中具有所有三种色彩分量R、G和B设置的彩色图像数据，

该图像处理方法包括：

接收通过在垂直方向上具有色彩分量G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素列、在垂直方向上具有色彩分量G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素列、在水平方向上具有色彩分量G分量的像素和作为另一色彩分量的R分量的像素的交替布置的像素行和在水平方向上具有色彩分量G分量的像素和作为另一色彩分量的B分量的像素的交替布置的像素行的组合而表示的作为马赛克图像数据的图像数据；

获得在马赛克图像数据的每个像素列中所包括的每个像素内的G分量和另一色彩分量，并计算在垂直方向上每个像素列中所包括的每个像素内的G分量与另一色彩分量之间的垂直方向色差分量；

获得在马赛克图像数据的每个像素行中所包括的每个像素内的G分量和另一色彩分量，并计算在水平方向上每个像素行中所包括的每个像素内的G分量与另一色彩分量之间的水平方向色差分量；

从马赛克图像数据选择R分量的像素和B分量的像素，并在每个R分量和B分量的像素位置关于至少所选择像素中的每个而将垂直方向的色差分量的变动与水平方向色差分量的变动相比较，以检测至少所选择像素的边缘取向；和

参照检测的边缘取向，并在马赛克图像数据的每个像素中插值缺失的色彩分量，其中马赛克图像数据中的每个像素内有一个色彩分量设置。

Images