CN101335900A - 图像处理装置、图像处理方法、程序和摄像装置 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法、程序和摄像装置。在本发明中，具有：坐标转换部(142)，其根据彩色图像的像素位置，计算与在被实施了变形处理的情况下的彩色图像的像素位置对应的彩色镶嵌图像上的对应采样坐标；采样部(143)，其针对将彩色镶嵌图像分解后的多个色彩平面的每一个，通过插值生成在采样坐标上的像素值；以及色彩生成部(144)，其通过将各色彩平面的插入值进行合成来生成彩色图像，根据彩色镶嵌图像，利用插值运算求出被实施了变形处理的彩色图像的各像素值作为采样坐标的像素值，从而可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理和该彩色图像的变形处理。

Description

图像处理装置、图像处理方法、程序和摄像装置

技术领域

本发明涉及图像处理装置、图像处理方法、程序和摄像装置，特别涉及执行根据使用单板式彩色摄像元件所得到的彩色镶嵌(color mosaic)图像，针对所有像素对多种颜色的亮度信息进行插值来生成彩色图像的解拼(de-mosaic)处理的图像处理装置、图像处理方法、程序和摄像装置。

背景技术

近年来，数字相机正在稳步地向消费者普及。其原因之一列举如下：数字相机的成本继续下降，价格达到了众多消费者足以买得起的范围。为了抑制成本，在众多数字相机中，采用了所谓的单板式摄像元件。在单板式数字相机中，仅使用1个摄像元件来取入彩色图像内的各像素的颜色信息。

在单板式摄像元件中，各像素只具有一种颜色的颜色信息。然而，彩色图像是通过将3个独立的单色图像进行组合来显示的。即，为了显示彩色图像，红色(R)、绿色(G)、蓝色(B)的值全部是各像素所需要的。因此，单板式数字相机根据各像素仅具有R、G、B分量中的任一方的彩色镶嵌图像，进行所谓的解拼处理(也称为颜色插值处理)(例如，参照专利文献1、2)。解拼处理是这样的处理，即：通过针对彩色镶嵌图像的各像素的单色信息使用从其周边像素所收集的其他不足颜色的亮度信息来进行插值运算，生成各像素分别具有所有R、G、B分量的彩色图像。

而且，有时对如上所述根据彩色镶嵌图像所生成的彩色图像进行变形处理、校正处理等的加工。例如，作为变形处理的例子，有时通过数字变焦处理来放大或缩小彩色图像，或者通过手抖校正处理来使彩色图像旋转。并且，在数字相机用的变焦镜头中，在其结构上，往往在广角端具有桶形失真像差。还有桶形失真像差和枕形失真像差混合存在的所谓的笠形(陣笠タィプ)的失真像差。为了校正该失真像差，有时对彩色图像进行变形处理。这些图像变形处理是通过将位于变形后的插值位置的各像素的信息按照位于该插值位置的周边的变形前的彩色图像所具有的多个像素的信息进行插值来执行的。

另外，作为校正处理的例子，有进行色差校正的方法。在数字相机中使用的成像光学系统的镜头的折射率根据摄像光的波长的不同而不同。因此，像的放大倍率按照RGB的每个颜色而不同。由此可知，成像在摄像元件上的像的大小按照每个颜色分量而不同，如图20所示，针对各颜色分量产生摄像元件上的成像偏差。将其称为镜头的倍率色差(横向色差)。当有倍率色差时，在拍摄了白色点光源时，发现特别是画面的周边部呈现虹彩色而向放射方向伸展。并且，伴随成像偏差，图像的边缘部分出现色偏差，产生有损画质品质的问题。

为了抑制这种色偏差的产生，提供了这样的摄像装置，即：根据通过拍摄所得到的彩色图像信号，检测彩色图像内的与距基准位置的距离对应的色差量，根据所检测的色差量，对彩色图像信号施加色差校正。并且，还有这样的摄像装置，即：检测彩色图像内的有效边缘，根据边缘位置，检测与距基准位置的距离对应的色差量。

而且，还提出了这样的数字相机，即：拍摄来自光学镜头系统的入射像并输出R、G、B的信号，针对该R、G、B的信号使用光学镜头系统固有的与色差对应的焦距校正值来分别进行色差校正(以G为基准，对R、B进行图像的放大或缩小的校正)，之后将进行了色差校正的R、G、B输出合成来输出进行了色差校正的图像信号(例如，参照专利文献3)。

【专利文献1】日本特表2004-534429号公报

【专利文献2】日本特开2000-270294号公报

【专利文献3】日本特开平6-113309号公报

然而，在上述现有技术中，在根据彩色镶嵌图像生成彩色图像时进行插值处理，并在之后在对彩色图像进行变形时也进行另外的插值处理。即，进行两次像素插值。因此，具有处理负荷增大的问题。并且，由于对通过插值所生成的图像还实施另外的插值，因而还具有所生成的图像的画质恶化增大的问题。

另外，在上述现有技术中，在根据彩色图像内的边缘位置检测色差量时，有时不能正确地取得R、G、B的相关度，不能检测边缘位置。即，在带有倍率色差的彩色镶嵌图像中，如图21所示，由于与采样位置对应的亮度值根据R、G、B的颜色分量的不同而不同，因而各颜色分量的边缘位置不一致，不能获得高分辨率。因此，具有存在以下情况的问题，即：原来的边缘位置不能识别为边缘，不能利用边缘位置正确地校正解拼。

另一方面，上述专利文献3记载的数字相机不是单板式，而是所谓的3板式数字相机。3板式数字相机构成为具有供R、G、B的各方用的3个摄像元件，将从各自的摄像元件所输出的R、G、B的信号进行合成来获得彩色图像。在3板式的情况下，由于R、G、B的像素数均与输出图像的像素数一致，因而可通过比较简单的图像合成获得彩色图像。即，在与输出图像的像素数相比R、G、B的像素数均少的单板式的数字相机中进行的解拼处理(颜色插值处理)是不需要的。

与此相对，在单板式的数字相机的情况下，有必要在根据彩色镶嵌图像生成彩色图像时进行插值处理，且在校正倍率色差时也进行另外的插值处理。即，必须进行两次像素插值。因此，具有处理负荷增大的问题。并且，由于对通过插值所生成的图像还实施另外的插值，因而还具有所生成的图像的画质恶化增大的问题。

发明内容

本发明是为了解决上述问题而作成的，本发明的目的在于，在根据彩色镶嵌图像生成实施了变形处理的彩色图像时，能以更少的处理负荷生成画质恶化少的彩色图像。

为了解决上述课题，在本发明中，具有：色彩平面分解部，其将彩色镶嵌图像分解为仅包含同一颜色光的像素值的多个色彩平面；坐标转换部，其根据彩色图像的像素位置计算彩色镶嵌图像上的对应采样坐标；采样部，其针对多个色彩平面的每一个，通过插值生成采样坐标上的像素值；以及色彩生成部，其通过将各色彩平面的插入值进行合成来生成彩色图像，在坐标转换部中，根据彩色图像的像素位置，计算与实施了图像变形时的彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标。

根据按上述构成的本发明，作为根据彩色镶嵌图像生成彩色图像的前阶段，计算与在被实施了图像变形的情况下的彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标。而且，由采样部进行求出该采样坐标的插入值的颜色插值运算，从而根据彩色镶嵌图像求出被实施了图像变形的彩色图像的各像素值作为采样坐标的像素值。

由此，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理(解拼处理)和该彩色图像的变形处理。因此，可减轻在根据彩色镶嵌图像生成被实施了变形处理的彩色图像时的处理负荷，并且还可抑制如以往那样由于进行两次插值处理而引起的画质的恶化。

另外，在本发明的另一方式中，具有：色彩平面分解部，其将彩色镶嵌图像分解为仅包含同一颜色光的像素值的多个色彩平面；坐标转换部，其根据彩色图像的像素位置计算彩色镶嵌图像上的对应采样坐标；采样部，其针对多个色彩平面的每一个，通过插值生成采样坐标上的像素值；以及色彩生成部，其通过将各色彩平面的插入值进行合成来生成彩色图像，在坐标转换部中，针对多个色彩平面的每一个，使用根据色彩平面的不同而不同值的系数，根据彩色图像的像素位置，计算按照每个色彩平面而不同的采样坐标。

根据按上述构成的本发明，作为根据彩色镶嵌图像生成彩色图像的前阶段，与由倍率色差产生的各颜色分量的成像位置偏差对应的各色彩平面的像素位置被计算为与彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标。而且，由采样部进行求出该采样坐标的插入值的颜色插值运算，从而根据彩色镶嵌图像求出进行了倍率色差校正的彩色图像的各像素值作为采样坐标的像素值。

由此，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理(解拼处理)和校正成像光学系统的倍率色差的处理。因此，可减轻在根据彩色镶嵌图像生成校正了倍率色差的彩色图像时的处理负荷，并且还可抑制如以往那样由于进行两次插值处理而引起的画质的恶化。

另外，在本发明的另一方式中，坐标转换部除了使用根据色彩平面的不同而不同值的色差系数以外，还使用表示针对彩色图像的图像变形的图像变形系数、用于校正摄像装置的抖动的抖动校正系数、以及根据在用于将被摄体的摄像光引导到摄像元件的成像光学系统内设定的焦距和被摄体距离所决定的失真像差系数中的至少一方，根据彩色图像的像素位置，计算按照每个色彩平面而不同的采样坐标。

根据这样构成的本发明，作为根据彩色镶嵌图像生成彩色图像的前阶段，除了由倍率色差产生的色偏差的校正以外，还与图像变形、抖动校正、镜头状态的失真校正等对应的色彩平面的像素值被计算为与彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标，除了该色偏差校正以外还被实施了图像变形等的处理的彩色图像的各像素值可根据彩色镶嵌图像求出而作为采样坐标的像素值。

由此，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的色插值处理、校正成像光学系统的倍率色差的处理、以及彩色图像的图像变形、抖动校正、失真校正等的处理。因此，可减轻在根据彩色镶嵌图像生成校正了倍率色差而且被实施了图像变形等的彩色图像时的处理负荷，并且还可抑制由于进行几次插值处理而引起的画质的恶化。

并且，在本发明的另一方式中，具有像差系数计算部，该像差系数计算部通过拍摄规定的图像来计算所述色差系数，使用该色差系数，根据彩色图像的像素位置，计算按照每个色彩平面而不同的采样坐标。

根据这样构成的本发明，具有像差系数计算部，该像差系数计算部通过拍摄规定的图像来计算色差系数，因此使用该计算出的色差系数，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理(解拼处理)和校正成像光学系统的倍率色差的处理。

并且，在本发明的另一方式中，具有：图像输出部，其将摄影图像输出到与外部连接的外部设备；以及系数输入单元，其从所述外部设备输入所述色差系数，使用该输入的色差系数，根据彩色图像的像素位置，计算按照每个色彩平面而不同的采样坐标。

根据这样构成的本发明，具有：图像输出部，其将摄影图像输出到与外部连接的外部设备；以及系数输入单元，其从所述外部设备输入所述色差系数，因此，使用该输入的色差系数，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理(解拼处理)和校正成像光学系统的倍率色差的处理。

附图说明

图1是示出实施根据本发明的图像处理装置的第1实施方式的彩色摄像装置的结构例的图。

图2是示出第1～第5实施方式的滤色器阵列的原色拜耳(Bayer)排列的图。

图3是示出第1实施方式的解拼部的功能结构例的框图。

图4是示出由第1实施方式的解拼部执行的图像处理的动作例的流程图。

图5是用于具体说明由第1实施方式的解拼部执行的图像处理的一例的图。

图6是用于说明第1实施方式的双线性插值的图。

图7是用于具体说明由第1实施方式的解拼部执行的图像处理的另一例的图。

图8是示出实施根据本发明的图像处理装置的第2实施方式和第3实施方式的彩色摄像装置的结构例的图。

图9是示出第2实施方式和第3实施方式的解拼部的功能结构例的框图。

图10是示出由第2～第5实施方式的解拼部执行的图像处理的动作例的流程图。

图11是用于具体说明由第2实施方式和第3实施方式的解拼部执行的图像处理的一例的图。

图12是用于具体说明由第2～第5实施方式的解拼部执行的图像处理的另一例的图。

图13是示出实施根据本发明的图像处理装置的第4实施方式的彩色摄像装置的结构例的图。

图14是示出第4实施方式的像差系数表的一例的图。

图15是示出第4实施方式的解拼部的功能结构例的框图。

图16是示出第5实施方式的彩色摄像装置的结构例的图。

图17是第5实施方式中的色差量检测的说明图，图17(a)是表示图表的形式的图，图17(b)是表示与摄像元件对应的图表配置的图。

图18是第5实施方式中的色差量检测的说明图，图18(a)、(b)是交点检测时的说明图，图18(c)是针对每个交点检测边缘时的说明图，图18(d)是针对交点设定采样像素列时的说明图。

图19是第5实施方式中的边缘检测的说明图。

图20是用于说明镜头的倍率色差的图。

图21是用于说明倍率色差引起的色偏差的图。

图22是示出在考虑到伪色彩的抑制而将RGB的颜色信息转换为YUV的颜色信息时使用的式的图。

图23是示出xy坐标与uv坐标之间的关系式的图。

图24是示出在进行抖动校正时使用的式的图。

图25是示出在进行色彩平面之间的坐标转换时使用的式的图。

图26是示出与各色彩平面上的xy坐标对应的彩色镶嵌图像上的像素坐标的关系式的图。

图27是示出在求出色差矩阵时使用的式的图。

具体实施方式

(第1实施方式)

以下，根据附图说明本发明的一实施方式。图1是示出实施根据本发明的图像处理装置的第1实施方式的彩色摄像装置100的结构例的图。本实施方式的彩色摄像装置100构成为具有：成像光学系统110，单板彩色图像传感器120，AD转换部130，解拼部140，视觉校正部150，压缩部160以及记录部170。其中，解拼部140相当于本发明的图像处理装置。

单板彩色图像传感器120具有：将从成像光学系统110所输出的摄像光分解为规定的颜色分量的滤色器阵列121；以及对通过了滤色器阵列121的摄像光进行光电转换来生成像素信号的摄像元件122。摄像元件122例如由CCD(Charge Coupled Device，电荷耦合装置)、或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器等构成。

成像光学系统110执行将被摄体的摄像光引导到单板彩色图像传感器120的作用。例如，成像光学系统110包含光学低通滤波器，由摄影镜头、红外线去除滤波器等构成。另外，红外线去除滤波器用于遮断入射到单板彩色图像传感器120上的红外线，配置在光学低通滤波器的前方，构成为1枚玻璃块。

单板彩色图像传感器120的滤色器阵列121以规定图案有规则地配置在构成摄像元件122的各像素的受光面上，执行将摄像光过滤为规定的颜色分量的作用。在本实施方式中，使用采用R、G、B的三色作为颜色分量的原色拜耳排列的滤色器阵列121。

如图2所示，原色拜耳排列是以方格图案配置G滤色器并在各行交替配置R滤色器和B滤色器而成。另外，把G滤色器中的夹在水平方向的R滤色器之间的滤色器称为Gr滤色器，把夹在水平方向的B滤色器之间的滤色器称为Gb滤色器。

摄像元件122执行将所接收的摄像光光电转换为电像素信息来作为电荷量贮存并将其作为电信号输出到AD转换部130的作用。摄像元件122具有以规定图案所排列的多个像素(光电二极管)，在该各像素的受光面上以上述的原色拜耳排列有规则地配置有滤色器阵列121。

在以上的结构中，所拍摄的被摄体经过成像光学系统110成像在单板彩色图像传感器120的摄像元件122上。此时，由于成像光学系统110具有的各种像差而使所形成的被摄体像恶化。例如，得到这样的图像，即：在被摄体上是直线的图像由于失真像差而成为曲线。

单板彩色图像传感器120将在摄像元件122上形成的被摄体像作为彩色镶嵌图像转换为模拟电信号。即，滤色器阵列121是图2所示的原色拜耳排列，针对摄像元件122的各像素排列有R、G、B的各滤色器。因此，被摄体的摄像光成为仅仅是与每个像素对应的颜色分量透过的彩色镶嵌图像状态的摄像光而到达摄像元件122。摄像元件122对该到达光进行光电转换，作为彩色镶嵌图像的电信号输出到AD转换部130。

AD转换部130将由摄像元件122进行了光电转换的彩色镶嵌图像的模拟信号转换为数字信号，以便能进行数字信号处理。另外，在AD转换部130进行了A/D转换后不久的彩色镶嵌图像也称为RAW数据。解拼部140进行从彩色镶嵌图像向彩色图像的转换。在本实施方式中，此时通过同时进行图像变形处理，来校正由上述的成像光学系统110的失真像差引起的图像的画质恶化。该解拼部140的图像处理方法在后面进行详细说明。

视觉校正部150针对由解拼部140所生成的彩色图像，主要进行用于改善图像外观的处理。例如，视觉校正部150进行色调曲线(伽玛)校正、彩度增强、边缘增强之类的图像校正处理。压缩部160使用JPEG(Joint Photographic Experts Group，联合图像专家组)等的方法压缩由视觉校正部150所校正的彩色图像，减小记录时的大小。记录部170将所压缩的数字图像信号记录在快闪存储器等的记录介质(未作图示)内。

另外，从解拼部140到记录部170的各结构可以分别构成为单独的装置，也可以由单一的微处理器构成。在后者的情况下，单一的微处理器执行从解拼部140到记录部170的各结构涉及的处理。

图3是示出解拼部140的功能结构例的框图。图4是示出由解拼部140执行的图像处理的动作例的流程图。图5是用于具体说明由解拼部140执行的图像处理的内容的图。如图3所示，解拼部140的功能结构具有：色彩平面分解部141，坐标转换部142，采样部143，以及色彩生成部144。

色彩平面分解部141将从AD转换部130所输出的彩色镶嵌图像分解为仅包含同一颜色光的像素值的多个色彩平面(图4的步骤S1)。在本实施方式中，如图5所示，分解为这样的3个色彩平面，即：仅取出R分量的像素的R平面，仅取出G分量的像素的G平面，以及仅取出B分量的像素的B平面。所分解的各色彩平面用于采样部143的处理。

坐标转换部142使用表示与彩色图像对应的图像变形的系数，根据彩色镶嵌图像所生成的彩色图像的像素位置计算与在被实施了变形处理的情况下的彩色图像(以下称为变形彩色图像)的像素位置对应的彩色镶嵌图像上的采样坐标(图4的步骤S2)。

例如，在进行图像变形以校正因成像光学系统110的像差而失真的彩色图像的情况下，对根据彩色镶嵌图像所生成的失真的彩色图像进行非线性的坐标转换。该坐标转换方法是已知的，变形彩色图像上的像素位置和该像素位置在彩色镶嵌图像上对应于哪个位置(采样坐标)是通过计算来求出的。

以下，详细说明采样坐标的计算进程。首先，作为xy坐标系，将原点作为图像中心，将最大像高(距原点的最大距离)设定为1，在原点起的画面右方向上取正的x坐标，在原点起的画面下方向上取正的y坐标。在该情况下，针对由640×480的正方像素构成的彩色图像，将uv坐标系的像素坐标(u_d，v_d)如图2所示从画面左上向右方向分配为(0，0)、(1，0)、(2，0)…，并将下一行分配为(1，0)、(1，1)、(2，1)…时，uv坐标系的像素坐标(319.5，239.5)为xy坐标系的原点。并且，由于像素坐标系的对角长度的一半的长度400＝(640²+480²)^1/2/2对应于xy坐标系的最大像高，因而与像素坐标(u_d，v_d)对应的xy坐标(x_d，y_d)由

x_d＝(u_d-319.5)/400

y_d＝(v_d-239.5)/400

的关系式表示。

针对该xy坐标(x_d，y_d)，按以下的式进行考虑了成像光学系统110的失真像差校正的坐标转换。

x＝x_d(k₁r²+k₂r⁴)

y＝y_d(k₁r²+k₂r⁴)

(其中，r²＝x_d ²+y_d ²)

另外，{k₁，k₂}是表示成像光学系统110的失真像差的系数，k₁表示3阶像差系数，k₂表示5阶像差系数。如上所述，对包含失真像差的彩色图像进行非线性的坐标转换的方法是已知的，失真像差系数{k₁，k₂}能通过仿真法等求出。该失真像差系数{k₁，k₂}相当于本发明的图像变形系数。

另一方面，假定彩色镶嵌图像由1600×1200的正方像素构成，uv坐标系的像素坐标(u_s，v_s)与上述的彩色图像一样被分配，则uv坐标系的像素坐标(799.5，599.5)为xy坐标系的原点，像素坐标系的对角长度的一半的长度1000＝(1600²+1200²)^1/2/2对应于xy坐标系的最大像高。因此，与变形彩色图像上的xy坐标(x，y)对应的彩色镶嵌图像上的像素坐标(u_s，v_s)为

u_s＝1000*x+799.5

v_s＝1000*y+599.5

上述的计算结果，像素坐标(u_s，v_s)不一定为整数值，一般为非整数。该彩色镶嵌图像上的像素坐标(u_s，v_s)是采样坐标。在图5中，该采样坐标之一由标号200来进行表示。如上所述，彩色镶嵌图像被分解为3个色彩平面。在图5中，在各个色彩平面上图示出采样坐标200。如上所述，由于采样坐标的值为非整数，因而在偏离了像素中心的位置存在采样坐标200。

采样部143针对由色彩平面分解部141所分解的多个色彩平面的每一个，根据色彩平面内包含的同一颜色光的像素值，通过插值生成由坐标转换部142计算出的采样坐标200上的像素值(采样值)(图4的步骤S3)。即，采样部143从R平面、G平面和B平面的各方，通过插值运算计算出采样坐标200的像素值并将其输出。

如上所述，采样坐标200的值(u_s，v_s)不一定为整数值，因而从包围该采样坐标200的4个有值像素(各色彩平面本来具有的同一颜色光的像素值)进行线性插值。该线性插值优选地通过双线性插值进行。

如图5所示，R平面和B平面呈纵横的阵点状具有有值像素，因而包围采样坐标200的4个有值像素位于包围该采样坐标200的一边的长度是2的正方形的各顶点。例如，当采样坐标200是(u_s，v_s)＝(100.8，101.4)时，在R平面中包围其的4个像素(u_d，v_d)＝(100，100)、(100，102)、(102，100)、(102，102)为R平面的有值像素。

假定该有值像素的各像素值由R(100，100)、R(100，102)、R(102，100)、R(102，102)进行表示，则图6所示的通过双线性插值所生成的R平面上的采样坐标200的插入像素值R(100.8，101.4)由下式表示。

R(100.8，101.4)＝0.6*0.3*R(100，100)+0.6*0.7*R(100，102)+0.4*0.3*R(102，100)+0.4*0.7*R(102，102)

并且，在B平面上包围采样坐标200的位置(u_s，v_s)＝(100.8，101.4)的4个像素(u_d，v_d)＝(99，101)、(99，103)、(101，101)、(101，103)为B平面的有值像素。假定该有值像素的各像素值由B(99，101)、B(99，103)、B(101，101)、B(101，103)进行表示，则B平面上的采样坐标200的插入像素值B(100.8，101.4)由下式表示。

B(100.8，101.4)＝0.1*0.8*B(99，101)+0.1*0.2*B(99，103)+0.9*0.8*B(101，101)+0.9*0.2*B(101，103)

另一方面，由于G平面呈方格状具有有值像素，因而包围采样坐标200的4个有值像素位于包围该采样坐标200的一边的长度是的倾斜45度的正方形的各顶点。在该情况下，在G平面上包围采样坐标200的位置(u_s，v_s)＝(100.8，101.4)的4个像素(u_d，v_d)＝(100，101)、(101，100)、(101，102)、(102，101)为G平面的有值像素。

假定该有值像素的各像素值由G(100，101)、G(101，100)、G(101，102)、G(102，101)表示，则G平面上的采样坐标200的插入像素值G(100.8，101.4)由下式表示。

G(100.8，101.4)＝0.7*0.3*G(100，101)+0.3*0.3*G(101，100)+0.7*0.7*G(101，102)+0.3*0.7*G(102，101)

色彩生成部144通过将由采样部143通过插值所生成的各色彩平面的插入像素值进行合成来生成各像素值分别具有多种颜色的亮度信息的彩色图像(图4的步骤S4)。例如，在针对某一个采样坐标(u_s，v_s)将由采样部143所求出的各色彩平面的插入值分别设定为R(u_s，v_s)、G(u_s，v_s)、B(u_s，v_s)的情况下，色彩生成部144通过将这3个插入值进行合成来生成采样坐标(u_s，v_s)上的颜色信息。

然后，色彩生成部144将这样求出的RGB的颜色信息转换成YUV的颜色信息(Y是亮度信息，U、V是颜色信息)，对U、V的颜色信息实施低频滤波。另外，从RGB向YUV的转换处理和对U、V的低频滤波处理能应用公知的处理。色彩生成部144针对变形彩色图像的所有像素(所有采样坐标)进行以上处理，结果将所获得的变形彩色图像输出到视觉校正部150。视觉校正部150以后的处理与上述一样。

如以上详细说明那样，在第1实施方式中，作为根据彩色镶嵌图像生成变形彩色图像的前阶段，计算与应输出的变形彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标200。然后，通过使用彩色镶嵌图像的像素值作为该采样坐标200上的像素值的插值运算生成变形彩色图像的像素值。

由此，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理和该彩色图像的变形处理。因此，可减轻在根据彩色镶嵌图像生成变形彩色图像时的处理负荷，并且还可抑制如以往那样由于进行两次插值处理而引起的画质的恶化。

并且，在第1实施方式中，将彩色镶嵌图像分解为R、G、B的多个色彩平面，针对每个色彩平面求出采样坐标200的插入像素值，之后将各色彩平面的插入像素值进行合成来生成1个像素内包含有3种颜色的亮度信息的颜色信息。这样，可根据色彩平面内包含的同一颜色光的像素值，通过简单的线性插值求出采样坐标200的插入像素值，可减轻处理负荷。

另外，在上述第1实施方式中，对色彩平面分解部141将彩色镶嵌图像分解为R平面、G平面、B平面这3个色彩平面的例子作了说明，然而不限于此。例如，如图7所示，可以将相互对角连接的2种绿色像素Gr、Gb分别分解为不同的色彩平面。即，色彩平面分解部141将从AD转换部130所输出的彩色镶嵌图像分解为这样的4个色彩平面，即：仅取出R分量的像素的R平面，仅取出Gr分量的像素的Gr平面，仅取出Gb分量的像素的Gb平面，以及仅取出B分量的像素的B平面。

在该情况下，色彩生成部144将在Gr平面和Gb平面上分别由采样部143所生成的采样坐标200的像素值(采样值)相加，生成在1个像素内包含有R、G、B的各颜色分量的亮度信息的颜色信息。例如，R分量和B分量直接使用采样值，G分量使用Gr和Gb的平均值。

并且，在将G分量分解为Gr平面和Gb平面来计算采样坐标200的像素值的情况下，解拼部140可以还具有伪色彩判定部，该伪色彩判定部计算在Gr平面和Gb平面的各色彩平面上分别由采样部143所生成的插入像素值之差，并根据该插入像素值之差判定伪色彩的有无。

在拜耳排列的单板彩色图像传感器120中具有这样的问题，即：针对奈奎斯特频率(Nyquist frequency)附近的黑白条纹图案，产生红或蓝的伪色彩。与此相对，通过取在Gr平面上求出的采样坐标200的插入像素值与在Gb平面上求出的采样坐标200的插入像素值之差，可检测条纹图案上的伪色彩的有无，在有伪色彩的情况下，可对此进行抑制。

即，由于Gr和Gb本来是相同的G滤色器，因而在Gr平面和Gb平面上求出的插入像素值的双方理应为相同值。然而，当产生伪色彩时，在Gr平面和Gb平面上求出的插入像素值产生差异。因此，通过观察插入像素值之差，可检测有无伪色彩产生。在判定为存在伪色彩的情况下，色彩生成部144在将RGB的颜色信息转换为YUV的颜色信息时，根据考虑了伪色彩抑制的图22中的式进行转换处理。

并且，在上述第1实施方式中，作为针对彩色图像的变形处理的例子，列举失真校正作了说明，然而不限于此。例如，取代上述失真校正用的图像变形、或者除此以外，在进行包含彩色图像的放大、缩小、旋转中的至少一方的处理的情况下，也能应用本实施方式的解拼部140。在该情况下，放大、缩小、旋转例如能由仿射变换(Affin transform)表示，将表示该仿射变换的系数用作图像变形系数。

(第2实施方式)

以下，根据附图说明本发明的第2实施方式。图8是示出实施根据本发明的图像处理装置的第2实施方式的彩色摄像装置100`的结构例的图。如图8所示，第2实施方式的彩色摄像装置100`构成为具有：成像光学系统110，单板彩色图像传感器120，AD转换部130，解拼部140`，视觉校正部150，压缩部160以及记录部170。其中，解拼部140`相当于本发明的图像处理装置。另外，在图8中，标有图1所示的标号相同的标号的部分具有相同的功能，因而在此省略重复说明。

在第2实施方式中，所拍摄的被摄体经由成像光学系统110而成像于单板彩色图像传感器120的摄像元件122上。此时，由于成像光学系统110的倍率色差，图像按照R、G、B的每个颜色分量在摄像元件122上产生了成像偏差(色偏差)。解拼部140`进行从彩色镶嵌图像到彩色图像的转换。在本实施方式中，此时，同时进行倍率色差的校正处理，从而校正上述的成像光学系统110的倍率色差引起的色偏差。

图9是示出解拼部140`的功能结构例的框图。图10是示出由解拼部140`执行的图像处理的动作例的流程图。图11是用于具体说明由解拼部140`执行的图像处理的内容的图。

如图9所示，解拼部140`的功能结构具有：色彩平面分解部141、坐标转换部142`、采样部143`、以及色彩生成部144。另外，在图9中，标有图3所示的标号相同的标号的部分具有相同的功能，因而在此着重说明不同的部分。

如图11所示，色彩平面分解部141`将从AD转换部130所输出的彩色镶嵌图像分解为这样的3个色彩平面，即：仅取出R分量的像素的R平面，仅取出G分量的像素的G平面，以及仅取出B分量的像素的B平面(图10的步骤S11)。

坐标转换部142`根据彩色镶嵌图像所生成的彩色图像的像素位置计算与在被实施了色差校正的情况下的彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标(图10的步骤S12)。在本实施方式中，特别是，坐标转换部142`针对由色彩平面分解部141所分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的色差系数，计算按照每个色彩平面而不同的采样坐标。即，尽管在彩色镶嵌图像上有成像光学系统110的倍率色差的影响，然而由于在彩色图像上不出现该影响，因而采样坐标针对与不同的颜色光对应的色彩平面提供不同的值。

以下，详细说明第2实施方式的采样坐标的计算进程。另外，这里考虑的xy坐标系与第1实施方式相同，与像素坐标(u_d，v_d)对应的xy坐标(x_d，y_d)由

x_d＝(u_d-319.5)/400

y_d＝(v_d-239.5)/400

的关系式表示。

针对该xy坐标(x_d，y_d)，按以下的式进行考虑了成像光学系统110的倍率色差的校正的坐标转换。这里，针对R平面、G平面、B平面这3个色彩平面的每一个分别进行坐标转换。

x_R＝x_d*k_R、y_R＝y_d*k_R

x_G＝x_d*1、y_G＝y_d*1

x_B＝x_d*k_B、y_B＝y_d*k_B

另外，{k_R，k_B}是表示成像光学系统110的倍率色差的系数，k_R表示R分量相对于G分量的放大倍率，k_B表示B分量相对于G分量的放大倍率。这些色差系数{k_R，k_B}能通过光学仿真法等求出。

另一方面，假定彩色镶嵌图像由1600×1200的正方像素构成，uv坐标系的像素坐标(u_s，v_s)与上述的彩色图像一样被分配，则uv坐标系的像素坐标(799.5，599.5)为xy坐标系的原点，像素坐标系的对角长度的一半的长度1000＝(1600²+1200²)^1/2/2对应于xy坐标系的最大像高。因此，与进行了色差校正的彩色图像的各色彩平面上的xy坐标(x_R，y_R)(x_G，y_G)(x_B，y_B)对应的彩色镶嵌图像上的像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)为

u_sR＝1000*x_R+799.5

v_sR＝1000*y_R+599.5

u_sG＝1000*x_G+799.5

v_sG＝1000*y_G+599.5

u_sB＝1000*x_B+799.5

v_sB＝1000*y_B+599.5

上述的计算结果，像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)不一定均为整数值，一般为非整数。该彩色镶嵌图像上的像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)是每个色彩平面的采样坐标。在图11中，R平面上的采样坐标由标号301表示，G平面上的采样坐标由标号302表示，B平面上的采样坐标由标号303表示。如上所述，由于采样坐标的值为非整数，因而在偏离了像素中心的位置存在各色彩平面的采样坐标301、302、303。

采样部143`针对由色彩平面分解部141所分解的多个色彩平面的每一个，根据色彩平面内包含的同一颜色光的像素值，通过插值生成由坐标转换部142`计算出的每个色彩平面的采样坐标301、302、303上的像素值(采样值)(图10的步骤S13)。即，采样部143`从R平面、G平面和B平面的各方，通过插值运算计算出采样坐标301、302、303的像素值并将其输出。

如上所述，采样坐标301、302、303的值(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)不一定为整数值，因而从包围该采样坐标301、302、303的4个有值像素(各色彩平面本来具有的同一颜色光的像素值)进行插值。该插值优选地通过双线性插值进行。

如图11所示，R平面和B平面呈纵横的阵点状具有有值像素，因而包围采样坐标301、303的4个有值像素位于包围该采样坐标301、303的一边的长度是2的正方形的各顶点。例如，当R平面的采样坐标301是(u_sR，v_sR)＝(100.8，101.4)时，在R平面中包围其的4个像素(u_d，v_d)＝(100，100)、(100，102)、(102，100)、(102，102)为R平面的有值像素。

假定该有值像素的各像素值由R(100，100)、R(100，102)、R(102，100)、R(102，102)表示，则图6所示的通过双线性插值所生成的R平面上的采样坐标301的插入像素值R(100.8，101.4)由下式表示。

R(100.8，101.4)＝0.6*0.3*R(100，100)+0.6*0.7*R(100，102)+0.4*0.3*R(102，100)+0.4*0.7*R(102，102)

另一方面，由于G平面呈方格状具有有值像素，因而包围采样坐标302的4个有值像素位于包围该采样坐标302的一边的长度是

的倾斜45度的正方形的各顶点。在该情况下，当在G平面上采样坐标302是(u_sG，v_sG)＝(101.0，101.4)时，包围其的4个像素(u_d，v_d)＝(100，101)、(101，100)、(101，102)、(102，101)为G平面的有值像素。

假定该有值像素的各像素值由G(100，101)、G(101，100)、G(101，102)、G(102，101)表示，则G平面上的采样坐标302的插入像素值G(101.0，101.4)由下式表示。

R(101.0，101.4)＝0.7*0.3*G(100，101)+0.3*0.3*G(101，100)+0.7*0.7*G(101，102)+0.3*0.7*G(102，101)

色彩生成部144通过将由采样部143`通过插值所生成的各色彩平面的插入像素值进行合成来生成各像素值分别具有多种颜色的亮度信息的彩色图像(图10的步骤S14)。然后，色彩生成部144将这样求出的RGB的颜色信息转换成YUV的颜色信息(Y是亮度信息，U、V是颜色信息)，对U、V的颜色信息实施低频滤波。另外，从RGB向YUV的转换处理和对U、V的低频滤波处理能应用公知的处理。色彩生成部144针对彩色图像的所有像素(所有采样坐标)进行以上处理，结果将所获得的变形彩色图像输出到视觉校正部150。视觉校正部150以后的处理与上述一样。

在色彩生成部144的处理中使用的采样坐标301、302、303的插入像素值R(u_sR，v_sR)、G(u_sG，v_sG)、B(u_sB，v_sB)考虑了倍率色差的色偏差，从而表示被摄体上的同一部分。因此，在被摄体上有黑白边界的部分，R、G、B同时变化。由此，将R、G、B的各颜色分量合成后的彩色图像可获得清晰的亮度信号。即，可获得与在没有倍率色差的成像光学系统中所拍摄的图像相同的彩色图像。

如以上详细说明那样，在第2实施方式中，作为根据彩色镶嵌图像生成彩色图像的前阶段，根据应输出的彩色图像的像素位置，针对每个色彩平面计算与该彩色图像的像素位置对应的彩色镶嵌图像上的位置，亦即考虑倍率色差而作了调整的位置即采样坐标301、302、303。然后，通过使用彩色镶嵌图像的像素值的插值运算生成该采样坐标301、302、303上的像素值。

由此，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理和该彩色图像的倍率色差校正处理。因此，可减轻在根据彩色镶嵌图像生成进行了色差校正的彩色图像时的处理负荷，并且还可抑制如以往那样由于进行两次插值处理而引起的画质的恶化。

并且，在第2实施方式中，将彩色镶嵌图像分解为R、G、B的多个色彩平面，针对每个色彩平面求出采样坐标301、302、303的插入像素值，之后将各色彩平面的插入像素值进行合成来生成1个像素内包含有3种颜色的亮度信息的颜色信息。这样，可根据色彩平面内包含的同一颜色光的像素值，通过简单的线性插值求出采样坐标301、302、303的插入像素值，可减轻处理负荷。

另外，在上述第2实施方式中，对色彩平面分解部141将彩色镶嵌图像分解为R平面、G平面、B平面这3个色彩平面的例子作了说明，然而不限于此。例如，如图12所示，可以将相互对角连接的2种绿色像素Gr、Gb分别分解为不同的色彩平面。即，色彩平面分解部141将从AD转换部130所输出的彩色镶嵌图像分解为这样的4个色彩平面，即：仅取出R分量的像素的R平面，仅取出Gr分量的像素的Gr平面，仅取出Gb分量的像素的Gb平面，以及仅取出B分量的像素的B平面。

在该情况下，色彩生成部144将在Gr平面和Gb平面上分别由采样部143`所生成的采样坐标302的像素值(采样值)相加，生成在1个像素内包含有R、G、B的各颜色分量的亮度信息的颜色信息。例如，R分量和B分量直接使用采样值，G分量使用Gr和Gb的平均值。

并且，在将G分量分解为Gr平面和Gb平面来计算采样坐标302的像素值的情况下，解拼部140`可以还具有伪色彩判定部，该伪色彩判定部计算在Gr平面和Gb平面的各色彩平面上分别由采样部143`所生成的插入像素值之差，并根据该插入像素值之差判定伪色彩的有无。

在拜耳排列的单板彩色图像传感器120中具有这样的问题，即：针对奈奎斯特频率附近的黑白条纹图案，产生红或蓝的伪色彩。与此相对，通过取在Gr平面上求出的采样坐标302的插入像素值与在Gb平面上求出的采样坐标302的插入像素值之差，可检测条纹图案上的伪色彩的有无，在有伪色彩的情况下，可对此进行抑制。

即，由于Gr和Gb本来是相同的G滤色器，因而在Gr平面和Gb平面上求出的插入像素值的双方理应为相同值。然而，当产生伪色彩时，在Gr平面和Gb平面上求出的插入像素值产生差异。因此，通过观察插入像素值之差，可检测有无伪色彩产生。并且，色彩生成部144在将RGB的颜色信息转换为YUV的颜色信息时，根据图22中的式进行转换处理。

(第3实施方式)

下面，根据附图说明本发明的第3实施方式。实施根据本发明的图像处理装置的第3实施方式的彩色摄像装置的结构与图8相同。并且，解拼部140`的功能结构与图9相同。其中，解拼部140`具有的坐标转换部142`的处理内容与第2实施方式不同。以下，以与第2实施方式不同的部分为中心进行说明。

在第3实施方式中，坐标转换部142`针对由色彩平面分解部141所分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的色差系数、以及表示针对彩色图像的图像变形的图像变形系数，根据彩色图像的像素位置计算与在被实施了色差校正和图像变形的情况下的彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标亦即按照每个色彩平面而不同的采样坐标。

这里，作为图像变形的例子，列举用于校正成像光学系统110的失真像差的变形处理为例进行说明。当成像光学系统110有失真像差时，经过成像光学系统110在单板彩色图像传感器120的摄像元件122上形成的被摄体像恶化。即，在被摄体上直线的图像由于失真像差而成为曲线的图像。在第3实施方式中，除了由倍率色差引起的画质恶化以外，还同时校正由失真像差引起的画质恶化。

因此，坐标转换部142`根据彩色镶嵌图像所生成的彩色图像的像素位置，针对每个色彩平面计算考虑了倍率色差和失真像差的校正的彩色镶嵌图像上的采样坐标。具体地说，坐标转换部142`按以下的式针对xy坐标(x_d，y_d)进行考虑了成像光学系统110的倍率色差和失真像差的校正的坐标转换(其中，r²＝x_d ²+y_d ²)。

x_R＝x_d(k_R+k₁r²+k₂r⁴)+2p₁x_dy_d+p₂(r²+2x_d ²)

y_R＝y_d(k_R+k₁r²+k₂r⁴)+2p₂x_dy_d+p₁(r²+2y_d ²)

x_G＝x_d(1+k₁r²+k₂r⁴)+2p₁x_dy_d+p₂(r²+2x_d ²)

y_G＝y_d(1+k₁r²+k₂r⁴)+2p₂x_dy_d+p₁(r²+2y_d ²)

x_B＝x_d(k_B+k₁r²+k₂r⁴)+2p₁x_dy_d+p₂(r²+2x_d ²)

y_B＝y_d(k_B+k₁r²+k₂r⁴)+2p₂x_dy_d+p₁(r²+2y_d ²)

这里，{k₁，k₂}是表示成像光学系统110的失真像差的系数，k₁表示3阶像差系数，k₂表示5阶像差系数。

另外，在进行图像变形以校正因成像光学系统110的像差而失真的彩色图像的情况下，对根据彩色镶嵌图像所生成的失真的彩色图像进行非线性的坐标转换。对包含失真像差的彩色图像进行非线性的坐标转换的方法是已知的，上述的失真像差系数{k₁，k₂}能通过仿真法等求出。该失真像差系数{k₁，k₂}相当于本发明的图像变形系数。

根据这些xy坐标(x_R，y_R)(x_G，y_G)(x_B，y_B)求出彩色镶嵌图像上的像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)的运算与在第2实施方式中根据xy坐标(x，y)求出彩色镶嵌图像上的像素坐标(u_s，v_s)的运算相同，可按以下的式求出。

u_sR＝1000*x_R+799.5

v_sR＝1000*y_R+599.5

u_sG＝1000*x_G+799.5

v_sG＝1000*y_G+599.5

u_sB＝1000*x_B+799.5

v_sB＝1000*y_B+599.5

然后，采样部143`根据色彩平面内包含的同一颜色光的像素值，通过插值生成如上所述由坐标转换部142`计算出的每个色彩平面的采样坐标上的像素值(采样值)。并且，色彩生成部144通过将由采样部143`通过插值所生成的各色彩平面的插入像素值进行合成来生成各像素值分别具有多种颜色的亮度信息的彩色图像。

如以上详细说明那样，根据第3实施方式，可通过一次插值运算实现根据彩色镶嵌图像生成彩色图像的颜色插值处理、校正成像光学系统110的倍率色差的处理、以及用于校正成像光学系统110的失真像差的彩色图像的图像变形处理。因此，可减轻在根据彩色镶嵌图像生成校正了倍率色差而且还校正了失真像差的变形彩色图像时的处理负荷，并且还可抑制由于进行多次插值处理而引起的画质的恶化。

另外，在上述第3实施方式中，作为图像变形的例子，列举用于校正成像光学系统110的失真像差的变形处理为例作了说明，然而不限于此。例如，图像变形可以是利用数字变焦处理的彩色图像的放大或缩小、利用手抖校正处理的彩色图像的旋转等。在该情况下，放大、缩小、旋转例如能由仿射变换表示，将表示该仿射变换的系数用作图像变形系数。

(第4实施方式)

下面，根据附图说明本发明的第4实施方式。图13是示出实施根据本发明的图像处理装置的第4实施方式的彩色摄像装置100``的结构例的图。另外，在图13中，附上与图8所示的标号相同的标号的部分是具有相同功能的部分，因而这里省略重复说明。

如图13所示，第4实施方式的彩色摄像装置100``构成为具有：成像光学系统110``，单板彩色图像传感器120，AD转换部130，解拼部140``，视觉校正部150，压缩部160，记录部170，抖动检测部180，像差系数设定部190，校准部200以及像差系数表存储部210。其中，解拼部140``和像差系数设定部190相当于本发明的图像处理装置。

在图13中，所拍摄的被摄体经过成像光学系统110``成像在单板彩色图像传感器120的摄像元件122上。此时，由于成像光学系统110``具有的各种像差而使所形成的被摄体像恶化。例如，得到这样的图像，即：由于失真像差而在被摄体上直线的图像为曲线的图像，由于倍率色差而针对每个颜色分量产生摄像元件122上的成像偏差(色偏差)。另外，假定在第4实施方式中成像光学系统110``可变更焦距(变焦)和被摄体距离(对焦)之类的镜头状态。

抖动检测部180检测彩色摄像装置100``的抖动，并将用于校正抖动的抖动校正系数{z，θ，dx，dy}设定在解拼部140``内。抖动检测法有使用陀螺传感器的方式、和测定多张拍摄的图像间的特征点的变化量等的方式，然而本发明对抖动检测法不作限定。这里，把伴随彩色摄像装置100``的前后方向的抖动的被摄体像的大小的校正值设定为z，把伴随辊轴的抖动的被摄体像的旋转的校正值设定为θ，把伴随左右方向或横摆抖动的被摄体像的左右位置的校正值设定为dx，把伴随上下方向或纵摆抖动的被摄体像的上下位置的校正值设定为dy。另外，系数z可以包含数字变焦放大倍率。

像差系数设定部190相当于本发明的系数设定部。像差系数设定部190检测成像光学系统110``的镜头状态，从像差系数表存储部210中读出与所检测的镜头状态对应的适当的像差系数{k<sub>1</sub>，k<sub>2</sub>，p<sub>1</sub>，p<sub>2</sub>，k<sub>R</sub>，k<sub>B</sub>}，并将其设定在解拼部140``内。这里，{k₁，k₂，p₁，p₂}是表示成像光学系统110``的失真像差的系数，{k<sub>1</sub>，k<sub>2</sub>}表示放射线方向的失真，{p<sub>1</sub>，p<sub>2</sub>}表示切线方向的失真。{k<sub>R</sub>，k<sub>B</sub>}是表示成像光学系统110``的倍率色差的系数，k_R表示R分量相对于G分量的放大倍率，k_B表示B分量相对于G分量的放大倍率。

另外，在镜头状态变化的情况下，像差系数设定部190检测变化后的镜头状态，从像差系数表存储部210读入与该镜头状态对应的像差系数，并将其设定在解拼部140``内。镜头状态的检测例如可通过从进行镜头状态控制的彩色摄像装置100``的控制器(未作图示)接收设定在成像光学系统110``内的镜头状态信息来进行。

不过，把与所有的镜头状态对应的像差系数记录在表内是不现实的。因此，在本实施方式中，在像差系数表存储部210内仅记录有与有限的镜头状态对应的像差系数。例如，针对焦距和被摄体距离分别记录3个模式、计9个镜头状态和与其对应的像差系数值。如图14所示，例示出与该像差系数表的像差系数k₁相关的部分。

在图14中，例如假定设定在成像光学系统110``内的镜头状态是被摄体距离2.0m、焦距35mm，则图14的像差系数表内没有适合的值。因此，像差系数设定部190从像差系数表中读出：被摄体距离是Mid：1.0m、焦距是Wide：28mm的像差系数0.08，被摄体距离是Far：Inf、焦距是Wide：28mm的像差系数0.05，被摄体距离是Mid：1.0m、焦距是Mid：50mm的像差系数0.02，以及被摄体距离是Far：Inf、焦距是Mid：50mm的像差系数0.00，并对该4个像差系数进行插值。

这里，关于焦距和被摄体距离，期望的是对倒数进行插值，把按下式，即：

k₁＝((1/2.0-1/Inf)(1/35-1/50)*0.08+(1/1.0-1/2.0)(1/35-1/50)*0.05+(1/2.0-1/Inf)(1/28-1/35)*0.02+(1/1.0-1/2.0)(1/28-1/35)*0.00)/(1/1.0-1/Inf)/(1/28-1/50)

＝0.04

计算出的插入值设定在解拼部140``内。对于其他的像差系数{k<sub>2</sub>，p<sub>1</sub>，p<sub>2</sub>，k<sub>R</sub>，k<sub>B</sub>}，也同样计算插入值，并将其设定在解拼部140``内。

校准部200根据从AD转换部130所输出的数字图像信号，生成要存储在像差系数表存储部210内的像差系数表的值。校准部200针对应记录在像差系数表内的多个镜头状态分别求出像差系数{k₁，k₂，p₁，p₂，k_R，k_B}，并将其记录在像差系数表存储部210内。

另外，校准部200可以作为彩色摄像装置100``的一部分配备在内部，然而可以构成为与彩色摄像装置100``分开的校准装置。在采用分开装置的情况下，彩色摄像装置100``具有通信单元，该通信单元将摄影图像(从AD转换部130输出的数字图像信号)输出到校准装置，或者从校准装置输入像差系数。

解拼部140``在进行基于由抖动检测部180所设定的抖动校正系数{z，θ，dx，dy}和由像差系数设定部190所设定的像差系数{k₁，k₂，p₁，p₂，k_R，k_B}的校正的同时，进行从彩色镶嵌图像向彩色图像的转换。

图15是示出解拼部140``的功能结构例的框图。如图15所示，解拼部140``的功能结构具有：色彩平面分解部141``，坐标转换部142``，采样部143``，以及色彩生成部144``。

色彩平面分解部141``将从AD转换部130所输出的彩色镶嵌图像分解为仅包含同一颜色光的像素值的多个色彩平面。例如，如图12所示，色彩平面分解部141``分解为这样的4个色彩平面，即：仅取出R分量的像素的R平面，仅取出Gr分量的像素的Gr平面，仅取出Gb分量的像素的Gb平面，以及仅取出B分量的像素的B平面。

坐标转换部142``使用上述的抖动校正系数{z，θ，dx，dy}和像差系数{k₁，k₂，p₁，p₂，k_R，k_R}，根据彩色镶嵌图像所生成的彩色图像的像素位置计算与在被实施了色差校正、失真像差校正和抖动校正的情况下的彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标。以下，详细说明采样坐标的计算进程。

首先，作为xy坐标系，将原点作为图像中心，将最大像高(距原点的最大距离)设定为1，在原点起的画面右方向上取正的x坐标，在原点起的画面下方向上取正的y坐标。并且，假定要输出的彩色图像由1600×1200的正方像素构成。在该情况下，针对彩色图像，将uv坐标系的像素坐标(u_d，v_d)如图2所示从画面左上向右方向分配为(0，0)、(1，0)、(2，0)...，并将下一行分配为(1，0)、(1，1)、(2，1)...时，与像素坐标(u_d，v_d)对应的xy坐标(x_d，y_d)由图23中所示的关系式表示。

坐标转换部142``针对该xy坐标(x_d，y_d)，首先按图24中所示的式应用上述抖动校正系数{z，θ，dx，dy}，得到抖动校正后的xy坐标(x`，y`)。

然后，坐标转换部142``按下式应用失真像差相关的系数{k₁，k₂，p₁，p₂}，求出Gr平面和Gb平面上的xy坐标(x_G，y_G)。

x_G＝x`(1+k<sub>1</sub>r<sup>2</sup>+k<sub>2</sub>r<sup>4</sup>)+2p<sub>1</sub>x`y`+p<sub>2</sub>(r`²+2x`²)

y_G＝y`(1+k<sub>1</sub>r<sup>2</sup>+k<sub>2</sub>r<sup>4</sup>)+2p<sub>2</sub>x`y`+p<sub>1</sub>(r`²+2y`²)

(其中，r`<sup>2</sup>＝x`²+y`²)

然后，坐标转换部142``通过按图25所示的式进行考虑了成像光学系统110``的倍率色差涉及的系数{k_R，k_B}的色彩平面间的坐标转换，分别求出R平面和B平面上的xy坐标(x_R，y_R)(x_B，y_B)。这里，d_Rx、d_Ry是表示以G平面为基准时的R平面的平行偏差量的系数，d_Bx、d_By是表示以G平面为基准时的B平面的平行偏差量的系数。

另一方面，假定彩色镶嵌图像也由1600×1200的正方像素构成，uv坐标系的像素坐标(u_s，v_s)与上述的彩色图像一样被分配，则与各色彩平面上的xy坐标(x_R，y_R)(x_G，y_G)(x_B，y_B)对应的彩色镶嵌图像上的像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)如图26中的式所示。

上述的计算结果，这些像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)不一定均为整数值，一般为非整数。该彩色镶嵌图像上的像素坐标(u_sR，v_sR)(u_sG，v_sG)(u_sB，v_sB)是每个色彩平面的采样坐标。

采样部143``针对由色彩平面分解部141``所分解的多个色彩平面的每一个，根据色彩平面内包含的同一颜色光的像素值，通过插值生成由坐标转换部142``计算出的各色彩平面的采样坐标上的像素值(采样值)。色彩生成部144``通过将由采样部143``通过插值所生成的各色彩平面的插入像素值进行合成来生成各像素值分别具有多种颜色的亮度信息的彩色图像。该采样部143``和色彩生成部144``的处理内容与第2实施方式或第3实施方式相同。

如以上详细说明那样，根据第4实施方式，根据彩色镶嵌图像生成彩色图像的颜色插值处理、校正成像光学系统110``的倍率色差的处理、用于校正成像光学系统110``的失真像差的彩色图像的变形处理、用于校正与成像光学系统110``的镜头状态对应的像差的处理、以及用于校正彩色摄像装置100``的手抖的处理可通过一次插值运算来实现。因此，可减轻在根据彩色镶嵌图像生成校正了倍率色差而且还校正了失真像差和手抖等的彩色图像时的处理负荷，并且还可抑制由于进行多次插值处理而引起的画质的恶化。

另外，在上述第4实施方式中，对作为坐标转换部142``在计算采样坐标时使用的系数使用抖动校正系数{z，θ，dx，dy}和像差系数{k₁，k₂，p₁，p₂，k_R，k_B}的例子作了说明，然而可以不全部使用它们。即，使用色差系数{k_R，k_B}是必须的，剩余的系数可以任意组合使用。

并且，在上述第4实施方式中，对设置校准部200来使像差系数表的值可变的例子作了说明，然而不限于此。例如，可以不设置校准部200而使像差系数表的值固定。

(第5实施方式)

下面，根据附图说明本发明的第5实施方式。图16是示出第5实施方式的彩色摄像装置100A的结构例的图。另外，在图16中，附上与图8所示的标号相同的标号的部分是具有相同功能的部分，因而这里省略重复说明。

第5实施方式中的彩色摄像装置100A具有色差量检测装置200A，该色差量检测装置200A通过拍摄规定的图表CH来检测色差系数，由色差量检测装置200A所检测的色差系数被存储在第2和第3实施方式中的坐标转换部142`以及第4实施方式中的像差系数设定部190内，与第2～第4实施方式一样，在解拼部140`、140``中构成为，根据彩色图像的像素位置，针对每个色彩平面计算与在被实施了色差校正的情况下的彩色图像的像素位置对应的彩色镶嵌图像上的采样坐标。另外，图表CH相当于本发明的权利要求23和权利要求24中的规定图像。

以下，根据图16～图19说明色差量检测装置200A的结构和作用。图17是该实施方式中的色差量检测的说明图，图17(a)是表示图表的形式的图，图17(b)是表示与摄像元件122对应的图表的配置的图。

并且，图18是该实施方式中的色差量检测的说明图，图18(a)、(b)是交点检测时的说明图，图18(c)是针对每个交点检测边缘时的说明图，图18(d)是针对交点设定采样像素列时的说明图，图19是该实施方式中的边缘检测的说明图。

首先，如图16所示，本实施方式的色差量检测装置200A使用拍摄图表CH而得到的数字图像信号来计算成像光学系统110的色差系数。

在图表CH中，如图17(a)(b)所示，第一摄像图案P1和第二摄像图案P2的排列相对于单板彩色图像传感器120中的摄像元件122的像素排列倾斜了倾斜角α的量。并且，在本实施方式中，一个摄像图案的区域相当于在摄像元件122所读入的约100个像素。

然后，如图16所示，色差量检测装置200A由以下构成，即：场存储器221，其将从AD转换部130所输入的数字图像信号(是所谓表示像素亮度的像素信号)按RGB的每个颜色进行存储；交点检测处理部225，其根据存储在场存储器221内的像素信号检测第一摄像图案P1和第二摄像图案P2的多个交点；RGB边缘检测处理部226，其在由交点检测处理部225所检测的交点周围，针对每个RGB检测第一摄像图案P1和第二摄像图案P2的边缘位置；边缘位置存储部228，其将由RGB边缘检测处理部226所检测的边缘位置与交点相对应地存储；像差系数计算部229，其根据存储在边缘位置存储部228内的边缘位置计算色差系数；CPU(Central Processing Unit，中央处理单元)230；以及ROM(Read OnlyMemory，只读存储器)231等，CPU 230根据存储在ROM 231内的控制用程序，控制该色差量检测装置200A的各处理。

场存储器221对应于拜耳排列，由存储红(R)的像素信号的R场存储器222、存储绿(G)的像素信号的G场存储器223以及存储蓝(B)的像素信号的B场存储器224构成。

如图18(a)(b)所示，交点检测处理部225使用以关注像素为中心的规定范围内的像素值来计算亮度梯度，并将该亮度梯度为最大的关注像素的位置作为交点Int来检测。这里，如图18(b)所示，设定以关注像素为中心的纵横5个像素，附加与像素位置对应的权重来检测交点位置。即，将以关注像素为中心的上下左右的像素值乘以图18(b)所示的系数来累计其结果，将累计结果的绝对值作为关注像素的评价值，把在评价值超过规定阈值时的关注像素的位置设定为交点Int，如图18(a)所示，呈矩阵状检测多个交点Int。并且，在本实施方式中，按照呈矩阵状等间隔地表示交点Int的方式配置第一摄像图案P1和第二摄像图案P2。

如图18(c)所示，RGB边缘检测处理部226针对RGB的每个颜色，经由交点Int以规定的采样线长度扫描位于上下和左右的多个像素列Hs、Vs，依次取得像素值，并针对邻接的采样位置将像素值的变化量最大的采样位置作为边缘来检测。

详细地说，如图19的曲线In所示，针对每个采样求出各像素的亮度(像素值)，如曲线SL所示，根据通过采样而求出的像素值计算像素值的变化量(梯度SL)，将变化量(梯度SL)表示最大的位置EP作为边缘来检测。

并且，在求边缘EP时，如图18(c)所示，经由交点Int，在上下的像素范围内分别进行多列的采样(Hs)，针对每个列检测边缘，然后，计算在上部所检测的边缘位置的平均值和在下部所检测的边缘位置的平均值的平均，作为在交点Int处的左右方向的边缘位置。

并且，经由交点Int而在左右的像素范围内也分别进行多列的采样(Vs)，针对每个列检测边缘，接下来计算在左部所检测的边缘位置的平均值和在右部所检测的边缘位置的平均值的平均，作为在交点Int处的上下方向的边缘位置。

并且，针对同颜色的各像素进行采样，在沿左右方向进行采样Hs时，如图17(b)所示，根据所需要的检测精度预先决定左右方向的采样长度SL(11)和表示采样的上下方向的列数的采样数SN(4)。并且，在沿上下方向进行采样Vs时，也预先决定上下方向的采样长度和采样数。

并且，如图18(d)所示，在检测经由交点Int向上方延伸的边缘的左右方向的边缘位置时，当采样Hs1的位置太过接近交点Int时，由于边缘EH倾斜，受到位于交点Int的左方的摄像图案P1-2的影响，边缘检测变得困难，因而优选的是使采样线Hs1与交点Int之间具有适当的间隔S。

间隔S例如如图18(d)所示可以以几何方式求出。即，将边缘的模糊量E、倾斜角度α、采样线长度SL作为已知量，可根据L＝SL/2、S＝(W+L)×tanα的算式求出距交点Int的间隔S。也就是说，可以按这样的方式求出间隔S，即：采样Hs1的开始位置不进入图18(d)中的摄像图案P1-2内，从P1-2隔开边缘的模糊量E。

然后，边缘位置存储部228根据在各交点Int_j(j是赋予给各交点的序号1，2...)由RGB边缘检测处理部226所检测的每个颜色的边缘位置，将G(绿)、R(红)、B(蓝)的边缘位置分别与左右方向(u方向)和上下方向(v方向)相对应而作为(u_Gj，v_Gj)、(u_Rj，v_Rj)、(u_Bj，v_Bj)存储。

然后，像差系数计算部229使用存储在边缘位置存储部228内的边缘位置(u_Gj，v_Gj)、(u_Rj，v_Rj)、(u_Bj，v_Bj)来计算色差系数k_R、k_B。

详细地说，首先，与第2实施方式一样，作为xy坐标系，将原点作为图像中心，将最大像高(距原点的最大距离)设定为1，在原点起的画面右方向上取正的x坐标，在原点起的画面下方向上取正的y坐标。然后，与第2实施方式一样，针对由640×480的正方像素构成的彩色图像，将uv坐标系的像素坐标(u_d，v_d)如图2所示从画面左上向右方向分配为(0，0)、(1，0)、(2，0)...，并将下一行分配为(1，0)、(1，1)、(2，1)...，将uv坐标系的像素坐标(319.5，239.5)作为xy坐标系的原点，针对每个颜色计算与像素坐标(u_d，v_d)对应的xy坐标(x_d，y_d)。

这里，在第2实施方式中使用的x_d＝(u_d-319.5)/400、y_d＝(v_d-239.5)/400的运算式中，将X_d和y_d替换为x_Gj和y_Gj、x_Rj和y_Rj、x_Bj和y_Bj，并将u_d和v_d替换为u_Gj和v_Gj、u_Rj和v_Rj、u_Bj和v_Bj，使用以下的运算式来计算每个RGB的xy坐标。

x_Gj＝(u_Gj-319.5)/400

y_Gj＝(v_Gj-239.5)/400

x_Rj＝(u_Rj-319.5)/400

y_Rj＝(v_Rj-239.5)/400

x_Bj＝(u_Bj-319.5)/400

y_Bj＝(v_Bj-239.5)/400

然后，根据k_R＝∑_j(x_Rj ²+y_Rj ²)/∑_j(x_Rjx_Gj+y_Rjy_Gj)的运算式计算R的色差系数k_R，根据k_B＝∑_j(x_Bj ²+y_Bj ²)/∑_j(x_Bjx_Gj+y_Bjy_Gj)的运算式计算B的色差系数k_B。

然后，将这里计算出的色差系数k_R和k_B存储在解拼部140`、140``中的坐标转换部142`、142``内，以下，与第2～第4实施方式一样，在坐标转换部142`、142``中，针对摄像图像计算考虑了色差校正的采样坐标。

并且，如图27所示的式，将在像差系数计算部229计算出的xy坐标和像差系数代入图25所示的式，可求出色差矩阵。另外，在图27中的式中，位于最右边的矩阵表示伪逆矩阵。

如上所述，根据第5实施方式的彩色摄像装置100A，可与矩阵状的交点位置相对应地检测每个颜色的边缘位置，可根据该检测的每个颜色的边缘位置计算色差系数(k_R、k_B)，可使用该计算出的色差系数，通过一次插值运算来实现根据彩色镶嵌图像生成彩色图像的颜色插值处理(解拼处理)和校正成像光学系统的倍率色差的处理。

以上，说明了本发明的一实施方式，然而本发明不限于所示实施方式，可采取各种方式。

例如，在上述第1～第5实施方式中，列举滤色器阵列121是原色拜耳排列的情况为例作了说明，然而不限于此。例如，可以使用补色排列的滤色器阵列。

并且，在第5实施方式中，在摄像装置100A内配备有色差量检测装置200，然而可以构成为，将色差量检测装置200A作为外部设备来配备而不与摄像装置100A构成为一体，并具有：将摄影图像输出到该外部设备的图像输出部，以及从外部设备输入色差系数的系数输入单元，将所输入的色差系数存储在坐标转换部142`、142``或像差系数设定部190内。

并且，以上说明的第1～第5实施方式的解拼处理方法能使用硬件结构、DSP(Digital Signal Processor，数字信号处理器)、以及软件中的任一方来实现。例如在使用软件来实现的情况下，上述第1～第5实施方式的解拼部140、140`、140``(图像处理装置)实际上构成为具有计算机的CPU或MPU、RAM、ROM等，可通过使存储在RAM或ROM内的程序进行动作来实现。

此外，上述第1～第5实施方式均只不过示出了在实施本发明时的具体化的一例，本发明的技术范围不应由这些实施方式限定性地解释。即，本发明可在不背离其精神或其主要特征的情况下以各种形式来实施。

产业上的可利用性

本发明特别适合于执行解拼处理的图像处理装置，所述解拼处理为，根据使用单板式彩色摄像元件得到的彩色镶嵌图像，针对所有像素，对多种颜色的亮度信息进行插值，生成彩色图像。

Claims (26)

1.一种图像处理装置，该图像处理装置使用由具有对不同的多种颜色光进行光电转换的像素的单板式摄像元件获得的、各像素具有单色的亮度信息的彩色镶嵌图像，生成各像素具有多种颜色的亮度信息的彩色图像，该图像处理装置的特征在于，该图像处理装置具有：

色彩平面分解部，其将上述彩色镶嵌图像分解为仅包含同一颜色光的像素值的多个色彩平面；

坐标转换部，其使用表示针对根据上述彩色镶嵌图像生成的彩色图像的图像加工的系数，根据上述彩色图像的像素位置，计算与在被实施了上述图像加工的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标；

采样部，其针对由上述色彩平面分解部分解的多个色彩平面的每一个，根据上述色彩平面内包含的同一颜色光的像素值，通过插值生成由上述坐标转换部计算出的上述采样坐标上的像素值；以及

色彩生成部，其通过将由上述采样部通过插值生成的各色彩平面的插入值进行合成来生成上述彩色图像。

2.根据权利要求1所述的图像处理装置，其特征在于，上述坐标转换部使用表示针对根据上述彩色镶嵌图像生成的彩色图像的图像变形的图像变形系数，作为上述表示图像加工的系数，根据上述彩色图像的像素位置，计算与在被实施了上述图像变形的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

3.根据权利要求1所述的图像处理装置，其特征在于，上述彩色镶嵌图像是由在与上述摄像元件的各像素对应的位置分别排列有红色、绿色和蓝色中的任一方而得到的拜耳排列的滤色器和上述摄像元件获得的图像，其中，将红色像素设为R，将绿色像素设为Gr，Gb，将蓝色像素设为B，

上述色彩平面分解部将相互对角连接的2种绿色像素Gr、Gb分别分解为不同的色彩平面。

4.根据权利要求3所述的图像处理装置，其特征在于，上述彩色生成部将在针对上述2种绿色像素Gr、Gb的每一个分解的各色彩平面上分别由上述采样部生成的像素值相加来生成上述彩色图像。

5.根据权利要求3所述的图像处理装置，其特征在于，该图像处理装置还具有伪色彩判定部，该伪色彩判定部计算在针对上述2种绿色像素Gr、Gb的每一个分解的各色彩平面上分别由上述采样部生成的像素值之差，并根据该像素值之差判定伪色彩的有无。

6.根据权利要求1所述的图像处理装置，其特征在于，上述采样部根据存在于其周边的上述色彩平面上的像素值，通过插值生成上述采样坐标上的像素值。

7.根据权利要求2所述的图像处理装置，其特征在于，上述图像变形是包含上述彩色图像的放大、缩小、旋转、以及失真校正中的至少一种的处理。

8.根据权利要求1所述的图像处理装置，其特征在于，上述坐标转换部针对由上述色彩平面分解部分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的系数，作为上述表示图像加工的系数，根据上述彩色镶嵌图像所生成的彩色图像的像素位置，分别计算按照上述各色彩平面的每一个而不同的采样坐标，该采样坐标是与在被实施了色差校正的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

9.根据权利要求1所述的图像处理装置，其特征在于，上述坐标转换部针对由上述色彩平面分解部分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的色差系数、以及表示针对上述彩色图像的图像变形的图像变形系数，作为上述表示图像加工的系数，根据上述彩色图像的像素位置，计算按照上述各色彩平面的每一个而不同的采样坐标，该采样坐标是与在被实施了上述色差校正和上述图像变形的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

10.根据权利要求1所述的图像处理装置，其特征在于，上述坐标转换部针对由上述色彩平面分解部分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的色差系数、以及根据设定在用于将被摄体的摄像光引导到上述摄像元件的成像光学系统内的焦距和被摄体距离决定的失真像差系数，作为上述表示图像加工的系数，根据上述彩色图像的像素位置，计算按照上述各色彩平面的每一个而不同的采样坐标，该采样坐标是与在被实施了上述色差校正和失真像差校正的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

11.根据权利要求8所述的图像处理装置，其特征在于，该图像处理装置还具有系数设定部，该系数设定部根据设定在上述成像光学系统内的焦距和被摄体距离，设定在上述坐标转换部中使用的上述失真像差系数。

12.一种图像处理方法，该图像处理方法使用由具有对不同的多种颜色光进行光电转换的像素的单板式摄像元件获得的、各像素具有单色的亮度信息的彩色镶嵌图像，生成各像素具有多种颜色的亮度信息的彩色图像，该图像处理方法的特征在于，

该图像处理方法具有：

色彩平面分解步骤，将上述彩色镶嵌图像分解为仅包含同一颜色光的像素值的多个色彩平面；

坐标转换步骤，使用表示针对根据上述彩色镶嵌图像生成的彩色图像的图像加工的系数，根据上述彩色图像的像素位置，计算与在被实施了上述图像加工的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标；

采样步骤，针对由上述色彩平面分解步骤分解的多个色彩平面的每一个，根据上述色彩平面内包含的同一颜色光的像素值，通过插值生成由上述坐标转换步骤计算出的上述采样坐标上的像素值；以及

色彩生成步骤，通过将由上述采样步骤通过插值生成的各色彩平面的插入值进行合成来生成上述彩色图像。

13.根据权利要求12所述的图像处理方法，其特征在于，在上述坐标转换步骤中，使用表示针对根据上述彩色镶嵌图像生成的彩色图像的图像变形的图像变形系数，作为上述表示图像加工的系数，根据上述彩色图像的像素位置，计算与在被实施了上述图像变形的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

14.根据权利要求12所述的图像处理方法，其特征在于，在上述坐标转换步骤中，针对由上述色彩平面分解步骤分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的系数，作为上述表示图像加工的系数，根据上述彩色镶嵌图像所生成的彩色图像的像素位置，分别计算按照上述各色彩平面的每一个而不同的采样坐标，该采样坐标是与在被实施了色差校正的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

15.一种计算机可读取的程序，该程序使计算机作为以下单元而进行工作：

色彩平面分解单元，其将由具有对不同的多种颜色光进行光电转换的像素的单板式摄像元件获得的、各像素具有单色的亮度信息的彩色镶嵌图像，分解为仅包含同一颜色光的像素值的多个色彩平面；

坐标转换单元，其使用表示针对根据上述彩色镶嵌图像生成的彩色图像的图像加工的系数，根据上述彩色图像的像素位置，计算与在被实施了上述图像加工的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标；

采样单元，其针对由上述色彩平面分解单元分解的多个色彩平面的每一个，根据上述色彩平面内包含的同一颜色光的像素值，通过插值生成由上述坐标转换单元计算出的上述采样坐标上的像素值；以及

色彩生成单元，其通过将由上述采样单元通过插值生成的各色彩平面的插入值进行合成来生成各像素值具有多种颜色的亮度信息的上述彩色图像。

16.根据权利要求15所述的计算机可读取的程序，其特征在于，上述坐标转换单元使用表示针对根据上述彩色镶嵌图像生成的彩色图像的图像变形的图像变形系数，作为上述表示图像加工的系数，根据上述彩色图像的像素位置，计算与在被实施了上述图像变形的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

17.根据权利要求15所述的计算机可读取的程序，其特征在于，上述坐标转换单元针对由上述色彩平面分解单元分解的多个色彩平面的每一个，使用根据色彩平面的不同而不同值的系数，作为上述表示图像加工的系数，根据上述彩色镶嵌图像所生成的彩色图像的像素位置，分别计算按照上述各色彩平面的每一个而不同的采样坐标，该采样坐标是与在被实施了色差校正的情况下的彩色图像的像素位置对应的上述彩色镶嵌图像上的采样坐标。

18.一种摄像装置，该摄像装置具有对不同的多种颜色光进行光电转换的像素的单板式摄像元件，该摄像装置的特征在于，该摄像装置具有：

上述单板式摄像元件；

A/D转换器，其将由上述摄像元件进行了光电转换的彩色镶嵌图像的模拟信号转换为数字信号；以及

权利要求1所述的图像处理装置，其使用从上述A/D转换器作为上述数字信号输出的、各像素具有单色的亮度信息的彩色镶嵌图像，生成各像素具有多种颜色的亮度信息的彩色图像。

19.根据权利要求18所述的摄像装置，其特征在于，该摄像装置具有权利要求2所述的图像处理装置来取代上述权利要求1所述的图像处理装置。

20.根据权利要求18所述的摄像装置，其特征在于，该摄像装置具有权利要求8所述的图像处理装置来取代上述权利要求1所述的图像处理装置。

21.根据权利要求18所述的摄像装置，其特征在于，该摄像装置还具有用于将被摄体的摄像光引导到上述摄像元件的成像光学系统，

该摄像装置具有权利要求9或权利要求10所述的图像处理装置来取代上述权利要求1所述的图像处理装置。

22.根据权利要求18所述的摄像装置，其特征在于，该摄像装置还具有用于将被摄体的摄像光引导到上述摄像元件的成像光学系统，

该摄像装置具有权利要求11所述的图像处理装置来取代上述权利要求1所述的图像处理装置。

23.根据权利要求20或权利要求21所述的摄像装置，其特征在于，该摄像装置具有像差系数计算部，该像差系数计算部通过拍摄规定的图像来计算上述色差系数，

将由上述像差系数计算部计算出的上述色差系数存储在上述坐标转换部内。

24.根据权利要求22所述的摄像装置，其特征在于，该摄像装置具有像差系数计算部，该像差系数计算部通过拍摄规定的图像来计算上述述色差系数，

将由上述像差系数计算部计算出的上述色差系数存储在上述系数设定部内。

25.根据权利要求20或权利要求21所述的摄像装置，其特征在于，该摄像装置具有：

图像输出部，其将摄影图像输出到与外部连接的外部设备；以及

系数输入单元，其从上述外部设备输入上述色差系数，

将由上述系数输入单元输入的上述色差系数存储在上述坐标转换部内。

26.根据权利要求22所述的摄像装置，其特征在于，该摄像装置具有：

图像输出部，其将摄影图像输出到与外部连接的外部设备；以及

系数输入单元，其从上述外部设备输入上述色差系数，

将由上述系数输入单元输入的上述色差系数存储在上述系数设定部内。

Images