CN1663285A - 图像处理装置及方法、图象输出装置以及利用了它们的数字照相机装置及便携信息终端 - Google Patents

Abstract

本发明提供一种图像处理装置及方法、图像输出装置以及利用了它们的数字照相机装置及便携信息终端。该图像处理装置对包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据进行处理，包括：初始彩色图像输入部件；颜色分离部件，对所输入的初始彩色图像数据进行颜色分离，生成仅由与构成初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；对单色图像数据进行规定的处理以生成二次图像数据的部件；以及输出二次图像数据的部件，其中，在上述单色图像数据之中包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，上述单色图像数据各自的数据点数的合计与初始图像数据的数据点数相等。

Description

图像处理装置及方法、图像输出装置以及 利用了它们的数字照相机装置及便携信息终端

技术领域

本发明涉及一种用数字照相机等所拍摄的图像数据的处理装置，更详细而言涉及可保持使图像数据量减小不变来进行数据处理及输出的图像处理装置以及图像处理方法。

背景技术

一般的数字照相机，使用排列了多个由光电二极管组成的摄像元件的、单板式的CCD或CMOS传感器作为光检测器。由于这些摄像元件没有对颜色进行识别的能力，所以将彩色滤光片与传感器一起使用。在彩色滤光片上有使用作为光的3原色的RGB(红、绿、蓝)的类型和使用作为其补色的CMY(青、品红、黄)两种类型，将前者称为原色滤光片、将后者成为补色滤光片。前者以格子状(市松状)地配置绿色并在其间配置红色和蓝色的原色拜耳方式为代表，后者大多使用在青、品红、黄中添加了对人眼敏感的绿色的方式。为了拍摄彩色图像，采用将彩色滤光片嵌镶状地配置在传感器之上，将通过各个彩色滤光片后的光的颜色要素用位于其正下方的摄像元件进行检测之类的方法。从而，一个摄像元件只能检测一种颜色的信息，对于无法检测的部分则通过进行插补而得到最终的图像。

在附图的图6中，示出从由持有具备原色拜耳方式的彩色滤光片的CCD传感器的数字照相机所拍摄的彩色图像数据开始，直到获得最终的图像为止的一般的图像处理的流程。

当光通过透镜11入射到摄像部12后，光在摄像部12被变换成电信号，进而经过A/D变换后作为数字形式的彩色图像数据进行输出。示意性地表示此阶段的彩色图像数据就是附加了附图标记101的部分。即、此彩色图像数据就是持有在规定的区域上具有光的红色成分R、蓝色成分B、绿色成分G的数据的结构被反复多次进行了排列的结构的、维持原色拜耳模式排列原样的数据结构。此彩色图像数据，在原图像处理部13实施了透镜浓淡校正、白平衡等原图像处理后，在数据分割部14按RGB的颜色成分分割成3个图像。示意性地表示此阶段的图像数据就是附加了附图标记102的部分。即、仅在传感器平面的1/4的区域上存在数据的红色图像数据与蓝色图像数据，和仅在传感器平面的1/2的区域上存在数据的绿色图像数据这3个图像数据被生成。不存在数据的部分，由紧接的插补处理部15实施规定的插补来填充。示意性地表示此阶段的图像数据就是附加了附图标记103的部分。即、持有与传感器的摄像元件的数量相同程度的数据点数的单色图像数据103被生成3个。这些单色图像数据，在YUV变换部16进行YUV变换、在二次处理部17进行轮廓强调或伽马校正等二次处理后从输出部18输出，由显示用最优化部19实施最优化后在显示装置20上进行显示，或者作为图像数据被存储到存储媒体21中。

随着近些年的个人计算机、便携电话、PDA(面向个人的便携信息终端)等的信息设备的发达，在它们中装入照相机装置的做法也得以进行。在这种情况下，从输出部18输出的图像数据，就不单单停留于显示、存储，利用电话、蓝牙技术(Bluetooth)等无线通信手段进行发送、或者被用于带图像的电子邮件等新的利用也得以开始。

但是，在如上述那样的现有的图像处理方法中，存在输出时的数据量膨胀至传感器的分辨率之3倍之类的问题。这是因为、具有数字照相机装置的便携电话或PDA等便携信息设备需要进行应用或通信等各种各样的处理，故需要将各自的数据处理量抑制得较小，而另一方面在数字照相机装置的现有图像处理方法中，由于输出数据量却膨胀至传感器的分辨率之3倍，所以为了将其抑制到可由便携信息设备处理的量的数据量，就必须减小传感器的分辨率。另外，连接照相机装置和便携信息设备的信号总线也需要与输出数据量相应的带宽(频带宽度)，但因成本或空间的关系而难以相应进行加宽。为此，在便携信息设备上装入高分辨率的照相机装置就很困难。

另外，在现有的图像处理方法中，将由数字照相机装置所拍摄的图像在便携信息设备上进行使用的情况下，也存在图像处理的效率不好之类的问题。也就是，便携信息设备的显示装置，一般来说为小型、有时候只进行黑白显示，而另一方面由于用彩色装置所拍摄的图像数据与显示装置相比为高分辨率，所以为了在便携信息设备的显示装置上使用而对高分辨率较大的数据进行处理浪费就很大。另外，在将图像取入电子邮件的情况下，通常也不需要高分辨率的图像。从而，人们就希望在便携信息设备内使用的情况下能够使数据量抑制得较小不变，而在印刷等高分辨率的用途中则使高分辨率的图像容易地取出这样的输出图像的照相机装置。

本发明的目的之一就是鉴于上述那样的现有技术的问题点而提供一种即便是高分辨率的照相机装置，也能够将输出数据量抑制得较小的图像处理装置以及图像处理方法。

另外，本发明的别的目的就是鉴于上述那样的现有技术的问题点而提供一种即便是高分辨率的照相机装置，也能够输出与便携信息设备中的需要相应大小的图像数据的图像输出装置。

另外，本发明的其他目的就是鉴于上述那样的现有技术的问题点而提供一种使用了即便是高分辨率的照相机装置，也能够将输出数据量抑制得较小的图像处理装置的数字照相机装置以及便携信息终端。

另外，本发明的其他目的就是鉴于上述那样的现有技术的问题点而提供一种使用了即便是高分辨率的照相机装置，也能够输出与便携信息设备中的需要相应大小的图像数据的图像输出装置的数字照相机装置以及便携信息终端。

发明内容

根据本发明的观点之一，提供一种对包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据进行处理的图像处理装置，其特征在于包括：初始彩色图像输入部件，用于输入待处理的初始彩色图像数据；数据分割部件，用于按颜色成分分割由该初始彩色图像输入部件所输入的初始彩色图像数据，生成仅由与构成该初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；数据处理部件，用于对上述单色图像数据进行规定的处理以生成二次图像数据；以及二次图像数据输出部件，输出上述二次图像数据，其中，在数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据之中，包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据各自的数据点数的合计与上述初始图像数据的数据点数相等。

虽然初始彩色图像数据是由在CCD或CMOS传感器上组合了彩色滤光片的摄像元件所拍摄、并通过A/D变换而变换成数字形式的数据，但还可以使用其他种类的摄像元件。另外虽然希望初始彩色图像数据的数据点数(数据点的数量)与摄像元件的有效像素数(像素的数量)相同，但不管比摄像元件的有效像素数多还是少都完全没有关系。对初始彩色图像数据，还可以实施透镜浓淡校正、不良像素校正、白平衡、伽马校正等原图像处理后进行生成。

根据本发明的技术方案之一，上述二次图像数据的数据点数与上述初始彩色图像数据的数据点数相等或者在其以下。

根据本发明的别的技术方案，上述二次图像数据包含彩色图像数据和单色图像数据中的某一方或者两方。于是利用从本发明的图像处理装置输出的二次图像数据的其他设备，就能够仅利用彩色图像数据和单色图像数据中的某一方，或者利用两方。例如，在其他设备通过蜂窝方式等无线通信将二次图像数据发送给某人的情况下，就能够实现为了减小数据量而仅发送单色图像数据之类的用法。另外在其他设备以图像的印刷为目的这样的情况下，就能够实现利用彩色图像数据和单色图像数据的两方以生成一个高分辨率的彩色图像、进行印刷之类的用法。上述数据处理部件或上述数据输出部件还可以具备根据其他设备的命令，来选择输出彩色图像数据和单色图像数据两方、或者仅输出单方的部件。

根据本发明的其他技术方案，上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的三个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的小结构被反复多次排列的结构，上述数据分割部件将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第2检测单元取得的G成分的G1数据、对应于从上述第3检测单元取得的B成分的B数据以及对应于从上述第4检测单元取得的G成分的G2数据这4个单色图像数据。

根据本发明的其他技术方案，上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的3个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的结构被反复多次排列的结构，上述数据分割部件将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第3检测单元取得的B成分的B数据、从上述第2检测单元及第4检测单元取得的G成分的作为低频成分的G1数据及作为高频成分的G2数据这4个单色图像数据。

根据本发明的其他技术方案，上述数据分割部件包括使低通滤波施用于相对上述R数据、B数据邻接的R数据以及B数据，(例如，在相对上述R数据、B数据邻接的R数据以及B数据上对各像素及其附近像素实施局部的插补处理和由再抽样组成的低通滤波)将各R、B的像素位置及其像素值变换成由各R、G1、B、G2像素组成的2×2的各小结构的中央位置以及与同一位置相对应的像素值的数据变换部件。

根据本发明的其他技术方案，上述数据处理部件包括，对上述R数据、G1数据、B数据实施RGB-YUV变换，变换成由作为Y成分的Y1数据、作为U成分的U数据以及作为V成分的V数据构成的Y1UV数据的数据形式变换部；以及形成包含上述Y1UV数据和G2数据中的某一方或者两方的图像数据作为上述二次图像数据的图像数据形成部件。

根据本发明的其他技术方案，上述数据处理部件包括对上述R数据、G1数据、B数据实施RGB-YUV变换，变换成由作为Y成分的Y1数据、作为U成分的U数据以及作为V成分的V数据构成的Y1UV数据，对上述R数据、G2数据、B数据实施RGB-YUV变换，变换成作为Y成分的Y2数据的数据形式变换部件；以及形成包含上述Y1UV数据和Y2数据中的某一方或者两方的图像数据作为上述二次图像数据的图像数据形成部件。

根据本发明的其他技术方案，上述数据处理部件还包括从上述Y1数据和Y2数据生成一个作为Y成分数据的Y数据的数据生成部件；以及形成包含上述Y数据、U数据、以及V数据中的某一个或者全部的图像数据作为上述二次图像数据的图像数据形成部件。

根据本发明的其他技术方案，上述初始彩色图像数据是由使用了补色彩色滤光片的彩色摄像装置所拍摄的图像数据。此外，补色彩色滤光片大多是由在作为红、绿、蓝的补色的青、品红、黄三色中添加了对人眼敏感的绿色的四色所构成。

根据本发明的其他技术方案，上述数据处理部件还包括对上述U数据和V数据中的某一方或者两方减缩数据的一部分的数据减缩部件。数据减缩部件例如对上述U数据和V数据的某一方或者两方进行二次抽样，以使它们的数据点数减少。作为其他的例子，使上述G2数据的位深度从每个数据点8位、减少到每个数据点6位或4位。通过这样减缩对人眼钝感的成分，来使本发明的图像处理装置的输出数据量减小。

根据本发明的其他技术方案，上述数据处理部件还包括进行规定的数据压缩处理的数据压缩部件。数据的压缩能够以JPEG等广为人知的方法进行。另外，还可以构成为仅对上述彩色图像数据或单色图像数据中的某一方，或者对两方进行压缩。

根据本发明的其他技术方案，还包括：二次图像数据输入部件，输入上述二次图像数据；单色图像数据生成部件，从由该二次图像数据输入部件所输入的二次图像数据，生成仅具有红色成分的红色图像数据、仅具有蓝色成分的蓝色图像数据、仅具有绿色成分的绿色图像数据这3个单色图像数据；插补单色图像数据生成部件，对上述3个单色图像数据分别进行规定的像素插补，以生成具有与上述初始彩色图像数据相同数据点数的3个插补单色图像数据；以及插补单色图像数据输出部件，输出上述插补单色图像数据。此实施方式中的红、蓝、绿3个插补单色图像数据，3个合起来构成与以往同样的1个彩色图像，如上述那样各颜色均具有与初始彩色图像数据相同的数据点数。为此虽然数据量变大，但能够输出高分辨率的图像数据。从而若利用此实施方式，就能够根据利用者的利用形态来选择数据量较小的上述二次图像数据，或者高图像质量的上述3个插补单色图像数据中的任一输出数据。

根据本发明的别的观点，提供一种数字照相机装置，其特征在于具备：上面所述那样的图像处理装置。

根据本发明的其他技术方案，提供一种便携信息终端，其特征在于具备：上面所述那样的图像处理装置。

根据本发明的其他观点，提供一种从包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据，输出大于等于一个的图像数据的图像输出装置，其特征在于包括：初始彩色图像输入部件，用于输入初始彩色图像数据；数据分割部件，用于按颜色成分分割由该初始彩色图像输入部件所输入的初始彩色图像数据，生成仅由与构成该初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；二次图像数据生成部件，从上述单色图像数据生成二次彩色图像数据和二次单色图像数据中的某一方或者两方；以及输出部件，输出上述二次彩色图像数据和二次单色图像数据中的某一方或者两方；其中，在数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据之中，包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据各自的数据点数的合计与上述初始图像数据的数据点数相等。

根据本发明的技术方案之一，上述二次彩色图像数据和二次单色图像数据的数据点数的合计，与上述初始彩色图像数据的数据点数相等或者在其以下。

根据本发明的其他技术方案，上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的三个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的小结构被反复多次排列的结构，上述数据分割部件将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第2检测单元取得的G成分的G1数据、对应于从上述第3检测单元取得的B成分的B数据以及对应于从上述第4检测单元取得的G成分的G2数据这4个单色图像数据，上述二次彩色图像数据包含上述R数据、G1数据以及B数据而构成，上述二次单色图像数据包含上述G2数据而构成。

根据本发明的其他技术方案，上述二次图像数据生成部件还包括对从上述4个单色图像数据中选择的3个单色图像数据进行RGB-YUV变换的数据形式变换部件；以及包含上述RGB-YUV变换后的数据而形成上述二次图像数据的图像数据形成部件。

根据本发明的其他观点，提供一种对包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据进行处理的图像处理方法，其特征在于包括：初始彩色图像输入步骤，输入待处理的初始彩色图像数据；数据分割步骤，按颜色成分分割所输入的初始彩色图像数据，生成由与构成该初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；数据处理步骤，对上述单色图像数据进行规定的处理以生成二次图像数据；以及二次图像数据输出步骤，输出上述二次图像数据，其中，在数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据之中，包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据各自的数据点数的合计与上述初始图像数据的数据点数相等。

根据本发明的技术方案之一，上述二次图像数据的数据点数与上述初始彩色图像数据的数据点数相等或者在其以下。

根据本发明的其他技术方案，上述二次图像数据包含彩色图像数据和单色图像数据中的某一方或者两方。

根据本发明的其他技术方案，上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的三个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的结构被反复多次排列的结构，在上述数据分割步骤中将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第2检测单元取得的G成分的G1数据、对应于从上述第3检测单元取得的B成分的B数据以及对应于从上述第4检测单元取得的G成分的G2数据这4个单色图像数据。

根据本发明的其他技术方案，上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的3个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的结构被反复多次排列的结构，在上述数据分割步骤中将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第3检测单元取得的B成分的B数据、从上述第2检测单元及第4检测单元取得的G成分的作为低频成分的G1数据及作为高频成分的G2数据这4个单色图像数据。

根据本发明的其他技术方案，还包括：对上述R数据、G1数据以及B数据进行RGB-YUV变换的步骤，和对上述R数据、G2数据以及B数据进行RGB-YUV变换的步骤中的某一方或者两方。

下面，基于附图来说明本发明的实施例。

附图说明

图1是表示将根据本发明的图像处理装置用于数字照相机装置的一实施例的图。

图2是示意性地表示本发明中的数据分割方法的图。

图3是示意性地表示本发明中的数据分割的别的方法的图。

图4是表示将利用了根据本发明的图像处理装置的数字照相机装置连接到PDA进行使用的例子的图。

图5是表示将根据本发明的图像处理装置用于数字照相机装置的别的实施例的图。

图6是表示现有的图像处理装置的例子的图。

具体实施方式

图1是概略性地表示作为本发明一实施例的图像处理装置的构成的图。此实施例的图像处理装置被装入数字照相机装置30中，在数字照相机装置30中，被摄体的反射光通过透镜11在摄像部12被变换成数字彩色图像数据。在此实施例中，摄像部12具有在单板式的CCD传感器或者CMOS传感器上组合了原色拜耳模式排列的彩色滤光片的光检测器。从而，若示意性地表示从摄像部12输出的彩色图像数据，则如附图标记101所示，成为在规定的区域上持有光的红色成分、蓝色成分、绿色成分的数据的小结构被反复多次进行了排列的结构。对于此彩色图像数据，在原图像处理部13进行透镜浓淡校正、不良像素校正、白平衡、伽马校正等原图像处理，即便在这些处理以后彩色图像数据仍保持附图标记101所示那样的结构，并作为初始彩色图像数据进入紧接的数据分割部31。

此初始彩色图像数据，在数据分割部31被分割成红色图像数据、绿色图像数据以及蓝色图像数据的各单色图像数据105和另一绿色图像数据106这四个单色图像数据，下面参照图2来说明此分割处理的一例。

初始彩色图像数据110具有原色拜耳模式排列、即，若观察规定的小区域，则包含红色成分的数据R、蓝色成分的数据B、两个绿色成分的数据G1和G2、这样的小结构被反复排列的结构。数据分割部31具有颜色成分分割部121，将此初始彩色图像数据110分割成持有仅由G1、仅由R、仅由B、仅由G2组成的数据的、四个单色图像数据111、112、113、114。从而，这四个单色图像数据111～114的合计的数据点(数据选取点)数就与初始彩色图像数据110的数据点数相同。另外这些单色图像数据的数据点数也相互相等。

这里，上述仅由G1组成的单色图像数据113，若相对图1所示的初始彩色图像数据101而言，则可以说是由位于拜耳图像中的R像素之右侧或者左侧的G像素组成，上述仅由G2组成的单色图像数据114，若相对图1所示的初始彩色图像数据101而言，则可以说是由位于拜耳图像中的B像素之右侧或者左侧的G像素组成。另外，若就上述的数据点数加以说明，则由于在图1所示的初始彩色图像数据101中，包含4个R像素、4个B像素、8个G像素，合计包含16个像素，故此初始彩色图像数据101的数据点数为16。另外，由于在图1所示的各个单色图像数据105中包含4个R像素、4个G像素、4个B像素，故这些单色图像数据105各自的数据点数为4。另外，由于在图1所示的单色图像数据106中包含4个G像素，故此单色图像数据106的数据点数为4。此外图1所示的初始彩色图像数据等是为了理解方便而将数据点数尽量减少后进行记载的，不言而喻，实际的数据点数依照所使用的光检测器的像素数而成为数十万至数百万的数量级。

有时会在数据分割部31上加入其他的处理功能。下面使用图3来说明此例子。

首先，还能够在由颜色成分分割部121将初始彩色图像数据110分割成单色图像数据之前，在施加了将R，B的像素位置校正到各小结构内的中央位置，并伴随于此对像素值进行校正的变换的基础上实现向R、G1、B、G2的数据分割。具体来讲，为了实现反映了与包含在邻接的小结构中的R或B的数据的像素位置及像素值的相关性的像素位置和像素值校正，分别对R、B数据，施用相对邻接小结构相互进行了重叠的N输入1输出的滤波器122，以更新R和B像素的值。使与邻接像素的位置关系以及与小结构中心的位置偏差反映在滤波器的系数上。作为一例列举出以反映了与邻接像素的距离的加权平均值滤波器进行组装的例子。

另外，关于从颜色成分分割部121所输出的绿色成分的单色图像数据113和114，将它们视为两个信号源，通过2输入2输出的滤波器123分割成两者共用的低频成分115(G1′)和除其以外的高频成分116(G2′)。这种分割能够通过利用组合了低通滤波器和高通滤波器的、频带分割滤波器而实现。

在这里，就以各自包含一个的小结构为单位分别进行G1及G2的向低频成分和高频成分的频带分割的例子进行了表示，但通过对邻接的构成同一小结构的多个G1数据以及多个G2数据使之重叠施加滤波处理，并经由(N+M)输入2输出的滤波器，则除了成对的G1和G2数据间外，还能够实现在邻接G1数据间、邻接G2数据间也共用的低频成分和除此以外的高频成分的分割、也就是频率分割特性得以提高的数据分割。

再次参照图1，由数据分割部31所分割的单色图像数据中，关于G1、R、B这3个单色图像数据111、112以及113，汇总起来作为彩色图像数据来进行处理，用YUV变换部32变换成YUV形式的数据，进而用二次处理部33进行轮廓强调或伽马校正等二次处理。此外，二次处理部33的结果有时还反馈到原图像处理部13，被用于白平衡处理。在二次处理部33之后，先前的YUV数据与由G2组成的单色图像数据(G2数据)114一起，或者仅它们之中的某一个被作为二次图像数据从输出部35输出。

这里，若与作为现有的图像处理装置的一例的图6相比，则不论在现有的图像处理装置还是根据本发明的图像处理装置，原图像处理部中的数据量都相同。可是，由于在现有的图像处理装置中用插补处理部15进行了插补处理，所以应当由YUV变换部16、二次处理部17进行处理的数据点数就成为初始彩色图像数据的3倍大小。然而，在根据本发明的图像处理装置中，应当由YUV变换部32、二次处理部33进行处理的数据点数则为初始彩色图像数据的3/4。这样，若利用根据本发明的图像处理装置，就能够使数据处理量与现有的装置相比最大到减少1/4。另外，若试着比较输出时的数据量，相对于在现有装置中成为初始图像的3倍，而在根据本发明的装置中则与初始图像相同。从而，若利用根据本发明的图像处理装置，就能够使输出数据量与现有的装置相比最大减小到1/3。应注意的一点是根据本发明的上述效果，即数据处理量的减少和输出数据量的缩小是不丧失原图像的任何信息而达到的。

此外，在想使输出数据量进一步减小的情况下，则在二次处理部33、34上加入用JPEG等方法压缩上述的YUV数据或者G2数据中的某一方或两方的功能，或者在二次处理部33上加入对上述的YUV数据的U以及V成分的数据进行间隔剔除的功能，或者在二次处理部34上加入使G2数据的位深度减少的功能。

如上述那样，就能够使从装有根据本发明的图像处理装置的数字照相机装置的输出部送出的输出数据的大小与以往相比大幅减少，这在将此数字照相机装置应用于便携电话等便携信息终端的情况下，尤其发挥出很大的效果。即、这是因为在便携电话等设备上装入数字照相机装置的情况下，有时会在数字照相机装置与便携电话设备之间的数据总线(相当于图4中的数据总线51)的带宽上受到很大的制约。这是因为例如，为了发送较大容量的数据而增加数据总线的根数这一情况在小型化不断进展的便携设备中必须尽可能地避免。

于是，在此实施例中，从输出部35输出的二次图像数据分别包含传感器分辨率一半大小的彩色图像和单色图像。参照图4就它们的利用一例进行说明。装有根据本发明的图像处理装置的数字照相机装置30，经由数据总线51与PDA50连接起来。在用PDA50的显示部53显示由数字照相机装置30所拍摄的图像的情况下，将包含在二次图像数据中的彩色图像数据用显示最优化部52进行最优化后显示。这里，彩色图像数据如先前所述那样仅为传感器分辨率一半的分辨率，但由于通常PDA等便携信息设备的显示画面较小，故不会特别有问题。如果在PDA的显示部不能进行彩色显示，或者将图像附加于邮件进行发送、需要减小数据量等情况下，仅使用二次图像数据之中的单色图像数据即可。在这种情况下，也可以控制数字照相机装置30以预先从输出部35仅输出上述YUV数据或者G2数据中的某一方。

这样，根据本发明的图像处理装置的输出图像数据，就能够依照所使用的设备的特性，效率非常良好地进行利用。从而，本发明另外也是从由彩色摄像装置所拍摄的图像数据，以适合于使用图像的设备的特性的形式输出彩色图像和单色图像中的某一方或者两方的图像输出装置。

在保存二次图像数据的情况下当然将二次图像数据全部保存在存储媒体54中。在为了印刷等想以高分辨率利用二次图像数据的情况下，则由再构成处理部55从二次图像数据构成单色图像数据102，并由插补处理部56生成传感器分辨率的单色图像数据103，进而用YUV变换部57等进行与目的相应的处理。这样，如果将根据本发明的照相机装置装入信息终端，则仅在需要高分辨率时才设成大数据量进行处理，通常就保持小数据量不变进行处理这样的选择就成为可能。

接着，参照图5就本发明别的实施例进行说明。图5所示的实施例是装有根据本发明的图像处理装置的数字照相机装置的别的例子。

在此实施例的数字照相机装置130中，也是被摄体的反射光通过透镜11在摄像部12被变换成数字彩色图像数据，并在原图像处理部13中的原图像处理之后，在数据分割部31被分割成红色图像数据(R)、蓝色原画数据(B)、和两个绿色图像数据(G1、G2)这四个部分至此都与前面相同。之后，在此实施例中，用YUV变换部32将R、G1、B变换成由Y成分(Y1)、U成分(U)、V成分(V)组成的Y1UV数据，同时用YUV变换部39把R、G2、B取出为仅由Y成分组成的Y2数据。针对Y1UV数据在二次处理部40进行轮廓强调或伽马校正等二次处理，最终Y1UV数据和Y2数据被从输出部42输出。另外，还可以在二次处理部40上加入对U、V数据的一部分进行间隔剔除的功能、从Y1和Y2生成持有它们两倍的分辨率的单一Y数据的功能、或对送往输出部40的数据的全部或者一部分实施JPEG等压缩的功能等。

此外，这些实施例是用于使本发明的理解变得容易，在这些实施例中所记载的构成物只不过是在必要限度上记载并说明认为对本发明的理解最为重要的内容，本发明的构成并不限定于这些实施例的构成。

例如，虽然在上述实施例中，在对初始彩色图像数据进行数据分割的情况下，将包含与绿色成分有关的颜色数据的图像数据分割成两个单色图像数据，但本发明并不限于此，还可考虑将包含与其他颜色成分有关的颜色数据的图像数据分割成两个单色图像数据。例如，在基于与如上述实施例中那样的原色拜耳模式排列不同的其他排列那样的初始彩色图像数据等情况下，还可考虑将包含与图像红色成分有关的颜色数据的图像数据分割成两个单色图像数据，另外，还考虑将包含与蓝色成分有关的颜色数据的图像数据分割成两个单色图像数据。在此情况下，特别是考虑对包含与初始彩色图像数据中的颜色成分有关的颜色数据的图像数据之中、像素数较多的图像数据进行分割。从而，例如，在与蓝色成分有关的图像数据的像素数一方多于与绿色成分有关的图像数据的像素数的情况下，则考虑对与蓝色成分有关的图像数据进行分割。另外在作为彩色滤光片利用了补色彩色滤光片的情况下，由于初始图像数据持有青、品红、黄、绿这四种颜色的数据，所以分割成这四种颜色的单色图像数据。

如上面基于实施例所说明那样，根据本发明，就能够做到图像数据处理量的减少和输出数据量的缩小而不会丧失原图像的任何信息。

另外，根据本发明，就能够依照所使用的设备的特性获得可效率良好地进行利用的图像数据。

Claims (25)

1.一种对包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据进行处理的图像处理装置，其特征在于包括：

初始彩色图像输入部件，用于输入待处理的初始彩色图像数据；

数据分割部件，用于按颜色成分分割由该初始彩色图像输入部件所输入的初始彩色图像数据，生成仅由与构成该初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；

数据处理部件，用于对上述单色图像数据进行规定的处理以生成二次图像数据；以及

二次图像数据输出部件，输出上述二次图像数据，

其中，在数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据之中，包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据各自的数据点数的合计与上述初始图像数据的数据点数相等。

2.按照权利要求1所述的图像处理装置，其特征在于：

上述二次图像数据的数据点数与上述初始彩色图像数据的数据点数相等或者在其以下。

3.按照权利要求1或2所述的图像处理装置，其特征在于：

上述二次图像数据包含彩色图像数据和单色图像数据中的某一方或者两方。

4.按照权利要求1、2或3所述的图像处理装置，其特征在于：

上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的三个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的小结构被反复多次排列的结构，

上述数据分割部件将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第2检测单元取得的G成分的G1数据、对应于从上述第3检测单元取得的B成分的B数据以及对应于从上述第4检测单元取得的G成分的G2数据这4个单色图像数据。

5.按照权利要求1、2或3所述的图像处理装置，其特征在于：

上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的3个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的结构被反复多次排列的结构，

上述数据分割部件将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第3检测单元取得的B成分的B数据、从上述第2检测单元及第4检测单元取得的G成分的作为低频成分的G1数据及作为高频成分的G2数据这4个单色图像数据。

6.按照权利要求4或5所述的图像处理装置，其特征在于：

上述数据分割部件包括使低通滤波施用于相对上述R数据、B数据邻接的R数据以及B数据，将各R、B的像素位置及其像素值变换成由各R、G1、B、G2像素组成的2×2的各小结构的中央位置以及与同一位置相对应的像素值的数据变换部件。

7.按照权利要求4、5或6所述的图像处理装置，其特征在于：

上述数据处理部件包括对上述R数据、G1数据、B数据实施RGB-YUV变换，变换成由作为Y成分的Y1数据、作为U成分的U数据以及作为V成分的V数据构成的Y1UV数据的数据形式变换部；以及形成包含上述Y1UV数据和G2数据中的某一方或者两方的图像数据作为上述二次图像数据的图像数据形成部件。

8.按照权利要求4、5或6所述的图像处理装置，其特征在于：

上述数据处理部件包括对上述R数据、G1数据、B数据实施RGB-YUV变换，变换成由作为Y成分的Y1数据、作为U成分的U数据以及作为V成分的V数据构成的Y1UV数据，对上述R数据、G2数据、B数据实施RGB-YUV变换，变换成作为Y成分的Y2数据的数据形式变换部件；以及形成包含上述Y1UV数据和Y2数据中的某一方或者两方的图像数据作为上述二次图像数据的图像数据形成部件。

9.按照权利要求8所述的图像处理装置，其特征在于：

上述数据处理部件还包括从上述Y1数据和Y2数据生成一个作为Y成分数据的Y数据的数据生成部件；以及形成包含上述Y数据、U数据、以及V数据中的某一个或者全部的图像数据作为上述二次图像数据的图像数据形成部件。

10.按照权利要求1、2或3所述的图像处理装置，其特征在于：

上述初始彩色图像数据是由使用了补色彩色滤光片的彩色摄像装置所拍摄的图像数据。

11.按照权利要求1至10中任何一项所述的图像处理装置，其特征在于：

上述数据处理部件还包括对上述U数据和V数据中的某一方或者两方减缩数据的一部分的数据减缩部件。

12.按照权利要求1至11中任何一项所述的图像处理装置，其特征在于：

上述数据处理部件还包括进行规定的数据压缩处理的数据压缩部件。

13.按照权利要求4至12中任何一项所述的图像处理装置，其特征在于还包括：

二次图像数据输入部件，输入上述二次图像数据；

单色图像数据生成部件，从由该二次图像数据输入部件所输入的二次图像数据，生成仅具有红色成分的红色图像数据、仅具有蓝色成分的蓝色图像数据、仅具有绿色成分的绿色图像数据这3个单色图像数据；

插补单色图像数据生成部件，对上述3个单色图像数据分别进行规定的像素插补，以生成具有与上述初始彩色图像数据相同数据点数的3个插补单色图像数据；以及

插补单色图像数据输出部件，输出上述插补单色图像数据。

14.一种数字照相机装置，其特征在于具备：

权利要求1至13中任何一项所述的图像处理装置。

15.一种便携信息终端，其特征在于具备：

权利要求1至13中任何一项所述的图像处理装置。

16.一种从包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据，输出大于等于一个的图像数据的图像输出装置，其特征在于包括：

初始彩色图像输入部件，用于输入初始彩色图像数据；

数据分割部件，用于按颜色成分分割由该初始彩色图像输入部件所输入的初始彩色图像数据，生成仅由与构成该初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；

二次图像数据生成部件，从上述单色图像数据生成二次彩色图像数据和二次单色图像数据中的某一方或者两方；以及

输出部件，输出上述二次彩色图像数据和二次单色图像数据中的某一方或者两方；

其中，在数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据之中，包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据各自的数据点数的合计与上述初始图像数据的数据点数相等。

17.按照权利要求16所述的图像输出装置，其特征在于：

上述二次彩色图像数据和二次单色图像数据的数据点数的合计，与上述初始彩色图像数据的数据点数相等或者在其以下。

18.按照权利要求16或17所述的图像输出装置，其特征在于：

上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的三个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的小结构被反复多次排列的结构，

上述数据分割部件将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第2检测单元取得的G成分的G1数据、对应于从上述第3检测单元取得的B成分的B数据以及对应于从上述第4检测单元取得的G成分的G2数据这4个单色图像数据，

上述二次彩色图像数据包含上述R数据、G1数据以及B数据而构成，上述二次单色图像数据包含上述G2数据而构成。

19.按照权利要求18所述的图像输出装置，其特征在于：

上述二次图像数据生成部件还包括对从上述4个单色图像数据中选择的3个单色图像数据进行RGB-YUV变换的数据形式变换部件；以及包含上述RGB-YUV变换后的数据而形成上述二次图像数据的图像数据形成部件。

20.一种对包含分别与多个不同颜色成分有关的颜色数据的彩色图像数据进行处理的图像处理方法，其特征在于包括：

初始彩色图像输入步骤，输入待处理的初始彩色图像数据；

数据分割步骤，按颜色成分分割所输入的初始彩色图像数据，生成仅由与构成该初始彩色图像数据的不同颜色成分之中的一个颜色成分有关的颜色数据组成的、数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据；

数据处理步骤，对上述单色图像数据进行规定的处理以生成二次图像数据；以及

二次图像数据输出步骤，输出上述二次图像数据，

其中，在数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据之中，包含至少一个与上述多个不同颜色成分分别相对应的单色图像数据，数量与上述多个颜色成分的数量相同或者比其还多的单色图像数据各自的数据点数的合计与上述初始图像数据的数据点数相等。

21.按照权利要求20所述的图像处理方法，其特征在于：

上述二次图像数据的数据点数与上述初始彩色图像数据的数据点数相等或者在其以下。

22.按照权利要求20或21所述的图像处理方法，其特征在于：

上述二次图像数据包含彩色图像数据和单色图像数据中的某一方或者两方。

23.按照权利要求20、21或22所述的图像处理方法，其特征在于：

上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的三个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的结构被反复多次排列的结构，

在上述数据分割步骤中将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第2检测单元取得的G成分的G1数据、对应于从上述第3检测单元取得的B成分的B数据以及对应于从上述第4检测单元取得的G成分的G2数据这4个单色图像数据。

24.按照权利要求20、21或22所述的图像处理方法，其特征在于：

上述初始彩色图像数据是包含由具备原色拜耳模式排列的光检测装置的彩色摄像装置所拍摄的、分别与RGB形式的3个不同颜色成分有关的颜色数据的彩色图像数据，其持有在规定的区域上配置了对光的红色成分具有灵敏度的第1检测单元、对光的绿色成分具有灵敏度的第2检测单元、对光的蓝色成分具有灵敏度的第3检测单元以及对光的绿色成分具有灵敏度的第4检测单元的结构被反复多次排列的结构，

在上述数据分割步骤中将上述初始彩色图像数据分割成对应于从上述第1检测单元取得的R成分的R数据、对应于从上述第3检测单元取得的B成分的B数据、从上述第2检测单元及第4检测单元取得的G成分的作为低频成分的G1数据及作为高频成分的G2数据这4个单色图像数据。

25.按照权利要求23或24所述的图像处理方法，其特征在于还包括：

对上述R数据、G1数据以及B数据进行RGB-YUV变换的步骤，和对上述R数据、G2数据以及B数据进行RGB-YUV变换的步骤中的某一方或者两方。

Images