CN1675935A

CN1675935A - 信息终端

Info

Publication number: CN1675935A
Application number: CNA038185962A
Authority: CN
Inventors: 渥美荣司; 进一畅
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2002-06-28
Filing date: 2003-06-27
Publication date: 2005-09-28
Anticipated expiration: 2023-06-27
Also published as: JP4460447B2; JPWO2004004361A1; EP1530377A1; US7817850B2; KR101005248B1; KR20050014894A; CN100505891C; US20060101080A1; WO2004004361A1; EP1530377A4

Abstract

提供一种能够进行与使用状况和使用目的相应的图像处理的信息终端。复算模块(107)启动后，除去装置(107a)除去对拜耳型模块施加的插值运算处理的一部分或全部。之后，已进行了除去的数据被传送给色插值装置(107b)，施加其他颜色插值运算处理后传送给画质修正装置(107c)。画质修正装置(107c)实施其他画质修正处理，并传送给JPEG编码装置(109)。

Description

信息终端

技术领域

本发明涉及信息终端，具体地说，涉及具有插值装置的信息终端。

背景技术

近年，带照相机的信息终端正在普及，这样的信息终端也作为用于图像拍摄及阅览、图像通信的装置而被灵活应用。

例如，在带照相机的便携式电话中，用照相机拍摄的图像，被作为附件与邮件正文一起发送，或者被用于实时通信(电视电话)，或者用户自己打印输出等，被使用于各个方面。而且，从其他人那里接收到的图像、从服务器下载的图像亦是如此。

因此，原本，能够使上述拍摄图像或接收图像根据其用途，花费在画质或处理上的速度、即从运算量到处理存储量进行变化，这样的情况在实现更为优良的使用方便性方面是优选的。

例如，如图5所示的那样，在将拍摄图像使用于实时通信时，设定为“处理速度优先于画质”。而与此不同，在将拍摄图像打印输出等的情况下，“画质优先于处理速度”的情形在利于用户方面更为优异。

发明内容

然而，在以往的便携式电话机中，普遍都停留在不管用户的喜好和用途如何，仅提供固定的画质、固定的处理速度上。

而且，在以便携式电话为代表的信息终端中，由于照相机的小型化、低耗电、低价格是必须的，因此难以安装具有与上述功效相当的适当的图像处理的照相机。

进而，由于对于信息终端的处理器，小型化、低耗电、低价格也是必须的，因此，一般不尝试通过使安装在普通照相机中的所有图像处理都转移到该处理器，来保证照相机图像处理的适应性。

本发明是考虑以上的问题点而设计的，目的在于提供一种将对照相机和信息终端的处理器的变更控制在最低限度，在低成本和短时间的前提下，能够根据使用状况、在照相机和信息终端中的图像拍摄处理所涉及的运算处理量、以及运算所需要的处理存储量等各种条件，适当地改变画质、处理速度的信息终端。

而且，本发明的目的在于提供一种能够减少照相机DSP简化后的执行处理所带来的影响，谋求图像的高画质化的信息终端。

并且，本发明的目的在于提供一种与安装相同性能的照相机的信息终端相比，具有能够根据使用状况等而适当地使画质提升一个档次的功能的信息终端。

进而，本发明的目的在于提供一种既不变更安装在信息终端上的照相机模块的硬件结构，也不增强照相机DSP的硬件规模，就能实现优质的图像的信息终端。

为了解决上述课题，本发明的第1种信息终端的特征在于，包括：对输入图像数据实施运算处理，生成输出图像数据的数据运算处理装置；除去装置，从上述输出图像数据，除去已对上述输入图像数据施加的数据运算处理的一部分或者全部；数据处理装置，对通过上述除去装置得到的数据，实施其他运算处理，重新构成输出图像数据。

上述信息终端的输入图像数据，具体地说是基于在彩色照相机用的单板图像传感器中普遍使用的红、蓝、绿色的像素排列的RGB拜耳(Bayer)排列的彩色图像数据。

上述信息终端的数据处理装置，具体地说是用于插值运算处理的装置，更具体地说是指分别对于R、G或B像素，对在传感器输出时分别被重叠在传感器表面的彩色滤镜除去了的G和B、R和B、R和G，以同色的相邻像素的值为基础，施以基于最邻近法、直线近似法或者3维卷积法的插值处理的装置。

在上述信息终端中，优选的是，即使在对输入图像数据施以不可逆的处理，生成了输出图像数据的情况下，除去装置仍然进行逆函数变换，除去对输入数据所施加的插值运算处理的一部分或者全部。

在上述信息终端中，优选的是，数据处理装置还再次实施边缘强调。

进而，本发明的第2种信息终端，其特征在于，包括：照相机模块，具有图像传感器，将上述图像传感器的输出信号数字化，生成第1拜耳形式数据，根据上述第1拜耳形式数据，使用第1算法生成第1图像数据，并发送上述第1图像数据；主机模块，具有主存储装置，接收从上述照相机模块发送来的上述第1图像数据，将上述所接收的上述第1图像数据保存到上述主存储装置中，从上述主存储装置读出上述第1图像数据，从上述所读出的上述第1图像数据中抽取出第2拜耳形式数据，根据上述第2拜耳形式数据，使用第2算法生成第2图像数据。

上述第1图像数据或/和上述第2图像数据，优选为是RGB形式或者YUV形式。

上述第1图像数据，优选为是进行了数据压缩的格式。

上述主机模块，优选具有向打印机输出数据的数据输出部，将第2图像数据通过数据输出部输出到打印机。

附图说明

图1是作为本发明的实施方式的复算模块(retrial module)外围的功能框图。

图2是作为本发明的实施方式的复算模块外围的功能框图。

图3是作为本发明的实施方式的复算模块外围的功能框图。

图4是作为本发明的实施方式的复算模块的流程图。

图5是表示信息终端的使用目的和要求项目的关系的图。

图6是用于说明插值运算处理的第1方法的图。

图7是用于说明插值运算处理的第2方法的图。

图8是用于说明插值运算处理的第3方法的图。

图9是带照相机的便携式电话的外观图。

图10是带照相机的便携式电话的硬件结构图。

图11是用于说明图像数据的构建·再构建的图。

图12是照片拍摄模式的流程图。

具体实施方式

1.第1实施方式

以下，参照附图说明本发明的第1实施方式。

(1)将拍摄图像编码时的说明

图1是用于说明本发明的实施方式的功能框图，仅示出构成本发明的信息终端的模块中的、为说明本发明而需要的模块的图。本实施方式，是将拍摄图像编码成预定的格式(在图1的情况下为JPEG格式)进行保存、发送等时的情况。

照相机模块103具有传感器和照相机DSP。传感器例如具有与蓝色(B)、绿色(G)、红色(R)光的3原色对应的彩色滤镜，在该滤镜上，G被配置成方格花纹状，R和B被依次配置成线状。该配置在本说明书中称为拜耳(Bayer)排列。从使用了拜耳排列的彩色滤镜的照相机模块输出的图像数据也具有拜耳排列。

当用户将镜头101朝向被摄体按下快门后，便生成具有与由传感器检测出的被摄体对应的拜耳排列的图像数据，照相机DSP施加由颜色校正装置、伽马校正装置、色插值装置、包括边缘强调处理及其他的画质修正装置组成的运算处理。

此处，所谓这样的运算处理是指，在取出具有拜耳排列的图像数据的各个颜色成分、即R成分、G成分和B成分后，由颜色校正装置调整各颜色成分的平衡，由伽马校正装置使用转换式或查找表，分别单独地转换各颜色成分的各像素的值，由色插值装置按各成分，对各像素位置所欠缺的颜色成分施加插值处理，使该像素成为具有其邻近像素中相同颜色成分的像素，由此，将由重叠在图像传感器上的彩色滤镜所过滤掉的颜色成分在所有像素中恢复。

此时，照相机DSP所具有的运算处理能力，由于追求芯片面积的最小化、小型化、低成本，而有可能导致无法进行需要较大的运算处理量或以用于图像处理的行存储器为代表的处理存储量的复杂的运算，或者即使能够进行运算也要很花费时间，损害与在后段接受处理结果的处理步骤的同步等问题。

因此，在该阶段进行处理的颜色校正处理装置、伽马校正处理装置、色插值处理装置，成为尽量削减运算处理和处理存储量的结构。其中尤其对于作为除处理存储量、运算处理量之外，在照相机图像处理中也最需要资源的处理装置之一的色插值处理装置，例如，能够举出使用与邻接像素的线形插值法来实现的例子。

同样，对于处理资源的消耗相对较大的边缘强调处理，为了使处理存储量和运算量最小化，较多例子是使用具有在水平方向上长、在垂直方向上短的分支(tap)数的边缘强调滤镜，以更少的行存储器数进行处理。

对于经过了上述各种处理装置的图像数据，再施加若干画质修正处理，在完成一系列照相机处理后，在以图像数据的存储为目的时，实施JPEG等的压缩处理，作为压缩图像数据(以下称作处理完成数据)输出到存储装置111。另外，在以图像数据的显示为目的时，为了谋求最适宜于显示装置113的像素数、颜色数等的限制而施加画质修正处理，输出到显示装置113。

复算模块107，由除去装置107a、色插值装置107b及画质修正装置107c构成，从照相机模块输出的数据、即处理完成数据，被转移给除去装置107a。

复算模块107启动后，除去装置107a除去由照相机DSP对处理完成数据施加的图像处理运算的一部分或者全部。此处的除去处理，例如是对拜耳排列的图像数据施加的色插值处理、和/或作为其他高画质处理的代表性步骤的边缘强调处理。

从插值处理完成的数据除去该插值处理后，被复原为拜耳排列数据。此处所谓的除去该插值处理，是表示对于经过一连串的照相机处理所获得的彩色图像的R、G、B各成分，施加间取处理，使得成为相当于图像传感器的拜耳排列的R、G、B排列的格式。

将由色插值处理生成的各像素的颜色成分复位(reset)一次，由此使安装在照相机DSP中的色插值处理和高画质化处理的限制最小化。

之后，完成除去的数据被转移给画质修正装置107c，复算模块107施加与该照相机DSP的色插值处理不同的插值运算处理，在必要的情况下还施加与包含在照相机DSP的高画质处理中的边缘强调处理不同的边缘强调处理，然后转移给JPEG编码装置109。

作为其他插值运算处理的方法，可以采用需要更复杂的处理运算量、更多的处理行存储器量的插值运算处理。对于包含在其他高画质化处理中的边缘强调处理，同样也可以采用需要更复杂的处理运算量、更多的处理行存储器量的处理。

在本实施方式中，例如，由照相机DSP安装基于最邻近法的插值处理，用2行图像数据的处理存储器，不需要任何乘法运算地进行插值处理，在复算模块107中，用5行图像的处理存储器，执行基于由浮点乘法构成的3维卷积法的插值处理。

进而，由照相机DSP进行的插值处理，安装由图像的每1行具有水平方向5像素的分支数的边缘强调处理滤镜构成的高画质化处理，在复算模块107中，安装由图像的每3行具有水平方向的5像素的分支、且根据各3×5像素内的值的组合而切换滤镜的类型的边缘强调滤镜构成的高画质化处理。

当然，本发明并不限于这些特定的色插值处理或边缘强调处理，是通用的处理结构。

在本实施方式中，只在需要插值运算处理的复算时才启动复算模块107，在不需要复算时，从照相机模块103直接将处理完成数据转移给JPEG编码装置109。

在拍摄图像后立刻显示在安装于信息终端上的显示器画面上的基础上，通过目视来进行是否需要复算的判断。

通过基于目视的判断，在判断为有些许模糊、或者边缘部分由于抖动等而造成画质不完善时，通过信息终端的用户菜单或者按钮来进行复算模块107的启动。

当然，也可以通过使之具有自动判断画质是否完善的处理装置、根据自动判断出的结果自动地启动复算模块107的处理装置而构成。

在复算模块107中，既可以除以插值处理、边缘强调处理为代表的高画质化处理外还使用与照相机DSP安装的处理不同的处理，也可以仅对这一连串的处理的一部分使用不同的处理。

在以上的阐述中，虽然对在图像拍摄后、实施基于JPEG的压缩处理前，进行启动复算模块107的可能性的判断，以及执行被包含在复算模块中的处理的实施方式进行了阐述，但如图3所示的那样，也可以将这一连串的处理施加到实施了JPEG压缩后的图像上。

即，也可以是对JPEG压缩后的图像数据，由JPEG解码装置305施以JPEG解码处理，并进行向显示器的显示，执行复算模块307，将该结果作为处理完成数据，再次转移给JPEG编码装置309。

(2)输出解码图像时的说明

图2是用于说明本发明的其他实施方式的功能框图，是在构成本发明的信息终端的模块中、只表示了说明本发明所需要的模块的图。本实施方式，是对以预定的格式(在图2的情况下为JPEG格式)取得的图像进行输出、保存等时的情况。

此处，以JPEG解码装置205将JPEG图像解码后，实施再处理并输出的情况为例进行说明。

复算模块207由除去装置207a、色插值装置207b、及画质修正装置207c构成，从JPEG解码装置205将JPEG解码后的图像数据传送给除去装置207a。

复算模块207启动后，除去装置207a除去对解码数据施加的包括插值运算处理(作为具体例，如最邻近插值)和边缘强调处理的高画质化处理的一部分或全部。

然后，完成除去的数据被传送给色插值装置207b，色插值装置207b施以其他插值运算处理和边缘强调处理(作为具体例，是1行5分支的固定的边缘强调滤镜)，并传送给显示装置213。

作为其他插值运算处理的方法，在本实施方式中，可以举出适用直线近似法、3维卷积法的例子。进而，作为包含其他边缘强调滤镜的高画质化处理的方法，可以举出对3行5分支的图像的局部性的特征适用适当的边缘强调滤镜的例子。

在本实施方式中，在需要插值运算处理的复算时，启动复算模块207，在不需要复算时，从JPEG编码装置205直接将数据传送给显示装置213。并且，也可以在需要边缘强调处理的复算时，启动复算模块207，对插值处理和边缘强调处理进行复算，采取同样的处理步骤。

(3)复算模块的处理动作

图4是用于说明复算模块的处理动作的流程图。

该模块启动后(S401)，首先，除去对输入数据施加的包括插值运算处理、边缘强调处理的高画质化处理的一部分或全部(S403)。

通常，这一连串的运算处理由多个步骤构成，可以根据情况选择是除去在所有的步骤中执行过的处理，还是只除去在预定的步骤中执行过的处理。

在对输入数据施加的处理中，有近乎(substantially)可逆的处理部分和不可逆性高的处理部分，不可逆性高的处理部分(例如，使用最邻近法对拜耳排列数据施以插值处理所获得的图像中的、被插值而形成的像素的颜色成分)，依赖于可逆性高的处理部分、即在向拜耳排列数据施加插值处理前原本存在着的各像素的值而被生成。

将被插值而形成的像素和被用于进行插值处理的像素、即相当于拜耳排列的像素的颜色成分分类，能够从图像数据自身复原原始的拜耳排列的数据的信息，因此能够容易地除去插值运算处理。

另外，作为实际问题，在拜耳排列中存在若干的变形(variation)。因此，关于哪个像素的哪个成分，是相当于哪个拜耳排列的像素，还是被插值而形成的像素，在信息终端内事先保持有照相机内的图像传感器的拜耳排列的图案，每次施以复算处理时都必须参照该图案。

或者，使拜耳排列的图案作为附带在图像数据中的照相机处理的参数而从照相机模块输出，在信息终端内，设置将图像数据和这样的参数信息分开、抽取出拜耳排列的图案的数据分析器(parser)，由此可以实现同样的功能。

而且，如果要对另外的信息终端所拍摄并发送来的图像数据、或者过去被拍摄并保存的图像，实施同样的处理，只需连同图像数据一起具有保存了拜耳排列的图案的文件格式以及附加信息文件等即可。

但是，即使没有掌握所使用的拜耳排列的准确排列，假定是默认的拜耳排列，实施同样的复算处理的情况下，也可以实现画质改善。

在除去修正的处理(S403)结束后，选择新适用的修正运算处理的方法(S405)。方法选择(S405)既可以是用户手动进行，也可以是根据使用状况·各种条件而由终端方自动地进行。

例如，此处，在对原本的图像数据实施了最邻近法等不太消耗运算处理量和处理存储量的插值处理的情况下，在希望使画质提升时，执行使所获得的图像更为自然的处理，例如可以使用直线近似法或者3维卷积法，执行再插值运算处理(S409或者S411)。反之，在想使处理速度优先于画质时等，可以使用最邻近法执行再插值运算处理(S407)。进而，在需要边缘强调时执行该处理(S415)并结束处理。

(4)关于在本实施方式中适用的插值法的说明

参照图6至图8，对最邻近法、直线近似法、3维卷积法进行说明。最邻近法是，如图6所示那样，对于具有像素P1、P2、P3、P4的图像数据，当在像素P2和P3之间生成像素P0时，将最邻近的像素P2的像素值复制为该像素P0的像素值(参照图6(b))。因此，运算处理量为零，执行插值处理所需要的执行行存储器只需1行就足够了。

另一方面，如图8所示那样，直线近似法是假设像素值直线变化而进行处理的方法，通过将前后的像素P2和P3的像素值根据两像素的距离而进行比例分配，来计算插值对象P0的像素值。即，将像素间距标准化并表示，设到跟前的像素P2的距离为X，则像素P0的像素值，通过使用了以下式子所表示的邻近的2像素P2和P3的加权加法而被表示出来。此处对1维方向进行了说明，但实际在图像的水平、垂直方向上施加该处理。为得到P0，相当于P2、P3的2像素的像素在水平、垂直方向上都需要，因此最少需要图像2行的处理存储器。另外在下面，为了易于理解，在式中通过对应的像素的符号来表示像素值。

Δp＝X(P3-P2)

P0＝Δp+P2

＝X(P3-P2)+P2

＝(1-X)P2+XP3 ……(1)

与此不同，3维卷积法是所谓的三维卷积(cubic convolution)，将像素值的变化近似为3次曲线进行处理。即在3维卷积法中，如图7所示那样，像素P0的像素值通过使用了以下式子所表示的邻近4像素P1～P4的加权加法而被表示出来。此处对1维方向进行了说明，但实际对图像的水平、垂直方向都实施该处理。为了得到P0，相当于P1、P2、P3、P4这4个像素的像素在水平、垂直方向上都需要，因此变成最少需要图像4行的处理存储器。

P0＝k1·P1+k2·P2+k3·P3+k4·P4 ……(2)

此处，k1～k4为加权系数，通过下式的插值函数h(t)而求出。此处，t是表示各像素P1～P4与运算对象的像素P0的位置关系的变量t1～t4，使用上述距离X来表示。

(a+2)|t|³-(a+3)|t|²+1 0≤|t|＜1

h(t)＝a|t|³-5a|t|²+8a|t|-4a 1≤|t|＜2

0 2≤|t|

……(3)

其中，t1＝1.0+X

t2＝+X

t3＝1.0-X

t4＝2.0-X

最邻近法，是只判断与前后的像素之间的距离来设定像素值的处理，因此虽然处理速度极短，却存在着画质较差的缺点。

与此不同，直线近似法与式(1)相比需要2次乘法计算和1次加法计算，因此与最邻近法相比，运算处理量增加、处理速度慢，关于执行行存储器也最少需要2行，需要比最邻近法更多的存储量，但具有比最邻近法画质优良的特征。

另外，3维卷积法仅在加权加法计算的处理中就需要4次乘法计算和3次加法计算，从而在这3种方法中需要最多的运算次数，因此，具有虽然处理速度最慢，但是画质最为优良的特征。

因此，在复算模块的方法选择(图4的S405)中，通过从上述方法中选择最适当的方法，可以实现与使用状况和用途相应的画质和处理速度。

2.第2实施方式

以下，参照附图说明本发明的第2实施方式。

图9是适用了本发明的带照相机的便携式电话的外观图。带照相机的便携式电话1，在表面具有显示器2、数字键(ten key)3、功能按钮4、天线5等，在背面具有照相机部11、电池盖9等，还具有将这些保持为一个整体的壳体6。而且，具有用于与外部的打印机连接的数据输出端子41。带照相机的便携式电话1如众知的那样，非常小巧轻便，为了可以用单手持握或放在手提袋中带来带去，是没有任何不便的大小和重量。照相机部11具有镜头7和LED照明8，作为具有独立的壳体10的照相机模块而构成。这样使照相机部作为独立的模块的理由，是为了使照相机模块具有通用性，使之能够与其他的便携式电话或PDA容易地组合。因此，本实施例中的带照相机的便携式电话1，可以分成照相机模块11和其剩余的部分(主机模块)。

功能按钮4被用于电话的收发信息、拍摄时的快门按钮等。而且，还被作为用于开始图像数据的再构建的按钮而使用。在使用带照相机的便携式电话1打电话时，使用者从数字键3输入电话号码，按下功能按钮4。另外在拍摄照片时，使用者以镜头7朝向对象的状态拿着带照相机的便携式电话1，通过显示器2确认由照相机模块11拍摄的预览图像。此时如果按下功能按钮4则进行拍摄，通过拍摄所生成的图像数据被保存到带照相机的便携式电话1所具有的记录装置中。

使用图10，说明适用了本发明的带照相机的便携式电话的硬件结构和动作。带照相机的便携式电话1如以上说明的那样，由照相机模块11和主机模块12构成，照相机模块11负责拍摄和图像数据的生成，主机模块12除了负责所生成的图像数据的保存和显示之外，还负责电话功能和日程表(schedule)功能等的PDA功能。

照相机模块11，包括镜头7、LED照明8、固体摄像元件13、A/D转换器14、图像数据构建器16、JPEG压缩器17、总线18、数据接口19、控制接口20等。其中，图像数据构建器16、JPEG压缩器17、总线18、数据接口19、控制接口20，作为照相机LS115以单芯片被提供。

对于固体摄像元件，可以使用例如CCD、CMOS传感器等。固体摄像元件13，通过将透过镜头7的光转换成电信号来进行拍摄。固体摄像元件13的输出信号，通过A/D转换器14被转换成数字数据。将该数字数据称作拜耳形式数据，但还没有成为可以通过计算机显示、或者可以通过打印机打印的图像数据。

通过图像数据构建器16来构建图像数据。图像数据构建器16对于拜耳形式数据，首先进行镜头浓淡修正、白平衡等的原始图像处理。接着从被施加了原始图像处理的拜耳形式数据，分离成红色(R)、绿色(G)、蓝色(B)的成分，施以CFA(Color Filter Array)插值处理，构建由RGB3平面构成的RGB形式的图像数据。

用于该CFA插值的算法，将极大地影响到所构建的图像数据的品质。在能够用在尺寸、成本、速度受到限制的照相机LSI中的算法中，很难奢望高品质的图像数据。图像数据构建器16还对完成的图像数据进行轮廓强调、伽马校正等处理。

最后，将图像数据的格式从RGB形式向YUV形式转换。构成1帧的图像数据，按照每1行或每数行地依次被生成，最终，从通过1次拍摄所获得的固体摄像元件13的输出信号，构建1帧整体的图像数据。图像数据每生成一定量就依次被送往JPEG压缩器17，进行JPEG压缩，再从数据接口19发送到主机模块12。

返回图10说明主机模块12的硬件结构和动作。主机模块12，由数据接口25、控制接口26、CPU30、总线24、暂时存储装置用接口31、暂时存储装置32、主存储装置用接口33、主存储装置34、显示装置用接口35、显示装置36、键盘用接口37、键盘38、打印机用接口40、基带控制部22、天线部23等构成。

其中，CPU30、总线24、接口25、26、31、33、35、37、40，作为应用引擎21，以单芯片被提供。基带控制部22负责与电话的发送信息和接收信息相关的功能，具有专用的CPU。应用引擎21负责除电话的收发信以外的功能，除了从照相机模块11传送来的图像数据的处理外，还负责键盘38的控制、游戏、音乐再现、计划表等的功能。另外，CPU30通过控制接口26、20、总线18，不仅进行照相机模块11的JPEG压缩器17的控制，还可以进行图像数据构建器16中各处理的控制和LED照明8的ON/OFF、固体摄像元件的数据收集模式的变更、A/D转换器14的参数控制等。键盘38包括数字键3、功能按钮4等。

从照相机模块11输出的图像数据，通过数据接口25被输入到主机模块12，被暂时保存到暂时存储装置32中。被用于暂时存储装置32的典型的存储装置，有SDRAM。之后CPU30从暂时存储装置32读出图像数据，并保存到主存储装置34中。主存储装置34具有即使切断带照相机的便携式电话1的电源也继续保存数据的记录介质，例如可以使用闪存、CF卡、SD卡。

本发明的带照相机的便携式电话，能够在主机模块中再构建图像数据。关于图像数据的再构建，在接收到来自用户接口的指示后由CPU30进行。CPU30使图像数据暂时返回到拜耳形式数据，重新使用高品质的算法，构建新的图像数据。所构建的高品质的数据被保存到主存储装置34中，或者通过打印机用接口40被发送到打印机。

使用图11说明图像数据的构建和再构建的情况。

只将传感器的输出信号进行了数字化的数据，如标号1114所表示的那样，由1个红像素(R)、2个绿像素(G)、及1个蓝像素(B)构成的单位矩阵，具有多个反复的拜耳形式。通过从拜耳形式数据分离各色的成分，分别对其施以插值处理，来构建RGB形式的图像数据45。在标号1145中用○包围的像素数据，与原来的拜耳形式数据相同，或者几乎没有变化。因此，只要从标号1145中取出用○包围的像素数据，就能够再构建原来的拜耳形式数据。

当然，为了再构建原来的拜耳形式数据，需要在RGB形式的图像数据中，预先确定来自于原来的拜耳形式的数据的像素数据是哪一个。用于此的方法，可以考虑在插值阶段进行确定的方法、在已构建的图像数据的首部(header)中嵌入信息的方法、以及其他各种各样的方法。通过对重新构成后的拜耳形式数据进行高品质的原始图像处理、插值处理、后处理，来生成新的图像数据1147。

另外，在从JPEG压缩了的RGB数据再构建拜耳形式数据时，无法取出与原来的数据完全相同的拜耳形式数据。但是，使用高品质的算法来再构建图像数据的优势，比损失一些数据的要大。

使用图12说明根据本发明在带照相机的便携式电话1中进行的处理。

在进行拍摄时，首先操作用户接口(S1201)。于是，在照相机模块11中，图像传感器将光转换成电信号(S1202)，从该电信号构建图像数据(S1203)。接着将所构建的图像数据通过JPEG方式进行压缩(S1204)，并发送到主机模块12(S1205)。主机模块接收被发送来的图像数据(S1206)，并保存到存储装置中(S1207)。

在打印所拍摄的图像数据时，首先操作用户接口(S1208)。于是主机模块12从存储装置中读出图像数据(S1209)，将所读出的图像数据解压缩(S1210)，从被解压缩后的图像数据抽取·再构建拜耳形式数据(S1211)。进而主机12对被再构建出的拜耳形式数据，重新使用高品质的算法生成新的图像数据(S1212)，将新生成的图像数据输出到打印机(S1213)。

以上，对本发明的实施方式进行了说明，但本发明并不限于此，例如在本实施方式中，作为插值运算处理的方法，使用了最邻近法、直线近似法、3维卷积法，但也可以是取代这些方法、或者在这些方法的基础上，再适用使用了例如样条函数、贝塞尔(Bezier)函数等的插值运算处理。

另外，在本实施方式中，虽然说明了将本发明适用于图像数据的处理的情况，但本发明并不限于此，也可以在转换声音数据的抽样频率的情况等、变更各种数据的抽样间隔的情况下适用。

工业可利用性

这样，根据本发明，可以提供一种能够以低成本且短时间、根据使用状况和各种条件来改变画质·处理速度的信息终端。

而且，根据本发明，可以提供一种能够减少照相机DSP中的简化后的执行处理所带来的影响，谋求图像的高画质化的信息终端。

并且，根据本发明，可以提供一种与使用相同性能的照相机的其他信息终端相比，能够生成画质更优良的图像的信息终端。

进而，根据本发明，可以提供一种即使不变更照相机模块、不增强照相机DSP，也能谋求图像的优质化的信息终端。

Claims

1.一种信息终端，具有对输入图像数据实施运算处理，生成输出图像数据的数据运算处理装置，其特征在于，包括：

除去装置，从上述输出图像数据，除去已对上述输入图像数据施加了的数据运算处理的一部分或者全部；

数据处理装置，对通过上述除去装置得到的数据，实施其他运算处理，重新构成输出图像数据。

2.根据权利要求1所述的信息终端，其特征在于：

具有由镜头、图像传感器、以及照相机DSP构成的照相机模块，

上述照相机DSP，包括颜色校正装置、伽马校正装置、色插值装置、以及画质修正装置，

由上述照相机模块生成上述输入图像数据，

上述除去装置，对由上述照相机DSP的上述色插值装置进行插值后的像素实施间取处理，来除去插值运算处理，并使上述照相机DSP中的色插值处理和画质修正处理的影响最小化，再次实施任意的色插值处理和画质修正处理。

3.根据权利要求1至3的任一项所述的信息终端，其特征在于：

上述除去装置，识别被重叠在上述图像传感器上的彩色滤镜的排列图案，将由上述插值运算处理生成的像素的颜色成分和被用于生成这些颜色成分的像素的颜色成分进行分类，有选择地对由上述插值运算处理生成的像素的颜色成分进行间取处理。

4.一种数据处理方法，具有取得图像数据的步骤、对所取得的上述图像数据实施插值运算处理的步骤、输出已进行插值运算处理的图像数据的步骤，其特征在于，包括：

从上述已进行插值运算处理的图像数据中除去上述插值运算处理的步骤；

对除去上述插值运算处理后的数据实施其他插值运算处理的步骤。

5.一种信息终端，其特征在于，包括：

照相机模块，具有图像传感器，将上述图像传感器的输出信号数字化，生成第1拜耳形式数据，根据上述第1拜耳形式数据，使用第1算法生成第1图像数据，并发送上述第1图像数据；

主机模块，具有主存储装置，接收从上述照相机模块发送来的上述第1图像数据，

将上述所接收的上述第1图像数据保存到上述主存储装置中，

从上述主存储装置读出上述第1图像数据，

从上述所读出的上述第1图像数据中抽取出第2拜耳形式数据，根据上述第2拜耳形式数据，使用第2算法生成第2图像数据。

6.根据权利要求5所述的信息终端，其特征在于：

上述第1图像数据或/和上述第2图像数据，是RGB形式或YUV形式。

7.根据权利要求5所述的信息终端，其特征在于：

上述第1图像数据是进行了数据压缩的格式。

8.根据权利要求5至7中任一项所述的信息终端，其特征在于：

上述主机模块，具有向打印机输出数据的数据输出部，将上述第2图像数据通过上述数据输出部输出到上述打印机。