背景技术
近年来,便携式电话的功能提高受到关注,在除了用于提供本来的通话功能的结构之外,还提供具有照相功能、具有高色分辨率的液晶显示功能的便携式电话。
例如,开发出了能够以65536(216)色的色分辨率来显示利用照相功能拍摄的图像或经由通信而取得的图像等的便携式电话。
在色分辨率为65536色时,色数据由16位表示。这样的色数据是利用以16位作为计算单位的处理器或16位总线(bit bus)以最适当的效率来进行处理和传送的。
但是,根据显示的图像,还存在即使用65536色的色分辨率也不能够充分地显示图像的情况。
例如,在墙壁或蓝天这样的色变化少的图像的情况下,因马赫频带而产生色斑,得不到视觉良好的画质。事实上,从使用者方面也传来了希望改善这样的色斑的呼声。
因此,作为用于改善画质的一个探讨,考虑到利用实际上能够显示的65536色来显示由模拟灰度显示的图像。
所谓的模拟灰度是一种公知技术,其通过用多个色对在规定区域所包含的像素进行细分,模拟地使远处的观察者看到它们中间实际上没有显示的色。
模拟灰度与抖动法和误差扩散法有很大区别,例如,在非专利文献1的第八章《图像的灰度变换技法》中详细地说明。
如果增加利用模拟灰度模拟地显示的色数,则在最适当地维持了图像数据的传送效率的状态下,期待色斑的减轻或消失。
例如在专利文献1以及专利文献2中公开了表达用于利用抖动法来实现模拟灰度的最基本的结构的现有技术。
专利文献1:特开平6-125462号公报
专利文献2:特开平6-250621号公报
非专利文献1:更好理解的数字图像处理、贵家仁志著、CQ出版社刊、2002第9版
但是,根据上述现有技术,为了得到模拟灰度显示的图像而参考抖动矩阵进行实际数据计算,因此的计算量增加,在用便携式电话等移动设备所使用的较低速的处理器进行软件处理时,存在无法用实用的时间来显示图像的问题。
在利用误差扩散法的情况下,由于对向邻接像素的误差传播进行处理,从而需要更多的计算,使得该问题进一步恶化。
发明内容
鉴于上述问题,本发明的目的在于提供一种适合用于便携式电话等移动设备的简单的图像变换技术、以及使用了该技术的便携式电话。
为了解决上述问题,本发明的图像变换装置,从由多个像素构成原图像,得到利用由同数的像素构成的模拟灰度来显示的目标图像,其中,
包括:所述目标图像的像素的色对于n种(n为自然数)的成分色分别由(2Cn)灰度(Cn为每个成分色的自然数)表示,对于各成分色将所述原图像的像素的色离散化为(2(cn+1)-1)灰度的离散化机构;和色确定机构,在通过所述离散化得到的值、以及在通过所述离散化得到的值上加上1后的值之中,用2除对应于所述像素的位置的一方,将得到的商设为所述目标图像的对应像素的相同成分色的值。
根据所述结构,由于只利用移位运算以及整数计算,就可以确定所述目标图像的对应像素的色,所以,与参照抖动矩阵来进行实际数字计算的现有技术相比,能够简单地实现。
其结果是,在适用于使用便携式电话等较低速的处理器来实现的移动设备时,通过这样的处理器进行软件处理也能够在足够实用的时间内显示所述目标图像。
由于本发明的结构简单,所以也容易向DSP或ASIC进行搭载。
另外,在处理特定的像素时,由于没有利用其他的像素的信息,所以不会产生因误差扩散法特有的干涉条纹、噪音施加所带来的画质恶化的情况。
另外,所述目标图像的像素的色对于成分色即红、绿、蓝分别由25、26、25灰度来显示,所述离散化机构在对于所述原图像的所述像素的色为红、绿、蓝分别由8位值即R8、G8、B8来显示时,根据公式
((R8<<6)-R8)>>8
((G8<<7)-G8)>>8
((B8<<6)-B8)>>8
在此,<<表示左移位运算,>>表示右移位运算,从而求出各个离散化值Rq、Gq、Bq,所述色确定机构,在表示所述像素的位置的X坐标值、以及Y坐标值分别是X、Y的情况下,根据公式
(Rq+((X+Y)&0x01))>>1
(Gq+((X+Y)&0x01))>>1
(Bq+((X+Y)&0x01))>>1
在此,<<表示左移位运算,>>表示右移位运算,从而求出各个所述对应像素的红、绿、蓝的值即5位值R5、6位值G6、5位值B5。
另外,所述离散化机构具有色空间变换部,其在所述原图像的所述像素的色对于亮度以及两个色差分别由8位值即Y、U、V来表示时,将U-128设为U0、将V-128设为V0,根据公式
Y+((V0*357)>>8)
Y-((U0*87)>>8)-((V0*182)>>8)
Y+((U0*451)>>8)
在此,<<表示左移位运算,>>表示右移位运算,从而求出各个所述红、绿、蓝的值即R8、G8、B8,根据由该色空间变换部求得的R8、G8、B8来求出所述离散化值R5、G6、B5。
根据该结构,将实际的显示色设为216(65536)色,而最适于基于最一般的16位总线的数据传送。由于方格花纹状地配置该216色之中的邻接的两色来显示中间色,所以在用72dpi(Dot Per Inch)以上的显示装置来显示目标图像的情况下,几乎认不出模拟色部分是由两色显示的。而且,模拟地显示约219(约52万)色的灰度的结果,能够将马赫频带减轻到几乎不能察觉的程度。
为了解决上述问题,本发明的便携式电话,是具有图像显示功能的便携式电话,其中,包括:取得原图像的取得机构、从取得的原图像得到目标图像的技术方案1至技术方案3的任一项所述的图像变换装置、以及显示所述目标图像的显示机构。
另外,所述便携式电话,还具有摄影机构,所述取得机构可以从所述摄影机构取得所述原图像。
另外,在所述便携式电话中,所述图像变换装置,是技术方案2或技术方案3所述的图像变换装置,所述图像变换装置和所述显示机构由将16位数据作为一个单位进行传送的总线连接,所述总线,将16位数据作为一个单位向所述显示机构传送,所述16位数据是将由所述图像变换装置得到的一个像素量的红、绿、蓝的值进行连结而得到的。
根据该结构,在便携式电话中,在显示图像时,能够得到与所述相同的效果。
为了解决上述问题,本发明的方法,是从由多个像素构成的原图像,得到由同数目目标像素构成的、利用模拟灰度显示的目标图像的图像变换方法,其中,包括:所述目标图像的像素的色对于n种(n为自然数)的成分色分别由(2Cn)灰度(Cn为每个成分色的自然数)表示,对于各成分色将所述原图像的像素的色离散化为(2(Cn+1)-1)灰度的离散化步骤;和色确定步骤,在通过所述离散化得到的值、以及在通过所述离散化得到的值上加上1后的值之中,用2除对应于所述像素的位置的一方,将得到的商设为所述目标图像的对应像素的相同成分色的值。
另外,所述目标图像的像素的色对于成分色即红、绿、蓝分别由25、26、25灰度来显示,所述离散化步骤,在对于所述原图像的所述像素的色为红、绿、蓝分别由8位值即R8、G8、B8来显示时,根据公式
((R8<<6)-R8)>>8
((G8<<7)-G8)>>8
((B8<<6)-B8)>>8
在此,<<表示左移位运算,>>表示右移位运算,从而求出各个离散化值Rq、Gq、Bq,所述色确定步骤,在表示所述像素的位置的X坐标值、以及Y坐标值分别是X、以及Y时,根据公式
(Rq+((X+Y)&0x01))>>1
(Gq+((X+Y)&0x01))>>1
(Bq+((X+Y)&0x01))>>1
在此,<<表示左移位运算,>>表示右移位运算,从而求出各个所述对应像素的红、绿、蓝的值即5位值R5、6位值G6、5位值B5。
另外,所述离散化步骤包括色空间变换步骤,其在所述原图像的所述像素的色对于亮度以及两个色差分别由8位值即Y、U、V来表示时,将U-128设为U0、将V-128设为V0,根据公式
Y+((V0*357)>>8)
Y-((U0*87)>>8)-((V0*182)>>8)
Y+((U0*451)>>8)
在此,<<表示左移位运算,>>表示右移位运算,从而求出各个所述红、绿、蓝的值即R8、G8、B8,根据由该色空间变换步骤求得的R8、G8、B8来求出所述离散化值R5、G6、B5。
根据这些方法来进行图像变换,由此,能够得到与所述相同的效果。
为了解决上述问题,本发明的方法,是具有图像显示功能的便携式电话的控制方法,包括:取得原图像的取得步骤、利用技术方案7至技术方案9的任一项所述的图像变换方法将取得的原图像变换为目标图像的图像变换步骤、和显示所述目标图像的显示步骤。
另外,所述便携式电话,还具有摄影功能,所述取得步骤可以利用所述摄影功能取得所述原图像。
另外,所述便携式电话具有显示装置,该显示装置由将16位数据作为一个单位进行传送的总线连结,所述图像变换步骤,利用技术方案8或技术方案9所述的图像变换方法,生成以平均每个像素由16位对所述目标图像进行显示的图像数据,所述控制方法还包括传送步骤,该传送步骤将一个像素量的16位作为一个单位经由所述总线,将所述生成的图像数据传送给所述显示装置,所述显示步骤向所述显示装置显示由所述被传送的图像数据所显示的目标图像。
根据该方法,在便携式电话中通过显示图像,能够得到与所述相同的效果。
为了解决上述问题,本发明的程序是计算机能够执行的程序,其中,使所述各步骤在计算机中执行。
利用该程序执行图像变换,或通过控制便携式电话,能够得到与所述相同的效果。
具体实施方式
以下,利用附图说明本发明的一个实施方式。
本发明的图像变换装置,从由便携式电话所包括的、由该便携式电话所具有的照相机拍摄的图像或经由通信取得的图像等的原图像,通过简单的处理生成模拟灰度显示的目标图像。
该便携式电话,通过显示生成的目标图像,能够将因马赫频带(マツハバンド)产生的色斑减轻到不会察觉的程度。
<整体结构>
图1是表示便携式电话1的整体结构的功能框图。
便携式电话1包括:天线10、无线部20、照相机(camera)部30、照相机前端部40、集成调制解调器部50、显示部70、耳机81、以及麦克风82。
集成调制解调器部50,包括:图像信息取得部51、JPEG译码部52、图像变换部53、显示控制部57、调制解调部61、通信控制部62、声音处理部63,图像变换部53,包括:离散化部54、色空间变换部55、以及色确定部56。
集成调制解调器部50包括的图像变换部53相当于本发明的实施方式的图像变换装置。
集成调制解调器部50可以通过包括CPU(Central Processing Unit)以及DSP(Digital Signal Processor)而构成的调制解调器用的集成电路装置来实现。此时,集成调制解调器部50包括的各个部分,为了实现各自的功能,而对应于由该CPU以及DSP执行的程序模块。
无线部20将由天线10接收的接收信号放大,调制解调部61将该放大了的接收信号解调为控制信号以及接收信息信号。该控制信号,按照便携式电话1所采用的通信方式、例如CDMA(Code Division MultipleAccess)或TDMA(Time Division Multiple Access)等通信方式,而用于控制通信。通信控制部62基于该控制信号控制通信的时刻等,声音处理部63将该接收信息信号变换为声音信号并从耳机81发音。
声音处理部63将从麦克风82取得的声音信号变换为发送信息信号。调制解调部61接收来自通信控制部62的控制并将该发送信息信号调制成发送信号,无线部20将该发送信号放大并从天线10发送。
此外,所述接收信息信号除了通话声音之外还可以表示图像。这样的图像,例如以JPEG(Joint Picture Expert Group)形式表示,从环球网(web)的站点或作为电子邮件的附件而取得。表示图像的接收信息信号,从调制解调部61向图像信息取得部51输出。
照相机部30是例如CCD(Charge Coupled Device)型或MOS(MetalOxide Semiconductor)型的固体摄像元件,控制从照相机前端部40露光或信号的输出来进行摄影。照相机前端部40,例如是通过ASIC(ApplicationSpecific Circuit)实现的,向图像信息取得部51输出表示拍摄的图像的图像信息。
该图像信息由成分色格式以及灰度(階調)色差格式表示。在成分色格式的图像信息中,例如,每个像素的红、绿、蓝的成分色分别由8位表示。将这样的信息记为RGB888信息。在亮度色差格式的图像信息中,例如,每个像素的亮度和每两个像素的两种色差分别由8位表示。将这样的信息记为YUV422信息。
在照相机前端部40内置JPEG译码电路的情况下,进而还能够得到以JPEG格式表示的图像信息。将这样的图像信息记为JPEG信息。
此外,当然还能够处理:由每个像素表现色差的所谓YUV4∶4∶4格式、或由每四个像素表现色差的所谓YUV4∶2∶0格式表示的图像信息。
图像信息取得部51,从调制解调部61以及照相机前端部40,取得由成分色格式、亮度色差格式、以及JPEG格式表示的图像信息。
JPEG译码部52,从图像信息取得部51提供JPEG信息,将通过变换该JPEG信息而得到的YUV422信息输出到图像变换部53。
色空间变换部55将YUV422信息变换为RGB888信息。
离散化部54,将从图像信息取得部51提供的、或由色空间变换部55求得的RGB888信息表示的每个成分色的8位值,离散化为从实际显示所使用的灰度数的2倍减掉1了的步长数(段階)。例如,在实际显示的色是红、绿、蓝并以5位、6位、5位来显示的情况下、即,在分别以25(32)、26(64)、25(32)灰度来显示的情况下,由RGB888信息显示的红、绿、蓝的值分别被离散化为63步长、127步长、63步长。
色确定部56,根据由所述离散化而得到的各色的离散化值,计算出表示目标图像的对应像素的对应色目标值,并向显示控制部57输出。具体地说,在所述离散化值为偶数时,以该值的一半作为目标值。在所述离散化值为奇数时,以邻接的像素交互地取夹着该值的一半的两个整数值的方式、换言之,以这些整数值以方格花纹状(市松模様)排列的方式,而对应于像素位置地将这些整数值之中的一方作为目标值。
显示控制部57,通过联接从色确定部56提供的红、绿、蓝的目标值,生成每个像素以16位显示的RGB565信息。然后,通过16位总线将该RGB565信息以像素单位的方式发送给显示部70。
显示部70显示由该RGB565信息显示的图像。
<图像变换处理>
图2是表示通过集成调制解调器部50执行的处理的详细情况的流程图。
图像信息取得部51从调制解调部61或照相机前端部40取得表示原图像的图像信息。在该图像信息是JPEG信息的情况下,JPEG译码部52将该图像信息变换为YUV422信息。该变换是使用用于将由JPEG格式表示的图像信息变换为每个像素的亮度色差信息的公知的方法进行的(步骤S11)。
图像变换部53,从图像信息取得部51或JPEG译码部52,取得表示原图像的RGB888信息或YUV422信息,按每个像素计算出所述的各成分色的目标值(步骤S12~步骤S19)。
在由YUV422信息表示原图像的情况下,色空间变换部55将该YUV422信息的亮度以及两种色差分别设为Y、U、V而运算,例如,
U0=U-128
V0=V-128
R8=Y+((V0*357)>>8)
G8=Y--((U0*87)>>8)-((V0*182)>>8)
B8=Y+((U0*451)>>8)
在此,=表示代入计算、<<表示左移位运算,>>表示右移位运算,从而求出RGB888信息的红、绿、蓝的值R8、G8、B8。在该计算中,U、V中每两个像素都可以使用相同值,另外,也可以利用插入临近的多个U、V而得到的值。
离散化部54,根据从图像信息取得部51提供的、或由色空间变换部55求得的RGB888信息的红、绿、蓝的值R8、G8、B8,计算
Rq=R8*63/256
Gq=G8*127/256
Bq=B8*63/256
在此,=表示代入计算,求得分别被离散化为63灰度、127灰度、63灰度的离散化值Rq、Gq、Bq。在此,如前所述,实际显示的色关于红、绿、蓝分别以25、26、25来表示。具体的说,这些离散化值是利用了移位操作的如下计算
Rq=((R8<<6)-R8)>>8
Gq=((G8<<7)-G8)>>8
Bq=((B8<<6)-B8)>>8
在此,=表示代入计算、<<表示左移位运算,>>表示右移位运算,从而求得(步骤S13)。
色确定部56,仅在表示处理对象的像素位置的X坐标值以及Y坐标值的和为奇数的情况下(步骤S14:是),分别将所述离散化值Rq、Gq、Bq增加1(步骤S15),除以2,将商作为以整数值求出的目标值R5、G6、B5。将这些目标值,具体地说,分别将表示处理对象的像素位置的X坐标值以及Y坐标值设为X、Y,计算
R5=(Rq+((X+Y)&0x01))>>1
G6=(Gq+((X+Y)&0x01))>>1
B5=(Bq+((X+Y)&0x01))>>1
在此,=表示代入计算,&表示“与”操作计算,>>表示右移位运算,由此可以求得(S16)。在此,从目标值的本来的意义看,只在判断所述离散化值的奇偶而为奇数的情况下应该进行增加1的操作,但即使无条件地增加1也能够得到所希望的效果,标注省略所述判断并实现计算量的削减的情况。
为了便于说明,将X+Y成为奇数的像素称为奇数像素,将X+Y成为偶数的像素称为偶数像素。
显示控制部57,连结由色确定部56求得的目标值R5、G6、B5并得到16位数据,经由16位总线向显示部70输出。
显示部70,对由经由所述16位总线从显示控制部57得到的目标值R5、G6、B5所显示的目标图像进行显示。
此外,通常认为,预先准备变换用的矩阵而从参考该矩阵而得到的目标值生成所述16位数据的方法。利用以C语言的表记法为准的程序代码对该方法进行说明。
首先,如下述这样准备所述变换用的矩阵。
确保二维矩阵t5[2][768]、t6[2][768]。t5[0][]与偶数像素中的红以及蓝的目标值有关,t5[1][]与奇数像素中的红以及蓝的目标值有关,t6[0][]与偶数像素中的绿的目标值有关,t6[1][]与奇数像素中的绿的目标值有关。
将如下值代入第二维指数i取0~255的矩阵元素。
t5[0][i]=0x00
t5[1][i]=0x00
t6[0][i]=0x00
t6[1][i]=0x00
另外,将与RGB888信息的成分色的值(i-256)对应的奇数像素以及偶数像素各自的目标值代入i取256~511的矩阵元素中。具体地说,将对应于(i-256)的63步长的离散化值((i<<6)-i)>>8设为c5,将127步长的离散化值((i<<7)-i)>>8设为c6,
t5[0][i]=c5>>1
t5[1][i]=(c5+1)>>1
t6[0][i]=c6>>1
t6[1][i]=(c6+1)>>1
另外,将如下值代入i取512~767的矩阵元素中。
t5[0][i]=0x1F
t5[1][i]=0x1F
t6[0][i]=0x3F
t6[1][i]=0x3F
进而,确保用于指示在处理偶数像素、奇数像素时分别参考的矩阵的前端地址的矩阵*T5[2]、*T6[2],将如下地址代入各元素。
T5[0]=&t5[0][256]
T5[1]=&t5[1][256]
T6[0]=&t6[0][256]
T6[1]=&t6[1][256]
通过该处理,准备所述的变换用的矩阵。该处理在进入每个像素的循环处理之前执行一次。
接着,在由YUV422信息表示原图像的情况下,进行所述的计算并变换为RGB888信息。
然后,参照与RGB888信息的红、绿、蓝各自的值R8、G8、B8对应的矩阵元素而求出目标值,结合进一步求出的目标值而得到16位数据即RGB16。具体地说,首先通过
t#ix=(X+Y)&0x01
来求出区别奇数像素以及偶数像素的值,对应于该值,通过
RGB16=(*(T5[t#ix]+R8)<<11)|(*T6([t#ix]+G8)<<5)|*(T5[t#ix]+B8)
来得到RGB16。
通过该处理,确定一个像素量的目标值。该处理对各个像素都执行。
<总结>
如以上说明的那样,由于本发明的图像变换装置以及方法,从原始的RGB值只利用移位运算、“与”操作计算以及整数加减运算就确定目标值,所以与使用抖动值矩阵的参考或实际数字计算的现有技术相比,能够简单地实现。另外将实际的显示色设为216(65536)色,而非常适于最一般的16位总线的数据传送。
其结果是,在适用于使用便携式电话等较低速的处理器来实现的移动设备的情况下,通过这样的处理器进行软件处理也能够在足够实用的时间内显示目标图像。
而且,模拟地显示约219(约52万)色的灰度的结果,能够将马赫频带减轻到几乎不能察觉的程度。
由于本发明的处理简单,所以也容易向DSP或ASIC进行搭载。
另外,在处理特定的像素时,由于没有利用其他的像素的信息,所以不会产生因误差扩散法特有的干涉条纹、噪音施加所带来的画质恶化的情况。另外,由于方格花纹状地配置216(65536)色之中的邻接的两色来显示中间色,所以用72dpi(Dot Per Inch)以上的显示装置来显示目标图像的情况下,几乎认不出模拟色部分是由两色显示的。
<其他的变形例>
此外,基于上述实施方式说明了本发明,但不言而喻本发明并不限定于上述的实施方式。以下这样的情况也包括于本发明。
在实施方式中,说明了集成调制解调器部50执行图像变换处理,但也可以由照相机前端部40执行该图像变换处理。以照相机前端部40进行该图像变换处理的方式构成的便携式电话也包括于本发明。
本发明可以适用在实施方式中说明了的表示电脑程序的数字信号。
另外,本发明可以适用记录了所述程序或所述数字信号的能够电脑读取的记录介质,例如,软盘、硬盘、CD、MO、DVD、BD、半导体储存器等。
另外,本发明可以适用经由电气通信电路、无线或有线通信电路、或者以互联网为代表的网络等而被传送的所述电脑程序或所述数字信号。
另外,所述程序或所述数字信号,被储存于所述记录介质而被传送,或者,经由所述网络而被传送,也可以在独立的其他的便携式电话中实施。