CN1487737A - 图像处理方法及装置和彩色变换表生成方法及装置 - Google Patents
图像处理方法及装置和彩色变换表生成方法及装置 Download PDFInfo
- Publication number
- CN1487737A CN1487737A CNA031531946A CN03153194A CN1487737A CN 1487737 A CN1487737 A CN 1487737A CN A031531946 A CNA031531946 A CN A031531946A CN 03153194 A CN03153194 A CN 03153194A CN 1487737 A CN1487737 A CN 1487737A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- value
- color
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
Abstract
一种图像处理方法及装置和彩色变换表生成方法及装置,预先记录任意的源图像数据和通过修整源图像数据而得到的目的图像数据。当由用户通过摄影模式设定部设定要进行图像再现参数的变更的摄影模式并指示执行参数的变更时,参数决定部使用源图像数据和目的图像数据来变更图像再现参数。参数决定部对两图像数据进行比较以生成彩色变换列表,使用彩色变换列表变更通过上述摄影模式设定部所设定的摄影模式中的图像再现参数。这样,就能够利用反映了由用户所修整的内容的图像再现参数对图像进行再现,并能够容易地对将要进行再现的图像给与用户所喜欢的颜色设定。
Description
技术领域
本发明涉及图像处理装置及方法、彩色变换表生成装置及方法、摄影装置、计算机程序和计算机可读取的记录介质,尤其适合用于对拍摄被摄体所得到的图像数据进行彩色变换处理。
背景技术
在以往的摄影装置中,用户为了得到喜欢的图像,可以在摄影装置内变更彩色变换参数(色调、饱和度、伽玛表、对比度等)。并且,一般在这样的摄影装置中,用户可以从由制造商预先所准备的多个参数中选择所希望的参数,通过使用所选择的参数来执行彩色变换处理,以得到用户所喜欢的图像(参照日本专利申请公开特开平11-187351)。
但是,在这种以往的摄影装置中,在上述彩色变换参数的设定时,必须实际变更彩色变换参数以拍摄同样的场景,并确认是否可以得到所喜欢的图像。即,由于彩色变换参数的设定必须进行这样的试行错误的过程,所以非常费工夫。
另外,这种以往的摄影装置中的彩色变换参数的变更,存在变更的自由度小的问题、和由于对将被再现的全部颜色带来影响而不能满足仅变更特定的颜色(例如天空的颜色)这样的需要的问题。为此,就存在不一定能够进行用户所希望的设定,难以容易地得到用户所喜欢的图像之类的问题。
另外,作为进行将由数码相机或扫描仪所获得的图像的颜色变更成所喜欢的颜色等的彩色变换的方法,提案出生成彩色变换表(查找表)并使用其进行彩色变换的方法。例如用RGB等3维的彩色空间所表示的颜色,就能够通过准备3维查找表来进行彩色变换。使用了这样的查找表的彩色变换,可以自由地设计进行彩色变换的参数,能够仅变换彩色空间上的局部的颜色等。
但是,能够进行局部的彩色变更的反面,就是在极端地设定使颜色变化的参数时,存在丧失表数据的连续性的情况。例如,在查找表中的某一数据进行设定以使输入色极端地变化时,对其周围的输入色也会发生大的变化。为此,就存在输出色将变得不自然之类的问题。
在上述现有技术的状况下,迫切希望能容易地得到用户所喜欢的图像的图像处理技术。
例如,希望可以基于利用修整(Retouch)等的编辑前后的图像自动地设定彩色变换参数,并可容易地实现用户所喜欢的彩色变换。
另外,希望可以基于由用户所指定颜色对自动地设定彩色变换参数,并可容易地实现用户所喜欢的彩色变换。
另外,希望可仅变更所希望的颜色以及与其接近的颜色。
进而,希望在利用彩色变换表的彩色变换技术中,防止再现图像中的颜色的不连续性。
发明内容
本发明的第1技术方案提供一种图像处理装置,包括:从图像中取得1个以上表示彩色信号值的彩色信号值对的取得单元;基于所取得的彩色信号值对来决定图像处理参数的决定单元;登录由上述决定单元所决定的图像处理参数的登录单元;以及基于由上述决定单元所决定的图像处理参数来变换输入图像的彩色信号值,并将变换后的图像作为输出图像进行输出的变换单元。
另外,本发明的第2技术方案提供一种摄影装置,包括:上述图像处理装置;和摄影部;上述图像处理装置将由上述摄影部所得到的摄像数据作为上述输入图像进行处理。
另外,本发明的第3技术方案提供一种生成彩色变换表的彩色变换表生成装置,包括:存储通过N维的彩色空间所表示像素值的第1和第2图像的存储单元;基于上述第1和第2图像的对应像素的像素值之差生成N维的彩色变换表的生成单元;以及调整利用该生成单元的彩色变换表的表值的生成,以使利用由上述生成单元所生成的彩色变换表的像素值的变化量不超过预定值的调整单元。
本发明的其他特征以及优点,通过以附图为参照的下面的说明将会弄明白。其中,在附图中对相同或相似的结构附加相同的参照标号。
附图说明
附图包含在说明书中,构成其一部分,表示本发明的实施形式,并与说明书的记述一起用于说明本发明的原理。
图1是表示第1实施形式的摄影装置的结构的一例的框图。
图2是说明第1实施形式的图像处理部的处理的框图。
图3是表示第1实施形式的A/D变换后的CCD数字信号的概念的概念图。
图4是表示第1实施形式的内插处理后的CCD数字信号的概念的概念图。
图5是表示第1实施形式的源图像和目的图像的图。
图6是说明第1实施形式的参数决定部的处理的框图。
图7A是表示第1实施形式的彩色变换列表的图。
图7B是说明第1实施形式的基准信号的图。
图8A是表示使用源图像和目的图像的一连串的处理的流程图。
图8B是说明第1实施形式的彩色变换列表的生成处理的流程图。
图9是说明第2实施形式的图像处理部的处理的框图。
图10是说明第3实施形式的指定源色和目的色的方法的图。
图11是说明第3实施形式的参数决定部的处理的框图。
图12是表示第3实施形式的变换色指示列表的一例的图。
图13是说明第3实施形式的彩色变换列表的生成处理的流程图。
图14是说明第3实施形式的源色和目的色的指定方法的其他例子的图。
图15是表示第4实施形式的彩色变换表(以下,称为查找表)的生成和执行使用了查找表的彩色变换处理的信息处理装置的结构的框图。
图16是表示第4实施形式的查找表生成处理和彩色变换处理的功能结构的框图。
图17是表示查找表生成部2102的细节的功能结构的框图。
图18是说明第4实施形式的查找表生成处理的流程图。
图19是说明第4实施形式的3维彩色变换处理的流程图。
图20是表示第5实施形式的查找表生成部2102的细节的功能结构的框图。
图21是说明第5实施形式的查找表生成处理的流程图。
图22是表示第6实施形式的查找表生成处理和彩色变换处理的功能结构的框图。
图23是表示自定义4维查找表生成部2402的细节的功能结构的框图。
图24是表示由第1至第3实施形式所生成并登录的图像再现参数或彩色变换列表的一览显示例的图。
具体实施方式
下面参照附图对本发明的优选实施形式进行详细说明。
<第1实施形式>
图1是表示应用本实施形式的图像处理装置的摄影装置的结构的一例的框图。在图1中,摄影部101包含透镜系统、光圈、快门,将被摄体的像成像在CCD(摄像元件)102的面上。此外,也可以将如CMOS那样的CCD以外的设备作为摄像元件来使用。成像在CCD102的面上的像进行光电变换后成为模拟信号,向A/D变换部103发送,这里变换为CCD数字信号(输入图像信号)。
由A/D变换部103所得到的CCD数字信号,向图像处理部104发送,以与由摄影模式设定部108所设定的模式信息相对应的图像再现参数为基础进行变换,并作为输出图像信号被输出。该输出图像信号由格式变换部105向JPEG格式等进行格式变换,并由图像记录部106写入到摄影装置内的存储器或压缩闪存(注册商标)等的外部存储器中。
摄影模式设定部108将与用户从多个摄影模式中所指定的摄影模式对应的图像再现参数设定到图像处理部104中。在用户自定义由图像处理部104使用的图像再现参数的情况下,由参数决定部107所决定的参数向图像处理部104发送,变更由摄影模式设定部108所设定的图像再现参数。以上,就是摄影装置内的各块的作用。
这里,所谓摄影模式,是指如风景模式、肖像模式、夜景模式那样设定与各场景的摄像条件符合的图像再现参数,伽玛表和矩阵运算系数因各个模式而异。此外,在第2实施形式中,进一步查找表数据不同。例如,如果是肖像模式,就设定成降低饱和度;如果是风景模式,就设定成提高对比度和饱和度;如果是夜景模式,就成为黑沉沉的参数的设定值。另外,用户也可以准备能够任意登录至少1个以上的参数的自定义模式。
下面,详细说明图像处理部104的动作。图2是表示图1的图像处理部104的功能结构的框图。下面,使用图2的框图说明本实施形式的摄影装置的图像处理的流程。
从图1的A/D变换部103输出的CCD数字信号,首先向白平衡处理部201发送,求出使图像中的白色成为白信号的白平衡系数和光源的色温。通过将所求出的白平衡系数与CCD数字信号相乘,进行白平衡处理,以使图像中的白色成为白信号。经过白平衡处理的CCD数字信号向边缘增强处理部207和内插处理部202发送。
在内插处理部202中,通过使用R、G1、G2、B的像素位置中的像素值(彩色信号值)进行内插运算,从图3那样的单板CCD的像素排列300求出各色成分的全像素值。即,生成图4所示的R、G1、G2、B的面数据400。矩阵运算部203通过使用下面的式(1)对面数据400的各像素进行彩色变换。
...式(1)G=(G1+G2)/2
在矩阵运算部203中经过矩阵运算处理的CCD数字信号,在色差增益运算处理部204中将色差信号乘以增益。该运算通过下面的式(2)~(4)进行。首先,将由上述(1)式得到的Rm信号、Gm信号和Bm信号变换为在由Y信号、Cr信号和Cb信号构成的彩色空间中所表现的信号值。进而,通过式(3)将Cr信号和Cb信号乘以增益(增益常数=G1)。然后,通过式(4)将Y信号、Cr’信号(乘以了增益的Cr信号)和Cb’信号(乘以了增益的Cb信号)分别变换为Rg信号、Gg信号和Bg信号。此外,式(4)是式(2)的逆矩阵运算。
Cr’=G1×Cr
Cb’=G1×Cb ...式(3)
由色差增益运算处理部204实施了上述色差增益运算处理的CCD数字信号(Rg,Gg,Bg)向伽玛处理部205发送。在伽玛处理部205中,使用下面的式(5)~式(7)对CCD数字信号进行数据变换。其中,在式(5)~式(7)中,Gamma able是1维查找表。
Rt=GammaTable[Rg] ...式(5)
Gt=GammaTable[Gg] ...式(6)
Bt=GammaTable[Bg] ...式(7)
经过伽玛处理的CCD数字信号(Rg,Gg,Bg)向色调校正运算处理部206发送。在该运算中,首先,利用下面的式(8),将Rt信号、Gt信号和Bt信号变换为Y信号、Cr信号和Cb信号。进而,通过式(9)校正Cr信号和Cb信号。然后,通过式(10)将Y信号、Cr’信号(校正后的Cr信号)和Cb’信号(校正后的Cb信号)变换为Rh信号、Gh信号和Bh信号。此外式(10)是式(8)的逆矩阵运算。这样在色调校正运算处理部206中进行了色调校正运算处理的CCD数字信号(Rh,Gh,Gh)向边缘合成处理部208发送。
另一方面,边缘增强处理部207根据从白平衡处理部201发送来的经过白平衡处理的CCD数字信号对边缘进行检测,仅抽取边缘信号。然后,抽取出的边缘信号由增益放大器进行放大后向边缘合成处理部208发送。在边缘合成处理部208中,将由边缘增强处理部207所抽取的边缘信号与从色调校正运算处理部206发送来的Rh信号、Gh信号和Bh信号相加,进行边缘合成处理。以上,就是信号处理的流程。
在用户不进行参数变更的情况下,对由摄影模式设定部108所设定的参数,即,式(1)中的M11,M21,M31,...,M33、式(3)中的G1,G2、和式(9)中的H11,H21,H12,H22的各参数,使用所设定的摄影模式的缺省值。与此相对,在用户进行图像再现参数的变更的情况下,这些缺省的图像再现参数值就由参数决定部107所变更并决定的图像再现参数进行置换。下面,说明利用参数决定部107的参数的决定处理。
图5的图像数据501(在图5中,文件名为Src.bmp的图像)是按BMP文件格式所记述的变换源的图像数据(也称为源图像),可以是用户所准备的任意图像。用户在计算机上将该变换源的图像数据501修整成自己喜欢的彩色再现。此外,这时的修整不是对图像整体进行一样的变换,而是通过修整仅变更想进行变换的区域。另外,修整可以是色调的变更和饱和度的变更等任意的修整。在本实施形式中,仅将天空的部分变换为所喜欢的颜色。在图5中,将通过修整而生成的目的图像表示为图像数据502(文件名Dst.bmp)。此外图像数据501与图像数据502的大小相同。另外,作为源图像数据501,也可以使用通过摄像所得到的摄影图像数据,也可以使用与该摄影图像数据一起记录到记录介质上的微缩图像数据。
下面,使用图8A的流程图简单地说明使用了源图像和目的图像的一系列的处理。
用户一边用摄影装置的显示部观看从摄影装置的内部存储器或摄影装置外部的可装卸的记录介质读出(步骤S701)的变换源的源图像数据501,一边进行修整(步骤S702),将所得到的图像作为别的文件的变换后的目的图像数据502(例如,文件名Dst.bmp)进行保存(步骤S703)。这里,将两个图像数据501(Src.bmp)和图像数据502(Dst.bmp)记录到摄影装置的记录介质或摄影装置的内部存储器中(步骤S704)。然后,用户指定待进行图像再现参数的变更的摄影模式,指示执行参数变更。
当由用户指示了参数的变更时,图1的参数决定部107就基于源图像数据501和目的图像数据502的对应的像素的彩色信号值来决定参数(步骤S705)。在本实施形式中所决定的参数是式(1)中的M11,M21,M31,...,M33、式(3)中的G1,G2、式(9)中的H11,H21,H12,H22。然后,利用所决定的参数来更新摄像模式的参数(步骤S706),将所更新的参数登录到摄影装置的内部存储器或摄影装置外部的可装卸的记录介质中(步骤S707)。
图6是表示参数决定部107内的结构的一例的框图。下面,使用图6说明在步骤S705中进行的参数决定部107的动作。图6中的图像数据读取部601读出在摄影装置的记录介质中所保存的源图像数据501和目的图像数据502。彩色变换列表生成部602基于所读出的源图像数据501和目的图像数据502中的相同位置的像素的RGB信号值之差,生成从图7A那样的源图像的RGB信号值向目的图像的RGB信号值的彩色变换列表700。
彩色变换列表700表示在RGB空间中如图7B所示那样所设定的各格子点的RGB信号值,在从源图像向目的图像的彩色变换中如何进行变化。在本实施形式中,对RGB的各轴用32步长刻度8等分信号值0~255(8位),以在RGB空间中设定9×9×9=729个格子点。彩色变换列表700的源图像侧的RGB信号值是各格子点的RGB信号值,目的图像侧的RGB信号值与各自的变换结果对应。下面,通过图8B的流程图详细说明在图8A的步骤S705中进行的列表700的生成处理,通过使用具有格子点附近的RGB信号值的源图像中的像素和与其对应的目的图像中的像素的RGB信号值来生成列表700。
参数生成部603决定上述参数,以实现在彩色变换列表700中所记录的RGB值的变换。
下面,按照图8B的流程图说明列表生成的顺序。
在图8B中,首先,产生基准信号值。该基准信号值是各格子点的RGB信号值,产生Rsn信号(n=0~728)、Gsn信号(n=0~728)以及Bsn信号(n=0~728)(步骤S801)。此外,不言而喻格子点的设定并不限定于以上所述(图7B)。
接着,从源图像信号中检索与所产生的基准信号值(Rsn,Gsn,Bsn)接近的RGB信号值,并保持该RGB信号值和像素位置(步骤S802)。在该检索中,例如抽取出具有通过下面的式(11)求出的信号值差E小于预定的阈值Th的RGB信号值的像素,并保持该RGB信号值和像素位置。
其中,在式(11)中,x、y表示图像坐标值,A(x,y)表示x、y坐标值中的A信号的值。另外这里,信号值差E表示在彩色空间上基准信号值(Rsn,Gsn,Bsn)与源图像中的RGB信号值(Rs,Gs,Bs)的距离。
在步骤S803中,判断在步骤S802中所保持的像素是否存在N个以上。如果判断的结果为,通过步骤S802保持了N个以上的像素,就进入步骤S805,否则,就进入步骤S804。
在步骤S805中,按以下的顺序计算与该基准信号对应的信号值。首先,使用下面的式(12)~式(14)求与目的图像中的对应的像素的RGB信号值的差分信号值dR、dG、dB。即,通过
dR=Rs(x,y)-Rd(x,y) ...式(12)
dG=Gs(x,y)-Gd(x,y) ...式(13)
dB=Bs(x,y)-Bd(x,y) ...式(14)
求在步骤S802中检索并保持的各像素与目的图像中的对应的像素的RGB信号值之差。
然后,计算关于在步骤S802中所保持的全部像素的dR、dG、dB的平均值(dR的平均值dRave、dG的平均值dGave和dB的平均值dBave),使用这些平均值和式(15)~(17)求源图像中的各格子点位置的RGB信号值(Rsn,Gsn,Bsn)在目的图像中如何进行变化。
Rdn=Rsn-dRave ...式(15)
Gdn=Gsn-dGave ...式(16)
Bdn=Bsn-dBave ...式(17)
另一方面,当信号值差E的值小于阈值Th的像素在源图像中不存在N个以上的情况下,就视为噪声,将基准信号值(Rsn,Gsn,Bsn)直接作为目的图像中的格子点位置的RGB信号值(Rdn,Gdn,Bdn)。对所有的格子点(n=0~728)反复进行上面的处理。
Rdn=Rsn ...式(18)
Gdn=Gsn ...式(19)
Bdn=Bsn ...式(20)
参数生成部603决定参数以实现记录在以上所求出的彩色变换列表中的彩色变换。首先,对变换列表中的源图像侧的RGB信号值(相当于基准信号值(Rsn信号、Gsn信号和Bsn信号)),进行式(10)~式(1)的逆变换。在该逆变换中,使用想进行变更的摄影模式的参数。设该逆变换的结果为Rn、Gn、Bn。然后,当设使用所变更的参数通过式(1)~式(10)对这些Rn、Gn和Bn的值进行了变换的结果(信号的值)分别为Rdn’、Gdn’和Bdn’时,则该摄影模式的新参数使用衰减最小二乘法进行决定,以使通过下面的式(21)所求出的值Diff为最小。
参数生成部603将如以上那样从源图像和目的图像的关系新求出的参数,作为被指定成要变更参数的摄影模式的参数存储到摄影装置内部或摄影装置外部的可装卸的记录介质(没有图示)。
接着,使用图1和图2说明进行了参数变更的摄影模式中的摄影数据的流程。当如前所述那样通过修整源图像进行了参数变更的摄影模式被选择并进行摄影时,摄影的CCD信号通过A/D变换部103从摄影部101向图像处理部104发送。在图像处理部104中,进行从图2的白平衡处理部201到边缘合成处理部208的处理。此处所使用的参数不是预先进行了准备的参数,而是读出在摄影装置内部或摄影装置外部的可装卸的记录介质所存储的变更过的参数来进行处理。
利用变更过的参数所处理的图像数据向格式变换部105发送,按照图像格式进行变换,并由图像记录部106向摄影装置的记录介质写入。以上就是进行了参数变更的摄影模式的数据的流程。
如上述那样,根据本实施形式,可以将从源图像与目的图像的关系新求出的参数,作为进行了参数变更的摄影模式预先保持在记录介质中。然后,通过选择该进行了参数变更的摄影模式,就在以后的摄影中应用变更后的参数自动地进行图像处理。为此,就可以在摄影时反映用户所喜欢的颜色,并能够通过1次的参数设定自动地得到统一色彩的摄影图像。另外,这时也可以将摄像时能够确定使用什么样的参数和彩色变换列表及LUT进行处理的信息与图像一起预先记录到特征(tag)信息中。
另外,尽管在上述实施形式中,对变更预先所决定的摄影模式的参数,利用变更后的参数盖写该摄影模式的参数的情况进行了说明,但本发明并不限于此。例如,用户也可以预先准备1个或多个可自定义设定的摄影模式(自定义模式),将所生成的参数作为该自定义模式的参数进行保持。这样,就能够维持预先所准备的摄影模式的参数。
如上述那样,在第1实施形式中,预先记录任意的源图像数据和通过修整该源图像数据而得到的目的图像数据,当由用户对所希望的摄影模式指定执行图像再现参数的变更时,就将源图像数据与目的图像数据进行比较生成彩色变换列表,并使用所生成的彩色变换列表变更该摄影模式中的图像再现参数。为此,能够容易地对将要进行再现的图像给与用户所喜欢的颜色设定。另外,还能够容易地实现不是将图像整体而是仅将一部分颜色变换为用户所喜欢的颜色。
此外,尽管在第1实施形式中,举出了指定1个改写图像再现参数的摄影模式,仅改写该摄影模式的参数并进行登录的例子,但也可以不仅是1个模式而是同时改写用户所指定的多个摄影模式。这时,使用在所指定的各摄影模式中所设定的图像再现参数来执行式(10)~式(1)的逆变换。即,使用1个彩色变换列表对所指定的各个摄影模式来执行利用上述参数生成部603的处理。
另外,尽管在第1实施形式中,对源图像和目的图像的格式,使用了BMP文件格式,但源图像和目的图像的格式并不限于此,也可以使用JPEG和TIFF等文件格式来进行。
进而,由于在第1实施形式中,构成为摄影装置执行包含上述参数决定处理的图像处理,所以可伴随摄像处理进行上述彩色变换处理。但未必非要构成为摄影装置执行上述图像处理。例如,也可以单独构成执行上述图像处理的图像处理装置。如果这样进行构成,就可以输入用户所有的任意的图像数据进行上述彩色变换处理,可容易地进行用户所喜欢的颜色设定。
在这种情况下,使用例如源图像和目的图像或者取代它们的彩色变换列表来决定图像变换参数,并以所决定的参数来变更例如预先在摄影装置中准备的图像再现参数。然后,进行给所生成的彩色变换类别或变更后的图像变换参数附加名称来登录的登录操作。登录操作,也可以通过指定要进行图像再现参数的变更的摄影模式,执行参数变更来进行登录。或者,也可以由该图像处理装置使用所登录的图像变换参数对用户所有的任意的图像数据进行彩色变换。此外,在上述说明中,图像变换参数是与上述图像再现参数相当的参数。上述图像处理装置也可以是与摄影装置不同的装置,在采用不同装置的情况下,就构成为通过例如USB等接口将所生成的图像再现参数传送给摄影装置。
<第2实施形式>
接着,说明本发明的第2实施形式。在第1实施形式中,基于所生成的彩色变换列表对式(1)、(3)、(9)的图像再现参数进行了变更,但在第2实施形式中,则变更图9的3维查找表运算处理部909中的查找表的值(格子点数据)。图9是用于说明第2实施形式的包含在图像处理部104中的处理的框图。下面,使用图9的框图来说明本实施形式的摄影装置的图像处理的流程。
白平衡处理部901、内插处理部902、矩阵运算部903、色差增益运算部904、伽玛处理部905、色调校正运算处理部906、边缘增强处理部907和边缘合成处理部908的动作与上述第1实施形式相同,所以不进行详细说明。在这里,对第1实施形式中所没有的3维查找表运算处理部909进行详细说明。
从色调校正运算处理部906输出的CCD数字信号(输入RGB信号)Rh、Gh、Bh向3维查找表运算处理部909发送,使用3维查找表变换为CCD数字信号(输出RGB信号)RL、GL、BL。
下面,对3维查找表的运算简单地进行说明。此外,尽管这里使用RGB的3维查找表进行说明,但查找表也可以依照进行处理的信号采用多维查找表。
在本实施形式中,为了减少3维查找表的容量,准备了对从R信号、H信号和B信号的最小值到最大值进行了9等分的9×9×9的729个3维代表格子点(查找表),代表格子点以外的RGB信号通过内插来求出。
另外,内插运算通过下面的式(22)~式(24)来进行。其中,在式(22)~式(24)中,设输入RGB信号为R、G、B,此时的输出RGB信号为Rout(R,G,B)、Gout(R,G,B)、Bout(R,G,B)。另外,设比输入RGB信号R、G、B各自的信号值小且最接近的值的代表格子点的信号为Ri、Gi、Bi。进而,设代表格子点输出信号为Rout(Ri,Gi,Bi)、Gout(Ri,Gi,Bi)、Bout(Ri,Gi,Bi),设代表格子点的步长为Step(在本实施形式中为32)。
R=Ri+Rf
G=Gi+Gf
B=Bi+Bf
Rout(R,G,B)=Rout(Ri+Rf,Gi+Gf,Bi+Bf)=(Rout(Ri,Gi,Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)+Rout(Ri+Step,Gi,Bi)×(Rf)×(Step-Gf)×(Step-Bf)+Rout(Ri,Gi+Step,Bi)×(Step-Rf)×(Gf)×(Step-Bf)+Rout(Ri,Gi,Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)+Rout(Ri+Step,Gi+Step,Bi)×(Rf)×(Gf)×(Step-Bf)+Rout(Ri+Step,Gi,Bi+Step)×(Rf)×(Step-Gf)×(Bf)+Rout(Ri,Gi+Step,Bi+Step)×(Step-Rf)×(Gf)×(Bf)+Rout(Ri+Step,Gi+Step,Bi+Step)×(Rf)×(Gf)×(Bf))/(Step×Step×Step)
...式(22)
Gout(R,G,B)=Gout(Ri+Rf,Gi+Gf,Bi+Bf)=(Gout(Ri,Gi,Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)+Gout(Ri+Step,Gi,Bi)×(Rf)×(Step-Gf)×(Step-Bf)+Gout(Ri,Gi+Step,Bi)×(Step-Rf)×(Gf)×(Step-Bf)+Gout(Ri,Gi,Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)+Gout(Ri+Step,Gi+Step,Bi)×(Rf)×(Gf)×(Step-Bf)+Gout(Ri+Step,Gi,Bi+Step)×(Rf)×(Step-Gf)×(Bf)+Gout(Ri,Gi+Step,Bi+Step)×(Step-Rf)×(Gf)×(Bf)+Gout(Ri+Step,Gi+Step,Bi+Step)×(Rf)×(Gf)×(Bf))/(Step×Step×Step)
...式(23)
Bout(R,G,B)=Bout(Ri+Rf,Gi+Gf,Bi+Bf)=
(Bout(Ri,Gi,Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri+Step,Gi,Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri,Gi+Step,Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Bout(Ri,Gi,Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Bout(Ri+Step,Gi+Step,Bi)×(Rf)×(Gf)×(Step-Bf)
+Bout(Ri+Step,Gi,Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Bout(Ri,Gi+Step,Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Bout(Ri+Step,Gi+Step,Bi+Step)×(Rf)×(Gf)×(Bf))/(Step×Step×Step)
...式(24)
下面,简单地用如下那样的式(25)表示上述式(22)、式(23)和式(24)的查找表变换和内插运算式。其中,在式(25)中,R、G、B表示输入信号值,LUT表示9×9×9的查找表,Rout、Gout、Bout表示进行了查找表变换和内插运算的结果。
(Rout,Gout,Bout)=LUT[(R,G,B)] ...式(25)
使用上面那样的运算,将输入RGB信号Rh、Gh、Bh变换成输出RGB信号RL、GL、BL(式26)。
(RL,GL,BL)=LUT[(Rh,Gh,Bh)] ...式(26)
经过3维查找表变换和内插运算的信号向边缘合成处理部908发送。在边缘合成处理部908中,将由边缘增强处理部907所检测出的边缘信号与从3维查找表运算处理部909发送来的输出RGB信号(RL、GL、BL信号)相加。以上,就是第2实施形式的图像处理运算的流程。
在用户不进行参数的变更的情况下,作为式(1)中的M11,M21,M31,...,M33、式(3)中的G1,G2、式(9)中的H11,H21,H12,H22和式(26)的查找表LUT的各值,就使用与摄影模式对应预先所设定的图像再现参数的缺省值。
然后,第2实施形式中,在用户进行参数的变更的情况下,就决定式(26)的查找表的格子点数据,仅置换查找表的格子点数据。下面,说明参数的变更动作。当生成彩色变换列表700时,以彩色变换列表700为基础来决定查找表的格子点数据。此外,由于在本实施形式的参数变更中,直至彩色变换列表700的生成,都与第1实施形式相同,所以,这里省略详细的说明。当生成彩色变换列表700时,以彩色变换列表700为基础来决定3维查找表的格子点数据。此外,3维查找表的格子点数据的决定,是使用预先在摄影装置内所设定的缺省的查找表和彩色变换列表700来进行决定的。
首先,以彩色变换列表700为基础生成从源图像信号变换成目的图像信号的3维查找表LUTlist。该彩色变换列表的3维查找表变换和内插运算处理,使用下面的式(27)所示的变换式来进行。
(Rdn,Gdn,Bdn)=LUTlist[(Rsn,Gsn,Bsn)] ...式(27)
当将基于彩色变换列表的彩色变换反映到摄影装置的3维查找表变换时,可用下面的式(28)的公式来表示。
(RL’,GL’,BL’)=LUTlist[LUT[(Rh,Gh,Bh)]] ...式(28)
另外,由于基于缺省的查找表和彩色变换列表的查找表,可以合并到一个查找表中,所以式(28)可以采用如下面的式(29)那样的一个查找表。
(RL’,GL’,BL’)=LUTcustm[(Rh,Gh,Bh)] ...式(29)
如上述那样,可以将把两个查找表(LUT、LUTlist)合并所求出的新查找表LUTcustum作为欲进行用户已设定的摄影装置的参数变更的摄影模式的3维查找表来进行置换。
如上所述那样,在第2实施形式中,预先记录任意的源图像数据和通过修整源图像数据所得到的目的图像数据,当由用户设定进行参数的变更的摄影模式,并指定执行参数的变更时,就将源图像数据与目的图像数据进行比较生成颜色变换列表,同时,基于所生成的彩色变换表来决定3维查找表的格子点数据,将所决定的3维查找表的格子点数据作为所设定的摄影模式中的3维查找表的格子点数据,所以能够容易对将要进行再现的图像给与用户所喜欢的颜色设定。另外,由于仅对欲变更颜色的查找表的格子点进行变更,所以还能够更加容易地实现不是将图像整体而是仅将一部分颜色变换为用户所喜欢的颜色。
即,当如上述第1实施形式那样,欲使用矩阵运算、色差增益运算、伽玛处理、色调校正运算处理等的参数进行自定义时,即使用户欲仅变更某一特定的颜色,也不可能仅变更该颜色。但是,如本实施形式那样通过使用3维查找表,就可完全不变更其他颜色,仅变更特定的颜色。
此外,尽管在本实施形式中,与第1实施形式同样,示出了将源图像和目的图像记录到摄影装置的记录介质上,在摄影装置内生成彩色变换列表,并基于其来决定参数,但也可以用计算机预先生成彩色变换列表,将彩色变换列表直接记录到记录介质上,并以该彩色变换列表为基础来决定参数。
<第3实施形式>
在第1实施形式中,使用修整处理前后的图像对应的像素的RGB信号值来生成彩色变换列表700。在第3实施形式中,使用用户指定的像素对的RGB信号值来生成彩色变换列表。此外,可知能够基于在第3实施形式中所生成的彩色变换列表,进行在第1实施形式中说明过的图像再现参数的变更或在第2实施形式中说明过的查找表的生成或更新。
下面,说明第3实施形式的彩色变换列表700的生成处理。
图10所示的图像是为了指示变换源的第1颜色而准备的源图像1001和为了指定作为该第1颜色的变换目标色的第2颜色而准备的目的图像1002。用户准备这两个图像,但这两个图像也可以是由与本实施形式的摄影装置不同的摄影装置所拍摄的图像,也可以是由用户进行修整处理所生成的图像。另外,只要源图像和目的图像是本摄影装置所对应的格式,则也可以是JPEG、TIFF、GIF等任意格式。另外,源图像和目的图像的大小也可以各自不同。另外,源图像和目的图像也可以使用在摄影时所得到的摄影图像数据,也可以使用与该摄影图像数据一起记录到记录介质上的微缩图像数据。摄影图像数据也可以是将摄像元件的输出信号进行A/D变换、不进行压缩或进行可逆压缩而变换成预定的格式的RAW数据。
用户将上述两个图像记录到摄影装置的记录介质内,开始进行参数决定。参数的决定由图1的参数决定部107来进行。图11是表示第3实施形式的参数决定部107的功能结构的框图。下面,使用图11说明第3实施形式的参数决定部107的动作。
首先,由图像数据读取部1601读出在摄影装置的记录介质所保存的源图像和目的图像。尽管图示省略,但所读出的图像数据,显示在摄影装置的图像显示部上。用户通过移动图10中所示的光标A,来指定在图像显示部上所显示的源图像中的作为变换源的源色。同样,移动光标B,从目的图像中指定成为该源色的变换目标的目的色。在有多个欲进行变换的源色时,就接着指定源图像中的下一个源色和成为其变换目标的目的图像中的目的色。作为由光标A或者光标B所指定的颜色,能够使用由光标所指示的像素的颜色值。或者也可以将由光标所指示的位置附近的像素的平均颜色值作为所指定的颜色来使用。通过该颜色指定操作,生成图12那样的变换色指示列表。在变换色指示列表中,登录着源色的RGB信号值(Rs(i),Gs(i),Bs(i))和对其作为变换目标所指示的目的色的RGB信号值(Rd(i),Gd(i),Bd(i))的对。此外,当设用户所设定的欲进行变换的颜色的数(颜色的对数)为C时,则成为i=0~C-1。
当如上述那样生成变换色指示列表时,变换色指示列表被发送给彩色变换列表生成部1603。彩色变换列表生成部1603基于变换色指示列表生成如在第1实施形式中所说明那样的彩色变换列表700。参数生成部1604基于所生成的彩色变换列表700的内容,以在第1和第2实施形式中说明过的方法来更新图像再现参数(M11,M21,M31,...,M33、G1,G2、H11,H21,H12,H22、或查找表)。
接着,参照图13的流程图说明根据彩色变换列表进行参数生成的顺序。
首先,在步骤S1801中,产生基准信号Rsn、Gsn、Bsn。该基准信号与参照图7B在第1实施形式中说明过的基准信号值相同。接着,在步骤S1802中,从上述变换色指示列表中检索与在步骤S1801中所产生的基准信号值接近的RGB信号值。该检索对i=0~C-1的各源色使用以下所示的式(30)计算信号值差E,抽取该信号值差E小于阈值Th的RGB信号值。
如果在步骤S1802中,抽取出1个以上的RGB信号值,就进入步骤S1805,按以下的顺序计算与变换后的该基准信号对应的彩色信号值。首先,求出所抽取的源色的RGB信号值与作为该源色的对而记录在变换色指示列表中的目的色的RGB信号值的差分信号dR、dG、dB。
dR=Rs(i)-Rd(i) ...式(31)
dG=Gs(i)-Gd(i) ...式(32)
dB=Bs(i)-Bd(i) ...式(33)
其中,(Rs(i)、Gs(i)、Bs(i))是抽取出的源色的RGB信号值,(Rd(i)、Gd(i)、Bd(i))是与各个源色对应的目的色的RGB信号值。
然后,求出所抽取的信号中的dR的平均值dRave、dG的平均值dGave、dB的平均值dBave,通过与基准Rsn、Gsn、Bsn的运算,求出与Rsn、Gsn、Bsn对应的彩色变换后的信号值Rdn、Gdn、Bdn。
Rdn=R(n)-dRave ...式(34)
Gdn=G(n)-dGave ...式(35)
Bdn=B(n)-dBave ...式(36)
另外,在信号值差E的值小于阈值Th的RGB信号值1个也没有的情况下,就从步骤S1803进入步骤S1804,通过下面的公式求出Rdn、Gdn、Bdn。
Rdn=Rsn ...式(37)
Gdn=Gsn ...式(38)
Bdn=Bsn ...式(39)
通过对n=0~728执行上面的处理,生成彩色变换列表。然后,基于这样所求出的彩色变换列表生成图像再现参数或3维查找表。也可以用所生成的查找表盖写并更新预先所设定的查找表。
此外,尽管在上述第3实施形式中,当生成彩色变换列表时,使用了源图像和目的图像两个图像,但也可以如图14所示的那样从同一图像中指定源色与目的色的组合。进而,也可以从3个以上的图像中指定源色与目的色的对。另外,尽管本实施形式中的3维查找表的参数具有信号值32步长刻度的729个格子点,但本发明并不限于此,也可以是任意的格子点间隔。
如上所述那样,根据第3实施形式,当设定用户所喜欢的色再现时,通过使用户在图像中指示作为变换源的颜色的源色和作为变换后的目标色的目的色,就可容易地实现用户所喜欢的摄影装置的颜色设定。另外,通过进行使用了3维查找表进行彩色变换而不是对图像整体带来影响的参数,也可容易地实现将一部分颜色变换为喜欢的色。
尽管在上述第1~第3实施形式中,对由RGB信号所表示的源图像和目的图像进行了说明,但本发明并不限于RGB信号,也可以是CMYG信号等。在使用了CMYG的情况下能够可变地进行设定以使用4维查找表。此外也可以使用YCrCb或L*a*B信号等。
另外,在上述第1~第3实施形式中,能够将以源图像和目的图像为基础所生成的图像再现参数、或者根据参数所生成的彩色变换列表或者查找表记录到摄影装置的内部存储器或可装卸的记录介质中。此外,在进行记录时,有时也要记录多个彩色变换列表等,所以最好分别附加名称来进行登录。另外,在具有可以登录各不相同的彩色变换列表、图像变换参数或查找表的多个自定义模式时,或者在自定义模式可以登录多个不同的彩色变换列表、图像变换参数或查找表时,就将所登录的内容如图24所示那样一览显示在摄影装置的显示部上。
用户在摄影时选择摄影模式,同时显示已更新后登录了多个色变换表等的一览,从中选择用户所喜欢的内容。另外,并不限于摄影时,即使在摄影后,也可以选择记录在可装卸的记录介质中的作为变换对象的摄影图像,只要选择了登录的彩色变换表,就可以对所选择的摄影图像进行彩色变换。
<第4实施形式>
在上述第2、第3实施形式中,说明了基于彩色变换列表更新查找表,以执行所希望的彩色变换的结构。如在发明背景中所说明那样,当立即变更查找表的值时有可能招致颜色的不连续性。在下面的第4至第6实施形式中,对防止出现这种不良情况的结构进行说明。从而,关于下面的第4~第6实施形式的查找表的变更的限制,可以适用于上述第2、第3实施形式的查找表的变更处理。
图15是表示第4实施形式的彩色变换表(以下,称为查找表)的生成,和执行使用了查找表的彩色变换处理的信息处理装置的结构的框图。
在图15中,2011是CPU,通过执行存储在ROM2012中的程序或装入到RAM2013的控制程序来实现各种处理。2012是ROM,存储着在该信息处理装置起动时所执行的引导处理程序和各种数据。2013是RAM,实现CPU2011的主存储器的功能。2014是显示器,在CPU2011的控制下进行各种显示。显示器2014由CRT或LCD构成。2015是外部存储装置,由例如硬盘构成。在外部存储装置2015中,保存着源图像2015a、目的图像2015b、查找表2015c、查找表生成处理程序2015d、彩色变换处理程序2015e。关于各数据、处理程序的内容,通过后面的说明即可明白。
2016是键盘,2017是定位设备,用户使用它们对信息处理装置进行各种操作输入。2018是接口,连接外围设备。在本实施形式中,作为外围设备,连接数码相机2021、扫描仪2022、打印机2023等。
下面说明本实施形式的彩色变换处理的概要。从数码相机2021或扫描仪2022等图像输入装置输入的图像作为源图像2015a保存到外部存储装置2015中。另外,目的图像2015b是利用另外所准备的应用程序对源图像2015a实施修整处理等而生成的图像。当由CPU2011执行查找表生成处理程序2015d时,基于源图像2015a与目的图像2015b间的各对应像素的变化量生成查找表2015c。此时,在变化量非常大的情况下,就对该变化量加以限制,查找表则基于所限制的变化量来进行生成。
然后,通过执行色变换处理程序2015e,参照查找表2015c对所希望的输入图像进行彩色变换,得到输出图像。下面,对查找表生成处理和彩色变换处理详细进行说明。
图16是表示第4实施形式的查找表生成处理和彩色变换处理的功能结构的框图。各功能部通过CPU2011执行装入到RAM2013中的查找表生成处理程序2015d和彩色变换处理程序2015e而得以实现。下面,使用图16的框图对第4实施形式的查找表生成处理和彩色变换处理进行说明。此外在本实施形式中,为了简化说明,设N维查找表的N为3,即说明3维的彩色空间(设为RGB空间)中的查找表的生成和彩色变换处理。
在图16中,由表生成用图像数据输入部2101输入成为生成3维查找表的基础的图像数据(源图像2015a、目的图像2015b)。例如,用户从数码相机2021或扫描仪2022输入作为变换源的图像数据的源图像2015a。另外,通过依照自己的喜好对该源图像2015a局部或整体地进行颜色修整处理,生成目的图像2015b并进行保存。
源图像2015a和目的图像2015b向自定义的3维查找表生成部2102(以下,称为查找表生成部2102)发送,基于源图像和目的图像生成3维查找表。此外,查找表生成部2102通过CPU2011执行查找表生成处理程序2015d而得以实现。
当生成自定义的3维查找表时,接着将作为使用该自定义的3维查找表进行变换的对象的图像数据向变换图像数据输入部2103输入。这里,基于图像数据的格式读出信号值,并向3维彩色变换处理部2104发送。在3维彩色变换处理部2104中,使用在查找表生成部2102中所生成的3维查找表进行彩色变换处理。进行了彩色变换处理的图像的信号值在图像数据输出部2105中,基于用户所指定的图像数据格式进行格式变换后输出。以上,就是本实施形式中的查找表生成和彩色变换处理的简单流程。接着对各处理更详细地进行说明。
图17是表示查找表生成部2102的详细的功能结构的框图。
在本实施形式中,与上述第1至第3实施形式同样,也通过将格子点间隔(步长间隔)设为32,采样具有9×9×9的729个格子点的3维查找表。进而,设R方向第I个、G方向第J个、B方向第K个3维查找表的格子点值分别为
Rg=32×I ...式(40)
Gg=32×J ...式(41)
Bg=32×K ...式(42)
另外,设与该格子点值对应的格子点保存值表现为
Rt=3DTblR(I,J,K) ...式(43)
Gt=3DTblG(I,J,K) ...式(44)
Bt=3DTblB(I,J,K) ...式(45)
(其中,I=0~8、J=0~8、K=0~8)
例如,如果I=1、J=2、K=3,则与格子点值(32×1,32×2,32×3)=(32,64,96)相应的格子点保存值为(3DTblR(1,2,3),3DTblG(1,2,3),3DTblB(1,2,3))。并且这意味着,如果使用该3维查找表进行数据变换,则(32,64,96)这样的输入信号就变换为(3DTblR(1,2,3),3DTblG(1,2,3),3DTblB(1,2,3))这样的信号。另外,当在所有的格子点中设定3维查找表以使Rt=Rg、Gt=Gg、Bt=Bg时,就成为输入和输出相等的3维查找表。
由数据检测部2201,检测具有格子点值(Rg,Gg,Bg)附近的信号值的像素。这里,当设源图像(Src图像)的信号值为(Rs(x,y),Gs(x,y),Bs(x,y))(其中,x,y是图像的坐标值)时,首先利用
如果信号值之差(彩色空间中的距离)E为预先所决定的值L以下,就成为格子点附近的值。当从源图像中检索出格子点附近的值即满足E≤L的像素时,由数据比较部2202读出与该像素的坐标(x,y)对应的目的图像(Dst图像)的信号值(Rd(x,y),Gd(x,y),Bd(x,y)),通过下式求出源图像与目的图像的RGB信号值的各成分之差(每个维之差)dR,dG,dB,和信号值差(彩色空间中的距离)Diff。
dR=Rs(x,y)-Rd(x,y) ...式(47)
dG=Gs(x,y)-Gd(x,y) ...式(48)
dB=Bs(x,y)-Bd(x,y) ...式(49)
通过上述处理所求出的源图像与目的图像的RGB信号值的各成分之差dR、dG、dB和信号值差Diff向数据限界部2203发送。在数据限界部2203中,比较预先决定的阈值T和信号值差Diff,在信号值差Diff超过阈值T时,就通过下式求出对dR、dG、dB进行了校正的值dR’、dG’、dB’。
Gain=T/Diff ...式(51)
dR’=dR×Gain ...式(52)
dG’=dG×Gain ...式(53)
dB’=dB×Gain ...式(54)
此外,在信号值差Diff未超过阈值T时,则成为dR’=dR、dG’=dG、dB’=dB。
通过上述处理,就对某格子点值(Rg,Gg,Bg),求出源图像全部的dR’、dG’、dB’的平均值dRave、dGave、dBave。但当在源图像中不存在具有格子点附近的值的像素时,就设dRave=dGave=dBave=0。
利用上述方法所求出的dRave、dGave、dBave被发送给表生成部204,通过下式求出与自定义的3维查找表的格子点值(Rg,Gg,Bg)对应的格子点保存值(Rt,Gt,Bt)。
Rt=Rg-dRave ...式(55)
Gt=Gg-dGave ...式(56)
Bt=Bg-dBave ...式(57)
通过对3维查找表的所有格子点进行上述处理,就生成自定义的3维查找表。
图18是说明第4实施形式的查找表生成处理的流程图。下面,参照图18的流程图更详细地说明上述查找表生成处理。
在步骤S2101中,选择查找表上的1个格子点。步骤S2102~S2103,是数据检测部2201的处理。首先,在步骤S2102中,从源图像选择1个像素。然后,在步骤S2103中,判断在步骤S2102中所选择的像素的像素值是否在格子点值的附近。这通过由上述式(46)所得到的E是否为预定值L以下来进行判断。当所选择的像素的像素值不在步骤S2101中所选择的格子点的格子点值附近时(E>L时),就进入步骤S2109。在步骤S2109中,判断是否对源图像中的所有像素都结束了处理。如果有未处理的像素,就返回步骤S2102,从源图像选择下一个像素。
当在步骤S2103中,所选择的像素的像素值在格子点值的附近时,就进入步骤S2104。步骤S2104~S2106,是数据比较部2202的处理。在步骤S2104中,取得目的图像中与在步骤S2102所选择的像素对应的像素的像素值。然后,在步骤S2105中,将源图像中的像素值与目的图像中的像素值进行比较,取得各成分之差和信号值差(dB、dG、dR、Diff)(式(47)~式(50))。
步骤S2106~S2110是数据限界部2203的处理内容。在步骤S2106中,比较信号值差Diff与预定值T,在信号值差Diff超过预定值T时,就进入步骤S2107,通过式(51)~式(54),基于信号值差Diff和阈值T调整各成分的差dB、dG、dR。
在步骤S2108中,将在步骤S2105中所得到的、在步骤S2107根据需要调整过的各成分的差(dB、dG、dR)进行累积。如果对源图像中的所有像素进行了S2102~S2108的处理(S2109),就进入步骤S2110,计算出在步骤S2108中所累计的各变化量的平均值(dBave,dGave,dRave)。
步骤S2111~S2112是表生成部2204的处理内容。在步骤S2111中,使用在步骤S2110中所计算出的平均值来更新格子点值,并设为查找表的格子点保存值(式(55)~式(57))。通过对查找表的所有格子点反复上面的处理(步骤S2112),就生成自定义的查找表。
接着,对使用了如上述那样所生成的查找表的3维彩色变换处理部2104进行说明。图19是说明本实施形式的3维彩色变换处理的流程图。
首先,根据从变换图像输入部2103发送来的图像的RGB信号值R、G、B求出表示格子点的索引的值I、J、K(步骤S2201、S2202)。
I=R/32 ...式(58)
J=G/32 ...式(59)
K=B/32 ...式(60)
(其中,舍弃I,J,K小数点以后部分)。
进入通过下式,求出表示图像的RGB信号值R、G、B的值距离各自的格子点多远的值(Rf,Gf,Bf)(步骤S2203)。
Rf=R-I×32 ...式(61)
Gf=G-J×32 ...式(62)
Bf=B-K×32 ...式(63)
使用上面的值,利用3维查找表和立方体内插运算而求出图像的RGB信号值R、G、B的变换后的值R0、G0、B0,分别用下式求出(步骤S2204)。Ro=(3DtblR(I,J,K)×(32-Rf)×(32-Gf)×(32-Bf)+3DTblR(I+1,J,K)×(Rf)×(32-Gf)×(32-Bf)+3DTblR(I,J+1,K)×(32-Rf)×(Gf)×(32-Bf)+3DTblR(I,J,K+1)×(32-Rf)×(32-Gf)×(Bf)+3DTblR(I+1,J+1,K)×(Rf)×(Gf)×(32-Bf)+3DTblR(I+1,J,K+1)×(Rf)×(32-Gf)×(Bf)+3DTblR(I,J+1,K+1)×(32-Rf)×(Gf)×(Bf)+3DTblR(I+1,J+1,K+1)×(Rf)×(Gf×(Bf))/(32×32×32)
...式(64)Go=(3DTblG(I,J,K)×(32-Rf)×(32-Gf)×(32-Bf)+3DTblG(I+1,J,K)×(Rf)×(32-Gf)×(32-Bf)+3DTblG(I,J+1,K)×(32-Rf)×(Gf)×(32-Bf)+3DTblG(I,J,K+1)×(32-Rf)×(32-Gf)×(Bf)+3DTblG(I+1,J+1,K)×(Rf)×(Gf)×(32-Bf)+3DTblG(I+1,J,K+1)×(Rf)×(32-Gf)×(Bf)+3DTblG(I,J+1,K+1)×(32-Rf)×(Gf)×(Bf)+3DTblG(I+1,J+1,K+1)×(Rf)×(Gf)×(Bf))/(32×32×32)
...式(65)
Bo=
(3DTblB(I,J,K)×(32-Rf)×(32-Gf)×(32-Bf)
+3DTblB(I+1,J,K)×(Rf)×(32-Gf)×(32-Bf)
+3DTblB(I,J+1,K)×(32-Rf)×(Gf)×(32-Bf)
+3DTblB(I,J,K+1)×(32-Rf)×(32-Gf)×(Bf)
+3DTblB(I+1,J+1,K)×(Rf)×(Gf)×(32-Bf)
+3DTblB(I+1,J,K+1)×(Rf)×(32-Gf)×(Bf)
+3DTblB(I,J+1,K+1)×(32-Rf)×(Gf)×(Bf)
+3DTblB(I+1,J+1,K+1)×(Rf)×(Gf)×(Bf))/(32×32×32)
...式(66)
对对象图像的所有像素进行以上的变换(步骤S2205)。通过上面的处理,输入到变换图像输入部2103的图像的R、G、B信号,对每个像素使用3维查找表和内插运算变换为R0、G0、B0,并向图像数据输出部2105发送。
在图像数据输出部2105中,例如,使用变换过的RGB值进行向显示器2014的图像显示。或者,将变换过的RGB值变换成YMCK值,利用打印机2023进行图像输出。
如上所述那样,根据上述实施形式,由于在使用源图像和目的图像生成查找表中,对变化量大的格子点限制其变化量,所以可生成不发生色调跳跃(tone jump)的查找表。
此外,尽管在第4实施形式中,求出源图像与目的图像的信号值差Diff使用了式(50),但也可以根据由式(47)、(48)、(49)所求出的值dR、dG、dB中的任何一个是否超过阈值T来决定是否需要进行变化量调整。在此情况下,信号值差Diff就通过下式来求出。
Diff=Max(|dR|,|dG|,|dB|) …式(67)其中,|A|表示求A的绝对值的函数,另外Max(A1,A2,A3)表示求A1、A2、A3中的最大值的函数。
进而当求源图像与目的图像的信号值差Diff时,也可以在变换成均等彩色空间(CIE L*a*b*)等考虑了人类的视觉特性的彩色空间,或者Yuv、HSB、NTSC-RGB、sRGB等各种各样的彩色空间后,求出信号值差。
另外,在数据限界部2203中所求出Gain值的求解方法并不限定于式(51),例如也可以使用将信号值差Diff的值和阈值T的值作为变量的表运算。另外,尽管在3维彩色变换处理部2104中的内插运算是立方体内插,但只要是四面体内插等可以内插数据的运算,则不论什么样的内插运算都行。另外,尽管在本实施形式中,对在RGB空间中变换信号的例子进行了说明,但本发明并不限于此,也可以使用具有CMYG等4个值的彩色空间等的4维查找表,以及具有N个值的彩色空间的N维查找表来实现。
<第5实施形式>
接着,说明第5实施形式。在第4实施形式中,根据源图像与目的图像间的各像素的信号值差是否超过预定值来决定是否进行变化量的调整(限制)。在第5实施形式中,根据变化量的总和是否超过预定量来决定是否进行变化量的调整。
第5实施形式的装置结构(图15),和查找表生成处理及彩色变换处理的基本流程(图16)都与第4实施形式相同。下面,重点说明与第4实施形式不同的部分。
图20是表示第5实施形式的查找表生成部2102的详细功能结构的框图。另外,图21是说明第5实施形式的查找表生成处理的顺序的流程图。由数据检测部2301,检测具有格子点值(Rg,Gg,Bg)附近的信号值的像素。这里,当设源图像的信号值为(Rs(x,y),Gs(x,y),Bs(x,y))(其中,x,y是图像的坐标值)时,首先,通过
如果该信号值之差E为预先决定的值L以下,就成为格子点附近的值。当从源图像检索出格子点附近的值,即满足E≤L的图像时,由数据比较部2302读出与该像素的坐标(x,y)对应的目的图像的信号值(Rd(x,y),Gd(x,y),Bd(x,y)),通过下式求出源图像与目的图像的RGB信号值的各成分之差dR,dG,dB。
dR=Rs(x,y)-Rd(x,y) ...式(69)
dG=Gs(x,y)-Gd(x,y) ...式(70)
dB=Bs(x,y)-Bd(x,y) ...式(71)
通过上述处理,就对格子点值(Rg,Gg,Bg)求出源图像全部的dR、dG、dB的平均值dRave、dGave、dBave。另外当在源图像中不存在格子点附近的值时,就设dRave=dGave=dBave=0。
利用上述方法所求出的dRave、dGave、dBave被发送给表生成部2303,接着通过下式求与自定义的3维查找表的格子点值(Rg,Gg,Bg)对应的格子点保存值(Rt,Gt,Bt)。
Rt=Rg-dRave ...式(72)
Gt=Gg-dGave ...式(73)
Bt=Bg-dBave ...式(74)
通过对所有的格子点进行上述运算,就生成3维查找表。
接着,所生成的3维查找表数据向表限界部2304发送。在这里使用3维查找表的格子点值(Rg,Gg,Bg)及其格子点保存值(Rt,Gt,Bt)通过下式求出差Diff。
这里,如果所求出的Diff未超过预先决定的阈值T,就直接使用Rt、Gt、Bt的值。另一方面,通过下式求出Diff的值为阈值T以上时的格子点保存值Rt’、Gt’、Bt’。
Gain=T/Diff ...式(76)
Rt’=Rg+(Rt-Rg)×Gain ...式(77)
Gt’=Gg+(Gt-Gg)×Gain ...式(78)
Bt’=Bg+(Bt-Bg)×Gain ...式(79)
通过对查找表的所有格子点进行上述处理,就可以对3维查找表施加限制。
图21是说明第5实施形式的查找表生成处理的流程图。下面,参照图21的流程图更详细地说明第5实施形式的查找表生成处理。
在步骤S2301中,选择查找表上的1个格子点。步骤S2302~S2303是数据检测部2301的处理。首先,在步骤S2302中,从源图像选择1个像素。然后,在步骤S2303中,判断在步骤S2302中所选择的像素的像素值是否在格子点值的附近。这通过由上述式(68)所得到的E是否为预定值L以下来进行判断。当所选择的像素的像素值不在步骤S2301中所选择的格子点的格子点值附近时(E>L时),就进入步骤S2307。在步骤S2307中,判断对源图像中的所有像素是否都结束了处理。如果有未处理的像素,就返回步骤S2302,从源图像选择下一个像素。
当在步骤S2303中,所选择的像素的像素值在格子点值的附近时,就进入步骤S2304。步骤S2304~S2308是数据比较部2302的处理。
在步骤S2304中,取得目的图像中与在步骤S2302所选择的像素对应的像素的像素值。然后,在步骤S2305中,比较源图像中的像素值与目的图像中的像素值,取得它们的各成分的差(dB、dG、dR)(式(69)~式(71))。
在步骤S2306中,累计在步骤S2305中所取得的各个变化量。如果对源图像中的全部像素进行了上述处理,就进入步骤S2308,计算在步骤S2306中所累计的各变化量的平均值(dBave、dGave、dRave)。步骤S2309~S2310是表生成部2303的处理内容。在步骤S2309中,使用在步骤S2308中所计算出的平均值来更新该格子点值,并设为自定义的查找表的格子点保存值(式(72)、(73)、(74))。
如果对查找表中的全部格子点反复了上述处理(步骤S2310),处理就进入步骤S2311。
步骤S2311~S2315是表限界部2304的处理。首先,在步骤S2311中选择格子点。接着,在步骤S2312中,对所选择的格子点计算格子点值与在步骤S2309中所更新的格子点保存值之差Diff。然后,在步骤S2313中,将所计算出的差Diff与阈值T进行比较。在差值Diff超过预定值T时,就进入步骤S2314,通过式(76)~式(79),基于差Diff和阈值T来调整格子点保存值。对所有的格子点进行上述步骤S2311~S2314的处理(步骤S2315),就得到最终的查找表。
此外,3维彩色变换处理部2104的动作,除了使用由上述方法所生成的查找表外,都与第4实施形式相同,详细的说明省略。
此外,尽管在第5实施形式中,使用格子点值(Rg,Gg,Bg)及其格子点保存值(Rt,Gt,Bt)求出差Diff使用了式(75),但本发明并不限于此。例如也可以将各维的变化量的最大值设为信号值差Diff。在此情况下,使用
Diff=Max(|Rt-Rg|,|Gt-Gg|,|Bt-Bg|) …式(80)来取代式(75)。其中,|A|是求A的绝对值的函数,Max(A1,A2,A3)是求A1、A2、A3的最大值的函数。
进而当求格子点值与格子点保存值的差Diff时,也可以在变换成均等彩色空间(CIE L*a*B*)等考虑了人类的视觉特性的彩色空间和Yuv、HSB、NTSC-RGB、sRGB等各种各样的彩色空间后,求出信号值差。
另外,在表限界部2304中所求出Gain值的求解方法并不限定于式(76),例如也可以使用将差值Diff的值和阈值T的值作为变量的表运算。另外,尽管在第5实施形式中,采样了如下方法:使用格子点值(Rg,Gg,Bg)及其格子点保存值(Rt,Gt,Bt)求出信号值差Diff,通过该信号值差来施加限制,但也可以预先准备作为基准的3维查找表,使用该基准表的格子点保存值(Rtk,Gtk,Btk)来判断是否施加限制。在此情况下,就在步骤S2312~S2314中,使用下面的式(81)~式(85)来求出3维查找表数据格子点保存值(Rt’、Gt’、Bt’)。
Gain=T/Diff ...式(82)
Rt’=Rtk+(Rt-Rtk)×Gain ...式(83)
Gt’=Gtk+(Gt-Gtk)×Gain ...式(84)
Bt’=Btk+(Bt-Btk)×Gain ...式(85)
此外,尽管在上述各实施形式中,作为用于施加限制的处理,使用阈值T和距离(或者成分值的差的最大值)Diff,并使T/Diff作用于各成分值和表值,但本发明并不限于此。例如,也可以乘以根据T/Diff用函数f(x)所求出的值Y=f(T/Diff)。
<第6实施形式>
接着,说明第6实施形式。在上述各实施形式中,说明了从N维向N维的变换。在第6实施形式中,说明从N维向M维的变换(N≠M)。此外,下面以将在4维的彩色空间中表现的颜色向在3维的彩色空间中表现的颜色进行变换的情况为例进行说明。
图22是表示第6实施形式的查找表生成处理和彩色变换处理的功能结构的框图。
在图22中,由表生成用图像数据输入部2401输入成为生成4维查找表的基础的图像数据(源图像2015a、目的图像2015b)。例如,用户从数码相机21或扫描仪22输入作为变换源的图像数据的源图像2015a。另外,通过依照自己的喜好对该源图像2015a局部或整体地进行颜色修整处理,生成目的图像2015b并进行保存。
源图像2015a和目的图像2015b向自定义的4维查找表生成部2402发送,基于源图像和目的图像生成4维查找表。当生成自定义的4维查找表时,接着待使用该自定义的4维查找表进行变换的图像数据就向变换图像数据输入部2403输入。由变换图像数据输入部2403基于图像数据的格式读出信号值,向4维彩色变换处理部2404发送。在该4维彩色变换处理部2404中,使用由自定义的4维查找表生成部2402所生成的4维查找表来进行彩色变换处理。进行了色变换处理的图像的信号值在图像数据输出部2405中,基于用户所指定的图像数据格式进行格式变换后输出。以上就是简单的流程。
接着,更详细地说明自定义的4维查找表生成部2403和4维彩色变换处理部2404的处理。
图23是表示自定义的4维查找表生成部2402的详细的功能结构的框图。第6实施形式的4维查找表通过将格子点间隔(步长间隔)设为32而具有9×9×9×9个格子点,并从以C、M、Y、G的4个信号为1组的输入信号向以Y、U、V的3个信号为1组的输出信号进行变换。
由数据检测部2501求出格子点值(Cg,Mg,Yg,Gg)附近的信号值。这里当设源图像的信号值为(Cs(x,y),Ms(x,y),Ys(x,y),Gs(x,y))(其中,x,y是图像的坐标值)时,首先,通过下式求出格子点值与信号值之差E。
如果该信号值的差E为预先所决定的值L以下,就成为格子点附近的值。当从源图像检索出格子点附近的值,即满足E≤L的像素时,由数据比较部2502读出与该像素的坐标(x,y)对应的目的图像的信号值(Cd(x,y),Md(x,y),Yd(x,y),Gd(x,y)),通过下式求出源图像与目的图像的CMYG信号值的各个成分的差dC,dM,dY,dG和信号值差Diff。
dC=Cs(x,y)-Cd(x,y) …式(87)
dM=Ms(x,y)-Md(x,y) …式(88)
dY=Ys(x,y)-Yd(x,y) …式(89)
dG=Gs(x,y)-Gd(x,y) …式(90)
所求出的源图像与目的图像的CMYG信号值的各成分之差dC,dM,dY,dG和信号值差Diff向数据限界部2503发送。在数据限界部2503中,比较预先决定的阈值T与信号值差Diff,在信号值差Diff超过阈值T时,就通过下式求出对dC,dM,dY,dG进行了校正的dC’,dM’,dY’,dG’。另外,在信号值差Diff未超过阈值T时,就成为dC’=dC、dM’=dM、dY’=dY、dG’=dG。
Gain=T/Diff ...式(92)
dC’=dC×Gain ...式(93)
dM’=dM×Gain ...式(94)
dY’=dY×Gain ...式(95)
dG’=dG×Gain ...式(96)
通过上述流程,对格子点值(Cg,Mg,Yg,Gg)求出源图像全部的dC’、dM’、dY’、dG’的平均值dCave、dMave、dYave、dGave。另外,当在源图像中不存在格子点附近的值时,就设dCave=dMave=dYave=dGave=0。利用上述方法所求出的dCave、dMave、dYave、dGave被发送给表生成部2504,通过下式求出与自定义的4维查找表的格子点值(Cg,Mg,Yg,Gg)对应的格子点保存值(Yt,Ut,Vt)。
Ct=Cg-dCave ...式(97)
Mt=Mg-dMave ...式(98)
Yt=Yg-dYave ...式(99)
Gt=Gg-dGave ...式(100)
Rt=ConvR(Cg,Mg,Yg,Gg) ...式(101)
Gt=ConvG(Cg,Mg,Yg,Gg) ...式(102)
Bt=ConvB(Cg,Mg,Yg,Gg) ...式(103)
其中,ConvR表示从CMYG信号求出R信号的变换式、ConvG表示从CMYG信号求出G信号的变换式、ConvB表示从CMYG信号求出B信号的变换式。
Yt=0.3×Rt+0.59×Gt+0.11×Bt …式(104)
Ut=(Bt-Yt)×0.564 …式(105)
Vt=(Rt-Yt)×0.713 …式(106)
通过对所有的格子点进行上述处理,就生成4维查找表。
另外,由4维彩色变换处理部2404参照所生成的4维查找表,对输入到变换图像数据输入部2403的图像的每个像素,使用如在第4实施形式中所说明那样的内插运算,将C、M、Y、G信号向Y0、U0、V0进行变换。得到的Y0、U0、V0信号向图像数据输出部2405发送。
此外,尽管在上述实施形式中,对将CMYG信号向YUV进行变换的4维查找表的生成和彩色变换处理进行了说明,但本发明并不限于此,也可以实现将N维的信号变换成M维的N维查找表的生成和彩色变换处理。
如上所述那样,根据上述第4至第6实施形式,由于在N维查找表的生成时施加限制来生成表,所以就可防止N维查找表数据的连续性发生丧失的色调跳跃等现象。
<其他实施形式>
如为了实现上述实施形式的功能而使各种设备动作那样,以下情况也包含在本发明的范畴内,就是对与该各种设备连接的装置或系统内的计算机,提供用于实现上述实施形式的功能的软件的程序代码,通过使上述各种设备按照在该系统或装置的计算机(CPU或MPU)中所保存的程序进行动作来进行实施。
另外,在此情况下,上述软件的程序代码本身将实现上述实施形式的功能,该程序代码本身和用于将该程序代码提供给计算机的装置,例如保存了相关程序代码的记录介质就构成本发明。作为存储相关程序代码的记录介质,能够使用例如软盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性的存储卡、ROM等。
另外无需赘言,不仅在通过计算机执行所供给的程序代码,上述实施形式的功能得以实现的情况下,而且在该程序代码与在计算机上运行的OS(操作系统)或者其他应用软件等共同实现上述实施形式的功能的情况下,相关程序代码都包含在本发明的实施形式中。
进而无需赘言,以下情况也包含在本发明中,就是当所供给的程序代码被保存到插入计算机的功能扩充板或连接到计算机的功能扩充单元上所具备的存储器以后,基于该程序代码的指示,该功能扩充板和/或功能扩充单元上所具备的CPU等进行实际处理的一部分或者全部,通过该处理上述实施形式的功能得以实现。
如上所述那样,根据本发明,就能够容易地得到符合用户喜好的颜色的图像。
另外,根据本发明,就可基于利用修整等编辑的前后的图像自动地设定彩色变换参数,能够容易地实现用户所喜欢的彩色变换。
另外,根据本发明,就可根据用户所指定的颜色的对自动地设定彩色变换参数,能够容易地获得用户所喜欢的彩色变换。
进而,根据本发明,就可仅变更所希望的颜色和与其接近的色。
如上所说明那样,根据本发明,就可防止由彩色变换表引起的彩色变换的不连续性。
由于在不脱离本发明的精神和范围内,能够实现本发明大量而广泛的实施形式,应该理解为本发明并不限于特定的实施形式,而是由附加的权利要求所规定。
Claims (43)
1.一种图像处理装置,其特征在于包括:
从图像中取得1个以上表示彩色信号值的彩色信号值对的取得单元;
基于所取得的彩色信号值对来决定图像处理参数的决定单元;
登录由上述决定单元所决定的图像处理参数的登录单元;以及
基于由上述决定单元所决定的图像处理参数来变换输入图像的彩色信号值,并将变换后的图像作为输出图像进行输出的变换单元。
2.根据权利要求1所述的图像处理装置,其特征在于:
上述取得单元,基于在第1图像和修整该第1图像而得到的第2图像中对应的像素的彩色信号值取得上述彩色信号值对。
3.根据权利要求1所述的图像处理装置,其特征在于:
上述取得单元,从在可装卸的记录介质上所记录的1个图像取得彩色信号值对。
4.根据权利要求1所述的图像处理装置,其特征在于:
上述取得单元,从在可装卸的记录介质上所记录的第1图像和与记录在可装卸的记录介质上的第1图像不同的第2图像中对应的像素的彩色信号值取得上述彩色信号值对。
5.根据权利要求1所述的图像处理装置,其特征在于:
具有用户在上述图像中指定区域的指定单元;上述取得单元取得1个以上与由上述指定单元所指定的区域对应的彩色信号值的对。
6.根据权利要求2所述的图像处理装置,其特征在于:
上述取得单元,对在彩色空间中所设定的多个格子点的每一个,从上述第1图像中抽取具有格子点附近的彩色信号值的像素,抽取与该抽取出的像素对应的上述第2图像中的像素;
基于从该第1和第2图像抽取出的像素的信号值决定该格子点的变化后的彩色信号值;
将该格子点的彩色信号值和上述所决定的变化后的彩色信号值设为上述彩色信号值对。
7.根据权利要求2所述的图像处理装置,其特征在于:
上述第1图像和上述第2图像具有相同的图像尺寸,并以相同的图像格式存储在存储介质中。
8.根据权利要求2所述的图像处理装置,其特征在于:
上述变化单元,将从摄影单元所得到的摄影图像作为上述输入图像进行处理;
上述第1图像和上述第2图像是将上述摄影图像缩小而得到的微缩图像。
9.根据权利要求1所述的图像处理装置,其特征在于:
上述取得单元,基于在1个或2个图像中所指示的第1和第2指示位置取得由第1和第2彩色信号值构成的指定值对,并基于该指定值对来决定上述彩色信号值对。
10.根据权利要求8所述的图像处理装置,其特征在于:
上述取得单元,对在彩色空间中所设定的多个格子点的每一个,抽取上述指定值对中的上述第1彩色信号值位于该格子点附近的指定值对;
基于所抽取的指定值对中的上述第1和第2彩色信号值的变化来决定该格子点的变化后的彩色信号值;
将该格子点的彩色信号值和上述所决定的变化后的彩色信号值设为上述彩色信号值对。
11.根据权利要求9所述的图像处理装置,其特征在于:
上述第1图像和上述第2图像具有相同的图像尺寸,以相同的图像格式存储在存储介质中。
12.根据权利要求9所述的图像处理装置,其特征在于:
上述变换单元,对从摄像元件得到的摄像数据进行图像处理;
上述第1图像和上述第2图像是容量比上述摄像数据还小的微缩图像。
13.根据权利要求1所述的图像处理装置,其特征在于:
还包括选择使用各不相同的图像处理参数的多个处理模式中的一个的选择单元;
上述登录单元,将由上述决定单元所决定的图像处理参数作为上述多个处理模式的一个进行登录;
上述变换单元,在选择了由上述选择单元所选择的处理模式时,使用由上述登录单元所登录的图像处理参数执行变换处理。
14.根据权利要求1所述的图像处理装置,其特征在于:
上述保持单元,将由上述决定单元所决定的图像处理参数存储到第1存储介质中;
上述图像变换单元,使上述输出图像存储到第2存储介质中。
15.根据权利要求1所述的图像处理装置,其特征在于:
还包括显示上述图像的显示单元;
上述登录单元,对上述处理模式登录多个不同的图像处理参数;
在上述显示单元上显示上述多个不同的图像处理参数。
16.根据权利要求1所述的图像处理装置,其特征在于:
上述变换处理将由摄影部所得到的摄影图像作为输入图像进行输入;
对上述摄影图像进行内插处理以使各颜色成分在所有的像素上都具有值;
对上述进行了内插处理的图像进行色差放大;
对上述进行了色差放大的图像进行伽玛变换;
对上述进行了伽玛变换的图像实施色调校正;
上述决定单元,变更上述内插处理、上述色差放大、上述色调校正中的参数。
17.根据权利要求1所述的图像处理装置,其特征在于:
上述决定单元,对上述彩色信号值对的变换前彩色信号值,使用预先设定的图像处理参数实施上述变换单元的逆变换;
变更上述图像处理参数,以使由上述变换单元对通过该逆变换所得到的彩色信号值进行处理而得到的彩色信号值,与该彩色信号值对的变换后的彩色信号值之差减小。
18.根据权利要求1所述的图像处理装置,其特征在于:
上述变换处理具有使用多维查找表对图像进行变换以得到输出图像的多维查找表变换单元;
上述决定单元,基于上述彩色信号值对来变更上述多维查找表。
19.根据权利要求18所述的图像处理装置,其特征在于:
上述多维查找表是将R、G、B设为各要素的3维查找表。
20.一种摄影装置,其特征在于包括:
摄影部;以及
权利要求1~19的任何一项中所述的图像处理装置;
上述图像处理装置将由上述摄影部所得到的摄像数据作为上述输入图像进行处理。
21.一种图像处理方法,其特征在于包括:
从图像中取得1个以上表示彩色信号值的彩色信号值对的取得步骤;
基于所取得的彩色信号值对来决定图像处理参数的决定步骤;
登录在上述决定步骤中所决定的图像处理参数的登录步骤;以及
基于在上述决定步骤中所决定的图像处理参数来变换输入图像的彩色信号值,并将变换后的图像作为输出图像进行输出的变换步骤。
22.一种生成彩色变换表的彩色变换表生成装置,其特征在于包括:
存储通过N维的彩色空间所表示像素值的第1和第2图像的存储单元;
基于上述第1和第2图像的对应像素的像素值之差生成N维的彩色变换表的生成单元;以及
调整利用该生成单元的彩色变换表的表值的生成,以使利用由上述生成单元所生成的彩色变换表的像素值的变化量不超过预定值的调整单元。
23.根据权利要求22所述的彩色变换表生成装置,其特征在于:
上述生成单元具有,从上述第1图像中检测具有,距对上述N维的彩色变换表的各格子点所选择的格子点的格子点值,在预定距离内的像素值的像素的检测单元;
对由上述检测单元所检测出的像素,计算上述第1和第2图像中的对应像素的像素值之差的平均值的计算单元;以及
基于由上述计算单元所计算出的平均值,来决定上述所选择的格子点的值的决定单元。
24.根据权利要求22所述的彩色变换表生成装置,其特征在于:
上述调整单元,在上述对应像素的像素值在上述彩色空间中的距离超过阈值时,基于该距离和阈值调整该对应像素的像素值之差。
25.根据权利要求24所述的彩色变换表生成装置,其特征在于:
上述调整单元,在设上述第1图像的像素值为(A0,A1,A2,...,AN)、上述第2图像中的对应像素的像素值为(B0,B1,B2,...,BN)、上述距离为Diff时,在利用下式所求出的距离Diff大于预定的阈值T时,将以阈值T和距离Diff为基础所求出的值乘以该对应像素的各成分的差。
26.根据权利要求24所述的彩色变换表生成装置,其特征在于:
上述调整单元,对上述第1和第2图像的对应像素,将像素值的各成分的差的最大值Diff设为上述距离,在该距离大于预定的阈值T时,将以阈值T和Diff为基础所求出的值乘以该各成分的差。
27.根据权利要求22所述的彩色变换表生成装置,其特征在于:
上述调整单元,在利用由上述生成单元所生成的上述彩色变换表进行变换前后的像素值在上述彩色空间中的距离超过阈值时,调整该彩色变换表中对应的表值。
28.根据权利要求27所述的彩色变换表生成装置,其特征在于:
上述调整单元,在设利用上述彩色变换表进行变换前的像素值为(A0,A1,A2,...,AN)、变换后的像素值为(B0,B1,B2,...,BN)、上述距离为Diff时,在利用下式所求出的距离Diff大于预定的阈值T时,将以阈值T和距离Diff为基础所求出的值乘以对应的表值以更新该彩色变换表。
29.根据权利要求27所述的彩色变换表生成装置,其特征在于:
上述调整单元,将利用上述彩色变换表进行变换前的像素值与变换后的像素值的各成分的差中的最大值Diff设为上述距离,在该距离大于预定的阈值T时,将以阈值T和Diff基础所求出的值乘以对应的表值以更新该彩色变换表。
30.根据权利要求22所述的彩色变换表生成装置,其特征在于:
上述调整单元,在由上述生成单元所生成的彩色变换表的格子点数据与基准表的格子点数据之差为预定值以上时,调整上述彩色变换表的该格子点数据。
31.根据权利要求30所述的彩色变换表生成装置,其特征在于:
上述调整单元,在设上述彩色变换表的格子点数据为(A0,A1,A2,...,An)、上述基准表的对应的格子点数据为(B0,B1,B2,...,Bn)、上述差为Diff时,在利用下式所求出的差Diff大于预定的阈值T时,将以阈值T和Diff为基础所求出的值乘以该彩色变换表的该格子点数据的各成分值。
32.根据权利要求31所述的彩色变换表生成装置,其特征在于:
上述调整单元,在对上述彩色变换表和上述基准表的对应的格子点数据,各成分的差中的最大值Diff大于预定的阈值T时,将以阈值T和Diff为基础所求出的值乘以该彩色变换表的该格子点数据的各成分。
33.根据权利要求22所述的彩色变换表生成装置,其特征在于:
还包括将由上述生成单元所生成的彩色变换表的各格子点的数据,变换为M维的彩色空间的数据的变换单元。
34.一种彩色变换表的生成方法,其特征在于包括:
基于通过N维的彩色空间所表示的像素值的第1和第2图像的对应像素的像素值之差生成N维的彩色变换表的生成步骤;以及
调整利用该生成步骤的彩色变换表的表值的生成,以使利用在上述生成步骤中所生成的彩色变换表的像素值的变化量不超过预定值的调整步骤。
35.一种彩色变换装置,其特征在于包括:
输入图像数据的输入单元;
使用由权利要求22~33的任何一项中所述的彩色变换表生成装置所生成的彩色变换表,变换由上述输入单元所输入的图像数据的变换单元;以及
输出由上述变换单元所变换的图像数据的输出单元。
36.根据权利要求35所述的彩色变换装置,其特征在于:
上述变换单元,对上述图像数据的各像素值,
从上述彩色变换表中抽取与像素值接近的格子点;
计算上述像素值与上述所抽取的格子点的距离;
基于上述所抽取的格子点及其附近的格子点的各格子点值和上述所计算出的距离得到上述像素值的变换后的像素值。
37.一种彩色变换方法,其特征在于包括:
输入图像数据的输入步骤;
使用由权利要求34所述的彩色变换表生成方法所生成的彩色变换表,变换在上述输入步骤中所输入的图像数据的变换步骤;以及
输出在上述变换步骤中所变换的图像数据的输出步骤。
38.一种控制程序,其特征在于:
使计算机执行权利要求21所述的图像处理方法。
39.一种计算机可读取的存储器,其特征在于:
存储了用于使计算机执行权利要求21所述的图像处理方法的控制程序。
40.一种控制程序,其特征在于:
使计算机执行权利要求34所述的彩色变换表生成方法。
41.一种计算机可读取的存储器,其特征在于:
存储了用于使计算机执行权利要求34所述的彩色变换表生成方法的控制程序。
42.一种摄影装置,其特征在于:
执行权利要求34所述的彩色变换表生成方法。
43.一种摄影装置,其特征在于:
搭载了权利要求35所述的彩色变换装置。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002231441 | 2002-08-08 | ||
JP231441/2002 | 2002-08-08 | ||
JP2002233846A JP2004080100A (ja) | 2002-08-09 | 2002-08-09 | 色変換テーブル作成方法及び装置並びに色変換方法及び装置及び撮像装置 |
JP233846/2002 | 2002-08-09 | ||
JP2003202591A JP3950822B2 (ja) | 2002-08-08 | 2003-07-28 | 撮像装置、撮像方法、制御プログラム及びコンピュータ可読メモリ |
JP202591/2003 | 2003-07-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1487737A true CN1487737A (zh) | 2004-04-07 |
CN100394790C CN100394790C (zh) | 2008-06-11 |
Family
ID=30449192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB031531946A Expired - Fee Related CN100394790C (zh) | 2002-08-08 | 2003-08-08 | 图像处理方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7453598B2 (zh) |
EP (1) | EP1389003B1 (zh) |
CN (1) | CN100394790C (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7671900B2 (en) | 2005-01-07 | 2010-03-02 | Canon Kabushiki Kaisha | Imaging apparatus and its control method displaying an electronic viewfinder screen and a frame within the screen including color information |
US7864226B2 (en) | 2005-10-21 | 2011-01-04 | Canon Kabushiki Kaisha | Image sensing apparatus and control method thereof |
US7956906B2 (en) | 2006-09-29 | 2011-06-07 | Casio Computer Co., Ltd. | Image correction device, image correction method, and computer readable medium |
CN101426084B (zh) * | 2007-10-31 | 2013-02-27 | 三星电子株式会社 | 数字摄影设备 |
CN105303508A (zh) * | 2014-07-04 | 2016-02-03 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN109104633A (zh) * | 2018-08-30 | 2018-12-28 | Oppo广东移动通信有限公司 | 视频截图方法、装置、存储介质及移动终端 |
CN109272922A (zh) * | 2018-11-30 | 2019-01-25 | 北京集创北方科技股份有限公司 | 显示设备的驱动方法和驱动装置 |
CN109605429A (zh) * | 2018-12-06 | 2019-04-12 | 宁波宝尼尔厨具电器有限公司 | 可清洗型弯头式去胡刀 |
CN110085192A (zh) * | 2019-04-01 | 2019-08-02 | 南京巨鲨显示科技有限公司 | 一种医用显示器颜色曲线的校准方法 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4007052B2 (ja) | 2002-05-07 | 2007-11-14 | セイコーエプソン株式会社 | 画像処理制御データ更新装置 |
US20040056965A1 (en) * | 2002-09-20 | 2004-03-25 | Bevans Michael L. | Method for color correction of digital images |
FI20040834A0 (fi) * | 2004-06-17 | 2004-06-17 | Petri Piirainen | Menetelmä kameran ja/tai näyttölaitteen värikalibroimiseksi |
US20060077487A1 (en) * | 2004-08-12 | 2006-04-13 | Tribeca Imaging Laboratories | Digital color fidelity |
JP4433937B2 (ja) * | 2004-08-24 | 2010-03-17 | ソニー株式会社 | 撮像装置、撮像方法および撮像プログラム、ならびに、記録装置、記録方法および記録プログラム |
JP2006115475A (ja) * | 2004-09-15 | 2006-04-27 | Seiko Epson Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP4471373B2 (ja) * | 2004-12-27 | 2010-06-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP4812073B2 (ja) * | 2005-01-31 | 2011-11-09 | キヤノン株式会社 | 画像撮像装置、画像撮像方法、プログラムおよび記録媒体 |
JP4533168B2 (ja) | 2005-01-31 | 2010-09-01 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2006262451A (ja) * | 2005-02-18 | 2006-09-28 | Canon Inc | 画像記録装置及び方法 |
JP4612856B2 (ja) * | 2005-04-08 | 2011-01-12 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
JP4721415B2 (ja) * | 2005-08-17 | 2011-07-13 | キヤノン株式会社 | 撮像装置、情報処理装置、情報処理システム及び画像処理方法並びに制御プログラム及びコンピュータ読み取り可能な記憶媒体 |
US7522173B1 (en) * | 2006-02-23 | 2009-04-21 | Nvidia Corporation | Conversion of data in an sRGB format to a compact floating point format |
JP4854340B2 (ja) * | 2006-03-08 | 2012-01-18 | キヤノン株式会社 | 画像処理方法及び装置 |
US8126284B2 (en) * | 2006-12-01 | 2012-02-28 | Broadcom Corporation | Method and apparatus for resolution improvement in digital capturing |
US8334910B2 (en) * | 2007-02-09 | 2012-12-18 | Canon Kabushiki Kaisha | Image capturing apparatus, information processing apparatus, and control methods thereof |
JP4931219B2 (ja) * | 2007-03-02 | 2012-05-16 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US7916137B2 (en) * | 2007-03-07 | 2011-03-29 | Panavision International, L.P. | Generation of 3D look-up tables for image processing devices |
JP4600424B2 (ja) * | 2007-05-08 | 2010-12-15 | セイコーエプソン株式会社 | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム |
KR20090011071A (ko) * | 2007-07-25 | 2009-02-02 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
WO2009089525A1 (en) * | 2008-01-11 | 2009-07-16 | Kyocera Wireless Corp. | Pre-image capture color effects |
JP5006814B2 (ja) * | 2008-02-26 | 2012-08-22 | キヤノン株式会社 | 撮像装置 |
US7986436B2 (en) * | 2008-05-23 | 2011-07-26 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
JP5346498B2 (ja) * | 2008-06-10 | 2013-11-20 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP5387020B2 (ja) * | 2009-02-05 | 2014-01-15 | 株式会社ニコン | 画像処理プログラムおよびデジタルカメラ |
KR20110038429A (ko) * | 2009-10-08 | 2011-04-14 | 삼성전자주식회사 | 영상 컨텐츠에 적용된 영상처리 내용에 따라 영상 촬영환경을 설정하는 촬영 제어방법 및 이를 적용한 촬영장치 |
KR101783259B1 (ko) * | 2010-12-31 | 2017-10-10 | 삼성디스플레이 주식회사 | 데이터 보상 방법 및 이를 수행하는 데이터 보상 장치 및 상기 데이터 보상 장치를 포함하는 표시 장치 |
KR101901910B1 (ko) * | 2011-12-23 | 2018-09-27 | 삼성전자주식회사 | 선택 영역을 변화시키는 결과 영상을 생성 또는 저장하는 장치 및 방법 |
JP6049425B2 (ja) * | 2012-11-29 | 2016-12-21 | キヤノン株式会社 | 撮像装置、画像処理装置、及び制御方法 |
GB2568492B (en) * | 2017-11-16 | 2020-02-26 | Apical Ltd | Image data interpolation |
JP7158845B2 (ja) * | 2017-11-30 | 2022-10-24 | キヤノン株式会社 | 画像読取装置、画像読取装置の制御方法、及びプログラム |
CN113613007B (zh) * | 2021-07-19 | 2024-03-05 | 青岛信芯微电子科技股份有限公司 | 一种三维色彩查找表的生成方法及显示设备 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2643951B2 (ja) | 1987-09-01 | 1997-08-25 | キヤノン株式会社 | 画像処理方法 |
GB8723203D0 (en) * | 1987-10-02 | 1987-11-04 | Crosfield Electronics Ltd | Interactive image modification |
US5065149A (en) * | 1989-11-09 | 1991-11-12 | Document Technologies, Inc. | Scanned document image resolution enhancement |
US5271096A (en) * | 1990-07-12 | 1993-12-14 | Light Source Computer Images, Inc. | Method and structure for calibrating a computer generated image |
US5202935A (en) * | 1990-10-19 | 1993-04-13 | Matsushita Electric Industrial Co., Ltd. | Color conversion apparatus for altering color values within selected regions of a reproduced picture |
JPH06169394A (ja) | 1992-11-27 | 1994-06-14 | Dainippon Screen Mfg Co Ltd | 色調修正装置 |
US5335097A (en) * | 1992-04-21 | 1994-08-02 | Dainippon Screen Mfg. Co., Ltd. | Color tone correcting apparatus |
JP2856386B2 (ja) * | 1994-10-26 | 1999-02-10 | 松下電器産業株式会社 | 色彩調整装置及びその方法 |
JPH08191400A (ja) | 1995-01-11 | 1996-07-23 | Dainippon Printing Co Ltd | カラー画像の色調整方法及び装置 |
JPH0998299A (ja) * | 1995-10-02 | 1997-04-08 | Canon Inc | 画像処理装置及び方法 |
DE69718227T2 (de) | 1996-04-02 | 2003-09-25 | Sony Corp | Weissabgleichseinstellungsvorrichtung |
JPH10112869A (ja) | 1996-10-04 | 1998-04-28 | Fuji Photo Film Co Ltd | 画像合成装置および方法ならびに画像印刷システムおよび方法 |
US6137903A (en) * | 1997-06-03 | 2000-10-24 | Linotype-Hell Ag | Color transformation system based on target color image |
JPH11187351A (ja) | 1997-12-22 | 1999-07-09 | Canon Inc | 撮像装置及びその制御方法 |
JP3478192B2 (ja) * | 1999-08-20 | 2003-12-15 | 日本電気株式会社 | 画面重畳表示型情報入出力装置 |
JP3708397B2 (ja) | 2000-03-03 | 2005-10-19 | 三菱電機株式会社 | 色彩特性変換方法及び画像表示装置 |
US6894806B1 (en) * | 2000-03-31 | 2005-05-17 | Eastman Kodak Company | Color transform method for the mapping of colors in images |
JP2002314803A (ja) * | 2001-01-17 | 2002-10-25 | Seiko Epson Corp | 画像ファイルの生成および出力 |
JP3539394B2 (ja) * | 2001-03-26 | 2004-07-07 | ミノルタ株式会社 | 画像処理装置、プログラムおよび記録媒体 |
-
2003
- 2003-08-06 EP EP03254895.0A patent/EP1389003B1/en not_active Expired - Lifetime
- 2003-08-08 US US10/637,881 patent/US7453598B2/en not_active Expired - Fee Related
- 2003-08-08 CN CNB031531946A patent/CN100394790C/zh not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7671900B2 (en) | 2005-01-07 | 2010-03-02 | Canon Kabushiki Kaisha | Imaging apparatus and its control method displaying an electronic viewfinder screen and a frame within the screen including color information |
CN1801893B (zh) * | 2005-01-07 | 2010-05-12 | 佳能株式会社 | 摄像装置及其控制方法 |
US7864226B2 (en) | 2005-10-21 | 2011-01-04 | Canon Kabushiki Kaisha | Image sensing apparatus and control method thereof |
US7956906B2 (en) | 2006-09-29 | 2011-06-07 | Casio Computer Co., Ltd. | Image correction device, image correction method, and computer readable medium |
CN101426084B (zh) * | 2007-10-31 | 2013-02-27 | 三星电子株式会社 | 数字摄影设备 |
CN105303508B (zh) * | 2014-07-04 | 2019-06-14 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN105303508A (zh) * | 2014-07-04 | 2016-02-03 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN109104633A (zh) * | 2018-08-30 | 2018-12-28 | Oppo广东移动通信有限公司 | 视频截图方法、装置、存储介质及移动终端 |
CN109104633B (zh) * | 2018-08-30 | 2021-09-28 | Oppo广东移动通信有限公司 | 视频截图方法、装置、存储介质及移动终端 |
CN109272922A (zh) * | 2018-11-30 | 2019-01-25 | 北京集创北方科技股份有限公司 | 显示设备的驱动方法和驱动装置 |
CN109605429A (zh) * | 2018-12-06 | 2019-04-12 | 宁波宝尼尔厨具电器有限公司 | 可清洗型弯头式去胡刀 |
CN109605429B (zh) * | 2018-12-06 | 2020-10-09 | 蒋玉素 | 可清洗型弯头式去胡刀 |
CN110085192A (zh) * | 2019-04-01 | 2019-08-02 | 南京巨鲨显示科技有限公司 | 一种医用显示器颜色曲线的校准方法 |
Also Published As
Publication number | Publication date |
---|---|
US20040036898A1 (en) | 2004-02-26 |
EP1389003A3 (en) | 2006-03-08 |
US7453598B2 (en) | 2008-11-18 |
CN100394790C (zh) | 2008-06-11 |
EP1389003A2 (en) | 2004-02-11 |
EP1389003B1 (en) | 2014-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1487737A (zh) | 图像处理方法及装置和彩色变换表生成方法及装置 | |
CN1526115A (zh) | 降低图象处理装置的更新频率的方法和系统 | |
CN1645942A (zh) | 图像处理装置、摄影装置、图像处理方法及图像处理程序 | |
CN1645941A (zh) | 图像处理装置、摄像装置、图像处理方法、图像数据输出方法 | |
CN100345158C (zh) | 用于产生涉及几何失真的格式化信息的方法和系统 | |
CN1168010C (zh) | 信息处理设备和方法 | |
CN1645903A (zh) | 图像处理装置、图像处理方法及图像处理程序 | |
CN1255766C (zh) | 图像处理方法及其装置 | |
CN1645904A (zh) | 图像处理方法、图像处理装置及图像记录装置 | |
CN1212023C (zh) | 彩色特性测量装置和彩色特性测量方法 | |
CN1867940A (zh) | 成像装置及其图像处理方法 | |
CN1134727C (zh) | 打印机 | |
CN1874410A (zh) | 成像装置和成像装置中的成像结果处理方法 | |
CN1310521C (zh) | 图象信号处理设备和方法、学习设备和方法以及记录介质 | |
CN1675919A (zh) | 摄像系统及图像处理程序 | |
CN1764228A (zh) | 图像处理装置、图像形成装置、图像处理方法 | |
CN1774031A (zh) | 图像处理装置及图像处理方法、以及计算机程序 | |
CN1592915A (zh) | 用户可定义的图像基准点 | |
CN1732682A (zh) | 图像处理装置及图像处理程序 | |
CN1809116A (zh) | 图像处理装置、方法、图像形成装置、图像读取处理装置 | |
CN101031022A (zh) | 图像处理装置,图像形成装置,图像处理装置的控制方法 | |
CN1828432A (zh) | 颜色判断装置及颜色判断方法 | |
CN1692655A (zh) | 图像显示装置、图像显示方法和记录图像显示程序的计算机可读取的记录媒体 | |
CN1643894A (zh) | 图像处理设备和方法 | |
CN101079953A (zh) | 信息处理系统、信息处理设备、信息处理方法以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080611 Termination date: 20180808 |