CN102752477A - 图像补偿设备、图像处理装置及其方法 - Google Patents
图像补偿设备、图像处理装置及其方法 Download PDFInfo
- Publication number
- CN102752477A CN102752477A CN2012101148257A CN201210114825A CN102752477A CN 102752477 A CN102752477 A CN 102752477A CN 2012101148257 A CN2012101148257 A CN 2012101148257A CN 201210114825 A CN201210114825 A CN 201210114825A CN 102752477 A CN102752477 A CN 102752477A
- Authority
- CN
- China
- Prior art keywords
- image
- colourity
- value
- cyb
- crg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 136
- 238000012545 processing Methods 0.000 title claims description 65
- 238000001914 filtration Methods 0.000 claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005562 fading Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 9
- 239000000975 dye Substances 0.000 description 9
- 238000007639 printing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910001562 pearlite Inorganic materials 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000010023 transfer printing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40006—Compensating for the effects of ageing, i.e. changes over time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6091—Colour correction or control controlled by factors external to the apparatus by environmental factors, e.g. temperature or humidity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
提供一种图像补偿装置,包括:输入单元,接收照片图像的输入;高斯滤波单元,对照片图像执行高斯滤波;划分图生成单元,将执行了高斯滤波的照片图像转换到包括多个色彩分量的色彩空间中,然后基于色彩空间中的色彩坐标值生成色度划分图;计算单元,使用色度划分图来计算每个各自区域的平均色度;以及补偿单元,使用照片图像的每个各自区域的平均色度来补偿每个各自区域的色度。因此,可以有效地对输入到输入单元的褪色图像进行补偿。
Description
技术领域
本发明一般发明概念涉及补偿图像的方法和装置、以及处理图像的方法和装置,更具体地,涉及补偿褪色图像的方法和装置、以及处理褪色图像的方法和装置。
背景技术
照片作为一种回忆过去的媒介已经使用了很长一段时间。最近,由于数字相机被迅速推广,许多用户将照片存储在存储器中,或者将照片上载到网页而不打印照片,以便观看照片。然而,即使在这样的条件下,仍会有大量的用户打印和使用照片。
通常,由相机捕获的图像的色度(chromaticity)根据在捕获过程中使用的光源的色度而变化。然而,随着时间过去,照片的色度改变,从而照片通常变得褪色。具体地讲,褪色速度或褪色程度根据诸如温度或湿度、相纸的特性、或用于打印照片的材料的特性之类的环境而确定。
从而,如果用户没有褪色照片的原始数据或底片,则用户不能获得具有原始色度的照片。
从而,已经开发了对褪色照片进行补偿以具有原始色度的技术。然而,这些技术用于补偿照片的所有部分的色度发生均匀改变的照片。从而,很难补偿色度发生非均匀改变的照片。
因此,需要补偿照片图像以具有与原始色度相似的色度的技术。
发明内容
本发明一般发明概念提供补偿图像的方法和装置、以及处理图像的方法和装置,从而有效地补偿褪色图像。
本发明一般发明概念的附加特征和功用将在下面的描述中部分地阐明,并且部分地、将从描述中变得清楚,或者可以通过对本发明一般发明概念的实践而习知。
本发明一般发明概念的上述和/或其他特征和功用可以通过提供图像补偿装置来实现,图像补偿装置包括:输入单元,接收照片图像的输入;高斯滤波单元,对照片图像执行高斯滤波;划分图(division-map)生成单元,将执行了高斯滤波的照片图像转换到包括多个色彩分量的色彩空间中,然后基于色彩空间中的色彩坐标值生成色度划分图;计算单元,通过使用色度划分图来计算每个各自(each respective)区域的平均色度;以及补偿单元,通过使用照片图像的每个各自区域的平均色度来补偿每个各自区域的色度。
图像补偿装置还可以包括转换单元,将执行了高斯滤波的照片图像转换到C-M-Y色彩空间中,其中,划分图生成单元将执行了高斯滤波的照片图像转换到L-Cyb-Crg色彩空间中,并且基于Cyb-Crg色彩坐标值生成色度划分图,并且其中,补偿单元通过使用由转换单元转换的CMY值和每个各自区域的平均色度来补偿色度。
补偿单元可以通过使用将Cyb-Crg空间中的每个信道(channel)的大小转换为CMY值而获得的权重来补偿照片图像。
划分图生成单元可以检查每个像素的Cyb值和Crg值,其中,当Cyb值等于或大于第一预定阈值时,划分图生成单元确定相应像素为黄色,其中,当Cyb值小于第一预定阈值时,划分图生成单元确定相应像素为蓝色,其中,当Crg值等于或大于第二预定阈值时,划分图生成单元确定相应像素为红色,并且其中,当Crg值小于第二预定阈值时,划分图生成单元确定相应像素为绿色。
图像补偿装置还可以包括饱和度和对比度调整单元,用于调整由补偿单元补偿了色度的图像的饱和度和对比度。
计算单元可以根据如下等式计算每个CMY值的平均色度:
其中,“NPn”是区域“n”的像素的数量,“n”是每个区域,并且R(x,y,n)、G(x,y,n)和B(x,y,n)分别是区域“n”的每个像素的R值、G值和B值。
补偿单元可以根据如下等式补偿照片图像的每个各自区域的色度:
其中,Wi(x,y)是CMY色彩空间中的每个信道的像素的权重,Lavg(n)是每个各自区域的平均亮度,而Ii(x,y,n)是输入照片图像的每个各自像素的色度。
本发明一般发明概念的上述和/或其他特征和功用还可以通过提供补偿图像的方法来实现,该方法包括:当照片图像被输入时,对照片图像执行高斯滤波;将执行了高斯滤波的照片图像转换到包括多个色彩分量的色彩空间中,然后基于色彩空间中的色彩坐标值生成色度划分图;通过使用色度划分图来计算每个各自区域的平均色度;以及通过使用照片图像的每个各自区域的平均色度来补偿每个各自区域的色度。
该方法还可以包括将执行了高斯滤波的照片图像转换到C-M-Y色彩空间中,其中,色度划分图的生成可以包括将执行了高斯滤波的照片图像转换到L-Cyb-Crg色彩空间中,并且基于Cyb-Crg色彩坐标值生成色度划分图,并且其中,所述补偿包括通过使用从照片图像转换的CMY值和每个各自区域的平均色度来补偿色度。
所述补偿可以包括通过使用将转换的Cyb-Crg空间中的每个信道的大小转换为CMY值而获得的权重来补偿照片图像。
色度划分图的生成可以包括检查每个像素的Cyb值和Crg值,当Cyb值等于或大于第一预定阈值时,确定相应像素为黄色;当Cyb值小于第一预定阈值时,确定相应像素为蓝色;当Crg值等于或大于第二预定阈值时,确定相应像素为红色,以及当Crg值小于第二预定阈值时,确定相应像素为绿色。
该方法还可以包括调整补偿了色度的图像的饱和度和对比度。
所述计算可以包括根据如下等式计算每个CMY值的平均色度:
其中,“NPn”是区域“n”的像素的数量,“n”是每个区域,并且R(x,y,n)、G(x,y,n)和B(x,y,n)分别是区域“n”的每个像素的R值、G值和B值。
所述补偿可以包括根据如下等式补偿照片图像的每个各自区域的色度:
其中,Wi(x,y)是CMY色彩空间中的每个信道的像素的权重,Lavg(n)是每个各自区域的平均亮度,而Ii(x,y,n)是输入照片图像的每个各自像素的色度。
本发明一般发明概念的上述和/或其他特征和功用还可以通过提供图像处理装置来实现,图像处理装置包括:显示单元,显示关于多个补偿色度的方法的选择窗口;以及色度补偿单元,通过使用在选择窗口中选择的色度补偿方法来补偿照片图像的色度,其中,色度补偿方法可以包括基于L-Cyb-Crg色彩空间的补偿方法和基于光源的估计的至少一个方法。
图像处理装置还可以包括控制器,用于控制显示单元来显示由色度补偿单元补偿的照片图像,其中,照片图像可以包括下述图像中的至少一个:由安装在图像处理装置中的成像设备捕获的图像、从外部设备传送的图像、以及从安装在图像处理装置内部或外部的记录介质中读取的图像。
基于L-Cyb-Crg色彩空间的补偿方法可以是色度补偿方法,包括对照片图像执行高斯滤波,将照片图像转换到L-Cyb-Crg彩色空间中,基于Cyb-Crg色彩坐标值生成色度划分图,通过使用色度划分图计算每个各自区域的平均色度,然后通过使用照片图像的C-M-Y图像和所计算的照片图像的每个各自区域的色度来补偿每个各自区域的色度。
本发明一般发明概念的上述和/或其他特征和功用还可以通过提供在图像处理装置中的处理图像的方法来实现,该方法包括当操作补偿照片图像的程序时,显示界面窗口来补偿色度,当在界面窗口中选择了要补偿的照片图像时,显示选择的照片图像,并且接收对照片图像的要补偿的区域的选择,当选择了要补偿的区域时,通过使用基本补偿方法来补偿选择的区域,显示通过使用基本补偿方法补偿的图像,当选择了检查通过使用不同的补偿方法获得的结果的菜单时,显示通过使用至少一个不同的补偿方法补偿的至少一个图像,当完成了使用基本补偿方法或所述不同的补偿方法的色度补偿时,显示调整饱和度和对比度的菜单,以及当完成了饱和度和对比度的调整时,显示包括关于最终图像的至少一个运行命令的图像。
基本补偿方法和不同的补偿方法中的任何一个可以是基于L-Cyb-Crg色彩空间的补偿方法,该方法包括对照片图像执行高斯滤波,将照片图像转换到L-Cyb-Crg色彩空间中,基于Cyb-Crg色彩坐标值生成色度划分图,通过使用色度划分图计算每个各自区域的平均色度,然后通过使用照片图像的C-M-Y图像和所计算的照片图像的每个各自区域的色度来补偿每个各自区域的色度。
本发明一般发明概念的上述和/或其他特征和功用还可以通过提供处理图像的方法来实现,该方法包括:分别显示根据多个补偿色度的方法补偿的照片图像,当选择了所显示的照片图像中的一个照片图像时,通过使用对应于所选择的照片图像的色度补偿方法来补偿原始照片图像,以及执行打印、传送和存储所补偿的照片图像中的至少一个操作,其中所述多个补偿色度的方法可以包括基于L-Cyb-Crg色彩空间的补偿方法和基于光源的估计的至少一个补偿方法,并且其中,所述基于L-Cyb-Crg色彩空间的补偿方法是包括如下操作的色度补偿方法:对照片图像执行高斯滤波,将所述照片图像转换到L-Cyb-Crg色彩空间中,基于Cyb-Crg色彩坐标值生成色度划分图,通过使用色度划分图计算每个各自区域的平均色度,然后通过使用照片图像的C-M-Y图像和所计算的照片图像的每个各自区域的色度来补偿每个各自区域的色度。
根据发明概念的上述特征,可以有效地处理褪色图像。
附图说明
通过下面结合附图的对示范性实施例的描述,本发明一般发明概念的这些和/或其它特征和功用将会变得清楚和更容易理解,其中:
图1和图2是示出根据本发明一般发明概念的各个示范性实施例的图像补偿装置的框图;
图3示出原始照片和暴露于阳光的照片的扫描图像;
图4是示出褪色图像的色度变化的图形;
图5是示出褪色图像的饱和度变化的图形;
图6是示出褪色图像的亮度变化的图形;
图7和图8是示出随时间过去的色调(hue)变化的图像和图形;
图9是示出Cyb-Crg色彩平面的色彩坐标图像;
图10是根据发明概念的示范性实施例的色度划分图的示图;
图11是根据发明概念的示范性实施例的生成色度划分图的方法的流程图;
图12是示出调整对比度的伽马曲线的各个示例的图形;
图13是示出调整色度的HSI色彩空间的图形;
图14是示出根据亮度的改善的色度的曲线的图形;
图15是根据发明概念的示范性实施例的处理褪色图像的系统的操作的流程图;
图16到图22是示出根据发明概念的示范性实施例的、图像处理操作的界面窗口的示图;
图23是根据发明概念的示范性实施例的图像处理装置的框图;
图24是根据发明概念的示范性实施例的补偿图像的方法的流程图;
图25和图26是根据发明概念的示范性实施例的处理图像的方法的流程图;
图27和图28示出了根据本发明一般发明概念的示范性实施例的图像补偿系统;以及
图29示出了根据本发明一般发明概念的示范性实施例的补偿输入图像的皮肤区域的窗口界面。
具体实施方式
现在将详细参照本发明一般发明概念的示范性实施例,在附图中示出本发明一般发明概念的示例,其中遍及附图相同的参考标号指示相同的元素。以下通过参照附图描述示范性实施例以阐明本发明一般发明概念。
图1和图2是示出根据发明概念的各个示范性实施例的图像补偿装置的框图。图1和图2的图像补偿装置可以具体体现为单个独立的电子设备,或者,可以具体体现为安装在单个独立电子设备中的模块、单元或芯片。
图1和图2的图像补偿装置100可以通过使用基于转换的色彩空间的补偿方法来补偿图像,所述色彩空间包括,但不限于L-Cyb-Crg色彩空间和RGB色彩空间。
在图1和图2中示出的至少一个示范性实施例中,图像补偿装置100划分输入到输入单元110的褪色照片的色度,以便估计和补偿褪色的照片。褪色的输入照片的色度可以以非均匀的方式分布。例如,在褪色照片中,图像的一些部分可能具有非均匀的色度分布,而图像的一些部分具有均匀的色度分布。从而,为了划分褪色图像的不同色度,图像补偿装置100可以使用L-Cyb-Crg色彩空间。L-Cyb-Crg色彩空间指的是具有亮度信道L和Cyb、Crg的轴的互补色(complementary colors)。在这种情况下,L指示白色和黑色的层次(gradation),Cyb指示黄色和蓝色,并且Crg指示红色和绿色。
褪色图像通常具有整体的红色表现。从而,当在L-Cyb-Crg色彩空间中对褪色图像执行色彩划分时,在Crg信道检测到大量红色分量,并且在Cyb信道检测到大量黄色分量。
图像补偿装置100通过使用L-Cyb-Crg色彩空间划分褪色图像的色度,并且补偿划分的每个各自区域的色度。
图像补偿装置100的构造的示例示出在图1和图2中。
参照图1,图像补偿装置100包括输入单元110、高斯滤波单元120、转换单元130、划分图生成单元140、计算单元150、以及补偿单元160。
输入单元110可以接收包括RGB信道的照片图像。RGB色彩信道指的是照片图像的红色(R)分量、绿色(G)分量和蓝色(B)分量。可以分开地分析每个色彩信道以确定存在于单个各自色彩信道上的色彩信息。更具体地说,输入单元110可以接收由放置在图像补偿装置100外部的成像单元(未示出)或相机捕获的图像,或者接收存储在分离的存储器(未示出)中的图像。或者,输入单元110可以从放置在图像补偿装置100外部的独立的设备、模块、单元、芯片等接收图像。在这种情况下,输入单元110可以接收一般图像以及褪色图像。也就是说,根据发明概念的各个示范性实施例,可以由图像补偿装置或图像处理装置补偿未褪色的图像。此外,可以补偿绘画图像以及照片图像。
高斯滤波单元120对由输入单元110接收的照片图像执行高斯滤波(filtering)。高斯滤波单元120对包括在照片图像中的每个RGB信道应用高斯滤波。详细地,可以根据下面的等式1执行高斯滤波。
Ri=Ii(x,y)*F(x,y)
在等式1中,“I”表示输入图像的RGB信道。“F”表示高斯滤波器(filter)。可以使用高斯滤波器从而使包括在褪色图像中的噪声被模糊(blur),并且可以降低当补偿每个各自区域的划分的色度时可能发生的轮廓线现象(contourphenomenon)。
当高斯滤波单元120执行高斯滤波时,划分图生成单元140将执行了高斯滤波的图像Ri转换到L-Cyb-Crg色彩空间中。此外,划分图生成单元140基于Cyb-Crg的色彩坐标值生成色度划分图。在这种情况下,划分图生成单元140可以对每个像素确定8位的空间,并且可以对每个色度轴确定1位(abit),以便定义每个像素的色度。详细地,如下面表1中所示,基于划分的色度来设置对应于每个像素位置的位。
表1
Y | B | R | G | ||||
1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 |
如表1中所示,划分图生成单元140可以标记位,可以比较每个位的色度,并且可以获得相应位置的色度值。从而,通过执行高斯滤波而模糊的图像可以根据色度划分到区域中。稍后将描述划分图。
计算单元150通过使用由划分图生成单元140生成的划分图来计算每个各自区域的平均色度。详细地,计算单元150估计划分图中的每个划分的区域中的褪色的色度。在这种情况下,被高斯模糊(Gaussian-blurred)的RGB图像被转换到CMY色彩空间中。在转换到CMY色彩空间中之后,可以使用划分值来计算每个各自区域的平均色度,以及每个各自信道的平均色度。在这种情况下,基于灰色世界假设(gray world assumption)来估计和补偿色度。例如,对打印介质应用灰色世界假设允许假设图像中的每个各自信道的平均是灰色的。此外,在灰色世界假设下,图像的色度被划分到具有LCybCrg值的互补色彩空间中,并且基于划分的色度来估计每个各自区域的褪色色度。
计算单元150在CMY色彩空间中对褪色图像应用灰色世界假设。计算单元150可以根据下面的等式2计算每个CMY值的平均色度。
在等式2中,“NPn”表示区域“n”的像素的数量,“n”表示每个区域,并且R(x,y,n)、G(x,y,n)和B(x,y,n)分别表示区域“n”的每个像素的R值、G值和B值。
转换单元130将执行了高斯滤波的照片图像、或通过输入单元110输入到转换单元130的照片图像转换到CMY色彩空间中。也就是说,如上所述,在计算单元150的计算操作期间,被高斯模糊的RGB图像被转换到CMY色彩空间中。这个操作可以由转换单元130执行,然后,结果值可以被提供给计算单元150。
此外,转换单元130可以将输入图像本身转换到CMY色彩空间中,并且可以向补偿单元160提供结果值。
补偿单元160通过使用由转换单元130转换的CMY的值、以及由计算单元150计算的、包括每个CMY值的平均色度值的值来补偿照片图像的每个各自区域的色度。更具体地说,补偿单元160可以通过将由计算单元150计算的每个各自区域的平均色度乘以对亮度的平均色度比率来去除褪色的色度。也就是说,补偿单元160可以根据下面的等式3执行补偿。
在等式3中,Wi(x,y)表示CMY色彩空间中的每个信道的像素的权重。也就是说,Wi(x,y)表示通过将转换的Cyb-Crg空间中的每个信道的大小转换为CMY值而获得的权重。
更具体地说,在等式3中,为了确定Wi(x,y),使用通过将执行了高斯卷积的图像转换为Cyb-Crg而获得的值。在这种情况下,当Cyb(x,y)等于或大于0时,将Cyb(x,y)确定为黄色。当Cyb(x,y)小于0时,将Cyb(x,y)确定为蓝色。当Crg(x,y)等于或大于0时,将Crg(x,y)确定为红色。当Crg(x,y)小于0时,将Crg(x,y)确定绿色。通过在各自区域Y、R、G和B中将Cyb(x,y)和Crg(x,y)除以最大值Ymax、Bmax、Rmax和Gmax来对于每个各自信道归一化Cyb(x,y)和Crg(x,y),并且将通过Cyb-Crg表达的值转换为CMY色彩空间中的值。在这种情况下,通过使用黄色本身、C=(G+B)/2、以及M=(R+B)/2,计算归一化的Wi(i=cmy)。补偿单元160可以通过使用上述方法执行补偿。
在上面的等式3中,Lavg(n)可以是每个各自区域的平均亮度,并且Ii(x,y,n)可以是输入照片图像的每个各自像素的色度。Ii(x,y,n)是通过将输入到输入单元110的照片图像在转换单元130中转换为CMY图像而获得的结果值。
除了图1的图像补偿装置,图2的图像补偿装置100还包括饱和度和对比度调整单元170。
在图2中,饱和度和对比度调整单元170调整由补偿单元160补偿了色度的图像的饱和度和对比度。也就是说,关于褪色图像,由于增加的亮度而导致的降低的饱和度和对比度降低不能仅通过补偿色度而补偿。从而,还可以对图像的饱和度和对比度执行分开的补偿。
首先,饱和度和对比度调整单元170对黑暗区域(例如,小于0.5)应用伽马曲线,以便根据图像的亮度自适应地调整对比度。伽马曲线可以如下定义:
γ=1+|0.5-meanI|
...(4)
饱和度和对比度调整单元170可以根据图像的平均亮度应用不同的伽马曲线。也就是说,当图像的平均亮度较低时,可以通过应用x1/r来提高图像的对比度,而当图像的平均亮度较高时,可以通过应用xr来提高图像的对比度。图12是示出伽马曲线的各个示例的图形。
饱和度和对比度调整单元170可以根据色调、饱和度和强度(HIS)色彩空间中的图像的亮度来改善饱和度,以便提高由图像褪色而降低的饱和度。可以对于亮度值调整在10%到40%范围内的饱和度。在这种情况下,可以通过主观评估测试来确定缺省值。例如,可以将20%确定为缺省值。
图13是示出HSI色彩空间的图形。图14是示出根据发明概念的示范性实施例的由饱和度和对比度调整单元170改善图像饱和度的情况的图形。
作为改善饱和度的结果,诸如皮肤图像的图像部分也可能变得比仅补偿色度的图像更平滑。
图3是示出照片图像的色度随时间变化的一组图像。
通常,由相机捕获的图像的色度根据光源的色度而变化。可以根据下面的等式5定义这种使用光识别色彩的过程。
Qi=∫Si(λ)R(λ)L(λ)dλ
...(5)
在等式5中,“Qi”是识别的色彩,“Si”是人类视觉的响应函数,“R”是目标的反射率,“L”是光源,并且“i”是每个信道R、G或B。基于均匀光源的影响和目标的反射率来确定使用光而捕获的图像。
然而,打印图像的褪色程度可能根据染料的特性、相纸的特性、光源、环境等而变化。也就是说,不同于当使用均匀光源时色度的改变,即使当图像的多个部分受到同一光源的影响,图像的多个部分的褪色程度也可能根据图像的多个部分的色彩而不同。
为了分析褪色图像的这种特性,可以使用诸如Frontier 570照片打印机之类的光印机(photoprinter)来打印补块图像(patch image)。将第一打印图像保存在室内的暗室中,而将第二打印图像暴露于户外日光大约8周以使其褪色。结果示出在图3中。在这种情况下,环境温度是大约40℃到大约50℃的高温,并且环境湿度为低。使用Spectrolino测量第一打印图像和第二打印图像的亮度、色调和饱和度的变化。
图3示出原始图像以及暴露于日光2周、4周、6周7周和8周的图像的扫描图像。如图3中所示,随时间过去,原始图像的色度逐渐改变为红色色度。
图4到图6是分别示出褪色图像的色度、饱和度和亮度变化的图形。
如图4到图6中所示,褪色图像的色度集中在红色,并且褪色图像的饱和度被降低。此外,随时间过去,褪色图像的亮度提高。在这种情况下,关于白色补块(patch)和黑色补块,白色补块的色度几乎不变,但是黑色补块的色度发生了显著的改变。此外,白色补块的饱和度几乎不改变。这些变化不同于在作为公共光源模型的白色补块Retinex算法(White Patch Retinex)的假设下的情况。白色补块Retinex算法基于由于白色物体完全反射光而获得光源的色度的假设。另一方面,在褪色图像中,包含染料的补块比没有染料的补块更受光源的影响。
图7示出在原始图像和8周之后的图像之间的比较。图8是示出随时间过去的色调的变化的图形。
参照图8,已知色调的变化是随时间顺序的。原始图像的补块具有不同色调值。然而,随时间过去,补块的色调值集中在红色区域并且彼此重叠。在这种情况下,补块的色调值移动到相同的红色区域。然而,移动方向和移动量不是恒定的。这是因为不同于等式5,不是基于均匀光源的影响和目标的反射率来确定补块图像,而是各自补块的变化根据依据等式6定义的各个参数而不同。
在等式6中,F是褪色图像,I是原始图像,以及E是光源。通常,可以通过随时间的光源和原始图像的乘积来表示褪色图像的模型,如等式6的上部等式所示。详细地,可以如等式6的下部等式中所示的,通过染料特性P、湿度H、温度T和噪声N来表示该模型。在基于光源的估计的补偿图像的传统方法中,考虑到除了光源和目标的反射率以外的各个参数,但是可以忽略这些参数。然而,当补偿褪色图像时,湿度、温度、光源类型以及染料特性大大地影响在染料的物理变化,从而不可以忽略。然而,因为褪色图像被暴露于各种环境,所以很难估计褪色图像的湿度、温度和光源类型。因此,可以将与原始图像相似的补偿方法应用于褪色图像。
从而,可以使用根据等式5的、基于人类视觉的色彩识别模型的、光源的估计的补偿图像的方法。也就是说,如果使用单个均匀光源,则图像的所有色调的变化都是均匀的,从而估计的色度可以应用于所有区域。然而,如上所述,可以获得对应于褪色图像的不同结果。也就是说,即使图像受单个均匀光源的影响,打印图像的色调的变化也根据该打印图像的染料特性和环境特性而不同。
考虑这点,如图1和图2中所示,图像补偿装置100可以使用基于L-Cyb-Crg色彩空间的补偿方法。
不同于在基于光源的估计的补偿图像的传统方法中假定的、根据等式5的人类视觉的色彩识别模型,在基于L-Cyb-Crg色彩空间的补偿方法中,当褪色图像是数字图像时考虑褪色图像的色度。
在两个假设下补偿褪色图像的色彩。第一,相同色彩的补块被改变为具有相同的色彩。第二假设是灰色世界假设。基于所述假设,基于L-Cyb-Crg色彩空间来划分色度,基于划分的色度估计每个各自区域的色度,然后可以补偿估计的色度。
图9示出L-Cyb-Crg色彩空间。如上所述,Cyb指示黄色和蓝色,而Crg指示红色和绿色。
在至少一个示范性实施例中,可以通过使用CMY色彩空间而不是传统的RGB色彩空间来补偿褪色图像。因此,可以实现对各种染料的褪色图像进行补偿。
从而,可以补偿不可预知的变化以及可预知的变化。
图10是根据发明概念的示范性实施例的色度划分图的示图。参照图10,可以将单个照片图像划分成多个色彩区域。在图10中示出的至少一个示范性实施例中,照片图像被划分为区域(B,R)和区域(Y,R)。
可以以各种方式生成色度划分图。图11是根据发明概念的示范性实施例的生成色度划分图的方法的流程图。
参照图11,当执行高斯滤波以便获得高斯模糊的图像时(S1110),可以将所述图像转换到基于CMY色彩空间的L-Cyb-Crg色彩空间中(S1120)。
然后,基于转换的图像生成划分图(S1130)。
更具体地说,分析包括在转换的图像中的每个像素的Cyb和Crg。在这种情况下,当Cyb(x,y)等于或大于0时,像素被确定为黄色。当Cyb(x,y)小于0时,像素被确定为蓝色。当Crg(x,y)等于或大于0时,像素被确定为红色。当Crg(x,y)小于0时,像素被确定为绿色。因此,如表1中所示,多个位值可以指示每个各自像素的区域,并且可以生成每个各自像素的划分图。
已经在图2的饱和度和对比度调整单元170的详细说明中描述了图12到图14中示出的图形,从而此处省略对所述图形的详细说明。
上述图像补偿装置100可以安装或使用在各种类型的图像处理装置中。所述图像处理装置可以具体体现为在诸如纸张、屏幕或存储器之类的各种记录介质上形成图像的装置,例如,诸如打印机、扫描仪、复印机或多功能打印机之类的成像装置、或诸如电视(TV)、监视器、膝上型计算机或个人电脑(PC)的显示装置。
根据发明概念的各个示范性实施例,图像处理装置可以通过仅使用基于L-Cyb-Crg色彩空间的补偿方法来补偿图像,或者,可以通过使用基于L-Cyb-Crg色彩空间的补偿方法以及基于光源的估计的传统方法来补偿图像。
也就是说,图像处理装置可以通过使用上述L-Cyb-Crg色彩空间和至少一个传统方法示出各个图像,并且可以允许用户选择期望的图像。传统方法的示例可以包括GWA,WR、CGWR等。从而,用户可以直接预览以各种方式补偿的图像,并且可以选择期望的补偿方法。因此,用户可以获得反映了用户的意见的补偿方法。
灰色世界假设(Gray World Assumption,GWA)是指基于对于每个信道的图像的平均色度值对应于灰色这样一个假设的校正色度的方法。也就是说,根据GWA,计算对于每个信道的图像的平均色度值,并基于计算结果来计算补偿系数。白色补块Retinex算法(white patch retinex,WR)是指基于具有图像的最大亮度值的像素的RGB值是光源的色度这样一个假设的校正色度的方法。组合灰色世界和白色补块Retinex算法(combining gray world andwhite patch retinex,CGWR)是指通过对能够满足所有GWA和WR假设的等式进行建模并计算该等式的系数以补偿图像的校正图像的方法。
图15是根据发明概念的示范性实施例的、处理褪色图像的系统的操作的流程图。参照图15,当获得褪色图像时(S1510),在褪色图像中选择照片区域。褪色图像可以通过由数字相机直接捕获褪色图像来获得,可以通过由数字扫描器扫描褪色图像来获得,和/或可以从其它服务器和/或存储介质获得。
照片区域可以由用户从所获得的图像中人工地选择。
从而,当选择了照片图像时,可以通过使用基本补偿方法来补偿照片图像的色度,基本补偿方法包括但不限于基于光源的估计的传统的色度补偿方法。然后,显示补偿了色度的结果图像(S1530)。
当用户预览通过使用基本补偿方法补偿的结果图像时,如果用户对结果图像满意,则可以对结果图像执行打印、传送和存储中的至少一个操作(S1560、S1570和S1580)。用户可以在界面窗口上选择打印菜单、传送菜单、存储菜单等。根据选择的菜单,可以打印结果图像本身,或者,结果图像可以传送到外部装置或可以存储在存储器中。
当用户不满意通过使用基本补偿方法补偿色度的结果图像时,用户可以选择菜单来获得通过使用不同的补偿方法而补偿的图像(S1540)。不同的补偿方法可以包括但不限于上面详细描述的L-Cyb-Crg色彩空间补偿方法。响应于选择不同的补偿方法,可以改变上述基本补偿设置以便可以执行不同的补偿方法(S1550)。
图16到图22是示出根据发明概念的示范性实施例的图像处理操作的界面窗口的示图。
参照图16,当在图像处理装置100中运行补偿褪色图像的程序时,在图像处理装置100的显示器185中显示对应于该程序的界面窗户180。界面窗口180可以显示各个菜单以扫描和/或打开要处理的照片图像。用户可以选择与获得用户的期望图像的方法相应的菜单。
图17示出在选择“载入褪色图像”菜单的情况下的屏幕。参照图17,显示选择要载入的照片的选择区域和菜单。用户可以通过输入存储褪色图像的文件地址来选择照片。选择的照片190可以显示在界面窗口180的选择区域中。
图18示出屏幕,该屏幕示出在选择的照片190中选择要补偿的补偿区域的方法。用户可以通过使用光标210拖曳和/或限定区域来选择和/或定义要补偿的区域200。光标210可以使用与图像处理装置100包括在一起的一个或多个按键来操作,和/或通过经由人类触摸而接触显示器185来操作。例如,图像处理装置100的用户可以触摸显示光标210的显示器185的屏幕的附近,并且可以在显示屏幕上移动一个或多个手指来拖曳光标210和/或调整光标的大小,以指示和/或限定要补偿的选择的照片190的区域200。
如上所述,图像的亮区和暗区会受到长时段暴露于光的不同的影响。例如,亮区的色度可能不会通过曝光量而发生改变,而暗区的色度则会被显著地影响。此外,皮肤图像的改善的饱和度也会变得比仅补偿色度的图像更平滑。此外,图像的多个部分的褪色程度可能根据图像的多个部分的色彩而不同。因此,包括在图像中的人的暗皮肤区域的染料可能比用于亮皮肤区域的染料具有更高的褪色程度。
因此,图29中示出的至少一个示范性实施例示出图像处理装置100可以检测包括在选择的照片中的图像的一个或多个皮肤区域的界面窗口。当图像处理装置100已经检测到一个或多个皮肤区域时,用户可以通过触摸显示器185的区域来选择要补偿的一个或多个期望的皮肤区域,在显示器185中显示了选择的照片190的一个或多个皮肤区域。响应于触摸显示屏幕上期望的皮肤,显示光标210来指示要补偿的皮肤区域。因此,图像处理装置100可以补偿由光标210指示的选择的皮肤区域的色彩,同时保持未选择的皮肤区域的色彩。另外,用户可以选择将应用于第一多个选择的皮肤区域的第一色彩补偿方法,并且可以选择将应用于第二多个选择的皮肤区域的不同于第一补偿方法的第二色彩补偿方法。
在另一示范性实施例中,如以上讨论的,用户可以选择显示在选择的照片190中的图像的一个或多个皮肤区域。响应于皮肤区域的选择,图像处理装置可以确定对应于选择的皮肤区域的图像中人的种族(race),并且可以基于与检测到种族相应的理想的色彩补偿方法来自动补偿皮肤区域的色彩。
图19示出在选择了区域200之后识别通过使用基本补偿方法补偿的图像的屏幕。参照图19,原始图像190和通过使用基本补偿方法补偿的已处理图像220两者显示在单个界面窗口180中。从而,用户可以在界面窗口180上直接预览图像。然后,用户可以选择是否应用基本补偿方法,或可以预览不同于基本补偿方法的补偿方法。
图20示出可以选择不同补偿方法的显示器185的屏幕。参照图20,通过使用组合的灰色世界和Retinex算法(Combined Gray World and Retinex,CGWR)222、灰色世界假设(GWA)224、白色补块Retinex算法(WR)226和LCybCrg 228方法补偿的已处理图像与原始选择的图像190一起显示。
图21示出在补偿图像的色度之后调整图像的饱和度和对比度的界面窗口180。用户可以通过移动显示在界面窗口180中的饱和度调整标签230和对比度调整标签232来直接调整图像的饱和度和对比度。
图22是示出显示最终补偿了色度、饱和度和对比度的已处理图像220的界面窗口180。界面窗口180可以包括具有一个或多个输入236的菜单234,以运行图像处理装置100的处理。用户可以通过选择一个或多个操作来进一步处理已处理图像220,所述一个或多个操作包括但不限于存储、邮件发送、打印等,从而最终处理图像220。
图23是根据发明概念的示范性实施例的图像处理装置300的框图。
参照图23,图像处理装置300包括接口单元310、控制器320、存储单元330、显示单元340、通信单元350、成像单元360和色度补偿单元370。
接口单元310向各个存储介质或各个设备传送数据,和从各个存储介质或各个设备接收数据,所述各个存储介质和各个设备安装在图像处理装置300内部或外部。图像处理装置300可以通过接口单元310连接到数字相机、记忆棒、存储卡等,以便接收照片图像。也就是说,照片图像可以是下述图像中的至少一个:由安装在图像处理装置300中的成像装置捕获的图像、从外部设备传送的图像、以及从安装在图像处理装置300的内部或外部的记录介质读取的图像。
显示单元340可以显示图像来选择补偿色度的多个方法。根据发明概念的另一示范性实施例,如图16到图22中所示,可以连续地显示界面窗口。或者,如参照图15所述,显示通过使用基本补偿方法补偿的图像。在这种情况下,当用户选择对应于不同补偿方法的菜单时,还可以显示通过使用不同的补偿方法补偿的至少一个图像。
色度补偿单元370通过使用在选择图像中选择的补偿色度的方法来补偿照片图像的色度。详细地,补偿色度的方法可以包括基于L-Cyb-Crg色彩空间的补偿方法,以及基于光源的估计的至少一个方法。
在这种情况下,色度补偿单元370可以包括与图1和图2的图像补偿装置370的结构相同的结构。或者,除了如图1和图2中示出的结构,色度补偿单元370还可以包括通过使用基于光源的估计的传统方法补偿图像的光源估计模块(未示出)。在图23中,不管色度补偿单元370的名称,色度补偿单元370可以补偿图像的饱和度和对比度。已经参照图1和图2描述了图23的色度补偿单元370的操作,从而此处将对其省略。
控制器320可以控制显示单元340来显示由色度补偿单元370补偿的照片图像。
通信单元350可以将最终图像传送到外部设备,或可以通过网络通信从外部设备接收原始图像。另外,如下面讨论的,通信单元350可以经由网络与远程通信单元350’通信,远程通信单元350’与位于远程的图像处理装置300’包括在一起。
成像单元360执行在纸上打印最终图像和/或在记录介质上记录最终图像的成像操作。更具体地说,当用户选择打印菜单时,成像单元360在纸上打印最终图像本身。可以根据打印方法以各种方式配置成像单元360。如果成像单元360是激光类型的,则成像单元360可以包括充电单元、曝光单元、光电导体、显影单元、转印单元、定影单元等。成像单元360的这种配置在本领域是已知的,从而此处将对其省略。
存储单元330可以存储补偿色度、饱和度、对比度等的程序,并且可以存储要补偿的原始图像。此外,根据用户的选择,控制器320可以将最终图像存储在存储单元330中。
通信单元350允许图像处理装置300通过网络进行通信。参照图27,示出根据本发明一般发明概念的示范性图像处理系统102。大略指示的图像处理系统102包括与网络380通信的服务器模块500。网络380包括但不限于云网络380。
服务器模块500还可以包括存储一个或多个原始照片图像的存储单元502,以及如上面详细讨论的补偿褪色照片图像的褪色的补偿模块504。补偿模块504可以与存储单元502通信,以接收存储在存储单元502中的原始照片图像当中的褪色图像照片。
图像处理系统102还包括第一图像处理装置300和对于第一处理装置300、位于远程的第二图像处理装置300’。第一图像处理装置300和第二图像处理装置300’可以与云网络380通信,如下面更详细讨论的。
第一图像处理装置300和第二图像处理装置300′分别包括控制器320/320’、显示器340/340’、和通信单元350/350’。通信单元350经由网络380与远程通信单元350’通信,远程通信单元350’与位于远程的图像处理装置300’包括在一起。第一图像处理装置300和第二图像处理装置300′中的每一个可以包括经由互联网控制补偿模块504的网络浏览器接口。网络浏览器可以基于包括但不限于Java的各个互联网环境编程语言来生成控制信号。
云网络380允许第一用户与位于远程的第二用户实时合作,以补偿选择的褪色图像390的褪色。例如,第一用户可以操作包括第一界面窗口340的第一图像处理装置300。第一界面窗口340可以如上面详细讨论的进行操作。对于第一用户、位于远程的第二用户可以操作包括第二界面窗口340’的位于远程的图像处理装置300’。
第一用户和/或第二用户可以选择将使用如上面详细讨论的褪色补偿方法补偿的期望的褪色照片390。例如,第一控制器320和/或第二控制器320’可以生成从存储单元502选择褪色照片390和向补偿模块504输入褪色照片390的控制信号。当选择了褪色照片390时,在第一界面窗口340和第二界面窗口340’两者中同时显示褪色照片390。因此,第一用户和位于远程的第二用户可以实时地彼此合作,以生成补偿褪色照片390的褪色的最终处理的照片。
更具体地说,如上讨论的,云网络380允许第一图像处理装置300的用户和位于远程的第二图像处理装置300’的用户对同时地显示在第一界面窗口340和第二界面窗口340’中的每一个上的选择的褪色照片390动态地应用褪色补偿方法。参照图28,例如,当第二用户经由远程界面窗口340’调整褪色照片390的对比度和饱和度时,第一用户在第一界面窗口340上动态地实现第二用户的褪色照片390的补偿。或者,第一用户可以使用第一界面窗口340选择上述褪色补偿方法,包括CGWR方法、GWA方法、WR方法或LCybCrg方法。响应于选择褪色补偿方法,补偿显示在远程界面窗口340’上的褪色照片390。因此,彼此位于远程的两个用户可以合作而以迅速和精确的方式补偿褪色照片的褪色。
另外,第一界面窗口340和第二界面窗口340’中的每一个都可以包括向第一用户和第二用户指示褪色照片390的补偿当前正在进行中的指示符400。例如,响应于第二用户经由位于远程的图像处理装置300’的远程第二界面窗口340’完成褪色照片390的褪色补偿,指示符400可以被显示在第一界面窗口340中。在另一示范性实施例中,当第二用户在补偿褪色照片390过程中时,指示符400可以显示在第一界面窗口340中。当第二用户已经使用位于远程的第二图像处理单元300’完成了褪色补偿时,指示符400从第一处理装置300的第一界面窗口340中消失。从而,指示符400允许第一用户和位于远程的第二用户容易地确定何时开始对褪色照片390的各自的补偿,而不彼此干扰。
图24是根据发明概念的示范性实施例的补偿图像的方法的流程图。参照图24,当输入了照片图像时(S2410),执行高斯滤波(S2420),并且生成色度划分图(S2430)。然后,计算每个各自区域的平均色度(S2440),并且根据平均色度补偿照片图像的色度(S2450)。必要时,可以补偿照片图像的饱和度和对比度(S2460)。图24的方法与图1和图2中示出的图像补偿装置370的操作相同,从而此处将对其进行省略。
图25是根据发明概念的示范性实施例的处理图像的方法的流程图。参照图25,当显示了选择图像时(S2510),用户可以选择补偿色度的方法(S2520)。然后,可以通过使用选择的方法来补偿色度(S2530)。
在这种情况下,可以在选择图像上显示基于L-Cyb-Crg色彩空间的补偿方法,以及基于光源的估计的至少一个方法。用户可以选择期望的补偿方法。此外,可以通过显示补偿方法的名称,或通过显示使用相应的补偿方法补偿的结果图像来显示补偿方法。
此外,基于L-Cyb-Crg色彩空间的补偿方法可以是包括下述操作的方法:对照片图像执行高斯滤波、将照片图像转换到L-Cyb-Crg色彩空间中、基于Cyb-Crg色彩坐标值生成色度划分图、通过使用色度划分图计算每个各自区域的平均色度、然后通过使用照片图像的C-M-Y图像和计算的每个各自区域的色度来补偿照片图像的每个各自区域的色度。已经参照图1和图2描述了基于L-Cyb-Crg色彩空间的补偿方法,从而在此将对其进行省略。
图26是根据发明概念的另一示范性实施例的处理图像的方法的流程图。
参照图26,用户可以运行程序以补偿图像(S2610)。可以通过选择显示在图像处理装置的屏幕上的图标来运行程序。
当程序被运行时,显示补偿色度的界面窗口(S2620)。
从而,当在界面窗口中选择要补偿的照片图像时,显示选择的照片图像,并且在照片图像中选择要补偿的区域(S2630)。
当选择了要补偿的区域时,可以通过使用基本补偿方法来补偿选择的区域(S2640)。然后,显示通过使用基本补偿方法补偿的图像(S2650)。
从而,当选择了检查根据不同的补偿方法获得的结果的菜单时(S2660),显示通过使用至少一个不同的补偿方法补偿的至少一个图像(S2670)。
然后,显示调整饱和度和对比度的菜单,并且根据菜单调整饱和度和对比度(S2680)。
当完成饱和度和对比度的调整时,显示最终图像(S2690)。显示包括关于最终图像的至少一个处理命令的图像。根据在图像中选择的菜单来执行操作。也就是说,可以执行诸如打印、传送、存储等的操作。
根据上述示范性实施例,可以将照片图像转换到L-Cyb-Crg色彩空间中,并且生成色度划分图。在本发明一般发明概念的至少一个示范性实施例中,可以将照片图像转换到RGB色彩空间或其它色彩空间中,并且可以生成色度划分图。在这种情况下,可以省略将执行了高斯滤波的照片图像转换到C-M-Y色彩空间中的操作。
如上所述,可以通过恰当地补偿褪色图像将褪色图像尽可能地恢复为原始图像。此外,可以实现对摄影图像中的不均匀的色度褪色的补偿。
根据发明概念的上述示范性实施例,可以将补偿和处理图像的方法存储在各种类型的记录介质中,并且可以通过由包括在电子设备中的中央处理单元(CPU)运行的程序代码来具体体现。
详细地,可以将运行补偿和处理图像的方法的程序代码存储在能够由读取器读取的各种类型的记录介质中,所述读取器诸如随机存取存储器(RAM)、闪存、只读存储器(ROM)、可擦除可编程序只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、存储卡、通用串行总线(USB)存储器、CD-ROM等。
虽然已经示出和描述本发明一般发明概念的一些示范性实施例,但是本领域技术人员应该理解,在不脱离在附加的权利要求及其等同物中限定范围的本发明一般发明概念的原则和精神的情况下可对这些示范性实施例进行改变。
Claims (15)
1.一种图像补偿装置,包括:
输入单元,接收照片图像的输入;
高斯滤波单元,对所述照片图像执行高斯滤波;
划分图生成单元,将执行了高斯滤波的所述照片图像转换到包括多个色彩分量的色彩空间中,然后基于在所述色彩空间中的色彩坐标值生成色度划分图;
计算单元,通过使用所述色度划分图来计算每个各自区域的平均色度;以及
补偿单元,通过使用所述照片图像的每个各自区域的平均色度来补偿每个各自区域的色度。
2.如权利要求1所述的图像补偿装置,还包括转换单元,用于将执行了高斯滤波的所述照片图像转换到C-M-Y色彩空间中,
其中,所述划分图生成单元将执行了高斯滤波的所述照片图像转换到L-Cyb-Crg色彩空间中,并且基于Cyb-Crg色彩坐标值生成所述色度划分图,并且
其中,所述补偿单元通过使用由所述转换单元转换的CMY值和每个各自区域的平均色度来补偿色度。
3.如权利要求2所述的图像补偿装置,其中,所述补偿单元通过使用将Cyb-Crg空间中的每个信道的大小转换为CMY值而获得的权重来补偿所述照片图像。
4.如权利要求3所述的图像补偿装置,其中,所述划分图生成单元检查每个像素的Cyb值和Crg值,
其中,当所述Cyb值等于或大于第一预定阈值时,所述划分图生成单元确定相应像素为黄色,
其中,当所述Cyb值小于第一预定阈值时,所述划分图生成单元确定相应像素为蓝色,
其中,当所述Crg值等于或大于第二预定阈值时,所述划分图生成单元确定相应像素为红色,以及
其中,当所述Crg值小于第二预定阈值时,所述划分图生成单元确定相应像素为绿色。
5.如权利要求3所述的图像补偿装置,还包括:
饱和度和对比度调整单元,用于调整由补偿单元补偿了色度的图像的饱和度和对比度。
6.如权利要求2所述的图像补偿装置,其中,所述计算单元根据以下等式计算每个CMY值的平均色度:
其中,“NPn”是区域“n”的像素的数量,“n”是每个区域,并且R(x,y,n)、G(x,y,n)和B(x,y,n)分别是区域“n”的每个像素的R值、G值和B值。
7.如权利要求6所述的图像补偿装置,其中,所述补偿单元根据以下等式补偿所述照片图像的每个各自区域的色度:
其中,Wi(x,y)是CMY色彩空间中的每个信道的像素的权重,Lavg(n)是每个各自区域的平均亮度,Ii(x,y,n)是输入照片图像的每个各自像素的色度。
8.一种补偿图像的方法,所述方法包括:
当照片图像被输入时,对所述照片图像执行高斯滤波;
将执行了高斯滤波的所述照片图像转换到包括多个色彩分量的色彩空间中,然后基于在所述色彩空间中的色彩坐标值生成色度划分图;
通过使用所述色度划分图来计算每个各自区域的平均色度;以及
通过使用所述照片图像的每个各自区域的平均色度来补偿每个各自区域的色度。
9.如权利要求8所述的方法,还包括:
将执行了高斯滤波的所述照片图像转换到C-M-Y色彩空间中,
其中,所述色度划分图的生成包括将执行了高斯滤波的所述照片图像转换到L-Cyb-Crg色彩空间中,并且基于Cyb-Crg色彩坐标值生成色度划分图,以及
其中,所述补偿包括通过使用从所述照片图像转换的CMY值和每个各自区域的平均色度来补偿色度。
10.如权利要求9所述的方法,其中,所述补偿包括通过使用将转换的Cyb-Crg空间中的每个信道的大小转换为CMY值而获得的权重来补偿所述照片图像。
11.如权利要求10所述的方法,其中,所述色度划分图的生成包括:检查每个像素的Cyb值和Crg值;当所述Cyb值等于或大于第一预定阈值时,确定相应像素为黄色;当所述Cyb值小于第一预定阈值时,确定相应像素为蓝色;当所述Crg值等于或大于第二预定阈值时,确定相应像素为红色;以及当所述Crg值小于第二预定阈值时,确定相应像素为绿色。
12.如权利要求10所述的方法,还包括:
调整补偿了色度的图像的饱和度和对比度。
13.如权利要求9所述的方法,其中,所述计算包括根据以下等式计算每个CMY值的平均色度:
其中,“NPn”是区域“n”的像素的数量,“n”是每个区域,并且R(x,y,n)、G(x,y,n)和B(x,y,n)分别是区域“n”的每个像素的R值、G值和B值。
14.如权利要求13所述的方法,其中,所述补偿包括根据以下等式补偿所述照片图像的每个各自区域的色度:
其中,Wi(x,y)是CMY色彩空间中的每个信道的像素的权重,Lavg(n)是每个各自区域的平均亮度,Ii(x,y,n)是输入照片图像的每个各自像素的色度。
15.一种图像处理装置,包括:
显示单元,显示关于多个补偿色度的方法的选择窗口;以及
色度补偿单元,通过使用在所述选择窗口中选择的色度补偿方法来补偿照片图像的色度,
其中,所述色度补偿方法包括基于L-Cyb-Crg色彩空间的补偿方法和基于光源的估计的至少一个方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2011-0035909 | 2011-04-18 | ||
KR1020110035909A KR20120118383A (ko) | 2011-04-18 | 2011-04-18 | 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102752477A true CN102752477A (zh) | 2012-10-24 |
Family
ID=45421925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101148257A Pending CN102752477A (zh) | 2011-04-18 | 2012-04-18 | 图像补偿设备、图像处理装置及其方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9270867B2 (zh) |
EP (1) | EP2515521B1 (zh) |
KR (1) | KR20120118383A (zh) |
CN (1) | CN102752477A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574291A (zh) * | 2013-10-17 | 2015-04-29 | 想象技术有限公司 | 色调映射 |
CN105379246A (zh) * | 2013-07-16 | 2016-03-02 | 三星电子株式会社 | 排列图像滤波器的方法、存储了该方法的计算机可读存储介质和电子装置 |
CN108335271A (zh) * | 2018-01-26 | 2018-07-27 | 努比亚技术有限公司 | 一种图像处理的方法、设备及计算机可读存储介质 |
CN110299099A (zh) * | 2014-02-10 | 2019-10-01 | 辛纳普蒂克斯日本合同会社 | 显示设备、显示面板驱动器、图像处理装置和图像处理方法 |
CN110674076A (zh) * | 2019-09-23 | 2020-01-10 | 王宏 | 命令触发式目标分析平台、方法及存储介质 |
CN114441048A (zh) * | 2022-02-09 | 2022-05-06 | 深兰自动驾驶研究院(山东)有限公司 | 生理热图获取装置、方法、电子设备及存储介质 |
WO2022156129A1 (zh) * | 2021-01-19 | 2022-07-28 | Tcl华星光电技术有限公司 | 图像处理方法、图像处理装置及计算机设备 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120118383A (ko) * | 2011-04-18 | 2012-10-26 | 삼성전자주식회사 | 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들 |
JP6070703B2 (ja) * | 2012-06-07 | 2017-02-01 | コニカミノルタ株式会社 | 客室照明方法 |
US9965860B2 (en) * | 2013-02-27 | 2018-05-08 | Thomson Licensing | Method and device for calibration-free gaze estimation |
KR101462440B1 (ko) * | 2013-03-07 | 2014-11-18 | 경북대학교 산학협력단 | 색 보정 장치 및 색 보정 방법 |
KR101633635B1 (ko) * | 2014-02-27 | 2016-06-27 | 주식회사 세방에스디엘 | 3d 영상의 입체감 조절을 위한 색 보정 장치 및 그 방법 |
KR102115328B1 (ko) * | 2015-06-15 | 2020-05-26 | 한국전자통신연구원 | 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 |
TW201702937A (zh) * | 2015-07-02 | 2017-01-16 | Alibaba Group Services Ltd | 圖像預處理方法及裝置 |
WO2017085786A1 (ja) * | 2015-11-17 | 2017-05-26 | Eizo株式会社 | 画像変換方法及び装置 |
US9870025B1 (en) * | 2016-07-10 | 2018-01-16 | Emotive Digital, LP | Display case |
US10218880B2 (en) * | 2017-02-06 | 2019-02-26 | John R. Fredlund | Method for assisted image improvement |
CN110728941B (zh) * | 2019-09-23 | 2022-04-01 | 武汉华星光电技术有限公司 | 一种色域映射方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594384B1 (en) * | 1999-11-15 | 2003-07-15 | Samsung Electronics Co., Ltd. | Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight |
CN1604615A (zh) * | 2003-09-30 | 2005-04-06 | 明基电通股份有限公司 | 修复褪色的照片及底片的方法 |
US20050237586A1 (en) * | 2002-06-24 | 2005-10-27 | Risson Valery J | Process of spatial color restoration of an image |
US20060177128A1 (en) * | 2005-02-08 | 2006-08-10 | Karthik Raghupathy | White balance with zone weighting |
US20110007088A1 (en) * | 2009-07-10 | 2011-01-13 | Taeyong Park | Method of correcting preferred color and display device using the same |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
US6636635B2 (en) * | 1995-11-01 | 2003-10-21 | Canon Kabushiki Kaisha | Object extraction method, and image sensing apparatus using the method |
US5796874A (en) * | 1996-04-30 | 1998-08-18 | Eastman Kodak Company | Restoration of faded images |
US6522425B2 (en) * | 1997-02-04 | 2003-02-18 | Fuji Photo Film Co., Ltd. | Method of predicting and processing image fine structures |
US6853389B1 (en) * | 1999-04-26 | 2005-02-08 | Canon Kabushiki Kaisha | Information searching apparatus, information searching method, and storage medium |
US6377702B1 (en) * | 1999-12-08 | 2002-04-23 | Sony Corporation | Color cast detection and removal in digital images |
US7130466B2 (en) * | 2000-12-21 | 2006-10-31 | Cobion Ag | System and method for compiling images from a database and comparing the compiled images with known images |
JP3790680B2 (ja) * | 2001-05-25 | 2006-06-28 | 株式会社東芝 | 画像処理システム及びこれを用いた運転支援システム |
US6868179B2 (en) * | 2001-07-06 | 2005-03-15 | Jasc Software, Inc. | Automatic saturation adjustment |
JP2005117612A (ja) * | 2003-09-18 | 2005-04-28 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP4235905B2 (ja) * | 2003-10-15 | 2009-03-11 | ノーリツ鋼機株式会社 | 画像処理装置 |
JP4481663B2 (ja) * | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
JP4729568B2 (ja) * | 2004-06-30 | 2011-07-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 非演色色空間を介して変換されたビデオコンテンツからの周囲光のためのドミナントカラーの抽出 |
US7283654B2 (en) * | 2004-08-26 | 2007-10-16 | Lumeniq, Inc. | Dynamic contrast visualization (DCV) |
CN101292523B (zh) * | 2005-10-27 | 2011-02-09 | 三菱电机株式会社 | 影像摘要装置 |
JP2007206919A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
US8155454B2 (en) * | 2006-07-20 | 2012-04-10 | Qualcomm Incorporated | Method and apparatus for encoder assisted post-processing |
JP4393489B2 (ja) * | 2006-09-06 | 2010-01-06 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP4388939B2 (ja) * | 2006-09-25 | 2009-12-24 | 富士フイルム株式会社 | 画像再生装置ならびにその制御方法およびその制御プログラム |
ITVA20060079A1 (it) * | 2006-12-19 | 2008-06-20 | St Microelectronics Srl | Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori |
JP4456617B2 (ja) * | 2007-04-16 | 2010-04-28 | 富士通株式会社 | 類似分析装置、画像表示装置、および画像表示プログラム |
CN101939980B (zh) * | 2008-02-06 | 2012-08-08 | 松下电器产业株式会社 | 电子摄像机和图像处理方法 |
US8285070B2 (en) * | 2008-04-07 | 2012-10-09 | The Trustees Of Tufts College | Methods and apparatus for image restoration |
EP2290560A4 (en) * | 2008-07-29 | 2011-07-13 | Panasonic Corp | IMAGE SEARCH AND IMAGE SEARCH PROCEDURE |
IL197996A (en) * | 2009-04-05 | 2014-07-31 | Rafael Advanced Defense Sys | A method for locating people |
US8428354B2 (en) * | 2009-06-23 | 2013-04-23 | Los Alamos National Security, Llc | Image segmentation by hierarchial agglomeration of polygons using ecological statistics |
JP4846071B2 (ja) * | 2010-02-10 | 2011-12-28 | パナソニック株式会社 | 画像評価装置、画像評価方法、プログラム、集積回路 |
JP2011223287A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
US8705813B2 (en) * | 2010-06-21 | 2014-04-22 | Canon Kabushiki Kaisha | Identification device, identification method, and storage medium |
JP5753966B2 (ja) * | 2010-08-05 | 2015-07-22 | パナソニックIpマネジメント株式会社 | 顔画像登録装置および方法 |
US8605167B2 (en) * | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
US9398205B2 (en) * | 2010-09-01 | 2016-07-19 | Apple Inc. | Auto-focus control using image statistics data with coarse and fine auto-focus scores |
CN102859985B (zh) * | 2011-02-17 | 2015-08-05 | 松下电器(美国)知识产权公司 | 图像评价装置、图像评价方法及集成电路 |
CN103688145B (zh) * | 2011-03-03 | 2020-03-17 | 恩光码公司 | 多频带色觉滤波器和使用线性程序解算器优化的方法 |
JP5703898B2 (ja) * | 2011-03-30 | 2015-04-22 | 富士通株式会社 | 帳票管理システム、帳票画像管理方法、及びプログラム |
JP5751898B2 (ja) * | 2011-04-05 | 2015-07-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム及び記憶媒体 |
KR101743520B1 (ko) * | 2011-04-09 | 2017-06-08 | 에스프린팅솔루션 주식회사 | 색상 변환 장치 및 그 방법 |
KR20120118383A (ko) * | 2011-04-18 | 2012-10-26 | 삼성전자주식회사 | 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들 |
JP5693369B2 (ja) * | 2011-05-13 | 2015-04-01 | キヤノン株式会社 | 情報処理装置、その制御方法及びコンピュータプログラム |
JP5791364B2 (ja) * | 2011-05-16 | 2015-10-07 | キヤノン株式会社 | 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 |
CN103718172A (zh) * | 2011-09-21 | 2014-04-09 | 株式会社尼康 | 图像处理装置、程序、图像处理方法及摄像装置 |
JP5939705B2 (ja) * | 2012-02-08 | 2016-06-22 | カシオ計算機株式会社 | 被写体判定装置、被写体判定方法及びプログラム |
JP6026119B2 (ja) * | 2012-03-19 | 2016-11-16 | 株式会社東芝 | 生体情報処理装置 |
US9025867B2 (en) * | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
-
2011
- 2011-04-18 KR KR1020110035909A patent/KR20120118383A/ko not_active Application Discontinuation
- 2011-12-16 EP EP11194136.5A patent/EP2515521B1/en not_active Not-in-force
- 2011-12-22 US US13/334,724 patent/US9270867B2/en not_active Expired - Fee Related
-
2012
- 2012-04-18 CN CN2012101148257A patent/CN102752477A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594384B1 (en) * | 1999-11-15 | 2003-07-15 | Samsung Electronics Co., Ltd. | Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight |
US20050237586A1 (en) * | 2002-06-24 | 2005-10-27 | Risson Valery J | Process of spatial color restoration of an image |
CN1604615A (zh) * | 2003-09-30 | 2005-04-06 | 明基电通股份有限公司 | 修复褪色的照片及底片的方法 |
US20060177128A1 (en) * | 2005-02-08 | 2006-08-10 | Karthik Raghupathy | White balance with zone weighting |
US20110007088A1 (en) * | 2009-07-10 | 2011-01-13 | Taeyong Park | Method of correcting preferred color and display device using the same |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105379246B (zh) * | 2013-07-16 | 2019-04-19 | 三星电子株式会社 | 排列图像滤波器的方法、存储了该方法的计算机可读存储介质和电子装置 |
CN105379246A (zh) * | 2013-07-16 | 2016-03-02 | 三星电子株式会社 | 排列图像滤波器的方法、存储了该方法的计算机可读存储介质和电子装置 |
US10027903B2 (en) | 2013-07-16 | 2018-07-17 | Samsung Electronics Co., Ltd. | Method of arranging image filters, computer-readable storage medium on which method is stored, and electronic apparatus |
CN104574291A (zh) * | 2013-10-17 | 2015-04-29 | 想象技术有限公司 | 色调映射 |
CN104574291B (zh) * | 2013-10-17 | 2019-08-16 | 想象技术有限公司 | 一种色度处理的模块、方法和计算机可读存储介质 |
CN104574290B (zh) * | 2013-10-17 | 2019-04-19 | 想象技术有限公司 | 应用色调映射的方法、色调映射单元及可读存储介质 |
CN104574290A (zh) * | 2013-10-17 | 2015-04-29 | 想象技术有限公司 | 色调映射 |
CN110299099A (zh) * | 2014-02-10 | 2019-10-01 | 辛纳普蒂克斯日本合同会社 | 显示设备、显示面板驱动器、图像处理装置和图像处理方法 |
CN108335271A (zh) * | 2018-01-26 | 2018-07-27 | 努比亚技术有限公司 | 一种图像处理的方法、设备及计算机可读存储介质 |
CN110674076B (zh) * | 2019-09-23 | 2020-12-18 | 胡佳威 | 命令触发式目标分析平台、方法及存储介质 |
CN110674076A (zh) * | 2019-09-23 | 2020-01-10 | 王宏 | 命令触发式目标分析平台、方法及存储介质 |
WO2022156129A1 (zh) * | 2021-01-19 | 2022-07-28 | Tcl华星光电技术有限公司 | 图像处理方法、图像处理装置及计算机设备 |
CN114441048A (zh) * | 2022-02-09 | 2022-05-06 | 深兰自动驾驶研究院(山东)有限公司 | 生理热图获取装置、方法、电子设备及存储介质 |
CN114441048B (zh) * | 2022-02-09 | 2024-05-24 | 深兰自动驾驶研究院(山东)有限公司 | 生理热图获取装置、方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20120262473A1 (en) | 2012-10-18 |
EP2515521A1 (en) | 2012-10-24 |
KR20120118383A (ko) | 2012-10-26 |
US9270867B2 (en) | 2016-02-23 |
EP2515521B1 (en) | 2019-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102752477A (zh) | 图像补偿设备、图像处理装置及其方法 | |
US10735627B2 (en) | Color conversion table creation apparatus and method, color conversion apparatus, and program | |
US7375848B2 (en) | Output image adjustment method, apparatus and computer program product for graphics files | |
US6628823B1 (en) | Pictorial digital image processing incorporating adjustments to compensate for dynamic range differences | |
US7372597B2 (en) | Tonescales for geographically localized digital rendition of people | |
CN103826029B (zh) | 彩色图像处理装置及其控制方法 | |
CN101902550B (zh) | 图像处理装置及图像处理方法 | |
US20050243347A1 (en) | Conversion of color image to monochrome image | |
US20080043266A1 (en) | Profile forming method, profile forming program, and printing system | |
US20080030814A1 (en) | Image determining apparatus, image determining method, image enhancing apparatus, and image enhancing method | |
CN101631191A (zh) | 图像处理设备和方法 | |
EP2200268B1 (en) | Method of calibration of a target color reproduction device | |
US8194286B2 (en) | Image forming apparatus and image forming method capable of revising gray image | |
US20030053095A1 (en) | Apparatus and method for adjusting output image from image data | |
US7769308B2 (en) | Image forming apparatus to perform color substitution, and method for controlling the same | |
US8270029B2 (en) | Methods, apparatus and systems for using black-only on the neutral axis in color management profiles | |
US20020196346A1 (en) | Image processing apparatus | |
JP6438852B2 (ja) | 画像処理装置、画像形成装置、画像読取装置および画像処理方法 | |
US6903844B1 (en) | Image formation apparatus, image formation apparatus control method, and storage medium storing computer-readable program | |
JP2005192158A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
US20050169523A1 (en) | Image processing with information associated with image data | |
US8885219B2 (en) | Printing system color validation swatch methods and systems | |
US8134731B2 (en) | Printing device that prioritizes processing of raw and JPEG data according to amount of print data in standby state | |
KR20100086229A (ko) | 색보정 장치, 색보정 방법, 화상형성장치 및 컴퓨터 기록 매체 | |
JP2015085563A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121024 |