CN101999137B - 彩色图像增强 - Google Patents
彩色图像增强 Download PDFInfo
- Publication number
- CN101999137B CN101999137B CN2009801087758A CN200980108775A CN101999137B CN 101999137 B CN101999137 B CN 101999137B CN 2009801087758 A CN2009801087758 A CN 2009801087758A CN 200980108775 A CN200980108775 A CN 200980108775A CN 101999137 B CN101999137 B CN 101999137B
- Authority
- CN
- China
- Prior art keywords
- value
- degree
- pixel
- difference
- interesting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 20
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 101000857682 Homo sapiens Runt-related transcription factor 2 Proteins 0.000 claims 1
- 102100025368 Runt-related transcription factor 2 Human genes 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000001276 controlling effect Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- LENZDBCJOHFCAS-UHFFFAOYSA-N tris Chemical compound OCC(N)(CO)CO LENZDBCJOHFCAS-UHFFFAOYSA-N 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
以下述方式增强彩色图像。一种饱和度检测器(SDT)检测图像区(SP)中存在的色饱和度(LC，CC)。滤波器装置(DE1，DE2，DE3)以依赖于所述色饱和度的程度对图像区中的至少一个空间细节进行滤波。这允许改进彩色图像的感知质量。
Description
技术领域
本发明的一个方面涉及一种可以改进彩色图像的感知质量的图像增强方法。本发明的其他方面涉及一种图像增强器、一种图像再现(rendering)系统和一种用于可编程处理器的计算机程序产品。
背景技术
与亮度(luminance)信息相比，颜色信息通常用较低的分辨率表示。例如，所谓的色度采样(chromatics ampling)可以根据特定方案应用于彩色图像，例如4:1:1或4:2:2子采样方案。彼此邻近的若干像素共享相同的色度分量，而这些像素中的每一个都具有唯一的亮度分量。这一般不会影响感知的图像质量。典型的人类观察者一般将会把其中色度信息具有比亮度信息稍低分辨率的图像视为等同于其中色度信息具有与亮度信息相同的分辨率的相似图像。
美国专利号5,982,926描述到，已经开发了各种图像增强过程来改进图像的感知的清晰度、可理解性(intelligibility)和/或质量。这些图像增强过程试图令人养眼地再现图像，而不管这些图像是否被精确地复制(reproduce)。时常地，失真的图像比原始图像的完美复制的复制品更令人养眼。例如，如果过冲(overshoot)或下冲(undershoot)被并入到图像的边缘，则所得的图像典型地被感知为比没有这种下冲或过冲的图像更令人愉悦。
发明内容
需要改进彩色图像的感知质量。已经考虑下述观点以便更好地满足该需要。
已经观察到，彩色图像在其中存在相对较高的色饱和度的区域中显现出一点模糊。该彩色图像在所关注的区域包括相对较多的细节的情况下显得特别模糊。而且，所关注的区域可以显现为色饱和度不足。这些现象特别地发生在其中颜色信息以比亮度信息低的分辨率表示的图像中。这种表面上的分辨率的局部损失或饱和度的局部损失或二者影响所关注的彩色图像的感知质量。
根据本发明的一个方面，以下述方式增强彩色图像。一种饱和度检测器检测图像区中存在的色饱和度。滤波器装置以依赖于色饱和度的程度对图像区中至少一个空间细节进行滤波(filter)。
因此，在其中存在相对较高的色饱和度的图像区中，空间细节可以被以相对较高的程度强调。相反地，在其中色饱和度相对较低的图像区中，空间细节可被以相对适中的程度强调或者甚至留下来不被改变。这种作为色饱和度的函数的细节强调补偿了所关注图像区中分辨率的表面上的损失或饱和度的表面上的损失或二者。这允许彩色图像具有更好的感知质量。实验已经证实了这一点。各种不同的彩色图像已经根据本发明而被增强。各种观察者已经将这些彩色图像中的每一个与其增强的版本进行了比较。增强的版本被清楚地感知为更好的。
当所述色饱和度较高时，所述滤波器装置优选地将图像区中令人感兴趣的像素与邻近像素之间的值差以较大的程度放大。这允许低成本的实现。
被放大的值差包括亮度值。
被放大的值差包括亮度值和色度值。这对实现相对较高的感知质量有贡献。
色度值的差被放大的程度大于亮度值的差被放大的程度。这对实现相对较高的感知质量有贡献。
本发明的实现方式有利地包括下列附加特征的一个或多个，这些附加特征在与各个从属权利要求对应的单独段落中被描述。
被检测的色饱和度优选地是令人感兴趣的像素的色饱和度。这实现了低成本的实现方式。
所述饱和度检测器优选地确定属于令人感兴趣的像素的色度值与对应于无关紧要的饱和度的中心值之间的绝对差。控制值可以基于该绝对差而被生成，该控制值确定令人感兴趣的像素与邻近像素之间的值差被放大的程度。这实现了低成本的实现方式。
所述滤波器装置优选地确定邻近像素的典型值。然后可以将该典型值从属于令人感兴趣的像素的值中减去，从而获得差值。当色饱和度较高时，该差值与较高的系数相乘，从而获得放大的差值。然后，该典型值被加到所述放大的差值，从而获得令人感兴趣的像素的修改的值。这实现了低成本实现方式。
定序器(sequencer)可以接连地将彩色图像中的各个像素逐个地指定为令人感兴趣的像素。
前述值差优选地基于根据预定的孔(aperture)形成的像素组而被创建，所述像素组包括令人感兴趣的像素。
参照附图的详细描述阐明了上文中概括的本发明以及附加的特征。
附图说明
图1是示出图像再现系统的框图。
图2是示出形成图像再现系统的一部分的图像增强器的框图。
图3是示出令人感兴趣的像素的指定和用于定义包括令人感兴趣的像素的像素组的孔的框图。
图4是示出形成图像增强器的一部分的饱和度检测器的框图。
图5是示出形成图像增强器的一部分的细节增强模块的框图。
图6是示出图像增强器的软件实现方式的计算机代码图。
具体实施方式
图1示出耦合到网络NW的图像再现系统IRS，该网络NW可以是例如有线电视网或因特网。视觉数据服务器SV也耦合到网络NW。该图像再现系统IRS包括数据处理设备DPR、显示设备DPL和遥控设备RCD。该数据处理设备DPR可以是例如个人计算机或所谓的机顶盒的形式。该数据处理设备DPR和显示设备DPL可以共同形成电视机的一部分。该数据处理设备DPR包括输入模块INM、图像增强器ENH、输出模块OUM和控制器CTRL。
所述图像再现系统IRS基本上如下操作。用户可以借助于遥控设备RCD选择在视觉数据服务器SV上存在的特定的视觉项目。所述数据处理设备DPR将指示该所选视觉项目的请求提交给视觉数据服务器SV。作为响应，视觉数据服务器SV提供传送所选视觉项目的传输流TS。所选视觉项目可以是例如视频标题或静态图片。该传输流TS可以例如依照JPEG或MPEG编码标准(JPEG是联合图像专家组的首字母缩写；MPEG是运动图片专家组的首字母缩写)。所述数据处理设备DPR经由网络NW接收传输流TS。
数据处理设备DPR的输入模块INM从传输流TS中提取表示所选视觉项目的视觉数据VD。如前文所述，所选视觉项目可以是包括彩色图像的序列的视频标题(video title)或包括单个彩色图像的静态图片。在任何情况下，图像增强器ENH都增强视觉数据VD中所包含的彩色图像，从而获得增强的视觉数据VE。输出模块OUM基于增强的视觉数据VE提供显示驱动器信号DD。显示驱动器信号DD使得显示设备DPL显示选定的视觉项目。期望的是，用户将由显示设备DPL显示的彩色图像感知为质量相对较好。图像增强器ENH使得感知的图像质量好于在图像再现系统IRS中不存在图像增强器ENH的情况下所获得的图像质量。
图2示出图像增强器ENH，其形成数据处理设备DPR的一部分。该图像增强器ENH包括各种功能实体：输入缓冲器IB、像素选择器和路由器PSR、饱和度检测器SDT、三个细节强调模块DE1、DE2、DE3以及输出缓冲器OB。前述功能实体形成图像数据处理路径。这三个细节强调模块DE1、DE2、DE3构成针对彩色图像的高通滤波器装置。该图像增强器ENH进一步包括可被认为是专用于图像数据处理路径的定序器(sequencer)SQ。
图像增强器ENH可以借助于加载到可编程处理器中的软件程序(即一组指令)来实现。在这种基于软件的实现方式中，该软件程序使得可编程处理器执行下文参照图2所描述的各种操作。因此，图2可以被看作表示一种方法，由此功能实体或一组功能实体可以被认为是该方法的处理步骤或一系列处理步骤。例如，饱和度检测器SDT可以表示饱和度检测步骤。
图像增强器ENH也可以借助于专用电路实现，该专用电路具有定义下文参照图2所描述的操作的特定拓扑结构。在这种硬件实现方式中，图2中所示的功能实体可以与子电路对应。因此，图2同样可以被看作以块级(block level)表示电路图。图像增强器ENH的实现方式在其包括至少一个专用电路和至少一个具有一组适当指令的可编程电路的意义下也可以是混合的。
图像增强器ENH基本上如下操作。输入缓冲器IB临时存储由图1中所示的输入模块INM提供的视觉数据VD。因此，在给定的瞬间，输入缓冲器I B可以包括视觉数据VD中所包含的彩色图像。该彩色图像可以被认为是像素的矩阵。该彩色图像可以是例如所谓的YUV颜色格式(colorformat)。在该格式中，像素具有亮度分量，其唯一地属于所关注的像素。像素可以进一步具有色度分量对，其包括第一色度分量和第二色度分量。若干邻近像素可以共享相同的色度分量对。在这种情况下，色度分量已经关于亮度分量而被子采样。例如，在所谓的4:2:2的子采样方案中情况就是这样，其中色度分量的水平分辨率是亮度分量的水平分辨率的一半。
定序器SQ提供指定彩色图像中特定像素的像素选择数据LN、PN。像素选择数据LN、PN可以包括例如行号LN和像素号PN。被指定的特定像素将在下文中被称为令人感兴趣的像素PI。定序器SQ更新像素选择数据LN、PN，使得彩色图像中的所有像素除了边界区域中的之外都接连构成令人感兴趣的像素PI。即，如同除了边界区域中存在的像素之外定序器SQ逐个像素地扫描彩色图像。
像素选择器和路由器PSR基于像素选择数据LN、PN从输入缓冲器IB读取像素组SP。像素组SP包括令人感兴趣的像素PI和各种邻近像素。有效地，像素选择器和路由器PSR限定了确定形成所述像素组SP的一部分的邻近像素的孔。该孔可以被视为窗，定序器SQ使该窗在彩色图像上滑动。令人感兴趣的像素PI将典型地处在该窗的中央，但是这不是必要的。在某种意义上讲，所述窗在彩色图像上滑动，直到它碰到彩色图像的边界为止。因此，上述不需要从中选择像素的边界区域依赖于所述孔。所述孔可以适当地在彩色图像的边界处被调适。在这种情况下，彩色图像的所有像素可以接连被选择。
图3示出所述像素选择器和路由器PSR可以定义的矩形孔APE的实例。借助于相对较小的圆圈表示像素。这些像素被设置在分别沿着水平轴x和垂直轴y的行和列中。来自定序器SQ的像素选择数据LN、PN可以定义行号LN和像素号PN，其分别由虚线与向下指向和向右指向的相对较小的矩形表示。构成令人感兴趣的像素PI的像素具有黑色填充。矩形孔APE内的其他像素具有灰色填充。这些像素以及令人感兴趣的像素PI构成所述像素选择器和路由器PSR基于像素选择数据LN、PN构成的所述像素组SP。
饱和度检测器SDT从像素选择器和路由器PSR接收色度分量对V-PI、U-PI。该色度分量对V-PI、U-PI属于令人感兴趣的像素PI。饱和度检测器SDT基于色度分量对V-PI、U-PI创建亮度控制值LC和色度控制值CC。亮度控制值LC确定应用于舍人感兴趣的像素PI的亮度分量的空间细节强调的程度。相似地，色度控制值CC确定应用于令人感兴趣的像素PI的色度分量对的空间细节强调程度。优选地，如果令人感兴趣的像素PI展示出相对较高的色饱和度，则空间细节强调的程度相对较高。亮度控制值LC和色度控制值CC反映色饱和度，其可以从令人感兴趣的像素的色度分量对V-PI、U-PI导出。这将在下文中更详细地进行描述。
细节强调模块DE1从像素选择器和路由器PSR接收亮度分量组Y-SP。亮度分量组Y-SP包括属于像素选择器和路由器PSR已经形成的所述像素组SP的相应的亮度分量。因此，所述亮度分量组Y-SP包括令人感兴趣的像素PI的亮度分量。该亮度分量在下文中将被称为令人感兴趣的亮度分量。所述亮度分量组Y-SP进一步包括各个邻近像素的各个亮度分量，这些邻近像素也在像素选择器和路由器PSR已经形成的所述像素组SP中。这些后一种亮度分量将在下文中被称为邻近亮度分量。细节强调模块DE1进一步接收饱和度检测器SDT已经创建的亮度控制值LC。
细节强调模块DE1为在输出缓冲器OB中形成的增强的彩色图像提供输出亮度分量Yo。该输出亮度分量Yo被分配给增强的彩色图像的特定像素。依照行号LN和像素号PN，该特定像素具有与所述彩色图像中令人感兴趣的像素PI的位置相似的位置。该输出亮度分量Yo可以视为令人感兴趣的亮度分量的修改的版本。更特别地，令人感兴趣的亮度分量具有可以由细节强调模块DE1修改的给定值。该亮度值修改依赖于关于各个邻近亮度分量的各个值的令人感兴趣的亮度分量值。重要地，亮度值修改进一步依赖于反映色饱和度的亮度控制值LC。
例如，假设令人感兴趣的亮度分量与邻近亮度分量的值相比具有相对较低的值。在这种情况下，细节强调模块DE1进一步减小令人感兴趣的亮度分量的值。相反地，在令人感兴趣的亮度分量具有相对较高的值的情况下，细节强调模块DE1进一步增大令人感兴趣的亮度分量的值。在这两种情况下，令人感兴趣的亮度分量与邻近的亮度分量之间的值差被放大。
被放大的值差可以通过多种不同的方式表达。例如，该差可以是令人感兴趣的亮度分量的值与邻近亮度分量的平均值之间的差。作为另一个实例，邻近亮度分量的中值可以用于表达该差。令人感兴趣的亮度分量也可以被包含以建立平均值或中值。重要的是，所述差表示以依赖于亮度控制值LC的程度被放大的空间细节，其反映饱和度。饱和度越高，所述差所经受的放大程度越高。
细节强调模块DE2、DE3以相似的方式操作。细节强调模块DE2、DE3从像素选择器和路由器PSR分别接收第一色度分量组U-SP和第二色度分量组V-SP。所述第一色度分量组U-SP包括令人感兴趣的第一色度分量(其是令人感兴趣的像素PI的第一色度分量)和邻近的第一色度分量。相似地，所述第二色度分量组V-SP包括令人感兴趣的第二色度，以及邻近的第二色度分量。在每一种情况下，细节强调模块DE2、DE3所接收的色度分量都是属于像素选择器和路由器PSR已经形成的所述像素组SP的色度分量。
差异在于，细节强调模块DE2、DE3接收色度控制值CC，而亮度控制值LC被应用于细节强调模块DE1。该差异是优选的而不是必要的。应用不同的控制值允许对亮度和色度进行不同程度的细节放大，这可以对提高感知的图像质量有贡献。在任何情况下，细节强调模块DE2以依赖于色度控制值CC所反映的色饱和度的程度放大令人感兴趣的第一色度分量与邻近的第一色度分量之间的值差。细节强调模块DE3以相似的程度放大令人感兴趣的第二色度分量与邻近的第二色度分量之间的值差。
细节强调模块DE2、DE3为所述增强的彩色图像分别提供第一输出色度分量Uo和第二输出色度分量Vo，所述增强的彩色图像形成在输出缓冲器OB中。该输出色度分量对Uo、Vo被分配给与如前所述的细节强调模块DE1为其建立输出亮度分量Yo的相同像素。即，第一输出色度分量Uo和第二输出色度分量Vo可以分别被视为令人感兴趣的第一色度分量和令人感兴趣的第二色度分量的修改的版本。
定序器SQ使得输入缓冲器IB中的彩色图像的所有亮度分量和所有色度分量经受细节放大，如前所述，所述细节放大依赖于色饱和度，除了在边界区域中的分量之外所。后一种分量可以简单地如同从彩色图像被映射到输出缓冲器OB中的增强的彩色图像。可替代地，这些分量可以经受适合的细节放大或另一种类型的适当的处理。
应当注意，细节强调模块DE2、DE3可以以低于细节强调模块DE1的速率操作。这是因为，输入缓冲器IB中存在的彩色图像包括的色度分量对比亮度分量少。如前所述，彼此邻近的若干个像素可以共享相同的色度分量对，而这些像素的每一个具有唯一的亮度分量。因此，细节强调模块DE2、DE3只处理与这些像素中一个相关的所述色度分量对就足够了。这将产生输出色度分量对Uo、Vo，其适用于这些像素中的每一个。相反地，细节强调模块DE1将需要单独地处理所关注的各个像素的各个亮度分量。
一旦输入图像的所有相关分量都被处理了，则输出缓冲器OB将整体上包括增强的彩色图像。该增强的彩色图像包含在增强的视觉数据VE中，如图1所示图像增强器ENH将该增强的视觉数据VE应用到输出模块OUM。
图4示出饱和度检测器SDT，或更确切地说，示出了其实例。饱和度检测器SDT接收色度分量对V-PI、U-PI，其包括令人感兴趣的第一色度分量V-PI和令人感兴趣的第二色度分量U-PI。饱和度检测器SDT包括各种功能实体：两个中心偏离检测器CDD1、CDD2、加法器AD1和两个归一化器(normalizer)NM1、NM2。上文中关于(可以是基于软件或基于硬件的)图像增强器ENH的各种可能的实现方式所作出的评述(remark)同样适用于饱和度检测器SDT。图4因此可以被看作表示一种方法，由此功能实体或功能实体组可以被认为是该方法的处理步骤或一系列的处理步骤。
中心偏离检测器CDD1建立令人感兴趣的第一色度分量的值V-PI与中心值CV之间的绝对差。中心值CV与无关紧要的(insignificant)的饱和度相对应，即中心值CV相当于根本没有饱和度。例如，假设色度分量的值包含在0到255之间的范围中，如果这些值借助于8位来表示，则这是典型的情况。在这种情况下，中心值CV可以是例如128。中心偏离检测器CDD1可以将中心值CV从令人感兴趣的第一色度分量的值V-P I中减去并且取该减法的结果的绝对值，从而获得前述值之间的绝对差。中心偏离检测器CDD1提供第一色度偏离值DV-PI，其与该绝对差对应。通过相似的方式，中心偏离检测器CDD2提供第二色度偏离值DU-PI，其与令人感兴趣的第二色度分量U-PI的值与中心值CV之间的绝对差对应。
加法器AD1使第一色度偏离值DV-PI与第二色度偏离值DU-PI相加，这产生总的色度偏离值DUV-PI。总色度偏离值DUV-PI表示令人感兴趣的像素PI的饱和度。该总色度偏离值DUV-PI越高，饱和度越高。相反地，如果令人感兴趣的像素PI展示出相对较低的饱和度，该总色度偏离值DUV-PI将相对接近于零(0)。
归一化器NM1将总色度偏离值DUV-PI除以中心值CV。此外，归一化器NM1将一个单位的值(1)加到该除法的结果，从而获得亮度控制值LC。因此，亮度控制值LC可以包含在1到2之间的范围内。如果令人感兴趣的像素PI展示出相对较低的饱和度，则亮度控制值LC将相对接近于1，并且如果令人感兴趣的像素PI展示出相对较高的饱和度，则亮度控制值LC将相对接近于2。
归一化器NM2将总色度偏离值DUV-PI除以中心值CV的一半。此外，归一化器NM2将一个单位的值(1)加到该除法的结果，从而获得亮度控制值LC。因此，色度控制值CC可以包含在1到3之间的范围内。即色度控制值CC可以在比亮度控制值LC宽的范围上变化。如果令人感兴趣的像素PI展示出相对较高的饱和度，则色度控制值CC将相对接近于3。结果，与亮度分量相比，对色度分量的细节放大程度将会更高。
图5示出细节强调模块DE1，或更确切地说示出其实例。细节强调模块DE1包括各种功能实体：选择器SEL、典型值计算器TVC、减法器SU、乘法器MUL、加法器AD2和限幅器(clipper)CLP。上文中关于(可以是基于软件或基于硬件的)图像增强器ENH的各种可能的实现方式所作出的评述(remark)同样适用于饱和度检测器SDT。图5因此可以被视为表示一种方法，由此功能实体或功能实体组可以被认为是该方法的处理步骤或一系列的处理步骤。
选择器SEL选择在所述亮度分量组Y-SP中的令人感兴趣的亮度分量Y-PI。如前文所述，像素选择数据LN、PN标识令人感兴趣的像素PI，并且因此标识令人感兴趣的亮度分量Y-PI。典型值计算器TVC基于所述亮度分量组Y-SP计算典型的亮度值Y-TV。该典型的亮度值Y-TV可以是例如包含在所述组中的邻近亮度分量的相应值的平均值。作为另一个实例，典型的亮度值Y-TV可以是中值。
减法器SU将典型的亮度值Y-TV从令人感兴趣的亮度分量Y-PI中减去。因此，减法器SU提供了令人感兴趣的像素PI的亮度差值dY-PI，其表达了令人感兴趣的亮度分量Y-PI与邻近亮度分量之间的值差。
乘法器MUL将亮度差值dY-PI与图4中所示的饱和度检测器SDT提供的亮度控制值LC相乘。该乘法的结果是放大的亮度差值AdY-PI。亮度控制值LC构成放大系数，即令人感兴趣的亮度分量Y-PI与邻近亮度分量之间的值差的增益值。加法器AD2将典型的亮度值Y-TV加到放大的亮度差值AdY-PI，从而获得无界的(unbounded)输出亮度值YV。
限幅器CLP基于无界的输出亮度值YV将值分配给输出亮度分量Yo。在无界输出亮度值YV处于期望的范围内的情况下，输出亮度分量Yo的值等于该无界输出亮度值YV。所述期望的范围可以包含在例如0到255之间，0和255分别表示下限和上限。在无界的输出亮度值YV低于下限的情况下，输出亮度分量Yo的值等于下限。相反地，在无界的输出亮度值YV高于上限的情况下，输出亮度分量Yo的值等于上限。因此，限幅器CLP确保了输出亮度分量Yo的值处于期望的范围内。
假设令人感兴趣的像素PI展示出无关紧要的色饱和度。结果，亮度控制值LC将等于1，或仅仅稍大于1。在这种情况下，令人感兴趣的亮度分量Y-PI与邻近的亮度分量之间的值差不被放大，或仅仅以无关紧要的程度放大。增益值为1，或仅仅稍大于1。输出亮度分量Yo将基本等于令人感兴趣的亮度分量Y-PI。没有对任何细节进行强调，因为存在无关紧要的色饱和度。
相反地，现在假设令人感兴趣的像素PI展示出相对较高的色饱和度。结果，亮度控制值LC将显著大于1。在这种情况下，令人感兴趣的亮度分量Y-PI与邻近的亮度分量之间的值差以依赖于色饱和度的程度被放大。增益值显著大于1。在令人感兴趣的亮度分量Y-PI的值与邻近亮度分量的值相比相对较低的情况下，输出亮度分量Yo的值将甚至低于令人感兴趣的亮度分量Y-PI的值。相反地，在令人感兴趣的亮度分量Y-PI的值与邻近亮度分量相比相对较高的情况下，输出亮度分量Yo的值将甚至高于令人感兴趣的亮度分量Y-PI的值。色饱和度越高，令人感兴趣的亮度分量Y-PI的值分别被有效地减小或增大的程度越高。因此，在色饱和度高的区域中，空间亮度细节得到增强(boost)。
细节强调模块DE2、DE3与图5中所示的细节强调模块DE1相似并以相似方式操作。差异在于，细节强调模块DE2将包括可与图5中所示的乘法器MUL相比的乘法器，其接收色度控制值CC而不是亮度控制值LC。相同的情况适用于细节强调模块DE3。由于色度控制值CC具有比亮度控制值LC的上限(其为2)更高的上限(即3)，在色饱和度高的区域中空间色度细节以甚至比空间亮度细节增强的程度更高的程度被增强。
图6示出图2中所示的图像增强器ENH的基于软件的实现方式。图6是示出以c代码书写的一组指令的计算机代码图，该组指令可以使处理器执行前文结合图2所述的操作以及结合图3-5所述的操作。这组指令包括与前述附图中示出的和前文所述的各个功能实体相关的各个代码部分CP1-CP4。图6借助于附图标记指示了这些关系：与图2-5中任一个中示出的功能实体对应的代码部分被提供有对应于所关注的功能实体的附图标记的附图标记。
结论
前文参照附图的详细描述仅仅是对权利要求中限定的本发明和附加特征的说明。本发明可以通过多种不同的方式实现。为了说明这一点，简要地示出一些可替代方案。
本发明可以在涉及彩色图像的多种类型的产品和方法中有利地应用。例如，本发明可以在设有彩色显示器的便携式通信装置(例如蜂窝电话或个人数字助理(PDA))中应用。要被增强的彩色图像可以通过多种不同的方式被接收。图2示出其中经由网络从服务器接收彩色图像的实例。在其他应用中，可以从读取数据载体的读取模块接收彩色图像，数据载体例如光盘、硬盘或固态存储器。这种读取模块可以形成本发明应用于其中的图像再现装置的一部分。根据本发明而被增强的彩色图像不必是特定的格式。详细的说明提供了一个实例，其中彩色图像是所谓的YUV格式。作为其他实例，所谓的YCrCb格式或所谓的HSV格式的彩色图像也可以根据本发明而被增强。
存在各种以依赖于色饱和度的程度对图像区中空间细节进行滤波的方式。所述的详细的说明提供了一个实例，其中当色饱和度较高时图像区中的空间细节以较大程度被强调。强调空间细节相当于高通滤波。作为另一个实例，当色饱和度较高时，空间细节可能以较大的程度经受低通滤波。即，当色饱和度较高时，空间细节以较大的程度被削弱(deemphasize)。这种滤波技术可能对于处理例如通过读取VHS类型的录像带获得的视频信号是有利的。在这种录像带上，借助于调制技术存储颜色信息，该调制技术造成饱和的彩色平面中相对较强的噪声。当所关注的平面中的色饱和度较大时，可以通过应用较大程度的低通滤波来减少该噪声。感知的图像质量将得到改进。当所关注的平面中的色饱和度较低时，这也可以通过应用较大程度的高通滤波来获得。在这种应用中，仅仅在色饱和度相对较低的图像区中强调细节，这避免了对否则会不利地影响感知的图像质量的颜色噪声的强调。
存在多种对图像中空间细节进行滤波的方式。所述详细的说明提供了一个实例，其中令人感兴趣的像素与邻近像素之间的值差基于逐个像素而被放大。作为另一个实例，滤波装置可以检测表示细节的特定组的像素，例如对象边界周围的一组像素。然后滤波装置可以放大这样的组的像素中存在的高频分量。例如，高通滤波可以选择性地被应用到图像中包括相对较多细节的并且其中颜色以相对较高程度饱和的区域。频率分析技术可以用于识别包括相对较多细节的区域。
存在多种检测色饱和度的方式。所述详细的说明提供了一个实例，其中确定了属于令人感兴趣的像素的色度值与中心值之间的绝对差。作为另一个实例，可以分析特定图像区中各个像素的各个色度值，从而确定色饱和度。色度值对可以以具有给定长度的向量形式表示。所述饱和度可以从这种向量的长度导出。存在多种基于一个或多个色度值生成反映色饱和度的控制值的方式。首先，生成控制值的适当方式将依赖于彩色图像的颜色格式。而且，控制值可以以非线性方式随饱和度变化。细节强调的程度不必与饱和度成比例。
术语“图像”应当被广义地理解。该术语包括可被视觉地再现的任意元素，例如图片、帧或画面(field)。术语“滤波”应当被广义地理解。该术语包括任何类型的处理，借助于该处理，或者在空间上或者在时间上或二者皆有地依赖具有邻近位置的其他像素修改令人感兴趣的像素(或令人感兴趣的像素组)的一个属性。
广义地说，存在多种借助于硬件或软件或二者的组合实现功能实体的方式。在这方面，附图是非常示意性的。尽管附图将不同的功能实体示出为不同的块(block)，但是这绝不排除其中单个实体执行若干个功能或其中若干个实体执行单个功能的实现方式。例如，参照图2，细节强调模块DE2、DE3可以借助于单个软件模块来实现。
存在多种存储并分发为允许可编程电路根据本发明操作的软件的指令组的方式。例如，软件可以存储在适当的介质中，例如光盘或存储器电路。其中存储了软件的介质可以作为单独的产品或与另一个可以执行软件的产品一起被提供。这种介质也可以是使软件能够被执行的产品的一部分。软件业可以经由通信网络而被分发，通信网络可以是有线、无线或混合的。例如，软件可以经由因特网分发。可以借助于服务器使软件可用于下载。下载可能需要付费。
上文中作出的评述表明，参照附图的所述详细的说明说明而非限制本发明。存在落入所附权利要求的范围内的多种可替代方案。权利要求中的附图标记不应当被解释为限制权利要求。文字“包括”不排除权利要求中没有列出的其他元件或步骤的存在。元件或步骤前面的文字“一”不排除多个这样的元件或步骤的存在。各个从属权利要求限定各个附加特征这个起码的事实并不排除对应于从属权利要求的组合的附加特征的组合。
Claims (8)
1.一种图像增强方法，包括：
-饱和度检测步骤(SDT)，其中检测在图像区(SP)中出现的色饱和度(LC，CC)的程度；以及
-滤波步骤(DE1，DE2，DE3)，其中以依赖于所述色饱和度的程度对所述图像区中的至少一个空间细节进行滤波；
其中在所述滤波步骤(DE1，DE2，DE3)中，图像区(SP)中令人感兴趣的像素(PI)与邻近像素之间的值差被放大，色饱和度(LC，CC)的程度越高，放大程度越大，被放大的值差包括亮度值和色度值，色度值的差被放大的程度大于亮度值的差被放大的程度。
2.根据权利要求1的方法，其中在饱和度检测步骤(SDT)中，被检测的色饱和度(LC，CC)的程度是令人感兴趣的像素(PI)的色饱和度的程度。
3.根据权利要求2的方法，所述饱和度检测步骤(SDT)包括下列子步骤：
-中心偏离检测子步骤(CCD1)，其中确定属于令人感兴趣的像素的色度值与对应于无关紧要的饱和度的程度的中心值之间的绝对差；以及
-控制值生成子步骤(AD1，NM1，NM2)，其中基于所述绝对差生成控制值，该控制值确定令人感兴趣的像素(PI)与邻近像素之间的值差被放大的程度。
4.根据权利要求1的方法，所述滤波步骤(DE1)包括下列子步骤：
-典型值计算子步骤(TVC)，其中确定所述邻近像素的典型值(Y-TV)；
-减法子步骤(SU)，其中所述典型值被从属于令人感兴趣的像素(PI)的值(Y-PI)中减去，从而获得差值；
-乘法子步骤(MUL)，其中所述差值与系数相乘，色饱和度(LC，CC)的程度越高，该系数越高，从而获得放大的差值(AdY-PI)；以及
-加法子步骤(AD2)，其中所述典型值被加到所述被放大的差值，从而获得令人感兴趣的像素(PI)的修改的值(YV)。
5.根据权利要求1的方法，包括：
-定序步骤(SQ)，其中接连逐个地将彩色图像中各个像素指定为令人感兴趣的像素(PI)。
6.根据权利要求1的方法，包括：
-像素选择步骤(PSR)，其中基于预定的孔(APE)形成包括令人感兴趣的像素(PI)的像素组(SP)，所述值差基于所述像素组而被建立。
7.一种图像增强器(ENH)，包括：
-饱和度检测器(SDT)，其被设置为检测在图像区中出现的色饱和度(LC，CC)的程度；以及
-滤波装置(DE1，DE2，DE3)，其被设置为以依赖于所述色饱和度的程度对所述图像区中至少一个空间细节进行滤波；
其中所述滤波装置(DE1，DE2，DE3)被设置为放大图像区(SP)中令人感兴趣的像素(PI)与邻近像素之间的值差，色饱和度(LC，CC)的程度越高，放大程度越大，被放大的值差包括亮度值和色度值，色度值的差被放大的程度大于亮度值的差被放大的程度。
8.一种图像再现系统(IRS)，包括根据权利要求7的用于处理彩色图像以获得增强的彩色图像的图像增强器(ENH)和用于显示所述增强的彩色图像的显示设备(DPL)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP08305055 | 2008-03-13 | ||
| EP08305055.9 | 2008-03-13 | ||
| PCT/IB2009/051001 WO2009113023A1 (en) | 2008-03-13 | 2009-03-10 | Color image enhancement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101999137A CN101999137A (zh) | 2011-03-30 |
| CN101999137B true CN101999137B (zh) | 2013-07-10 |
Family
ID=40718549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801087758A Expired - Fee Related CN101999137B (zh) | 2008-03-13 | 2009-03-10 | 彩色图像增强 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9196019B2 (zh) |
| EP (1) | EP2266096B1 (zh) |
| JP (1) | JP5593515B2 (zh) |
| KR (1) | KR101598555B1 (zh) |
| CN (1) | CN101999137B (zh) |
| WO (1) | WO2009113023A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101294854B1 (ko) | 2010-12-22 | 2013-08-08 | 엘지디스플레이 주식회사 | 비젼 시스템과 이를 이용한 입체영상 표시장치의 표시패널과 패턴 리타더 정렬 시스템 |
| JP5972312B2 (ja) * | 2014-03-24 | 2016-08-17 | 富士フイルム株式会社 | 医用画像処理装置及びその作動方法 |
| US10132860B2 (en) | 2016-10-28 | 2018-11-20 | Nxp Usa, Inc. | Systems and methods for testing package assemblies |
| CN112911366B (zh) * | 2019-12-03 | 2023-10-27 | 海信视像科技股份有限公司 | 饱和度调整方法、装置及显示设备 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE131297T1 (de) | 1987-08-03 | 1995-12-15 | American Film Tech | Einrichtung und verfahren zur farbbildverbesserung. |
| JPH0382273A (ja) | 1989-08-25 | 1991-04-08 | Toshiba Corp | 撮像装置の輪郭補正回路 |
| US5517335A (en) * | 1994-10-11 | 1996-05-14 | Seiko Epson Corporation | Apparatus and method for enhancing color saturation in halftoned images |
| US5982926A (en) | 1995-01-17 | 1999-11-09 | At & T Ipm Corp. | Real-time image enhancement techniques |
| KR100202566B1 (ko) | 1996-03-25 | 1999-06-15 | 구자홍 | 칼라영상의 선명도 향상장치 |
| US6449060B1 (en) | 1996-07-22 | 2002-09-10 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JPH1040373A (ja) | 1996-07-22 | 1998-02-13 | Canon Inc | 画像処理装置及び方法 |
| JP3736632B2 (ja) * | 1996-11-21 | 2006-01-18 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 |
| US6400371B1 (en) * | 1997-05-16 | 2002-06-04 | Liberate Technologies | Television signal chrominance adjustment |
| JP3699873B2 (ja) | 1999-10-27 | 2005-09-28 | オリンパス株式会社 | 画像処理装置 |
| JP2002033934A (ja) * | 2000-07-18 | 2002-01-31 | Fuji Photo Film Co Ltd | 画像処理装置及び方法 |
| US6809838B1 (en) | 2000-10-19 | 2004-10-26 | Eastman Kodak Company | Transforms for display or printing digital images |
| JP4666274B2 (ja) * | 2001-02-20 | 2011-04-06 | 日本電気株式会社 | カラー画像処理装置及びその方法 |
| JP4111689B2 (ja) * | 2001-04-24 | 2008-07-02 | シャープ株式会社 | 画像処理装置、画像処理プログラムを記録したコンピュータ読取可能な記録媒体およびプログラム |
| EP1370091A1 (en) * | 2002-06-06 | 2003-12-10 | Koninklijke Philips Electronics N.V. | Image processing |
| US7221793B2 (en) * | 2003-05-27 | 2007-05-22 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing spatially-varied demosaicing |
| CN1266950C (zh) * | 2003-11-10 | 2006-07-26 | 华亚微电子（上海）有限公司 | 一种视频图像的品质增强系统与方法 |
| KR100561852B1 (ko) * | 2003-11-20 | 2006-03-16 | 삼성전자주식회사 | 색 신호의 밝기 보상 방법 및 장치 |
| KR100542365B1 (ko) | 2004-05-07 | 2006-01-10 | 삼성전자주식회사 | 영상 화질 개선 장치 및 그 방법 |
| WO2006025120A1 (ja) * | 2004-09-01 | 2006-03-09 | Mitsubishi Denki Kabushiki Kaisha | 画像表示装置および画像表示方法 |
| JP4822773B2 (ja) * | 2004-09-13 | 2011-11-24 | キヤノン株式会社 | 色ノイズ低減回路及びそれを用いた撮像装置 |
| US7483082B2 (en) | 2005-04-21 | 2009-01-27 | Kolorific, Inc. | Method and system for automatic color hue and color saturation adjustment of a pixel from a video source |
| JP2007104151A (ja) * | 2005-09-30 | 2007-04-19 | Sanyo Electric Co Ltd | 画像処理装置および画像処理プログラム |
| US7773158B2 (en) * | 2005-10-12 | 2010-08-10 | Panasonic Corporation | Visual processing device, display device, and integrated circuit |
| JP2008042392A (ja) * | 2006-08-03 | 2008-02-21 | Matsushita Electric Ind Co Ltd | 画像処理装置及び方法 |
| US8570341B1 (en) * | 2007-12-07 | 2013-10-29 | Ipera Technology, Inc. | Method and system for enhancing color saturation |
-
2009
- 2009-03-10 CN CN2009801087758A patent/CN101999137B/zh not_active Expired - Fee Related
- 2009-03-10 KR KR1020107022635A patent/KR101598555B1/ko active IP Right Grant
- 2009-03-10 JP JP2010550317A patent/JP5593515B2/ja active Active
- 2009-03-10 WO PCT/IB2009/051001 patent/WO2009113023A1/en active Application Filing
- 2009-03-10 US US12/919,777 patent/US9196019B2/en active Active
- 2009-03-10 EP EP09719008.6A patent/EP2266096B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011516911A (ja) | 2011-05-26 |
| KR101598555B1 (ko) | 2016-02-29 |
| EP2266096B1 (en) | 2020-04-29 |
| WO2009113023A1 (en) | 2009-09-17 |
| KR20100132520A (ko) | 2010-12-17 |
| CN101999137A (zh) | 2011-03-30 |
| EP2266096A1 (en) | 2010-12-29 |
| US9196019B2 (en) | 2015-11-24 |
| US20110002540A1 (en) | 2011-01-06 |
| JP5593515B2 (ja) | 2014-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11158033B2 (en) | Method for image processing, electronic device, and non-transitory storage medium for improving contrast of image | |
| EP3341913B1 (en) | Inverse tone mapping based on luminance zones | |
| US7652717B2 (en) | White balance correction in digital camera images | |
| US10319085B2 (en) | Metadata-based image processing method and apparatus | |
| US10572983B2 (en) | Method and apparatus for inverse tone mapping | |
| US20080240601A1 (en) | Edge mapping using panchromatic pixels | |
| JPH0355078B2 (zh) | ||
| KR20060120643A (ko) | 화상처리 장치, 화상처리 방법 및 화상처리 프로그램 | |
| CN101902550A (zh) | 图像处理装置及图像处理方法 | |
| GB2504381A (en) | Selecting a colour matching profile to increase the vividness of an image | |
| CN101999137B (zh) | 彩色图像增强 | |
| US20080123984A1 (en) | System and method for efficiently enhancing videos and images | |
| US10861420B2 (en) | Image output apparatus, image output method, for simultaneous output of multiple images | |
| US7885488B2 (en) | Image processing apparatus, method and medium | |
| KR102529957B1 (ko) | 디스플레이장치 및 기록매체 | |
| Vazquez-Corral et al. | Spatial gamut mapping among non-inclusive gamuts | |
| CN113132562A (zh) | 镜头阴影校正方法、装置及电子设备 | |
| CN115272154A (zh) | Hdr图像生成方法、装置、电子设备及可读存储介质 | |
| EP3716619A1 (en) | Gamut estimation | |
| Bertalmío et al. | Spatial gamut mapping among non-inclusive gamuts | |
| Lukac | Color image restoration using vector filtering operators | |
| Kim et al. | Video enhancement method with color-protection post-processing | |
| KR100917926B1 (ko) | 썸네일 생성 시스템 및 생성 방법 | |
| WO2006123290A2 (en) | Image processor comprising a contrast enhancer | |
| JP2002197453A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130710 Termination date: 20210310 |