CN107578384A - 一种空间色域映射方法及装置 - Google Patents

一种空间色域映射方法及装置 Download PDF

Info

Publication number
CN107578384A
CN107578384A CN201710772304.3A CN201710772304A CN107578384A CN 107578384 A CN107578384 A CN 107578384A CN 201710772304 A CN201710772304 A CN 201710772304A CN 107578384 A CN107578384 A CN 107578384A
Authority
CN
China
Prior art keywords
gamut
details
image
mapping
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710772304.3A
Other languages
English (en)
Inventor
朱明�
张�浩
王娜
邓倩
洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Institute of Engineering
Original Assignee
Henan Institute of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Institute of Engineering filed Critical Henan Institute of Engineering
Priority to CN201710772304.3A priority Critical patent/CN107578384A/zh
Publication of CN107578384A publication Critical patent/CN107578384A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明实施例公开了一种空间色域映射方法及装置。其中,方法包括利用引导滤波方法对满足预设颜色模式条件的原始图像的亮度通道进行边缘模糊处理,以提取原始图像的细节信息,并对细节信息进行四舍五入处理;根据色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法动态计算色域压缩深度;在色域压缩前利用色域外细节信息对原始图像的细节进行预补偿;根据色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射,实现了原始图像的空间色域映射。从根本上避免了细节补偿类色域映射中经常出现的光晕现象,获得好的图像映射质量效果,大幅提高了图像映射的计算效率。

Description

一种空间色域映射方法及装置
技术领域
本发明实施例涉及跨媒体图像复制技术领域,特别是涉及一种空间色域映射方法及装置。
背景技术
随着计算机技术的快速发展,信息传播技术也得到了相应的发展,各类媒体越来越多,相应的,不同媒体之间的流布与互动,即跨媒体传播成为必然。跨媒体传播可为相互信息在不同媒体之间的交叉传播与整合,或媒体之间的合作、共生、互动与协调,在跨媒体传播过程中,图像的复制为一种重要的手段。
色域映射是跨媒体图像复制中的关键技术,用于解决跨媒体图像复制系统中的颜色匹配问题。色域为一个成像系统(如显示器,扫描仪,打印机等)所能再现的颜色范围,一般有设备色域和图像色域两种。在图像复制过程中,当颜色信息从一台设备(如显示器)输出到另一台设备(如打印机)时,由于两台设备的色域范围不同(例如,显示器上某些可显示的颜色无法用打印机打印出来),必然会导致颜色信息的丢失。为了保证在不同色域的目标设备上准确地再现输入图像,色域映射算法应用而生。
由于空间色域算法可在一定程度上有效避免图像细节的严重损失,具有较好的图像复制效果,在色域映射算法领域中应用较广。现有的空间色域算法为迭代优化类算法和细节保持类算法,迭代优化类算法的映射质量很好,但计算效率很低。而细节保持类算法通常至少要执行两次映射过程,即先对频带分解后的基础层图像做一次映射,再对细节层合并后的图像进行第二次映射。这两次映射过程不仅大幅增加了计算时间,而且基础层和细节层的合并极易在图像边缘处产生光晕问题。
故,如何在保证图像映射质量的基础上,提高空间色域映射的计算效率,是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种空间色域映射方法及装置,以提高空间色域映射的计算效率。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种空间色域映射方法,包括:
获取满足预设颜色模式条件的原始图像,利用引导滤波方法对所述原始图像的亮度通道进行边缘模糊处理,以得到所述原始图像的低频亮度信号,根据所述低频亮度信号及所述亮度通道,提取所述原始图像的细节信息,并对所述细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理;
根据处理过的细节信息确定目标色域,并计算所述目标色域的色域内细节信息与色域外细节信息,根据所述色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度;
利用所述色域外细节信息对所述原始图像的图像细节进行色域压缩前的预补偿,得到细节预补偿图像;
根据所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射,以完成所述原始图像的空间色域映射。
可选的,所述获取满足预设颜色模式条件的原始图像包括:
接收待映射的原始图像;
判断所述原始图像的颜色模式是否满足所述预设颜色模式条件;
当判定所述原始图像的颜色模式不满足所述预设颜色模式条件,将所述原始图像的颜色模式转化为预设颜色模式。
可选的,所述利用引导滤波方法对所述原始图像的亮度通道进行边缘模糊处理,以得到所述原始图像的低频亮度信号包括:
设置引导滤波的参数为r=4,ε=0.32
利用下述公式对所述原始图像的亮度通道进行边缘模糊处理,得到所述原始图像的低频亮度信号:
Llow=GuidedFiltering(Loriginal);
式中,Loriginal为所述原始图像的亮度通道,Llow为所述低频亮度信号。
可选的,所述根据所述色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度包括:
根据所述色域内细节信息计算色域内需要保持的细节数及色域内总细节数;
根据色域内需要保持的细节数及色域内总细节数计算色域内细节保持比例;
当所述色域内细节保持比例值不大于预设的细节保持比例阈值时,按照预设的调节值减小预设色域压缩深度初始值,以增大所述色域内细节保持比例值,重复迭代过程,直至所述色域内细节保持比例值大于所述细节保持比例阈值,得到最终色域压缩深度比例值;
利用所述最终色域压缩深度比例值、映射中心位置、所述目标色域边界、映射方向线计算色域压缩深度。
可选的,所述细节保持比例阈值为80%。
可选的,所述利用所述色域外细节信息对所述原始图像的图像细节进行色域压缩前的预补偿包括:
利用下述公式对所述原始图像的图像细节进行预补偿:
Icompensated=Icompensated(Loriginal+LDetail_Out,aoriginal,boriginal);
式中,Loriginal为所述原始图像的亮度通道,LDetail_Out为所述色域外细节信息,Icompensated为图像细节补偿后的图像,aoriginal、boriginal为所述原始图像的通道。
可选的,所述根据所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射包括:
在等色相角平面,预先将亮度轴按照预设比例分为多段,以在所述等色相角平面得到多个亮度不同的区域;
确定各个不同亮度区域的CUSP点,并确定相应的映射中心点;
在色域外的像素点进行映射时,根据对应的映射中心点,按照所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射。
可选的,所述将亮度轴按照预设比例分为多段,以在所述等色相角平面得到多个亮度不同的区域包括:
按照亮度值为100、80及20将所述亮度轴分为三段,得到亮度值为80-100的亮调区域,亮度值为20-80的中间调区域和亮度值为0-20的暗调区域。
本发明实施例另一方面提供了一种空间色域映射装置,包括:
图像细节信息提取模块,用于获取满足预设颜色模式条件的原始图像,利用引导滤波方法对所述原始图像的亮度通道进行边缘模糊处理,以得到所述原始图像的低频亮度信号,根据所述低频亮度信号及所述亮度通道,提取所述原始图像的细节信息,并对所述细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理;
色域压缩深度计算模块,用于根据处理过的细节信息确定目标色域,并计算所述目标色域的色域内细节信息与色域外细节信息,根据所述色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度;
细节预补偿模块,用于利用所述色域外细节信息对所述原始图像的图像细节进行色域压缩前的预补偿,得到细节预补偿图像;
色域映射模块,用于根据所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射,以完成所述原始图像的空间色域映射。
可选的,所述图像细节信息提取模块包括:
图像接收单元,用于接收待映射的原始图像;
模式判断单元,用于判断所述原始图像的颜色模式是否满足所述预设颜色模式条件;
模式转化单元,用于当判定所述原始图像的颜色模式不满足所述预设颜色模式条件,将所述原始图像的颜色模式转化为预设颜色模式。
本发明实施例提供了一种空间色域映射方法,利用引导滤波方法对满足预设颜色模式条件的原始图像的亮度通道进行边缘模糊处理,以提取原始图像的细节信息,并对细节信息进行四舍五入处理;根据色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法动态计算色域压缩深度;在色域压缩前利用色域外细节信息对原始图像的细节进行预补偿;根据色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射,以完成原始图像的空间色域映射。
本申请提供的技术方案的优点在于,在对原始图像进行频带分解时,只需将目标色域外的颜色按照对应的色域压缩深度进行一次映射即可,无需进行不同频带图像的合并,大大的节省了计算时间,从而提高了空间色域映射的计算效率,还能从根本上避免了细节补偿类色域映射中经常出现的光晕现象,获得好的图像映射质量效果;此外,还具有较好的图像偏好性,有利于提升跨媒体图像复制的准确性。
此外,本发明实施例还针对空间色域映射方法提供了相应的实现装置,进一步使得所述方法更具有实用性,所述装置具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种空间色域映射方法的流程示意图;
图2为本发明实施例提供的一个示意性例子的映射示意图;
图3为本发明实施例提供的另一个示意性例子的映射示意图;
图4为本发明实施例提供的图1中S101的流程示意图;
图5为本发明实施例提供的多种色域映射算法的偏好性能比较曲线图;
图6为本发明实施例提供的多种色域映射算法的准确性比较曲线图;
图7为本发明实施例提供的空间色域映射装置的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
本申请的发明人经过研究发现,现有的色域映射算法分为三种类型:第一种类型采用了“输入设备到输出设备”的色域映射思想,这类算法被称为设备相关映射算法。这种类型算法按照映射原理又可分为色域压缩和色域裁剪,大多数经典的色域映射算法都可划分为第一种类型。第二种类型算法采用了“图像色域到设备色域”的映射思想,这类算法能够实现对图像内容动态自适应的色域映射,因此又称为图像相关的色域映射算法。
这两类算法都属于逐点映射算法,即将源色域中的颜色逐点映射到目标色域内。图像相关算法在映射效果上要优于设备相关算法,但是计算量偏大。由于逐点算法在图像映射过程中不考虑空间相邻像素的相互影响,因此可能会造成图像细节的严重损失,效果往往不能令人满意,而且很难开发出一种对于多数类型图像都具有较好映射效果的逐点映射算法。
针对逐点映射算法的不足,出现了第三种类型算法即空间色域映射算法。该类算法在色域映射过程中除了要考虑图像颜色特性外,还考虑了图像的空间位置特性。使用这类算法,输入图像中两个颜色值相同的像素依据它们的空间位置关系可能会被映射为不同的颜色值。因此通过在映射过程中保持图像细节,空间色域映射算法能够获得更好的图像复制效果。
空间色域算法中常用的两类算法,第一类算法采用迭代优化的设计思想,需要定义一个合理的图像质量优化准则,该准则依赖于一个基于人眼视觉的图像质量评价模型。这类算法在最佳逐点色域裁剪和最佳空间色域映射之间进行了折衷,当迭代次数为零时,初次映射相当于一个色域裁剪,随着迭代次数的增加,映射结果越来越接近于理想的空间映射结果。每次迭代后,都会判断映射结果是否满足图像质量优化准则。直到满足为止,迭代才会停止。迭代类算法的图像映射质量较高,但其所需的图像质量优化准则依赖于复杂的图像质量评价模型,由于每次迭代都需要图像质量评价模型的计算,这可能会带来较大的计算量。第二类算法采用保持空间颜色对比(即图像细节)的思想,在这类算法中,现有技术1中将输入图像分解为两个或多个不同的频带,对低频带图像进行色域映射后,再与较高频带图像合并,并对合并后图像再一次映射,以此类推直至得到最终映射图像。现有技术2中提出了一种能够保持图像局部亮度变化的空间色域映射算法,该算法首先使用一个彩度优先的色域裁剪算法对输入图像进行第一次映射;然后对输入图像和映射后图像的亮度差进行空间滤波,所获得的高频成分被看作是图像的局部亮度变化。将该亮度变化信息加回到映射后图像以避免图像细节的损失。最后再使用一个亮度优先的色域裁剪算法对加和后的图像进行第二次映射,最终得到映射结果。细节保持类算法的细节再现效果较好,但当把高频内容加入到映射后的低频图像之后,极易产生光晕或颜色偏移问题。
在现有的两类空间色域映射算法中,迭代优化类算法的映射质量很好,但计算效率很低。而细节保持类算法通常至少要执行两次映射过程,即先对频带分解后的基础层图像做一次映射,再对细节层合并后的图像进行第二次映射。这两次映射过程不仅大幅增加了计算时间,而且基础层和细节层的合并极易在图像边缘处产生光晕问题。
鉴于此,本申请通过利用引导滤波方法对满足预设颜色模式条件的原始图像的亮度通道进行边缘模糊处理,以提取原始图像的细节信息,并对细节信息进行四舍五入处理;根据色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法动态计算色域压缩深度;在色域压缩前利用色域外细节信息对原始图像的细节进行预补偿;根据色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射,在保证图像映射质量的基础上,提高了空间色域映射的计算效率。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种空间色域映射方法的流程示意图,本发明实施例可包括以下内容:
S101:获取满足预设颜色模式条件的原始图像,利用引导滤波方法对原始图像的亮度通道进行边缘模糊处理,以得到原始图像的低频亮度信号,根据低频亮度信号及亮度通道,提取原始图像的细节信息,并对细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理。
由于本申请的技术方案需要对原始图像的亮度通道进行单独处理,因此对接收到的待映射处理的原始图像的颜色模式,具有一定的要求,即预设颜色模式条件的图像为具有单独亮度通道且与设备无关的颜色模式图像,例如CIE-Lab颜色模式,当然,也可为其他满足颜色格式条件的图像。
原始图像可包括独立的亮度通道、a通道和b通道。在使用引导滤波对原始图像的亮度通道处理时,需要先对引导滤波的参数r、ε进行配置,根据多次试验测试结果,滤波的参数可设置为r=4,ε=0.32。当然,也可在为其他值,这均不影响本申请的实现。
在配置好引导滤波参数后,可根据下述公式对原始图像的亮度通道进行边缘模糊处理,以得到原始图像的低频亮度信号:
Llow=GuidedFiltering(Loriginal);
式中,Loriginal为原始图像的亮度通道,Llow为低频亮度信号。
低频亮度信号可用以表征图像的轮廓和边缘信息,通过计算Lorigina和Llow的差值可以得到亮度通道的高频信号Lhigh,亮度通道的高频信号用于表征图像的纹理和细节信息,即得到原始图像的细节信息。
经引导滤波处理后,某些细节像素的亮度值很小(例如预设亮度阈值为1,亮度值小于1),这些细节信息对于后面步骤中色域内和色域外细节的统计来说并无意义,且会影响色域映射深度的计算,从而影响最终的映射结果,因此这些微小的细节信息必须忽略不计,因此还需要对得到的细节像素值进行四舍五入,即可利用下述公式进行四舍五入处理:
Lhigh=round(Lhigh)。
S102:根据处理过的细节信息确定目标色域,并计算目标色域的色域内细节信息与色域外细节信息,根据色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度。
色域压缩深度的具体计算过程可为:
根据色域内细节信息计算色域内需要保持的细节数及色域内总细节数;
根据色域内需要保持的细节数及色域内总细节数计算色域内细节保持比例;
当色域内细节保持比例值不大于预设的细节保持比例阈值时,按照预设的调节值减小预设色域压缩深度初始值,以增大色域内细节保持比例值,重复迭代过程,直至色域内细节保持比例值大于细节保持比例阈值,得到最终色域压缩深度比例值;
利用最终色域压缩深度比例值、映射中心位置、目标色域边界、映射方向线计算色域压缩深度。
根据统计得到的色域内细节信息,动态计算出特定色域内细节保持比例条件下的色域压缩深度,可将细节补偿后图像中的色域外颜色按照其对应的色域压缩深度等比例映射到目标色域内。
统计色域内细节信息(LDetail_In)和色域外细节信息(LDetail_Out)。LDetail_In用于计算特定色域内细节保持比例(No_mapping_percentage)条件下的色域压缩深度(Mapping_depth),可使用迭代算法完成的计算,例如当迭代函数为Iteration,计算利用下式进行,在算法框架中,用LDetail_In_preserved表示色域内保留的(即不进行色域压缩)的图像细节位置。
Mapping_depth=Iteration(LDetail_In,No_mapping_percentage);
色域内细节保持比例(No_mapping_percentage)即目标色域内需要保持的(不映射的)图像细节数占色域内细节总数的百分比。在色域映射前,需要先设定色域内细节保持比例,然后根据这个比例计算出色域压缩深度,从而确定目标色域内的图像细节保持区域。
举例来说,图2中最内侧的黑色虚线区域即为图像细节保持区域,在图2中,对于目标色域外的“Pi”点来说,“OPi”代表其映射方向线,它与源色域和目标色域边界的交点分别是“Pi”和“Po”,与虚线所围的图像细节保持区域的交点为“D”。“OD”代表不进行色域压缩的区域,位于线段“OD”内部的颜色点将保持不变;“DPo”则代表色域压缩深度,位于线段“DPo”内部的颜色虽然也位于目标色域内,但仍需要压缩。
举例来说,请参见图2,使用迭代法求解色域压缩深度的步骤如下:对于某个颜色D来说,将其与映射中心O的距离“OD”与“OPo”的比值记为“Detail_in_proportion”;计算出色域内需要保持的细节数(Detail_in_preservation_sum)和色域内总细节数(Detail_in_number_sum),以及两者的比值色域内细节保持比例No_mapping_percentage;预先设定一个色域压缩深度初始值Mapping_depth_initial和细节保持比例阈值Threshold,当No_mapping_percentage小于该阈值时,适当减小Mapping_depth_initial,此时No_mapping_percentage值会相应增大,重复此迭代过程,直到No_mapping_percentage大于该阈值时,得到最终的色域压缩深度“Mapping_depth”,结束迭代。该计算过程的Matlab伪代码可如下:
上面计算得到的Mapping_depth仅为色域压缩深度的比例值,以图2所示的等色相面为例,真正的色域压缩深度“DPo”应为“OPo”与Mapping_depth的乘积。
在计算色域压缩深度时,细节保持比例阈值的设定是非常重要的,它直接影响着最终的色域映射效果。当该阈值设置较大时,“OD”就会越长,“DPo”就越短,说明色域内不压缩的颜色就越多,而色域外颜色的压缩深度就越窄;反之,当该阈值设置较小时,虽然加宽了色域外颜色的压缩深度,较好地保持色域外颜色压缩后的相对比例,但许多色域内颜色会因为映射而发生变化。因此,在输入图像一定的情况下,细节保持比例阈值并非越大越好,而是需要找出一个合适的数值。对不同细节保持比例阈值所对应的图像保留细节进行多次实验,发现在每幅细节位置图中,随着Threshold值的增大,细节位置图中的保留细节数越来越多,而压缩深度Mapping_depth则越来越窄,当Threshold=90%时,Mapping_depth=0,这时LDetail_In_preserved与LDetail_In完全相同,说明此时的色域压缩变成了色域外颜色裁剪。需要注意的是,在实际应用时,对于不同的输入图像,当细节保持比例阈值一定时,色域映射深度是不同的。
在大量试验的基础上,对细节保持比例和映射深度进行了适当折中,在最终算法中可将细节保持比例阈值确定为80%,当然,也可为其他值,这均不影响本申请的实现。
S103:利用色域外细节信息对原始图像的图像细节进行色域压缩前的预补偿,得到细节预补偿图像。
图像细节预补偿为在映射前将引导滤波计算后得到的目标色域外细节LDetail_Out与原始图像的亮度通道相加,同时保持原始图像的另外两个颜色通道,例如a通道和b通道不变。图像细节预补偿是为了在后面进行色域映射前补偿损失的图像细节,与色域压缩深度无关。
色域外细节信息用于对输入原始图像进行色域压缩前的预补偿,以尽可能降低色域压缩所造成的细节损失,补偿方法可利用下式所示进行:
Icompensated=Icompensated(Loriginal+LDetail_Out,aoriginal,boriginal);
式中,Loriginal为所述原始图像的亮度通道,LDetail_Out为所述色域外细节信息,Icompensated为图像细节补偿后的图像,aoriginal、boriginal为所述原始图像的通道。
S104:根据色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射,以完成原始图像的空间色域映射。
在完成细节补偿后,根据上步所得的色域压缩深度,设计逐点色域压缩算子G完成图像的色域映射。IFinal代表最终的映射结果图像,计算过程可如下式所示:
Ifinal=G(Icompensated,Mapping_depth)。
只需要将色域外的像素点(或者颜色)进行映射,色域内的颜色不用进行映射,考虑到色域外颜色在色域映射时的细节丢失严重问题,可对CUSP色域压缩算子进行了分段改进,即:
在等色相角平面,预先将亮度轴按照预设比例分为多段,以在等色相角平面得到多个亮度不同的区域;
确定各个不同亮度区域的CUSP点,并确定相应的映射中心点;
在色域外的像素点进行映射时,根据对应的映射中心点,按照色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射。
例如,可按照亮度值为100、80及20将所述亮度轴分为三段,得到亮度值为80-100的亮调区域,亮度值为20-80的中间调区域和亮度值为0-20的暗调区域。
举例来说,当使用色域映射算子G将细节补偿后的图像颜色向目标色域映射时,对于每个色域外颜色来说,映射中心选择亮度轴上的CUSP点,即为该颜色对应的等色相角平面内具有最大彩度值的目标色域边界点。图2显示了某等色相角平面内三个目标色域外颜色“Pi”,“P1i”和“P2i”的映射过程,其中,映射中心“O”即为该等色相角平面内亮度轴上的CUSP点,外侧范围最大的实线区域和内侧的实线区域分别代表图像色域边界和目标色域边界。待S102步色域映射深度确定后,就需要使用逐点色域压缩算子G对细节补偿后图像进行色域映射。在图2中,以映射线段“OPi”上的色域外颜色“Qi”为例,假定其映射点为色域压缩深度“DPo”内的“Qo”点,由于线段“DPi”上的颜色将等比例映射到“DPo”内,因此“Qo”的计算如下式所示:
在图2中,当对亮调区域的“P1i”和暗调区域的“P2i”进行映射时,如果仍以“O”为映射中心,那么将产生较大的映射角度,从而导致映射后出现较大的亮度损失。针对此问题,可对该映射过程进行了分段改进,请参阅图3所示。首先将亮度轴L分成三段,分别为亮度值80-100的亮调区域,亮度值20-80的中间调区域和0-20的暗调区域;再分别找出这三个亮度区域的CUSP点:“CUSP Highlight”、“CUSP”和“CUSP Shadow”,进而再找出相应的映射中心点“Ohigh”、“O”和“Olow”。例如对于“P1i”点来说,该颜色点位于亮调区域,分段改进后的映射结果取线段“OhighP1i”与目标色域边界的交点“P’1o”,较之改进前的映射结果“P1o”,其亮度值得到了较好地保持,即映射后该颜色的细节可能会得到较好的保留。
在发明实施例提供的技术方案中,在对原始图像进行频带分解时,只需将目标色域外的颜色按照对应的色域压缩深度进行一次映射即可,无需进行不同频带图像的合并,大大的节省了计算时间,从而提高了空间色域映射的计算效率,还能从根本上避免了细节补偿类色域映射中经常出现的光晕现象,获得好的图像映射质量效果;此外,还具有较好的图像偏好性,有利于提升跨媒体图像复制的准确性。
由于本申请的技术方案需要对原始图像的亮度通道进行单独处理,因此原始图像应该满足预设颜色模式条件,但是,接收到的带映射图像不一定皆满足预设颜色模式条件,鉴于此,本申请在一种具体的实施方式下,请参阅图4,上述实施例中的S101可具体包括:
S1011:接收待映射的原始图像;
S1012:判断原始图像的颜色模式是否满足预设颜色模式条件;
S1013:若是,则执行S1014,若否,则将原始图像的颜色模式转化为预设颜色模式;
S1014:利用引导滤波方法对原始图像的亮度通道进行边缘模糊处理,以得到原始图像的低频亮度信号;
S1015:根据低频亮度信号及亮度通道,提取原始图像的细节信息;
S1016:对细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理。
举例来说,如果输入原始图像的颜色模式为RGB,那么需要使用输入设备的ICC颜色特性文件将其转换为CIE-Lab模式。
通过对原始图像的颜色模式进行判断,并转化为满足条件的模式,避免在执行下述步骤时,返回错误反馈信息,重新进行判断,浪费图像映射的时间,有利于提升空间色域映射的计算效率。
为了证实本申请提供的技术方案(空间色域映射方法)具有好的映射效果,可采用基于图像成对比较的Z分数统计法和图像质量评价模型进行评价。前者通过观察者心理物理学评判的方式,评价算法的映射准确性和图像偏好性;后者是通过模型计算的方式评价映射后图像在颜色和细节方面与原始图像的近似度。
算法评价实验所用的测试图像可从图像数据库TID2008(TAMPERE ImageDatabase 2008)、CSIQ(Categorical Subjective Image Quality Database)和GATF印刷图像质量控制标准中选取,所有12幅测试图像涉及不同的颜色和阶调特征。为确保算法评价的说服力,选择4种现有技术(现有算法1、现有算法2、现有算法3、现有算法4)中的色域映射算法与本申请的技术方案进行比较,其中两种细节补偿类空间映射算法,一种迭代优化类空间映射算法和一种逐点映射算法。在映射准确性评价实验中,将每种测试算法(不包括本申请的计算方案)得到的图像分别与原始图像两两显示在显示屏上,观察者经过评判从中选出一幅最接近原始图像的图像;而在偏好性评价实验中,分别将每种测试算法(包括本申请的计算方案)得到的图像两两显示在显示屏上,观察者经过评判从每对图像中选出一幅图像质量(颜色保真度,清晰度,彩度,局部细节等)最佳的图像。
为了更加有效地验证映射算法的性能,实验中使用的源色域和目标色域应该具有一定的差异性。源色域和目标色域分别从“ColorEdge CG241W(艺卓)”显示器和EPSON P408喷墨打印机的颜色特征文件(ICC Profile)中提取,使用Gretag Macbeth的“ProfileEditor”软件显示的源色域和目标色域,从3维立体还是2维平面角度看,源色域范围都完全包含了目标色域。实验中所有映射算法都采用分区最大法(SMGBD)进行色域边界描述,分区数量设置为10。图5、图6显示的是根据准确性和偏好性评价实验结果计算的相应Z分数,以及使用瑟斯顿配对定律制作的95%置信区间的等距量表。Z分数表中横坐标的字母“P、Z、A、B、H”分别表示本申请的技术方案、现有技术的四种算法,实验所需观察者由10名图像处理相关专业人员和10名非专业人员组成。
从图5和图6中可见,在图像偏好性方面,本申请的技术方案与现有技术算法1及现有技术算法2的性能大致相同,且三者的偏好性Z分数都排在前列;而在映射准确性方面,本申请的技术方案要强于其它4种算法。具体来说,本申请的技术方案的优越性主要体现在对图像细节的再现方面。
此外,还借助S-CIELab和SSIM图像质量评价模型对算法的图像再现准确性进行评价。作为CIELab色差模型的图像扩展版,S-CIELab模型主要用于计算原始图像和映射后图像的色貌差别,计算结果反映了人眼视觉对两幅图像颜色外貌的总体感知差别,计算值越小说明经过该映射算法处理后的图像感知色貌与原始图像越接近,算法的色貌复制性能也就越好。SSIM也是一种用于衡量两幅图像结构相似性的图像质量评价模型,它改善了指标峰值信噪比(PSNR)和均方误差(MSE)等传统图像质量评价,与人眼视觉高度一致。本申请还使用SSIM值度量原始图像与映射后图像的结构相似度,SSIM值越大表明映射后图像与原始图像越接近,即当前映射算法具有很好的再现性能,尤其在细节保持方面。反之,SSIM值越小,说明当前映射算法的图像再现性能不佳。SSIM的取值范围被限制在[-1,1]内,当两幅图像完全相同时,SSIM取值为1。
表1 使用S-CIELAB模型计算的12幅测试图像的图像色差值
表2 不同算法对应的12幅测试图像的SSIM值
表1和表2分别显示了不同算法对应的12副测试图像的SCIELab值和SSIM值。在表1中,对于大部分测试图像来说(除了I18,sunset_sparrow和GATF-Image3外),本申请技术方案对应的S-CIELab色差值都是最小的;而在表2中,对于大部分测试图像来说(除I02和trolley外),本申请技术方案对应的SSIM值都是最大的。因此,借助这两个图像质量评价模型,本发明的优越性得到了进一步验证。
本申请提出的技术方案的优点在于其计算效率和对光晕现象的抑制。在所有类型的空间色域映射算法中,优化迭代类映射算法所需的计算量最大,而大多数细节补偿类算法通常至少需要进行两次映射过程,即先对频带分解后的基础层图像做一次映射,再对细节层合并后的图像进行第二次映射。这两次映射过程不仅大幅增加了计算时间,而且基础层和细节层的合并极易在图像边缘处产生光晕问题。本申请提出的技术方案虽然也需要对原始图像进行频带分解,但只需将目标色域外颜色按照对应的色域压缩深度进行一次映射即可,既减少了计算时间,又可以有效排除光晕问题。利用本申请技术方案和其它细节保持算法对标准光晕测试图像进行多次处理,从得到的处理结果可以发现,其他细节保持类色域映射算法在标准光晕测试图像的某些边缘位置产生了明显的光晕现象,而本申请技术方案在此位置表现良好。可见,本申请的技术方案可避免了细节保持类色域映射中经常出现的光晕现象,获得好的图像映射质量效果。
表3显示了5种算法对12幅测试图像的映射时间。可以看出,本申请技术方案的计算效率明显好于两种典型的细节补偿类算法(现有算法1和现有算法3),且与现有算法4(逐点映射算法)基本相当。而现有算法1所需的计算时间最长,这是因为该算法属于迭代优化类型算法,其循环迭代所需的计算时间较长。因此本申请提出的技术方案在计算效率上明显好于其它同类型的空间映射算法,并且已达到了逐点映射算法的效率水平。
表3 不同算法对12幅测试图像的映射时间(秒)
本发明实施例还针对空间色域映射方法提供了相应的实现装置,进一步使得所述方法更具有实用性。下面对本发明实施例提供的空间色域映射装置进行介绍,下文描述的空间色域映射装置与上文描述的空间色域映射方法可相互对应参照。
参见图7,图7为本发明实施例提供的空间色域映射装置在一种具体实施方式下的结构图,该装置可包括:
图像细节信息提取模块701,用于获取满足预设颜色模式条件的原始图像,利用引导滤波方法对原始图像的亮度通道进行边缘模糊处理,以得到原始图像的低频亮度信号,根据低频亮度信号及亮度通道,提取原始图像的细节信息,并对细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理;
色域压缩深度计算模块702,用于根据处理过的细节信息确定目标色域,并计算目标色域的色域内细节信息与色域外细节信息,根据色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度;
细节预补偿模块703,用于利用色域外细节信息对原始图像的图像细节进行色域压缩前的预补偿,得到细节预补偿图像;
色域映射模块704,用于根据色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射,以完成原始图像的空间色域映射。
可选的,在本实施例的一些实施方式中,所述图像细节信息提取模块701可以包括:
图像接收单元,用于接收待映射的原始图像;
模式判断单元,用于判断原始图像的颜色模式是否满足预设颜色模式条件;
模式转化单元,用于当判定原始图像的颜色模式不满足预设颜色模式条件,将原始图像的颜色模式转化为预设颜色模式。
图像细节信息提取模块701还可以包括:
参数设置单元,用于设置引导滤波的参数为r=4,ε=0.32
计算单元,用于利用下述公式对原始图像的亮度通道进行边缘模糊处理,得到原始图像的低频亮度信号:
Llow=GuidedFiltering(Loriginal);
式中,Loriginal为原始图像的亮度通道,Llow为低频亮度信号。
可选的,在本实施例的另一些实施方式中,所述色域压缩深度计算模块702例如可以包括:
色域内细节保持比例计算单元,用于根据色域内细节信息计算色域内需要保持的细节数及色域内总细节数;根据色域内需要保持的细节数及色域内总细节数计算色域内细节保持比例;
最终色域压缩深度比例值计算单元,用于当色域内细节保持比例值不大于预设的细节保持比例阈值时,按照预设的调节值减小预设色域压缩深度初始值,以增大色域内细节保持比例值,重复迭代过程,直至色域内细节保持比例值大于细节保持比例阈值,得到最终色域压缩深度比例值;
色域压缩深度计算单元,用于利用最终色域压缩深度比例值、映射中心位置、目标色域边界、映射方向线计算色域压缩深度。
此外,在本实施例的其他一些实施方式中,所述色域映射模块704可包括:
区域划分单元,用于在等色相角平面,预先将亮度轴按照预设比例分为多段,以在等色相角平面得到多个亮度不同的区域;
映射中心点确定单元,用于确定各个不同亮度区域的CUSP点,并确定相应的映射中心点;
色域映射单元,用于在色域外的像素点进行映射时,根据对应的映射中心点,按照色域压缩深度,利用逐点色域算子将细节补偿图像向目标色域进行色域映射。
具体的,所述区域划分单元可为按照亮度值为100、80及20将亮度轴分为三段,得到亮度值为80-100的亮调区域,亮度值为20-80的中间调区域和亮度值为0-20的暗调区域的单元。
在本实施例的一些具体实施方式中,所述细节预补偿模块703例如可以为利用下述公式对原始图像的图像细节进行预补偿:
Icompensated=Icompensated(Loriginal+LDetail_Out,aoriginal,boriginal);
式中,Loriginal为原始图像的亮度通道,LDetail_Out为色域外细节信息,Icompensated为图像细节补偿后的图像,aoriginal、boriginal为原始图像的通道的模块。
本发明实施例所述空间色域映射装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例在对原始图像进行频带分解时,只需将目标色域外的颜色按照对应的色域压缩深度进行一次映射即可,无需进行不同频带图像的合并,大大的节省了计算时间,从而提高了空间色域映射的计算效率,还能从根本上避免了细节补偿类色域映射中经常出现的光晕现象,获得好的图像映射质量效果;此外,还具有较好的图像偏好性,有利于提升跨媒体图像复制的准确性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种空间色域映射方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种空间色域映射方法,其特征在于,包括:
获取满足预设颜色模式条件的原始图像,利用引导滤波方法对所述原始图像的亮度通道进行边缘模糊处理,以得到所述原始图像的低频亮度信号,根据所述低频亮度信号及所述亮度通道,提取所述原始图像的细节信息,并对所述细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理;
根据处理过的细节信息确定目标色域,并计算所述目标色域的色域内细节信息与色域外细节信息,根据所述色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度;
利用所述色域外细节信息对所述原始图像的图像细节进行色域压缩前的预补偿,得到细节预补偿图像;
根据所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射,以完成所述原始图像的空间色域映射。
2.根据权利要求1所述的空间色域映射方法,其特征在于,所述获取满足预设颜色模式条件的原始图像包括:
接收待映射的原始图像;
判断所述原始图像的颜色模式是否满足所述预设颜色模式条件;
当判定所述原始图像的颜色模式不满足所述预设颜色模式条件,将所述原始图像的颜色模式转化为预设颜色模式。
3.根据权利要求1所述的空间色域映射方法,其特征在于,所述利用引导滤波方法对所述原始图像的亮度通道进行边缘模糊处理,以得到所述原始图像的低频亮度信号包括:
设置引导滤波的参数为r=4,ε=0.32
利用下述公式对所述原始图像的亮度通道进行边缘模糊处理,得到所述原始图像的低频亮度信号:
Llow=GuidedFiltering(Loriginal);
式中,Loriginal为所述原始图像的亮度通道,Llow为所述低频亮度信号。
4.根据权利要求1至3任意一项所述的空间色域映射方法,其特征在于,所述根据所述色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度包括:
根据所述色域内细节信息计算色域内需要保持的细节数及色域内总细节数;
根据色域内需要保持的细节数及色域内总细节数计算色域内细节保持比例;
当所述色域内细节保持比例值不大于预设的细节保持比例阈值时,按照预设的调节值减小预设色域压缩深度初始值,以增大所述色域内细节保持比例值,重复迭代过程,直至所述色域内细节保持比例值大于所述细节保持比例阈值,得到最终色域压缩深度比例值;
利用所述最终色域压缩深度比例值、映射中心位置、所述目标色域边界、映射方向线计算色域压缩深度。
5.根据权利要求4所述的空间色域映射方法,其特征在于,所述细节保持比例阈值为80%。
6.根据权利要求1至3任意一项所述的空间色域映射方法,其特征在于,所述利用所述色域外细节信息对所述原始图像的图像细节进行色域压缩前的预补偿包括:
利用下述公式对所述原始图像的图像细节进行预补偿:
Icompensated=Icompensated(Loriginal+LDetail_Out,aoriginal,boriginal);
式中,Loriginal为所述原始图像的亮度通道,LDetail_Out为所述色域外细节信息,Icompensated为图像细节补偿后的图像,aoriginal、boriginal为所述原始图像的通道。
7.根据权利要求1至3任意一项所述的空间色域映射方法,其特征在于,所述根据所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射包括:
在等色相角平面,预先将亮度轴按照预设比例分为多段,以在所述等色相角平面得到多个亮度不同的区域;
确定各个不同亮度区域的CUSP点,并确定相应的映射中心点;
在色域外的像素点进行映射时,根据对应的映射中心点,按照所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射。
8.根据权利要求7所述的空间色域映射方法,其特征在于,所述将亮度轴按照预设比例分为多段,以在所述等色相角平面得到多个亮度不同的区域包括:
按照亮度值为100、80及20将所述亮度轴分为三段,得到亮度值为80-100的亮调区域,亮度值为20-80的中间调区域和亮度值为0-20的暗调区域。
9.一种空间色域映射装置,其特征在于,包括:
图像细节信息提取模块,用于获取满足预设颜色模式条件的原始图像,利用引导滤波方法对所述原始图像的亮度通道进行边缘模糊处理,以得到所述原始图像的低频亮度信号,根据所述低频亮度信号及所述亮度通道,提取所述原始图像的细节信息,并对所述细节信息中低于预设亮度阈值的细节像素值进行四舍五入处理;
色域压缩深度计算模块,用于根据处理过的细节信息确定目标色域,并计算所述目标色域的色域内细节信息与色域外细节信息,根据所述色域内细节信息、色域内细节保持比例、预设细节保持比例阈值、预设色域压缩深度初始值,利用迭代算法计算色域压缩深度;
细节预补偿模块,用于利用所述色域外细节信息对所述原始图像的图像细节进行色域压缩前的预补偿,得到细节预补偿图像;
色域映射模块,用于根据所述色域压缩深度,利用逐点色域算子将所述细节补偿图像向所述目标色域进行色域映射,以完成所述原始图像的空间色域映射。
10.根据权利要求9所述的空间色域映射装置,其特征在于,所述图像细节信息提取模块包括:
图像接收单元,用于接收待映射的原始图像;
模式判断单元,用于判断所述原始图像的颜色模式是否满足所述预设颜色模式条件;
模式转化单元,用于当判定所述原始图像的颜色模式不满足所述预设颜色模式条件,将所述原始图像的颜色模式转化为预设颜色模式。
CN201710772304.3A 2017-08-31 2017-08-31 一种空间色域映射方法及装置 Pending CN107578384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710772304.3A CN107578384A (zh) 2017-08-31 2017-08-31 一种空间色域映射方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710772304.3A CN107578384A (zh) 2017-08-31 2017-08-31 一种空间色域映射方法及装置

Publications (1)

Publication Number Publication Date
CN107578384A true CN107578384A (zh) 2018-01-12

Family

ID=61030731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710772304.3A Pending CN107578384A (zh) 2017-08-31 2017-08-31 一种空间色域映射方法及装置

Country Status (1)

Country Link
CN (1) CN107578384A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540789A (zh) * 2018-02-12 2018-09-14 友达光电股份有限公司 影像优化方法
CN110310342A (zh) * 2019-07-04 2019-10-08 浙江大学滨海产业技术研究院 一种适用于灰度颜色空间图像相关色域映射方法
CN112004075A (zh) * 2020-09-03 2020-11-27 北京印刷学院 邻域色差补偿方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540789A (zh) * 2018-02-12 2018-09-14 友达光电股份有限公司 影像优化方法
CN108540789B (zh) * 2018-02-12 2020-10-09 友达光电股份有限公司 影像优化方法
CN110310342A (zh) * 2019-07-04 2019-10-08 浙江大学滨海产业技术研究院 一种适用于灰度颜色空间图像相关色域映射方法
CN112004075A (zh) * 2020-09-03 2020-11-27 北京印刷学院 邻域色差补偿方法及装置

Similar Documents

Publication Publication Date Title
US7652789B2 (en) Production of color conversion profile for printing
US5991511A (en) Appearance-based technique for rendering colors on an output device
JP3583630B2 (ja) カラーデータ変換方法
US7706604B2 (en) Production of color conversion profile for printing
US6388674B1 (en) Gamut mapping method and apparatus
CN107578384A (zh) 一种空间色域映射方法及装置
JP2009055465A (ja) 画像処理装置および方法
CN107197225A (zh) 基于色适应模型的彩色数码相机白平衡校正方法
WO1998005510A2 (en) Method and system for reproducing color images as duotones
CN106782428A (zh) 一种显示装置的色域调整方法及色域调整系统
US20070296988A1 (en) Color conversion definition creating method, profile creating method, color conversion definition creating apparatus, profile creating apparatus, color conversion definition creating program storage medium, and profile creating program storage medium
JPH07288706A (ja) 色変換方法、色変換装置および色変換テーブル作成装置
US7333136B2 (en) Image processing apparatus for carrying out tone conversion processing and color correction processing using a three-dimensional look-up table
US7969628B2 (en) Apparatus and method for segmenting an output device color gamut and mapping an input device color gamut to the segmented output device color gamut
JP4507314B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2009278538A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20080043685A (ko) 색 처리 장치, 색 처리 방법 및 컴퓨터 판독 가능한 기록매체
JP3918257B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
CN106683082A (zh) 一种基于四元数的全参考彩色图像质量评价方法
Pedersen et al. Attributes of a new image quality model for color prints
CN101304467B (zh) 颜色处理设备和方法
JPH10173948A (ja) 色再現データ変換方法
JP2003333349A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
Choi et al. Investigation of large display color image appearance–III: Modeling image naturalness
CN101146170B (zh) 色彩处理装置和色彩处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180112

RJ01 Rejection of invention patent application after publication