CN110199297A - 用于颜色相似度评估的方法和设备 - Google Patents

用于颜色相似度评估的方法和设备 Download PDF

Info

Publication number
CN110199297A
CN110199297A CN201880006089.9A CN201880006089A CN110199297A CN 110199297 A CN110199297 A CN 110199297A CN 201880006089 A CN201880006089 A CN 201880006089A CN 110199297 A CN110199297 A CN 110199297A
Authority
CN
China
Prior art keywords
color
filter
mould
threshold value
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880006089.9A
Other languages
English (en)
Other versions
CN110199297B (zh
Inventor
阿梅里科·乔斯·罗德里格斯·佩雷拉
佩德罗·米格尔·马查多·苏亚雷斯·卡尔瓦霍
路易斯·安东尼奥·佩雷拉·梅内塞斯·科尔特·雷亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Study On Science And Technology System Engineering - Computer Tech Ke Yi Naisi
Original Assignee
Study On Science And Technology System Engineering - Computer Tech Ke Yi Naisi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Study On Science And Technology System Engineering - Computer Tech Ke Yi Naisi filed Critical Study On Science And Technology System Engineering - Computer Tech Ke Yi Naisi
Publication of CN110199297A publication Critical patent/CN110199297A/zh
Application granted granted Critical
Publication of CN110199297B publication Critical patent/CN110199297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)

Abstract

被配置用于第一颜色与第二颜色之间的颜色相似度评估的方法和设备，包括以下步骤：根据第一颜色和第二颜色计算一个或多个过滤器；如果计算的过滤器中的至少一个高于针对每个过滤器预定的阈值，则确定第一颜色和第二颜色不相似；否则，计算CIEDE2000色差并且如果计算的CIEDE2000色差高于预定阈值，则确定第一颜色和第二颜色不相似；否则，确定第一颜色和第二颜色相似。模过滤器可以计算表示为RGB颜色空间中的3D坐标的第一颜色与第二颜色之间的差分向量的模，表示为RGB颜色空间中的3D坐标的第一颜色与第二颜色的两个向量之间的夹角，或者表示为CIELAB颜色空间中的第一颜色与第二颜色之间的亮度差异。

Description

用于颜色相似度评估的方法和设备
技术领域
本公开涉及用于颜色相似度评估的方法和设备，即比较两种颜色，适用于诸如数字图像处理或计算机视觉的领域。
背景技术
色差在很多应用中是极为重要的，尤其是当采用图像处理或计算机视觉技术时。这种应用主题的实例为矿物鉴别、牙用陶瓷学、深红色分析、腐蚀检测及在更一般的领域的图像分割。后者被更广泛地使用，并且通常是图像和视频处理算法中的关键步骤。该步骤的结果中的噪声影响以下处理的结果，即，分割、检测或外观匹配，可能阻碍正常操作。尽管进行了多年研究，但是图像分割仍是未解决的研究课题，其中颜色识别起关键作用。在2000年CIE推荐CIEDE2000[3]度量用于工业化色差评估。然而，其益处已因计算成本而受损。
自2014年以来，CIEDE2000[3]公式已被作为国际标准，因此通过引证其整体结合于此并且具体地参考ISO CIE 11664-6:2014(CIE S 014-6/E:2013)结合在其色差的计算中，并且强烈集中于工业应用。该度量日益受到关注，显示颜色(尤其具有更高相似度的那些颜色)之间进行区分的高潜力。使用CIEDE2000[3]度量(ΔE00)允许量化人类如何感知两种颜色之间的差别。然而，其更广泛的使用由于高计算成本而受损，这阻碍其应用于更多的场景中，尤其具有实时约束的那些场景。即使技术演变已实现了更高的计算能力，但是由于大量的视觉信息或受限制的硬件存在仍不能实施的很多场景。
基于颜色的算法可能严重受到照射的影响并且更接近的颜色之间的区分不那么容易。很多应用中已经越来越多地使用了CIEDE2000度量，实现基于选择的度量阈值的粗糙或精细区分。ΔE00色差公式设计为使得表征人类具有的感知色差并且可以通过等式1至28概括：
a1′＝a1(1+G) (20)
a2，＝a2(1+G) (31)
ΔL′＝L2-L1 (20)
ΔC′＝C2′-C1′ (21)
RT＝-RCsin(2Δθ) (26)
其中KL、KC及KH为分别与亮度、色度和色调相关的校正因子。在我们的试验中，将这些值设置为如在CIE标准中定义的1。SL、SC及SH参数为加权系数；ΔL′、ΔL′及ΔE′为亮度、色度和色调差。L1,a1,b1和L2,a2,b2为CIELAB颜色空间中的两种颜色，具有ISO 11664-4:2008(CIE S 014-4/E:2007)。
在[4]中呈现的边缘检测方法论合并来自不同的源的边缘图以便在空间分辨率受限的情况下提升深度信息。示出了一些可选方案并且提供最好的结果的可选方案包括针对强度和色差的边缘图的组合。为了在人类视觉系统的特性之后获得感知颜色边缘检测，通过使用CIEDE 2000色差获得色差边缘图。尽管该方案提供最佳结果，但其计算复杂性成本高。对于使用ΔE00的颜色相似度判定，通常应用等于或低于3的值；对于10以上的值，两种颜色被视为非常不相似。
CIEDE2000[3]度量具有其他并行度量，即通过CIE等、CIE76(亦称ΔE CIELAB)CIE94及ΔE CMC提出的其他度量。然而，几个研究已总结即使用缺省参数也可通过采用ΔE00获得更鲁棒的结果。可通过将公式系数调谐至给定应用特征而获得更好的结果。
公开这些事实以便示出通过本公开解决的技术问题。
参考文献
[1]Griffin,Gregory and Holub,Alex and Perona,Pietro.Caltech-256objectcategory dataset.2007。
[2]Liaw,Andy and Wiener,Matthew.Classification and regression byrandomForest.R news,2(3):18–22,2002。
[3]Luo,M Ronnier and Cui,Guihua and Rigg,B.The development of the CIE2000colour-difference formula:CIEDE2000.Color Research&Application,26(5):340–350,2001。
[4]Schwarz,Sebastian andand Olsson,Roger.Improvededge detection for EWOC depth upscaling.2012 19th International Conference onSystems,Signals and Image Processing(IWSSIP),pages 1–4,2012.IEEE。
[5]Color Names Supported by All Browsers.http://www.w3schools.com/colors/colors_names.asp.[Online；accessed 08-04-2016]。
[6]Dang-Nguyen,Duc-Tien and Pasquini,Cecilia and Conotter,Valentinaand Boato,Giulia.RAISE:a raw images dataset for digital imageforensics.Proceedings of the 6th ACM Multimedia Systems Conference,pages 219–224,2015.ACM。
[7]Pecho,Oscar E and Ghinea,Razvan and Alessandretti,Rodrigo and Pérez,Mara M and Della Bona,Alvaro.Visual and instrumental shade matching usingCIELAB and CIEDE2000color difference formulas.Dental Materials,32(1):82–92,2016。
发明内容
ΔE00度量的重要益处常常因其复杂度而受损。通过分析ΔE00公式(如上所述并且在[3]中详细描述)，能注意到几个项的复杂度高，导致公式计算成本高。因此，在很多应用场景中这种技术的使用通常是不切实际的，尤其在计算资源更加受限的时候。此外，需要执行多次ΔE00计算的应用将会受到高计算时间的严重影响。作为实例，考虑分辨率为720×480和1920×1080像素的两个图像；前者将必须处理0.3×106个像素，并且后者将必须处理2.1×106个像素，导致更多的计算。当考虑每秒几个图像的视频并且逐渐穿透4K和8K的图像分辨率时，ΔE00的计算成本的缺点变得更加明显。为了克服该问题并且拓宽该公式的应用及其应用于更多场景的益处，公开了一种用于显著更快判定颜色相似度的方法和设备，同时保留ΔE00益处和能力。
为了减少计算时间，公开的方法和设备应用一组过滤模块，在该组过滤模块中执行更简单的计算并且进行评定：(1)输入的两种颜色是不同的并且不需要进一步的计算；(2)不能可靠地做出判定并且需要进行进一步的分析。一般地，当比较一对颜色时，这些将为模块的输入并且将仅针对可能具有较高的感知相似度并且没有较轻权重模块做出的判定的对完全计算ΔE00。因此，计算全ΔE00度量的次数，并且因此有效减少所需操作的总数，导致降低的处理时间，同时保持相同的准确性。这得到以下事实的支持，即期望结果不是精确的距离测量，而是对一对颜色的相似与否的判定。然而，仍然需要识别与建立过滤模块与ΔE00之间的关系使得结果等于通过仅施加ΔE00获得的那些结果，从而保持度量益处。
颜色通常表示在RGB颜色空间中。当处理典型地在RGB颜色空间中获取的图像时尤其如此。由于ΔE00度量利用CIELAB颜色空间，其常常需要附加颜色转换步骤，导致额外计算。有利于过滤模块尽可能避免颜色空间转换，更具体地，它们对RGB颜色空间操作。该空间可以表示为立方体；因此，两种颜色之间的差异可被视为空间内部的差分向量。鉴于此，公开的方法和设备提出了待探究的三种性能：两种颜色之间的差分向量的模；两个颜色向量之间的夹角；颜色的亮度相异度。不同于前两个，后者未在RGB空间中计算，需要进行颜色转换(例如，使用CIELAB-CIEXYZ转换和来自标准ITU-R BT.709-6的系统值转换为CIELAB亮度，如以下详述)。贯穿本文档的其余部分，这些性能将分别称为模、夹角和亮度。
给出RGB中的两种颜色，C1＝<r1,g1,b1>和C2＝<r2,g2,b2>，夹角、模及亮度特性计算如下：
Module(C1,C2)＝||C2-C1|| (30)
Lightness(C1,C2)＝ΔL (31)
ΔL通过以下等式给出，
L1＝(116×Y1′)-16 (38)
L2＝(116×Y2，)-16 (39)
ΔL＝(L2-L1)， (40)
其中C′1和C′2是标准化颜色向量。
对向量的每个分量执行关于等式32和33的计算并且本文中以向量化形式呈现。所提及的特性具有明确界定的边界：(RGB颜色空间中的)两种颜色向量之间的夹角限制在0与90度之间；如果向量相等，差分向量通过0限制为下限，并且如果它们在立方体的相对顶点，则为441.673；通过0和100限制亮度的差异。这些特性的使用通过以下两项证明：(1)如在等式1至28中观察的，它们简单，尤其当与ΔE00比较时；(2)它们明确界定边界。
如果设置了ΔE00的某个最大阈值，即，如果我们定义ΔE00的值，大于该值两种颜色被视为感知不同，则通过阈值化夹角、模及亮度可以减少期望给出高于界定的边界的色差的颜色的计算次数。因此，必须识别夹角、模、亮度与ΔE00度量的不同的结果的关系。为了理解这种关系和ΔE00的很多参数的变异性，使用约500万种颜色的集合并且使用来自Caltech 256[1]数据集中存在的图像的数据作为基本像素计算差异。
图1、图2及图3分别描绘了ΔE00与模、夹角及亮度的关系。对于每对颜色，考虑不同的ΔE00阈值，即，3、5及10。用深灰表示高于阈值的色差，并且否则用浅灰表示。此外，通过水平线表示模、夹角及亮度的相应阈值。确保了ΔE00值低于指定阈值的所有的对也低于模、夹角及亮度。如可观察到的，对于低于水平线的值，不能基于过滤模块进行确信判定并且需要进行额外计算。图1、图2、及图3示出对于高于水平线的模、夹角及亮度的值能够基于它们的相异度进行正确的判定，即，可仅使用提出的过滤特性将它们分类为不同。此外，图形示出增大针对ΔE00限定的判定值需要模、夹角及亮度的阈值的更高值。然而，可过滤的色差的数目总是非常显著。应注意，高于7的ΔE00值被视为表示鲜明的色差。
公开了在一对颜色之间进行颜色相似度评估的方法，所述方法包括以下步骤：
根据所述一对颜色计算一个或多个过滤器；
如果计算的过滤器中的至少一个过滤器高于针对每个过滤器预定的阈值，则确定这对颜色是不相似的；
否则，计算CIEDE2000色差ΔE00并且如果计算的CIEDE2000色差ΔE00高于预定的ΔE00阈值，则确定这对颜色是不相似的；
否则，确定这对颜色是相似的。
在实施方式中，一个或多个过滤器包括模过滤器，其中，所述过滤器的计算包括计算表示为RGB颜色空间中的3D坐标的第一颜色与第二颜色之间的差分向量的模。
在实施方式中，一个或多个过滤器包括夹角过滤器，其中，过滤器的计算包括计算表示为RGB颜色空间中的3D坐标的第一颜色与第二颜色的两个向量之间的夹角。
在实施方式中，一个或多个过滤器包括亮度过滤器，其中，所述过滤器的计算包括计算第一颜色与第二颜色之间的亮度差异，具体地，CIELAB颜色空间中的第一颜色与第二颜色之间的亮度差异。
在实施方式中，一个或多个过滤器包括模过滤器和夹角过滤器。
在实施方式中，一个或多个过滤器包括依次计算的模过滤器和夹角过滤器，从而在计算模过滤器之后计算夹角过滤器。
在实施方式中，一个或多个过滤器包括依次计算的模过滤器、夹角过滤器和亮度过滤器，从而在夹角过滤器之后计算亮度过滤器，并且在计算模过滤器之后计算夹角过滤器。
在实施方式中，一个或多个过滤器包括并行计算的模过滤器、夹角过滤器和亮度过滤器。
在实施方式中，一个或多个过滤器包括并行计算的模过滤器、夹角过滤器和亮度过滤器使得当计算的过滤器中的至少一个过滤器高于针对所述一个过滤器预定的阈值时一个或多个过滤器的计算中断。
在实施方式中，针对每个过滤器预定的阈值是从ΔE00阈值预先获得的。
在实施方式中，针对亮度过滤器预定的阈值是使用线性回归从ΔE00阈值预先获得的。
在实施方式中，针对模过滤器预定的阈值和/或针对夹角过滤器预定的阈值为使用机器学习算法，具体地，使用随机森林算法从ΔE00阈值预先获得的。
还公开了一种非易失性存储介质，包括用于实现颜色相似度评估设备的程序指令，程序指令包括可执行以执行任何所公开的方法的指令。
还公开了一种颜色相似度评估设备，包括根据所述非易失性存储介质和被设置为执行指令的数据处理器。
还公开了一种颜色相似度评估设备，被设置为执行任何所公开的方法的步骤。
附图说明
以下附图提供了用于示出说明书的优选实施方式，并且不应被视为限制本发明的范围。
图1：使用ΔE00和通过模获得的相应值的色差的结果之间的关系的示意性表示。深灰ΔE00值高于阈值并且浅灰值小于或等于阈值。水平线表示模的建议阈值。
图2：使用ΔE00和通过夹角获得的相应值的色差的结果之间的关系的示意性表示。深灰ΔE00值高于阈值并且浅灰值小于或等于阈值。水平线表示夹角的建议阈值。
图3：使用ΔE00和通过亮度获得的相应值的色差的结果之间的关系的示意性表示。深灰ΔE00值高于阈值并且浅灰值小于或等于阈值。水平线表示亮度的建议阈值。
图4：针对每个ΔE_00阈值的模、夹角和亮度阈值的示意性表示。
图5：模、夹角和亮度相对于ΔE00阈值的最佳阈值与预测阈值之间的比较的示意性表示。
图6：可通过每个模过滤的色差的直方图的示意性表示。
图7：串联实施方式的框图的示意性表示。
图8：并行实施方式的框图的示意性表示。
图9：不同策略的处理时间的示意性表示，考虑两个判定阈值(垂直线)。图9(a)涉及图像中的像素的串行处理以及图9(b)涉及并行处理。例如，当施加TD1时，通过模M1进行判定，而对于TD2，仅模M3可做出判定。
图10：利用具有多核的CPU的图像处理可能性的示意性表示。快速颜色判定(FCD)模块表示两个提出的策略中的一个。
具体实施方式
图1至图3中指示的阈值仅对3、5、以及10的ΔE00值有效。对于其他度量值，可标识新阈值。由模、夹角及亮度导出模型以避免这些阈值的经验设置。通过使用由500万计算的色差导出的数据训练回归模型获得这些。对于数据集，以0.05的步长，针对ΔE00∈{0,30计算结果和阈值。选择这些值，因为具有0色差的颜色显然是觉察不到的并且具有30色差的颜色是极其不同的。图4中呈现所获得的阈值关系。可以观察到模和夹角的关系是非线性的，但对于亮度来说是近似线性的。为了获得性能的模型并且验证我们的方法，我们选择训练模和夹角的随机森林[2]和亮度的线性回归。使用交叉验证方法获得模型并且分别针对夹角、模及亮度的0.00675、0.0333及0.00602的均方根误差获得最佳拟合模型。理想地，这些误差应尽可能更接近0，但对于本公开内容的范围，由于用于训练的数据已正则化，因此所获得的误差被认为是可接受的。
该正则化被引入训练数据以便转换预测值以使可能误差不会影响最终判定。虽然这转化为与最佳值不同的预测阈值，但确保它们总是高于相应最佳值并且因此总是可用。这转化为性能劣化，但确保正确预测。图5中示出使用正则化和未正则化的数据的预测阈值的比较，其中黑线对应于正则化的预测阈值并且虚线对应于未正则化的数据。分析图，很明显在研究的值的全域上，预测总是偏差。
利用导出的模型，对于任何ΔE00值，可以获得模、夹角和亮度的阈值以使差异超过那些阈值的任何两个颜色可被分类为具有高于指定值的ΔE00色差。这是非常有利的，因为其可以映射至有效削减计算的结构，导致不危害ΔE00特性的显著性能增益。每个阈值均可用于减少设定对于ΔE00的极限的给定应用所需的ΔE00计算的量。然而，每个阈值削减的颜色组合都不一样。图6描绘了通过先前考虑的三个ΔE00值的每个模过滤的色差的数量的直方图。直方图示出了可通过模、夹角或亮度专门单独过滤显著减少的数量的色差。即使该数量随着ΔE00阈值增加，但仍很低。同样很明显，可通过组合模、夹角或亮度过滤极大量的色差。该数目与ΔE00阈值相反地变化并且通过增大仅由特性中的两者(尤其是模-亮度和模-夹角)过滤的差补偿减小，而且那些仅通过计算全ΔE00度量而判定的那些也得到补偿。因此，可以朝向是否有必要计算全色差公式的有效验证定义不同的策略。提出了一组可能的实施方式并且讨论如下。
基于所描述的概念和关系，可基于ΔE00度量针对颜色相似度的更快的判定设计不同的策略。在本节中，提出两种实施方式并且进行讨论：(1)过滤串联部署的(即，依次计算的)模型；(2)过滤并联部署的模型。此外，讨论了一种适用于待计算的较大的色差阵列的实施方式，即，在图像处理中，其中，可以使用色差计算的初步方案，具体地利用广泛分布的多核硬件。
如图7所示，基于有效ΔE00的颜色判定由串联部署过滤模块(即，依次计算的)组成。在串联的每个模块中，执行更简单的计算以计算模、夹角或亮度并且进行评估。仅计算完全ΔE00度量作为最后一个资源，因此，其总是串联的最后一个模块。
串联的每个模块旨在做出判定：如果颜色不同则进行串联输出，或者存在不确定性并且处理转到串联的下一模块。因此，我们能够预计期望具有计算权重更小、先执行的、优选剔除尽可能多的像素的更快的模块。然而，确定最恰当的串联结构(即，识别操作的顺序)并非通过执行速度定义。重要的是，应注意串联结构可取决于硬件体系结构。此外，待考虑的ΔE00阈值的值可能会影响最佳串联结构。因此，下面进一步描述了最佳实施方式。
串联方法旨在依次执行修剪需要计算ΔE00的颜色对的数量的操作。由于初始串联块不能确定颜色相异度并且必须计算最终ΔE00，总的计算量实际上大于仅ΔE00计算的量。因此，从通过先前的块过滤更多数目的颜色获得串联策略的益处。
如通过图8的框图所示，提出了串联的替代策略，即不同的块并行执行。下面的假设为在这种情况下分析色差的最大时间不超过ΔE00时间。虽然由于同步和管理开销，这可能不是那么正确，但该差异可被认为是几乎可以忽略的。分别在图9(a)和图9(b)中示出了串联和并联情况的这些实施方式。显然，并联策略的优点与并联执行装置的可用性直接相关，例如，可获得的CPU核心的数量。
虽然该方法可靠，但其实施并不与串联策略一样直接。事实上，在危害可能的增益的不利后果下，必须考虑到几个实施细节。
对于关于颜色相似度的判定，所描述的策略是通用的。如上所述，当可使用多核CPU并且处理分配时，并联策略的益处更加明显。
当要处理大颜色阵列(例如，图像)时，即，与一个或多个基准色相比较，可依次处理该数据。在这种情况下，将单独并且依次通过每种颜色与基准色和理想阈值一起作为输入。换言之，一次一对颜色。这在图10(a)中示出。可经由在先前的子章节中描述的任何策略对色差本身进行计算。当多核可用时，待处理数据可被划分并且这些块中的每一个通过作为输入用以进行如图10(b)所示的处理。
串联策略中的块的顺序(即，依次对它们进行计算的顺序)影响整个过程的结果，更具体地，当与ΔE00度量的计算相比能够获得的时间减少。ΔE00块将是串联中的最后一个，但仍有必要识别剩余的块以及它们的顺序。假设提出三种特性，如表1中所示，存在15种可能的串联结构。这些可能性中的每一种对色差执行不同的修剪。此外，串联的复杂性将取决于所施加的限制，即，所要求的ΔE00判定阈值。
表1：可能的串联结构的识别。即使未表示，ΔE00块将总是串联中的最后一个模块。
为了评估串联可能性，我们实施简单分段算法，即，给出图像、颜色和ΔE00阈值，产生突出显示低于指定阈值的颜色的新图像。使用如在[5]中指定的通用颜色的库和来自Caltech 256数据集[1]的图像对每个结构进行评定。还另外使用来自RAISE数据集[6]的4K分辨率图像的子集和小的8K计算机生成图像集合。将颜色库的每个实例与三个子集的图像中的每一个像素的颜色相比较。此外，在三个不同的计算机体系架构中执行评估以了解对串联结构的影响。具体地，使用下面的体系架构：(1)装备有因特尔i7 4471处理器@3.5Ghz的台式计算机；(2)Raspberry Pi 2模型B；(3)三星Galaxy S6智能手机。对于前两种环境在C++中实现算法并且对于智能手机在Java中实现算法。在这些环境中，不使用显式GPU加速并且测量为该过程分配的CPU时间和周期。
在表2中呈现的结果清楚地示出了对于台式计算机代替ΔE00公式的完整计算的串联方法的优点。与过滤块-模、夹角或亮度-它们的顺序和下层ΔE00阈值无关，串联策略总是在性能上实现显著增益。当策略处理时间以及CPU周期时，这是正确的。由于CPU周期的数目与总处理时间之间存在清楚的关系，在下面的结果中，当证实以传达另外的信息时，将仅呈现CPU周期。
ΔE00阈值的增大暗示排序的某些变化并且总体增益减小。然而，通过串联策略实现的时间减少仍非常显著(70％以上)并且结果示出串联结构的一致性。即使排序发生某些变化，即，LMA-LAM和M-ML，几乎可忽略相关增益的差。结果显示当模为串联中的第一块时，实现总体更大的增益。这与以下事实一致：(1)这是轻量操作；(2)不需要进行颜色转换；(3)如图1中可观察到的，其实现大量色差的过滤。尤其对于3(表2)的ΔE00阈值来说这是正确的，在表2中针对仅具有模过滤块的串联获得最佳结果。虽然作为过滤块的模自身提供大计算增益，但通过增加其他块获得总体更好的结果；原因在于当与ΔE00相比时公式的简单性并且表示如图6中的直方图示出的模、夹角及亮度之间的某种过滤互补。如所预期，将亮度用作第一块导致较小的时间增益，即，由于更复杂的公式(当与模和夹角相比时)并且需要进行颜色空间转换。也值得注意的是，利用模-夹角的组合获得较大的增益，作为第三块的亮度的增加导致稍微较小的增益。
Raspberry Pi 2模型B的试验结果与在台式计算机中获得的结果一致，具有相同顺序的相对增益，即使资源更加限制。此外，如与台式计算机一样，由于相对增益中几乎可忽略的差异，串联结构的排序中存在某种修改。值得注意的是，如在台式的情况下，模具有高影响并且对于ΔE00＝3其自身提供最好的结果。
安卓的排序相对于先前的情况存在某些差别，尤其是台式机，排序始于MA，接下来是AM、M或AML，或者始于AML并且接下来为MAL、AM等。然而，增益非常显著并且仅稍微低于(在65％与89％之间)先前的情况。这无疑有助于计算机系统架构之间的差异以及施加在实现语言上的要求。对于台式机和Raspberry，在C++中实现块，并且对于Android，使用Java。
表2：关于台式计算机针对Caltech 256数据集的ΔE00＝3的串联性能。以与它们的计算成本相反的方式对结果进行排序。
所提出的实施方式在所使用的所有的硬件平台中实现非常显著的增益。当使用安卓时获得稍微较低的增益，不仅平台差异，而且还有实现语言本身均不是不可知的。然而，相对增益中的差异是最小的。即使增益对ΔE00的结果的期望判定边界具有依赖性，对于度量的有用值，它们是很高的；较大的ΔE00值将具有逐渐减小的较低的熵，大于7的值被认为表示两种非常不同的颜色。
串联策略的最佳结构呈现轻微变化，但总体可识别小的可能性集合，以与相对增益中非常小的减少水平使用。具体地，对于台式计算机上的执行，由于提供最佳结果或仅稍微次之，可以识别由ΔE00计算块之后的过滤块模-夹角组成的结构。这些相同的结论可应用于Raspberry Pi和智能手机情况。如前所述，对于可独立于目标ΔE00值的范围应用的结构，包括ΔE00块后面的过滤块模-夹角的结构可被识别为良好的平衡。对于这两种情况，所识别的串联结构不仅更频繁地提供最佳的结果，而且差异非常小。
虽然未考虑10以上的ΔE00的值，但是应当注意，大于该值的ΔE00距离的颜色被视为明显不同。然而，由报告的分析和提出的模型(参见图4)获得的知识使得能够以其可使自身适合于不同的判定阈值和先验已知的并且假设传递的上下文作为输入的硬件平台的方式实现串联。
所分析的过滤特性-模、夹角及亮度-使得能够使用不同的策略和硬件平台实现很高的处理增益。然而，可分析其他性能并且研究它们的益处。此外，可以使用组合串联和并联策略的混合策略。
无论何时在本文献中使用的术语“包括”旨在指示所述特征、整数、步骤、组件的存在，但并不排除存在或附加一个或多个其他的特征、整数、步骤、组件或其组合。在图中描绘了当前公开的方法的具体实施方式的流程图。流程图未描绘任何特定的装置，相反流程图示出了功能信息，本领域普通技术人员需要该功能信息以执行按照本公开所需的所述方法。本领域普通技术人员将理解，除非本文中另有陈述，所描述的步骤的特定顺序仅为示例性的并且在没有偏离本公开的情况下可改变。因此，除非另有说明，所描述的步骤之所以无序意味着在可能的时候可以任何方便或期望的顺序执行步骤。
应当理解的是，如本文中描述的本公开的某些实施方式可以作为驻留在固件和/或计算机可用介质上的代码(例如，软件算法或程序)并入，计算机可用介质具有控制逻辑使得在具有计算机处理器的计算机系统上执行，如在本文中描述的任何服务器。这种计算机系统通常包括根据执行配置处理器的存储装置，该存储装置被配置为提供来自代码的执行的输出。代码可以设置为固件或软件，并且可以组织作为模块集合，包括本文中描述的各种模块和算法，诸如，离散码模块、函数调用、过程调用或面向对象的编程环境中的对象。如果使用模块实现，则代码可以包括单独的模块或彼此协同地工作以配置机器的多个模块，在机器中代码被执行以执行相关联的功能。
不应以任何方式将本公开视为限于描述的实施方式且本领域普通技术人员将预见它们的许多可能性与修改。上述实施方式是可组合的。所附权利要求进一步限定本公开的具体实施方式。

Claims (16)

1.一种用于第一颜色与第二颜色之间的颜色相似度评估的方法，所述方法包括步骤：
通过所述第一颜色和所述第二颜色计算一个或多个色差过滤器；
如果一个或多个计算的过滤器中的至少一个过滤器高于针对所述一个或多个计算的过滤器中的每一个过滤器预定的阈值，则确定所述第一颜色和所述第二颜色不相似；
否则，计算CIEDE2000色差ΔE00，并且如果计算的CIEDE2000色差ΔE00高于预定ΔE00阈值，则确定所述第一颜色和所述第二颜色不相似；
否则，确定所述第一颜色和所述第二颜色相似。
2.根据权利要求1所述的方法，其中，所述一个或多个过滤器包括模过滤器，其中，所述过滤器的计算包括计算表示为RGB颜色空间中的3D坐标的所述第一颜色与所述第二颜色之间的差分向量的模。
3.根据前述权利要求中任一项所述的方法，其中，所述一个或多个过滤器包括夹角过滤器，其中，所述过滤器的计算包括计算表示为RGB颜色空间中的3D坐标的所述第一颜色与所述第二颜色的两个向量之间的夹角。
4.根据前述权利要求中任一项所述的方法，其中，所述一个或多个过滤器包括亮度过滤器，其中，所述过滤器的计算包括计算所述第一颜色与所述第二颜色之间的亮度差异，具体地，CIELAB颜色空间中的所述第一颜色与所述第二颜色之间的亮度差异。
5.根据权利要求2和3所述的方法，其中，所述一个或多个过滤器包括模过滤器和夹角过滤器。
6.根据权利要求2和3所述的方法，其中，所述一个或多个过滤器包括依次计算的模过滤器和夹角过滤器，从而在计算所述模过滤器之后计算所述夹角过滤器。
7.根据权利要求2、3和4所述的方法，其中，所述一个或多个过滤器包括依次计算的模过滤器、夹角过滤器和亮度过滤器，从而在所述夹角过滤器之后计算所述亮度过滤器，并且在计算所述模过滤器之后计算所述夹角过滤器。
8.根据权利要求2、3和4所述的方法，其中，所述一个或多个过滤器包括并行计算的模过滤器、夹角过滤器和亮度过滤器。
9.根据前述权利要求所述的方法，其中，所述一个或多个过滤器包括并行计算的模过滤器、夹角过滤器和亮度过滤器使得当计算的过滤器中的至少一个过滤器高于针对所述一个过滤器预定的阈值时所述一个或多个过滤器的计算中断。
10.根据前述权利要求中任一项所述的方法，其中，针对每个过滤器预定的阈值是从ΔE00阈值预先获得的。
11.根据权利要求10所述的方法，其中，针对亮度过滤器预定的阈值是使用线性回归从ΔE00阈值预先获得的。
12.根据权利要求10所述的方法，其中，针对模过滤器预定的阈值和/或针对夹角过滤器预定的阈值是使用机器学习算法，具体地，使用随机森林算法从ΔE00阈值预先获得的。
13.一种方法，包括将待评估的颜色数据拆分为两个或两个以上的数据集并且根据前述权利要求任一项并行评估拆分的所述数据集的颜色相似度。
14.一种非易失性存储介质，包括用于实现颜色相似度评估设备的程序指令，所述程序指令包括能够执行以执行根据权利要求1至13中任一项所述的方法的指令。
15.一种颜色相似度评估设备，包括根据权利要求14所述的非易失性存储介质和被设置为执行所述指令的数据处理器。
16.一种颜色相似度评估设备，被设置为执行根据权利要求1至13中任一项所述的方法的步骤。
CN201880006089.9A 2017-01-11 2018-01-11 用于颜色相似度评估的方法和设备 Active CN110199297B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PT109847 2017-01-11
PT10984717 2017-01-11
EP17151878.0A EP3349149A1 (en) 2017-01-11 2017-01-17 Method and device for color similarity evaluation
EP17151878.0 2017-01-17
PCT/IB2018/050184 WO2018130969A1 (en) 2017-01-11 2018-01-11 Method and device for color similarity evaluation

Publications (2)

Publication Number Publication Date
CN110199297A true CN110199297A (zh) 2019-09-03
CN110199297B CN110199297B (zh) 2023-05-05

Family

ID=57860689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880006089.9A Active CN110199297B (zh) 2017-01-11 2018-01-11 用于颜色相似度评估的方法和设备

Country Status (6)

Country Link
US (1) US11216980B2 (zh)
EP (2) EP3349149A1 (zh)
JP (1) JP7082129B2 (zh)
KR (1) KR102447599B1 (zh)
CN (1) CN110199297B (zh)
WO (1) WO2018130969A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861920A (zh) * 2021-01-15 2021-05-28 佛山科学技术学院 一种棕榈油加热时间预测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248783A1 (en) * 2004-05-06 2005-11-10 Canon Kabushiki Kaisha Color characterization using nonlinear regression
US20080144143A1 (en) * 2006-10-31 2008-06-19 Solechnik Nickolai D Method for color characterization and related systems
CN104217409A (zh) * 2014-09-30 2014-12-17 南京汇川工业视觉技术开发有限公司 一种基于模拟退火最优化算法的图像色彩校正方法
US20150221077A1 (en) * 2014-02-03 2015-08-06 Prosper Creative Co., Ltd. Image inspecting apparatus and image inspecting program
CN106226249A (zh) * 2016-09-29 2016-12-14 成都齐力丝绸有限公司 一种颜色数字化比对系统及方法
US20170006186A1 (en) * 2015-07-02 2017-01-05 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4913094B2 (ja) * 2008-05-20 2012-04-11 シャープ株式会社 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
KR101558573B1 (ko) * 2008-12-26 2015-10-07 엘지이노텍 주식회사 스테레오 카메라 영상 합성 방법
JP2015111801A (ja) 2013-11-08 2015-06-18 株式会社リコー 画像処理装置及び画像処理システム
JP6424619B2 (ja) 2014-12-26 2018-11-21 ブラザー工業株式会社 印刷データ生成装置、および、色変換プロファイルの生成方法
US10387746B2 (en) * 2016-05-06 2019-08-20 Ohio State Innovation Foundation Image color data normalization and color matching system for translucent material
US9996949B2 (en) * 2016-10-21 2018-06-12 Disney Enterprises, Inc. System and method of presenting views of a virtual space

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248783A1 (en) * 2004-05-06 2005-11-10 Canon Kabushiki Kaisha Color characterization using nonlinear regression
US20080144143A1 (en) * 2006-10-31 2008-06-19 Solechnik Nickolai D Method for color characterization and related systems
US20150221077A1 (en) * 2014-02-03 2015-08-06 Prosper Creative Co., Ltd. Image inspecting apparatus and image inspecting program
CN104217409A (zh) * 2014-09-30 2014-12-17 南京汇川工业视觉技术开发有限公司 一种基于模拟退火最优化算法的图像色彩校正方法
US20170006186A1 (en) * 2015-07-02 2017-01-05 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN106226249A (zh) * 2016-09-29 2016-12-14 成都齐力丝绸有限公司 一种颜色数字化比对系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHUN-HSIEN CHOU等: "Perceptually optimized JPEG2000 coder based on CIEDE2000 color difference equation", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING 2005》 *
CRISTINAGÓMEZ-POLO等: "Comparison of the CIELab and CIEDE2000 color difference formulas", 《THE JOURNAL OF PROSTHETIC DENTISTRY》 *
D. ANDROUTSOS等: "Distance measures: for color image retrieval", 《PROCEEDINGS 1998 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
GARRETT M. JOHNSON等: "Measuring Images: Differences, Quality, and Appearance", 《PROCEEDINGS OF SPIE》 *
曾旺: "不同颜色背景下人眼视觉辨色特性的研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
李斌等: "CIEDE2000在彩色扫描仪特征化色差评价中的应用", 《包装工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861920A (zh) * 2021-01-15 2021-05-28 佛山科学技术学院 一种棕榈油加热时间预测系统及方法

Also Published As

Publication number Publication date
US20210134014A1 (en) 2021-05-06
EP3568806A1 (en) 2019-11-20
JP2020507150A (ja) 2020-03-05
US11216980B2 (en) 2022-01-04
EP3568806B1 (en) 2023-06-07
EP3568806C0 (en) 2023-06-07
KR20190106994A (ko) 2019-09-18
CN110199297B (zh) 2023-05-05
WO2018130969A1 (en) 2018-07-19
EP3349149A1 (en) 2018-07-18
KR102447599B1 (ko) 2022-09-27
JP7082129B2 (ja) 2022-06-07

Similar Documents

Publication Publication Date Title
CN102273208B (zh) 图像处理设备和图像处理方法
JP5116765B2 (ja) 塗色データベースの作成方法及びそのデータベースを用いた検索方法、並びにそれらのシステム、プログラム及び記録媒体
US6445818B1 (en) Automatically determining an optimal content image search algorithm by choosing the algorithm based on color
AU2015201623A1 (en) Choosing optimal images with preference distributions
CN115705637A (zh) 一种基于改进YOLOv5模型的丝饼缺陷检测方法
US20220198634A1 (en) Method for selecting a light source for illuminating defects, electronic device, and non-transitory storage medium
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN102713974B (zh) 学习装置、识别装置、学习识别系统和学习识别装置
Zhengming et al. Skin detection in color images
CN110199297A (zh) 用于颜色相似度评估的方法和设备
KR20120015980A (ko) 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품
EP2672719A2 (en) Color calibration of a image capture device in a way that is adaptive to the scene to be captured
CN110648297A (zh) 图像去雾方法、系统、电子设备和存储介质
Choudhury et al. Combining quality metrics for improved hdr image quality assessment
US11543644B2 (en) Digital imaging device and method for generating a digital color image
KR101031100B1 (ko) 영상 검색엔진
Fahmi et al. The using of thresholding and region merging algorithm for correcting the multiple choice answer sheets
RU2625523C1 (ru) Способ определения охраноспособности обозначений в качестве товарных знаков
Akhavan et al. A new combining learning method for color constancy
Peifeng et al. Color identification of complex objects based on the Bayes classification
KR20120013878A (ko) 영상 검색엔진
CN110826446B (zh) 无纹理场景视频的视场区域分割方法及装置
Uchimi et al. Estimation of multiple illuminant colors using color lines of single image
Yang et al. Fuzzy neural system for estimating the color temperature of digitally captured image with fpga implementation
Alekseev et al. Automatization colorize grayscale images based intelligent scene analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant