CN115151946A - 用于采用深度学习部署和使用图像相似度度量的方法和设备 - Google Patents
用于采用深度学习部署和使用图像相似度度量的方法和设备 Download PDFInfo
- Publication number
- CN115151946A CN115151946A CN202180016652.2A CN202180016652A CN115151946A CN 115151946 A CN115151946 A CN 115151946A CN 202180016652 A CN202180016652 A CN 202180016652A CN 115151946 A CN115151946 A CN 115151946A
- Authority
- CN
- China
- Prior art keywords
- database
- target coating
- digital image
- coating
- formulas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000013135 deep learning Methods 0.000 title abstract description 6
- 238000000576 coating method Methods 0.000 claims abstract description 165
- 239000011248 coating agent Substances 0.000 claims abstract description 139
- 239000008199 coating composition Substances 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 85
- 230000000875 corresponding effect Effects 0.000 claims description 58
- 238000005259 measurement Methods 0.000 claims description 50
- 230000002596 correlated effect Effects 0.000 claims description 44
- 238000013528 artificial neural network Methods 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 230000000694 effects Effects 0.000 claims description 20
- 239000000049 pigment Substances 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011179 visual inspection Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 39
- 238000004891 communication Methods 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000019612 pigmentation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000003973 paint Substances 0.000 description 4
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000015246 common arrowhead Nutrition 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 210000002364 input neuron Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000007431 microscopic evaluation Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/463—Colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J2003/466—Coded colour; Recognition of predetermined colour; Determining proximity to predetermined colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Radar Systems Or Details Thereof (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种方法和设备，该方法和设备可以基于目标涂层的测量数据在数据库中搜索一个或多个最优匹配涂层公式，即在数据库内搜索一个或多个初步匹配公式；并且可以使用深度学习技术使用在一侧的一个或多个最优匹配涂层公式的图像与另一侧的目标涂层的图像之间的图像相似度度量来细化搜索。
Description
技术领域
本发明涉及一种用于采用深度学习部署和使用在两个HDR效果涂层图像之间的图像相似度度量的计算机实现的方法和设备。
背景技术
如今，对于颜色搜索和取得过程，除了颜色信息之外，类似例如粗糙度、闪光面积、闪光强度、闪光等级和/或闪光颜色变化/分布的附加特征被用作辅助条件，以便找到给定目标颜色/目标涂层的最优解决方案。这些附加特征是颜色纹理外观的不同视觉特性的度量。
这些附加特征通常来源于由当今的光谱仪仪器(类似例如Xrite
或Byk mac
)捕获的目标涂层的图像原始数据。图像原始数据由图像处理算法处理。作为这些算法纹理特征的输出，即获得应该代表目标涂层纹理的光学特性的纹理值。这些纹理值根据已知的工业标准进行分类。
由于复杂涂层混合物的性质，有时难以配制、识别和/或搜索可接受的匹配配方和/或颜料沉着。理想情况下，人类可以查看复杂的涂层混合物并确定涂层混合物内的适当颜料。然而，实际上涂层混合物中的颜料可能不容易在要用于制造匹配涂层的油漆系统的一组调色剂中可用。因此，颜色匹配的技术人员必须确定油漆系统是否包含适当的偏移，并且如果是，则鉴于偏移与原始颜料沉着不完全相同，必须确定需要进行的附加更改以适应偏移。
彩色涂层的反射率(光谱数据)和纹理(图像数据)是从若干几何学测量的。色度数据来源于光谱数据，并且纹理特征来源于图像数据。可选地与目标涂层的微观评估相结合的使用相机和/或光谱仪的已知技术通常没有被适当地定义为有效解决新的效果颜料沉着或复杂的混合物，并且主要集中在目标涂层的单独评估上，即集中在逐个案例的分析上，这是一个非常耗时的过程，因为每个新的未知目标涂层都需要通过所有分析步骤。因此，这种耗时的过程可能无法令人满意地解决需要结合提供匹配公式的对目标涂层进行高效分析的应用问题。
还存在使用表示各种纹理的涂漆或虚拟样品并且然后将它们与未知的目标涂层进行比较的进一步策略。然而，这种技术通常需要大量的用户干预从而是主观的，这可能会产生不一致的结果。
已经存在的颜色及其相应公式的颜色测量值存储在配方数据库中。颜色搜索/取得过程通常由在这种数据库中的搜索启动。
然后选择在颜色方面其测量值接近的公式作为初步匹配结果/公式，并以特定顺序显示给用户，该顺序由使用色度数据和纹理特征数据作为输入的排序函数给出。该排序函数的目的是，关于整体外观的最优配方位于结果列表的顶部。
单独的光谱数据从多个视角提供了可接受的匹配质量，但由于纹理和闪光偏差，通常具有不可接受的整体外观。如Byk-Gardner公司介绍的那样，现有技术使用具有黑白图像能力的分光光度计来计算纹理值Gdiff(漫反射颗粒度或粗糙度)、Si(闪光强度)和Sa(闪光面积)。这是对于表征目标涂层纹理的良好的第一步，但具有有限的用于识别目标涂层整体外观的能力。最近，彩色图像可用在X-Rite的分光光度计上。专利“PIGMENTIDENTIFICATION OF COMPLEX COATING MIXTURES WITH SPARKLE COLOR”(US 2017/0200288 A1)通过添加色调分析以确定闪光颜色分布来改进技术。该进步提高了颜色取得性能，但仅利用图像中的有限特征集，而不是所有嵌入的图像和效果特征。
发明内容
希望有一种方法和一种设备，其可以测量未知的目标涂层，可以基于目标涂层的测量数据在数据库中搜索一个或多个最优匹配涂层公式，即在数据库内搜索一个或多个初步匹配公式，并且可以使用深度学习技术通过部署和使用在一侧的一个或多个最优匹配涂层公式的图像与另一侧的目标涂层的图像之间的图像相似度度量来细化搜索。然而，就目前而言，已知系统只能使用目标涂层的已知(即可测量)特征，诸如光谱特征和纹理特征，但通常无法帮助考虑匹配未知目标涂层所需的隐藏特征。
上述目的通过具有相应独立权利要求的特征的方法和设备来解决。进一步的实施例由以下说明书和相应的从属权利要求给出。
本公开提出了一种计算机实现的方法来提高使用具有光谱和HDR图像集的配方数据库的搜索/取得应用的效果涂层的颜色匹配接受率。
本公开涉及一种计算机实现的方法，该方法包括至少以下步骤：
a)使用至少一个测量设备，针对至少一个测量几何学中的每一个获得至少一个训练目标涂层的颜色值、数字图像和可选的纹理值，
b)提供数据库，该数据库包括涂层组合物的公式以及针对至少一个测量几何学中的每一个，包括相互关联的颜色值(光谱数据)、相互关联的数字图像(例如HDR图像)以及可选的相互关联的纹理值，
c)针对每个训练目标涂层，使用处理器针对相应的训练目标涂层基于获得的颜色值和可选地基于获得的纹理值从数据库中取得多个初步匹配公式的列表，
d)使用对至少一个训练目标涂层的数字图像和与初步匹配公式相互关联并且从数据库中取得的数字图像的目视检查，将多个初步匹配公式的列表划分成两个子列表，其中，第一子列表包括多个初步匹配公式中视觉良好的匹配公式，并且第二子列表包括多个初步匹配公式中视觉不良的匹配公式，
e)针对每个训练目标涂层，使用处理器创建多个三元组，每个三元组包括针对至少一个测量几何学中的一个测量几何学的相应的训练目标涂层的数字图像，针对至少一个测量几何学中的该测量几何学从数据库中取得的与第一子列表的视觉良好的匹配公式相互关联的数字图像，以及针对至少一个测量几何学中的该测量几何学从数据库中取得的与第二子列表的视觉不良的匹配公式相互关联的数字图像，
f)通过将创建的三元组一个接一个地提供给卷积神经网络作为相应的输入并优化n维成本函数来训练卷积神经网络，该成本函数将距至少一个训练目标涂层的相似度距离定义为图像相似度度量，使得成本函数针对相应的视觉良好的匹配公式最小化并且针对相应的视觉不良的匹配公式最大化，以及
g)使经训练的神经网络在处理器中可用，以用于关于目标涂层的数字图像对涂层组合物的数字图像进行排序。
术语“公式”和“配方”在本文中作为同义词使用。措辞“操作结合”是指相应组件以相应组件可以彼此交换数据的方式彼此通信。术语“与……相关联”和“与……相互关联”同义使用。这两个术语都指示彼此相关联/相互关联的组件的整体性。
颜色值(光谱数据)是使用至少一种测量设备通过分析至少一个涂层(例如至少一个训练目标涂层)的光谱曲线获得的，光谱曲线是以关于相应涂层(例如被施加到样品基材的表面上的训练目标涂层)的表面的不同测量几何学测量的。通常，光谱测量几何学由照射方向/角度和观察方向/角度定义。典型的光谱测量几何学是相对于涂层的表面法线测量的45°固定照射角和-15°、15°、25°、45°、75°、110°的视角，每个角度都相对于镜面反射角(即镜面反射方向)测量，镜面反射方向定义为其与涂层表面法线的夹角和相应光线的入射方向与涂层表面法线的夹角相同的出射方向。
图像和/或纹理值是通过使用图像捕获设备来捕获多个数字图像(特别是HDR彩色图像)获得的，每个数字图像是关于相应涂层(例如相应的训练目标涂层)的表面以不同测量几何学获得的。典型的基于图像的纹理测量几何学是与训练目标涂层表面的标称(即法线)成15°的图像捕获设备(即相机)的固定位置。照射角度被选择为r15as-15、r15as15、r15as-45、r15as45、r15as80和从X-Rite
定义的半漫射角。“半漫射”在此意为关于测量设备及其空间尺寸“尽可能漫射”。关于几何名称，至少一个测量设备(例如相机)和照射的位置是相反的。这意味着镜面反射角在这里由相机的固定位置定义。具体地，这意味着：例如名称“r15 as-15”用“r”表示“反向”，用“15”表示相机的固定位置，即与训练目标涂层的表面的标称(即法线)成15°角，用“as”表示“逆镜面反射(aspecular)，以及用“-15”表示相对于镜面反射角测量的照射角度。
纹理值/参数特别是目标涂层的闪光等级SG、闪光颜色变化CV和粗糙度C或颗粒度G、闪光强度Si和闪光面积Sa。
该至少一个测量设备可以选择为分光光度计，如例如Xrite
Xrite
或Byk mac
这种分光光度计还可以与另外合适的设备(诸如显微镜)组合，以便获得更多的图像数据，如例如显微镜图像。
该数据库是配方数据库，其包括涂层组合物的公式和相互关联的色度数据。对于每个公式，相互关联的色度数据包括光谱数据，即基于相应公式的样品涂层(施加到样品基材的表面)的颜色值、数字图像和可选的纹理值。
所提出的方法提供的模型相比基于手工特征的模型具有更高的学习能力。该方法确定有效的图像相似度度量，该图像相似度度量允许在按示例搜索过程中有效地找到与目标图像相似的图像。产生的图像相似度度量应该与人类感知相关。该方法能够采用深度学习模型学习细粒度的图像相似度。
基于第一匹配度量在数据库的多个公式中选择初步匹配公式。第一匹配度量由目标涂层(例如训练目标涂层)与所有或至少一些上述光谱测量几何学的相应样品涂层之间的色差度量(例如CIE dE*)来定义/计算，并且可选地由至少一个纹理差异度量，例如由如由Byk-Gardner[“Beurteilung von Effektlackierungen,Den Gesamtfarbeindruckobjektiv messen”,Byk-Gardner GmbH]定义的纹理差异dSi、dSa、dG中的至少一个补充。色差度量和至少一个纹理差异度量可以相加，可选地通过加权相加。色差度量可以由具有三个颜色值的CIE
描述：其中L*为从黑色(0)到白色(100)的亮度，a*为从绿色(-)到红色(+)，以及b*为从蓝色(-)到黄色(+)。因此，在颜色和可选的纹理方面其测量值接近的公式被选择为初步匹配公式，并以特定顺序的列表被显示给用户，该特定顺序由使用色度数据和可选的纹理特征数据作为输入的排序函数给出。选择排序函数使得关于光谱值和可选的纹理值的最优配方位于列表的顶部。
此外，该数据库包括多个数字图像，特别是HDR彩色图像，每个图像关于与相应公式对应的相应涂层的表面以不同测量几何学获得。
措辞“与……通信”指示在相应组件之间存在通信连接。
对于每个训练目标涂层，在针对相应训练目标涂层基于获得的颜色值以及可选地还基于获得的纹理值从配方数据库中取得多个初步匹配公式的列表之后，使用对相应的训练目标涂层的数字图像和与初步匹配公式相互关联并从数据库中取得的数字图像的视觉检查，将相应的训练目标涂层的多个初步匹配公式的列表划分成两个子列表，其中第一子列表包括多个初步匹配公式的视觉良好的匹配公式(即，相互关联的数字图像在视觉上接近于训练目标涂层的相应数字图像)，并且第二子列表包括多个初步匹配公式的视觉不良的匹配公式(即相互关联的数字图像在视觉上不太接近训练目标涂层的相应的数字图像)。
根据一个方面，选择500到1000，特别是1000个不同的训练目标涂层，并且针对每个训练目标涂层选择数量N个初步匹配公式，其中N是整数，特别是自然数。这意味着采用大约500到1000组(panel)的训练目标图像集来训练卷积神经网络(CNN)。针对每个训练目标图像，从配方数据库中取得具有多个(N个)初步匹配公式的列表。该列表包括例如20个初步匹配公式，即N＝20。通常，这20个初步匹配公式是具有对于训练目标涂层的相应目标图像的可接受匹配和相似颜料沉着的20个最优匹配公式。可以选择多个初步匹配公式，使得针对每个初步匹配公式，距相应的训练目标涂层的基于颜色的距离(诸如dE)以及可选的基于纹理的距离(诸如dS、dG、dSa、dSi)或基于颜色和纹理的距离总和(诸如∑(dE,dS,dG,dSa,dSi)小于第一阈值。
然后将用于相应训练目标涂层的相应目标图像的列表细分为第一子列表和第二子列表，其中第一子列表包括多个初步匹配公式的视觉良好的匹配公式(即，相互关联的数字图像在视觉上接近于训练目标涂层的相应数字图像)，并且第二子列表包括多个初步匹配公式的视觉不良的匹配公式(即，相互关联的数字图像在视觉上不太接近训练目标涂层的相应数字图像)。然后，创建多个三元组，每个三元组包括相应训练目标涂层的相应目标图像、第一子列表的数字图像和第二子列表的数字图像。针对每个目标图像，第一子列表和第二子列表的图像可以随机组合并与相应的目标图像融合以形成三元组。
针对图像相似度(完整图像)和效果颜料相似度(仅采用黑色背景示出效果颜料的图像)二者开发了模型，即神经网络。使用图像分割方法识别效果颜料。可能的分割技术包括阈值方法、基于边缘的方法、聚类方法、基于直方图的方法、基于神经网络的方法、混合方法等。
使用每个训练目标涂层的第一子列表Di+和第二子列表Di-创建多个三元组，其中每个三元组包括针对至少一个测量几何学中的一个测量几何学的相应训练目标涂层Ci的数字图像di(其中i是自然整数，i>0)，针对至少一个测量几何学中的该测量几何学从数据库中取得的与第一子列表Di+的视觉良好的匹配公式相互关联的数字图像di+，以及针对至少一个测量几何学中的该测量几何学从数据库中取得的与第二子列表Di-的视觉不良的匹配公式相互关联的数字图像di-。图像相似度关系由创建的三元组中的相对相似度排序来表征，即图像的相似度关系采用创建的三元组标记。创建的三元组(di,di+,di-)被馈送入卷积神经网络，即卷积神经网络将创建的三元组(di,di+,di-)作为输入。三元组(di,di+,di-)表征相应包括的数字图像di,di+,di-的相对相似度排序顺序。目的是学习n维嵌入函数f，该n维嵌入函数f将较小的距离F(在n维参数/特征空间中，n是自然整数)分配给更相似的图像对，即对于所有可用的训练目标涂层Ci，F(f(di),f(di+))<F(f(di),f(di-))。这意味着将要(通过考虑相应图像的所有可提取特征、可测量特征和隐藏特征)优化定义与至少一个训练目标涂层的相似度距离的n维成本函数F，使得成本函数F针对相应的视觉良好的匹配公式最小化，并且针对相应的视觉不良的匹配公式最大化。应当理解，n维嵌入函数f将每个图像di,di+,di-映射到n维参数/特征空间Rn中的相应点，即特征图，其中每个维度表示一个特征，其中每个特征可能由相应的因子加权，并且F是该空间中的距离。两个图像的距离F越小，两个图像越相似。所提出的方法的目标是学习嵌入函数f，该嵌入函数f将较小的距离F分配给更相似的图像对，即在该嵌入函数f中考虑尽可能多的特征、可测量和隐藏的特征，这些特征对视觉外观具有影响。深度神经网络f计算图像di的嵌入：f(di)∈Rn，其中n是特征嵌入的维度。
根据本发明，提出使用用于深度学习的具有卷积神经网络的反向图像搜索算法来比较两个HDR效果涂层图像(即分别与目标涂层和样品涂层相互关联的两个数字图像)之间的相似度。
对于图像分类，卷积神经网络相比先前公开的参数方法具有以下优点：
1.当前行业标准颜色和效果参数没有完全描述视觉评估；
2.卷积神经网络自动且自适应地学习多层次的隐藏图像特征，并且不限于所定义的颜色和效果参数；
3.卷积神经网络可以继续从大量且不断增长的可用配方和测量数据中学习。
卷积神经网络被训练用于计算目标涂层的嵌入图像和效果颜料特征，并在基于相似度度量的搜索/取得算法中实现。
经训练的神经网络f最终在处理器中可用，用于关于目标涂层的数字图像对涂层组合物(即样品涂层)的数字图像进行排序。
根据所提出方法的一个实施例，该方法在步骤e.中包括另外的步骤ee.，该另外的步骤ee.针对创建的三元组中的至少一个三元组执行：将相应的训练目标涂层的数字图像围绕中心图像旋转轴旋转给定角度，将从数据库取得的与相应视觉良好的匹配公式相互关联的数字图像围绕中心图像旋转轴旋转给定角度，并且将从数据库取得的与相应视觉不良的匹配公式相互关联的数字图像围绕中心图像旋转轴旋转给定角度，从而针对相应的训练目标涂层并且基于至少一个三元组，相应地获得至少一个另外的三元组。
根据另外的实施例，通过改变给定角度重复步骤ee.若干次。
因此，给定角度选自由如下组成的组：0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°。
根据所提出方法的另一个实施例，该方法在步骤e.中包括另外的步骤ee.，该另外的步骤ee针对创建的三元组中的至少一个三元组执行：将相应的训练目标涂层的数字图像划分成多个块，将从数据库中取得的与相应视觉良好的匹配公式相互关联的数字图像划分成相同数量的对应的块，以及将从数据库中取得的与相应视觉不良的匹配公式相互关联的数字图像划分成相同数量的对应的块，从而针对相应的训练目标涂层以及基于至少一个三元组，相应地获得与该数量的块对应的另外的三元组。
根据所提出方法的另外的实施例，步骤f.包括设置用于训练卷积神经网络的n维成本函数F，使得施加到可以由对应向量f(b)表示并且由n个参数ai(其中0≤i≤n)定义的相应初步匹配公式的数字图像b的n维嵌入函数f被映射到标量s(b)(即距离值)，向量f(b)的每个分量fi(即每个维度)包括相应的初步匹配公式的特征的值，其中，每个参数ai定义相应特征的权重。
根据另一方面，在步骤e.中，使用用于识别效果颜料的图像分割方法对数字图像进行预处理，并且数字图像仅采用黑色背景对效果颜料进行成像。
本发明还涉及一种计算机实现的方法，该方法包括至少以下步骤：
A.使用至少一个测量设备，针对至少一个测量几何学获得目标涂层的颜色值、数字图像和可选的纹理值，
B.提供数据库，该数据库包括涂层组合物的公式和针对该至少一个测量几何学包括相互关联的颜色值(例如光谱值)、相互关联的数字图像(例如HDR图像)和可选地相互关联的纹理值(例如颗粒度、粒度、闪光强度、闪光面积，…)，
C.向计算机提供经训练的卷积神经网络，
D.针对该至少一个测量几何学的目标涂层，基于获得的颜色值和可选地基于获得的纹理值，从数据库中选择一个或多个初步匹配公式，
E.针对一个或多个初步匹配公式中的每一个以及针对该至少一个测量几何学，从数据库中取得与相应的初步匹配公式相互关联的数字图像，
F.针对一个或多个初步匹配公式中的每一个，向经训练的卷积神经网络提供(输入)与相应初步匹配公式相互关联的相应取得的数字图像连同针对目标涂层和针对该至少一个测量几何学获得的数字图像，
G.针对一个或多个初步匹配公式中的每一个，使用经训练的神经网络确定目标涂层和相应的初步匹配公式之间的相似度距离，该经训练的神经网络被训练为计算两个数字图像即，与相应的初步匹配公式相互关联的相应取得的数字图像和针对目标涂层获得的数字图像之间的嵌入特征层中的相似度距离，以及
H.使用与计算机操作结合的输出设备向用户输出一个或多个初步匹配公式的确定的相似度距离。
根据一个方面，该方法进一步包括在与计算机通信连接的显示监视器的显示界面上显示一个或多个初步匹配公式的确定的相似度距离。
根据所提出的方法的另外实施例，一个或多个初步匹配公式的确定的相似度距离以排序列表的形式显示，其中相似度距离越低，相应的初步匹配公式与目标涂层的匹配越好。具有最小相似度距离的初步匹配公式被放在排序列表的顶部。
本公开还涉及一种计算机实现的方法，用于使用具有经训练的卷积神经网络的计算机对样品涂层的数字图像和目标涂层的数字图像之间的相似度进行排序，该经训练的卷积神经网络被训练以计算在两个数字图像之间的经训练的卷积神经网络的嵌入特征层中的相似度距离。
提供经训练的卷积神经网络，即如在此所述经训练的卷积神经网络。
本发明还涉及一种设备，至少包括：
-数据库，其包括用于涂层组合物的公式以及针对至少一个测量几何学的相互关联的颜色值、相互关联的数字图像和可选地相互关联的纹理值，
-至少一个处理器，其与至少一个测量设备、数据库和卷积神经网络通信连接，并且被编程为执行至少以下步骤：
1.从至少一个测量设备接收目标涂层的颜色值、至少一个数字图像和可选的纹理值，以及
2.执行用于训练卷积神经网络的上述方法的步骤c.至g.和/或用于使用经训练的神经网络的上述方法的步骤D.至H.。
卷积神经网络可以在至少一个处理器上实现，或者它可以安装在与至少一个处理器通信连接的单独的计算设备上。术语“计算机”、“处理器”和“计算设备”同义地使用。
本公开进一步涉及一种具有计算机程序的非暂态计算机可读介质，该计算机程序具有程序代码，该程序代码被配置为当计算机程序由至少一个处理器加载并执行时执行至少以下步骤，其中该至少一个处理器分别与至少一个测量设备通信连接，该至少一个测量设备被配置为针对至少一个测量几何学中的每一个测量几何学提供至少一个目标涂层的颜色值、数字图像和可选的纹理值；与数据库通信连接，该数据库包括涂层组合物的公式，以及针对至少一个测量几何学的相互关联的颜色值、相互关联的数字图像和可选地相互关联的纹理值；以及与卷积神经网络通信连接：
1.从测量设备接收针对至少一个测量几何学的至少一个目标涂层的颜色值、数字图像和可选的纹理值，以及
2.执行用于训练卷积神经网络的上述方法的步骤c.到g.和/或用于使用经训练的神经网络的上述方法的步骤D.至H.。
所提出的方法可以附加地执行，特别是在使用闪光颜色分布和/或闪光大小分布的其它颜料识别方法之后执行。这种方法在例如US 2017/0200288A1和申请号为19154898.1的欧洲申请中描述。后者的内容通过引用完整地包含在本文中。
最后，最优匹配公式被识别(例如在排序列表的顶部)并被转发到混合单元，该混合单元被配置为基于识别的最优匹配公式生产/混合油漆/涂层组合物。混合单元产生这种油漆/涂层组合物，该油漆/涂层组合物然后可以用在目标涂层的位置。混合单元可以是所提出设备的组件。
可以与所提出的方法一起使用的卷积神经网络基于称为反向传播的学习过程。卷积神经网络的神经元是分层排列的。这些层包括具有输入神经元的层(输入层)、具有输出神经元的层(输出层)以及一个或多个内层。神经网络的下游是排序层，该排序层输出相应的相似度距离(相似度差异)，该相似度距离(相似度差异)将关于目标涂层针对相应的样品涂层进行确定/预测。使用的卷积神经网络基于称为反向传播的学习过程。反向传播在这里应该被理解为用于经由错误反馈的监督学习过程的通用术语。存在多种反向传播算法：例如Quickprop，弹性传播(RPROP)。该过程使用至少包括三层的神经网络：具有输入神经元的第一层，具有输出神经元的第n层，以及(n-2)个内层，其中n是大于2的自然数。术语“卷积神经网络”和“神经网络”在此同义地使用。
在训练阶段中作为训练数据的用于神经网络的输入神经元是样品涂层和训练目标涂层的图像的三元组，每个样品涂层都基于先前已从数据库中识别为关于训练目标涂层的初步匹配公式的配方。每个三元组包含训练目标涂层的目标图像di、初步(视觉上)良好的匹配公式的正图像di+和初步(视觉上)不良的匹配公式的负图像di-。三元组(di,di+,di-)表征三个图像的相对相似度关系。
卷积神经网络的内层由卷积层、最大池化层、局部归一化层和全连接密集层的全部或子集组成。卷积层将另一层的图像或特征图作为输入，将其与p个可学习的内核的集合进行卷积，并通过激活函数以生成p个特征图。卷积层可以被认为是局部特征检测器集合。最大池化层负责降低卷积的特征的维数。局部归一化层对局部邻域周围的特征图进行归一化，使其具有单位范数和零均值。它导致特征图对照射和对比度的差异具有鲁棒性。堆叠的卷积层、最大池化层和局部归一化层充当平移和对比鲁棒的局部特征检测器。密集层是神经网络中的神经元的标准全连接集合，其将来自卷积层和最大池化层的特征图映射到n维特征空间中的点，该点由神经网络定义的n维嵌入函数f获得并被施加到样品涂层的数字图像。关于目标涂层的相似度距离值(即成本函数F的值)是n维特征空间中两点之间的距离，即分配给目标涂层的点和分配给相应样品涂层的点之间的距离。
措辞“用于涂层组合物的公式和相关联图像”是指用于涂层组合物的公式和已捕获的相应涂层的图像。措辞“与一个或多个初步匹配公式相关联的图像”是指已分别捕获的一个或多个初步匹配公式的相应涂层(施加到基材上)的图像。
所提出的设备可以包括输出单元，该输出单元被配置为输出所确定的相似度距离。
所提出的设备特别被配置为执行上述方法的实施例。
通常，至少数据库(也称为配方数据库)和至少一个处理器经由相应的通信连接在彼此之间联网。在至少一个测量设备和卷积神经网络是独立组件(即未在至少一个处理器上实现)的情况下，无论是设备的内部组件还是外部组件，数据库和至少一个处理器都还经由相应的通信连接与这些组件联网，即它们彼此通信。不同组件之间的通信连接中的每一个可以分别是直接连接或间接连接。每个通信连接可以是有线或无线连接。可以使用每种合适的通信技术。配方数据库、至少一个处理器，每个都可以包括用于彼此通信的一个或多个通信接口。这种通信可以使用有线数据传输协议来执行，诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)或任何其它有线传输协议。可替代地，该通信可以经由使用多种协议中的任何一种协议的无线通信网络进行无线通信，诸如通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址(CDMA)、长期演进(LTE)、无线通用串行总线(USB)和/或任何其它无线协议。相应的通信可以是无线和有线通信的组合。
处理器可以包括一个或多个输入设备，诸如触摸屏、音频输入、移动输入、鼠标、小键盘输入等或可以与之通信。此外，处理器可以包括一个或多个输出设备，诸如音频输出、视频输出、屏幕/显示输出等或可以与之通信。
本发明的实施例可以与计算机系统一起使用或结合在计算机系统中，该计算机系统可以是独立单元或包括一个或多个远程终端或设备，该远程终端或设备经由网络(诸如例如互联网或内联网)与位于例如云的中央计算机通信。因此，在此描述的处理器和相关组件可以是本地计算机系统或远程计算机或在线系统或其组合的一部分。在此所述的配方数据库和软件可以存储在计算机内部存储器或非暂态计算机可读介质中。
在本公开的范围内，数据库可以是数据存储单元的一部分或者可以代表数据存储单元本身。术语“数据库”和“数据存储单元”同义地使用。
本发明在以下示例中进一步定义。应当理解，这些示例通过指示本发明的优选实施例仅以说明的方式给出。通过以上讨论和示例，本领域技术人员可以确定本发明的本质特征，并且在不脱离其精神和范围的情况下，可以对本发明进行各种变化和修改以使其适应各种用途和条件。
附图说明
图1示意性地示出所提出的用于训练神经网络的方法的实施例的流程图。
图2示意性地示出所提出的用于使用已根据所提出的训练方法的实施例进行训练的经训练的神经网络的方法的实施例的流程图。
图3示出用于根据所提出的训练方法的实施例来训练神经网络的图像的三元组。
图4示意性地示出所提出的设备的实施例。
具体实施方式
图1示意性地示出所提出的用于训练神经网络100的方法的实施例的流程图。
基于针对相应的训练目标涂层获得的颜色值和/或纹理值，在针对每个训练目标涂层Ci(其中1≤i≤l)从配方数据库中取得多个初步匹配公式的列表之后，使用对相应的训练目标涂层的数字图像di和与初步匹配公式相互关联并从数据库中取得的数字图像
(其中1≤k≤m,1≤j≤p)的目视检查，将相应的训练目标涂层的多个初步匹配公式的列表划分成两个子列表Di+,Di-，其中第一子列表Di+包括关于相应训练目标涂层的多个初步匹配公式的视觉良好的匹配公式，并且第二子列表Di-包括多个初步匹配公式的视觉不良的匹配公式。
根据一个方面，选择500到1000个，特别是1000个不同的训练目标涂层Ci，即500≤i≤1000，并且针对每个训练目标涂层Ci，选择数量N个初步匹配公式，N是整数并且m+p＝N。这意味着卷积神经网络100采用大约500到1000组的目标图像集i训练。针对每个目标图像di，从配方数据库中取得多个(N个)初步匹配公式的列表。该列表包括例如20个初步匹配公式，即N＝20。通常，这20个初步匹配公式是20个最优匹配公式，考虑到颜色值和可选的纹理值，该最优匹配公式具有对于相应的训练目标涂层的可接受的匹配和相似的颜料沉着。可以选择多个初步匹配公式，使得针对每个初步匹配公式，距相应的训练目标涂层的基于颜色的距离(诸如dE)以及可选的基于纹理的距离(诸如dS、dG、dSa、dSi)或基于颜色和纹理的距离的总和(诸如∑(dE,dS,dG,dSa,dSi)小于第一阈值。
然后将用于相应训练目标涂层Ci及其相应目标图像di的列表细分为第一子列表Di+和第二子列表Di-，其中第一子列表Di+包括多个初步匹配公式的m个视觉良好的匹配公式，其数字图像110被指定为
并且第二子列表Di-包括多个初步匹配公式中的p个视觉不良的匹配公式，其数字图像110被指定为
然后，在步骤111中创建多个三元组120，每个三元组
(其中1≤k≤m并且1≤j≤p)包括相应的目标图像di、第一子列表Di+的数字图像
和第二子列表Di-的数字图像
针对每个目标图像di，可以将第一子列表Di+和第二子列表Di-的图像
随机组合并与相应的目标图像di融合以形成三元组
其中1≤k≤m并且1≤j≤p。优选地，分别使用相同的测量几何学来捕获被组合成三元组的相应三个数字图像
针对图像相似度(完整图像)和效果颜料相似度(仅具有黑色背景的效果颜料)二者开发了模型，即神经网络。使用图像分割方法识别效果颜料。可能的分割技术包括阈值方法、基于边缘的方法、聚类方法、基于直方图的方法、基于神经网络的方法、混合方法等。
针对每个训练目标涂层Ci使用第一子列表Di+和第二子列表Di-，创建多个三元组
其中1<k≤m且1<j≤p并且m，p>1，如由箭头111所示，其中每个三元组
包括针对至少一个测量几何学中的一个测量几何学的相应训练目标涂层Ci的数字图像di(其中i是自然整数，i>0)，针对至少一个测量几何学中的该测量几何学从数据库中取得的与第一子列表Di+的视觉良好的匹配公式相互关联的数字图像
以及针对至少一个测量几何学中的该测量几何学从数据库中取得的与第二子列表Di-的视觉不良的匹配公式相互关联的数字图像
视觉图像相似度关系通过所创建的三元组中的相对相似度排序来表征，即图像的相似度关系采用创建的三元组标记。创建的三元组
被馈入卷积神经网络100，即卷积神经网络将创建的三元组
作为输入。由此，三元组
被一个接一个地馈送到神经网络100，如由箭头112所示。这意味着运行参数k，j依次增加，其中k＝1,…,m并且j＝1,…,p。三元组
表征对于相应包括的数字图像di,
的相对相似度排序顺序。
目的是学习n维嵌入函数f101，即分配由相似度距离函数F 106(在n维参数/特征空间Rn中，n为自然整数)定义的较小距离到更相似的图像对的神经网络100，即针对所有可用的训练目标涂层Ci，
n维嵌入函数f101由神经网络100的一组网络层实现。距离函数F 106表示成本函数，并且由作为神经网络100的最终输出层的排序层实现。n维嵌入函数f101首先将相应三元组
的每个数字图像di,
分别在n维空间Rn中分配给恰好一个点f(di),
这意味着在n维空间Rn中，di分配给f(di)102，
分配给
103，并且
分配给的
104。分配给相应训练目标涂层Ci的数字图像di的点f(di)102与分配给相应初步良好的匹配涂层的数字图像
的点
103之间的距离
和/或分配给相应训练目标涂层Ci的数字图像di的点f(di)102与分配给相应初步不良的匹配涂层的数字图像
的点
104之间的距离
分别是相应训练目标涂层Ci和相应初步匹配涂层之间的相似度的度量。该距离由n维成本函数F 106定义。
这意味着要(通过考虑相应图像的所有可提取特征、可测量特征和隐藏特征)优化定义距至少一个训练目标涂层Ci的相似度距离的n维成本函数F 106，使得成本函数F 106针对相应的视觉良好的匹配公式最小化，
并且针对相应的视觉不良的匹配公式最大化，
如上所述，应当理解，n维嵌入函数f 101将每个图像di,
映射到n维参数空间Rn中的相应点f(di),
其中每个维度表示一个特征，其中每个特征可能由相应的因子加权：
F 106表示该空间中的距离/距离度量。两个图像的距离F 106越小，两个图像越相似。在训练神经网络100时，所提出方法的目标是学习嵌入函数f 101，该嵌入函数f 101将更小的距离F 106分配给更相似的图像对，即在该嵌入函数f 101中考虑尽可能多的特征、可测量的特征和隐藏的特征，这些特征对视觉外观具有影响。深度神经网络100的层f 101计算图像di的嵌入：f(di)∈Rn，其中n是特征嵌入的维度。
在训练神经网络100时，已知在通过神经网络100后，第一子列表Di+的所有数字图像将被分配给指定多个初步匹配涂层中的视觉良好的匹配涂层的类别130，并且第二子列表Di-的所有数字图像将被分配给指定多个初步匹配涂层中的视觉不良的匹配涂层的类别140。有了这些知识并且特别是通过使用反向传播概念，成本函数F 106可以同时针对视觉良好的匹配涂层而最小化并且针对视觉不良的匹配涂层而最大化。因此，确定嵌入函数f101及其定义参数。
当确定嵌入函数f 101时，当关于如图2中示意性示出的目标涂层的可用数字图像p 211搜索良好匹配公式时，其将被提供用作设备200的经训练的神经网络/在设备200的经训练的神经网络中使用。
当通过目标涂层的数字图像p 211(＝目标图像)和通过要分析对于目标涂层相似度的相应样品涂层的相应数字图像q1,q2,…,qi(其中i≥1)时实现经训练的神经网络202的设备200的输出250是相应的距离值F(f(p),f(qj))，其中1≤j≤i206(见图2a)。当要分析对于目标涂层的相似度的对应多个样品涂层的多个数字图像q1,q2,…,qi210一个接一个地(如时间尺度201所示)被馈送212到神经网络202进行评估时，神经网络202将经训练的嵌入函数f(·)应用于每个数字图像，并针对每个数字图像输出相应的点/特征图f(p),f(q1),f(q2),…f(qi)，如由箭头203所指示(见图2b)。成本函数f(·)204应用于相应的特征图对，每对包括被分配给目标图像p的特征图和被分配给样品涂层的数字图像qj的特征图。相应的距离值F(f(p),f(qj))(其中1≤j≤i 206)允许在要对于目标涂层的相似度进行分析的样品涂层之间进行排序。该排序顺序250可以以表格(如图2a和2b中所示)、列表、条形图或类似的形式输出或显示。
图3示意性地示出三元组(di,di+,di-)300。每个三元组300包含目标图像di301、正图像di+302，和负图像di-303。三元组300表征三个图像301、302、303的相对相似度关系。模型(即神经网络)被开发用于图像相似度(完整图像)和效果颜料相似度(仅具有黑色背景的效果颜料)二者。使用图像分割方法识别效果颜料。可能的分割技术包括阈值方法、基于边缘的方法、聚类方法、基于直方图的方法、基于神经网络的方法、混合方法等。
图4示出可用于执行在此描述的方法的设备400的实施例。用户40可以利用用户界面41，诸如图形用户界面，来操作至少一个测量设备42以测量目标涂层43的特性，即借助于相机捕获目标涂层的数字图像，每个图像以不同的测量几何学(例如以不同的角度)获得，并且例如使用分光光度计确定针对不同光谱测量几何学的颜色值和可选的纹理值。来自至少一个测量设备(例如相机42)的数据可以被传输到计算机44，诸如个人计算机、移动设备或任何类型的处理器。计算机44可以经由网络45与服务器46进行通信，即进行通信连接。网络45可以是任何类型的网络，诸如互联网、局域网、内联网或无线网络。服务器46与数据库47通信，该数据库47可以存储本发明的实施例的方法所使用的数据和信息以用于比较目的。在各种实施例中，数据库47可用于例如客户端服务器环境或例如基于web的环境，诸如云计算环境。本发明的实施例的方法的各个步骤可以由计算机44和/或服务器46执行。在另一方面，本发明可以实现为包含用于使计算机或计算机系统执行上述方法的软件的非暂态计算机可读介质。该软件可以包括用于使处理器和用户界面能够执行在此描述的方法的各种模块。
参考符号列表
100 神经网络
101 嵌入函数
102 f(di)
103 
104 
106 成本函数F
107 
108 
110 图像
111 箭头
112 箭头
120 三元组
130 类别“良好”
140 类别“不良”
200 具有实现的经训练的神经网络的设备
201 时间尺度
202 经训练的神经网络
203 箭头
204 成本函数F(·)
210 样品涂层的数字图像
211 目标涂层的数字图像
212 馈送到神经网络中
206 神经网络的输出，距离值F(f(p),f(qj))
250 排序顺序，神经网络的输出
301 di
302 di+
303 di-
400 设备
40 用户
41 用户界面
42 测量设备
43 目标涂层
44 计算机
45 网络
46 服务器
47 数据库
Claims (16)
1.一种计算机实现的方法，所述方法包括至少以下步骤：
a.使用至少一个测量设备(42)，针对至少一个测量几何学中的每一个获得至少一个训练目标涂层的颜色值、数字图像和可选的纹理值，
b.提供数据库(47)，所述数据库(47)包括涂层组合物的公式，以及针对所述至少一个测量几何学中的每一个，包括相互关联的颜色值、相互关联的数字图像和可选地相互关联的纹理值，
c.针对每个训练目标涂层，使用处理器(44、46)针对相应的训练目标涂层基于获得的所述颜色值和可选地基于获得的所述纹理值从所述数据库(47)中取得多个初步匹配公式的列表，
d.使用对所述至少一个训练目标涂层的所述数字图像和与所述初步匹配公式相互关联并且从所述数据库(47)中取得的所述数字图像的目视检查，将所述多个初步匹配公式的所述列表划分成两个子列表，其中，第一子列表包括所述多个初步匹配公式中视觉良好的匹配公式，并且第二子列表包括所述多个初步匹配公式中视觉不良的匹配公式，
e.针对每个训练目标涂层，使用所述处理器(44、46)创建多个三元组(120)，每个三元组(120)包括针对所述至少一个测量几何学中的一个测量几何学的所述相应的训练目标涂层的数字图像，针对所述至少一个测量几何学中的所述测量几何学从所述数据库(47)中取得的与所述第一子列表的视觉良好的匹配公式相互关联的数字图像，以及针对所述至少一个测量几何学中的所述测量几何学从所述数据库(47)中取得的与所述第二子列表的视觉不良的匹配公式相互关联的数字图像，
f.通过将所创建的三元组(120)一个接一个地提供给卷积神经网络(100)作为相应的输入并优化n维成本函数(106)来训练所述卷积神经网络(100)，所述成本函数(106)定义距所述至少一个训练目标涂层的相似度距离，使得所述成本函数(106)针对相应的视觉良好的匹配公式最小化，并且针对相应的视觉不良的匹配公式最大化，以及
g.使经训练的神经网络在所述处理器(44、46)中可用以用于关于目标涂层的数字图像对涂层组合物的数字图像进行排序。
2.根据权利要求1所述的方法，进一步在步骤e.中包括另外的步骤ee.，所述另外的步骤ee.针对所创建的三元组(120)中的至少一个三元组执行：将所述相应的训练目标涂层的所述数字图像围绕中心图像旋转轴旋转给定角度，将从所述数据库(47)取得的与所述相应的视觉良好的匹配公式相互关联的所述数字图像围绕所述中心图像旋转轴旋转所述给定角度，并且将从所述数据库(47)取得的与所述相应的视觉不良的匹配公式相互关联的所述数字图像围绕所述中心图像旋转轴旋转所述给定角度，从而针对所述相应的训练目标涂层并且基于所述至少一个三元组，相应地获得至少一个另外的三元组。
3.根据权利要求2所述的方法，包括通过改变所述给定角度重复步骤ee.若干次。
4.根据权利要求2或3所述的方法，其中，所述给定角度选自由如下组成的组：0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°。
5.根据前述权利要求中任一项所述的方法，进一步在步骤e.中包括另外的步骤ee.，所述另外的步骤ee针对所创建的三元组(120)中的至少一个三元组执行：将所述相应的训练目标涂层的所述数字图像划分成多个块，将从所述数据库(47)取得的与所述相应的视觉良好的匹配公式相互关联的所述数字图像划分成相同数量的对应的块，以及将从所述数据库(47)取得的与所述相应的视觉不良的匹配公式相互关联的所述数字图像划分成相同数量的对应的块，从而针对所述相应的训练目标涂层以及基于所述至少一个三元组，相应地获得与所述数量的块对应的另外的三元组。
6.根据前述权利要求中任一项所述的方法，其中，步骤f.包括设置用于训练所述卷积神经网络(100)的n维成本函数F(106)，使得可以由对应向量表示并且由n个参数ai，其中0≤i≤n，定义的n维嵌入函数f被映射到标量s，向量f的每个分量fi包括相应的初步匹配公式的特征的值，其中，每个参数ai定义相应特征的权重。
7.根据前述权利要求中任一项所述的方法，其中在步骤e.中，使用用于识别效果颜料的图像分割方法对所述数字图像进行预处理，并且对所述效果颜料进行成像的所述数字图像仅采用黑色背景。
8.根据前述权利要求中任一项所述的方法，其中，选择500至1000个，特别是1000个不同的训练目标涂层，并且针对每个训练目标涂层，选择数量N个初步匹配公式，其中N是整数。
9.根据前述权利要求中任一项所述的方法，其中，选择所述多个初步匹配公式，使得针对每个初步匹配公式，到所述相应的训练目标涂层的基于颜色的距离、可选地基于纹理的距离或基于颜色和纹理的距离小于第一阈值。
10.一种计算机实现的方法，所述方法包括至少以下步骤：
A.使用至少一个测量设备(42)针对至少一个测量几何学获得目标涂层的颜色值、数字图像和可选的纹理值，
B.提供数据库(47)，所述数据库(47)包括涂层组合物的公式和针对所述至少一个测量几何学的相互关联的颜色值、相互关联的数字图像和可选地相互关联的纹理值，
C.向计算机(44、46)提供经训练的卷积神经网络，
D.针对所述至少一个测量几何学的所述目标涂层，基于获得的所述颜色值和可选地基于获得的所述纹理值，从所述数据库(47)中选择一个或多个初步匹配公式，
E.针对所述一个或多个初步匹配公式中的每一个以及针对所述至少一个测量几何学，从所述数据库(47)中取得与相应的初步匹配公式相互关联的数字图像，
F.针对所述一个或多个初步匹配公式中的每一个，向所述经训练的卷积神经网络提供与所述相应的初步匹配公式相互关联的相应取得的数字图像连同针对所述目标涂层和针对所述至少一个测量几何学获得的数字图像，
G.针对所述一个或多个初步匹配公式中的每一个，使用所述经训练的神经网络确定所述目标涂层和所述相应的初步匹配公式之间的相似度距离，所述经训练的神经网络被训练为计算两个数字图像，即，与所述相应的初步匹配公式相互关联的所述相应取得的数字图像和针对所述目标涂层获得的所述数字图像之间的嵌入特征层中的相似度距离，以及
H.使用与所述计算机(44、46)操作结合的输出设备(41)向用户(40)输出所述一个或多个初步匹配公式的所确定的相似度距离。
11.根据权利要求10所述的方法，包括在与所述计算机(44、46)通信连接的显示监视器的显示接口(41)上显示所述一个或多个初步匹配公式的所确定的相似度距离。
12.根据权利要求11所述的方法，其中，所述一个或多个初步匹配公式的所确定的相似度距离以排序列表的形式显示，其中，所述相似度距离越低，所述相应的初步匹配公式与所述目标涂层的匹配越好。
13.一种计算机实现的方法，用于使用具有经训练的卷积神经网络的计算机对样品涂层的数字图像和目标涂层的数字图像之间的相似度进行排序，所述经训练的卷积神经网络被训练以计算两个数字图像之间的所述经训练的卷积神经网络的嵌入特征层中的相似度距离。
14.根据权利要求10至13中任一项所述的方法，其中，所述经训练的卷积神经网络是根据权利要求1至9中任一项提供的。
15.一种设备，至少包括：
-数据库(47)，其包括用于涂层组合物的公式以及针对至少一个测量几何学的相互关联的颜色值、相互关联的数字图像和可选地相互关联的纹理值，
-至少一个处理器(44、46)，其与至少一个测量设备(42)、所述数据库(47)和卷积神经网络(100)通信连接，并且被编程为执行至少以下步骤：
1.从所述至少一个测量设备(42)接收目标涂层的颜色值、数字图像和可选的纹理值，以及
2.执行权利要求1的步骤c.到g.和/或权利要求10的步骤D.至H.。
16.一种具有计算机程序的非暂态计算机可读介质，所述计算机程序具有程序代码，所述程序代码被配置为当所述计算机程序由至少一个处理器加载并执行时执行至少以下步骤，其中所述至少一个处理器分别与至少一个测量设备通信连接，该至少一个测量设备被配置为针对至少一个测量几何学中的每一个提供至少一个目标涂层的颜色值、数字图像和可选的纹理值；与数据库通信连接，该数据库包括涂层组合物的公式，以及针对所述至少一个测量几何学的相互关联的颜色值、相互关联的数字图像和可选地相互关联的纹理值；以及与卷积神经网络通信连接：
1.从所述测量设备接收针对至少一个测量几何学的至少一个目标涂层的颜色值、数字图像和可选的纹理值，以及
2.执行权利要求1的步骤c.至g.和/或权利要求10的步骤D)至H)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20159532 | 2020-02-26 | ||
| EP20159532.9 | 2020-02-26 | ||
| PCT/EP2021/054820 WO2021170796A1 (en) | 2020-02-26 | 2021-02-26 | Method and device for deploying and using an image similarity metric with deep learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115151946A true CN115151946A (zh) | 2022-10-04 |
Family
ID=69740232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180016652.2A Pending CN115151946A (zh) | 2020-02-26 | 2021-02-26 | 用于采用深度学习部署和使用图像相似度度量的方法和设备 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20230145070A1 (zh) |
| EP (1) | EP4111416A1 (zh) |
| JP (1) | JP7420957B2 (zh) |
| CN (1) | CN115151946A (zh) |
| AU (1) | AU2021227009A1 (zh) |
| CA (1) | CA3168395A1 (zh) |
| WO (1) | WO2021170796A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975046B (zh) * | 2024-02-20 | 2024-09-10 | 蚂蚁云创数字科技（北京）有限公司 | 图像检测处理方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9482657B2 (en) | 2013-11-07 | 2016-11-01 | Ppg Industries Ohio, Inc. | Formulation of complex coating mixtures with effect pigments |
| US9607403B2 (en) | 2014-10-28 | 2017-03-28 | Ppg Industries Ohio, Inc. | Pigment identification of complex coating mixtures with sparkle color |
| US9818205B2 (en) | 2016-02-19 | 2017-11-14 | Ppg Industries Ohio, Inc. | Simplified texture comparison engine |
| US11062479B2 (en) | 2017-12-06 | 2021-07-13 | Axalta Coating Systems Ip Co., Llc | Systems and methods for matching color and appearance of target coatings |
-
2021
- 2021-02-26 EP EP21707280.0A patent/EP4111416A1/en active Pending
- 2021-02-26 US US17/905,062 patent/US20230145070A1/en active Pending
- 2021-02-26 AU AU2021227009A patent/AU2021227009A1/en active Pending
- 2021-02-26 JP JP2022551728A patent/JP7420957B2/ja active Active
- 2021-02-26 CA CA3168395A patent/CA3168395A1/en active Pending
- 2021-02-26 CN CN202180016652.2A patent/CN115151946A/zh active Pending
- 2021-02-26 WO PCT/EP2021/054820 patent/WO2021170796A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023516190A (ja) | 2023-04-18 |
| EP4111416A1 (en) | 2023-01-04 |
| CA3168395A1 (en) | 2021-02-26 |
| WO2021170796A1 (en) | 2021-09-02 |
| US20230145070A1 (en) | 2023-05-11 |
| JP7420957B2 (ja) | 2024-01-23 |
| AU2021227009A1 (en) | 2022-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2161555B1 (en) | Coating color database creating method, search method using the database, their system, program, and recording medium | |
| JP6701394B2 (ja) | 輝色を用いた複合コーティング混合物の色素識別 | |
| JP7412556B2 (ja) | 目標コーティング中の効果顔料を識別する方法及び装置 | |
| CA2434554C (en) | Computer-implemented neural network color matching formulation system | |
| US10969952B2 (en) | Color and texture match ratings for optimal match selection | |
| US20230349765A1 (en) | Apparatus and Method for Effect Pigment Identification | |
| US20220163393A1 (en) | Generation of a bi-directional texture function | |
| JP7420957B2 (ja) | 深層学習を用いて画像類似度指標を展開し使用するための方法およびデバイス | |
| JP7403006B2 (ja) | 目標コーティング中の効果顔料を識別するための方法及び装置 | |
| CN116597029B (zh) | 一种针对色盲的图像重着色方法 | |
| CN114174785A (zh) | 用于匹配和调节样本涂层到目标涂层的色素沉着的方法和系统 | |
| JP4234963B2 (ja) | 塗料調色用光輝感見本色票 | |
| JP7383793B2 (ja) | 見本色と目標色とのスペクトル類似性を数値化するための方法およびシステム | |
| CN118608497A (zh) | 一种对象分析方法、装置及电子设备 | |
| Kay | Colour analysis and the classification of fruit | |
| DEL COLORE | Colour and Colorimetry Multidisciplinary Contributions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |