CN116113987A - 将至少两种材料的外观可视化 - Google Patents

将至少两种材料的外观可视化 Download PDF

Info

Publication number
CN116113987A
CN116113987A CN202180055048.0A CN202180055048A CN116113987A CN 116113987 A CN116113987 A CN 116113987A CN 202180055048 A CN202180055048 A CN 202180055048A CN 116113987 A CN116113987 A CN 116113987A
Authority
CN
China
Prior art keywords
appearance
texture
target
attributes
properties
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180055048.0A
Other languages
English (en)
Inventor
M·鲁姆普
G·穆勒
F·拉米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X Rite Switzerland GmbH
Original Assignee
X Rite Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Rite Europe GmbH filed Critical X Rite Europe GmbH
Publication of CN116113987A publication Critical patent/CN116113987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0291—Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/504—Goniometric colour measurements, for example measurements of metallic or flake based paints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Abstract

获得第一和第二组外观属性。第一组与目标材料相关联。它包括目标材料的测得外观属性(54)。第二组与候选材料相关联。它包括基于与一个或多个参考材料相关联的外观属性的候选外观属性。获得至少一个虚拟对象(72)的几何模型，该几何模型定义三维表面几何结构。将包括至少一个虚拟对象(72)的场景可视化。分别使用第一和第二组外观属性来将虚拟对象(72)的第一和第二部分可视化。第一和第二组外观属性中的每组都包括以多个图像数据集的形式的质地属性。所述组之一中的图像数据可以基于另一组的质地属性，或者第二组中的图像数据可以从与候选材料的多个成分材料相关联的图像数据合成。

Description

将至少两种材料的外观可视化
技术领域
本发明涉及将至少两种材料的外观可视化的方法。本发明还涉及用于执行这样的方法的装置和相应的计算机程序。
背景技术
寻找与待颜色匹配的物理对象(“目标对象”)的给定颜色相匹配的颜色配制(formulation)可能是冗长的反复试验(trial and error)的过程。选择一组着色剂，检索或配制使用所述着色剂的候选配方，并通过将根据候选配方制备的材料应用于试验对象来制备试验对象，诸如测试面板。然后将试验对象与目标对象进行视觉比较。如果试验对象的颜色与目标对象的颜色不匹配，则根据需要经常反复地修改候选配方，直到试验对象的颜色与目标对象的颜色匹配到期望的容差范围内。
在一些应用中，目标对象可以是涂覆有现有涂层的车辆部件，并且期望找到其颜色与现有涂层的外观相匹配的涂层配制。即使已知与目标对象相关联的油漆代码或车辆标识号，仅检索相应的参考配方可能不会产生可接受的匹配。这是因为，即使存在油漆代码规格和参考配方，给定目标对象的颜色也将会因批次、配制师或年份而略有不同。需要考虑对参考配方的修改。
传统上，寻找匹配配方的过程已经是完全人工过程。无论是从零开始配制还是修改参考配方，成功很大程度上取决于选择着色剂和定义候选配方的颜色专业人员的经验。即使有经验的专家也经常需要几次反复，直到获得满意的匹配。
在过去的几十年中，已经引入了越来越复杂的颜色配制软件来在以更少的反复获得定义的容差范围内的颜色配制时帮助颜色专业人员。示例包括可从美国密歇根州大急流城的X-Rite公司获得的软件“Color iMatchTM”、可从美国俄亥俄州斯特朗斯维尔的PPG实业公司获得的软件“PaintManager”、可从美国新泽西州劳伦斯维尔的Datacolor获得的软件“Match Pigment”、或可从日本大阪的Konica Minolta公司获得的软件“ColibriTMColorMatch”。颜色配制软件通常有三个主要组件(例如参见[Ber19])：第一个是着色剂的光学性质的数据库。第二个是选择着色剂和预测候选配方的一组算法。第三个是当匹配不在容差范围内时校正初始候选配方的一组算法。
为了用着色剂的光学性质；充数据库，需要通过测量来确定光学性质。取决于设想的应用的类型，这可以以不同的方式来完成。例如，对于如它们通常在汽车工业中被使用的涂层，可以制备每种着色剂以不同浓度与基础配制的混合，并且可能与不同量的添加的白色和黑色颜料的混合，并且可以为每种混合创建以所谓的缩减(drawdown)的形式(例如，以涂覆有该混合的黑白不透明卡的形式)的参考对象。然后，可以使用比如分光光度计的仪器来确定以光谱数据的形式或在预定义颜色空间中(例如，以三色值或CIELAB值的形式)的缩减的颜色属性，并且可以将其馈送到数据库。
为了对物理目标对象执行颜色匹配，同样确定目标对象的颜色属性。然后配制软件预测一个或多个候选配方，所述配方预期产生与目标对象近似相同的颜色属性。为了评估匹配的质量，可以为所选候选配方创建试验对象(例如，在涂层的情况下的缩减)。然后，可以将试验对象与目标对象进行视觉比较。如果匹配在视觉上还不令人满意，则可以采集试验对象的颜色属性，并且颜色配制软件可以基于候选配方的计算的颜色属性与试验对象的测得颜色属性的比较来校正配方。可以根据需要经常重复该过程，直到获得可接受的匹配。
虽然与用传统的人工方法相比以这种方式用较少的反复通常可以获得可接受的结果，但是仍然有改进的空间。特别地，期望能够在试验对象已经被实际生产之前就已经以提高的置信度来判断候选配方和目标对象之间的匹配的质量。如果其中生产试验对象的位置与其中目标对象所在的位置不同，则这是特别地期望的。例如，目标对象可以是需要在车身修理厂(body shop)中修理的受损车辆的一部分。然而，车身修理厂本身可能没有配备颜色混合设施。而是车身修理厂可能不得不从远程油漆供应商订购准备好喷涂的油漆。在这样的情况下，第一次尝试(shot)时匹配在容差范围内可能是必要的。
已知的颜色匹配的方法可能不会产生令人满意的结果，尤其是对于油漆涂层或表现出角度外观变化性质(gonioapparent property)的其他材料。例如，一些材料表现出颜色突变(color flop)。“颜色突变”是当照射和观察方向改变时，材料的外观中的颜色值、色调或色度中的改变。具有角度外观变化性质的材料的其他示例是包含效果颜料的材料，比如产生闪光效果的金属薄片或产生珠光效果的干涉薄片，以及具有非平面表面微结构的材料。在这样的情况下，仅匹配颜色可能是不够的。而是需要匹配整个外观，包括角度相关颜色和质地(texture)。已知的技术通常无法提供令人满意的可视化或测量来准确匹配这样的材料的外观。
US20150026298A1公开了使用移动装置为车辆修理选择匹配油漆候选颜色标准的最可能变体的方法。在这种方法中，车身修理厂处的用户将关于车辆的颜色的信息输入到移动装置中，并将该信息传输到远程中央计算机。中央计算机选择候选颜色标准并将关于该候选颜色标准的信息传输到移动装置。移动装置显示关于所选候选颜色标准的信息。用户将表示所选候选颜色标准的物理片与待修理车辆的颜色进行视觉比较。这种方法的缺点在于，在车身修理厂处需要大量的颜色标准的物理片。可选地，将所选候选颜色标准的图像显示在移动装置的颜色显示器上，并且用户将所显示的图像与要修理的车辆的颜色进行视觉比较。然而，这需要仔细校准显示器以便使能实现有意义的比较。
US20070097119A1公开了用于在显示装置上显示模拟油漆涂层的方法。在一定范围的非镜面(aspecular)角度上计算RGB颜色值。确定油漆涂层的统计质地函数。将统计质地函数应用于RGB值，并使用这些值显示颜色像素。统计质地函数不取决于照射和观察方向。
US20050128484A1公开了用于确定颜色匹配的修理漆配制方案(formula)的方法。要匹配的目标颜色的颜色特性以这样的方式被标识、输入和处理：使得能够视觉显示目标颜色。替代颜色选自数据库。替代颜色可以在显示器上以几个虚拟片显示，每个虚拟片表示不同的观察角度，或者显示为弯曲面板。可以将示出薄片外观特性的图像与该颜色叠加。可以结合目标颜色来观察虚拟片。可以对针对多个非镜面角度获得的颜色和图像进行内插，以示出薄片外观随非镜面角度改变中的改变。该文献没有提到颜色和薄片外观如何进行内插。
US20080291449A1和US20080235224A1两者都公开了用于显示图像以选择匹配配制方案来匹配诸如车辆的目标涂层的物品的外观的方法。在一个实施例中，使用色度计或分光光度计获得物品的颜色数据。使用成像装置获得物品的质地数据。基于颜色和质地数据创建目标图像，并且在显示装置上显示目标图像。从数据库中人工检索初步匹配配制方案。为初步匹配配制方案生成匹配图像。将匹配图像与目标图像并排显示在显示装置上。可以针对多个非镜面角度显示目标图像和匹配图像。所述文献没有提到如何针对多个非镜面角度生成和显示质地数据。
US20200089991A1公开了用于显示一个或多个图像以选择一个或多个匹配配制方案来匹配物品的目标涂层的外观的系统。第一数据库包含修理配制方案和相关联的外观特性。第二数据库包含至少一个物品的标识信息或三维几何数据。从第一数据库中检索初步匹配配制方案，从第二数据库中选择物品或其三维几何数据，并接收物品的表面的标记部分。生成包含标记部分和与标记部分相邻的未标记部分的个体匹配图像，并且在显示装置上显示个体匹配图像。在标记部分中，基于初步匹配配制方案的外观特性生成个体匹配图像。在未标记部分中，基于物品的外观特性生成个体匹配图像。从使用成像装置从物品采集的图像计算外观特性。外观特性可以包括质地、金属或珠光效果、光泽、图像的清晰度、薄片外观(诸如质地、闪光、反光和闪烁)、以及由薄片赋予(impart)的深度感知的增强。该文献没有指定对于不同的照射和观察方向以哪种方式显示物品的外观。
US8,872,811B1公开了数字地生成数据的方法，所述数据指示具有物理上合理的外观属性的模拟材料的合成外观。部分地基于与物理上有形的源材料相关联的数据并且部分地基于物理上有形的参考材料的测得属性的数据来确定指示模拟材料的合成外观的数据集。
US2007291993A1公开了用于测量表面的空间欠采样双向反射分布函数(BRDF)的设备。
发明内容
本发明的目的是提供将包括在目标对象中的目标材料和候选材料的外观可视化的方法，对于所述候选材料，配方已经以这样的方式由配制软件确定：使得用户可以以提高的置信度确定材料的外观是否匹配，而不需要生产物理试验对象。
该目的通过根据权利要求1的方法来实现。在从属权利要求中主张(1aid down)本发明的进一步实施例。
本发明提供了一种用于将至少两种材料的外观可视化的计算机实现的方法，该方法包括：
获得第一组外观属性，第一组中的外观属性与目标材料相关联，第一组包括目标材料的测得外观属性，所述测得外观属性已经通过对包括目标材料的目标对象执行测量来确定；
获得第二组外观属性，第二组中的外观属性与候选材料相关联；
获得至少一个虚拟对象的几何模型，所述几何模型定义所述至少一个虚拟对象的三维宏观表面几何结构；以及
使用显示装置、使用第一和第二组外观属性和所述几何模型来将包括所述至少一个虚拟对象的场景可视化，使用第一组外观属性来将所述至少一个虚拟对象的第一部分可视化，并且使用第二组外观属性来将所述至少一个虚拟对象的第二部分可视化，
其中第一和第二组外观属性中的每个都包括以图像数据的形式的质地属性，第一组中的图像数据是基于与一个或多个参考材料和/或与候选材料相关联的质地属性来计算的，或者第二组中的图像数据是基于与目标材料和/或与包括候选材料的试验对象相关联的质地属性来计算的。
具体地，目标材料的测得外观属性可能缺少质地属性，或者可能仅包含一组有限的质地属性。例如，如果用于测量目标对象的外观捕获装置缺乏成像能力或者仅具有非常有限的成像能力，则可能发生这种情况。在这种情况下，目标材料的测得外观属性可以由来自不同来源的质地属性来补充。特别地，第一组外观属性(即，与目标材料相关联的组)可以包括质地属性，特别是以图像数据的形式的质地属性，其是已经基于与一个或多个参考材料和/或与候选材料相关联的质地属性来确定的。特别地，第一组中的质地属性中的一些或所有可以是基于与候选材料相关联的计算的质地属性(特别是以图像数据的形式)或基于与包括候选材料的试验对象相关联的测得质地属性(特别是以图像数据的形式)来确定的。因此，该方法可以包括基于与一个或多个参考材料和/或与候选材料相关联的质地属性(特别是以图像数据的形式)来确定第一组外观属性中的质地属性(特别是以图像数据的形式)。这可以涉及修改与参考材料和/或与候选材料相关联的图像数据的像素值，以便将第一组的至少一个统计性质与目标材料的已知统计性质相匹配。以这种方式，目标材料可以被可视化为具有逼真的质地的印象，即使测得质地信息本身将不足以达到该目的。
在仍然其他实施例中，候选材料或参考材料的可用外观属性可能缺少质地属性，或者可能仅包含一组有限的质地属性。例如，如果包含参考材料的外观属性的数据库是使用缺乏成像能力或仅具有有限成像能力的较简单或较旧的外观捕获装置创建的，则可能发生这种情况。在这种情况下，第二组(即与候选材料相关联的组)中的外观属性可以由来自不同来源的质地属性(特别是以图像数据的形式)来补充。特别地，第二组外观属性可以包括与目标材料和/或与包括候选材料的试验对象相关联的已经基于测得质地属性(特别是以图像数据的形式)而确定的质地属性(特别是以图像数据的形式)。特别地，第二组中的质地属性中的一些或所有可以是基于与目标材料相关联的测得质地属性(特别是以图像数据的形式)或者是基于与包括候选材料的试验对象相关联的测得质地属性(特别是以图像数据的形式)确定的。因此，该方法可以包括基于与目标材料相关联的测得质地属性和/或基于与包括候选材料的试验对象相关联的质地属性来确定第二组外观属性中的质地属性。这可以涉及修改与目标材料和/或与试验对象相关联的图像数据的像素值，以便将第二组的至少一个统计性质与候选材料的已知统计性质相匹配。以这种方式，候选材料可以被可视化为具有逼真的质地的印象，即使可用的质地信息本身将不足以达到该目的。
在另一方面，本发明提供了一种用于将至少两种材料的外观可视化的计算机实现的方法，该方法包括：
获得第一组外观属性，第一组中的外观属性与目标材料相关联，第一组包括目标材料的测得外观属性，所述测得外观属性已经通过对包括目标材料的目标对象执行测量来确定；
获得第二组外观属性，第二组中的外观属性与候选材料相关联；
获得至少一个虚拟对象的几何模型，所述几何模型定义所述至少一个虚拟对象的三维宏观表面几何结构；以及
使用显示装置、使用第一和第二组外观属性和所述几何模型来将包括所述至少一个虚拟对象的场景可视化，使用第一组外观属性来将所述至少一个虚拟对象的第一部分可视化，并且使用第二组外观属性来将所述至少一个虚拟对象的第二部分可视化，
其中第一和第二组外观属性中的每个都包括以图像数据的形式的质地属性，
其中候选材料是根据配方包括至少两种成分的复合材料，所述配方定义了复合材料中每种成分的浓度，
其中第二组外观属性包括至少一个目标质地，所述目标质地指示复合材料的外观的空间变化，并且
其中该方法包括使用多个源质地生成目标质地，每个源质地与所述成分之一相关联。
生成目标质地可以包括：
(i)给源质地中的每个分配内插权重；以及
(ii)使用源质地和所分配的内插权重合成目标质地。
合成目标质地可以包括：
(a)以与源质地的内插权重成比例的概率随机选择源质地之一；
(b)从所选源质地随机提取质地片；
(c)通过修改所提取的质地片中的像素值来修改所提取的质地片，以获得经修改的质地片，以这样的方式执行像素值的修改：使得经修改的质地片的至少一个统计性质近似于相应的平均统计性质，通过对源质地执行加权平均来确定平均统计性质，所述源质地通过内插权重进行加权；
(d)将经修改的质地片插入到目标质地中，使得经修改的质地片无缝地拟合目标质地中的现有质地内容；以及
(e)重复步骤(a)-(d)直到完全填充目标质地。
该方法还可以包括调整目标质地中的像素值，以校正复合材料中的吸收和散射的效果。可以以这样的方式调整像素值：使得经调整的目标质地的至少一个统计性质与复合材料的基准性质相匹配。特别地，可以以这样的方式调整像素值：使得经调整的目标质地的平均颜色空间值与复合材料的基准颜色空间值相匹配，所述颜色空间值和所述基准颜色空间值优选地在感知颜色空间中表达。
如果目标质地指示复合材料的外观针对照射和观察方向的特定组合的空间变化，并且如果基准颜色空间值针对该特定组合不可用，则该方法可以包括将BRDF模型的参数拟合到在照射和观察方向的多个其他组合下的可用基准颜色，并且评估在所述特定组合下的BRDF模型以获得针对该特定组合的基准颜色空间值。
在替代实施例中，为了校正复合材料中的吸收和散射的效果，该方法可以包括：
获得至少近似地描述复合材料中每种成分的散射和吸收行为的个体光学参数；
基于成分的浓度和它们的个体光学参数来确定描述复合材料的散射和吸收行为的组合光学参数；
针对所述复合材料的表面下的至少一层执行复合材料内光通量的光学模拟，以确定所述层中效果颜料的入射光和反射光的衰减因子；以及
基于所述衰减因子来调整目标质地的像素值。
获得与候选材料相关联的第二组外观属性的步骤不限于单个候选材料。例如，还可以获得附加组的外观属性，每组与不同的候选材料相关联，并且将其与其他步骤结合使用，以用于多于一个候选材料的可视化。
在本发明中，以至少一个虚拟对象的形式来将目标材料和候选材料可视化。虚拟对象的几何结构由三维几何模型描述。该几何模型定义虚拟对象的三维宏观表面几何结构。优选地，宏观表面几何结构具有沿着至少两个相互正交的方向弯曲的至少一个部分。在一些实施例中，可以在几何模型中使用小多边形平面表面的组合(例如，多边形网格)来表示虚拟对象的曲面部分。优选地，弯曲的三维宏观表面几何结构包括凸起和凹陷部分两者。优选地，虚拟对象具有覆盖大立体角的表面法线，即，在三维空间中具有大范围的方向。优选地，由虚拟对象的表面法线的方向覆盖的立体角至少是半球的立体角的50％，即，其优选地至少是1πsr。以这种方式，可以在相对于虚拟对象的表面法线的大量的照射和观察方向上在两种材料之间同时比较比如颜色偏移、光泽、闪光、质地等效果。
可视化的场景可以包括多于一个虚拟对象。例如，场景可以包括在相同方向上并排可视化的两个相同形状(identically shaped)的虚拟对象，其中的一个使用第一组外观属性来可视化，并且另一个使用第二组外观属性来可视化。在其他实施例中，场景可以包括单个虚拟对象，该虚拟对象具有使用第一组来可视化的第一部分和使用第二组来可视化的第二部分。
如本公开中使用的术语“外观”包括颜色和质地两者，“质地”广泛理解为描述跨对象的表面的外观的空间变化。
在优选实施例中，使用包括多个图像数据集或从多个图像数据集导出的质地属性来将所述至少一个虚拟对象可视化(即，渲染和显示)，每个图像数据集与照射和观察方向的不同组合(例如，不同对)相关联。通过使用针对照射和观察方向的多个组合的图像数据，获得目标材料和候选材料的特别逼真的可视化，并且用户可以以高置信度确定这些材料的外观是否匹配。
质地可以很大程度上取决于照射和观察方向。例如，在通常包含高反射薄片的金属效果油漆中，当照射和/或观察方向连续变化时，其中观察到强反射的表面位置可能不连续地变化，因为跨表面在不同位置处的薄片将在不同的照射和观察方向的组合下反射。因此，观察到的质地在仅相差小角度值的照射和观察方向之间可能非常不同。因此，对于照射和观察方向的不同组合，使用以图像数据的形式的质地属性对于匹配包含反射薄片的材料特别有用。
与目标材料相关联的第一组外观属性包括目标材料的测得外观属性。目前提出的方法可以包括使用外观捕获装置实际执行对包括目标材料的目标对象的测量的步骤。
与候选材料相关联的第二组外观属性包括候选外观属性。在一些实施例中，候选材料是已知参考材料，并且因此候选外观属性是与已知参考材料相关联的外观属性。在其他实施例中，候选材料由多种成分材料组成，并且外观属性可以可用于包括候选材料的成分材料的多种参考材料。因此，通过使用计算，候选外观属性可以基于与多个参考材料相关联的预定外观属性。可以以这样的方式确定配方：使得候选材料具有至少近似地匹配目标材料的外观属性的预期外观属性。特别地，目前提出的方法可以包括确定配方的步骤。这可以涉及将候选材料的预期外观属性和目标材料的测得外观属性之间的差异度量最小化。合适的差异度量和优化算法在颜色配制的领域中是众所周知的。
在一些实施例中，该方法还包括例如通过生产试验对象来获得包括候选材料的物理的、有形的试验对象。该方法可以包括通过使用外观捕获装置对试验对象执行测量来确定试验对象的测得外观属性。该方法还可以包括使用试验对象的测得外观属性来将所述至少一个虚拟对象的至少一部分可视化。以这种方式，即使目标对象不存在于与试验对象相同的位置处，也可以将试验对象的外观与目标对象的外观进行比较。附加地或替代地，该方法可以包括使用试验对象的测得外观属性和候选材料的计算的外观属性来确定经修改的配方。一旦试验对象的测得外观属性是可用的，用于确定经修改的配方的合适算法就在颜色配制的领域中是众所周知的。这样的算法通常称为“校正算法”。然后，可以用经修改的配方重复该方法。
用于确定试验对象的测得外观属性的外观捕获装置可以是与用于确定目标对象的测得外观属性的装置相同的装置，或者其可以是不同的装置。该装置优选地被配置为在与用于目标对象的外观捕获装置相同的照射和观察条件对下确定相同类型的外观属性。然而，还可想到的是，用于试验对象的外观捕获装置被配置为确定与用于目标对象的外观捕获装置不同类型的外观属性、不同数量的外观属性和/或不同照射和观察方向对下的外观属性。
在每种情况下，外观捕获装置都可以是多角度分光光度计，其被配置为确定针对照射和观察方向的多个组合的颜色属性。除了颜色属性之外，外观捕获装置还可以具有确定质地属性的成像能力。
在一些实施例中，目标材料的测得外观属性包括多个测得图像数据集，每个测得图像数据集与照射和观察方向的不同组合(例如，不同对)相关联。为此，用于确定目标材料的外观属性的外观捕获装置可以包括一个或多个相机，其被配置为确定针对照射和观察方向的多个组合(例如，多个对)的图像数据。在一些实施例中，测得图像数据的照射和观察方向的所有组合包括相同的观察方向但是多个不同的照射方向(或者等效地，相同的照射方向和多个不同的观察方向)。例如，当使用具有单个相机和多个不同光源的外观捕获装置时，可能是这种情况。在其他实施例中，照射和观察方向的组合包括两个或更多个观察方向。
在又一方面中，本发明提供了一种用于将至少两种材料的外观可视化的计算机实现的方法，该方法包括：
获得第一组外观属性，第一组中的外观属性与目标材料相关联，第一组包括目标材料的测得外观属性，所述测得外观属性已经通过对包括目标材料的目标对象执行测量来确定；
获得第二组外观属性，第二组中的外观属性与候选材料相关联；
获得至少一个虚拟对象的几何模型，所述几何模型定义所述至少一个虚拟对象的三维宏观表面几何结构；以及
使用显示装置、使用第一和第二组外观属性和所述几何模型来将包括所述至少一个虚拟对象的场景可视化，使用第一组外观属性来将所述至少一个虚拟对象的第一部分可视化，并且使用第二组外观属性来将所述至少一个虚拟对象的第二部分可视化，
其中第一和第二组外观属性中的每个都包括以图像数据的形式的质地属性，
其中该方法包括：
生成外观模型的第一实例，外观模型的第一实例包括第一组外观属性；以及
生成外观模型的第二实例，外观模型的第二实例包括第二组外观属性，
其中所述外观模型包括离散质地表，所述离散质地表包括多个目标质地，每个目标质地由图像数据表示并且与不同的目标坐标组相关联，该目标坐标组指示照射和观察方向的特定组合，并且
其中使用所述外观模型的第一和第二实例来将所述至少一个虚拟对象可视化。
虽然外观模型的简单实施例仅描述了颜色与照射和观察条件的相关性，而没有考虑跨对象的表面的外观的空间变化，但是在本上下文中，外观模型优选地是除了反射和/或透射的角度相关性之外还包括质地的模型。特别地，外观模型可以是空间变化的双向反射分布函数(“SVBRDF”)模型、双向质地函数(“BTF”)模型、双向表面散射分布函数(“BSSRDF模型”)、汽车油漆的专用模型等。许多这样的模型在本领域中是已知的。
有利地，外观模型根据离散质地表来描述质地。该质地表包括多个质地，这些质地中的每个由图像数据表示并且与不同的坐标组相关联，该坐标组指示照射和观察方向的特定组合。
外观模型通常可能需要比目标材料、候选材料、参考材料或试验材料分别实际可用的一组有限的测得的或预定的外观属性多得多的外观属性。此外，外观模型可能需要与那些可用的外观属性不同类型的外观属性。特别地，外观模型所需的一组外观属性可以比一组有限的可用外观属性具有更大的基数(即，包含更大数量的外观属性)。换言之，与外观模型所需的一组更密集的外观属性相比，该组可用的外观属性可能是稀疏的。可能涉及变换、拟合运算和/或内插和外推的数学运算对于从一组有限的可用外观属性生成外观模型的实例可能是必要的。例如，一组有限的可用外观属性可以包含仅针对有限数量的照射和观察方向对的颜色属性(例如以三色或光谱数据的形式)。该组有限的可用外观属性还可以包括仅针对一对或有限数量对的照射和观察方向的质地属性(例如以图像数据的形式)。相比之下，外观模型可以以不同的形式将反射和/或透射描述为角度和位置的函数。特别地，外观模型可能需要比可用的那些照射和观察方向多得多的照射和观察方向对的光谱数据和/或质地数据，并且所需的照射和观察方向可能与可用的那些照射和观察方向不同。下面将更详细地描述可以如何从一组稀疏的可用外观属性生成具有一组密集的外观属性的外观模型的实例的示例。
生成外观模型的第一和/或第二实例可以包括以下操作中的至少一个：
在照射和观察方向的不同组合下的可用外观属性之间进行内插；以及
从照射和观察方向的所选组合下的可用外观属性进行外推。
可用外观属性可以包括多个源质地，每个源质地与不同的源坐标组相关联，每个源坐标组指示照射和观察方向的组合，对于该组合，相应的源质地指示外观的空间变化。源质地可以与不同于离散质地表的目标坐标的源坐标组相关联。生成外观模型的第一和/或第二实例然后可以包括通过基于以下各项来执行统计质地合成操作来确定目标质地中的至少一个：
(i)与目标质地相关联的目标坐标组；
(ii)源质地，以及
(iii)源坐标组。
每个源坐标和目标坐标组指示照射和观察方向的特定组合。每个源坐标和目标坐标组可以特别是一组两个或更多个角度坐标。源坐标和目标坐标不需要在由材料的表面确定的参考系中直接指示照射和观察方向。代之以，它们可以是从这些方向通过适当的变换导出的。特别地，源坐标和/或目标坐标可以用Rusinkiewicz参数化来表达[Rus98]。特别地，在Rusinkiewicz参数化中，每个源坐标或目标坐标组可以包括极角或由极角组成。
每个源质地和每个目标质地可以由二维图像数据来表示，所述二维图像数据通常将是以像素的阵列的形式的，每个像素具有表示该像素的位置处的反射的像素值。源质地和目标质地的大小不需要相同。源质地中的每个可以表示针对照射和观察方向的特定组合的材料的反射性质的空间变化。因此，目标质地可以表示针对照射和观察方向的另一组合的材料的反射性质的空间变化。空间变化可以表示例如材料中效果颜料的效果，效果颜料产生闪光效果。
通过执行统计质地合成操作，创建目标质地，该目标质地具有与源质地相似的统计性质，但在逐个像素的基础上，与源质地中的任何源质地和不同目标坐标处的目标质地不相似。这模仿了金属效果油漆的性质。
统计质地合成操作可以包括：
(i)基于目标坐标和源坐标，给源质地中的每个分配内插权重；以及
(ii)使用源质地和所分配的内插权重来合成目标质地。
在一些实施例中，给源质地中的每个分配内插权重包括以下过程：
创建源坐标组的德劳内三角剖分(triangulation)；
在包含目标坐标的德劳内三角剖分中找到单纯形(simplex)，找到的单纯形具有多个角；以及
使用目标坐标相对于所找到的单纯形的重心坐标作为所找到的单纯形的所述角处的源质地的内插权重。
所找到的单纯形之外的源质地的内插权重优选地被设置为零，即所找到的单纯形之外的源质地不用于合成目标质地。
合成目标质地可以包括以下步骤：
(a)以与源质地的内插权重成比例的概率随机选择源质地之一；
(b)从所选源质地随机提取质地片，质地片是源质地的一部分；
(c)通过修改所提取的质地片中的像素值来修改所提取的质地片，以获得经修改的质地片，以这样的方式执行像素值的修改：使得经修改的质地片的至少一个统计性质近似于相应的平均统计性质，通过对源质地执行加权平均来确定平均统计性质，所述源质地通过内插权重进行加权；
(d)将经修改的质地片插入到目标质地中，使得经修改的质地片无缝地拟合已经存在于目标质地中的质地内容；以及
(e)重复步骤(a)-(d)直到完全填充目标质地。
每个质地片要理解为它已经从其提取的源质地的连续部分，即，已经从该源质地中剪切出的连续图像片。每个质地片可以具有任意形状。优选矩形形状、特别是方形形状。每个质地片优选地具有对应于被建模的油漆中最大效果颜料(例如，最大反射薄片)的大小的至少两倍的边长。另一方面，优选地，每个质地片具有不大于相应源质地的面积的10％的面积。
质地片是随机提取的，即每个提取的质地片在所选源质地中的位置是随机确定的，优选地在源质地的面积上具有恒定的权重。通过随机提取质地片，确保了在不同目标坐标处的得到的目标质地是不相似的。
在优选实施例中，对于其期望近似匹配的统计性质是像素值直方图。像素值直方图是数据集，该数据集针对图像中可能存在的多个亮度值的范围中的每个包括图像中该范围的相对频率的指示符。像素值直方图广泛用于数字图像处理中，以用于将比如数字图像的对比度和亮度的性质可视化。从图像数据生成它们和它们的解释在本领域中是众所周知的。
像素值的修改优选地包括对像素值应用逐点变换，即，对每个像素值单独应用的变换，逐点变换是单调非递减的。以这种方式，确保了在修改之前相同的像素值在修改之后仍然相同，并且像素的相对亮度顺序不会改变，即，在修改质地片之前比另一个像素值更亮的像素值在修改之后将不会比另一个像素值更暗。合适的变换函数在数字图像处理的领域中是众所周知的。特别地，用于确定将使得图像的直方图与另一图像的直方图相匹配的变换函数的直方图匹配算法在本领域中是众所周知的。
将经修改的质地片插入到目标质地中，使得它无缝地拟合已经存在于目标质地中的质地内容，这可以通过使用本领域中众所周知的比如Graphcut/MinCut[Kw03]的技术来实现。在这些技术中，计算加强现有质地内容与新放置的片之间的视觉平滑度的接缝。质地片和已经存在的质地内容沿着该接缝被缝合在一起。
除了离散质地表之外，外观模型可以包括单色亮度BRDF模型，用于描述在表面位置和波长上平均的整体反射性质的角度相关性。生成材料的外观模型的实例然后可以包括确定单色亮度BRDF模型的参数。
外观模型还可以包括具有以颜色值的形式的多个条目的离散颜色表，每个条目与特定的坐标组相关联，每个坐标组指示观察材料所处于的照射和观察方向。颜色值可以在任意颜色空间中表达，所述颜色空间例如比如RGB或CIEXYZ的三色颜色空间，或者比如CIELAB(L*a*b*)的任何其他颜色空间，或者以任意格式以表示材料对入射光的光谱响应的光谱数据的形式表达。生成外观模型的实例然后可以包括以下操作中的至少一个：
(i)通过在照射和观察方向的不同组合下的可用颜色属性之间进行内插来确定离散颜色表的条目；和/或
(ii)通过从照射和观察方向的不同组合下的可用颜色属性外推来确定离散颜色表的条目。
代替与颜色表结合的单色BRDF模型，在替代实施例中，外观模型可以包括用于描述亮度和颜色的角度相关性的任何其他种类的模型。例如，外观模型可以包括三色BRDF模型，该三色BRDF模型为三色颜色空间(比如CIEXYZ或RGB)中的三个不同颜色通道中的每个单独建模反射性质的角度相关性，或者其建模CIELAB颜色空间中的L*a*b*值的角度相关性。
外观模型还可以包括在不透明或半透明油漆层的顶部上的透明涂层的效果的模型。
在一些实施例中，用定义的照射条件来将场景可视化，如它是本领域中众所周知的那样，所述定义的照射条件可以例如通过环境图来描述。该方法可以包括改变照射条件，特别是一个或多个照射方向和/或光源的类型，即用于照射的光的光谱性质，并且用改变的照射条件来将虚拟对象可视化，以便于比较不同照射条件下第一和第二材料的外观。例如，以该方式，同色异谱可以在生产试验对象之前就已经被检测到。
在一些实施例中，所述至少一个虚拟对象在定义的方向上被可视化，并且该方法包括改变虚拟对象的方向，即旋转虚拟对象，并且在方向中的改变后呈现的方向上将虚拟对象可视化。由此，可以更好地辨别微妙地取决于照射和观察的方向的外观中的差异。可以以视频的形式执行可视化，其将连续旋转的虚拟对象可视化。该方法还可以包括改变虚拟对象的大小和/或形状。
在一些实施例中，该方法包括：
将所述至少一个虚拟对象与虚拟分隔元素一起可视化，
其中所述至少一个虚拟对象具有彼此相邻的第一和第二部分，第一和第二部分被所述虚拟分隔元素以这样的方式在视觉上分隔开：使得第一和第二部分看起来在所述虚拟分隔元素所在的位置相遇，
其中使用外观模型的第一实例来将所述至少一个虚拟对象的第一部分可视化，并且
其中使用外观模型的第二实例来将所述至少一个虚拟对象的第二部分可视化。
该方法可以包括相对于虚拟对象移动虚拟分隔元素。这可以交互地完成，即响应于用户输入，例如响应于用户移动比如鼠标或轨迹板的定点装置、响应于用户敲击键盘上的键、或者响应于用户跨触摸屏挥动手指或比如数字铅笔的定点装置。当移动虚拟分隔元素时，第一和第二部分被以这样的方式永久地重新定义：使得当移动虚拟分隔元素时，第一和第二部分仍然看起来在虚拟分隔元素所在的位置相遇。以这种方式，当虚拟对象的材料改变时，用户可以在视觉上评估虚拟对象的外观在虚拟对象的所选区域中如何改变。
在一些实施例中，第一和第二材料可以是基本上不透明的材料，例如如它们在汽车工业中被使用用于涂覆车辆部件的涂层，或者不透明塑料。在其他实施例中，第一和第二材料可以是半透明材料，例如半透明塑料。外观模型可以特别适于特定类别的材料。例如，对于车辆涂层，外观模型可以包括不透明或半透明油漆层的顶部上的透明涂层的效果的模型和/或油漆层中反射薄片的效果的模型。作为另一示例，对于半透明材料，外观模型可以使用体积吸收和散射系数以及相位函数参数来对材料的次表面(subsurface)光传输进行建模，以求解辐射传递方程(radiative transfer equation)。
显示装置可以是屏幕，例如LCD屏幕、投影仪或如它们是本领域中众所周知的任何其他类型的显示装置。如果显示装置包括屏幕，则屏幕可以是触敏的，如它是本领域中众所周知的那样。显示装置可以能够创建3D印象，如它是本领域中众所周知的那样。例如，显示装置可以是VR头戴送受话器或3D显示器。在这样的情况下，虚拟分隔元素可以是虚拟平面。然而，在优选实施例中，显示装置将虚拟对象的可视化显示为二维观察平面中的二维投影。在这种情况下，虚拟分隔元素可以是观察平面中的简单线、特别是直线。
本公开还提供了一种用于将至少两种材料的外观可视化的系统。该系统包括显示装置、至少一个处理器和至少一个存储器，所述存储器包括被配置为使用显示装置使处理器执行上述方法的程序指令。该系统还可以包括上述第一和/或第二外观捕获装置，并且可以相应地被配置用于从这些外观捕获装置接收外观属性。
本公开还提供了一种包括程序指令的计算机程序产品，所述程序指令在由处理器执行时使处理器执行上述方法。计算机程序产品可以包括其上存储了程序指令的非易失性计算机可读介质。非易失性介质可以包括硬盘、固态驱动器、存储卡或如它是本领域中众所周知的任何其他类型的计算机可读介质。
特别地，程序指令可以包括被配置为执行以下步骤的渲染软件：
接收第一和第二组外观属性；
接收表示所述至少一个虚拟对象的连续三维表面几何结构的三维几何结构数据；以及
基于第一和第二组外观属性和所述三维几何结构数据来渲染包括所述至少一个虚拟对象的场景。
渲染软件可以被配置为接收以外观模型的第一和第二实例的形式的第一和第二组外观属性。
程序指令还可以包括被配置为执行以下步骤的模型生成软件：
接收可用外观属性；以及
基于可用外观属性使用以下操作中的至少一个来确定外观模型的实例：
在照射和观察方向的不同组合下的可用外观属性之间进行内插；以及
从照射和观察方向的所选组合下的可用外观属性进行外推。
所述程序指令还可以包括被配置为执行以下步骤的配制软件：使用与多个参考材料相关联的预定外观属性并使用配方来计算与候选材料相关联的外观属性。配制软件还可以被配置为以这样的方式确定配方：使得候选材料具有至少近似地匹配目标材料的外观属性的预期外观属性。
附图说明
在下文中参考附图描述本发明的优选实施例，所述附图是用于说明本发明的当前优选实施例的目的，而不是用于限制本发明的当前优选实施例的目的。在附图中，
图1示出了将两种材料的外观可视化的方法的示意图示；
图2示出了图示图1的方法的流程图；
图3示出了示例性颜色配制系统的面向硬件图示的示意图；
图4示出了根据现有技术的示例性外观捕获装置的透视图；
图5示出了图4中的外观捕获装置的测量阵列的透视图；
图6示出了图示示例性离散颜色表的图；
图7示出了离散质地表的示例性质地；
图8示出了图示示例性离散质地表的图；
图9示出了用于基于多个源质地来生成目标质地的方法的示意图示；
图10示出了示意性像素值直方图；
图11示出了将质地片插入到目标质地中的示意图示；
图12示出了用于生成外观模型的实例的方法的流程图；
图13示出了用于基于与不同源坐标相关联的多个源质地来生成目标质地的方法的流程图；
图14示出了用于基于与不同成分相关联的多个源质地来生成目标质地的方法的流程图；以及
图15示出了图示信息含量沿三维中的变化的示意图。
具体实施方式
定义
在本公开中，以单数形式的引用也可以包括复数。具体地，除非上下文另外指示，否则词语“一”或“一个”可以指代一个、或者一个或多个。
术语“着色剂”要理解为当光从材料反射或透射通过材料时提供颜色的外观的材料的成分。着色剂包括颜料和染料。“颜料”是通常不溶于基料成分材料中的着色剂。颜料可以来自天然或合成来源。颜料可以包含有机和无机成分。术语“颜料”还包含在材料中产生特殊效果的所谓“效果颜料”。示例包括干涉颜料和反射颗粒或薄片。“染料”是通常可溶于基料成分材料中的着色剂。
术语“配方”要理解为涉及确定要如何制备材料的信息的集合。材料可以包括涂层材料(诸如汽车漆)、固体材料(诸如塑料材料)、半固体材料(诸如凝胶)以及其组合。配方特别地包括成分的浓度，所述材料由所述成分组成，所述成分诸如基料和着色剂。已经根据配方制备的材料也可以称为“配制物”。
术语“视觉外观”或简称“外观”要广义地理解为对象以其来反射和透射光的方式，包括但不限于在各种观察条件下观察对象的个体如何感知对象的颜色和表面质地。外观还包括对象如何反射和透射光的仪器测量结果。
视觉外观的一个方面是颜色。对象的“颜色”由入射白光的光谱的被反射或透射而未被吸收的部分决定。对象的颜色可以通过“颜色属性”来描述。一般而言，颜色属性指示在对象被入射光照射时对象的光谱响应。在本公开的上下文中，术语“颜色属性”要广义地理解为包含指示在对象被入射光照射时对象的光谱响应的任何形式的数据。颜色属性可以采取任意颜色空间中的颜色值的形式，例如在比如RGB或CIEXYZ的三色颜色空间中，或者在比如CIELAB(L*a*b*)的任何其他颜色空间中，或者以任意格式的表示材料对入射光的光谱响应的光谱数据的形式。在本公开的上下文中，颜色属性特别地可以包括材料在多个波长下的反射值和/或吸收和散射系数。“离散颜色表”要理解为涉及多组颜色属性的集合，每组颜色属性与照射和观察方向的不同组合相关联。
视觉外观的另一方面是质地。术语“质地”要广义地理解为指跨材料的表面的外观的空间变化，既指微观或中观尺度上的变化(即个体结构元素通常不能被肉眼辨别的尺度上的变化)，并且也指宏观尺度上的变化(即个体结构元素能被肉眼辨别的尺度上的变化)。如在本公开中理解的质地包括比如粗糙度、闪光和表面形貌的宏观变化的现象。质地可以通过“质地属性”来描述。在本公开的上下文中，术语“质地属性”要广义地理解为包含能够量化质地的至少一个方面的任何形式的数据。质地属性的示例包括全局质地属性，诸如全局粗糙度参数或全局闪光参数。在一些实施例中，质地属性可以包括法线图或高度图。在一些实施例中，质地属性可以包括图像数据。在一些实施例中，图像数据可以与照射和观察方向的特定组合相关联。在这样的实施例中，质地属性可以包括多个图像数据集，每个图像数据集与照射和观察方向的不同组合相关联。“离散质地表”要理解为涉及优选地以图像数据的形式的多组质地属性的集合，每组质地属性与照射和观察方向的不同组合相关联。在本公开的一些实施例中，离散质地表中的图像是从一组源质地生成的，并且这些图像因此称为“目标质地”。
术语“外观模型”要理解为涉及使用称为“外观属性”的多个材料相关的参数以数学术语描述外观的形式构造。外观属性可以包括颜色属性和质地属性。外观模型优选地是独立于装置和平台的，即，它独立于可能已经用其来确定外观属性的特定测量装置，并且它独立于用于可视化的特定渲染平台。外观模型以这样的形式和以这样的完整性的水平提供对外观的数学描述：使得使用与虚拟对象的几何模型相结合的外观模型来生成在任意照射和观察条件下的虚拟对象的可视化(即，渲染和显示)是可能的。对于其几何结构由几何模型定义的虚拟对象的表面的任何部分、以及对于任何给定的照射和观察角度，外观模型提供必要信息以计算适当外观属性。
“虚拟对象”是只虚拟地存在于计算机中的对象。虚拟对象可能对应于或者可能不对应于真实的有形对象。虚拟对象可以通过几何模型和通过相关联的外观信息来数学定义。
真实的或虚拟的对象的“几何模型”要理解为该对象的任何表面在三维中的几何结构的至少近似表示。例如，在一些实施例中，几何模型沿着至少两个相互正交的方向定义曲线。在其他实施例中，几何模型定义多个多边形或面。几何模型可以例如由CAD文件来表示。
表述“外观模型的实例”要理解为涉及特定外观模型的所有外观属性的一组值，补充以使得能够标识底层外观模型的信息。换言之，虽然外观模型本身是定义如何根据一组外观属性来描述外观的形式构造，但是外观模型的实例包括例如如通过测量确定的和/或如从材料的个体成分的外观属性导出的特定于给定材料的这些外观属性的实际值。特别地，可以以数据文件的形式提供外观模型的实例。优选地，数据文件是以独立于装置和平台的格式的，诸如由X-Rite提出的AxFTM格式。因此，AxF文件可以被认为是外观模型的“实例”的表示。然而，本公开不限于外观模型的实例的特定格式，并且外观模型的实例可以以另一文件格式(例如MDL格式)提供，或者它甚至可以以不同于文件的形式提供，例如作为数据流。
亮度属性可以在具有双向反射分布函数的外观模型中表示。“双向反射分布函数”(BRDF)在通常意义上要理解为定义光如何取决于照射和观察方向而在不透明表面处反射的函数，从而提供沿观察方向出射的反射辐射与从照射方向入射到表面上的辐照度的比率。如果该表面表现出该比率的空间变化，则BRDF被理解为提供该比率在表面区域上的平均值。“单色亮度BRDF”是这样的BRDF：它提供了所有可见光波长上的比率的(可能加权的)平均值，从而模拟表面的整体亮度变化。
“图像数据”是表示图像的数据。图像包括实际目标表面或对象的图像以及从与一组或多组外观属性结合的一个或多个几何模型导出的合成图像。图像可以采取图像元素(“像素”)的二维阵列的形式，每个像素具有一定的像素值。像素值可以表示特定波长下像素的位置处的反射、特定波长范围内的平均反射或所有可见波长内的平均反射。因此，在一些实施例中，图像数据可以以像素值的阵列的形式提供。在其他实施例中，图像数据可以以压缩形式或以变换形式提供。“图像数据集”是包括至少一个图像的图像数据或由至少一个图像的图像数据组成的数据集，即表示一个或多个图像的数据集。
如果两个大小相同的图像X、Y的像素值不相关，则在逐像素的基础上认为它们是“不相似的”。不相似性可以通过像素值的适当定义的相关性度量来量化。出于本公开的目的，如果图像中像素值的皮尔逊积矩相关系数rXY的绝对值不大于0.1，优选不大于0.02，则可以认为图像是“不相似的”。皮尔逊积矩相关系数rXY被定义为像素值的协方差除以两个图像的像素值的标准偏差(即方差的平方根)的乘积的商：
Figure BDA0004111905790000221
这里，xi表示图像X中的像素值，
Figure BDA0004111905790000222
表示图像X中的像素值的算术平均值，yi表示图像Y中的像素值，
Figure BDA0004111905790000223
表示图像Y中的像素值的算术平均值，N指示每个图像中的像素的数量(对于两个图像是相同的，因为图像具有相同的大小)，并且求和是针对所有像素的。图像X中像素值的算术平均值
Figure BDA0004111905790000224
以通常的方式被定义为
Figure BDA0004111905790000225
“Rusinkiewicz参数化”是根据“中途矢量(halfway vector)”和“差矢量(difference vector)”对照射和观察方向的描述，“中途矢量”被定义为作为入射和反射光线之间的中途的矢量，“差矢量”是其中中途矢量位于北极处的参考系中的照射方向。中途矢量在其中表面法线位于北极处的样本固定参考系中的球面坐标可以表示为(θh，φh)，其中θh称为极坐标“中途角”。差矢量在其中中途矢量位于北极处的参考系中的球坐标可以表示为(θI，φI)，其中θI称为极坐标“差角”。定义照射和观察方向的其余角度是方位角φh和φI。关于细节，请参考[Rus98]，其内容通过引用整体地并入本文中。
在本公开的一些实施例中，使用重心坐标来确定与外观模型相关联的质地属性。“重心坐标”是这样的坐标系中的坐标：其中单纯形(即，在二维的情况下的三角形)的点的位置由分配给其顶点的权重来指定。在二维中，单纯形是三角形。点r相对于顶点r1、r2和r3的二维中的重心坐标由三个数字λ1、λ2、λ3给出，使得
(λ1+λ2+λ3)r＝λ1r1+λ2r2+λ3r3，
其中，数字λ1、λ2、λ3中的至少一个是非零的。可能需要重心坐标是非负的(即，可能需要该点位于顶点的凸包内)。可能需要重心坐标满足条件λ1+λ2+λ3＝1。然后将它们称为“绝对重心坐标”。
“外观捕获装置”是能够确定对象的一个或多个外观属性的装置。取决于要确定的外观属性，外观捕获装置可以采取例如相机、色度计、分光光度计或成像分光光度计的形式。
“分光光度计”是用于确定表面或材料在用可见光的照射下的反射和/或透射性质(作为波长的函数，即对象的光谱响应)的装置。已知不同类型的分光光度计，其具有不同的几何结构，并针对不同的目的进行了优化。一种重要的类型是“积分球分光光度计”。积分球分光光度计包括“积分球”，即由漫反射白色内表面界定的中空球形腔，其具有至少一个用于照射的入口端口和至少一个用于观察的出口端口。积分球产生均匀的散射或扩散效果。通过多次散射反射，入射到内表面上任何点上的光线都均匀地分布到所有其他点。光的原始方向的影响被最小化。积分球分光光度计的示例是X-Rite的型号Ci7860和Ci7500。其他类型的分光光度计仅确定单个窄范围的照射的方向(例如与表面法线成45°)和单个窄范围的观察的方向(例如与表面法线成0°)的光谱信息。示例包括可从X-Rite获得的型号962和964。称为“测角分光光度计”或“多角度分光光度计”的又一些其他分光光度计能够确定不同照射和观察方向的多个组合的光谱信息。“成像分光光度计”附加地具有成像能力，即它可以包括一个或多个相机来拍摄对象的一个或多个数字图像。具有成像能力的多角度分光光度计的示例包括可从X-Rite获得的台式型号TAC7或手持式型号MA-T6或MA-T12。
材料可以是透明的、半透明的或不透明的。如果材料允许光穿过该材料而没有明显的光的吸收和散射，则该材料是“透明的”。如果材料允许光通过，但是光可能在两个界面中的任何一个或内部散射，则该材料是“半透明的”。如果材料不透光，则该材料是“不透明”的。材料可能仅在一些光谱区域中是不透明的，而其在其他光谱区域中是半透明或透明的，并且反之亦然。例如，材料可以强烈吸收红光，即对红光基本上是不透明的，而只微弱吸收蓝光，即对蓝光是透明的。一些更复杂的材料，尤其是角度外观变化材料，可以包括透明、半透明和不透明材料的组合。例如，油漆涂层可以包括不透明的基层和透明的透明涂层。不透明(反射或干涉薄片)或半透明颜料可以被包含在油漆涂层的不透明、透明或半透明层中。
出于本公开的目的，如果材料的相当薄的切片在可见光谱的至少一部分中透射入射辐射通量的可观部分，例如，如果具有0.1mm的厚度的切片在可见光谱的至少一部分中透射入射辐射通量的至少1％，则该材料将被广泛地认为是“半透明的”。在这个意义上，术语“半透明的”包含术语“透明的”，即，出于本公开的目的，透明材料也被认为是半透明的。在这个意义上，半透明材料的示例包括许多基于聚合物的普通塑料材料，包括但不限于有机聚合物(比如PET、PP、PE、PMMA、PS、PC、PVC、PTFE、尼龙)、有机共聚物(比如苯乙烯-丁二烯共聚物)、无机聚合物(比如聚硅氧烷)和许多天然聚合物。半透明塑料材料可以包含颜料和添加剂。然而，在本公开的意义上，其他类别的材料也可以是半透明的，包括例如硅酸盐玻璃或纸。
出于本公开的目的，如果材料的次表面光传输性质在宏观或中观尺度上不变，例如在大于1μm的尺度上不变，则该材料要理解为“均质的”。特别地，均质材料不包括中观或宏观角度外观变化对象，比如薄片。
术语“宏观表面几何结构”要理解为涉及产品的整体几何结构，不包括微观或中观表面结构，即不包括低于例如1mm的微观或中观尺度上的表面几何结构的变化。例如，表面高度与局部平均值的小于例如1mm的局部变化可以被认为是微观或中观表面结构，并且因此宏观表面几何结构可以等同于在至少1mm的长度尺度上平均之后的表面几何结构。如果用数学术语来说，表面几何结构至少近似地并且至少局部地对应于三维欧几里得空间中的二维可微流形，则该表面几何结构是“连续弯曲的”。
术语“渲染”指代通过计算机程序生成场景的照片真实感图像的自动过程。在本公开中，场景包括至少一个虚拟对象。用于渲染操作的输入信息包括至少一个虚拟对象的3D几何模型、与虚拟对象相关联的至少一组外观属性、关于场景中至少一个虚拟对象的位置和方向的信息、照明条件(其可以采取环境图的形式)、以及表征观察者的参数，诸如视点、焦距、视野、景深、纵横比和/或光谱灵敏度。渲染操作的输出是场景的图像，其包括虚拟对象的至少一部分的图像。许多不同的渲染算法在不同的复杂的程度上是已知的，并且用于渲染的软件可以采用多种不同的技术来获得最终图像。跟踪场景中的每个光的颗粒通常是不切实际的，因为它需要过多的计算时间。因此，通常使用用于对光传输进行建模的简化技术，诸如光线跟踪和路径跟踪......。
术语“可视化”包含渲染包括虚拟对象的场景并显示渲染的场景。为了显示，使用显示装置。术语“显示装置”或简称为“显示器”要理解为涉及用于以视觉形式呈现信息的计算机的输出装置。显示装置可以采取计算机监视器、TV屏幕、投影仪、VR头戴送受话器、诸如智能电话或平板计算机等的手持式装置的屏幕的形式。显示装置可以是触摸屏。在一些实施例中，显示装置可以是如EP3163358A1中公开的“虚拟灯箱(virtual light booth)”，以便提供渲染场景的特别逼真的印象。
术语“数据库”指代可以由计算机系统电子地访问的有组织的数据的集合。在简单的实施例中，数据库可以是以任意格式的可搜索电子文件。示例包括Microsoft ExcelTM电子表格或可搜索的PDF文档。在更复杂的实施例中，数据库可以是由关系数据库管理系统使用比如SQL的语言维护的关系数据库。
术语“计算机”或“计算装置”指代可以经由程序被指示自动执行算术或逻辑运算的序列的任何装置。在没有限制的情况下，计算机可以采取台式计算机、笔记本计算机、平板计算机、智能电话、可编程数字信号处理器等的形式。计算机通常包括至少一个处理器和至少一个存储器装置。计算机可以是另一装置(诸如外观捕获装置)的子单元。计算机可以被配置为建立到另一计算机、包括用于查询数据库的计算机的有线或无线连接。计算机可以被配置为经由有线或无线连接耦合到数据输入装置(比如键盘或计算机鼠标)，或者耦合到数据输出装置(比如显示器或打印机)。
“计算机系统”要广义地理解为包含一个或多个计算机。如果计算机系统包括多于一个计算机，则这些计算机不一定需要在同一位置处。计算机系统内的计算机可以经由有线或无线连接彼此通信。
“处理器”是对外部数据源、特别是存储器装置执行操作的电子电路。
“存储器装置”或简称“存储器”是用于存储信息以供处理器使用的装置。存储器装置可以包括易失性存储器，如随机存取存储器(RAM)，以及非易失性存储器，如只读存储器(ROM)。在一些实施例中，存储器装置可以包括非易失性半导体存储器装置，诸如(E)EPROM或闪存装置，其可以采取例如存储卡或固态盘的形式。在一些实施例中，存储器装置可以包括具有机械组件的大容量存储装置，比如硬盘。存储器装置可以存储程序以供处理器执行。非易失性存储器装置也可以称为非易失性计算机可读介质。
“程序”是可以由处理器执行以执行特定任务的指令的集合。
“有线连接”是经由电导体的连接。有线连接可以包括一个或多个线缆。“无线连接”是包括没有通过电导体连接的两个或更多个点之间的信息的电磁传递的连接。无线连接包括经由WiFiTM、蓝牙TM、3G/4G/5G移动网络、光通信、红外等的连接。
使用颜色配制软件的方法的示例性实施例
图1图示了在车辆修理的情境中使两种或更多种材料的外观可视化的方法的示例性实施例。
假设受损车辆需要在车身修理厂中修理。车身修理厂处的技术人员使用手持式外观捕获装置52来确定完整车辆部件上的油漆涂层的一组外观属性54。油漆涂层是目标材料的示例，并且完整车辆部件是包括目标材料的目标对象的示例。油漆涂层的外观属性54一方面包括针对多对照射和观察方向的以光谱数据的形式的颜色属性，并且另一方面包括针对多对(可能不同的对)照射和观察方向的以图像数据的形式的质地属性。
外观捕获装置52将测得外观属性54传输到计算机系统。计算机系统可以包括在车身修理厂的场所处的本地客户端计算机。计算机系统可以进一步包括在与车身修理厂不同的一个或多个位置处的一个或多个远程计算机。本地客户端计算机可以是例如移动电子装置，诸如笔记本计算机或平板计算机。远程计算机可以充当车身修理厂处的本地客户端计算机的服务器。
计算机系统执行软件的几个元素。在第一方面中，计算机系统执行模型生成软件102。模型生成软件102基于测得外观属性54生成所选形式外观模型的第一实例56，第一实例56表示目标材料的外观。外观模型的第一实例以独立于装置和平台的形式存储在第一AxF文件中。
在第二方面中，计算机系统执行颜色配制软件104。颜色配制软件104从参考配方的数据库中确定一个或多个候选配方60。每个候选配方定义其外观属性可能与目标材料的测得外观属性54匹配的候选材料(在本示例中，候选油漆涂层)，候选材料包括基础配制中的一种或多种着色剂。为了确定候选配方，配制软件104从数据库106中检索与不同参考材料相关联的预定外观属性。特别地，预定外观属性可以与个体着色剂和/或与包含分散在基础配制中的一种或多种着色剂的参考配制相关联。特别地，数据库106可以包括两个子数据库：存储与个体着色剂和基础材料相关联的外观属性的着色剂数据库，以及存储与参考配方相关联的外观属性的配方数据库。数据库106中的外观属性可以通过对参考对象执行测量而已经预先确定，所述参考对象包括根据参考配方制成的参考材料或者包括参考配方的成分。
例如，为了确定与着色剂数据库中的个体着色剂相关联的外观属性，可以制备和测量涂有包含不同浓度下的单个着色剂的配制的缩减；为了确定配方数据库中的外观属性，可以测量涂有已经根据参考配方制备的配制的缩减。可以使用外观捕获装置来执行测量，该外观捕获装置可以是与外观捕获装置52相同类型的，或者其可以是不同类型的，如将在下面更详细地讨论的那样。
配制软件使用从数据库106中检索的预定外观属性来计算其相关联的外观属性预期“接近”目标材料的测得外观属性的候选配方。如果候选配方的外观属性和测得外观属性之间的外观差异根据某个预定义差异范数(difference norm)是小的，则候选配方的外观属性“接近”目标材料的测得外观属性。换言之，配制软件执行最小化算法，以确定接近差异范数的最小值的候选配方。配制软件104输出如此确定的候选配方60中的一个或多个。技术人员选择并可选地人工修改候选配方之一。配制软件104为所选(并且可选地修改的)候选配方60提供一组候选外观属性64。在一些使用情况下，候选配方对应于单个参考材料，即候选外观属性包括与单个参考材料相关联的外观属性。在其他使用情况下，候选外观属性根据与多个参考材料相关联的测得外观属性来计算。参考材料可以以使得能够确定与这些个体成分相关联的外观属性的方式包括候选配方的个体成分。当通过改变配方的个体成分的比例来修改候选配方时，这是特别有用的。模型生成软件102接收候选外观属性64，并生成外观模型的第二实例66，表示已经根据候选配方60制备的油漆涂层的预期外观。外观模型的第二实例66被存储在第二AxF文件中。
在第三方面中，计算机系统执行渲染软件108。渲染软件渲染虚拟对象72，即，它基于虚拟对象72的表面几何结构的几何模型、外观模型的至少一个实例、以及照射和观察条件来创建虚拟对象72的照片真实感数字图像。渲染的虚拟对象72被显示在显示器70上的场景中。几何模型定义了连续的三维宏观表面几何结构，该表面几何结构具有分布在相对大的立体角上的表面法线，即，它包括弯曲的或直线的表面部分，所述表面部分具有垂直于指向许多不同方向的表面部分的方向。在3D计算机图形学中，众所周知，使用多边形建模作为用于通过使用多边形网格表示或近似它们的表面来对对象进行建模的方法。如果多边形网格在渲染时基本上表现为连续弯曲的表面，则这些也被认为是连续弯曲的三维宏观表面。渲染软件在特定的方向上和在特定的照射条件下(假设特定的观察条件)生成虚拟对象72的二维图像。以这样的方式来选择表面几何结构、方向和照射条件：使得所渲染的图像分别对于表面法线、照射方向和观察方向之间的大范围的角度给出虚拟对象的外观的良好印象，以便允许观察者同时针对这些方向的大范围评估所渲染的虚拟对象72的外观。
虚拟对象72具有彼此相邻的第一和第二部分72a、72b。使用外观模型的第一实例56来渲染第一部分72a，而使用外观模型的第二实例66来渲染第二部分72b。在第一和第二部分72a、72b之间可视化虚拟分隔线74。第一和第二部分72a、72b看起来在虚拟分隔线74处相遇。
显示器70可以位于车身修理厂处。例如，显示器70可以是车身修理厂处的本地客户端计算机的触摸屏显示器。车身修理厂处的技术人员可以使用他的手指或使用比如数字笔、轨迹板或鼠标的定点装置跨显示器70移动虚拟线74，并观察如在虚拟对象72上渲染的外观模型的第一和第二实例之间外观如何匹配或不同，即，在如测得的汽车的实际油漆涂层的外观和已经根据候选配方制备的油漆涂层的预期外观之间，外观如何匹配或不同。可选地，技术人员可以改变虚拟对象的形状，在空间中旋转虚拟对象，同时改变照射和观察角度。可选地，技术人员可以改变照射条件，包括照射方向和光源的选择。
在一些实施例中，虚拟对象72可以具有受损汽车的实际部分的形状，例如，目标对象50的形状。为此，渲染软件108可以从合适的存储器中(例如从存储多个汽车部件的几何数据的数据库110中)检索对应于汽车部件的几何结构的三维几何模型。为此，技术人员可以提供例如受损汽车的制造商和型号或另一类型的车辆信息，诸如唯一的车辆标识号，以及要被渲染为虚拟对象72的一个或多个组件。
在其他实施例中，渲染的虚拟对象72是三维对象，其不同于要修理的汽车的实际汽车部件，但是具有对检查各种材料的外观特性有用的三维形状。同样在这样的实施例中，渲染软件108可以从存储器中、例如从数据库110中检索虚拟对象的三维几何模型。不管虚拟对象72是否表示实际的汽车部件，虚拟对象72优选地允许同时检查表面法线、照射方向和观察方向之间的大量的角度的颜色和质地差异。
当在显示器70上观察时，渲染的虚拟对象的第一部分72a的外观不需要完美匹配实际目标对象50的外观。特别地，显示器70不需要被校准。重要的是第一和第二部分72a、72b的外观在颜色和质地两者上可彼此直接比较。即使显示器上的颜色不是真颜色，这也是可能的。通过对两个部分使用相同的外观模型，确保了两个部分72a、72b的外观的直接可比性。
还应注意，外观模型本身和渲染软件都不需要为了确保直接可比性而是完美的。外观模型和渲染软件使得能够对表示目标对象50上的实际涂层材料和根据候选配方60的涂层材料的两个实例之间的差异进行相当的现实判断就足够了。
如果第一和第二部分72a、72b的视觉比较示出匹配还不令人满意，则技术人员可以通过选择不同的候选配方或通过修改先前选择的候选配方来在配制软件104中修改候选配方60。配制软件104向模型生成软件102提供修改的候选配方的外观属性，模型生成软件102基于这些属性创建外观模型的修改的第二实例。可以指示渲染软件108使用外观模型的修改的第二实例来渲染虚拟对象的第二部分，从而通过修改的配方替换可视化中的先前候选配方，或者可以指示渲染软件将虚拟对象分割成三个部分72a、72b、72c，以便将参考材料与两个候选配方一起可视化，从而在可视化中添加另一可移动的分隔线76(“递归分割器控制”)。
当已经获得满意的匹配时，可以用所选候选配方60生产实际的试验对象80，例如缩减。可以使用外观捕获装置82来确定试验对象80的外观属性。可以将试验对象80的外观属性与目标对象50的那些外观属性进行比较，以便确定匹配是否客观地在容差范围内。这可以通过评估试验对象80的测得外观属性和目标对象50的那些测得外观属性之间的适当差异范数来完成。附加地或替代地，可以使用试验对象80的外观属性生成外观模型的第三实例，并且可以使用外观模型的相关联的实例在显示器70上并排地将目标材料和试验材料可视化。当然，如果物理试验对象80和物理目标对象50两者位于相同的位置处，则直接比较这两个对象也是可能的。如果匹配还不在容差范围内，则配制软件104可以通过考虑候选配方60的预测外观属性与针对试验对象80已经实际确定的那些外观属性之间的差异来进一步修改候选配方60。
试验对象80可以由车身修理厂中的技术人员生产。然而，最经常的是，试验对象80将由远离车身修理厂的位置处的油漆供应商生产。因此，用于确定试验对象80的外观属性的外观捕获装置82可能不同于用于确定目标对象50的外观属性的外观捕获装置52。
在上述实施例中，假设车身修理厂处的技术人员不仅操作外观捕获装置52来确定目标对象50的一组外观属性54，而且该同一人还操作配制软件104来定义一个或多个候选配方，并使用显示器70来比较虚拟对象72的第一和第二部分72a、72b。然而，这些任务也可以在不同地点处工作的不同的人中分配。例如，车身修理厂处的技术人员可以将外观属性54传输给远程油漆供应商，并且油漆供应商处的油漆专家可以使用配制软件104来定义候选配方，并且可以比较虚拟对象的不同部分以确定预期的匹配是否是令人满意的。因此，计算机系统可以包括在油漆供应商的控制下的至少一台计算机，例如执行配制软件104、模型生成软件102和渲染软件108的计算机。对于在该过程中涉及的不同实体之中的任务的划分，存在许多其他可能性。因此，对于技术人员来说将显而易见的是，计算机系统可以包括几个计算机，所述计算机可以位于不同的位置处，并且所述计算机可以在不同实体的控制下，这些计算机经由无线或有线数据通信连接进行通信。
使用外观模型的实例来将对象可视化的其他可能方式
在替代实施例中，外观模型的实例可以用于将除了仅包括单个虚拟对象的场景之外的其他场景可视化，该单个虚拟对象具有使用外观模型的不同实例可视化的两个或更多部分。例如，可以将包括两个或更多个相同或不同虚拟对象的场景可视化，虚拟对象中的每个是使用外观模型的不同实例来可视化的。一般而言，场景包括一个或多个虚拟对象，并且使用外观模型的不同实例来将场景的不同部分可视化。例如，两个相同形状的对象(例如，两个相同形状的车辆部件，比如后视镜)可以使用与公共几何模型结合的外观模型的第一和第二实例并排可视化。
流程图
图2示出了图示将两种材料的外观可视化的方法的示例性流程图。在步骤501中，用户(例如，车身修理厂处的技术人员)通过用第一外观捕获装置52测量目标对象的光反射和/或透射性质以及可选的质地性质来确定目标对象50的外观属性54。在步骤502中，外观捕获装置52将这些测得外观属性传输到计算机系统的组件，例如传输到车身修理厂中的手持式计算机。在步骤503中，计算机系统使用模型生成软件102从测得外观属性生成外观模型的第一实例56。在步骤504中，计算机系统从数据库106中读取一个或多个参考材料的外观属性。在步骤505中，计算机系统使用配制软件104确定一个或多个候选配方60。配制软件104可以如下执行该步骤505：通过简单地选择具有与目标对象50的测得外观属性54相似的外观属性的一种或多种参考材料，通过修改检索到的参考材料的配方，或者如果在数据库106中没有找到接近的匹配则通过生成新的候选配方60。在步骤506中，计算机系统使用配制软件104确定与候选配方60相关联的外观属性64。在步骤507中，计算机系统使用模型生成软件102从与候选配方60相关联的外观属性64生成外观模型的第二实例66。在步骤508中，计算机系统使用渲染软件108基于外观模型的两个实例56、66、虚拟对象72的几何模型以及照射和观察条件来将虚拟对象72可视化。在步骤509中，用户比较渲染的虚拟对象部分72a、72b，以获得可接受的外观匹配。在步骤510中，如果可视化虚拟对象部分72a、72b没有提供可接受的可视化匹配，则用户可以修改配方或选择不同的候选配方60。一旦获得可接受的渲染匹配，在步骤511中，用户就使用候选配方制备试验对象80。在步骤512中，相同或不同的用户使用第二外观捕获装置82确定试验对象80的外观属性。在步骤513中，试验对象80的外观属性被传输到计算机系统，并且计算机系统使用配制软件104确定修改的配方，如果需要的话，以改进(refine)匹配。然后可以针对修改的配方重复步骤506到513。
计算机系统：示例性硬件
图3图示了可以在图1和2中所图示的方法中使用的计算机系统的示例性面向硬件的框图。在该示例中，计算机系统包括两个主要组件：本地客户端计算机(例如，膝上型或平板计算机)300，其可以位于车身修理厂处，以及远程服务器计算机360，其可以位于油漆供应商的场所处。
如它是本领域中众所周知的那样，本地客户端计算机300的各种组件经由一个或多个总线301彼此通信。本地客户端计算机300包括一个或多个处理器310。如它是本领域中众所周知的那样，处理器310可以包括例如单核或多核CPU和GPU。本地客户端计算机300还包括一个或多个非易失性存储器装置320，诸如闪存装置和/或硬盘驱动器。非易失性存储器320尤其存储本地客户端计算机300的操作系统321和几个应用程序，包括模型生成软件102和渲染软件108。非易失性存储器320还存储用户数据。本地客户端计算机300还包括随机存取存储器(RAM)330、和输入/输出(I/O)接口340和通信接口350。附接到通信接口的是显示装置70和定点装置90。通信接口350可以包括例如以太网接口、WiFi接口、蓝牙TM接口等中的一个或多个。通信接口可以用于与远程服务器360的通信。
远程服务器计算机360可以类似于客户端计算机300来设置。它存储配制软件104以供执行。客户端计算机360可以包括或被连接到数据库106。服务器计算机360和客户端计算机300之间的通信可以经由有线或无线网络进行，例如经由LAN或WAN，特别是经由互联网进行。
客户端计算机还经由通信接口350与第一和/或第二外观捕获装置52、82通信。
在其他实施例中，客户端计算机300的某些功能代之以被转移到服务器计算机360。特别地，服务器计算机(而不是客户端计算机)可以执行模型生成软件102和/或渲染软件108。如果客户端计算机是具有有限的计算能力的“瘦(thin)”客户端，则这可能是有用的。
在又一些其他实施例中，计算机系统仅由执行上述软件组件中的所有组件的单个计算机组成。
示例性外观捕获装置
在上面的示例中，外观捕获装置52和82优选地是具有成像能力的多角度分光光度计。这样的装置本身是已知的。例如，可以使用可从X-Rite获得的MA-TX系列。
图4和图5中图示了可以与本发明结合使用的示例性手持式外观捕获装置。在文献US20140152990A1中更详细地描述了图4和图5的外观捕获装置，文献US20140152990A1的内容通过引用被整体地并入本文中，用于教导手持式外观捕获装置。
外观捕获装置被配置用于捕获测量对象的视觉印象。在下文中，外观捕获装置也称为“测量装置”或简称为“装置”。在下文中，术语“测量阵列”被理解为是指手持式测量装置的组件的总和，所述组件用于照射测量对象的表面上的测量点，并捕获由该测量点反射的光，并将其转换成相应的电信号。术语“装置法线”被理解为是指假想的直线，该直线相对于装置是固定的，并且基本上延伸穿过测量装置的测量开口的中心点，并且当测量装置被定位在测量对象的平面表面上时，该直线垂直于测量对象的表面。测量开口的平面通常平行于测量对象的表面，使得装置法线也垂直于测量开口。术语“竖直”被理解为是指装置法线的方向。因此，竖直截面要理解为是指包含装置法线或平行于装置法线的平面中的平面截面。在测量装置的以下描述中，方向和/或角度是相对于装置法线的，装置法线相对于测量装置在空间上是固定的。
图4中所示的手持式测量装置作为整体由参考标记HMD指示。它包括容纳测量阵列的壳体H，如图4中所示，以及控制测量阵列的电子控制阵列(未示出)。两个握持部件1和2在壳体H上横向地实现。腕带3被布置在壳体H的上侧上。显示阵列4在壳体H的前侧上提供。操作构件(未示出)被布置在壳体H的上侧上。
壳体H的下侧包括由基板7加固的壳体基座5，基板7配备有测量开口6。壳体基座5在测量开口6的区域中包括孔(未用参考标记指示)，使得光可以通过孔和测量开口6离开壳体的内部，并且相反，来自外部的光可以通过测量开口6和孔进入壳体的内部。三个支撑构件7a、7b和7c围绕基板7上的测量开口6布置，并且有助于使得测量装置即使在弯曲的测量表面上也能够正确定位，使得装置法线完全或至少大部分与测量点的中心点中的测量表面的法线重合。
装置法线在图4中由参考标记DN指示。它垂直于基板7并延伸穿过测量开口6的中心点。
测量阵列的设置在图5中图示。它包括弧形体10，弧形体10固定地保持在壳体H中，并且测量阵列的光学和/或光电组件被布置在弧形体10中。在所示的示例性实施例中，这些组件包括七个照射装置21、22、23、24、25、26和27以及三个拾取(pick-up)装置31、32和33。此外，紧邻测量开口6还提供漫射照射的照射装置28。
七个照射装置21至27沿着相对于装置法线DN的不同照射方向照射测量对象的表面上的测量点。例如，照射装置21至27的光轴可以相对于装置法线以-60°、-45°、-30°、-20°、0°、+30°和+65°的角度定向。所有七个照射装置21至27被布置成使得它们的光轴位于包含装置法线DN的公共平面中，该平面在下文中称为系统平面SP。
三个拾取装置31至33中的两个被实现为光谱测量通道；第三拾取装置被实现为空间分辨颜色测量通道。拾取装置在系统平面SP中以+15°和+45°的观察角度接收在测量对象的照射测量点的区域中反射的测量光。形成光谱测量通道的两个拾取装置31、32包括两个分光计31a和32a，测量光通过透镜和光纤31c和32c被馈送到所述两个分光计31a和32a。形成空间分辨测量通道的拾取装置33包括颜色使能(RGB)相机33a，测量光经由分束器和透镜(未示出)被施加到该相机33a。分束器位于拾取装置32的拾取光路(beam path)中，并且以+15°的观察角度将测量光的一部分从弧形体10中横向引导到相机33a上。因此，拾取装置32和33共享测量光，并以完全相同的观察角度接收测量光。
测量几何结构与ASTM标准E2194和E2539相反，其中定义了以15°和45°的两个镜面照射和以0°、30°、65°、-20°、-30°和-60°的六个镜面光谱通道，用于针对金属和珠光效果颜料的测量。提供一个在-45°的角度处的附加照射装置22，用于结合拾取装置31测量光泽。
两个分光计31a和32a分别对以45°和15°的观察角度馈送给它们的测量光进行光谱解析，并且每次测量分别产生一组光谱测量值，每个测量值对应于不同波长范围内的强度。分光计31a、32a不对测量光进行空间解析，即，它们对它们接收的整个测量光进行光谱解析。
RGB相机33a在空间和光谱两者上解析以15°的观察角度馈送给它的测量光。根据三种颜色RGB，光谱分辨率限于三个通道。RGB相机每次测量相应地产生3*n个测量值的原始数据集，其中n是分辨像素的数量。
提供漫射照射的照射装置28，使得该测量装置也支持具有漫射照射条件的测量模式。照射装置28被配置为LED背景照射，其从大的空间角度直接照射测量对象。它包括布置在测量开口6的两侧上的两行白色发光二极管和两个倾斜的漫射膜，每个分配给一行，用于均匀化照射。两行LED可以由控制阵列分离地控制。
当然，取决于设想的应用，也可以采用其他类型的照射装置。
上述手持式测量装置配备有七个照射装置和三个拾取装置以用于测量的目的。使用照射装置和拾取装置的其他组合是可能的。照射装置不一定需要被布置在平面内。
测量装置的输出包括一组外观属性。这些外观属性中的一些是例如以由分光计确定的光谱测量值的形式或者以从其导出的颜色值的形式的颜色属性，例如RGB、CIELAB或CIEXYZ值。其他外观属性是例如以由RGB相机获得的原始图像数据的形式或者以从其导出的图像数据的形式、例如以单色灰度图像数据的形式的质地属性。与生成外观模型的实例所需的外观属性相比，从测量装置获得的该组外观属性通常是稀疏的，如将在下一节中更详细地讨论的那样。
外观模型的示例
如上面已经概述的，在本领域中已经提出了许多不同的外观模型。在下文中，将描述示例，该示例对于描述现代车辆涂层的外观特别有用。该示例性外观模型是[RMS+08]中提出的模型的改进。[RMS+08]的内容通过引用被整体地并入到本文中，用于教导示例性外观模型。目前讨论的外观模型也称为“CPA2模型”。
外观模型假设涂层包括两个最外层：不透明或半透明的颜色层，其被平滑透明的透明涂层覆盖。颜色层可以包含高反射效果颗粒(所谓的“薄片”)。具有方向i的入射光在其沿着“折射”入射方向
Figure BDA0004111905790000361
到达颜色层之前被折射到透明涂层中。反射光在沿一个方向o折射到周围空气中之前，沿出射方向
Figure BDA0004111905790000365
传播通过透明涂层。折射通过标准几何光学建模，假设透明涂层的典型折射率。
颜色层的外观模型被分隔成三个部分：
(a)单色亮度BRDF部分，其对材料的空间和波长平均的整体反射行为(亮度变化)进行建模。亮度BRFD部分可以在角度域中示出高频。
(b)以离散颜色表的形式的光谱部分，其描述颜色的低频角度变化(颜色偏移)。
(c)以质地表的形式的BTF部分，其捕获颜色层中反射薄片的效果。BTF部分由多个固定大小的图像表示，每个图像表示在照射和观察角度的特定组合下的质地。
这三个部分被组合成一个表示油漆表面的外观的空间变化的BRDF函数：
Figure BDA0004111905790000362
这里，
i表示空气中的入射光的方向，
o为空气中的反射光的方向，
x为对象表面上的位置，
n为位置x处的表面法线，
Figure BDA0004111905790000363
为透明涂层中的入射光的(折射)方向，
Figure BDA0004111905790000364
为透明涂层中的反射光的(折射)方向，
F(n，d，η)为在相对折射率η的介质边界处近似菲涅耳反射的函数(或菲涅耳公式本身)，
Figure BDA0004111905790000372
为来自(a)的单色BRDF模型，
Figure BDA0004111905790000373
为来自(b)的内插的颜色表，
Figure BDA0004111905790000374
为来自(c)的内插的质地表，
δ(d1，d2)为O(3)上的狄拉克δ函数，仅当d1＝d2时为非零，并且
r(n，d)为法线n的表面处的反射的方向d。
(a)亮度BRDF部分的示例
使用基于多瓣微面元的BRDF模型来对单色亮度BRDF部分进行建模：
Figure BDA0004111905790000371
这里，
Figure BDA0004111905790000375
为
Figure BDA0004111905790000376
和
Figure BDA0004111905790000377
之间的中途的方向(也称为“中途矢量”)，
a为漫射反照率，
K为BRDF瓣的数量，
sk为第k瓣的乘数，
D为根据所选模型的微面元正态分布函数，
αk为第k瓣的粗糙度参数，
F0，k为第k瓣的菲涅耳函数参数，其可能是折射率或垂直入射时的反射的指数，并且
G为根据所选模型的所谓几何结构项。
在一些实施例中，使用具有施利克-菲涅耳近似的库克-托兰斯BRDF模型。这里，D、F和G被定义如下：
Figure BDA0004111905790000381
F(n，d，F0，k)＝F0,k+(1-F0，k)(1-<n，d>)5
Figure BDA0004111905790000382
这里，
θh表示固定对象参考系中的中途矢量
Figure BDA0004111905790000383
的极角，其中表面法线n定义z轴(“北极”)，
Figure BDA0004111905790000384
分别表示在所述参考系中的矢量
Figure BDA0004111905790000385
和
Figure BDA0004111905790000386
的z分量。
该模型的自由参数是a、sk、αk和F0，k(对于k＝[1..K])。通常，K被选择为在1和3之间。
(b)光谱部分的示例
通过离散颜色表来对光谱部分进行建模，离散颜色表包括针对多个方向的组合的一个或多个颜色属性(例如，色调和饱和度)的值。颜色属性的值在下文中将被简称为“颜色值”。有利地，采用Rusinkiewicz参数化[Rus98]来指示方向。在简单的实施例中，颜色表是双变量的，即颜色属性的值仅取决于Rusinkiewicz参数化中的极角(半角和差角)，如将在下文中解释的那样。这些极角在下文中也将被称为颜色表的“坐标”。
图6中示出了双变量离散颜色表的示例性表示。在水平轴上，半角θh，即中途矢量
Figure BDA0004111905790000387
的极角，被用作第一坐标。半角也称为“薄片角”，因为它定义了油漆层的表面法线n和油漆层中薄片的法线之间的角度，该角度将导致入射光从入射方向
Figure BDA0004111905790000388
反射到出射方向
Figure BDA00041119057900003813
中。在竖直轴上，中途矢量
Figure BDA0004111905790000389
和入射方向
Figure BDA00041119057900003814
之间的极差角θI被用作第二坐标。极差角θI对应于变换的参考系中的入射方向
Figure BDA00041119057900003811
的极角，在变换的参考系中，中途矢量
Figure BDA00041119057900003812
定义z轴。它可以被解释为指示相对于薄片法线的入射方向。颜色表包含每对坐标(即极角θh和θI的每个组合)的一个或多个颜色值。颜色表针对其包含一个或多个颜色值的每对坐标由图6中的圆圈表示。这样的一对坐标(极角θh和θI的组合)在下文中将被称为颜色表中的“位置”。颜色表中的位置被规则地间隔开。因此，颜色表由位置与其相关联的颜色值的规则矩形网格来表示。颜色表中的两个示例性条目的位置被标记为“a”和“b”。
外观模型假设油漆材料具有各向同性反射。对于各向同性材料，颜色不取决于固定对象参考系中的中途矢量
Figure BDA0004111905790000391
的方位角φh。因此，颜色表不考虑方位角φh。
此外，该模型假设效果颗粒(“薄片”)本身也具有各向同性反射，并且颜色偏移由反射光的镜面反射分量控制(dominate)。因此，颜色仅微弱地取决于变换的参考系中的入射方向
Figure BDA0004111905790000392
的方位角φI。因此，颜色表也不考虑方位角φI。
在图6的颜色表中，在θh和θI的较大值处的空白区域指示“禁止”角度的组合，由于在透明涂层与周围空气的界面处的折射和全反射，这些“禁止”角度的组合在物理上是不可能的。颜色表不包含这些角度的组合的任何颜色值。
(c)BTF部分的示例
外观模型包括双向质地函数(BTF)模型。一般来说，BTF模型是取决于平面质地坐标(x，y)以及观察和照射球面角度的多维函数。通过离散质地表来对BTF部分进行建模。质地表中的每个条目是质地切片，即表示针对特定照射和观察方向的组合的薄片的效果的图像。在简单的实施例中，Rusinkiewicz参数化也用于质地表，并且质地表再次是双变量的，其再次由角度θh和θI来参数化。
图7中示出了质地切片的简化示例。该图中的亮点指示薄片的反射，该薄片的薄片法线以相关联的薄片角度φh定向，并且其在相关联的差角φI处可见。
图8图示了双变量质地表的离散性质。在外观模型中，为由圆圈标记的离散位置(由其坐标θh、θI定义)提供质地切片。由于如与颜色表中的颜色值相比，针对每个质地切片的更高的存储空间要求，因此质地表中的θh和θI的离散值之间的间距可能分别比颜色表中的更大。与颜色表中一样，对于质地表，没有任何针对“禁止”角度的条目。三个示例性质地切片的位置被标记为a′、b′和c′。
生成外观模型的实例
在目前提出的方法中，从使用手持式外观捕获装置的测量或从配制软件，仅针对有限数量的方向
Figure BDA0004111905790000401
的组合的一组有限的外观属性可用。这些外观属性通常对与由外观模型中的离散颜色和质地表所要求的那些相同的入射和出射光的方向的组合不可用。此外，可用的外观属性不一定与由外观模型所要求的那些属性具有相同的类型。例如，可用的外观属性通常不包括如上所述的单色亮度BRDF模型的参数。
因此，为了生成外观模型的实例，需要从一组有限的可用外观属性确定外观模型的外观属性。应当注意，外观模型的该组外观属性可能比该组有限的可用外观属性具有大得多的基数。因此，生成外观模型的实例可能涉及内插和外推。
如上面已经讨论的，亮度BRDF部分的自由参数为a、sk、αk和F0，k(对于k＝[1..K])。这些参数可以使用如本领域中已知的非线性优化来确定[RMS+08]。
接下来，需要填充双变量颜色表。颜色属性可能仅对几对角度θh和θI可用，在图6的图中用十字标记。颜色属性对其可用的每对角度(θh，θI)将在下文中称为“样本点”。样本点定义了凸包，其在图6中示出为虚线区域。对其而言在双变量颜色表中需要颜色值的每个位置(θh，θI)将称为“目标位置”。在本示例中，目标位置分布在规则的网格上，并且因此这些位置也可以称为“网格点”。目标位置处的颜色值将被称为“目标颜色值”。它们可能与可用颜色属性具有相同的格式，或者它们可能具有不同的格式。例如，可用的颜色属性可以包括光谱数据，而颜色表可以包括减少的值(例如，比如RGB的三色值，比如CIEXYZ的三色数据，或者比如CIELAB的另一个颜色空间中的值)。对于以下讨论，假设样本点处的可用颜色属性的格式和颜色表中的颜色值的格式之间的变换是已知的。
通过标准的内插和外推过程，可以容易地从样本点处的可用颜色属性来内插和外推目标位置处的颜色值。如果颜色表中的颜色值的格式不同于样本点处的可用颜色属性的格式，则可以在内插/外推之前或之后应用必要的变换，只要样本点处的可用颜色属性和颜色表中的颜色值两者都在线性颜色空间中表达。如果颜色表中的颜色值未在线性颜色空间中表达(例如，作为CIELAB值)，则首先在线性颜色空间中执行内插/外推，并且然后才应用变换。
例如，对于凸包内的内插，可以使用在可用样本点处的颜色属性之间或通过所述变换从这些颜色属性获得的颜色值之间的最近邻内插、反距离加权[Sh68]或高斯过程回归[W98]，如它是本领域中众所周知的那样。
在优选实施例中，对于在具有低于凸包的最小θh的θh或高于凸包的最大θh的θh的凸包外的目标位置处的外推，可以使用最近邻样本点处的颜色属性(或导出的颜色值)。最近邻样本点要理解为与目标位置具有最小欧几里德距离
Figure BDA0004111905790000411
的样本点。在图6中，这针对目标位置“a”来图示。目标位置“a”处的颜色值从样本点A处的可用颜色属性导出，样本点A是距离目标位置“a”的最近邻样本点。
对于凸包外的所有其他目标位置处的外推，特别是具有低或高θI的那些位置处的外推，优选实施例将不仅使用最近邻样本点，而且将在最接近目标位置的那两个样本点的颜色属性(或导出的颜色值)之间进行内插。在图6中，这由目标位置“b”处的条目图示。两个最接近的样本点是点B和C。因此，目标位置“b”处的颜色值将通过样本点B和C处的颜色属性(或导出的颜色值)之间的内插来确定。
当然，也可以使用其他“表现良好的”内插和外推方法，如它们在本领域中已知的那样。
最后，需要填充双变量质地表。以图像的形式的质地样本可能仅对几对角度θh和θI(在下文中再次称为“样本点”)可用。例如，如上所述，外观捕获装置52可以具有一个或多个相机。可用的质地样本可以是针对多个照射角度和单个观察角度的图像数据(例如，在单个RGB相机的情况下)或者针对多个照射角度和多个观察角度的图像数据集(例如，在多个RGB相机的情况下)。
在图8的示例中，只有六个质地样本可用。相应的样本点在图8中用十字来标记，并标为A′、B′、C′、D′、E′和F′。这些样本点的凸包再次被示为虚线区域。样本点处的质地样本称为“源质地”。需要为其确定质地切片以填充双变量质地表的角度对θh、θI再次称为具有“目标坐标”的“目标位置”。与颜色表的情况中一样，在本示例中，这些点被布置在规则的网格上，并且因此也可以称为“网格点”。因此，目标位置处的质地切片称为“目标质地”。它们可以从可用的源质地中确定如下：
-对于质地表中的每个目标位置(θh，θI)，确定该目标位置是否在凸包内。
-如果目标位置在凸包内，则使用“统计质地合成”从周围的源质地中内插该目标位置处的目标质地，如下面更详细解释的那样。例如，对于图8中的位置a′，将使用统计质地合成。
-如果目标位置不在凸包内，则使用最近邻样本点的源质地来定义目标质地(“第一策略”)，或使用没有任何空间变化的恒定质地，即不包含来自薄片的任何反射的“空”质地(“第二策略”)。在一个可能的实现中，对于小于可用样本点的最大θh的值θh可以采用第一策略，而对于大于可用样本点的最大θh的θh采用第二策略。例如，对于图8中的位置b′，第一策略将是合适的，而对于位置c′，可以使用第二策略。只要至少两个样本点足够接近目标位置，对凸包之外的目标位置使用统计质地合成也是可能的。例如，使用样本点B′和D′处的源质地，对于目标位置b′使用统计质地合成可能是合适的。
统计质地合成
现在将参考图9至图13来解释图8中针对目标位置a′的统计质地合成的示例性实施例。
最初，不同样本点处的三个源质地被选择用于目标位置a′。为此，为所有样本点A′到F′创建德劳内三角剖分。在二维中，如在本示例中，德劳内三角剖分的结果是一组三角形。在图8中，得到的三角形的边由各个样本点A′到F′之间的直线图示。现在，选择包含目标位置a′的三角形，并且确定在这个三角形的角处的样本点。在本示例中，这些是样本点B′、D′和E′。对于后续过程，使用这三个样本点处的源质地。
接下来，确定这三个源质地的内插权重。为此，确定目标位置a′相对于所选三角形的绝对重心坐标，即满足条件λ1+λ2+λ3＝1的非负重心坐标λ1、λ2、λ3。然后，这些重心坐标被用作所选三角形的角处的源质地的内插权重。在图8的示例中，相对于样本点B′的绝对重心坐标相当大，而相对于样本点D′和E′的绝对重心坐标小得多。因此，样本点B′处的源质地将接收相对较大的内插权重，而样本点D′和E′的内插权重将小得多。对于所有其他源质地，内插权重设置为零。
现在，从样本点B′、D′和E′处的三个源质地中为目标位置a′合成目标质地。这将关于图9进行解释。
为此，随机选择三个源质地之一，其中概率与源质地的内插权重成比例。在图9的示例中，已经随机选择了样本点B′处的源质地211。
从该源质地211中，现在在源质地内的随机位置处提取质地片，即源质地的一小部分，这由源质地中的小矩形指示。在图9的示例中，提取质地片212。现在修改所提取的质地片212，使得其统计性质之一至少近似地匹配相应的平均统计性质。在本示例中，修改所提取的质地片212，使得其像素值直方图近似地匹配平均像素值直方图202。现在将更详细地解释这一点。
图10中图示了示例性像素值直方图。像素值直方图包含多个相对频率值，一个这样的值对应于图像中的每个离散像素值。例如，如果像素值范围从0变化到255，则对于0和255之间的每个像素值，像素值直方图将包括该像素值在图像中的相对频率。在一些实施例中，像素值可以被分仓(bin)，每个仓对应于一定范围的像素值，并且像素值直方图可以相应地包括减少的数量的相对频率值，每个值表示仓中的一个中的像素值的相对频率。像素值直方图可以用于评估图像中的亮度的分布，包括整体亮度和对比度。例如，图10的像素值图将指示图像在相对暗的背景之前包含一些亮点或区域。
在图9中，所有像素值直方图以非常简化的方式示出为每个像素值直方图只有五个仓。从其提取质地片212的源质地211的像素值直方图被示出为直方图213。平均像素值直方图示出为直方图202。该平均直方图已经作为分别在样本点B′、D′和E′处的三个源质地211、221和231的像素直方图213、222和232的加权平均而获得，权重是如上面确定的内插权重。现在修改质地片212的像素值，以便获得更接近匹配平均像素值直方图202的像素值直方图。通过对质地片212中的每个像素值应用单调非递减的逐点变换来执行修改。用于寻找合适变换的直方图匹配算法在与亮度和对比度修改相关联的数字图像处理的领域中是众所周知的。经修改的质地片被图示为质地片214，并且得到的像素值直方图被图示为直方图215。得到的像素值直方图215现在紧密地匹配平均像素值直方图202。
现在将经修改的质地片214插入到目标质地201中，使得它无缝地拟合已经在目标质地201中的质地内容。为此，第一经修改的质地片214可以简单地被放置在目标质地201的角中。每个后续的质地片通过称为“MinCut”或“Graphcut”的技术插入到目标质地上。参考文献[Kw03]。非常简单地说，计算加强现有像素和新放置的片之间的视觉平滑度的接缝。质地片和存在的内容沿着这条接缝缝合在一起。
在图11中图示了一个这样的插入步骤。在该示例中，经修改的质地片214将被插入到已经包括质地片203的目标质地201中。选择新插入的片214的位置204，使得新插入的片214与现有片203重叠。在重叠的区域中计算接缝205，使得沿着接缝的现有像素和新插入的像素看起来在视觉上是平滑的，即，没有沿着接缝产生可见的边界，如在[Kw03]中详细解释的那样。现有片203和新插入的片214沿着该接缝缝合在一起，每个片的剩余部分被丢弃。这导致更大的片206。
现在根据需要经常重复该过程，以完全填充目标质地201。
用于填充离散质地表的流程图
图12示出了图示生成外观模型的实例的示例性过程的流程图。在步骤601中，模型生成软件接收一组可用外观属性，该组可用外观属性可能已经由测量目标对象50的外观捕获装置或者由确定候选配制方案60的成分(包括候选配制方案60中成分的比例量)的配制软件确定。在步骤602中，软件执行亮度BRDF模型与可用外观属性的拟合。在步骤603中，软件基于可用外观属性填充离散颜色表。在步骤604中，软件基于可用外观属性填充离散质地表。为此，它确定形成离散质地表的条目的目标质地。
用于统计质地合成的流程图
图13示出了图示确定与目标坐标组相关联的目标质地的示例性过程的流程图。在步骤701中，模型生成软件接收多个源质地及其相关联的坐标。在步骤702中，软件创建德劳内三角剖分。在步骤703中，软件标识包含目标坐标的德劳内三角剖分的单纯形。在步骤704中，软件确定目标坐标相对于所标识的单纯形的重心坐标，并将这些存储为内插权重。在步骤705中，软件以根据源质地的内插权重的概率在所选单纯形的角处随机选择源质地中的一个。在步骤706中，软件从所选源质地中随机提取质地片。在步骤707中，软件修改该片以使其像素值直方图与平均像素值直方图匹配。在步骤708中，软件将经修改的片插入到目标质地中，使得它无缝地拟合目标质地中的现有质地内容。重复步骤705到708，直到目标质地被完全填充。完成的目标质地然后可以用作离散质地表中的条目。
计算复合材料的质地表
当计算复合材料(其是几种成分的混合物(例如，候选材料的几种成分，其是根据由配制软件确定的配方的成分的混合物))的离散质地表的条目时，同样可以采用统计质地合成。在这种情况下，源片可以以根据它们在混合物中的浓度的概率从与不同成分相关联的源质地中随机采样。
这在图14中图示。在步骤801中，模型生成软件接收至少两个源质地和一个配方。每个源质地与复合材料的一种成分相关联。在步骤802中，软件以根据反映复合材料中该成分的浓度的内插权重的概率随机选择源质地之一。在步骤803中，软件从所选源质地中随机提取质地片。在步骤804中，软件修改该片以使其像素值直方图与平均像素值直方图匹配。在步骤805中，软件将经修改的片插入到目标质地中，使得它无缝地拟合目标质地中的现有质地内容。重复步骤802到805，直到目标质地被完全填充。完成的目标质地然后可以用作离散质地表中的条目。
考虑复合材料中的吸收和散射
在一些情况下，当计算是几种成分的混合物的材料的质地时，统计质地合成操作提供与如果执行实际材料的测量将获得的质地不匹配的目标质地。特别地，感知的平均颜色和/或亮度可能不完美匹配。
这至少部分是由于这样的事实：实际上，个体成分的源质地通常是基于在透明基础材料中包含效果颜料的样本的测量，而实际的混合物也可能包含非效果颜料(调色剂)。上面描述的统计质地合成过程没有考虑到以下情况：非效果颜料部分地吸收光，从而阻止入射光中的一些到达效果颜料并且阻止反射光中的一些到达观察者。
为了校正这种效果，可以考虑两种方法。
第一种方法是简单的启发式方法。在该方法中，执行对每个目标质地中的像素值的调整，以便将目标质地的至少一个统计性质与相应的基准性质相匹配。要与基准性质匹配的统计性质特别地可以是平均亮度和/或平均颜色。优选地，在目标质地的区域上平均的颜色值与基准颜色值相匹配。基准颜色值可以从不同的来源获知。例如，这些基准性质可以从目标或试验对象的简单颜色测量(没有图像采集)中获知，或者基准性质可以已经使用配制引擎来计算，该配制引擎不考虑质地，但是已知在预测颜色时非常准确。
优选地，在感知颜色空间中、特别是在感知均匀颜色空间(其寻求使颜色属性在感知上均匀，即颜色空间中两种颜色之间的相同空间距离等于相同量的感知色差量)中执行匹配。感知颜色空间的示例是众所周知的CIELAB颜色空间。与，使用感知颜色空间已经被证明提供了比如果使用诸如CIEXYZ之类的非感知颜色空间更好地匹配测量的结果。
在调整过程中，对于给定的几何结构k以及对于颜色空间中的每个坐标，以这样的方式调整相应的目标质地中的像素值：使得质地区域上沿着所述颜色坐标的平均值(例如L*、a*或b*)匹配相应的基准值。这可以通过将每个像素值乘以基准值和如在调整之前计算的平均值之间的比率来完成。可以对定义外观模型的实例所需的每个几何结构重复该过程。
如果基准颜色在要对其执行目标质地的调整的特定几何结构处不可用，则可以使用外观模型来计算缺失的基准颜色。具体地，可以使用基准颜色对其可用的那些几何结构来执行BRDF模型f(p；ωi，ωo)的参数p的拟合。然后，在任意几何结构
Figure BDA0004111905790000461
处评估该BRDF模型，以预测针对该几何结构的基准颜色
Figure BDA0004111905790000462
第二种方法是由物理学推动的，并且比简单的启发式第一种方法更复杂。第二种方法有以下先决条件：
·将要预测其质地的材料中的非效果颜料(调色剂)的浓度应是已知的。
·描述非效果颜料的散射和吸收行为的光学参数应是已知的，例如散射系数σs和吸收系数σa。
·配制引擎应能够基于非效果颜料的浓度和它们的个体散射和吸收系数来确定组合的散射和吸收系数σs、σa。
然后，配制引擎对材料内的光通量执行光学模拟。该通量通常被描述为一组关联的微分方程，每个微分方程描述了针对油漆层中的深度x的某组方向上的通量：
Fi(x)
这里，i是一组这样的方向(可能是向上或向下)的索引。这些微分方程通过调色剂或油漆层边界的散射效果耦合。
在配制引擎的正常操作期间，用户对将描述入射光的边界条件置于适当位置中的向上光通量感兴趣。这样，模拟测量装置，并且可以将模拟的光通量与真实装置的测量值进行比较。
然而，微分方程相对于边界条件的解在任意深度x处也是有效的。也就是说，对于给定的相对深度，通过评估一组向下方向i1、i2、...、in的解，该解可以用于计算效果颜料上的入射通量将是什么。通过计算这些方向上的积分，可以计算入射光的衰减A(x)。假设互易性，可以假设同样的衰减也适用于由效果颜料反射的光。
因此，如果深度x是已知的或者可以被估计，则可以通过将每个像素值乘以A2(x)来调整沿着颜色空间的每个坐标的给定目标质地的像素值Tp。例如，在简单的实施例中，可以假设效果颜料以平均深度x埋在材料中。例如，如果材料是油漆涂层，则可以基于油漆涂层的厚度容易地估计平均深度。在更复杂的实施例中，可以计算A2(x)在深度剖面(profile)上的分布。
两种方法在图14中被图示为步骤804。在该步骤中，调整目标质地中的像素值，以校正吸收和散射。
不同外观捕获装置的组合
在上面讨论的工作流程中，通过测量来确定三种类型的对象的外观属性：目标对象、试验对象和已经针对各种参考材料产生的参考对象。这些测量通常将在不同的位置处进行。例如，在车辆修理的情况下，对目标对象的测量在车身修理厂中执行，对试验对象的测量通常将由油漆供应商执行，并且对参考材料的缩减的测量通常将在油漆开发实验室中执行。
因此，这些测量通常将不会由相同的外观捕获装置来执行。如果相同类型的外观捕获装置用于所有三种类型的对象的测量，则仅需要仪器间校准。然而，通常可以使用不同位置处的可能具有不同的复杂的程度的不同类型的外观捕获装置。例如，车身修理厂可能仅使用相对简单的不具备成像能力的手持式多角度分光光度计(诸如X-Rite的MA-5仪器)来测量目标对象，而油漆供应商可能使用具有成像能力的更复杂的手持式多角度分光光度计(诸如X-Rite的MA-T6或MA-T12仪器)来测量试验对象，而油漆开发实验室可能使用高度复杂的固定外观捕获装置(比如X-Rite的TAC7仪器)来确定参考材料的性质，该装置具有大量的照射和观察方向以及高度复杂的成像能力。
因此，与三种类型的对象相关联的可用信息含量可能不同。这在图14中图示，图14示意性地图示了信息含量沿三个维度中的变化：第一维度是目标对象的可用信息含量，第二维度是试验对象的可用信息含量，并且第三维度是参考材料的可用信息含量。可用信息含量可以沿着这些维度中的每个在“L”(“低”，颜色属性仅对于照射和观察方向的少量的组合可用，没有可用的质地属性)和“H”(“高”，颜色属性和质地属性两者都可用，每个都对于照射和观察方向的大量的组合可用)之间变化。
现在将讨论用于处理不同级别的信息含量的可能策略。
(a)对于目标对象、试验对象和参考材料，信息含量是高的(图14中的块“H/H/H”)
理想地，对于三个维度中的每个，信息含量是高的，即对于目标材料、对于试验材料以及对于每个参考材料，照射和观察方向的大量的组合的颜色属性以及照射和观察方向的相当大量的组合的以图像形式的质地属性都是可用的。在这种情况下，足够的信息直接可用于基于目标对象的测得外观属性将目标材料的外观可视化，并为此生成外观模型的第一实例。也有足够的信息用于确定合适的候选配方(对于其而言，期望与目标材料的外观的良好匹配)，用于基于参考材料的可用外观属性将候选配方的外观可视化，以及用于为此生成外观模型的第二实例。最后，也有足够的信息用于将试验材料可视化以及用于为此生成外观模型的另一实例，以及用于通过确定合适的差异范数和/或通过视觉比较目标材料和试验材料的可视化来评估试验材料的外观是否实际上匹配目标材料的外观。可以直接使用上述颜色内插和外推以及统计质地合成的过程而无需修改，以便生成包括颜色和质地两者的外观模型的有关实例。
(b)对于目标对象，信息含量是低的，但是对于试验对象和参考材料，信息含量是 高的(图14中的块“L/H/H”)
在一些实施例中，使用具有分光光度和成像能力两者(即，相关联的信息含量是高的)的外观捕获装置来执行对试验对象和参考对象的测量，而使用仅具有分光光度能力而没有成像能力(即，相关联的信息含量是低的)的更简单的装置来执行对目标对象的测量。那么问题就来了，如何以逼真的方式将目标对象的材料的外观可视化，尽管没有该材料的测得质地属性。
在这种情况下，至少有两种可想到的策略。在简单的策略中，在没有质地的情况下将整个虚拟对象简单地可视化。为此，外观模型的第一和第二实例两者都可以用“空的”质地表来生成，即，用其条目全部都相同并且不表现出任何空间变化的质地表来生成。等效地，不包括质地的外观模型可以用于将虚拟对象可视化。
然而，该过程可能不会产生目标对象和候选配方的材料的外观的相当逼真的印象，并且因此可能难以判断这些外观是否实际匹配。
因此，在优选策略中，基于与参考材料相关联的已知质地属性来预测目标对象的质地。一旦已经生产了试验对象，对试验对象的质地预测就可以附加地基于试验对象的质地属性。换言之，与参考材料和/或试验对象的材料相关联的质地信息用于将目标材料的外观可视化。为此，可以使用属于外观模型的另一实例的质地信息来“编辑”外观模型的第一实例，即，与目标材料相关联的质地信息被与不同材料相关联的质地信息替换或修改。在US20150032430A1中描述了用于以这种方式“编辑”外观属性的方法，其内容通过引用被整体地并入本文中。
如果有限数量的质地属性可用于目标材料，然而这些质地属性不足以用于以有意义的方式生成外观模型的第一实例的质地部分，或者包含比可用于参考材料和/或试验对象的质地信息更少的质地信息，则也可以使用类似的策略。例如，第一外观捕获装置可以是多角度分光光度计，其被配置为确定颜色属性和仅一个或几个全局质地属性，例如，全局粗糙度参数或全局闪光参数。相比之下，对于参考材料和/或对于试验对象的可用质地属性可以包括照射和观察方向的几个组合的图像数据。在这种情况下，可以修改与目标对象相关联的质地属性，以包括从参考材料和/或试验对象的可用图像数据中导出的图像数据。将与目标对象相关联的图像数据当然应该与目标对象的可用测得质地属性一致，例如，与诸如粗糙度或闪光参数的测得全局参数一致。这可以通过适当地修改参考和/或试验材料的可用图像数据中的像素值来确保，使得从经修改的图像数据计算的全局参数分别对应于目标对象的测得全局参数。
用于修改像素值的方法可以非常类似于统计质地合成的情境中的上述方法，其中修改质地片，使得其像素值直方图近似地匹配平均像素值直方图。注意，像素值直方图和全局粗糙度或闪烁参数两者都表示与图像数据相关联的统计性质的示例。类似于上面的统计质地合成的示例，在本示例中，图像也被修改，使得它的统计性质之一(这里：从图像数据计算的全局参数)近似地匹配目标对象的测得统计性质(这里：目标对象的测得全局参数)。
针对目标对象测得的有限质地属性也可以不同于全局参数。例如，测得质地属性可以包括用于照射和观察方向的一个单个组合的一个单个图像。不管测得质地属性的确切性质如何，可以通过以这样的方式修改与目标材料、参考材料和/或试验对象相关联的可用图像的像素值来生成目标材料的附加图像：经修改的图像数据的至少一个统计性质近似于与目标对象的测得质地属性相关联的相应统计性质。
所建议的质地预测的过程基于这样的假设：只要候选配方的成分属于与目标材料的成分相同的材料的类别，目标材料的质地就将相当类似于候选配方的质地。例如，如果已知目标材料包括某种类型的薄片，并且如果候选配方包括这样的类型的薄片，则合理地假设目标材料的质地将至少接近候选配方的质地。
如果目标材料的可用颜色属性不足以用于可靠地拟合由所使用的外观模型所需的颜色属性，则也可以采用类似的策略。例如，如果所使用的多角度分光光度计没有足够数量的照射和观察方向对来确定目标材料的颜色属性，则可能是这种情况。在这种情况下，外观模型的颜色属性也可以使用如US20150032430A1中公开的过程以与上述质地属性的编辑过程类似的方式通过“编辑”来确定。
(c)对于目标对象和参考材料，信息含量是高的，但对于试验对象，信息含量是低 的(图14中的块“H/L/H”)
在一些实施例中，基于图像的质地信息可用于目标材料和参考材料，但是没有质地信息或仅有限的质地信息(例如，针对仅一对或照射和观察方向的一个或多个全局质地参数或图像信息)可用于试验对象。在这种情况下，可以采用与情况(b)中类似的策略。特别地，可以基于与目标材料和/或与参考材料相关联的已知质地属性来预测试验材料的质地。
(d)对于目标对象，信息含量是低的，并且对于试验对象，信息含量是低的，但对于 参考材料，信息含量是高的(图14中的块“L/L/H”)
在一些实施例中，基于图像的质地信息仅可用于参考材料，而没有质地信息或仅有限的质地信息可用于目标对象和试验对象。在这种情况下，可以再次采用与情况(b)中类似的策略。特别地，目标材料和试验材料的质地可以基于与参考材料相关联的已知质地属性来预测。
(e)对于目标对象和试验对象，信息含量是高的，但对于参考材料，信息含量是低 的(“H/H/L”，在图14中不可见)
在一些实施例中，基于图像的质地信息可用于目标对象和试验对象两者，但是没有质地信息或仅有限的质地信息可用于参考材料。例如，如果使用相对旧的着色剂数据库，该数据库是在只有不太复杂的仪器可用的时候填充的，而更现代的外观捕获装置可用于测量目标材料和试验材料，则可能是这种情况。
在这样的情况下，目标对象和/或试验对象(一旦已经生产试验对象)的质地信息可以用于将候选配方的外观可视化。为此，可以使用属于目标材料和/或试验材料的质地信息来“编辑”相关联的外观模型的第二实例。这可以以与上述情况(b)中以其来编辑外观模型的第一实例非常相同的方式来完成。
一旦这些质地属性可用，就使用试验对象的质地属性来将候选配方可视化，这是有利的，因为可以安全地假设，另外的候选配方和试验材料的组成之间的相对小的差异将仅可忽略地影响质地。
(f)对于目标对象和参考材料，信息含量是低的，但对于试验对象，信息含量是高 的(“L/H/L”，在图14中不可见)
如果基于图像的质地信息可用于试验材料，而没有质地信息或仅有限的质地信息可用于目标材料和参考材料，则可以在没有质地或使用一些通用质地的情况下将虚拟对象可视化，只要试验对象还不可用。一旦试验对象可用，试验对象的质地属性然后就可以用于将目标材料和候选配方可视化。为此，可以如上面针对情况(b)描述的那样编辑外观模型的相关联实例中的质地属性。
(g)对于目标对象，信息含量是高的，但对于试验对象和参考材料，信息含量是低 的(图14中的块“H/L/L”)
如果基于图像的质地信息可用于目标材料，而没有质地信息或仅有限的质地信息可用于试验材料和参考材料，则可以采用与针对上述情况(e)类似的策略。目标对象的质地信息可以用于将候选配方的外观和试验对象的外观可视化。为此，可以使用属于目标材料的质地信息来“编辑”外观模型的相关联的实例。
(h)对于目标对象、试验对象和参考材料，信息含量是低的(图14中的块“L/L/L”)
如果没有基于图像的质地信息可用于对象中的任何对象，则可以在没有质地的情况下或使用目标对象所属的材料的类别的通用质地将虚拟对象简单地可视化。
参考文献
[Ber19]Roy S.Berns，“Billmeyer and Saltzman′s Principles of ColorTechnology”，第4版，Wiley，2019，第184页。
[Kw03]Kwatra，V.，
Figure BDA0004111905790000521
A.，Essa，I.，Turk，G.和Bobick，A.，“Graphcuttextures：image and video synthesis using graph cuts”，ACM Transactions onGraphics(ToG)，2003，22(3)，第277-286页。
[MTG+19]Gero Müller、Jochen Tautges、Alexander Gress、Martin Rump、MaxHermann和Francis Lamy，“AxF-Appearance exchange Format”，版本1.7，2019年4月11日，其是可基于请求从X-Rite公司获得的。
[RMS+08]Martin Rump、Gero Muller、Ralf Sarlette、Dirk Koch和RichardKlein，“Photo-realistic Rendering of Metallic Car Paint from Image-BasedMeasurements”，载于：R.Scopigno、E.
Figure BDA0004111905790000522
(编辑)，Computer Graphics Forum，Eurographics，2008年4月，27：2(527-536)。
[RSK09]Martin Rump、Ralf Sarlette和Richard Klein，“EfficientResampling，Compression and Rendering of Metallic and Pearlescent Paint”，载于：M.Magnus、B.Rosenhahn、H.Theisel(编辑)，Proceedings ofVision，Modeling，andVisualization，2009年11月，第11-18页。
[Rus98]Szymon M.Rusinkiewicz，“ANew Change of Variables for EfficientBRDF Representation”，载于：G.DrettakisG.、N.Max(编辑)，Rendering Techniques’98，Eurographics，Springer，维也纳，1998，http：//doi.org/10.1007/978-3-7091-6453-2_2。
[Sh68]Shepard D.，“A two-dimensional interpolation function fprirregularly-spaced data”，载于：Proceedings of the 1968 23rd ACM nationalconference，1968，第517-524页。
[W98]Williams，C.K.，“Prediction with Gaussian processes：From linearregression to linear prediction and beyond”，载于：Learning in graphical model，Springer，Dordrecht，1998，第599-621页。
参考标记的列表
1、2 握持部件
3 腕带
4 显示阵列
5 壳体基座
6 测量开口
7 基板
7a、7b、7c 支撑构件
10 弧形体
21、22、23、24、25、26、27、28 照射装置
31、32、33 拾取装置
31a、32a 分光计
33a RGB相机
31c、32c 光纤
50 目标对象
52 外观捕获装置
54、64 外观属性
56、66 外观模型的实例
60 候选配方
70 显示器
72 虚拟对象
72a、72b、72c 部分
74、76 虚拟分隔线
80 试验对象
82 外观捕获装置
90 定点装置
102 模型生成软件
104 配制软件
106 数据库(着色剂和配方)
108 渲染软件
110 数据库(几何数据)
201 目标质地
211、221、231 源质地
203、206、212、214 质地片
202、213、215、222、232 像素值直方图
204 位置
205 接缝
300 客户端计算机
310 处理器
320 非易失性存储器
321 操作系统软件
330 RAM
340 I/O接口
350 通信接口
360 服务器计算机
501-511 步骤
HMD 手持式测量装置
H 壳体
DN 装置法线
SP 系统平面
A、B、C 样本点(颜色)
a、b 目标位置(颜色表)
A′、B′、C′、D′、E′、F′ 样本点(质地)
a′、b′、c′ 目标位置(质地表)

Claims (24)

1.一种用于将至少两种材料的外观可视化的计算机实现的方法，所述方法包括：
获得第一组外观属性，第一组中的外观属性与目标材料相关联，第一组包括目标材料的测得外观属性(54)，所述测得外观属性(54)已经基于对包括目标材料的目标对象(50)的测量来确定；
获得第二组外观属性，第二组中的外观属性与候选材料相关联；
获得至少一个虚拟对象(72)的几何模型，所述几何模型定义所述虚拟对象(72)的三维宏观表面几何结构；以及
使用显示装置(70)、使用第一和第二组外观属性和所述几何模型来将包括所述至少一个虚拟对象(72)的场景可视化，使用第一组外观属性来将所述至少一个虚拟对象(72)的第一部分(72a)可视化，并且基于第二组外观属性来将所述至少一个虚拟对象(72)的第二部分(72b)可视化，
其中第一和第二组外观属性中的每个都包括以图像数据的形式的质地属性，
其特征在于，第一组中的图像数据是基于与一个或多个参考材料和/或与候选材料相关联的质地属性来计算的，或者，第二组中的图像数据是基于与目标材料和/或与包括候选材料的试验对象(80)相关联的质地属性来计算的。
2.根据权利要求1所述的方法，其中，第一组中的图像数据基于与候选材料相关联的计算的图像数据。
3.根据权利要求1所述的方法，其中，第一组中的图像数据基于与包括候选材料的试验对象(80)相关联的测得图像数据。
4.根据权利要求1-3中的任一项所述的方法，其中，计算第一组中的图像数据包括修改与候选材料相关联的图像的像素值，以将第一组的至少一个统计性质与目标材料的已知统计性质相匹配。
5.根据权利要求1所述的方法，其中，第二组外观属性包括以图像数据的形式的质地属性，第二组中的图像数据是基于与所述目标材料和/或与包括所述候选材料的试验对象(80)相关联的质地属性来计算的。
6.根据权利要求5所述的方法，其中，第二组中的图像数据基于与目标材料相关联的测得图像数据。
7.根据权利要求5所述的方法，其中，第二组中的图像数据基于与试验对象相关联的测得图像数据。
8.根据权利要求5-7中的任一项所述的方法，其中，计算第二组中的图像数据包括修改与目标材料和/或与试验对象相关联的图像的像素值，以将第二组的至少一个统计性质与候选材料的已知统计性质相匹配。
9.一种用于将至少两种材料的外观可视化的计算机实现的方法，所述方法包括：
获得第一组外观属性，第一组中的外观属性与目标材料相关联，第一组包括目标材料的测得外观属性(54)，所述测得外观属性(54)已经基于对包括目标材料的目标对象(50)的测量来确定；
获得第二组外观属性，第二组中的外观属性与候选材料相关联；
获得至少一个虚拟对象(72)的几何模型，所述几何模型定义所述虚拟对象(72)的三维宏观表面几何结构；以及
使用显示装置(70)、使用第一和第二组外观属性和所述几何模型来将包括所述至少一个虚拟对象(72)的场景可视化，使用第一组外观属性来将所述至少一个虚拟对象(72)的第一部分(72a)可视化，并且基于第二组外观属性来将所述至少一个虚拟对象(72)的第二部分(72b)可视化，
其中第一和第二组外观属性中的每个都包括以图像数据的形式的质地属性，
其特征在于，
候选材料是根据配方包括至少两种成分的复合材料，所述配方定义了复合材料中每种成分的浓度，
第二组外观属性包括以图像数据的形式的至少一个目标质地，所述目标质地指示复合材料的外观的空间变化，并且
所述方法包括使用多个源质地(211、221、231)生成目标质地(201)，每个源质地(211、221、231)与所述成分中的一种相关联。
10.根据权利要求9所述的计算机实现的方法，其中，生成目标质地(201)包括：
(i)给源质地(211、221、231)中的每个分配内插权重；以及
(ii)使用源质地(211、221、231)和所分配的内插权重合成目标质地(201)，
其中，合成目标质地(201)包括：
(a)以与源质地(211、221、231)的内插权重成比例的概率随机选择源质地(211、221、231)之一；
(b)从所选源质地(211)随机提取质地片(212)；
(c)通过修改所提取的质地片中的像素值来修改所提取的质地片(212)，以获得经修改的质地片(214)，以这样的方式执行像素值的修改：使得经修改的质地片(214)的至少一个统计性质(215)近似于相应的平均统计性质(202)，通过对源质地(211、221、231)执行加权平均来确定平均统计性质(202)，源质地(211、221、231)通过内插权重进行加权；
(d)将经修改的质地片(214)插入到目标质地中，使得经修改的质地片(214)无缝地拟合目标质地中的现有质地内容(203)；以及
(e)重复步骤(a)-(d)直到完全填充目标质地。
11.根据权利要求9或10所述的计算机实现的方法，包括调整目标质地中的像素值，以校正复合材料中的吸收和散射的效果。
12.根据权利要求11所述的计算机实现的方法，
其中，以这样的方式调整像素值：使得目标质地的至少一个统计性质在调整之后与复合材料的基准性质相匹配。
13.根据权利要求12所述的计算机实现的方法，
其中，以这样的方式调整像素值：使得目标质地的平均颜色空间值在调整之后与复合材料的基准颜色空间值相匹配，所述颜色空间值和所述基准颜色空间值优选地在感知颜色空间中表达。
14.根据权利要求13所述的计算机实现的方法，
其中，目标质地(201)指示复合材料的外观针对照射和观察方向的特定组合的空间变化，并且
其中，所述方法包括将BRDF模型的参数拟合到在照射和观察方向的多个其他组合下的基准颜色，并且评估在所述特定组合下的BRDF模型以获得针对该特定组合的基准颜色空间值。
15.根据权利要求11所述的计算机实现的方法，包括：
获得至少近似地描述复合材料中每种成分的散射和吸收行为的个体光学参数；
基于成分的浓度和它们的个体光学参数来确定描述复合材料的散射和吸收行为的组合光学参数；
针对所述复合材料的表面下的至少一层执行复合材料内光通量的光学模拟，以确定所述层中效果颜料的入射光和反射光的衰减因子；以及
基于所述衰减因子来调整目标质地的像素值。
16.一种用于将至少两种材料的外观可视化的计算机实现的方法，所述方法包括：
获得第一组外观属性，第一组中的外观属性与目标材料相关联，第一组包括目标材料的测得外观属性(54)，所述测得外观属性(54)已经基于对包括目标材料的目标对象(50)的测量来确定；
获得第二组外观属性，第二组中的外观属性与候选材料相关联；
获得至少一个虚拟对象(72)的几何模型，所述几何模型定义所述虚拟对象(72)的三维宏观表面几何结构；以及
使用显示装置(70)、使用第一和第二组外观属性和所述几何模型来将包括所述至少一个虚拟对象(72)的场景可视化，使用第一组外观属性来将所述至少一个虚拟对象(72)的第一部分(72a)可视化，并且基于第二组外观属性来将所述至少一个虚拟对象(72)的第二部分(72b)可视化，
其中第一和第二组外观属性中的每个都包括以图像数据的形式的质地属性，
其特征在于，所述方法包括：
生成外观模型的第一实例(56)，外观模型的第一实例包括第一组外观属性；以及
生成外观模型的第二实例(66)，外观模型的第二实例包括第二组外观属性，
其中所述外观模型包括离散质地表，所述离散质地表包括多个目标质地(201)，每个目标质地(201)由图像数据表示并且与不同的目标坐标组(a′)相关联，该目标坐标组(a′)指示照射和观察方向的特定组合，并且
其中使用所述外观模型的第一和第二实例来将所述至少一个虚拟对象(72)可视化。
17.根据权利要求16所述的计算机实现的方法，其中，离散质地表中的所有目标质地(201)在逐个像素的基础上彼此不相似，如果两个质地的像素值在统计上不相关，则它们在逐个像素的基础上被认为是不相似的。
18.根据权利要求16或17所述的计算机实现的方法，
其中，生成外观模型的第一和/或第二实例(56、66)包括以下操作中的至少一个：
在照射和观察方向的不同组合下的可用外观属性之间进行内插；以及
从所选的照射和观察方向的组合下的可用外观属性进行外推。
19.根据权利要求18所述的计算机实现的方法，
其中，可用外观属性包括多个源质地(211、221、231)，每个源质地与不同的源坐标组(A′至F′)相关联，每个源坐标组(A′至F′)指示照射和观察方向的组合，并且
其中，生成外观模型的第一和/或第二实例(56、66)包括通过执行统计质地合成来确定目标质地(201)中的至少一个，所述统计质地合成包括：
(i)基于目标坐标组(a′)和源坐标组(A′至F′)，给源质地(211、221、231)中的每个分配内插权重；以及
(ii)使用源质地(211、221、231)和分配的内插权重合成目标质地(201)，
其中，合成目标质地(201)包括：
(a)以与源质地(211、221、231)的内插权重成比例的概率随机选择源质地(211、221、231)之一；
(b)从所选源质地(211)中随机提取质地片(212)；
(c)通过修改所提取的质地片中的像素值来修改所提取的质地片(212)，以获得经修改的质地片(214)，以这样的方式执行像素值的修改：使得经修改的质地片(214)的至少一个统计性质(215)近似于相应的平均统计性质(202)，通过对源质地(211、221、231)执行加权平均来确定所述平均统计性质(202)，源质地(211、221、231)通过内插权重进行加权；
(d)将经修改的质地片(214)插入到目标质地中，使得经修改的质地片(214)无缝地拟合目标质地中的现有质地内容(203)；以及
(e)重复步骤(a)-(d)直到完全填充目标质地。
20.根据前述权利要求中的任一项所述的计算机实现的方法，其中，第一和第二组外观属性中的每组中的质地属性包括多个图像数据集，每个图像数据集与照射和观察方向的不同组合相关联。
21.根据前述权利要求中的任一项所述的计算机实现的方法，包括：
使用外观捕获装置(52)对目标对象(50)执行测量以确定目标材料的多个测得图像数据集，每个测得图像数据集与照射和观察方向的不同组合相关联。
22.根据前述权利要求中的任一项所述的计算机实现的方法，还包括：
通过使用外观捕获装置(82)对试验对象(80)执行测量来确定包括候选材料的试验对象(80)的测得外观属性，
并且还包括以下步骤中的至少一个：
使用试验对象(80)的测得外观属性来将所述至少一个虚拟对象(72)的至少一部分可视化；和/或
使用试验对象(80)的测得外观属性和候选材料的计算的外观属性来确定经修改的配方。
23.一种用于将至少两种材料的外观可视化的装置，包括显示装置、至少一个处理器和至少一个存储器，所述至少一个存储器包括被配置为使所述至少一个处理器执行前述权利要求中的任一项所述的方法的程序指令。
24.一种计算机程序产品，包括程序指令，所述程序指令当由至少一个处理器执行时使得所述至少一个处理器执行根据权利要求1至22中的任一项所述的方法。
CN202180055048.0A 2020-07-07 2021-07-07 将至少两种材料的外观可视化 Pending CN116113987A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20184560.9A EP3937136A1 (en) 2020-07-07 2020-07-07 Visualizing the appearance of at least two materials
EP20184560.9 2020-07-07
PCT/IB2021/056090 WO2022009114A1 (en) 2020-07-07 2021-07-07 Visualizing the appearance of at least two materials

Publications (1)

Publication Number Publication Date
CN116113987A true CN116113987A (zh) 2023-05-12

Family

ID=71527582

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180055049.5A Pending CN116057576A (zh) 2020-07-07 2021-07-07 在异质测量环境中将至少两种材料的外观可视化
CN202180055048.0A Pending CN116113987A (zh) 2020-07-07 2021-07-07 将至少两种材料的外观可视化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202180055049.5A Pending CN116057576A (zh) 2020-07-07 2021-07-07 在异质测量环境中将至少两种材料的外观可视化

Country Status (4)

Country Link
US (2) US20230237738A1 (zh)
EP (3) EP3937136A1 (zh)
CN (2) CN116057576A (zh)
WO (2) WO2022009115A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743055B2 (en) 2000-03-28 2010-06-22 E.I. Du Pont De Nemours And Company Digital display of color and appearance and the use thereof
JP3901644B2 (ja) * 2003-01-30 2007-04-04 株式会社東芝 テクスチャ画像圧縮装置及び方法、テクスチャ画像抽出装置及び方法、データ構造、記憶媒体
US7145656B2 (en) 2003-12-15 2006-12-05 E. I. Du Pont De Nemours And Company Computer-implemented method for matching paint
JP4199170B2 (ja) * 2004-07-20 2008-12-17 株式会社東芝 高次元テクスチャマッピング装置、方法及びプログラム
US7944561B2 (en) 2005-04-25 2011-05-17 X-Rite, Inc. Measuring an appearance property of a surface using a bidirectional reflectance distribution function
WO2007053465A1 (en) 2005-10-28 2007-05-10 E. I. Du Pont De Nemours And Company Realistic video display of gonioapparent color
US9767599B2 (en) * 2006-12-29 2017-09-19 X-Rite Inc. Surface appearance simulation
CN101646929B (zh) 2007-03-29 2011-12-21 纳幕尔杜邦公司 配色和数字彩色显示系统
US10375148B2 (en) 2011-12-21 2019-08-06 Akzo Nobel Coatings International B.V. Colour variant selection method using a mobile device
EP2728342B2 (de) 2012-11-06 2019-04-10 X-Rite Switzerland GmbH Handmessgerät zur Erfassung des visuellen Eindrucks eines Messobjekts
US20150032430A1 (en) 2013-07-29 2015-01-29 X-Rite Europe Gmbh Visualization Method
EP3163358B1 (de) 2015-10-29 2018-03-28 X-Rite Switzerland GmbH Visualisierungsvorrichtung
US11080552B2 (en) 2018-09-18 2021-08-03 Axalta Coating Systems Ip Co., Llc Systems and methods for paint match simulation

Also Published As

Publication number Publication date
CN116057576A (zh) 2023-05-02
EP3937136A1 (en) 2022-01-12
EP4179505A1 (en) 2023-05-17
WO2022009114A1 (en) 2022-01-13
WO2022009115A1 (en) 2022-01-13
US20230260237A1 (en) 2023-08-17
EP4179506A1 (en) 2023-05-17
US20230237738A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
EP2833327B1 (en) Method and system for digitally generating appearance data
US6717584B2 (en) Method and system for visualizing paint on a computer-generated object
WO2015029721A1 (ja) 意匠層データ作成装置及び方法並びに意匠シュミレーション装置
RU2558622C2 (ru) Отображение декоративных покрытий на электронных устройствах отображения
US20230260236A1 (en) Displaying a virtual object in a real-life scene
Kim et al. Computer-aided appearance design based on BRDF measurements
JP7436453B2 (ja) 塗色検索装置
US20230260237A1 (en) Visualizing the appearance of at least two materials
US20230343051A1 (en) Visualizing the appearances of at least two materials
US20230260193A1 (en) Generating a destination texture from a plurality of source textures
EP4209998A1 (en) Method, computer and computer program for modifying texture images
Johnson Computer synthesis of spectroradiometric images for color imaging systems analysis
Medina et al. Objective colorimetric validation of perceptually realistic rendering: a study of paint coating materials
Guarnera et al. Capturing and representing brdfs for virtual reality
Shimizu Computer aided design for color appearance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination