CN116057581A - 在真实场景中显示虚拟对象 - Google Patents

在真实场景中显示虚拟对象 Download PDF

Info

Publication number
CN116057581A
CN116057581A CN202180062145.2A CN202180062145A CN116057581A CN 116057581 A CN116057581 A CN 116057581A CN 202180062145 A CN202180062145 A CN 202180062145A CN 116057581 A CN116057581 A CN 116057581A
Authority
CN
China
Prior art keywords
color
scene
virtual object
target
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180062145.2A
Other languages
English (en)
Inventor
M·鲁姆普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X Rite Switzerland GmbH
Original Assignee
X Rite Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Rite Europe GmbH filed Critical X Rite Europe GmbH
Publication of CN116057581A publication Critical patent/CN116057581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在用于显示虚拟对象(140)的方法中，对场景(100)成像。该场景包括目标设备(120)。目标设备包括具有已知反射性质的一组颜色目标元件(121)和具有多个已知表面法线的至少一个照射目标元件(122)。处理场景的至少一个图像，以确定颜色目标元件的测得颜色以及场景的照射和观察条件。通过比较颜色目标元件的测得颜色和已知反射性质来计算颜色变换参数。针对所确定的照射和观察条件来渲染虚拟对象。将渲染的虚拟对象与场景对准。对成像的场景和/或对虚拟对象应用颜色变换，并且在照射和/或观察条件改变时，在显示装置(220)上实时显示渲染的虚拟对象与成像的场景的叠加。

Description

在真实场景中显示虚拟对象
技术领域
本发明涉及用于在成像的真实(real-life)场景中显示虚拟对象的方法、被配置为执行该方法的系统以及相应的计算机程序。
背景技术
通常期望找到一种其视觉外观与现有样本对象的材料的视觉外观精确匹配的材料。例如，当需要在车身修理厂中修理车辆时，可能期望找到其视觉外观与其余车身上的原始油漆涂层的视觉外观精确匹配的用于替换车身部件的油漆涂层。即使已知车辆的原始油漆涂层的油漆代码或车辆标识号，也可能无法再获得相应的油漆。有时，原始油漆的参考配方是可获得的。然而，仅仅根据参考配方混合油漆可能不会产生可接受的匹配。这是因为原始油漆涂层的外观将因批次、配制师或年份而略有不同。然后挑战是定义使得替换车身部件上的油漆涂层的外观与其余车身上的原始油漆涂层的外观完美匹配的修改的油漆配方。
已知使用所谓的扇形板(fan deck)来寻找与样本对象的材料的外观相匹配的材料。扇形板是具有已知颜色的样本片(sheet)的集合。将扇形板中的样本片与样本对象进行比较，并在此基础上选择合适的候选材料。然而，扇形板并不总是在现场中可获得的。即使扇形板是可获得的，也可能发生扇形板中的所有颜色都无法达到可接受的匹配。
由于样本对象可能具有角度外观变化性质(gonioapparent property)，即样本对象的外观可能取决于照射和观察方向，因此定义试验对象的材料的成分使得其外观与物理上有形的样本对象的材料的外观精确匹配的任务变得更加复杂。例如，当照射或观察方向改变时，一些现代车漆表现出颜色突变(color flop)。“颜色突变”是当照射和观察方向改变时，材料的外观中的颜色值、色调或色度中的改变。具有角度外观变化性质的材料的其他示例是包含效果颜料的材料，比如产生闪光效果的金属薄片或产生珠光效果的干涉薄片，以及具有非平面表面微结构的材料。在这样的情况下，仅匹配颜色可能是不够的。而是需要匹配整个外观，包括角度相关颜色和质地(texture)。
已知根据多个外观属性(例如颜色、光泽、闪光等级、粗糙度等中的一个或多个)来描述对象的外观。还已知使用专用的外观捕获装置来测量样本对象的外观属性。不同类型的外观捕获装置是本领域中已知的。最适合于该任务的装置的类型很大程度上取决于环境，特别是取决于样本对象的类型。例如，不同类型的捕获装置可能最适合于确定车辆的车身部分的外观属性，而不是一块织物或半透明样本对象。已知的外观捕获装置包括高度复杂的固定多角度外观捕获装置(比如可从(美国)密歇根州大急流城的X-Rite公司获得的TAC7装置)、积分球分光光度计(比如可从X-Rite获得的固定Ci7800装置或手持式Ci64装置)以及具有或不具有成像能力的手持式多角度分光光度计(例如可从X-Rite获得的成像多角度分光光度计MA-T12)。一旦已经测量样本对象的外观属性，就可以使用油漆配制软件来确定其外观属性预期与样本对象的测得外观属性最好地匹配的候选材料的配方。例如，在车辆的替换车身部件的情况下，可以确定其外观属性预期与车身上现有油漆涂层的测得外观属性紧密匹配的候选油漆的配方，并且替换车身部件可以涂有这种油漆。
然而，专用的外观捕获装置并不总是在现场中可获得的。此外，即使样本对象的外观属性已经由专用的外观捕获装置测量，测得外观属性的数量通常是有限的，并且该有限数量的外观属性可能不总是完全定义样本对象的实际外观。因此，可靠地预测试验对象的实际外观将与样本对象的外观多好地匹配并不总是可能的。因此，存在这样的风险，即生产了其外观与样本对象的外观匹配不够好的试验对象，并且随后不得不丢弃这些试验对象，从而导致不期望的浪费和相关联的成本。
在其他应用中，可能没有必要将试验对象的外观与现有对象的外观精确匹配，而是能够简单地探索试验对象在真实环境中的预期视觉外观可能已经足够了。例如，试验对象可以是尚未生产的新产品，例如烤面包机，并且可能期望在实际生产产品之前探索该产品在特定环境下(例如在特定桌子上)将看起来怎么样。
US20200089991A1公开了一种用于显示一个或多个图像以选择一个或多个匹配配制方案(formula)来匹配物品的目标涂层的外观的系统。第一数据库包含修理配制方案和相关联的外观特性。第二数据库包含至少一个物品的标识信息或三维几何数据。从第一数据库中检索初步匹配配制方案，从第二数据库中选择物品或其三维几何数据，并接收物品的表面的标记部分。生成包含标记部分和与标记部分相邻的未标记部分的个体匹配图像，并且在显示装置上显示个体匹配图像。在标记部分中，基于初步匹配配制方案的外观特性生成个体匹配图像。在未标记部分中，基于物品的外观特性生成个体匹配图像。可以根据使用成像装置从物品获取的图像计算外观特性。然而，合适的成像装置并不总是可获得的。
US 10,375，148B2公开了一种使用具有彩色显示器和输入单元的移动装置来选择用于车辆修理的匹配油漆候选颜色标准的最可能变体的方法。在第一步中，将与车辆的颜色相关联的标识标准输入到移动装置中。这可以涉及获取车辆的数字图像以提取诸如汽车品牌或颜色组的信息。标识标准被发送到包括颜色数据库的中央计算机。中央计算机上的软件选择一个或多个与输入的标识标准匹配的候选颜色标准，并将关于这些候选颜色标准的信息发送到移动装置。将信息显示在移动装置上。以候选颜色标准涂漆的一个或多个物理片与要修理的车辆的颜色进行视觉比较。选择匹配的颜色标准。将该选择输入到移动装置中，并传输到中央计算机。软件标识所选候选颜色标准的变体，并且将变体的表征传输到移动装置并显示它。选择最好地匹配变体并将其传输到中央计算机。软件返回相应的油漆配制方案。显示关于候选颜色标准的信息可以涉及在移动装置的颜色显示器上显示候选颜色标准的图像。用户然后可以将图像与要修理的车辆的颜色进行视觉比较。为了使这种比较有意义，显示器需要具有大的色域(gamut)、大的动态范围和非常高的颜色保真度。这样的显示器是昂贵的，并且通常是在现场中不可获得的。此外，需要以高精度知道照明和观察条件，因为样本对象的感知颜色将取决于两者。
WO2010/125023A1公开了一种显示具有质地和颜色性质的效果涂层的图像的方法。该方法可以用于选择具有与目标涂层的性质相匹配的性质的候选涂层。为此，该文献建议显示目标涂层的图像以及至少一个候选涂层的图像。然而，这种方法受到由用于捕获目标涂层的图像的相机所引入的不可避免的颜色失真的影响。
US10,049,294B2(EP3051793A1的同族成员)公开了一种用于确定颜色变换参数的方法。目标设备被放置在要成像的场景中。目标设备一方面包括具有已知颜色的一组颜色目标元件，并且另一方面包括具有多个不同的已知表面法线的至少一个照射目标元件。拍摄场景的图像。使用成像的照射目标元件建立场景的全局照射的局部环境图，并且捕获颜色目标元件的颜色。基于颜色目标元件的已知颜色并且基于全局照射的局部环境图来确定图像中颜色目标元件的预期颜色。基于预期颜色和捕获颜色之间的差异，计算颜色变换参数。然后可以将颜色变换应用于成像的样本表面。该过程可以跨多个不同的照射或观察条件重复，以估计样本表面的反射模型。该文献没有提到两个对象之间的差异的视觉评估。
H.P.A.Lensch等人的“Image-Based Reconstruction of Spatial Appearanceand Geometric Detail”(ACM Transactions on Graphics，第22卷，第2期，2003年4月，第234-237页)公开了一种重建样本对象的外观的基于图像的方法。检测对象的不同材料，并且将平均双向反射分布函数(BRDF)拟合到每种材料。在场景中放置多个反射钢球来确定光源的位置。该文献仅涉及(concerned with)重建样本对象的外观。它没有提到对两个对象之间视觉差异的预测或评估。
US6，768，814B 1公开了一种用于确定用于匹配所选颜色的颜色配制方案的方法。通过测量具有已知色度数据的至少两种校准颜色的颜色信号来校准电子成像装置。使用成像装置测量所选颜色。使用数学模型来计算用于将校准颜色的测得颜色信号转换成它们的已知色度数据的参数。使用数学模型和计算的参数来将测得所选颜色的颜色信号转换成色度数据。使用数据库来确定其色度数据最接近地匹配测得所选颜色的计算色度数据的颜色配制方案。该文献没有提到预测或评估两个对象之间的视觉差异。
US2005/0128484A1公开了用于确定颜色匹配的修理漆配制方案的方法。要匹配的目标颜色的颜色特性以这样的方式被标识、输入和处理：使得能够视觉显示目标颜色。替代颜色选自数据库。替代颜色可以在显示器上以几个虚拟片显示，每个虚拟片表示不同的观察角度，或者显示为弯曲面板。可以将示出薄片外观特性的图像与该颜色叠置(superimpose)。可以对针对多个非镜面角度获得的颜色和图像进行内插，以示出薄片外观随非镜面角度改变中的改变。可以结合目标颜色来观察这些片。可以将目标颜色投射到整个成像的车辆上，并且可以在其上叠置可用的油漆配制。期望获得与通过将目标颜色均匀地投射到整个成像的车辆上并叠置替代颜色而获得的印象相比更加逼真的目标颜色和替代颜色的印象。
G.Klein等人的“Simulating Low-Cost Cameras for Augmented RealityCompositing”，IEEE Transactions on Visualization and Computer Graphics，第16卷，第3期，PP.369-380(2010)公开了增强现实方法，其中图形被叠加(overlaid)在实况(live)视频馈送上。描述了一种合成方法，其对由小型低成本相机产生的伪像进行建模。
发明内容
在一个方面中，本发明提供了一种方法，该方法使得用户能够在试验对象被实际生产之前更好地判断试验对象在真实环境(setting)中的外观。
权利要求1中提供了相应的方法。在从属权利要求中主张(laid down)本发明的进一步实施例。
所提出的方法是在成像的真实场景中显示虚拟对象的方法。该方法包括：
a)使用成像装置对场景成像，所述场景包括目标设备，所述目标设备包括具有已知反射性质的一组颜色目标元件和具有相对于所述颜色目标元件的多个不同的已知表面法线的一组一个或多个照射目标元件；
b)使用成像的目标设备处理所述场景的至少一个图像，以确定所述场景的照射和观察条件；
c)处理所述场景的至少一个图像以确定颜色目标元件的测得颜色；
d)考虑到所确定的照射和观察条件，基于所述颜色目标元件的测得颜色和已知反射性质的比较来计算颜色变换参数；
e)针对所确定的照射和观察条件渲染所述虚拟对象；
f)将渲染的虚拟对象与成像的场景对准；
g)使用计算的颜色变换参数将颜色变换应用于成像的场景或者将逆颜色变换应用于所述虚拟对象；以及
h)在应用颜色变换或逆颜色变换之后，在显示装置上显示渲染的虚拟对象的至少一部分与成像的场景的至少一部分的叠加。
在所提出的方法中，使用诸如数码相机的成像装置对真实场景进行成像。假设与场景中存在的那些照射条件相同或相似的照射条件，并假设与成像装置的那些观察条件相同或相似的观察条件，通过计算机算法渲染虚拟对象。渲染的虚拟对象以与成像的场景叠加的形式显示在显示装置上。为了确保可以以高置信度判断成像的场景中的渲染的虚拟对象的外观，应用了颜色变换。颜色变换考虑了在捕获对象的颜色时成像装置的缺陷的影响。特别地，颜色变换校正了成像装置的未知光谱灵敏度和由成像装置中的图像处理引入的未知非线性。颜色变换可以将已经由成像装置确定的颜色值(例如，每个像素的RGB值)变换成与装置无关的校正颜色值，并且因此可直接与虚拟对象的与装置无关的颜色属性比较。颜色变换可以应用于成像的场景的全部或一部分。替代地，在渲染操作之前、期间或之后，可以将逆颜色变换应用于虚拟对象的全部或一部分。颜色变换确保成像的场景的显示颜色和渲染的虚拟对象的显示颜色在显示装置上变得直接可比较的。因此，即使显示的绝对颜色由于显示装置的缺陷而偏离实际颜色，可靠地判断成像的场景中虚拟对象的外观也是可能的。因此，由于颜色变换，成像装置和显示装置都不需要预校准。
根据本公开，借助于目标设备来确定颜色变换的参数以及照射和观察条件。在专利文献US10,049,294B2中公开了目标设备以及用于使用这样的目标设备来确定照射和观察条件以及颜色变换参数的方法的合适的示例性实施例，该专利文献的内容整体地并入到本公开中。目标设备一方面包括具有已知反射性质(例如，每个颜色目标元件的BRDF的模型的已知参数)的一组颜色目标元件。因此，可以针对任意照射和观察条件计算每个颜色目标元件的预期颜色。颜色目标元件优选地是无光泽的，即它们主要表现出漫反射。另一方面，目标设备包括一组一个或多个照射目标元件，该照射目标元件具有相对于颜色目标元件的多个已知表面法线。每个照射目标元件优选地是有光泽的或半有光泽的，即，它表现出相当大的镜面反射。照射目标元件优选地具有中性颜色；特别地，它可以是黑色的。
该组一个或多个照射目标元件便于确定照射条件。例如，可以使用成像的一组一个或多个照射目标元件以全局照射的至少部分环境图的形式确定照射条件，如在US10,049,294B2中更详细公开的那样。如该文献中详述的那样，该组一个或多个照射目标元件可以包括具有非平面表面的至少一个照射目标元件，其可以由包括多个不同表面法线的已知表面法线图来表征。在一些实施例中，具有非平面表面的至少一个照射目标元件可以是球或部分球，特别是半球。在一些实施例中，该组一个或多个照射目标元件可以包括多个照射目标元件，例如，每个照射目标元件由不同的表面法线或不同的表面法线图来表征，其中所述多个照射目标元件中的每个照射目标元件包括由不同的表面法线表征的平坦表面。在一些实施例中，该组照射目标元件可以包括具有不同光泽度的两个或更多个照射目标元件。
通过将目标设备的图像的几何结构与目标设备的已知几何结构进行比较，可以确定观察条件(特别地，成像装置的位置和场景到图像的映射的性质，包括尺度和任何失真)。为了便于确定观察条件，目标设备可以包括一个或多个对准标记(如它们是本领域中众所周知的那样)和/或便于基于图像确定失真的失真目标元件(例如，具有棋盘图案的失真目标元件)。
可以使用颜色目标元件的测得颜色来确定颜色变换参数。为此，基于颜色目标元件的已知反射性质，并且在反射性质对照射和观察角度的明显相关性的情况下，考虑到所确定的照射条件(例如，全局照射的局部环境图)和观察条件，可以首先计算图像中颜色目标元件的预期颜色。接下来，可以基于颜色目标元件的计算的预期颜色和测得颜色之间的差异来确定颜色变换参数。
应当注意，本公开不限于使用US 10,049,294B2中公开的颜色目标元件的实施例。例如，目标设备可以附加地包括如US9,823，131B2中公开的滤波器和/或如US2013/0093883A1中公开的反射参考图。
基于场景的图像中的目标设备的位置，容易执行渲染的虚拟对象与成像的场景的对准，使得即使当观察方向改变时，虚拟对象看起来也保持其在场景内的位置，如其在本领域中众所周知的那样。如果渲染的虚拟对象显示在目标设备的位置处的成像的场景中，则该任务特别简单。
在有利的实施例中，场景包括至少一个样本对象，例如，用于直接比较渲染的虚拟对象的视觉外观和成像的样本对象的视觉外观的目的。样本对象可以具有非平面表面部分。在这样的实施例中，如果与样本对象的非平面表面部分相邻地显示虚拟对象的非平面表面部分，则这是有利的。通过同时显示样本对象和虚拟对象的非平面表面部分，获得了样本对象和渲染的虚拟对象的外观的更逼真的印象。如果该表面中的一个或两者表现出取决于照射方向和/或观察方向的效果，诸如颜色变化、珠光、闪光等，则这尤其是真的。为了便于直接比较非平面表面部分的外观，虚拟对象的显示的非平面表面部分可以具有对应于样本对象的显示的非平面表面部分的连续延续的形状。换言之，样本对象和虚拟对象有利地以这样的方式显示：使得样本对象和虚拟对象看起来无缝地融合(merge)，而在对象在显示器上相遇的位置的线处没有任何边缘或扭结(kink)。以该方式生成两个对象的外观的高度逼真的印象，并且可以容易地检测到它们的外观之间的差异。
在一些实施例中，所显示的虚拟对象的非平面表面部分可以具有与样本对象的相应表面部分的形状一致的形状，其明显地替换样本对象的表面部分，从而产生甚至更逼真的外观的印象。
虚拟对象的显示的非平面表面部分优选地具有沿着至少两个相互正交的方向弯曲的三维宏观表面几何结构。优选地，虚拟对象的宏观表面几何结构包括凸起和凹陷部分两者。优选地，虚拟对象的宏观表面几何结构具有覆盖大立体角的表面法线，即在三维空间中具有大范围的方向。优选地，被虚拟对象的表面法线的方向覆盖的立体角是半球的立体角的至少20％或者甚至至少50％，即，其优选地是至少0.4πsr或者甚至至少πsr。以这种方式，可以针对相对于虚拟对象的表面法线的大量的照射和观察方向在样本对象和虚拟对象之间同时比较比如颜色偏移、光泽、珠光、闪光等的效果。
如果显示的虚拟对象的非平面表面部分具有闭合的周界，并且以其沿着其整个闭合的周界被样本对象的所显示的非平面表面部分包围这样的方式来显示，则印象变得更加逼真。在这种情况下，优选的是，虚拟对象的显示表面部分具有对应于样本对象的显示表面部分沿着其整个周界的连续延续的形状。
如果目标设备位于样本对象的表面上，则这是有利的。以这种方式，使用成像的目标设备确定的照射和观察条件很可能与样本对象的相邻表面部分的照射和观察条件相匹配，并且颜色变换参数很可能不仅充分描述了在目标设备的位置处的可应用的颜色变换，而且还充分描述了在样本对象的相邻表面部分的位置处的可应用的颜色变换。
有利地，渲染的虚拟对象被显示在显示装置上目标设备位于成像的场景中的位置中。特别地，渲染的虚拟对象的显示部分可以显示在显示装置上，而不是成像的目标设备上。以这种方式，渲染的虚拟对象的显示部分被精确地显示在已经为其确定了照射条件和颜色变换参数的位置。这进一步有助于获得渲染的虚拟对象和样本对象的外观之间的差异的逼真印象。
目标设备可以沿着至少一个弯曲方向是柔性的，以便能够符合样本对象的非平面表面的形状。为了确保当目标设备弯曲时照射和观察条件仍然可以被确定，在目标设备上提供至少一个刚性部分或者确保目标设备可以仅沿着一个单一的弯曲方向弯曲可能是有利的。目标设备可以具有扁平卡片的形状，其上提供了颜色目标元件和照射目标元件。该卡片可以由任意材料制成。
在优选实施例中，针对多个不同的照射条件和/或观察条件对场景进行成像。然后，对于所述多个不同的照射条件和/或观察条件，有利地渲染虚拟对象，并且在显示装置上与针对不同照射条件和/或观察条件的成像的场景叠加地显示渲染的虚拟对象。换言之，在一些实施例中，改变照射条件和/或观察条件，并且至少重复该方法的步骤a)、b)和e)至h)。这可以进行多次。特别地，成像装置可以相对于场景移动，以从多个不同的观察方向对场景成像。通过针对多个不同的照射条件和/或观察条件在成像的场景中显示虚拟对象，获得在成像的场景的情境中虚拟对象的视觉外观的更可靠的印象。如果虚拟对象在照射或观察条件改变时表现出比如颜色变化的效果，则这是特别有用的。
在特别优选的实施例中，至少步骤a)、b)和e)至g)被连续重复，使得渲染的虚拟对象以连续视频流的形式与成像的场景叠加地显示在显示装置上。这有利地实时(即当照射条件和/或观察条件改变时)进行。
该方法有利地使用与成像装置和显示装置协作的计算机系统来实现。该方法有利地由计算机系统的至少一个处理器执行，该至少一个处理器从相应的计算机程序接收程序指令。在一些实施例中，采用移动电子装置用于成像和显示两者，该移动电子装置包括成像装置和显示装置。特别地，移动电子装置可以是移动电话、平板计算机、笔记本计算机或虚拟现实头戴送受话器。在其他实施例中，成像装置和显示装置可以是分离的单元。执行本发明的方法的至少一个处理器可以包括移动电子装置的至少一个处理器(例如，CPU和/或GPU)，和/或它可以包括分离的计算装置的至少一个处理器。
显示装置可以是屏幕，例如LCD屏幕、投影仪或如它们是本领域中众所周知的任何其他类型的显示装置。如果显示装置包括屏幕，则屏幕可以是触敏的，如它是本领域中众所周知的那样。显示装置可以能够创建3D印象，如它是本领域中众所周知的那样。例如，显示装置可以是VR头戴送受话器或3D显示器。
如果成像的场景包括样本对象，则该方法可以包括从一个或多个数据库中检索指示样本对象的几何结构的外观属性和/或几何参数，并且使用检索到的外观属性和/或三维几何参数来渲染虚拟对象。
特别地，该方法可以包括：
将描述样本对象的元数据传输到服务器；以及
响应于所传输的元数据，从服务器返回虚拟对象的外观属性以及可选地返回几何参数。
然后可以使用返回的外观属性，并且如果适用的话，使用返回的几何参数，来渲染虚拟对象。在其他实施例中，基于已经以另一方式(例如，通过对由图像捕获装置拍摄的图像的分析)提供的外观属性和/或几何参数来渲染虚拟对象。
例如，如果成像的场景包括作为车辆的一部分的样本对象，则元数据可以包括标识样本对象上的油漆的车辆标识号和/或油漆标识符。在其他实施例中，元数据可以包括由外观捕获装置(例如，由多角度分光光度计)获得的样本对象的外观属性。在又一其他实施例中，元数据包括样本对象的一个或多个图像，或者从样本对象的一个或多个图像导出。服务器处理元数据并基于元数据返回虚拟对象的外观属性。例如，在车辆部件的情况下，服务器可以返回预期与样本对象上的油漆的外观相匹配的候选油漆的外观属性。为此，服务器可以执行或访问配制软件。此外，服务器可以基于元数据返回虚拟对象的几何参数。
在另一方面，本发明提供了一种用于在成像的真实场景中显示虚拟对象的系统，该系统被配置为执行本发明的方法。
特别地，该系统可以包括：
目标设备，所述目标设备包括具有已知反射性质的一组颜色目标元件和具有多个已知表面法线的至少一个照射目标元件；
成像装置；
显示装置；以及
被配置为使用成像装置和显示装置来执行本发明的方法的计算机系统。
特别地，计算机系统可以被配置为执行以下步骤：
a)使成像装置对场景成像，所述场景包括目标设备；
b)处理所述场景的至少一个图像，以确定所述场景的照射和观察条件；
c)处理所述场景的至少一个图像，以确定所述颜色目标元件的测得颜色；
d)考虑到所确定的照射条件，基于所述颜色目标元件的测得颜色和已知颜色的比较来计算颜色变换参数；
e)针对所确定的照射条件渲染虚拟对象；
f)将渲染的虚拟对象与成像的场景对准；
g)使用计算的颜色变换参数将颜色变换应用于成像的场景或者将逆颜色变换应用于虚拟对象；以及
h)在应用颜色变换或逆颜色变换之后，使显示装置显示渲染的虚拟对象的至少一部分与成像的场景的至少一部分的叠加。
如上面更详细地讨论的那样，计算机系统可以被配置为使显示装置与场景中样本对象的非平面表面部分相邻地显示渲染的虚拟对象的非平面表面部分，渲染的虚拟对象的非平面表面部分具有对应于样本对象的非平面表面部分的连续延续的形状。如上面更详细地讨论的那样，计算机系统可以被配置为使得显示装置将渲染的虚拟对象的显示部分显示在目标设备位于成像的场景中的位置中。如上面更详细地讨论的那样，计算机系统可以被配置为至少重复该方法的步骤a)、b)和e)至h)，优选地连续重复所述步骤，使得渲染的虚拟对象的至少一部分与成像的场景的至少一部分的叠加以连续视频流的形式显示，优选地实时显示。如上面更详细地讨论的那样，该系统可以包括移动电子装置，所述移动电子装置包括成像装置、显示装置和处理器。
在又一方面中，本发明提供了一种包括程序指令的计算机程序产品，所述程序指令在由计算机系统的至少一个处理器执行时使得该至少一个处理器执行本发明的方法。特别地，所述指令可以使该至少一个处理器执行以下动作：
a)使成像装置对包括目标设备的场景成像，所述目标设备包括具有已知反射性质的一组颜色目标元件和具有多个已知表面法线的至少一个照射目标元件；
b)处理所述场景的至少一个图像，以确定所述场景的照射和观察条件；
c)处理所述场景的至少一个图像，以确定所述颜色目标元件的测得颜色；
d)基于所述颜色目标元件的测得颜色和已知反射性质的比较来计算颜色变换参数；
e)针对所确定的照射和观察条件渲染虚拟对象；
f)将渲染的虚拟对象与成像的场景对准；
g)使用计算的颜色变换参数将颜色变换应用于成像的场景或者将逆颜色变换应用于虚拟对象；以及
h)使得显示装置显示渲染的虚拟对象的至少一部分与成像的场景的至少一部分的叠加。
计算机程序产品可以包括其上存储了程序指令的非易失性计算机可读介质。非易失性介质可以包括硬盘、固态驱动器、存储卡或如它是本领域中众所周知的任何其他类型的物理上有形的计算机可读介质。
附图说明
在下文中参考附图描述本发明的优选实施例，所述附图是用于说明本发明的当前优选实施例的目的，而不是用于限制本发明的当前优选实施例的目的。在附图中，
图1示出了场景的示意图，该场景包括样本对象和目标设备、以及用于照射该场景的发光体(illuminant)和用于对该场景成像的移动电子装置；
图2示出了移动电子装置的面向硬件的示意框图；
图3示出了图示根据第一实施例的用于将真实世界样本对象的视觉外观与虚拟对象的预期外观进行比较的方法的流程图；以及
图4示出了图示根据第二实施例的用于将真实世界样本对象的视觉外观与虚拟对象的预期外观进行比较的方法的流程图。
具体实施方式
定义
在本公开中，以单数形式的引用也可以包括复数。具体地，除非上下文另外指示，否则词语“一”或“一个”可以指代一个、或者一个或多个。
术语“视觉外观”或简称“外观”要广义地理解为对象以其来反射和透射光的方式，包括但不限于在各种观察条件下观察对象的个体如何感知对象的颜色和表面质地。外观还包括对象如何反射和透射光的仪器测量结果。
视觉外观的一个方面是颜色。对象的“颜色”由入射白光的光谱的被反射或透射而未被吸收的部分决定。对象的颜色可以通过“颜色属性”来描述。一般而言，颜色属性指示在对象被入射光照射时对象的光谱响应。在本公开的上下文中，术语“颜色属性”要广义地理解为包含指示在对象被入射光照射时对象的光谱响应的任何形式的数据。颜色属性可以采取任意颜色空间中的颜色值的形式，例如在比如RGB或CIEXYZ的三色颜色空间中，或者在比如CIELAB(L*a*b*)的任何其他颜色空间中，或者以任意格式的表示材料对入射光的光谱响应的光谱数据的形式。在本公开的上下文中，颜色属性特别地可以包括材料在多个波长下的反射值和/或吸收和散射系数。
视觉外观的另一方面是质地。术语“质地”要广义地理解为指跨材料的表面的外观的空间变化，既指微观或中观尺度上的变化(即个体结构元素通常不能被肉眼辨别的尺度上的变化)，并且也指宏观尺度上的变化(即个体结构元素能被肉眼辨别的尺度上的变化)。如在本公开中理解的质地包括比如粗糙度、闪光和表面形貌的宏观变化的现象。质地可以通过“质地属性”来描述。在本公开的上下文中，术语“质地属性”要广义地理解为包含能够量化质地的至少一个方面的任何形式的数据。质地属性的示例包括全局质地属性，诸如全局粗糙度参数或全局闪光参数。在一些实施例中，质地属性可以包括法线图或高度图。在一些实施例中，质地属性可以包括图像数据。在一些实施例中，图像数据可以与照射和观察方向的特定组合相关联。在这样的实施例中，质地属性可以包括多个图像数据集，每个图像数据集与照射和观察方向的不同组合相关联。
“图像数据”是表示图像的数据。图像包括实际目标表面或对象的图像以及从与一组或多组外观属性结合的一个或多个几何模型导出的虚拟对象的合成图像。图像可以采取图像元素(“像素”)的二维阵列的形式，每个像素具有一定的像素值。像素值可以表示特定波长下像素的位置处的反射、特定波长范围内的平均反射或所有可见波长内的平均反射。因此，在一些实施例中，图像数据可以以像素值的阵列的形式提供。在其他实施例中，图像数据可以以压缩形式或以变换形式提供。“图像数据集”是包括至少一个图像的图像数据或由至少一个图像的图像数据组成的数据集，即表示一个或多个图像的数据集。
“双向反射分布函数”(BRDF)在通常意义上要理解为定义光如何取决于照射和观察方向而在不透明表面处反射的函数，从而提供沿观察方向出射的反射辐射与从照射方向入射到表面上的辐照度的比率。如果该表面表现出该比率的空间变化，则BRDF被理解为提供该比率在表面区域上的平均值。
“外观捕获装置”是能够确定对象的一个或多个外观属性的装置。取决于要确定的外观属性(例如，颜色属性、质地属性或其他属性)，外观捕获装置可以采取例如相机、色度计、分光光度计或成像分光光度计的形式。
“分光光度计”是用于确定材料或表面在用可见光的照射下的反射和/或透射性质(作为波长的函数，即对象的光谱响应)的装置。已知不同类型的分光光度计，其具有不同的几何结构，并针对不同的目的进行了优化。一种重要的类型是“积分球分光光度计”。积分球分光光度计包括“积分球”，即由漫反射白色内表面界定的中空球形腔，其具有至少一个用于照射的入口端口和至少一个用于观察的出口端口。积分球产生均匀的散射或扩散效果。通过多次散射反射，入射到内表面上任何点上的光线都均匀地分布到所有其他点。光的原始方向的影响被最小化。积分球分光光度计的示例是X-Rite的型号Ci7860和Ci7500。其他类型的分光光度计仅确定单个窄范围的照射的方向(例如与表面法线成45°)和单个窄范围的观察的方向(例如与表面法线成0°)的光谱信息。示例包括可从X-Rite获得的型号962和964。称为“测角分光光度计”或“多角度分光光度计”的又一些其他分光光度计能够确定不同照射和观察方向的多个组合的光谱信息。分光光度计可以附加地具有成像能力，即它可以包括一个或多个相机来拍摄对象的一个或多个数字图像。具有成像能力的多角度分光光度计的示例包括可从X-Rite获得的台式型号TAC7或手持式型号MA-T6或MA-T12。
“成像装置”被广义地理解为被配置为捕获静止或移动图像的装置，诸如具有或不具有视频捕获能力的数码相机。
在本公开的上下文中，术语“目标设备”表示包括具有已知反射性质的一组颜色目标元件和具有相对于颜色目标元件的多个已知表面法线的一组一个或多个照射目标元件的装置，如在本公开中的其他地方更详细描述的那样。
在本公开中，渲染和显示虚拟对象。虚拟对象的几何结构可以由三维几何模型来描述。三维几何模型定义了虚拟对象的三维宏观表面几何结构。几何模型可以由CAD文件来表示。优选地，宏观表面几何结构具有沿着至少两个相互正交的方向弯曲(优选地沿着至少两个相互正交的方向连续弯曲)的至少一个部分。如果用数学术语来说，表面几何结构至少近似地并且至少局部地对应于三维欧几里得空间中的二维可微流形，则该表面几何结构是“连续弯曲的”。在一些实施例中，可以在几何模型中使用小多边形平面表面的组合(例如，多边形网格)来表示虚拟对象的曲面部分。在3D计算机图形学中，众所周知，使用多边形建模作为用于通过使用多边形网格表示或近似它们的表面来对对象进行建模的方法。如果多边形网格在渲染时表现为连续表面，则由多边形网格定义的几何结构被认为是连续弯曲的。优选地，弯曲的三维宏观表面几何结构包括凸起和凹陷部分两者。优选地，虚拟对象具有覆盖大立体角的表面法线，即，在三维空间中具有大范围的方向。优选地，由虚拟对象的表面法线的方向覆盖的立体角至少是半球的立体角的50％，即，其优选地至少是1πsr。以这种方式，可以在相对于虚拟对象的表面法线的大量的照射和观察方向上在两种材料之间同时比较比如颜色偏移、光泽、闪光、质地等效果。
术语“宏观表面几何结构”要理解为涉及产品的整体几何结构，不包括微观或中观表面结构，即不包括低于例如1mm的微观或中观尺度上的表面几何结构的变化。例如，表面高度与局部平均值的小于例如1mm的局部变化可以被认为是微观或中观表面结构，并且因此宏观表面几何结构可以等同于在至少1mm的长度尺度上平均之后的表面几何结构。
“照射条件”可以包括发光体的特性以及照射的方向或这样的方向的分布。“观察条件”可以包括观察方向和观察距离。
“颜色变换”将第一组颜色属性变换成第二组颜色属性。颜色属性可以是任意颜色空间中的颜色值或光谱值。该变换可以涉及从一个颜色空间到不同颜色空间中(例如，从测得光谱值或RGB到比如CIEXYZ或CIELAB的装置无关颜色空间中)的改变。
术语“渲染”指代通过计算机程序生成对象或场景的照片真实感图像的自动过程。用于渲染操作的输入信息包括对象的3D模型、与对象相关联的一组外观属性、以及关于对象的位置和方向的信息、照明条件(其可以采取环境图的形式)、以及视点。许多不同的渲染算法在不同的复杂的程度上是已知的，并且用于渲染的软件可以采用多种不同的技术来获得最终图像。跟踪场景中的每个光的颗粒通常是不切实际的，因为它需要过多的计算时间。因此，通常使用用于对光传输进行建模的简化技术。这些技术之一是光线跟踪。
表述“将虚拟对象与成像的场景对准”涉及确定要相对于场景中的其他对象在哪里放置渲染对象的过程。在本公开的上下文中，虚拟对象优选地以这样的方式与场景中的至少一个参考对象对准：使得即使成像装置相对于成像的场景移动，该虚拟对象也不会看起来相对于该参考对象移动。
术语“可视化”包含渲染和显示。为了显示，使用显示装置。术语“显示装置”或简称为“显示器”要理解为涉及用于以视觉形式呈现信息的计算机的输出装置。显示装置可以采取计算机监视器、TV屏幕、投影仪、VR头戴送受话器、诸如智能电话或平板计算机等的手持式装置的屏幕的形式。显示装置可以是触摸屏。在一些实施例中，显示装置可以是如EP3163358A1中公开的“虚拟灯箱(virtual light booth)”，以便提供渲染场景的特别逼真的印象。
术语“数据库”指代可以由计算机系统电子地访问的有组织的数据的集合。在简单的实施例中，数据库可以是以任意格式的可搜索电子文件。示例包括Microsoft ExcelTM电子表格或可搜索的PDF文档。在更复杂的实施例中，数据库可以是由关系数据库管理系统使用比如SQL的语言维护的关系数据库。
术语“计算机”或“计算装置”指代可以经由程序被指示自动执行算术或逻辑运算的序列的任何装置。在没有限制的情况下，计算机可以采取台式计算机、笔记本计算机、平板计算机、智能电话、可编程数字信号处理器等的形式。计算机通常包括至少一个处理器和至少一个存储器装置。计算机可以是另一装置(诸如外观捕获装置)的子单元。计算机可以被配置为建立到另一计算机、包括用于查询数据库的计算机的有线或无线连接。计算机可以被配置为经由有线或无线连接耦合到数据输入装置(比如键盘或计算机鼠标)，或者耦合到数据输出装置(比如显示器或打印机)。
“计算机系统”要广义地理解为包含一个或多个计算机。如果计算机系统包括多于一个计算机，则这些计算机不一定需要在同一位置处。计算机系统内的计算机可以经由有线或无线连接彼此通信。
“处理器”是对外部数据源、特别是存储器装置执行操作的电子电路。
“存储器装置”或简称“存储器”是用于存储信息以供处理器使用的装置。存储器装置可以包括易失性存储器，如随机存取存储器(RAM)，以及非易失性存储器，如只读存储器(ROM)。在一些实施例中，存储器装置可以包括非易失性半导体存储器装置，诸如(E)EPROM或闪存装置，其可以采取例如存储卡或固态盘的形式。在一些实施例中，存储器装置可以包括具有机械组件的大容量存储装置，比如硬盘。存储器装置可以存储程序以供处理器执行。非易失性存储器装置也可以称为非易失性计算机可读介质。
“程序”是可以由处理器执行以执行特定任务的指令的集合。
“有线连接”是经由电导体的连接。有线连接可以包括一个或多个线缆。“无线连接”是包括没有通过电导体连接的两个或更多个点之间的信息的电磁传递的连接。无线连接包括经由WiFiTM、蓝牙TM、3G/4G/5G移动网络、光通信、红外等的连接。
对场景成像
图1示出了包括样本对象110和目标设备120的场景100的示意图。场景由自然或人工光源(发光体)300照射。使用移动电子装置200对其成像。
样本对象110定义了非平面样本表面。为简单起见，图1中仅示出该表面。样本表面可以具有任意形状。在本示例中，非平面样本表面被图示为仅沿一个方向弯曲。然而，样本表面可以沿多于一个方向任意弯曲。在一些实施例中，样本表面可以由样本对象上的油漆或涂层形成。
目标设备120包括多个颜色目标元件121、照射目标元件122和多个对准标记123。
每个颜色目标元件121具有预定的、已知的反射性质。特别地，每个颜色目标元件121的光谱反射与照射的方向和观察方向的相关性是已知的。例如，每个颜色目标元件121的BRDF的模型的参数是已知的。
照射目标元件122具有沿着至少两个不平行方向(即，沿着极坐标中的倾斜度和方位角)变化的多个表面法线。它的表面是光滑的或者至少是半光滑的，即它的BRDF具有明显的镜面分量。在本示例中，照射目标元件121具有半球形状。
对于目标设备120的可能实施例，特别是颜色目标元件121和照射目标元件122的可能实施例，参考US 10,049,294 B2。可以采用更复杂的颜色目标元件，例如包括质地、闪光等的颜色目标元件。
对准标记123可以是诸如十字的简单标记，或者它们可以被配置为如例如在S.Garrido-Jurado等人的“Generation of fiducial marker dictionaries using mixedinteger linear programming”，Pattern Recognition 51(2016)481-491中公开的基准标记。
在本示例中，目标设备120采取扁平卡片的形式。它可以是柔性的，从而允许它沿一个方向弯曲。它被直接定位在样本对象110的表面上，并且可以通过粘合剂或通过磁力保持在样本表面上。
发光体300可以是任何类型的光源，其提供足够宽带的光谱以使得能够辨别不同的颜色。例如，发光体300可以包括目光、一个或多个白炽灯、一个或多个放电灯、一个或多个LED等。场景中每个对象的照射条件是发光体与对象的环境的相互作用的结果。它们可能跨场景不同。
移动电子装置200包括以数码相机210的形式的成像装置和显示器220。在图1的示例中，移动电子装置200是平板计算机或智能电话，并且显示器是用作输入装置和输出装置两者的多点触摸显示器。在其他实施例中，移动电子装置200可以是具有集成显示器和相机的笔记本计算机或VR头戴送受话器。在又一其他实施例中，相机210和显示器220可以被包括在不同的装置中。例如，显示器可以是台式计算机的标准LCD显示器或笔记本计算机的显示器，并且分离的数码相机可以连接到台式计算机或笔记本计算机。然而，优选的是，相机和显示器被包括在单个装置中，因为以这种方式更加逼真的评估变得可能。
移动电子装置的硬件
图2示出了移动电子装置200的面向硬件的示意框图。移动电子装置包括相机210和显示器220。此外，移动电子装置包括形成计算机系统201的电子组件。如它是本领域中众所周知的那样，计算机系统201的各种组件经由一个或多个总线202通信。计算机系统201包括一个或多个处理器230。如它是本领域中众所周知的那样，处理器230可以包括例如单核或多核CPU和GPU。计算机系统201还包括一个或多个非易失性存储器装置240，诸如闪存装置和/或硬盘驱动器。非易失性存储器240尤其存储计算机系统201的操作系统241和一个或多个应用程序242。非易失性存储器240还存储程序数据和用户数据。数据尤其可以包括校准数据243，如将在下面更详细地解释的那样。计算机系统201还包括随机存取存储器(RAM)250和通信接口260。通信接口260可以包括例如以太网接口、WiFi接口、蓝牙TM接口等中的一个或多个。通信接口可以用于与远程服务器400的通信，远程服务器400进而可以访问数据库410。通信可以经由有线或无线网络进行，例如经由LAN或WAN、特别是经由互联网进行。计算机系统201还包括连接到相机210和显示器220的输入/输出接口270。
显示虚拟对象并将其视觉外观与成像的样本对象进行比较
图3图示了用于使用移动电子装置200在成像的场景100中显示虚拟对象140以便能够将虚拟对象140的预期视觉外观与样本对象110的视觉外观进行比较的计算机实现的方法的实施例。
在步骤501中，用户将元数据输入到移动电子装置200中，所述元数据标识和/或描述样本对象110。例如，如果样本对象是汽车部件，则用户可以输入汽车的车辆标识号(VIN)和相关汽车部件的标识符(例如，指定该部件是右后门的标识符)。在其他实施例中，用户使用移动电子装置200的相机210获取样本对象110的至少一个图像，并且移动电子装置200从样本对象110的图像中导出元数据。在又一其他实施例中，用户使用比如多角度分光光度计的外观捕获装置来确定样本对象110的外观属性，并将这些外观属性作为元数据输入到移动电子装置200中。这些和其他可能性也可以被组合以生成更详细的元数据。
在步骤502中，移动电子装置200使用通信接口260向服务器400传输元数据。服务器400接收元数据，并使用它们来定义合适的虚拟对象，并使用数据库410来确定相关联的外观属性和几何参数。例如，如果样本对象是涂有现有车漆的汽车部件，则数据库可以存储最近已经由一个或多个汽车制造商提供的所选车漆的已知外观属性，并且元数据可以标识现有车漆。服务器然后可以返回现有车漆的外观属性。在替代实施例中，服务器可以确定预期与现有车漆匹配的新候选车漆的配方。用于寻找候选配制方案的颜色配置算法通常是本领域中已知的。用于寻找候选配制方案的特别有利的方法在2020年7月7日提交的欧洲专利申请第EP20184560、EP20184561和EP20184562号中公开，其内容通过引用整体地并入本文中。服务器可以返回所述候选车漆的外观属性。相同的数据库或不同的数据库还可以例如以CAD数据的形式存储一个或多个汽车制造商的所有相关汽车部件的几何参数，并且服务器可以被配置为返回由来自数据库的元数据标识和/或描述的汽车部件的几何数据。
在步骤503中，移动电子装置200从服务器400接收虚拟对象的外观属性和几何数据。
在步骤504中，用户向移动电子装置200注册目标设备120。例如，用户可以将目标设备120的唯一标识符输入到移动电子装置200中，或者他可以扫描目标设备120的背面上的条码或QR码，或者优选地，使用目标设备的正面上的基准标记来标识它。然后，移动电子装置200可以从本地或远程数据库中检索如此标识的目标设备120的校准数据，并将它们作为校准数据243存储在非易失性存储器240中。校准数据243可以特别包括颜色目标元件121的已知颜色属性(例如以这些颜色目标元件的BRDF模型的参数的形式)。校准数据还可以包括描述照射目标元件122的表面法线图的几何数据以及该元件的反射数据，该反射数据可以再次采取照射目标元件122的表面的BRDF模型的参数的形式。用户然后将目标设备120放置在样本对象110上，从而创建场景100。
在步骤511中，用户使用移动电子装置200的相机210对场景100成像。
在步骤512中，移动电子装置200例如使用对准标记123和/或失真目标元件来处理成像的场景的包含目标设备120的部分，以确定观察条件。移动电子装置200还使用照射目标元件122(例如以全局照射的局部环境图的形式)来确定照射条件。对于细节，参考US10,049,294B2。
在步骤513中，移动电子装置200处理包含目标设备120的成像的场景的一部分，以确定颜色目标元件121的测得颜色。
在步骤514中，移动电子装置200考虑到照射和观察条件而基于颜色目标元件121的测得颜色和已知反射性质的比较来计算颜色变换参数。对于细节，参考US10,049,294B2。
在步骤515中，移动电子装置200针对在步骤512中确定的照射和观察条件，使用在步骤503中接收的几何参数和外观属性来渲染虚拟对象。它还以这样的方式将渲染的虚拟对象与成像的样本对象对准：使得当在显示器220上显示时，渲染的虚拟对象140的表面与样本对象110的成像表面一致。
在步骤516中，移动电子装置200使用在步骤514中确定的颜色变换参数将颜色变换应用于场景100的图像。对于细节，再次参考US10,049,294B2。作为颜色变换的结果，图像现在由与装置无关的颜色值来表示，所述颜色值已经针对例如相机210的非线性辐射响应和未知光谱灵敏度进行校正。
在步骤517中，成像的样本对象110和渲染的虚拟对象140的部分作为叠加一起显示在显示器220上(参见图1)。如图1中所图示，渲染的虚拟对象140的显示部分可以以这样的方式显示，即它在显示器220上替换成像的目标设备120，并且被成像的样本对象110的显示部分沿其整个周界完全包围。因为虚拟对象140的表面几何结构与样本对象110的表面几何结构一致，因此渲染的虚拟对象140的显示部分无缝地融入到成像的样本对象110的显示部分中。
增强现实环境
在一些实施例中，针对多个不同的照射条件和/或观察条件对场景进行成像。特别地，移动电子装置200相对于场景移动，以从多个不同的观察方向对样本对象110进行成像。通过从样本对象110获得图像数据，并以不同的观察角度渲染虚拟对象140，当用虚拟对象渲染时，场景将在成像的场景的情境中提供虚拟对象的视觉外观的更可靠的印象。
图4中图示了优选实施例。虽然未在图4中示出，但是最初可以如结合图3所描述的那样执行图3的步骤501和504。然后，步骤511至517至少执行一次。随后，连续重复步骤511、512、515、516和517，以在显示器220上创建连续的视频流，同时用户在步骤518中围绕样本对象110移动该移动电子装置200，以连续改变观察条件(图1中的箭头M)。此外，照射条件也可以改变，例如通过激活和/或移动一个或多个光源和/或通过旋转样本对象110。
当观察条件和/或照射条件改变时，用户观察显示器220并比较成像的样本对象110和渲染的虚拟对象140的显示部分的视觉外观。因此，用户在高度逼真的增强现实环境中比较无缝地一起显示在显示器220上的这些对象的视觉外观，使得能够非常可靠地预测来自不同观察角度和不同照射条件的虚拟对象140的外观，以及样本对象110和虚拟对象140的外观匹配得有多好。
不需要在每次迭代中重复步骤513和514，即确定颜色目标元件121的测得颜色和计算颜色变换参数。原则上，仅执行这些步骤一次就足够了。然而，至少周期性地或者甚至在每次迭代中重复这些步骤可能是有利的。例如，当照射条件和/或观察条件改变时，所确定的颜色变换参数可能稍微改变。在一些实施例中，可以对为不同迭代确定的颜色变换参数进行平均，并且可以将平均的颜色变换参数用于应用颜色变换。
试验对象的可选生产
如果判断该匹配足够好，则可选地可以使用虚拟对象的外观属性来生产实际的试验对象。因此，可以在现实中比较试验对象和样本对象的实际外观。应当注意，试验对象的几何参数不一定需要对应于虚拟对象的几何参数。例如，如果试验对象是受损汽车的替换部件，则样本对象110将是汽车的完整部件，而虚拟对象将是该完整部件的模型。另一方面，替换部件将用于替换汽车的受损部件，即替换部件(试验对象)的几何结构将通常不同于样本对象的几何结构。尽管如此，本公开的方法还是便于可靠地预测替换部件的外观是否将很好地融入到汽车的其余完整部件的外观中。
修改
虽然已经参考优选实施例描述了本发明，但是在不脱离本公开的范围的情况下，各种修改是可能的。
例如，颜色变换不一定需要应用于成像的场景(或成像的场景的一部分)。在替代实施例中，代之以，可以将逆颜色变换应用于虚拟对象(或其一部分)。这可以在渲染过程之前、期间或之后进行。如果相机210和显示器220以如下这样的方式被校准，则将逆颜色变换应用于虚拟对象可能是特别有利的：显示器220上的颜色印象对于由相机210拍摄的图像来说相当逼真，而如果提供装置无关的颜色值，则显示器上可能存在相当大的颜色偏差。在又一些其他实施例中，成像的场景(或其一部分)和虚拟对象两者都经历(subjected to)个体颜色变换，使得成像的场景100和渲染的虚拟对象140的颜色值实际上通过由步骤507中确定的颜色变换参数定义的颜色变换而彼此相关。
如果要比较虚拟对象的外观与样本对象的外观，则虚拟对象的几何结构不需要与样本对象的几何结构完全一致。如果虚拟对象的显示表面部分是样本对象的显示表面部分的连续延续，则这可能是足够的。虽然虚拟对象的显示表面部分被样本对象的显示表面部分完全包围是有利的，但这并不是严格必需的。只要虚拟对象和样本对象的显示部分沿着(直的或弯曲的)边界线相遇可能就足够了。
虽然已经参考了车辆的修理的情境中的应用，但是目前提出的方法、系统和计算机程序的许多其他应用是可能的。例如，目前提出的方法也可以应用于在实际生产新产品之前在逼真环境中将新产品可视化。
虚拟对象可以包括具有比如织物的坚固质地的-种或多种材料。如果要将这样的对象与样本对象进行比较，则除了纯色目标元件之外，目标设备可以包括具有特性已知的质地的质地目标元件，以便能够更好地表征样本对象的质地。目标设备还可以包括如US9，823，131中公开的滤波器。
在不脱离本公开的范围的情况下，更多的的修改是可能的。
参考标记的列表
100 场景
110 样本对象
120 目标设备
121 颜色目标元件
122 照射目标
123 对准标记
200 移动电子装置
201 总线系统
210 相机
220 显示器
230 处理器
240 非易失性存储器
241 操作系统数据
242 程序数据
243 校准数据
250 RAM
260 通信接口
300 发光体
400 服务器
410 数据库
501-518 过程步骤

Claims (15)

1.一种用于在成像的场景(100)中显示虚拟对象(140)的方法，所述方法包括：
a)使用成像装置(210)对场景(100)成像，所述场景包括目标设备(120)，所述目标设备(120)包括具有已知反射性质的一组颜色目标元件(121)和具有相对于所述颜色目标元件(121)的多个已知表面法线的一组一个或多个照射目标元件(122)；
b)使用成像的目标设备(120)处理所述场景(100)的至少一个图像，以确定所述场景(100)的照射和观察条件；
c)处理所述场景(100)的至少一个图像，以确定所述颜色目标元件(121)的测得颜色；
d)考虑到所确定的照射和观察条件，基于所述颜色目标元件(121)的测得颜色和已知反射性质的比较来计算颜色变换参数；
e)针对所确定的照射和观察条件渲染所述虚拟对象(140)；
f)将渲染的虚拟对象(140)与成像的场景(100)对准；
g)使用计算的颜色变换参数将颜色变换应用于成像的场景(100)或者将逆颜色变换应用于虚拟对象(140)；以及
h)在显示装置(220)上显示渲染的虚拟对象(140)的至少一部分与成像的场景(100)的至少一部分的叠加。
2.根据权利要求1所述的方法，其中，所述场景(100)包括样本对象(110)，并且其中，与样本对象(110)的非平面表面部分相邻地显示渲染的虚拟对象(140)的非平面表面部分，渲染的虚拟对象(140)的非平面表面部分具有对应于样本对象(110)的非平面表面部分的连续延续的形状。
3.根据权利要求2所述的方法，其中，所述目标设备(120)位于样本对象(110)的表面上。
4.根据前述权利要求中的任一项所述的方法，其中，渲染的虚拟对象(140)的显示部分被显示在显示装置(220)上所述目标设备(120)位于成像的场景(100)中的位置中。
5.根据前述权利要求中的任一项所述的方法，包括：
j)改变所述场景的照射和/或观察条件；以及
k)对于改变的照射条件和/或观察条件，至少重复步骤a)、b)和e)至g)。
6.根据权利要求5所述的方法，其中，至少步骤a)、b)和e)至g)被连续重复，使得渲染的虚拟对象(140)的至少一部分与成像的场景(100)的至少一部分的叠加以连续视频流的形式显示在显示装置(220)上，特别是在照射条件和/或观察条件改变时实时显示。
7.根据前述权利要求中的任一项所述的方法，其中，采用移动电子装置(200)用于成像和显示两者，所述移动电子装置(200)包括成像装置(210)和显示装置(220)。
8.根据前述权利要求中的任一项所述的方法，包括：
将描述样本对象(110)的元数据传输到服务器；以及
响应于所传输的元数据，从服务器返回虚拟对象(140)的外观属性。
9.一种用于在成像的场景(100)中显示虚拟对象(140)的系统，所述系统包括：
目标设备(120)，所述目标设备(120)包括具有已知反射性质的一组颜色目标元件(121)和具有多个已知表面法线的至少一个照射目标元件(122)：
成像装置(210)；
显示装置(220)；以及
计算机系统，其被配置为执行以下步骤：
a)使成像装置(210)对场景(100)成像，所述场景(100)包括目标设备(120)；
b)处理所述场景(100)的至少一个图像，以确定所述场景(100)的照射和观察条件；
c)处理所述场景(100)的至少一个图像，以确定所述颜色目标元件(121)的测得颜色；
d)考虑到所确定的照射和观察条件，基于所述颜色目标元件(121)的测得颜色和已知反射性质的比较来计算颜色变换参数；
e)针对所确定的照射和观察条件渲染虚拟对象(140)；
f)将渲染的虚拟对象(140)与成像的场景(100)对准；
g)使用计算的颜色变换参数将颜色变换应用于成像的场景(100)或者将逆颜色变换应用于虚拟对象(140)；以及
h)使显示装置(220)显示渲染的虚拟对象(140)的至少一部分与成像的场景(100)的至少一部分的叠加。
10.根据权利要求9所述的系统，其中，所述计算机系统被配置为使所述显示装置(220)与所述场景(100)中的样本对象(110)的非平面表面部分相邻地显示渲染的虚拟对象(140)的非平面表面部分，渲染的虚拟对象(140)的非平面表面部分具有与所述样本对象(110)的非平面表面部分的连续延续相对应的形状。
11.根据权利要求9或10所述的系统，其中，所述计算机系统被配置为使所述显示装置(220)将渲染的虚拟对象(140)的显示部分显示在所述目标设备(120)位于所述成像的场景(100)中的位置中。
12.根据权利要求9至11中的任一项所述的系统，其中，所述计算机系统被配置为至少多次重复步骤a)、b)和e)至g)。
13.根据权利要求12所述的系统，其中，所述计算机系统被配置为至少连续地重复步骤a)、b)和e)至g)，使得渲染的虚拟对象(140)的至少一部分与成像的场景(100)的至少一部分的叠加以连续视频流的形式显示，特别是实时显示。
14.根据权利要求9至13中的任一项所述的系统，包括移动电子装置(200)，所述移动电子装置(200)包括成像装置(210)和显示装置(220)。
15.一种包括程序指令的计算机程序产品，所述程序指令在由至少一个处理器(230)执行时使所述至少一个处理器(230)执行以下动作：
a)使成像装置(210)对包括目标设备(120)的场景(100)成像，所述目标设备(120)包括具有已知反射性质的一组颜色目标元件(121)和具有多个已知表面法线的至少一个照射目标元件(122)；
b)处理所述场景(100)的至少一个图像，以确定所述场景(100)的照射和观察条件；
c)处理所述场景(100)的至少一个图像，以确定颜色目标元件(121)的测得颜色；
d)考虑到所确定的照射和观察条件，基于所述颜色目标元件(121)的测得颜色和已知反射性质的比较来计算颜色变换参数；
e)针对所确定的照射和观察条件渲染虚拟对象(140)；
f)将渲染的虚拟对象(140)与成像的场景(100)对准；
g)使用计算的颜色变换参数将颜色变换应用于成像的样本对象(110)或者将逆颜色变换应用于虚拟对象(140)；以及
h)使显示装置(220)同时显示成像的样本对象(110)的至少一部分和渲染的虚拟对象(140)的至少一部分。
CN202180062145.2A 2020-07-10 2021-07-07 在真实场景中显示虚拟对象 Pending CN116057581A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20185290.2 2020-07-10
EP20185290.2A EP3937138A1 (en) 2020-07-10 2020-07-10 Displaying a virtual object in a real-life scene
PCT/IB2021/056094 WO2022009117A1 (en) 2020-07-10 2021-07-07 Displaying a virtual object in a real scene

Publications (1)

Publication Number Publication Date
CN116057581A true CN116057581A (zh) 2023-05-02

Family

ID=71607708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180062145.2A Pending CN116057581A (zh) 2020-07-10 2021-07-07 在真实场景中显示虚拟对象

Country Status (4)

Country Link
US (1) US20230260236A1 (zh)
EP (2) EP3937138A1 (zh)
CN (1) CN116057581A (zh)
WO (1) WO2022009117A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4336157A1 (en) * 2022-09-06 2024-03-13 X-Rite Europe GmbH Method and system for color formulation
CN116958766B (zh) * 2023-07-04 2024-05-14 阿里巴巴（中国）有限公司 图像处理方法及计算机可读存储介质
CN117395510B (zh) * 2023-12-12 2024-02-06 湖南快乐阳光互动娱乐传媒有限公司 虚拟机位的控制方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1218706A1 (en) 1999-10-05 2002-07-03 Akzo Nobel N.V. Methods for colour matching by means of an electronic imaging device
US7145656B2 (en) 2003-12-15 2006-12-05 E. I. Du Pont De Nemours And Company Computer-implemented method for matching paint
WO2010125023A1 (en) 2009-04-28 2010-11-04 Akzo Nobel Coatings International B.V. Display of effect coatings on electronic display devices
US8953037B2 (en) 2011-10-14 2015-02-10 Microsoft Corporation Obtaining spatially varying bidirectional reflectance distribution function
EP2795273A1 (en) 2011-12-21 2014-10-29 Akzo Nobel Coatings International B.V. Colour variant selection method using a mobile device
US10049294B2 (en) 2015-01-30 2018-08-14 X-Rite Switzerland GmbH Imaging apparatus, systems and methods
US9823131B2 (en) 2015-06-02 2017-11-21 X-Rite Switzerland GmbH Sample target for improved accuracy of color measurements and color measurements using the same
EP3163358B1 (de) 2015-10-29 2018-03-28 X-Rite Switzerland GmbH Visualisierungsvorrichtung
US11080552B2 (en) 2018-09-18 2021-08-03 Axalta Coating Systems Ip Co., Llc Systems and methods for paint match simulation

Also Published As

Publication number Publication date
US20230260236A1 (en) 2023-08-17
EP3937138A1 (en) 2022-01-12
EP4179507A1 (en) 2023-05-17
WO2022009117A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
US11080552B2 (en) Systems and methods for paint match simulation
EP2833327B1 (en) Method and system for digitally generating appearance data
US20230260236A1 (en) Displaying a virtual object in a real-life scene
AU2010243717B2 (en) Display of effect coatings on electronic display devices
JP7374211B2 (ja) 双方向テクスチャ関数の生成
Kim et al. Computer-aided appearance design based on BRDF measurements
US20230237738A1 (en) Visualizing the appearance of at least two materials in a hetergeneous measurement environment
US20230343051A1 (en) Visualizing the appearances of at least two materials
US20230260193A1 (en) Generating a destination texture from a plurality of source textures
Sitnik et al. Processing paths from integrating multimodal 3D measurement of shape, color and BRDF
EP4209998A1 (en) Method, computer and computer program for modifying texture images
JP7412610B2 (ja) 双方向テクスチャ関数の使用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination