CN117716391A - 用于预测涂覆有至少一层彩色涂层的物体在不同照明条件下的外观的方法和系统 - Google Patents
用于预测涂覆有至少一层彩色涂层的物体在不同照明条件下的外观的方法和系统 Download PDFInfo
- Publication number
- CN117716391A CN117716391A CN202280052719.2A CN202280052719A CN117716391A CN 117716391 A CN117716391 A CN 117716391A CN 202280052719 A CN202280052719 A CN 202280052719A CN 117716391 A CN117716391 A CN 117716391A
- Authority
- CN
- China
- Prior art keywords
- color
- data
- display device
- digital representation
- lighting conditions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 190
- 238000000576 coating method Methods 0.000 title claims description 141
- 239000011248 coating agent Substances 0.000 title claims description 138
- 238000009500 colour coating Methods 0.000 claims abstract description 283
- 238000004891 communication Methods 0.000 claims description 173
- 238000005286 illumination Methods 0.000 claims description 147
- 230000007613 environmental effect Effects 0.000 claims description 77
- 238000009877 rendering Methods 0.000 claims description 76
- 230000003595 spectral effect Effects 0.000 claims description 58
- 230000002452 interceptive effect Effects 0.000 claims description 56
- 239000003086 colorant Substances 0.000 claims description 47
- 238000005259 measurement Methods 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 38
- 239000003973 paint Substances 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 230000004075 alteration Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 description 97
- 230000006870 function Effects 0.000 description 43
- 230000000875 corresponding effect Effects 0.000 description 42
- 230000008859 change Effects 0.000 description 33
- 230000000007 visual effect Effects 0.000 description 27
- 239000010410 layer Substances 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 238000004519 manufacturing process Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 239000000203 mixture Substances 0.000 description 21
- 238000012545 processing Methods 0.000 description 20
- 239000002966 varnish Substances 0.000 description 20
- 239000000049 pigment Substances 0.000 description 18
- 238000013500 data storage Methods 0.000 description 17
- 239000004615 ingredient Substances 0.000 description 15
- 238000009472 formulation Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 230000005855 radiation Effects 0.000 description 8
- 239000000758 substrate Substances 0.000 description 7
- 239000011230 binding agent Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000011247 coating layer Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 239000008199 coating composition Substances 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001035 drying Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 239000002987 primer (paints) Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000002904 solvent Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003916 acid precipitation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 239000012298 atmosphere Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 239000003431 cross linking reagent Substances 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006224 matting agent Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本文描述的方面总体上涉及用于预测涂覆有至少一层彩色涂层的物体在不同照明条件下的外观的方法和系统。更具体地,本文描述的方面涉及通过预测涂覆物体在用户选择的照明条件下的外观并显示涂覆物体的预测外观,从而使用显示设备来显示涂覆物体的外观。
Description
技术领域
本文描述的方面总体上涉及用于预测涂覆有至少一层彩色涂层的物体在不同照明条件下的外观的方法和系统。更具体地,本文描述的方面涉及通过预测涂覆物体在用户选择的照明条件下的外观并显示涂覆物体的预测外观,从而使用显示设备来显示涂覆物体的外观。
背景技术
表面为物体提供了外观,因为表面将入射光反射到观察者的眼睛中,从而根据表面的反射和吸收性质引起对物体的视觉印象。例如,反射回所有光线的表面在观察者看来是白色的,而吸收所有光线的表面则是黑色的。人类所感知的所有其他颜色都是由于物体表面对光线的吸收和反射共同作用的结果。
例如,可以通过将彩色涂层施涂到物体的表面来改变物体的视觉印象。在这种情况下,视觉印象由彩色涂层决定。车辆,特别是陆地车辆,比如汽车、摩托车和卡车车身,通常要经过多层涂层处理,以增强车辆的外观并提供防腐蚀、防划痕、防破裂、防紫外线、防酸雨和其他环境条件的保护。
所述涂层通常是复合涂层系统,需要施涂多层涂层才能实现上述效果。对于金属基材,通常将电泳漆施涂在基材上并固化。然后该电泳漆以固化的底漆涂层或以未固化的第一彩色色漆进行涂覆,然后在未固化或“湿”的第一和/或另外的彩色色漆上施涂另外的彩色色漆和清漆或着色清漆。对于塑料基材,将底漆涂层施涂在基材上并固化,然后将至少一层另外的彩色色漆涂层和清漆或未着色清漆施涂在未固化或“湿”的(多个)彩色色漆涂层上。然后将所施涂的(多个)色漆涂层和清漆涂层一起固化。因此,这种系统通常被描述为“湿对湿”、“两涂一烘”或“三涂一烘”。在涂层的施涂之间可以使用未完全固化的干燥工艺。颜色的视觉外观通常是通过包括彩色和/或效果颜料的彩色色漆涂层来实现的。
然而,彩色物体(比如涂覆有至少一层彩色涂层的物体)的视觉印象在不同照明条件下可能会变化。这是因为光源的光谱功率分布(即,光源的各种波长的相对功率)可能会改变,并且光反射到人类观察者的眼睛中的方式也会改变。然而,这会影响视觉印象,从而影响人类观察者感知到的涂覆汽车的颜色。另外,光源的功率也可能影响其所照射的物体的感知颜色。因此,取决于光源和用于照射彩色物体的光源的功率,对颜色的感知会有所不同。例如,自然光可能会因天气、季节、一天中的时间、太阳在天空中的位置、物体的位置、物体的周围环境等而发生很大变化。因此,在晴天条件下感知到的彩色物体的颜色可能与在阴天条件下感知到的相同颜色物体的颜色不同。
由于对汽车的整体视觉印象是消费者在购买决策期间的重要标准之一,因此汽车设计师和汽车销售商通常通过使用专门设计的照明条件(比如具有限定功率和波长光谱的人造光源,例如荧光灯和白炽灯泡、卤素灯泡和LED光照)来使视觉印象更具吸引力。然而,由照明条件导致的颜色感知变化的程度与颜色高度相关,因此要选择适当的照明条件,可能需要对不同的照明条件进行多次试验,以找到最佳解决方案。此外,通常在展厅中展示各种颜色的汽车,因此必须选择展厅的照明条件,以使得所展示的每种颜色看起来都很有吸引力。因此,选择适当的照明条件可能是一项耗时且成本高昂的任务。另外,越来越多的客户要求在现实生活照明条件下(即,室外或车库内)观看汽车,以确定视觉印象是否符合预期。然而,这并不总是可能的,因为汽车销售商可能并不总是提供期望颜色的展示车。
因此,期望提供基于计算机的方法和系统,其允许诸如汽车颜色设计师或汽车销售商等用户在各种照明条件下模拟或预测颜色、特别是汽车颜色的视觉印象,而无需实际安装不同的照明条件来确定最佳照明条件。此外,期望提供基于计算机的方法和系统,其允许客户确定客户想要购买的物体(特别是彩色汽车)在现实生活条件(即,客户所在位置的自然光照)下是否具有所期望的视觉印象,从而确保客户在购买后不会因物体(尤其是彩色汽车)在现实光照条件下的视觉印象而感到失望。最后,希望提供基于计算机的方法和系统,其能减少销售商为在销售之前向客户提供可用颜色的概览而需要展示的彩色物体(特别是彩色汽车)的数量。
定义
“外观”是指观察者眼中的涂覆物体的视觉印象,包括表面的光谱和几何方面与其照明和观看环境相结合的感知。一般而言,外观包括颜色、视觉纹理(比如由效果颜料引起的粗糙度、闪光或表面的其他视觉效果),尤其是当从不同的观看角度和/或在不同的照明角度下观看时。
“数字表示”可以指彩色涂层和照明条件的计算机可读形式的表示。特别地,彩色涂层的数字表示包括如稍后所述通过使用捕获的光谱反射率数据优化初始双向纹理函数(BTF)而获得的优化的BTF。彩色涂层的数字表示可以包括其他数据,例如关于用于制备彩色涂层的涂层材料的配方的数据、颜色代码数据、颜色名称数据、或其组合。关于用于制备彩色涂层的涂层材料的配方的数据可以包括关于存在于涂层材料中的至少一部分成分的类型和量的数据。照明条件的数字表示可以例如包括:指示数据、时间、位置、天空雾度的数据,从至少一个照明和/或取向和/或有利点传感器获取的数据,至少一个高动态范围(HDR)环境贴图,及其组合。(多个)环境贴图可以是例如存储在数据库中的预定义的(多个)HDR环境贴图。
“显示设备”是指以视觉或触觉形式(后者可以在用于盲人的触觉电子显示器中使用)呈现信息的输出设备。“显示设备的屏幕”是指显示设备的物理屏幕和投影显示设备的投影区域等。
“交互元素”可以指被配置为接收用户输入的元素。
“通信接口”可以指用于建立诸如传输或交换信号或数据等通信的软件和/或硬件接口。软件接口可以是例如函数调用、API。通信接口可以包括收发器和/或接收器。通信可以是有线的,也可以是无线的。通信接口可以基于或者支持一种或多种通信协议。通信协议可以是无线协议,例如:短距离通信协议,比如或WiFi,或长距离通信协议,比如蜂窝或移动网络,例如第二代蜂窝网络(“2G”)、3G、4G、长期演进(“LTE”)或5G。可替代地或另外,通信接口甚至可以基于专有的短距离或长距离协议。通信接口可以支持任何一种或多种标准和/或专有协议。
“计算机处理器”是指被配置为执行计算机或系统的基本操作的任意逻辑电路,和/或一般地是指被配置为执行计算或逻辑操作的设备。特别地,处理装置或计算机处理器可以被配置为处理驱动计算机或系统的基本指令。作为实例,处理装置或计算机处理器可以包括至少一个算术逻辑单元(“ALU”)、至少一个浮点单元(“FPU”)(比如数学协处理器或数字协处理器)、多个寄存器(具体是被配置为将运算元供应给ALU并存储运算的结果的寄存器)以及存储器(比如L1和L2缓存存储器)。特别地,处理装置或计算机处理器可以是多核处理器。具体地,处理装置或计算机处理器可以是或可以包括中央处理单元(“CPU”)。处理装置或计算机处理器可以是复杂指令集计算微处理器(“CISC”)、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、或实施其他指令集的处理器、或实施指令集组合的处理器。处理装置还可以是一个或多个专用处理器件,比如专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)、复杂可编程逻辑器件(“CPLD”)、数字信号处理器(“DSP”)、网络处理器等。本文描述的方法、系统和设备可以被实施为DSP、微控制器或任何其他辅助处理器中的软件,或者被实施为ASIC、CPLD或FPGA内的硬件电路。应当理解,除非另有规定,术语“处理装置或处理器”还可以指一个或多个处理设备,比如位于多个计算机系统(例如,云计算)上的处理设备的分布式系统,并且不限于单个设备。
发明内容
从某种角度来看,为了解决上述问题,提出以下解决方案:
一种用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备上显示所预测的外观的计算机实施的方法,所述方法包括以下步骤:
(i)经由通信接口向计算机处理器提供彩色涂层的数字表示;
(ii)通过以下方式提供照明条件的数字表示
-在该显示设备上显示包括多个照明条件的图形用户界面;
-利用该计算机处理器检测指示从该多个显示的照明条件中选择照明条件的用户输入,以及
-响应于所检测到的用户输入,利用该计算机处理器经由该通信接口检索与所检测到的用户输入相关联的照明条件的数字表示;
(iii)可选地,经由该通信接口向该计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型;
(iv)基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据;以及
(v)在该显示设备上显示从该计算机处理器接收的所生成的颜色数据。
从某种角度来看,为了进一步解决上述问题,提出以下解决方案:
一种用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备上显示所预测的外观的方法,所述方法包括以下步骤:
(i)经由通信接口向计算机处理器提供彩色涂层的数字表示,其中,该彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率取决于照明方向和观察方向的空间纹理图像的表
分割成项和项/>进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差;
(ii)通过以下方式提供照明条件的数字表示
-在该显示设备上显示包括多个照明条件的用户界面;
-利用该计算机处理器检测指示从该多个显示的照明条件中选择照明条件的用户输入,以及
-响应于所检测到的用户输入,利用该计算机处理器经由该通信接口检索与所检测到的用户输入相关联的照明条件的数字表示;
(iii)可选地,经由该通信接口向该计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型;
(iv)基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据;以及
(v)在该显示设备上显示从该计算机处理器接收的所生成的颜色数据。
根据本发明的方法和系统的重要优点在于,它们允许预测涂覆有至少一层彩色涂层的物体(特别是汽车车身)在不同照明条件下的视觉印象,从而允许光设计人员快速选择必要的照明条件,以增加彩色涂层物体的吸引力,而无需物理安装和优化各种光源。此外,这些方法和系统允许客户在购买之前快速检查彩色物体(特别是彩色汽车)在现实生活条件下(比如室外或室内,例如车库等)是否具有期望的视觉印象,从而减少购买后潜在的失望。最后,这些方法和系统使得销售商无需提供各种颜色的物体,使得客户可以在购买之前查看可用的颜色并选择期望的颜色,从而减少展览空间以及与展览空间相关联的成本。
根据第一实施例,进一步披露的是
一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:
-可选地,用于向计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型的通信接口;
-用于向该计算机处理器提供彩色涂层的数字表示和照明条件的数字表示的至少一个通信接口;
-包括屏幕的显示设备;
-用于检测用户输入的交互元素;
-可选地,至少一个照明传感器和/或适合于感测该显示设备的取向的至少一个取向传感器和/或适合于感测持有该显示设备的用户的有利点的至少一个有利点传感器;
-与该通信接口、该显示设备以及可选地该至少一个照明和/或取向和/或有利点传感器通信的处理器,该处理器被编程为:
o经由该通信接口接收该彩色涂层的数字表示;
ο生成包括多个照明条件的用户界面呈现,检测指示从该多个显示的照明条件中选择照明条件的用户输入,并且响应于所检测到的用户输入来检索与所检测到的用户输入相关联的照明条件的数字表示;
ο可选地,根据检索到的照明条件的数字表示和接收到的(多个)模型来计算该显示设备周围的环境照明条件;以及
ο基于接收到的该彩色涂层的数字表示以及接收到的该照明条件的数字表示或所计算的该显示设备周围的环境照明条件,生成该彩色涂层的颜色数据,
其中,该显示设备从该处理器接收所生成的用户界面呈现和所生成的该彩色涂层的颜色数据,并显示所生成的用户界面呈现和颜色数据,并且
其中,该彩色涂层的数字表示包括通过结合上述的发明方法的步骤(i)描述的步骤获得的优化的双向纹理函数(BTF)。
该处理器可以是显示设备的处理器,即,该处理器可以存在于容纳屏幕的显示设备的外壳内,或者该处理器可以存在于显示设备外部,例如在另一计算设备中,比如云计算设备中。如果显示设备的处理器的计算能力不足以生成颜色数据以及可选地在生成颜色数据之前计算环境照明条件,则这可能是优选的。
根据替代实施例,进一步披露的是
一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:
-可选地,用于向计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型的通信接口;
-用于向这些计算机处理器提供彩色涂层的数字表示和照明条件的数字表示的至少一个通信接口;
-包括屏幕的显示设备;
-用于检测用户输入的交互元素;
-可选地,至少一个照明传感器和/或适合于感测该显示设备的取向的至少一个取向传感器和/或适合于感测持有该显示设备的用户的有利点的至少一个有利点传感器;
-与该通信接口、该显示设备以及可选地该至少一个照明和/或取向和/或有利点传感器通信的第一处理器,该处理器被编程为:
ο生成包括多个照明条件的用户界面呈现,检测指示从该多个显示的照明条件中选择照明条件的用户输入,并且响应于所检测到的用户输入来检索与所检测到的用户输入相关联的照明条件的数字表示;
ο可选地,根据检索到的照明条件的数字表示和接收到的(多个)模型来计算该显示设备周围的环境照明条件;以及
-与该通信接口和该第一处理器通信的第二处理器,该第二处理器被编程为:
ο经由该通信接口接收该彩色涂层的数字表示和照明条件的数字表示或利用该第一处理器计算的环境照明条件;
ο基于接收到的该彩色涂层的数字表示以及接收到的照明条件的数字表示或从该第一处理器接收的所计算的环境照明条件,生成该彩色涂层的颜色数据,
其中,该显示设备从该处理器接收所生成的该彩色涂层的颜色数据,并显示所生成的颜色数据,并且
其中,该彩色涂层的数字表示包括通过结合上述的发明方法的步骤(i)描述的步骤获得的优化的双向纹理函数(BTF)。
根据又一个替代实施例,进一步披露的是
一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:显示器;一个或多个计算节点;以及一个或多个计算机可读介质,其上具有计算机可执行指令,这些指令被构造为当由该一个或多个计算节点执行时使该系统执行本文描述的发明方法。
进一步披露的是:
一种非暂态计算机可读存储介质,该计算机可读存储介质包括指令,这些指令当被计算机执行时,使该计算机执行根据本文所述的计算机实施的方法的步骤。
该披露内容同样适用于本文披露的系统、方法、计算机程序、计算机可读非暂态介质、计算机程序产品。因此,系统、方法、计算机程序、计算机可读非易失性存储介质或计算机程序产品之间没有区别。结合方法披露的所有特征同样适用于本文披露的系统、计算机程序、计算机可读非暂态存储介质和计算机程序产品。
进一步披露的是本文披露的方法或本文披露的系统用于预测涂覆有至少一层彩色涂层的物体的外观的用途。
进一步披露的是一种涂覆有至少一层涂层的物体,其中,根据本文披露的方法来预测至少一层涂层的颜色。
实施例
本发明方法的实施例:
至少一层彩色涂层可以存在于物体的至少一部分表面上。物体的至少一部分表面上存在彩色涂层应如下理解:彩色涂层被布置在物体的至少一部分表面上。然而,与物体的至少一部分表面的直接接触不是必需的。因此,在彩色涂层与物体之间可以存在其他涂层,比如先前描述的固化电泳漆或底漆层。
至少一层彩色涂层可以是色漆层或着色清漆层。“色漆层”可以指汽车喷漆和一般工业喷漆中常用的用于赋予颜色的固化中间涂层。用于制备色漆层的色漆材料可以配制为纯色(单色)或效果色涂层。“效果色涂层”通常包含至少一种效果颜料和可选地给出期望颜色和效果的其他彩色颜料或球体。“单色”或“纯色涂层”主要包含彩色颜料,并且不会表现出可见的随角异色或双色调金属效果。色漆层是通过将色漆材料施涂至可选地包含至少一层固化涂层的金属或塑料基材上、干燥所施涂的色漆材料并固化所形成的色漆膜而形成的。“着色清漆层”可以指既不像清漆层那样完全透明且无色、也不像典型的着色色漆那样完全不透明的固化涂层。因此,着色清漆层是透明且彩色的或半透明且彩色的。可以通过添加少量在色漆涂层材料中常用的颜料来实现颜色。着色清漆层是通过将着色清漆材料施涂到通常包括至少一层涂层(比如彩色色漆层)的基材上、干燥所施涂的着色清漆材料并固化所形成的着色清漆膜而形成的。
该物体可以是汽车或其一部分。术语“汽车”是指诸如轿车、面包车、小型货车、公共汽车、SUV(运动型多用途车)等汽车;卡车;半挂卡车;牵引车;摩托车;拖车;ATV(全地形车);皮卡车;重型搬运车,比如推土机、移动式起重机和运土车;飞机;船只;船舶;以及通常涂有至少一层涂层的其他运输模式。
在一方面,显示设备包括容纳屏幕和在步骤(i)至(v)中使用的计算机处理器的外壳。因此,显示设备包括计算机处理器和屏幕。外壳可以由塑料、金属、玻璃或其组合制成。
在替代方面,显示设备和执行步骤(i)至(iv)或步骤(ii)至(iv)或步骤(iv)的计算机处理器被配置为单独的部件。根据该方面,显示设备包括容纳屏幕但不容纳执行本发明方法的步骤(i)至(iv)或步骤(ii)至(iv)或步骤(iv)的计算机处理器的外壳。因此,执行本发明方法的步骤(i)至(iv)或步骤(ii)至(iv)或步骤(iv)的计算机处理器与显示设备分开存在,例如存在于另一计算设备中。显示设备的计算机处理器和另一计算机处理器经由通信接口连接以允许数据交换。使用存在于显示设备外部的另一计算机处理器允许使用比显示设备的处理器所提供的计算能力更高的计算能力,从而减少执行这些步骤所需的计算时间,并因此减少直到所生成的颜色数据显示在显示设备的屏幕上为止的总时间。这允许在修改照明条件时实时或接近实时地显示彩色物体的外观的变化,从而导致用户直观且高效地选择期望的外观,特别是产生期望外观的颜色和/或照明条件。该另一计算机处理器可以位于服务器上,使得本发明方法的步骤(i)至(iv)或步骤(ii)至(iv)或步骤(iv)在云计算环境中执行。在这种情况下,显示设备用作客户端设备并且经由诸如互联网等网络连接到服务器。“客户端设备”可以指计算机或程序,该计算机或程序作为其操作的一部分依赖于向访问由服务器提供的服务的另一个程序或计算机硬件或软件发送请求。优选地,服务器可以是HTTP服务器并且经由传统的基于web的互联网技术来访问。如果向客户提供设计由彩色涂层材料产生的彩色涂层的颜色的服务,则基于互联网的系统是特别有用的。
显示设备可以是移动或固定显示设备,优选地是移动显示设备。固定显示设备包括计算机监视器、电视屏幕、投影仪等。移动显示设备包括膝上型计算机或手持设备,比如智能电话和平板计算机。
显示设备的屏幕可以根据具有合适的分辨率和色域的任何发射式或反射式显示技术来构造。合适的分辨率例如是每英寸72点(dpi)或更高,比如300dpi、600dpi、1200dpi、2400dpi或更高。这保证了所生成的颜色数据能够以高质量显示。合适的宽色域是标准红绿蓝(sRGB)或更大的色域。在各种实施例中,可以选择具有与人类视觉可感知的色域类似色域的屏幕。在一方面,显示设备的屏幕是根据液晶显示(LCD)技术构造的,特别是根据进一步包括触摸屏面板的液晶显示(LCD)技术构造的。LCD可以由任何合适的照明源进行背光照明。然而,可以通过选择一个或多个发光二极管(LED)背光来加宽或以其他方式改善LCD屏幕的色域。在另一方面,显示设备的屏幕是根据发光聚合物或有机发光二极管(OLED)技术构造的。在又一方面,显示设备的屏幕可以根据反射式显示技术(比如电子纸或墨水)来构造。已知的电子墨水/纸显示器制造商包括E INK和XEROX。优选地,显示设备的屏幕还具有合适的宽视场,这允许其生成当用户从不同角度观看屏幕时不会严重褪色或改变的图像。由于LCD屏幕是通过偏振光工作的,因此某些型号表现出高度的观看角度依赖性。然而,各种LCD结构具有相对较宽的视场并且因此可能是优选的。例如,根据薄膜晶体管(TFT)技术构造的LCD屏幕可以具有合适的宽视场。此外,根据电子纸/墨水和OLED技术构造的屏幕可能具有比许多LCD屏幕更宽的视场,并且可以因此而被选择。
在又一个替代方面,显示设备是被配置为将所提供的彩色涂层的数字表示和/或照明条件的数字表示和/或所生成的颜色数据投影(例如显示)在投影区域上的投影显示设备。在这种情况下,投影区域对应于如前所述的显示设备的屏幕。用于投影(多个)数字表示和/或所生成的颜色数据的投影表面可以是2D或3D表面,比如平坦的墙壁或桌子、汽车或其一部分、或限定的3D空间。在一个实例中,所生成的颜色数据可以被投影到呈汽车或其一部分的形式的3D表面上。3D表面可以是彩色的、半透明的或透明的。在另一实例中,所生成的颜色数据可以由投影设备使用3D全息图技术来显示,其中,通过下述渲染过程获得的彩色3D物体(比如汽车或其一部分)被自由地投影在预定义的空间中并且可以无需3D眼镜等即可观看。使用与要设计外观的物体的形状相对应的投影表面或使用彩色全息图可以增强所生成的外观的可视化,因为用户可以直接将彩色物体的外观与物体的期望视觉外观进行比较。可以利用投影显示设备经由图像检测系统来检测投影表面上的用户输入。用于投影图像和/或投影图像并检测用户与这些图像的交互的合适的投影显示设备在现有技术中是众所周知的。
在又一方面,包括容纳屏幕的外壳的显示设备和如前所述的投影显示设备可以组合使用。在一个实例中,包括容纳屏幕的外壳的显示设备可以用于步骤(i)至(iv),而投影显示设备可以用于在步骤(v)中显示所生成的颜色数据。在另一实例中,投影显示设备可以用于步骤(i)至(iv),而包括容纳屏幕的外壳的显示设备可以用于在步骤(v)中显示所生成的颜色数据。
显示设备可以包括交互元素以促进用户与显示设备的交互。在一个实例中,交互元素可以是物理交互元素,比如输入设备或输入/输出设备,特别是鼠标、键盘、轨迹球、触摸屏或其组合。在另一实例中,交互元素可以是接收呈手势形式(比如手指手势或手的运动)的用户输入的投影区域。
在一方面,步骤(iv)和(v)是同时执行的。“同时”是指计算机处理器执行步骤(iv)以及显示设备显示所生成的颜色数据所花费的时间。优选地,该时间足够小,使得用户可以在合理的时间内(比如长达几秒,特别是长达一秒)立即看到照明条件的变化对彩色物体的所显示外观的影响,从而允许交互地改变照明条件并导致快速且精确地选择期望的外观和/或照明条件。
步骤(i):
在本发明方法的步骤(i)中,经由通信接口将彩色涂层的数字表示提供给计算机处理器。根据本发明方法的第一实施例,该彩色涂层的数字表示优选地包括颜色空间数据、光泽度数据、外观数据、纹理特性或其组合。颜色空间数据的一个实例由L*a*b*定义,其中,L*表示发光强度,a*表示红/绿外观,b*表示黄/蓝外观。颜色空间数据的另一实例由L*、C*、h定义,其中,L*表示亮度,C*表示色度,并且h表示色调。外观数据可以包括例如长波值、短波值、DOI(图像清晰度值)。长波值和短波值表示橘皮的程度,而DOI则表示辉度和光泽度。术语“纹理特性”是指效果涂层的粗糙度特性和/或闪光特性。效果涂层的粗糙度特性和闪光特性可以例如根据由现有技术中已知的多角度分光光度计获取的纹理图像来确定。纹理图像可以是黑白图像,也可以是彩色图像。
根据本发明方法的替代实施例,彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率
取决于照明方向和观察方向的空间纹理图像的表
分割成项和项/>进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差。
在第一步骤中,基于相机的测量设备在不同观看角度、不同照明角度、不同照明颜色和/或不同曝光时间创建样品的多个图像(照片),从而考虑照明角度、观看角度、照明颜色和/或曝光时间的多个组合来提供多个测量数据。合适的基于相机的测量设备可在市场上买到,例如X-Rite测量设备。作为样品,使用了涂覆有固化的彩色涂层的小平板或包括涂覆有清漆层的彩色涂层的固化的多层涂层。对从测量设备获得的图像进行后处理以获得初始BTF。后处理可以包括根据在恒定照明和观看角度下但分别改变照明颜色和曝光时间拍摄的图像来创建具有高动态范围的图像。后处理还可以包括校正照片相对于样品的视角并从照片中提取颜色和纹理数据。基于通过后处理获得的数据,确定初始BTF的参数。双向纹理函数(BTF)是取决于平面纹理坐标(x,y)以及观看和照明球面角的6维函数,因此BTF是纹理外观与观看方向和照明方向(即,观看角度和照明角度)的函数关系的表示。它是基于图像的表示,因为要考虑的物体表面的几何形状是未知的且未测量。BTF通常是通过在对可能观看方向和照明方向的半球进行采样时对表面进行成像来捕获的,因此BTF测量通常是图像的集合(参见Dana,Kristin J.等人的“Reflectance and Texture of Real-5World Surfaces[Real-5世界表面的反射率和纹理]”,ACM图形汇刊,第18卷,1999年,第1至34页)。
在第二步骤中,仅针对有限数量的测量几何形状来获取光谱反射率曲线。每个测量几何形状由特定的照明角度/方向和特定的观看角度/方向定义。光谱反射率测量是例如通过手持式分光光度计执行的,例如采用六种测量几何形状(即,固定照明角度和-15°、15°、25°、45°、75°、110°的观看/测量角度)的Byk-Mac采用十二种测量几何形状(两个照明角度和六个测量角度)的X-Rite/>或X-Rite MA/>(两个照明角度和最多十一个测量角度)。从这些测量设备获得的光谱反射率数据比从第一步骤中使用的基于相机的测量设备获得的颜色信息更准确。
在第三步骤中,将初始BTF分割(划分)成两个主要项(F1)和(F2)。第一项(F1)是均匀双向反射分布函数(BRDF),它描述了仅取决于测量几何形状的样品反射性质。该BRDF是定义了光在不透明表面上的反射方式的四个实数变量的函数。该函数获取入射光方向/>和出射方向/>并返回沿/>离开的反射辐射度与从方向/>入射在表面上的辐照度之比。通常,BRDF由作为散射几何的函数的三个颜色坐标组成,因此必须指定特定照明体和颜色系统(例如CIELAB),并且它们与处理BRDF时的任何数据一起被包括。BRDF是任何材料(此处是指样品)的光度数据的集合,其将材料(样品)的光度反射光散射特性描述为照明角度和反射散射角度的函数。BRDF描述了材料(样品)、特别是样品所包含的随角异色材料的光谱和空间反射散射性质,并且提供了材料外观的描述。因此,可以轻松地从BRDF导出许多其他外观属性,比如光泽度、雾度和颜色。
第二项(F2)是解释样品的空间变化外观的纹理函数即,添加了依赖于视角和照明的纹理图像。当从远处观看时,样品的整体颜色印象不是由单个点的颜色决定的,而是由较大区域的平均颜色决定的。依赖于视角和照明的纹理图像具有以下性质:当对所有像素进行平均时,每个RGB通道中的强度总和为零。由于这种性质,因此假设纹理图像较大区域的平均颜色为零或接近于零,这允许在不改变整体颜色的情况下叠加纹理图像并在优化初始BTF时忽略纹理图像,从而忽略项(F2)。因此,在优化初始BTF时,仅优化项(F1)。
第一项(F1),即BRDF,然后进一步被分割成与取决于照明方向和观察方向的颜色表相对应的第一子项以及与强度函数相对应的第二子项/>之后,通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差。
在第一优化步骤中针对每个光谱测量几何形状来优化第一子项的参数可以包括以下操作:
-根据捕获的光谱反射率数据来计算第一CIEL*a*b*值,
-根据公式(1)的初始BTF来计算第二CIEL*a*b*值,
-通过从该第一CIEL a*b*值中减去该第二CIEL a*b*值来计算a*和b*坐标的校正矢量,
-针对存储在该第一子项中的观看角度和照明角度的完整范围逐分量插值和外推这些校正矢量,
-将这些插值的校正矢量应用于存储在该第一子项中的每个光谱测量几何形状的第二CIEL*a*b*值以获得校正的BTF CIEL*a*b*值,
-将校正后的BTF CIEL*a*b*值变换为线性sRGB坐标,并对这些线性sRGB坐标进行归一化,以及
-将这些归一化的sRGB坐标存储在该第一子项中。
多级B样条插值算法(参见Lee、Seungyong等人,“Scattered data interpolationwith multilevel B30 splines[多级B30样条的散点数据插值]”,IEEE视觉和计算机图形汇刊,第3卷,1997年,第228至244页)可以用于校正矢量的逐分量插值和外推。
在第二优化步骤中优化第二子项的参数可以包括以下操作:
-根据所有光谱反射测量几何形状的色差总和来定义成本函数,
-根据捕获的光谱反射率数据来计算第一CIEL*a*b*值,
-在不同的光谱反射几何形状下根据公式(1)的初始BTF来计算第二CIEL*a*b*值,
-使用加权色差公式将该第二CIEL*a*b*值与该第一CIEL*a*b*值进行比较,以及
-使用非线性优化方法来优化该第二子项的参数,使得该成本函数最小化。
成本函数C(α,S,F0,a)可以根据等式(2)在所有反射率测量几何形状上定义:
其中
G:可获得光谱反射率数据的一组测量几何形状
g:该组测量几何形状之一
ΔF(fTest,fRef):衡量颜色fTest与fRef之间的差异的加权色差公式
根据光谱测量导出的参考颜色
针对给定照明方向和观察方向根据初始BTF计算的测试颜色
α=(α1,α2,α3):这三个Cook-Torrance波瓣的贝克曼分布的参数矢量
S=(S1,S2,S3):这三个Cook-Torrance波瓣的权重矢量
F0=(F0,1,F0,2,F0,3):这三个Cook-Torrance波瓣的菲涅尔反射矢量
P(α,S,F0,a):惩罚函数。
如等式(2)所示,成本函数可以通过被设计为考虑特定约束的惩罚函数来补充。例如,这种约束可以用于将强度函数的参数值保持在有效范围内,以防止优化的BTF中出现现实中观察不到的效果。在一个实例中,这些约束是启发式定义的。为了计算色差,在不同的光谱反射测量几何形状下评估初始BTF,并使用加权色差公式(例如在DIN 6157/2中定义的公式)将所得的CIEL*a*b*值与来自光谱反射测量的CIEL*a*b*值进行比较,并且使用非线性优化方法(例如Nelder-Mead-Downhill-Simplex方法)来优化强度函数的参数,以使得成本函数被最小化。
第一优化步骤和第二优化步骤可以重复/迭代地运行以进一步提高优化的BTF的准确性。可以指定和预定义迭代次数。发现经过三次迭代已经可以得到可靠的良好结果。优化的BTF比直接从基于相机的设备获得的初始BTF更准确,因此与测量的颜色相比,在使用优化的BTF显示颜色时颜色精度更高。
在步骤(i)的一方面,提供该彩色涂层的数字表示包括在该显示设备的屏幕上显示预先存在的颜色库、从所显示的预先存在的库中选择颜色、基于所选颜色获得该彩色涂层的数字表示、以及经由该通信接口将所获得的该彩色涂层的数字表示提供给该计算机处理器。术语“预先存在的颜色库”是指具有设定量的预选颜色的数据库。预先存在的颜色库可以包括至少2种不同的颜色,每种颜色对应于由涂层材料制备的彩色涂层的颜色,并且每种颜色由如先前所述计算的优化的双向纹理函数(BTF)定义,或者由颜色空间数据和/或光泽度数据和/或外观数据和/或纹理特性定义。
显示预先存在的颜色库可以包括:提供虚拟物体的物体数据;可选地提供另外的颜色数据;将与预先存在的库中存在的颜色相关联的优化的BTF映射到所提供的虚拟物体数据或者将与预先存在的库中存在的颜色相关联的颜色空间数据和/或光泽度数据和/或外观数据和/或纹理特性、以及可选地另外的颜色数据映射到所提供的虚拟物体数据;以及使用预定义的照明条件来渲染映射结果。预定义的光照条件可以包括直接光源(也称为分析光源),比如点光源、定向光源或聚光灯,或者包括高动态范围(HDR)环境贴图,特别是高动态范围(HDR)环境贴图。使用直接光源的渲染过程在现有技术中是已知的并且可以实时执行(参见例如Rost,R.J.等人的OpenGL shading language[OpenGL着色语言],AddisonWesley Professional,2009年)。使用高动态范围(HDR)环境贴图的渲染过程在现有技术中被称为基于图像的光照(参见例如Debevec、Paul的“Image-Based Lighting[基于图像的光照]”,IEEE计算机图形和应用,2002年3月/4月,第37至34页)。在这些过程中,通过捕获现实世界照明作为全向的高动态范围图像,将照明映射到环境的表示上,将计算机图形物体置于环境内,并模拟用来自环境的光照射计算机图形物体,从而用来自现实世界的光图像来照射真实或虚拟物体。因此,由于使用了现实世界的照明,使用基于图像的光照的渲染结果被认为更加真实。因此,可能优选的是使用基于图像的光照来执行渲染过程以获得彩色物体的更真实的图像。虚拟物体可以选自2D虚拟物体(比如彩色区域)或3D虚拟物体(比如色卡、圆顶形状、汽车车身或这样的汽车车身的一部分)。汽车车身或其一部分可以是通用或特定的汽车车身或其一部分。术语“通用汽车车身或其一部分”是指作为一类车辆(比如轿车、摩托车等)的通用表示的汽车车身或其一部分。这种通用车身仅用于表示相应车辆类别的一般几何形状,但通常不会被制造。反之,术语“特定汽车车身或其一部分”是指具有与正在制造的真实汽车车身相同的几何形状的汽车车身或其一部分。关于虚拟物体的数据可以存储在计算机可读介质上,比如显示设备的存储器或者经由通信接口与显示设备连接的数据库。在一个实例中,用户可能能够在渲染之前选择虚拟物体。为此,可用的虚拟物体可以在显示设备的屏幕上向用户显示,并且用户可以经由交互元素选择期望的物体。然后,在渲染之前,处理器从诸如数据库或内部存储器等计算机可读介质中检索与所选虚拟物体相关联的物体数据。在另一实例中,使用预定义的虚拟物体进行渲染。在又一实例中,用户可以经由通信接口向计算机处理器提供存储在数据存储介质上的虚拟物体。用于渲染的虚拟物体还可以是彩色的虚拟物体。在一个实例中,处理器基于所选择的或预定义的虚拟物体来检索与可用的或预定义的虚拟物体相关联的颜色数据。在另一实例中,用户可以从显示在显示设备的屏幕上的预先存在的颜色库中选择颜色,如先前所披露的。然后,在渲染之前,从计算机可读介质(比如显示设备的存储器或数据库)中检索与所选颜色相关联的颜色数据。如果所选颜色与另外的彩色涂层组合,则使用彩色虚拟物体允许用户显示物体的整体视觉印象。如果彩色涂层是着色清漆并且要与下层彩色色漆层组合,则这可能是优选的,因为着色清漆层是至少部分透明的,色漆层的颜色可至少部分透过着色清漆层看到。可以例如通过缩放、移动、转动和/或滚动来操纵所显示的预先存在的颜色库,以提高用户在浏览所显示的存在于预先存在的库中的颜色时的舒适度。
预先存在的颜色库可以存储在计算机可读介质上并且可以经由通信接口提供给执行先前披露的渲染步骤的计算机处理器。计算机可读介质可以是显示设备的存储器或者可以是经由通信接口(特别是无线通信接口)与显示设备连接的外部存储设备,比如数据库。用户可以经由存在于显示设备内的、经由通信接口耦合到显示设备的、或者由显示设备投影的交互元素从所显示的预先存在的颜色库中选择颜色。在从所显示的预先存在的颜色库中选择期望的颜色之后,可以通过基于所选颜色在数据库中搜索彩色涂层的数字表示来获得所述数字表示。显示预定义的颜色库允许用户轻松浏览所有可用颜色并以用户直观的方式选择期望的颜色。
在步骤(i)的替代方面,提供彩色涂层的数字表示的步骤包括提供涂层识别数据、基于所提供的涂层识别数据获得涂层的数字表示以及提供所获得的数字表示。提供涂层识别数据可以包括提供彩色涂层的优化的双向纹理函数(BTF)和/或提供指示彩色涂层的数据。指示彩色涂层的数据可以指色号、颜色名称、QR码、条形码等。这样的数据可以由用户经由显示设备的屏幕提供。屏幕可以包括便于用户进行数据输入的GUI。然后可以通过基于所提供的涂层识别数据在数据库中搜索涂层的数字表示来获得所述数字表示。
在一方面,步骤(i)进一步包括在显示设备的屏幕上显示与所提供的彩色涂层的数字表示相关联的颜色。“与所提供的数字表示相关联的颜色”是指通过使用包括在彩色涂层的数字表示中的优化的BTF来在显示设备的屏幕上显示颜色而产生的显示颜色。显示所获得的颜色数据可以包括提供虚拟物体的物体数据以及使用预定义的照明条件来渲染所提供的颜色数据和所提供的物体数据。预定义的照明条件、渲染过程以及虚拟物体可以与先前描述的相同。这个方面允许用户选择与应当为其设计外观的真实物体相对应的虚拟物体,使得彩色虚拟物体的视觉印象被尽可能真实地显示。此外,这允许用户检查所选颜色是否对应于期望的颜色,并且因此允许用户在选择了错误的起始颜色(例如由于输入了不正确的颜色识别数据或由于从先前描述的现有库中选择了错误的颜色)的情况下校正起始颜色。
步骤(ii):
在本发明方法的步骤(ii)中,通过以下方式来提供照明条件的数字表示:在显示设备上显示包括多个照明条件的用户界面,用计算机处理器检测指示从多个显示的照明条件中选择照明条件的用户输入,并且响应于所检测到的用户输入,利用计算机处理器经由通信接口检索与所检测到的用户输入相关联的照明条件的数字表示。术语“多个照明条件”是指至少两个不同的照明条件,即,至少两个彼此不同的照明条件。可以由显示设备基于由处理器生成的用户界面生成来显示用户界面。除了多个照明条件之外,用户界面生成还可以包括另外的按钮、菜单等。可以使用图标、图像、文本或其组合在用户界面呈现内描绘多个照明条件。
在一方面,多个照明条件至少包括(i)显示设备周围的环境光照,以及(ii)预定义的(多个)高动态范围(HDR)环境贴图,以及(iii)与特定时间、日期和地点相关联的环境光照。
在一方面,经由交互元素检测用户输入。交互元素可以是如前所述的物理输入设备、输入/输出设备或投影输入设备。
在一方面,检索照明条件的数字表示包括
-经由该通信接口检索指示日期、时间、位置、特别是地理位置、以及可选地天空雾度的数据,和/或
-经由该通信接口检索从该显示设备的至少一个照明传感器获取的数据、从该显示设备的至少一个取向传感器获取的数据、以及可选地从至少一个有利点传感器获取的数据,和/或
-经由该通信接口检索至少一个高动态范围(HDR)环境贴图。
显示设备的(多个)照明传感器以及(多个)有利点传感器均可以被实施为CMOS成像模块、嵌入式相机或如前所述的类似设备。(多个)取向传感器可以放置在显示设备的外壳内,并且可以包括能够感测显示设备绕其一个或多个轴的运动(比如显示设备的俯仰、滚动和偏航)的任何合适类型的传感器。这样的传感器可以包括(多个)微机电(MEM)陀螺仪传感器,比如可从加利福尼亚州圣克拉拉市的INVENSENCE CORP.获得的那些传感器,并且作为(多个)陀螺仪传感器的替代或补充,包括倾斜计、加速度计等。可以通过使用具有旋转物镜或鱼眼镜头的特殊相机、通过拍摄反映场景的球体或通过拼接图像并将图像变换到场景周围的球体来获得高动态范围(HDR)环境。
在一个实例中,经由通信接口检索指示位置、特别是地理位置的数据的步骤可以包括在显示设备上显示世界地图,经由交互元素检测指示在所显示的世界地图上选择位置的用户输入,并且响应于所检测到的用户输入,经由与处理器的通信接口检索与所述选择的地理位置相关联的数据,特别是GPS数据。可以响应于指示选择在显示设备上显示的图标(其对应于用户界面中显示的多个照明条件之一)的用户输入来显示世界地图。世界地图可以存储在数据存储介质上,比如显示设备的内部存储器或外部数据库,或者可以经由web访问服务(例如谷歌地图)提供。用户可以缩放或移动世界地图,或者可以使用交互元素输入搜索字符串(比如城市名称),以便于在所显示的世界地图上定位期望的位置。在另一实例中,诸如GPS、蜂窝模块等位置确定模块可以用于确定显示设备的位置,然后经由与计算机处理器的通信接口检索所确定的位置。
经由该通信接口检索指示日期和/或时间和/或天空雾度的数据的步骤可以包括:显示至少一个调整工具,该调整工具包括与该日期或时间或雾度相对应的至少一个调节器;经由交互元素检测指示操纵该至少一个调整工具的用户输入,特别是通过经由该交互元素检测该至少一个显示的调整工具的至少一个调节器的移动;以及响应于所检测到的用户输入来确定与相应调节器的位置相关联的日期或时间或雾度。“调整工具”可以指图形用户界面的一部分,其允许修改显示的日期和/或时间和/或天空雾度。调整工具的使用向用户提供了关于日期和/或时间和/或雾度的操纵的指导,从而向用户提供了一种直观的方式来设置期望的参数。经由交互元素操纵至少一个调整工具的步骤可以包括经由交互元素来调整日期和/或时间和/或雾度,例如通过使用交互元素移动(多个)调整工具的相应(多个)调节器。在一个实例中,用户可以通过操纵(多个)调整工具来自由选择时间和/或日期和/或雾度。在另一实例中,日期、时间或雾度中的至少一个可以是固定的(即,预定义值,比如实际时间或实际日期或与所选位置/时间相关联的预定义雾度),可以经由与计算机处理器的通信接口从数据存储介质中检索。
从该显示设备的至少一个照明传感器获取的数据可以包括:关于该显示设备周围的照明条件的数据,比如勒克斯水平、光谱含量、照明方向;该显示设备周围的环境的至少一张照片,特别是至少一张高动态范围(HDR)或低动态范围(LDR)照片;或其组合。勒克斯水平可以描述入射在显示设备的屏幕表面上的环境光的一般水平。光谱含量可以描述环境光的光谱分量。照明方向可以包括(多个)主导照明方向,即,环境光入射的(多个)主要方向。如果在存在一个或几个环境光源的环境中对物体的外观进行建模,则可能存在一个或几个不同的主导照明方向。另一方面,如果在包括多个源或漫射源的漫射环境中对表面的外观进行建模,则可能不存在主导照明方向。使用从(多个)照明传感器获取的数据使得可以在预测彩色物体的外观时考虑存在于显示设备周围的环境中的真实照明源的影响,而不是使用预定义的照明源。
从显示设备的至少一个有利点传感器获取的数据可以包括至少一张显示用户观看显示设备的照片。根据各种实施例,(多个)照明传感器和(多个)有利点传感器可以被实施为单个传感器,其中,有利点位置和照明信息都从由单个传感器获取的至少一张照片中导出。
检索至少一个高动态范围(HDR)环境贴图可以包括在显示设备的屏幕上显示至少一个高动态范围(HDR)环境贴图、经由交互元素检测指示选择所显示的高动态范围(HDR)环境贴图的用户输入,并且响应于所检测到的用户输入,经由通信接口检索与所检测到的用户输入相关联的高动态范围(HDR)环境贴图。与所选HDR环境贴图相关联的数据可以包括现有的HDR环境贴图,即,先前已经获取并存储在数据存储介质上的HDR环境贴图。在显示设备上显示至少一张HDR环境贴图的步骤可以包括在显示设备上显示至少一张现有的HDR环境贴图。现有的HDR环境贴图可以存储在数据存储介质上,比如显示设备的内部存储器,或者可以在其显示之前经由通信接口从数据库中检索。检索所选HDR环境贴图可以包括基于检测到的用户输入,经由与计算机处理器的通信接口从诸如外部数据库或内部存储器等数据存储存储器中检索所选HDR环境贴图。
在一方面,步骤(ii)可以进一步包括在显示设备上显示检索到的照明条件。在一个实例中,这可以包括使用如前所述从历史照明条件导出的模型,根据指示日期、时间、位置(特别是地理位置)、以及可选地天空雾度的数据来计算HDR环境贴图,并显示所计算的HDR环境贴图。在另一实例中,这可以包括使用至少一个从历史环境条件导出的模型,根据由(多个)照明传感器和/或(多个)取向传感器和/或(多个)有利点传感器获取的数据来计算HDR环境贴图,并显示所计算的HDR环境贴图。在又一实例中,这可以包括显示检索到的现有HDR环境贴图。在显示设备上向用户显示所提供的照明条件可以允许用户检查是否选择了期望的照明条件并且在必要时校正输入。
可选步骤(iii):
在本发明方法的可选步骤(iii)中,经由通信接口将从历史照明条件导出的模型和/或从历史环境条件导出的模型提供给计算机处理器。该步骤也可以在将照明条件的数字表示提供给计算机处理器之后执行,如下面关于步骤(iii)所描述的。通信接口可以是有线的或无线的,特别是无线的。无线通信接口的实例是WLAN、WiFi或蓝牙。计算机处理器可以是任何合适类型的处理器。根据各种实施例,计算机处理器,特别是显示设备的处理器,可以包括专门设计用于处理图形处理的图形处理单元(GPU)。例如,可以从NVIDIA和AMD(美国超微半导体公司)获得合适的GPU。处理器还可以与存储器和交互元素(比如输入/输出设备)通信。输入/输出设备可以允许用户配置设备和/或输入数据。在各种实施例中,显示设备可以在屏幕上或在辅助显示器上提供菜单驱动的用户界面,从而允许用户输入信息并引导用户完成过程。除了其他外围设备之外,处理器还可以经由有线或无线数据链路(例如,RS232或通用串行总线(USB)链路)与计算机通信。
在步骤(iii)的一方面,从历史照明条件导出的模型是基于物理的白天天空分析模型。这样的模型在现有技术中是已知的,并且通常用于涉及使用日光的渲染过程。一种合适的模型是公式(3)的Preetham模型,
其中
γ是观看方向与指向太阳的矢量形成的角度,
θ是天顶与观看方向形成的角度,
A、B、C、D、E是辐射率分布参数。
参数A到E是根据获取一个参数(浊度)作为自变量并返回参数A到E的一组线性函数以及用于计算天顶亮度的浊度和太阳高度角的双立方函数进行分析计算得来的。除了亮度之外,Preetham模型还提供了使用相同方法计算的两个色度通道,并且输出可以转换为光谱辐射数据。另一种合适的模型是以下文献中描述的模型:I.Hosek等人的“An analyticmodel for full spectral sky-dome radiance[全光谱天空穹顶辐射分析模型]”ACM图形汇刊,2012年,第31卷,文章编号:95,https://doi.org/10.1145/2185520.2185591。由于后一模型对于大气的高浊度值和低浊度值均产生良好的结果,因此优选地在本发明内使用后一模型。Hosek等人的模型针对半球上的每个点和每个波长提供了光谱辐射数据,该数据可以用于计算HDR环境贴图,从而用预定义的底部颜色任意填充球面全景图的下半部分。为此,计算HDRI像素的光谱辐射亮度数据,然后将所计算的每个像素的光谱辐射亮度数据变换为颜色空间数据,比如sRGB值或CIEL*a*b*值。
在步骤(iii)的一方面,至少一个从历史环境条件导出的模型提供了从该显示设备的(多个)照明和/或取向和/或有利点传感器获取的数据与该显示设备周围的环境光照条件之间的关系。“环境光照”可以是指非为了使用前述模型确定显示设备周围的环境光照的目的而明确提供给环境的任何光源。该术语通常指已经存在的自然光源(例如太阳、月亮、闪电)或已经使用的人造光(例如房间照明)。显示设备周围的环境光照条件可以使用现有技术中公知的多种模型根据由(多个)照明传感器和/或(多个)有利点传感器(比如显示设备的CMOS成像模块、嵌入式相机或类似设备)获取的数据来确定。在一个实例中,(多个)照明和有利点传感器可以被实施为单个传感器。由所述(多个)传感器获取的数据可以包括高动态范围(HDR)照片或低动态范围(LDR)照片。一种合适的模型使用从(多个)取向传感器获取的数据,根据利用(多个)照明和/或有利点传感器从不同观看方向获取的单张HDR照片来计算HDR环境贴图,例如以下文献中描述的:P.Debevec的“Image-based lighting[基于图像的光照]”,ACM SIGGRAPH 2006课程,第4-页,以及Q.Yang等人“Inertial sensorsaided image alignment and stitching for panorama on mobile phones[惯性传感器辅助移动电话上的全景图像对齐和拼接]”,基于移动位置的服务的第一届国际研讨会论文集,2011年,第21至30页(下文称为HDRI模型)。另一种合适的模型从低动态范围(LDR)照片导出颜色和亮度,并使用所述值来估计显示设备周围的环境光照条件(下文中称为环境光照模型)。Apple的ARKit程序库中实施了这种环境光照模型的一个实例。其他合适的模型根据低动态范围(LDR)照片来计算球谐(SH)系数(下文中称为SH系数模型)。由于考虑到辐照度随取向平滑变化,仅需要9个系数就能准确表示表面的辐照度,因此所述系数是压缩来自远距离光源的直接照明的非常有效的技术。在一个实例中,如在Apple的ARKit程序库中实施的,可以根据(多个)照明和/或有利点传感器获取的数据中存在的颜色、亮度和主照明方向来计算SH系数,主照明方向是对在所获取的数据(比如照片)中识别出的面部阴影来确定的。所计算的SH系数可以用于在步骤(v)中生成颜色数据(参见例如Rost,R.J.等人的OpenGL shading language[OpenGL着色语言],AddisonWesley Professional,2009年),或者在步骤(v)中生成颜色数据之前,可以根据SH系数计算HDR环境贴图(例如参见P.-P.Sloan的“Stupid Spherical Harmonics(SH)tricks[愚蠢的球面谐波(SH)的技巧]”,2008年游戏开发者大会,2008年2月)。在另一实例中,可以如在Google的ARCore程序库中实施的使用经训练的神经网络,根据具有有限视野(FOV)的低动态范围(LDR)照片来计算SH系数以及HDR环境贴图(参见例如,C.LeGendre等人的“DeepLight:Learning Illuminationfor Unconstrained Mobile Mixed Reality[DeepLight:无约束移动混合现实的照明学习]”,IEEE/CVF计算机视觉和模式识别会议论文集,5918至5928)。
步骤(iv):
在本发明方法的步骤(iv)中,基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据。在一方面,利用该计算机处理器生成颜色数据的步骤包括:提供虚拟物体的物体数据;可选地提供至少一层另外的涂层的另外的颜色数据;将所提供的该彩色涂层的数字表示以及可选地另外的颜色数据映射在所提供的虚拟物体上;以及使用所提供的照明条件的数字表示以及可选地所提供的(多个)模型来渲染该映射结果。
虚拟物体可以是2D虚拟物体,比如几何形状,或3D虚拟物体,比如色卡、圆顶形状、汽车车身或其一部分。虚拟物体可以是预定义的虚拟物体,可以由用户在映射之前从所显示的预定义物体中选择,或者可以由用户在映射之前提供,如先前所描述的。提供另外的颜色数据的步骤可以包括选择彩色涂层的至少一种另外的颜色,特别是从比如先前描述的预先存在的颜色库中选择,并且在渲染之前将与所选颜色相关联的颜色数据提供给处理器。这允许用户对包括多于一层彩色涂层的彩色物体的外观进行建模。
取决于所提供的照明条件的数字表示,在所述数字表示中包含的数据可以在渲染之前由计算机处理器使用适当的提供的模型进行处理,或者可以直接用于渲染。在一个实例中,可以使用显示设备的处理器来处理所提供的照明条件的数字表示中包含的数据。如果显示设备的处理器的计算能力足以在渲染之前的合理时间(比如几毫秒至几秒)内执行数据处理,则这可能是优选的。在另一实例中,处理由存在于显示设备外部的另一处理器执行。如果显示设备的处理器的计算能力不足以在渲染之前的可接受时间内执行数据处理,则这可能是优选的。
在一方面,步骤(iv)进一步包括在生成该彩色涂层的颜色数据之前,利用该计算机处理器根据所提供的照明条件的数字表示和所提供的至少一个从历史环境条件导出的模型来计算该显示设备周围的环境照明条件。在这种情况下,所提供的照明条件的数字表示包含由以下(多个)传感器中的至少一个获取的数据:(多个)照明传感器、(多个)取向传感器和(多个)有利点传感器。环境照明条件是利用计算机处理器使用如前所述的至少一个从历史环境条件导出的模型(比如环境光照模型、HDR环境贴图模型或SH系数模型)根据所获取的传感器数据来计算的。在一个实例中,计算环境照明条件可以包括通过根据由(多个)照明传感器获取的数据估计亮度和颜色来计算环境光照,如先前所描述的。在另一实例中,计算环境照明条件可以包括根据由(多个)照明传感器和(多个)取向传感器获取的数据来计算HDR环境贴图,如先前所描述的。在又一实例中,计算环境光照条件可以包括根据由(多个)照明传感器获取的数据并且可选地根据由(多个)有利点传感器获取的数据来计算球谐(SH)系数,并且可选地根据所计算的SH系数来计算HDR环境贴图,如先前所描述的。
有利点的位置可以从有利点传感器或显示设备的照明和有利点传感器的组合获取的(多张)照片中导出。例如,可以根据任何合适的算法在(多张)照片中识别人的一只或多只眼睛。可以假设一只或多只眼睛朝向显示设备的屏幕。此外,可以基于例如由至少一个取向传感器感测到的显示设备的取向来推测(多只)眼睛与显示设备的屏幕表面上的各个点之间的距离。例如,当用户将显示设备放在接近眼睛水平的位置时,与将显示设备放在腰部附近的位置相比,他们最初可能倾向于以更直立的角度握持显示设备。根据(多只)眼睛在至少一张照片中的位置、(多只)眼睛的方向以及(多只)眼睛与显示设备表面上的各个点之间的距离,可以导出有利点的位置。
可以使用如前所述提供的或计算的HDR环境贴图通过基于图像的光照(IBL)(参见例如Debevec,Paul的“Image-Based Lighting[基于图像的光照]”,IEEE计算机图形和应用,2002年3月/4月,第37至34页)来执行渲染,或使用如前所述的所计算的SH系数(参见例如Rost,R.J.等人的OpenGL shading language[OpenGL着色语言],AddisonWesleyProfessional,2009年)来执行渲染。所渲染的物体可以被放置在预定义背景或由用户经由显示设备的屏幕上显示的GUI选择的背景的前面。背景可以是统一颜色,包括不同的颜色,或者可以是环境的照片。用户对背景的选择可以包括经由交互元素从多个显示的预定义背景中选择背景或者由用户提供背景。然后可以基于用户选择从数据存储介质中检索所选背景并将其提供给计算机处理器。由用户提供背景可以包括从数据存储介质中检索背景(比如存储的图像),或者利用显示设备的照明传感器获取环境的照片并将检索到的背景或获取的照片提供给计算机处理器。用户对背景的选择允许用户在期望的环境中显示渲染的物体,从而在现实世界条件下获得物体外观的更好印象。
在一个实例中,渲染由显示设备的处理器执行。在如前所述利用该处理器计算环境照明条件的情况下,处理器可以直接使用所计算的环境照明条件来进行渲染。在利用另一处理器计算环境照明条件的情况下,在渲染之前经由通信接口将所计算的环境照明条件提供给显示设备的处理器。在另一实例中,由存在于显示设备外部的另一处理器执行渲染,并且经由通信接口将渲染结果提供给显示设备的处理器以在屏幕上显示。如果显示设备的处理器的计算能力不足以在可接受的时间内执行渲染,即,如果显示设备的处理器不能在一秒内渲染至少25个图像,则这可能是优选的。
在步骤(iv)的一方面,响应于步骤(iii)中提供的照明条件的数字表示中包含的数据的改变,特别是响应于从至少一个照明传感器提供的数据的改变和/或从至少一个取向传感器提供的数据的改变和/或从至少一个有利点传感器提供的数据的改变,重新计算所生成的颜色数据并将其显示在显示设备的屏幕上。重新计算可以自动执行,即,在检测到所提供的照明条件的数字表示中包含的数据(特别是由至少一个传感器获取的数据)已经改变(例如由于改变显示设备周围的照明条件和/或改变显示设备的取向和/或改变有利点)时无需任何用户交互。为此,计算机处理器可以被编程为检测由至少一个传感器获取的数据的改变或用户对先前输入的数据(比如时间、位置、地点、雾度)的修改,并且可以使用新获取的传感器数据或修改后的输入发起对所生成的颜色数据的重新计算。重新计算以及重新计算的颜色数据的显示可以实时或接近实时地执行。以这种方式,当用户倾斜和旋转显示设备、改变有利点或时间/位置/雾度时,显示在显示设备的屏幕上的彩色物体的外观可以表现为好像用户正在倾斜和旋转实际样品、相对于实际样品改变有利点或改变实际样品的时间/位置/雾度一样。
步骤(v):
在步骤(v)中,将在步骤(iv)中生成的颜色数据显示在显示设备的屏幕上。在一方面,在该显示设备的屏幕上显示从该计算机处理器接收的颜色数据的步骤包括将所生成的颜色数据、特别是每个渲染点映射到该显示设备的屏幕,使得显示设备的屏幕显示渲染的物体。当物体是二维的(比如平坦表面)时,每个渲染点与显示设备的屏幕上的一个像素或像素组之间可能存在一对一的相关性。然而,在各种实施例中,渲染点的数量可能超过可用像素的数量。在这种情况下,可以将多个点的外观进行平均或以其他方式聚合在单个像素或像素组上。对于三维物体,物体的形状可能会导致多个渲染点映射到同一像素或像素组。当这种情况发生时,可以根据任何适当的方法进行适当的校正。例如,当表面上的一个点相对于有利点有遮挡另一个点的趋势时,相关像素或像素组可以显示离有利点最近的点的外观。此外,例如,映射到多个点的像素可以显示这些点的外观的平均值或其他聚合。此外,当三维物体被映射到显示设备的屏幕时,映射可以基于面、顶点或表示三维物体的任何其他合适的方式。
如果在步骤(i)中与数字表示相关联的颜色已经显示在显示设备的屏幕上或者执行了如前所述的重新计算,则将从处理器接收到的颜色数据显示在显示设备的屏幕上的步骤可以包括响应于执行步骤(v)或响应于在步骤(iv)中执行的重新计算而自动更新在步骤(i)中显示在显示设备的屏幕上的颜色。自动更新可以指更新所显示的颜色,而更新无需的任何用户交互。自动更新显示在显示设备的屏幕上的颜色可以包括将步骤(iv)中生成的所生成的颜色数据、特别是每个渲染点映射到显示设备的屏幕,从而导致显示设备的屏幕利用步骤(iv)的渲染结果来更新步骤(i)中显示的颜色,或者利用步骤(iv)中执行的重新计算的渲染结果来更新步骤(v)中显示的颜色。
在一方面,步骤(v)进一步包括将所生成的颜色数据和/或其他数据存储在计算机可读介质上。其他数据可以包括使用上述模型之一根据所提供的照明条件的数字表示计算的环境光照条件以及用于计算的数据,比如传感器数据或由用户输入的数据。存储所生成的颜色数据和/或其他数据可以提高预测过程的速度,因为所存储的数据可以在再次需要时被快速检索并且不必通过计算来生成。该数据可以与彩色涂层的数字表示和照明条件的数字表示相关联,并且存储在数据库中,该数据库可以由计算机处理器在生成颜色数据之前访问。例如,计算机处理器可以——在如前所述生成颜色数据之前——访问数据库,并基于所提供的彩色涂层的数字表示和所提供的照明条件的数字表示来检查所生成的颜色数据和/或所计算的环境光照条件是否可用。这允许建立包含在使用本发明方法期间生成的颜色数据和/或计算的环境光照条件的数据库,并且允许加快步骤(iv)的速度,因为颜色数据和/或环境光照条件不必由计算机处理器生成,而是可以从数据库中快速检索。
在一方面,步骤(v)进一步包括将所显示的颜色添加到预先存在的颜色库或新生成的颜色库以生成修改后的颜色库。新生成的颜色库可以由用户在将第一颜色添加到所述库之前生成,因此在将所显示的颜色添加到所述库之前不包含任何颜色。修改后的颜色库可以与存储的用户简档相关联,以供未来在设计彩色涂层的颜色时使用修改后的颜色库。这允许用户存储和检索预测的(多种)颜色并在稍后的时间点修改预测的(多种)颜色。用户还可以从修改后的颜色库中移除至少一种添加的颜色。在一个实例中,用户还可以根据分组标准对存在于预先存在的或修改后的颜色库中的颜色进行排序,以创建排序后的颜色库。排序后的颜色库可以与存储的用户简档相关联,以用于未来提供排序后的颜色库。排序后的颜色库可以代表喜爱列表。分组标准可以由用户随意选择,或者可以是显示在屏幕上供用户选择的预定义标准,并且可以是例如新设计的颜色、最近选择的颜色等。
进一步的步骤:
在一方面,重复步骤(i)至(v)或步骤(ii)至(v)或步骤(i)、(iv)和(v)。这允许选择新颜色和不同的照明条件(通过重复步骤(i)到(v))、针对所选颜色来修改照明条件(通过重复步骤(ii)到(v))或者针对所选照明条件来修改颜色(通过重复步骤(i)、(iv)和(v))。如果重复步骤(i)至(v)或步骤(ii)至(v)或步骤(i)、(iv)和(v),则在显示设备的屏幕上显示所生成的颜色数据的步骤可以包括响应于重复步骤(i)至(v)或响应于重复步骤(ii)至(v)或响应于重复步骤(i)、(iv)和(v)而自动更新在步骤(v)中显示在显示设备的屏幕上的颜色。自动更新步骤(i)或(v)中显示的颜色允许可视化照明条件对给定颜色的影响,从而在选择期望的颜色期间为用户提供交互式指导。
在一方面,本发明方法进一步包括以下步骤:
(vi)修改所提供的该彩色涂层的数字表示以生成该彩色涂层的修改后的数字表示;
(vii)可选地重复步骤(vii);
(viii)基于该(多层)彩色涂层的(多个)修改后的数字表示生成该(多层)涂层的颜色数据;
(ix)在该显示设备的屏幕上显示从该处理器接收的所生成的颜色数据;
(x)可选地重复步骤(vii)至(ix);
(xi)可选地利用该计算机处理器确定该彩色涂层的修改后的数字表示是否在至少一个预定义容差内;
(xii)可选地,根据确定该修改后的数字表示在至少一个预定义容差内:使用该彩色涂层的修改后的数字表示来重复步骤(ii)至(v);
(xiii)可选地,根据确定该修改后的数字表示在至少一个预定义容差内:经由该通信接口将该修改后的数字表示提供给涂层材料制造场所,并且可选地基于所提供的修改后的数字表示来制造该涂层材料;
(xiv)可选地,根据确定该修改后的数字表示在至少一个预定义容差之外:在该显示设备的屏幕上显示至少一个推荐;以及
(xv)可选地,根据确定该修改后的数字表示在至少一个预定义容差之外:重复步骤(vi)至(ix)或步骤(vi)至(x)或步骤(vi)至(xiv)。
步骤(vi):
修改所提供的彩色涂层的数字表示以生成彩色涂层的数字表示的步骤(vi)可以包括以下步骤:
-可选地检索关于与所提供的数字表示相关联的彩色涂层材料的配方的数据,并经由通信接口将检索到的数据提供给计算机处理器;
-在显示设备的屏幕上显示存在于用于制备彩色涂层的涂层材料中的至少一部分成分;
-经由交互元素来操纵至少一种显示的成分;
-利用计算机处理器来检测所述操纵;以及
-利用计算机处理器将检测到的操纵转换为彩色涂层的修改后的数字表示。
关于用于制备彩色涂层的涂层材料的配方的数据可以包括关于存在于涂层材料中的至少一部分成分的类型和量的数据。彩色涂层材料通常包括至少一种颜料、至少一种粘合剂和至少一种溶剂。其他成分例如是填料、消光剂、交联剂和添加剂。如果所提供的彩色涂层的数字表示不包含这样的数据,则可以从数据库中检索该数据,在该数据库中,该数据与步骤(ii)中提供的彩色涂层的相应数字表示相关联。
在显示设备的屏幕上显示用于制备彩色涂层的涂层配方中存在的至少一部分成分可以包括显示包括多个调节器的至少一个调整工具,每个调节器对应于涂层材料中存在的成分的类型和量。可以根据所提供的涂层的数字表示来生成至少一个调整工具。这可以包括:利用计算机处理器确定关于用于制备彩色涂层的涂层材料的配方的数据,该数据包含在所提供的彩色涂层的数字表示中;并且基于所确定的数据生成至少一个调整工具。在一个实例中,调整工具可以是具有多个视觉上不同的隔间的盒子,每个隔间指示涂层材料中存在的成分的类型,每个隔间的大小指示相应成分的量,并且多个调节器对应于分隔这些隔间的视觉元素,特别是线。可以在隔间中使用指示成分类型的图形表示来显示成分的类型。图形表示可以从所提供的彩色涂层的数字表示获得,并且可以选自图像,比如用于彩色颜料的色卡、用于金属效果颜料的金属片、用于玻璃鳞片的玻璃片、用于粘合剂的固体块等。使用具有不同大小的隔间并且包括特定成分的图形表示的盒子提供了相关成分的简单概览,并允许通过改变隔间的大小和/或隔间中存在的成分来轻松评估每种成分的类型/量对涂层最终颜色的影响。使用涂层材料配方作为修改其颜色的基础允许研究颜料对颜色的影响,从而允许以非常直观的方式设计期望的视觉外观。
经由交互元素操纵至少一种显示的成分可以包括经由交互元素调整至少一种显示的成分的类型和/或量。在一个实例中,这可以包括经由交互元素移动至少一个所显示的调整工具的至少一个调节器。
在一个实例中,操纵可以由经由通信接口与交互元素连接的处理器检测,并且可以经由连接这两个处理器的另一通信接口提供给计算机处理器。如果使用包括用于检测触摸屏手势的面板处理器的触摸面板,则这可能是优选的。然后经由通信接口将检测到的触摸屏手势提供给可以存在于显示设备内部或外部的计算机处理器。在另一实例中,可以利用存在于显示设备内部的计算机处理器来检测用户输入。如果外部输入设备被用作交互元素,则这可能是优选的。
利用计算机处理器将所检测到的用户输入转换成彩色涂层的修改后的数字表示。这可以包括将所检测到的用户输入转换成用于制备彩色涂层的彩色涂层材料的修改后的配方数据。彩色涂层材料的修改后的配方数据优选地包括数值并且反映了如前所述的由用户执行的对涂层材料成分的(多次)修改。因此,转换所检测到的用户输入可以包括修改未修改的彩色涂层材料的配方数据的数值,其中,该修改反映了所检测到的用户输入。在一个实例中,该转换由存在于显示设备内部的计算机处理器执行。在另一实例中,该转换由存在于显示设备外部、特别是存在于另一计算设备内部的另一计算机处理器来执行,即,通过经由通信接口将用户输入提供给所述另一处理器并基于提供的用户输入来执行转换。
步骤(vii):
在可选步骤(vii)中,步骤(vi)重复至少一次。如果物体上存在至少一层另外的彩色涂层并且该至少一层另外的涂层的颜色也应当被修改,则这可能是优选的。
步骤(viii):
在步骤(viii)中,基于(多层)彩色涂层的(多个)修改后的数字表示,利用计算机处理器生成(多层)彩色涂层的颜色数据。如果重复步骤(vii),则用户可以选择是否应在步骤(viii)中基于通过执行步骤(vii)至少两次获得的所有(多个)修改后的数字表示来生成(多层)涂层的颜色数据,或者是否应在步骤(viii)中生成所选(多个)修改后的数字表示的颜色数据。在第一种情况下,在下面描述的步骤(ix)中显示的所生成的颜色数据对应于这些彩色涂层的组合的视觉印象。在后一种情况下,在步骤(ix)中显示的所生成的颜色数据对应于所选(多层)彩色涂层的视觉印象,并且可以在重复步骤(ix)和(x)时生成未在步骤(viii)中选择的(多个)修改后的数字表示的颜色数据。在一个实例中,基于(多层)彩色涂层的(多个)修改后的数字表示生成颜色数据可以包括通过基于所提供的彩色涂层材料的修改后的配方数据从数据库或查找表中检索颜色数据来获得基于(多个)修改后的数字表示、特别是基于(多层)彩色涂层材料的修改后的配方数据的颜色数据。这可以包括将检索到的颜色数据与预定义容差(比如颜色距离、外观距离或其组合)进行比较。在另一实例中,生成基于(多层)彩色涂层的(多个)修改后的数字表示的颜色数据可以包括使用基于历史涂层的颜色数据和用于制备历史涂层的彩色涂层材料的历史配方参数化的数据驱动模型,根据(多层)彩色涂层的(多个)修改后的数字表示、特别是根据(多层)彩色涂层材料的修改后的配方数据来计算颜色数据。“数据驱动模型”可以指至少部分地从数据导出的模型。使用数据驱动模型可以描述无法通过物理化学定律建模的关系。使用数据驱动模型可以描述无需根据物理化学定律来求解方程的关系。这可以降低计算能力并且可以提高速度。数据驱动模型可以根据统计学导出(统计学,第4版,David Freedman等人,W.W.Norton&CompanyInc.,2004年)。数据驱动模型可以根据机器学习导出(Machine Learning and DeepLearning frameworks and libraries for large-scaledata mining:a survey[用于大规模数据挖掘的机器学习和深度学习框架以及库:调查],人工智能评论,第52卷,2019年,第77至124页)。数据驱动模型可以包括经验模型或所谓的“黑盒模型”。经验或“黑盒”模型可以指通过使用机器学习、深度学习、神经网络或其他形式的人工智能中的一种或多种来构建的模型。经验模型或“黑盒”模型可以是在训练数据与测试数据之间产生良好拟合的任何模型。可替代地,数据驱动模型可以包括严格或“白盒”模型。严格或“白盒”模型是指基于物理化学定律的模型。物理化学定律可以从第一原理导出。物理化学定律可以包括以下中的一个或多个:化学动力学,质量、动量和能量守恒定律,任意维度的粒子群体,物理和/或化学关系。可以根据支配相应问题的物理化学定律来选择严格或“白盒”模型。数据驱动模型还可以包括混合模型。“混合模型”是指包括白盒模型和黑盒模型的模型,参见例如VonStoch等人的评论论文,计算机与化学工程,第60卷,2014年,第86至101页。基于历史涂层的颜色数据和用于制备历史涂层的彩色涂层材料的历史配方参数化的数据驱动模型在现有技术中是众所周知的并且例如在US20020184167A1和US20190078936A1中披露。
步骤(ix):
在步骤(ix)中,将所生成的颜色数据显示在显示设备的屏幕上。这可以包括提供虚拟物体的物体数据,可选地提供至少一层另外的涂层的另外的颜色数据,并且如前所述使用预定义的照明条件渲染所生成的颜色数据、所提供的物体数据和可选地所提供的另外的颜色数据。渲染可以由显示设备的处理器或者如前所述的另一处理器来执行。该步骤可以包括响应于执行如前所述的步骤(vi)至(ix)而自动更新在步骤(v)中显示的颜色。步骤(ix)可以包括存储所生成的颜色数据和/或所显示的颜色数据、将所显示的颜色数据添加到预先存在的颜色库或新生成的颜色库,并且包括如先前结合步骤(v)描述的与修改后的颜色库相关联的其他步骤。
可选步骤(x):
在可选步骤(x)中,重复步骤(vii)至(ix)。这允许修改涂层材料的配方,直到获得期望的颜色。
可选步骤(xi):
在可选步骤(xi)中,计算机处理器确定彩色涂层的修改后的数字表示是否在预定义容差内。这能够保证用户设计的颜色满足某些预定义容差。这种容差可以选自成分的最大或最小量、至少一部分成分的允许组合、及其组合。(多种)成分可以是颜料、粘合剂、溶剂或存在于用于制备彩色涂层的涂层材料中的其他成分。特别地,可以选择某些颜料类型和/或粘合剂的最大或最小量、和/或颜料类型和/或粘合剂的允许组合作为预定义容差。预定义容差可以存储在存储设备(比如数据库)上,并且可以经由通信接口提供给执行步骤(xi)的计算机处理器。确定涂层的修改后的数字表示是否在至少一个预定义容差内的步骤可以包括使用计算机处理器、特别是显示设备的计算机处理器将在修改后的数字表示中包含的涂层材料的修改后的配方数据与至少一个预定义容差进行比较。可以通过使用严格模型来执行比较。可以根据支配相应问题的物理化学定律来选择严格模型。
可选步骤(xii):
在可选步骤(xii)中,如果修改后的数字表示在至少一个、特别是在所有(多个)预定义容差内,则重复步骤(ii)至(v)。这允许用户检查修改后的颜色在定义的照明条件下是否也具有期望的外观。在一个实施例中,可选步骤(xii)也可以在步骤(xi)之前执行。然而,期望在步骤(xi)之后执行步骤(xii),因为这保证了用户设计的颜色满足定义的标准并且可以被生产并施涂到物体上,从而允许在用户需要时生产出具有设计颜色的彩色物体。
可选步骤(xiii):
在可选步骤(xiii)中,经由通信接口将彩色涂层材料的修改后的数字表示提供给涂层材料制造场所。在一个实例中,这可以在用户在使用彩色涂层的修改后的数字表示(即,在步骤(ii)中提供彩色涂层的修改后的数字表示)重复步骤(ii)至(v)后对显示在显示设备的屏幕上的彩色物体的外观感到满意时由用户触发。在另一实例中,用户可以跳过步骤(xii)并直接进行到步骤(xiii)。修改后的数字表示优选地包括通过转换经由交互元素接收的用户输入而获得的修改后的配方。在一个实例中,将涂层的修改后的数字表示提供给涂层材料制造场所的步骤包括经由通信接口将与修改后的数字表示相关联的配方数据提供给位于涂层材料制造场所的处理单元。在另一实例中,将涂层的修改后的数字表示提供给涂层制造场所的步骤包括经由通信接口将与修改后的数字表示相关联的配方数据提供给计算机可读介质,比如数据库或云。然后,在基于所提供的修改后的表示来制造涂层材料之前,可以由位于涂层制造场所的处理单元访问该计算机可读介质。在一个实例中,如果涂层材料的修改后的表示满足至少一个预定义容差、特别是所有预定义容差,则自动将修改后的数字表示提供给涂层制造商,而无需任何用户交互。可以在显示设备的屏幕上显示消息,或者可以向用户发送电子邮件以通知用户关于到涂层材料制造场所的数据传输的状态。在另一实例中,用户可能必须通过点击显示设备的屏幕上的相应按钮来主动地将修改后的数字表示提供给涂层材料制造场所。步骤(xiv)可以进一步包括在如前所述将修改后的数字表示提供给涂层材料制造场所之后,基于所提供的修改后的数字表示来制造涂层材料。为此,所提供的修改后的数字表示可以被适配或转换,特别是通过位于涂层材料制造场所的处理单元进行适配或转换,使其满足预定义的制造要求或制造过程所需的数据格式。然后可以使用公知的施涂技术将所制造的涂层材料施涂到基材(比如金属板或圆顶状凸起)上,并进行热固化。所获得的固化彩色涂层可以可选地涂覆有固化清漆层,然后可以提供给用户并由用户与步骤(vi)至(ix)中设计的颜色进行比较。该步骤确保用户在步骤(vi)至(ix)中设计的颜色可以由涂料制造商基于所提供的修改后的数字表示来生产。如果彩色涂层不符合用户的期望,则用户可以重复步骤(vi)至(ix),或者涂层制造商可以调整涂层材料的配方以提供更匹配的彩色涂层。
可选步骤(xiv):
如果在步骤(xi)中执行的确定表明修改后的数字表示不满足至少一个预定义容差,则可以在可选步骤(xiv)中在显示器的屏幕上向用户显示至少一个推荐。推荐可以存储在计算机可读介质(比如数据库)上。在实例中,计算机处理器可以访问包含(多个)推荐的数据库,并且可以基于确定的结果来检索相应的(多个)推荐。然后将所述检索到的(多个)推荐在显示设备的屏幕上显示给用户。实例推荐可以是“未满足配方要求。请修改(多种)颜料的类型/数量”。
步骤(xv):
如果步骤(xi)中执行的确定表明修改后的数字表示不满足至少一个预定义容差,则可以重复步骤(vi)至(ix)或步骤(vi)至(x)或步骤(vi)至(xiv)。可能优选的是在显示(多个)推荐之后执行该步骤,以向用户提供关于满足(多个)预定义容差所需的修改的指导。
步骤(vi)至(ix)和可选步骤(x)至(xiv)允许在步骤(v)中显示的彩色物体的外观与期望外观不匹配的情况下修改颜色。使用彩色涂层材料配方的图形表示可以快速了解涂层材料成分对彩色涂层最终颜色的影响,因此即使没有涂层构成方面的深厚知识,也可以对颜色修改进行交互式指导。
在一方面,该方法进一步包括经由通信接口向计算机处理器提供物品的订购指令的步骤,其中,该订购指令包括关于在步骤(v)中显示的颜色的数据或者关于与满足至少一个预定义容差的彩色涂层的修改后的数字表示相关联的颜色的数据。经由通信接口接收订购指令的计算机处理器与显示设备分开存在,即,存在于另一计算设备内。包括计算机处理器的另一计算设备可以位于销售商处,例如位于汽车经销商处,或者位于制造彩色物品的公司处,比如汽车制造商处。可选地在修改订购指令以包括制造过程或向销售商交付所需的其他数据之后,销售商可以将订购指令转发给物品的制造商。在一个实例中,该物品可以是汽车。在另一实例中,该物品可以是一件家具、一件衣服等。关于在步骤(v)中显示的颜色的数据可以是步骤(ii)中提供的彩色涂层的数字表示和与所述数字表示相关联的数据,比如颜色代码、颜色名称、涂层材料的配方等。关于与满足至少一个预定义容差的彩色涂层的修改后的数字表示相关联的颜色的数据可以是涂层材料的配方。订购指令可以包括其他数据,比如由用户执行的物品的进一步配置、用户信息、支付细节等。优选地,在不同照明条件下的物品颜色预测是在(例如在汽车配置器中)配置要购买的物品的过程中执行的情况下,执行本发明方法的这个步骤。这允许用户通过选择一种颜色并在不同的照明条件下观察该颜色来决定所选颜色是否提供了用户所期望的外观,从而选择诸如汽车等物品的期望颜色。
本发明系统的实施例:
上述系统可以进一步包括至少一个数据库。这样的数据库可以包括(多层)彩色涂层的(多个)数字表示、与涂层材料的配方相关联的颜色数据、照明条件的数字表示、从历史照明条件导出的模型、从历史环境条件导出的(多个)模型、基于历史涂层的颜色数据和用于制备历史涂层的彩色涂层材料的历史配方参数化的数据驱动模型、虚拟物体的物体数据以及其他涂层的颜色数据。上述数据库可以任意组合使用。
在一方面,该系统进一步包括用于测量彩色涂层的颜色数据的设备。用于测量颜色数据的合适设备在现有技术中是众所周知的。
进一步的实施例或方面在以下带编号的条款中阐述:
1.一种用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备上显示所预测的外观的计算机实施的方法,所述方法包括以下步骤:
(i)经由通信接口向计算机处理器提供彩色涂层的数字表示;
(ii)通过以下方式提供照明条件的数字表示
-在该显示设备上显示包括多个照明条件的图形用户界面;
-利用该计算机处理器检测指示从该多个显示的照明条件中选择照明条件的用户输入,以及
-响应于所检测到的用户输入,利用该计算机处理器经由该通信接口检索与所检测到的用户输入相关联的照明条件的数字表示;
(iii)可选地,经由该通信接口向该计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型;
(iv)基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据;以及
(v)在该显示设备上显示从该计算机处理器接收的所生成的颜色数据。
2.根据条款1所述的方法,其中,该彩色涂层的数字表示包括颜色空间数据、光泽度数据、外观数据、纹理特性或其组合。
3.一种用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备上显示所预测的外观的方法,所述方法包括以下步骤:
(i)经由通信接口向计算机处理器提供彩色涂层的数字表示,其中,该彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向/>
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率
取决于照明方向和观察方向的空间纹理图像的表
分割成项和项/>进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差;
(ii)通过以下方式提供照明条件的数字表示
-在该显示设备上显示包括多个照明条件的用户界面;
-利用该计算机处理器检测指示从该多个显示的照明条件中选择照明条件的用户输入,以及
-响应于所检测到的用户输入,利用该计算机处理器经由该通信接口检索与所检测到的用户输入相关联的照明条件的数字表示;
(iii)可选地,经由该通信接口向该计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型;
(iv)基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据;以及
(v)在该显示设备上显示从该计算机处理器接收的所生成的颜色数据。
4.根据前述条款中任一项所述的方法,其中,该至少一层彩色涂层存在于该物体的至少一部分表面上。
5.根据前述条款中任一项所述的方法,其中,该至少一层彩色涂层是色漆层或着色清漆层,特别是色漆层。
6.根据前述条款中任一项所述的方法,其中,该物体是汽车或其一部分。
7.根据前述条款中任一项所述的方法,其中,该显示设备是移动或固定显示设备,优选地是移动显示设备。
8.根据前述条款中任一项所述的方法,其中,该显示设备的屏幕是液晶显示器(LCD)或有机发光二极管显示器(OLED),特别是包括触摸屏面板的LCD或OLED显示器。
9.根据前述条款中任一项所述的方法,其中,该显示设备包括容纳该屏幕和在步骤(i)至(v)中使用的计算机处理器的外壳。
10.根据条款1至8中任一项所述的方法,其中,该显示设备和执行步骤(i)至(iv)或步骤(ii)至(iv)或步骤(iv)的计算机处理器被配置为单独的部件。
11.根据前述条款中任一项所述的方法,其中,步骤(iv)和(v)是同时执行的。
12.根据条款3至12中任一项所述的方法,其中,使用基于相机的测量设备测量该彩色涂层的初始BTF包括利用该基于相机的测量设备在不同观看角度、不同照明角度、不同照明颜色和/或不同曝光时间创建该彩色涂层的多个图像,从而考虑照明角度、观看角度、照明颜色和/或曝光时间的多个组合来提供多个测量数据。
13.根据条款12所述的方法,其中,分别将不同照明颜色和不同曝光时间、但照明角度和观看角度相同的图像组合成高动态范围的图像。
14.根据条款3至13中任一项所述的方法,其中,在第一优化步骤中针对每个光谱测量几何形状来优化该第一子项的参数包括以下操作:
-根据捕获的光谱反射率数据来计算第一CIEL*a*b*值,
-根据公式(1)的初始BTF来计算第二CIEL*a*b*值,
-通过从该第一CIEL a*b*值中减去该第二CIEL a*b*值来计算a*和b*坐标的校正矢量,
-针对存储在该第一子项中的观看角度和照明角度的完整范围逐分量插值和外推这些校正矢量,
-将这些插值的校正矢量应用于存储在该第一子项中的每个光谱测量几何形状的第二CIEL*a*b*值以获得校正的BTF CIEL*a*b*值,
-将校正后的BTF CIEL*a*b*值变换为线性sRGB坐标,并对这些线性sRGB坐标进行归一化,以及
-将这些归一化的sRGB坐标存储在该第一子项中。
15.根据条款14所述的方法,其中,多级B样条插值算法被用于这些校正矢量的逐分量插值和外推。
16.根据条款3至15中任一项所述的方法,其中,在第二优化步骤中优化该第二子项的参数包括以下操作:
-根据所有光谱反射测量几何形状的色差总和来定义成本函数,
-根据捕获的光谱反射率数据来计算第一CIEL*a*b*值,
-在不同的光谱反射几何形状下根据公式(1)的初始BTF来计算第二CIEL*a*b*值,
-使用加权色差公式将该第二CIEL*a*b*值与该第一CIEL*a*b*值进行比较,以及
-使用非线性优化方法来优化该第二子项的参数,使得该成本函数最小化。
17.根据条款16所述的方法,其中,该成本函数包括用于考虑特定约束的惩罚函数,以将该强度函数的参数值保持在有效范围内。
18.根据条款3至17中任一项所述的方法,其中,该第一优化步骤和该第二优化步骤重复/迭代地运行,特别是运行预定义次数,以提高该优化的BTF的准确性。
19.根据前述条款中任一项所述的方法,其中,提供该彩色涂层的数字表示包括:在该显示设备的屏幕上显示预先存在的颜色库,从所显示的预先存在的库中选择颜色,基于所选颜色获得该彩色涂层的数字表示,以及经由该通信接口将所获得的该彩色涂层的数字表示提供给该计算机处理器。
20.根据条款19所述的方法,其中,该预先存在的颜色库包括至少2种不同的颜色,每种颜色对应于由彩色涂层材料制备的彩色涂层的颜色,并且每种颜色由该优化的双向纹理函数(BTF)定义,或者由颜色空间数据和/或光泽度数据和/或外观数据和/或纹理特性定义。
21.根据条款20所述的方法,其中,在该显示设备的屏幕上显示该预先存在的颜色库包括:提供虚拟物体的物体数据;可选地提供另外的颜色数据;将该优化的BTF、或与该预先存在的库中存在的颜色相关联的颜色空间数据和/或光泽度数据和/或外观数据和/或纹理特性、以及可选地该另外的颜色数据映射到所提供的虚拟物体数据;以及使用预定义的照明条件来渲染映射结果。
22.根据条款21所述的方法,其中,该虚拟物体选自2D虚拟物体,比如几何形状,或3D虚拟物体,比如色卡、圆顶形状、汽车车身或其一部分。
23.根据条款21或22所述的方法,其中,该预定义照明条件选自直接光源或高动态范围(HDR)环境贴图,特别是选自高动态范围(HDR)环境贴图。
24.根据条款1至18中任一项所述的方法,其中,提供该彩色涂层的数字表示包括提供涂层识别数据、基于所提供的涂层识别数据获得该涂层的数字表示、以及提供所获得的数字表示。
25.根据条款24所述的方法,其中,提供涂层识别数据包括提供该彩色涂层的优化的双向纹理函数(BTF)和/或提供指示该彩色涂层的数据。
26.根据条款19至25中任一项所述的方法,其中,获得该彩色涂层的数字表示的步骤进一步被定义为基于所选颜色或所提供的涂层识别数据在数据库中搜索所述数字表示。
27.根据前述条款中任一项所述的方法,其中,步骤(i)进一步包括在该显示设备的屏幕上显示与所提供的彩色涂层的数字表示相关联的颜色。
28.根据前述条款中任一项所述的方法,其中,该多个照明条件至少包括(i)该显示设备周围的环境光照,以及(ii)预定义的(多个)高动态范围(HDR)环境贴图,以及(iii)与特定时间、日期和地点相关联的环境光照。
29.根据前述条款中任一项所述的方法,其中,该用户输入是经由交互元素检测的,特别是物理交互元素,比如鼠标、键盘、轨迹球、触摸屏或其组合。
30.根据前述条款中任一项所述的方法,其中,检索该照明条件的数字表示包括
-经由该通信接口检索指示日期、时间、位置、特别是地理位置、以及可选地天空雾度的数据,和/或
-经由该通信接口检索从该显示设备的至少一个照明传感器获取的数据、从该显示设备的至少一个取向传感器获取的数据、以及可选地从至少一个有利点传感器获取的数据,和/或
-经由该通信接口检索至少一个高动态范围(HDR)环境贴图。
31.根据条款30所述的方法,其中,经由该通信接口检索指示位置、特别是地理位置的数据包括在该显示设备上显示世界地图,经由该交互元素检测指示在所显示的世界地图上选择位置的用户输入,并且响应于所检测到的用户输入,经由该通信接口检索与所述选择的地理位置相关联的数据,特别是GPS数据。
32.根据条款30或31所述的方法,其中,经由该通信接口检索指示日期和/或时间和/或天空雾度的数据包括:显示至少一个调整工具,该调整工具包括与该日期或时间或雾度相对应的至少一个调节器;经由交互元素检测指示操纵该至少一个调整工具的用户输入,特别是通过经由该交互元素检测至少一个调整工具的至少一个调节器的移动;以及响应于所检测到的用户输入来确定与相应调节器的位置相关联的日期或时间或雾度。
33.根据条款30至32中任一项所述的方法,其中,从该显示设备的至少一个照明传感器获取的数据包括:关于该显示设备周围的照明条件的数据,比如勒克斯水平、光谱含量、照明方向;该显示设备周围的环境的至少一张照片,特别是至少一张高动态范围(HDR)或低动态范围(LDR)照片;或其组合。
34.根据条款30至33中任一项所述的方法,其中,从该显示设备的至少一个有利点传感器获取的数据包括至少一张显示该用户观看该显示设备的照片。
35.根据条款30至34中任一项所述的方法,其中,检索至少一个高动态范围(HDR)环境贴图包括在该显示设备上显示至少一个高动态范围(HDR)环境贴图、经由交互元素检测指示选择所显示的高动态范围(HDR)环境贴图的用户输入,并且响应于所检测到的用户输入,经由该通信接口检索与所检测到的用户输入相关联的高动态范围(HDR)环境贴图。
36.根据前述条款中任一项所述的方法,其中,步骤(ii)进一步包括将所提供的照明条件显示在该显示设备的屏幕上。
37.根据前述条款中任一项所述的方法,其中,从历史照明条件导出的模型是基于物理的白天天空分析模型。
38.根据前述条款中任一项所述的方法,其中,至少一个从历史环境条件导出的模型提供了从该显示设备的照明和/或取向传感器和/或有利点传感器获取的数据与该显示设备周围的环境光照条件之间的关系。
39.根据条款38所述的方法,其中,由该(多个)照明传感器和/或该(多个)有利点传感器获取的数据包括高动态范围(HDR)照片或低动态范围(LDR)照片。
40.根据前述条款中任一项所述的方法,其中,利用该计算机处理器生成颜色数据的步骤包括:提供虚拟物体的物体数据;可选地提供至少一层另外的涂层的另外的颜色数据;将所提供的该彩色涂层的数字表示以及可选地另外的颜色数据映射在所提供的虚拟物体上;以及使用所提供的照明条件的数字表示以及可选地所提供的(多个)模型来渲染该映射结果。
41.根据条款40所述的方法,其中,该虚拟物体是2D虚拟物体,比如几何形状,或3D虚拟物体,比如芯片、圆顶形状、汽车车身或其一部分。
42.根据前述条款中任一项所述的方法,其中,步骤(iv)进一步包括在生成该彩色涂层的颜色数据之前,利用该计算机处理器根据所提供的照明条件的数字表示和所提供的至少一个从历史环境条件导出的模型来计算该显示设备周围的环境照明条件。
43.根据条款42所述的方法,其中,利用该计算机处理器计算该显示设备周围的环境照明条件包括
-通过估计由该(多个)照明传感器获取的数据的亮度和颜色来计算环境光照,或者
-根据该(多个)照明传感器和该(多个)取向传感器获取的数据来计算高动态范围(HDR)环境贴图,或者
-根据由该(多个)照明传感器获取的数据并且可选地根据由该(多个)有利点传感器获取的数据来计算球谐(SH)系数,并且可选地根据所计算的SH系数来计算HDR环境贴图。
44.根据前述条款中任一项所述的方法,其中,响应于步骤(iii)中提供的照明条件的数字表示中包含的数据的改变,特别是响应于从至少一个照明传感器提供的数据的改变和/或从至少一个取向传感器提供的数据的改变和/或从至少一个有利点传感器提供的数据的改变,重新计算所生成的颜色数据并将其显示在该显示设备的屏幕上。
45.根据前述条款中任一项所述的方法,其中,在该显示设备的屏幕上显示从该计算机处理器接收的颜色数据的步骤包括将所生成的颜色数据、特别是每个渲染点映射到该显示设备的屏幕。
46.根据条款27至45中任一项所述的方法,其中,在该显示设备上显示从该处理器接收的颜色数据的步骤包括响应于步骤(v)的执行而自动更新在步骤(i)中显示在该显示设备的屏幕上的颜色。
47.根据条款46所述的方法,其中,自动更新显示在该显示设备上的颜色的步骤包括将步骤(iv)中生成的所生成的颜色数据、特别是每个渲染点映射到该显示设备,以用所生成的颜色数据更新在步骤(i)中显示的颜色。
48.根据前述条款中任一项所述的方法,其中,步骤(v)进一步包括在计算机可读介质上存储所生成的颜色数据和/或其他数据,比如根据所提供的照明条件的数字表示和至少一个所提供的模型计算的环境光照条件。
49.根据前述条款中任一项所述的方法,其中,步骤(v)进一步包括将所显示的颜色添加到预先存在的颜色库或新生成的颜色库以生成修改后的颜色库。
50.根据条款49所述的方法,其中,该修改后的颜色库与存储的用户简档相关联,以供未来在设计彩色涂层的颜色时使用该修改后的颜色库。
51.根据条款49或50所述的方法,进一步包括从该修改后的颜色库中移除至少一种添加的颜色。
52.根据条款49至51中任一项所述的方法,进一步包括根据分组标准对存在于该预先存在的或修改后的颜色库中的颜色进行排序以创建排序后的颜色库,并且可选地将该排序后的颜色库与存储的用户简档相关联以用于未来提供该排序后的颜色库。
53.根据前述条款中任一项所述的方法,其中,在该显示设备的屏幕上显示所生成的颜色数据的步骤包括响应于重复步骤(ii)至(v)或响应于重复步骤(iii)至(v)或响应于重复步骤(ii)和(v)而自动更新在步骤(v)中显示在该显示设备的屏幕上的颜色。
54.根据前述条款中任一项所述的方法,进一步包括重复步骤(i)至(v)或步骤(ii)至(v)或步骤(i)、(iv)和(v)。
55.根据前述条款中任一项所述的方法,进一步包括以下步骤
(vi)修改所提供的该彩色涂层的数字表示以生成该彩色涂层的修改后的数字表示;
(vii)可选地重复步骤(vi);
(viii)基于该(多层)彩色涂层的(多个)修改后的数字表示生成该(多层)涂层的颜色数据;
(ix)在该显示设备的屏幕上显示从该处理器接收的所生成的颜色数据;
(x)可选地重复步骤(vi)至(ix)
(xi)可选地利用该计算机处理器确定该彩色涂层的修改后的数字表示是否在至少一个预定义容差内;
(xii)可选地,根据确定该修改后的数字表示在至少一个预定义容差内:使用该彩色涂层的修改后的数字表示来重复步骤(ii)至(v);
(xiii)可选地,根据确定该修改后的数字表示在至少一个预定义容差内:经由该通信接口将该修改后的数字表示提供给涂层材料制造场所,并且可选地基于所提供的修改后的数字表示来制造该涂层材料;
(xiv)可选地,根据确定该修改后的数字表示在至少一个预定义容差之外:在该显示设备的屏幕上显示至少一个推荐;以及
(xv)可选地,根据确定该修改后的数字表示在至少一个预定义容差之外:重复步骤(vi)至(ix)或步骤(vi)至(x)或步骤(vi)至(xiv)。
56.根据前述条款中任一项所述的方法,进一步包括经由该通信接口向计算机处理器提供物品的订购指令的步骤,其中,该订购指令包括关于在步骤(v)中显示的颜色的数据或者关于与满足至少一个预定义容差的彩色涂层的修改后的数字表示相关联的颜色的数据。
57.一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:
-可选地,用于向计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型的通信接口;
-用于向该计算机处理器提供彩色涂层的数字表示和照明条件的数字表示的至少一个通信接口;
-包括屏幕的显示设备;
-用于检测用户输入的交互元素;
-可选地,至少一个照明传感器和/或适合于感测该显示设备的取向的至少一个取向传感器和/或适合于感测持有该显示设备的用户的有利点的至少一个有利点传感器;
-与该通信接口、该显示设备以及可选地该至少一个照明和/或取向和/或有利点传感器通信的处理器,该处理器被编程为:
ο经由该通信接口接收该彩色涂层的数字表示;
ο生成包括多个照明条件的用户界面呈现,检测指示从该多个显示的照明条件中选择照明条件的用户输入,并且响应于所检测到的用户输入来检索与所检测到的用户输入相关联的照明条件的数字表示;
ο可选地,根据检索到的照明条件的数字表示和接收到的(多个)模型来计算该显示设备周围的环境照明条件;以及
ο基于接收到的该彩色涂层的数字表示以及接收到的该照明条件的数字表示或所计算的该显示设备周围的环境照明条件,生成该彩色涂层的颜色数据,
其中,该显示设备从该处理器接收所生成的用户界面呈现和所生成的该彩色涂层的颜色数据,并显示所生成的用户界面呈现和颜色数据,并且其中,该彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率
取决于照明方向和观察方向的空间纹理图像的表
分割成项和项/>进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差。
58.一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:
-可选地,用于向计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型的通信接口;
-用于向这些计算机处理器提供彩色涂层的数字表示和照明条件的数字表示的至少一个通信接口;
-包括屏幕的显示设备;
-用于检测用户输入的交互元素;
-可选地,至少一个照明传感器和/或适合于感测该显示设备的取向的至少一个取向传感器和/或适合于感测持有该显示设备的用户的有利点的至少一个有利点传感器;
-与该通信接口、该显示设备以及可选地该至少一个照明和/或取向和/或有利点传感器通信的第一处理器,该处理器被编程为:
ο生成包括多个照明条件的用户界面呈现,检测指示从该多个显示的照明条件中选择照明条件的用户输入,并且响应于所检测到的用户输入来检索与所检测到的用户输入相关联的照明条件的数字表示;
ο可选地,根据检索到的照明条件的数字表示和接收到的(多个)模型来计算该显示设备周围的环境照明条件;以及
-与该通信接口和该第一处理器通信的第二处理器,该第二处理器被编程为:
ο经由该通信接口接收该彩色涂层的数字表示和照明条件的数字表示或利用该第一处理器计算的环境照明条件;
ο基于接收到的该彩色涂层的数字表示以及接收到的照明条件的数字表示或从该第一处理器接收的所计算的环境照明条件,生成该彩色涂层的颜色数据,
其中,该显示设备从该第一处理器接收所生成的用户界面呈现并且从该第二处理器接收所生成的颜色数据,并显示所接收的用户界面呈现和颜色数据,并且其中,该彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率
取决于照明方向和观察方向的空间纹理图像的表
分割成项和项/>进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差。
59.一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:显示器;一个或多个计算节点;以及一个或多个计算机可读介质,其上具有计算机可执行指令,这些指令被构造为当由该一个或多个计算节点执行时使该系统执行条款1至56中任一项所述的方法。
60.一种非暂态计算机可读存储介质,该计算机可读存储介质包括指令,这些指令当被计算机执行时,使该计算机执行根据条款1至56中任一项所述的方法的步骤。
61.根据条款1至56中任一项所述的方法或根据条款57至59中任一项所述的系统用于预测涂覆有至少一层彩色涂层的物体的外观的用途。
62.一种涂覆有至少一层彩色涂层的物体,其中,根据条款1至56中任一项所述的方法来预测至少一层涂层的颜色。
附图说明
本发明的这些和其他特征将在下文对本发明的示例性实施例的描述中更全面地阐述。为了容易确定对任何具体元素或动作的讨论,附图标记中的一个或多个最高位数字指代首次引入该元素的图号。参考附图进行描述,在附图中:
图1a是根据本发明第一实施例的用于预测涂覆有至少一层彩色涂层的物体的外观的方法的框图;
图1b是根据本发明第二实施例的用于预测涂覆有至少一层彩色涂层的物体的外观的方法的框图;
图2a展示了根据本发明第一实施例的系统;
图2b展示了根据本发明第二实施例的系统;
图2c展示了根据本发明第三实施例的系统;
图3是包括显示设备的系统的平面视图,该显示设备的图形用户界面示出了预先存在的颜色库,其中彩色涂层以圆顶状凸起的形式显示在虚拟3D物体上;
图4是包括显示设备的系统的平面视图,该显示设备的图形用户界面示出了调整工具和虚拟3D物体,该虚拟3D物体呈用与所选照明条件相关联的颜色着色的汽车车身的一部分的形式;
图5a是包括显示设备的系统的3D视图,该显示设备的图形用户界面示出了虚拟3D物体,该虚拟3D物体呈用与环境照明和显示设备的取向相关联的颜色着色的圆顶状凸起的形式;
图5b是包括显示设备的系统的3D视图,该显示设备的图形用户界面示出了虚拟3D物体,该虚拟3D物体呈用与环境照明和显示设备的取向相关联的颜色着色的圆顶状凸起的形式;
图6是包括显示设备的系统的平面视图,该显示设备的图形用户界面示出了可用的高动态范围(HDR)环境贴图;
图7a是包括显示设备的系统的平面视图,该显示设备的图形用户界面示出了虚拟3D物体,该虚拟3D物体呈用使用所选高动态范围(HDR)环境贴图所生成的颜色着色的汽车车身的一部分的形式;
图7b是包括显示设备的系统的平面视图,该显示设备的图形用户界面示出了当从不同的观看角度观看时的虚拟3D物体,该虚拟3D物体呈用使用所选高动态范围(HDR)环境贴图所生成的颜色着色的汽车车身的一部分的形式。
具体实施方式
下文阐述的具体实施方式旨在作为本发明主题的各个方面的描述,而不旨在代表可以实践本发明主题的唯一配置。附图并入本文并构成具体实施方式的一部分。具体实施方式包括用于提供对本发明主题的透彻理解的具体细节。然而,对于本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下实践本发明主题。
图1a描绘了根据本发明的方法100的非限制性第一实施例,该方法用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备的屏幕上显示所预测的外观。在该实例中,彩色涂层是色漆层,并且物体是汽车或其一部分,比如内饰件、保险杠等。在该实例中,显示设备是具有LCD屏(包括触摸屏)的便携式显示设备,比如平板计算机或智能电话。在另一实例中,显示设备是固定设备,比如固定计算机、经由通信接口与计算机连接的电视屏幕、或投影显示设备。在该实例中,显示设备具有容纳屏幕和处理器的外壳。在另一实例中,处理器与显示设备分开,例如位于经由有线或无线通信接口耦合到显示设备的外部设备上。
在框102中,例程101确定是否要在显示设备的屏幕上显示预先存在的颜色库。例如,可以基于用户数据(如用户简档)来做出该确定。这允许根据用户来显示不同的预先存在的颜色库,使得可以定制每个预先存在的颜色库以提高用户舒适度。如果例程101在框102中确定要显示预先存在的颜色库,则进行到框104,否则进行到稍后描述的框106。
在框104中,例程101在显示设备的屏幕上显示相应的预先存在的颜色库。该实例的预先存在的库包含195种不同的颜色,每种颜色对应于由彩色涂层材料制备的彩色涂层的颜色,并且每种颜色由如前所述的优化的BTF定义。在该实例中,通过提供虚拟物体的预定义物体数据并使用预定义照明条件(基于图像的光照)渲染存在于预先存在的颜色库中的颜色数据和所提供的物体数据,将预先存在的颜色库显示在显示设备的屏幕上(参见例如图3)。虚拟物体的预定义物体数据从数据库经由通信接口提供给处理器。在该实例中,虚拟物体是具有圆顶形状的3D虚拟物体。在另一实例中,虚拟物体是2D虚拟物体,比如彩色区域。在该实例中,用户可以经由交互元素滚动浏览所显示的预先存在的颜色库以查看所显示的所有颜色。交互元素可以是触摸屏手势、鼠标点击、快捷方式、或其组合。
在框106中,例程101检测用户输入(例如,用户从所显示的预先存在的库中选择颜色)并基于所检测到的用户输入(例如,选择的颜色)从数据库中检索彩色涂层的数字表示,并经由通信接口将检索到的数字表示提供给计算机处理器。彩色涂层的数字表示包括通过前述步骤获得的优化的双向函数(BTF),并且可以包括其他数据,比如用于制备彩色涂层的涂层材料的配方、颜色名称、颜色标识号等。例如,用户输入可以经由交互元素来执行,比如触摸屏手势、鼠标点击、快捷方式等。
在框108中,例程101在显示设备的屏幕上(例如在GUI内)显示多个照明条件。为此,例程101可以生成包括所述多个照明条件的用户界面呈现,并且所述用户界面呈现然后被显示在显示设备的屏幕上。在该实例中,可用的照明条件包括使用显示设备周围的环境光照(环境)、使用现有的HDR环境贴图(HDRI)以及使用与特定时间、日期和位置相关联的环境光照(天空模型)。可以使用图标、图像、文本或其组合将多个照明条件显示在用户界面内,并且可以通过经由交互元素选择相应的图标、图像、文本或其组合来选择这些照明条件。在一个实例中,所选照明条件被显示给用户并且GUI可以提供返回到选择不同照明条件以允许校正用户输入的可能性。
在框110中,例程101检测指示从多个显示的照明条件中选择照明条件的用户输入,并且进行到框112。
在框112中,例程101基于在框110中检测到的用户输入来确定用户经由交互元素选择的照明条件。取决于用户选择,例程101进行到框114(在所确定的用户选择对应于使用HDR环境贴图的情况下)或进行到框116(在所确定的用户选择对应于使用显示设备周围的环境光照的情况下)或进行到框124(在所确定的用户选择对应于使用与特定时间、日期和位置相关联的环境光照的情况下)。
在框114中,例程101在显示设备的屏幕上(例如在GUI内)显示可用的HDR环境贴图。在该实例中,通过从数据存储介质(比如显示设备的数据库或内部存储器)中检索与可用环境贴图相关联的图像并显示检索到的图像(例如稍后描述的图6所示)来在GUI上显示可用的HDR环境贴图。用户经由交互元素对所显示的HDR图像的选择由例程101检测,并且用于检索相应的HDR环境贴图,如下文的框116中所描述的。在一个实例中,用户可以进一步选择所选HDR环境贴图的取向和观看方向,它们用于在框134中生成颜色数据。为此,例程101可以显示包括所选HDR环境贴图的GUI,并且用户可以通过旋转贴图来改变取向。可以通过显示可用方向的列表或通过显示包含物体和人的图形来选择观看方向,并且用户可以通过从列表中选择适当的条目或通过相对于所显示的物体移动人来选择观看方向。用户选择由例程101检测,并且通过计算机处理器被转换为HDR环境贴图的所选取向和/或所选观看方向。在另一实例中,在框134中,使用HDR环境贴图的预定义取向和预定义观看方向来生成颜色数据,并且用户能够改变HDR环境贴图的取向和/或观看方向,如稍后描述的。
在框116中,例程101从数据存储介质(如数据库)中检索与在框114中检测到的用户选择相关联的HDR环境贴图,并且将检索到的HDR环境贴图提供给处理器。检索到的HDR环境贴图对应于先前描述的照明条件的数字表示。
在框118中,例程101开始通过显示设备的(多个)照明和/或取向和/或有利点传感器来获取数据,并将所获取的数据存储在数据存储介质(如显示设备的内部存储器)上。数据获取可以执行预定义的持续时间,或者可以执行直到用户结束方法100或者选择不同的照明条件,如稍后描述的。数据可以与另外的元数据(如获取时间、传感器名称等)一起存储。如果方法100重复几次,则在方法结束时可以删除所获取的数据,以减少存储所获取的传感器数据所需的数据存储量。由显示设备的(多个)照明和/或取向和/或有利点传感器获取的数据对应于先前描述的照明条件的数字表示。
在框120中,例程101经由通信接口从数据存储介质(如数据库或显示设备的内部存储器)中检索从历史环境条件导出的模型,并将检索到的模型提供给计算机处理器。从历史环境条件导出的合适模型包括如前所述的HDRI模型、环境光照模型和球谐系数模型、以及先前描述的根据SH系数来估计HDR环境贴图的数据驱动模型。
在框122中,基于在框120或稍后描述的框126中检索的模型以及在框118中获取的传感器数据或在稍后描述的框124中检测的用户输入,计算环境照明条件。在一个实例中,计算环境照明条件可以包括根据由(多个)照明传感器获取的数据(比如先前描述的显示设备周围环境的至少一张照片)估计的颜色和亮度来计算环境光照条件。在另一实例中,计算环境照明条件可以包括根据所获取的传感器数据来计算HDR环境贴图和/或球谐(SH)系数,如先前所描述的。所计算的环境照明条件可以例如以所计算的HDR环境贴图的形式显示在显示设备的屏幕上(参见例如图4,附图标记416)。
在框124中,例程101检测对日期、时间、位置以及可选地雾度的用户输入。在该实例中,例如,如图4所示,包括至少一个调整工具的GUI显示在显示设备的屏幕上,该调整工具允许用户输入日期、时间、位置和可选地天空雾度中的至少一项。用户可以经由交互元素使用所显示的调整工具和另外的图标(例如交互式日历、地图等)来输入日期、时间、位置和可选地雾度。所显示的调整工具或图标可以包含预定义数据,比如当前时间、当前日期、显示设备的位置和预定义雾度。用户可以经由交互元素来操纵调整工具的调节器。例程101可以根据调整工具的调节器的位置来确定时间、日期和可选地雾度。可以使用显示设备的GPS模块来确定显示设备的位置。所输入或预定义的关于时间、日期、位置和可选地雾度的数据对应于先前描述的照明条件的数字表示。
在框126中,例程101经由通信接口从数据存储介质(如数据库或显示设备的内部存储器)中检索从历史照明条件导出的模型,并将检索到的模型提供给计算机处理器。从历史照明条件导出的合适模型是以下文献中描述的基于物理的白天天空分析模型:I.Hosek等人的“An analytic model for full spectral sky-dome radiance[全光谱天空穹顶辐射分析模型]”ACM图形汇刊,2012年,第31卷,文章编号:95,https://doi.org/10.1145/2185520.2185591。在框126之后,例程101进行到如先前所描述的框122。
在框116或122之后,例程101进行到框128。在框128中,例程101确定预定义的虚拟物体数据是否要用于稍后关于框134描述的生成颜色数据。如果要使用预定义的虚拟物体数据,则例程101进行到框130,否则例程101进行到框132。
在框130中,例程101检索预定义的虚拟物体数据。在该实例中,这包括在显示设备的屏幕的GUI上显示指示可用虚拟物体的图标、图像、文本或其组合,检测指示对所显示的虚拟物体的选择的用户输入,基于所检测到的用户输入从数据存储介质(如数据库或显示设备的内部存储器)中检索虚拟物体数据,以及将检索到的虚拟物体数据提供给计算机处理器。可用的虚拟物体可以包括2D物体,比如彩色区域,或3D物体,比如圆顶状凸起或不同类型的通用汽车(即,代表不同汽车类型(如SUV、跑车等)的汽车形状)。
在框132中,例程101检测由用户(例如,通过提供包含虚拟物体数据的文件或通过选择存储在显示设备的内部存储器上的相应文件)提供的虚拟物体数据。这可以包括在显示设备的屏幕上提供GUI,在该GUI上向用户显示提供虚拟物体数据的可用选项。用户定义的虚拟物体数据的使用允许根据用户的具体需要来定制虚拟物体数据,并因此提高了用户的舒适度。
在一个实例(未示出)中,方法100可以进一步包括框133。在框133中,例程101确定至少一层另外的彩色涂层是否要用于在框134中生成颜色数据。如果是这种情况,则例程101向处理器提供至少一层另外的彩色涂层的颜色数据。否则,例程101进行到下文描述的框134。在一个实例中,至少一层另外的涂层的颜色数据通过以下方式来提供:显示预先存在的颜色库、检测用户对所显示颜色的选择、从数据存储介质(如数据库或显示设备的内部存储器)中检索与所选颜色相关联的颜色数据、以及将检索到的颜色数据提供给计算机处理器。在另一实例中,用户可以输入关于(多个)另外的彩色涂层的类型的信息(比如另外的色漆、着色清漆等)和/或颜色信息(比如颜色名称、颜色代码等),并且例程101基于输入的信息检索颜色数据并将检索到的颜色数据提供给计算机处理器。使用至少一层另外的彩色涂层的颜色数据允许生成包括多于一层彩色涂层的多层涂层的颜色数据,从而使方法100适应于要预测外观的涂层的相应层结构。
在框134中,利用计算机处理器基于以下各项来生成涂层的颜色数据
-在框106中提供的彩色涂层的数字表示,
-在框130或132中提供的虚拟物体数据,以及
-在框116中提供的HDR环境贴图或在框122中计算的环境照明条件。
如果使用在框116中提供的HDR环境贴图来生成颜色数据,则在渲染过程中使用在框114中选择的HDR环境贴图的取向和/或观看角度、或者HDR环境贴图的预定义取向和/或预定义观看方向。如果使用HDR环境贴图的预定义取向,则用户可以通过转动在框138/140中显示的HDR环境贴图来调整该取向,如稍后描述的。通过将所提供的彩色涂层的数字表示映射到所提供的虚拟物体上并使用所提供的HDR环境贴图或所提供的环境照明条件渲染映射结果来生成颜色数据。如先前所描述的,使用所提供的HDR环境贴图或所提供的环境照明条件进行渲染是例如使用基于图像的光照(IBL)来执行的。
在框136中,例程101确定与所提供的彩色涂层的数字表示相关联的任何颜色数据是否已经显示在显示设备的屏幕上。例如,在框104或框124中可以显示与所提供的彩色涂层的数字表示相关联的颜色数据。如果与所提供的彩色涂层的数字表示相关联的颜色数据已经显示在显示设备的屏幕上,则例程101进行到框140,否则例程101进行到框138。
在框138中,例程101通过将所生成的颜色数据(即,每个渲染点)映射到显示设备的屏幕,在显示设备的屏幕上显示在框134中生成的颜色数据,从而使得显示设备的屏幕上显示的所渲染物体放置在预定义或所选的背景前面。在该实例中,所渲染物体被放置在具有统一颜色的预定义背景的前面。在另一实例中,所渲染物体被放置在用户定义的背景前面。可以通过检测从预定义背景列表中选择背景或者通过使用用户提供的背景(比如照片)来提供用户定义的背景。使用用户定义的背景允许定制虚拟物体的周边情况,以便用户获得特定周围环境内物体的外观的印象。由于可以将虚拟物体放置在真实环境中,因此这可以改善对所显示外观是否满足用户的要求的判断。颜色数据可以显示在包括另外的图标、图像、文本或其组合的GUI内,以允许用户执行进一步的动作,比如改变HDR环境贴图中的观看方向(参见例如图7b)、存储所生成的颜色数据,向所生成的颜色数据添加注释或执行稍后描述的其他块。除了颜色数据之外,诸如在框122中计算的环境照明条件、在框124中显示的调整工具或关于在框106中选择的颜色的信息等其他数据可以显示在显示设备的屏幕上。
在框140中,例程101通过将在框134中生成的颜色数据(即,每个渲染点)映射到显示设备的屏幕,利用所生成的颜色数据来自动更新在显示设备的屏幕上显示的颜色,使得先前显示的颜色被替换为所生成的颜色数据。更新可以包括在显示设备的GUI上示出另外的图标、图像、文本或其组合、或者如关于框138所描述的其他数据。
在框142中,例程101确定在框138或框140之后获取的传感器数据相对于在框118中获取的传感器数据是否已经改变,或者用户是否已经改变了输入数据(比如在框124中输入的数据)或预定义数据(比如在框114中选择的HDR环境贴图的观看角度)。如果例程101确定传感器数据或用户输入或预定义数据没有改变,则例程进行到下面描述的框144。如果例程101确定传感器数据或用户输入或预定义数据已经改变,则例程101或者进行到框122(在传感器数据或用户输入已经改变的情况下)或者进行到框134(在预定义数据已被用户改变的情况下)。
确定传感器数据的改变可以包括将在框118中获取的数据与在执行框122之后获取的数据进行比较,并且确定差值是否高于预定义阈值。如果在执行框122之前数据获取已经结束,则例程101可以在框142中发起如关于框122所描述的传感器数据获取,并且将在框118中获取的数据与在框142中获取的数据进行比较,如先前所描述的。如果例程101确定所获取的传感器数据的差值高于预定义阈值,则例程101进行到框122,并且处理器使用在框122之后获取的或在框142中获取的传感器数据来计算环境照明条件,如上文关于框122所述。如果例程101确定所获取的传感器数据的差值低于预定义阈值(即,没有发生显著变化),则例程101进行到框144。
确定用户输入的改变可以包括将在框124中输入的数据与在框138中输入的相应数据进行比较,例如通过在框138中移动在GUI上显示的调整工具的调节器或交互式图标。
确定预定义数据的改变可以包括将HDR环境贴图的预定义观看角度与框138中显示的HDR环境贴图的观看角度进行比较。如果用户在框138中改变观看角度,则例程101进行到框134并使用框116中提供的HDR环境贴图和框138中定义的观看角度来生成颜色数据。
响应于如先前所描述的所获取的传感器数据、用户输入或预定义数据的改变而重新计算颜色数据并将其显示在显示设备的屏幕上使得能够使用当前的传感器数据、用户输入或预定义数据来自动更新所生成的颜色数据。在一个实例中,在检测到先前描述的所获取的输入数据或预定义数据中的改变时,自动重新计算和显示重新生成的颜色数据,即,无需任何用户交互。这使得用户能够了解不同参数(比如显示设备的取向、位置、时间、数据、雾度或观看角度)对所显示外观的影响。重新计算和显示重新计算的颜色数据是实时或接近实时地执行的,因此如果用户倾斜和旋转显示设备,改变有利点或时间/日期/位置/雾度,则用户可以得到屏幕上显示的彩色物体的外观表现得像真实样品一样的印象。
在框144中,例程101确定是否要改变在框112中确定的照明条件或者是否要结束方法100。在一个实例中,这包括在显示设备的屏幕上显示相应的菜单,以提示用户选择期望的选项。在另一实例中,例程101例如通过检测对指示可用照明条件的相应用户图标的选择来检测指示用户想要返回到框110的用户输入。如果例程101在框144中确定用户想要改变照明条件,则例程101进行到框110。否则,例程101根据用户选择进行到框146或结束该方法。返回框110允许用户研究不同照明条件对所选颜色的影响,并允许判断所选颜色在与彩色物体相关的所有照明条件下是否具有所需的外观。
在框146中,例程101确定是否要改变在框104中选择的颜色。在一个实例中,这包括在显示设备的屏幕上显示相应的菜单,以提示用户选择期望的选项。在另一实例中,例程101例如通过检测对指示选择颜色的相应用户图标的选择来检测指示用户想要返回到框102的用户输入。如果例程101在框146中确定用户想要改变颜色,则例程101进行到框102。否则,例程101结束该方法。返回框102允许用户在框104中选择的颜色的外观未产生期望的外观的情况下选择新的颜色。
图1b描绘了根据本发明的方法100'的非限制性第二实施例,该方法用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备的屏幕上显示所预测的外观。在该实例中,彩色涂层是色漆层,并且物体是汽车或其一部分,比如内饰件、保险杠等。在该实例中,显示设备是具有LCD屏(包括触摸屏)的便携式显示设备,比如平板计算机或智能电话。在另一实例中,显示设备是固定设备,比如固定计算机、经由通信接口与计算机连接的电视屏幕、或投影显示设备。在该实例中,显示设备具有容纳屏幕和处理器的外壳。在另一实例中,处理器与显示设备分开,例如位于经由有线或无线通信接口耦合到显示设备的外部设备上。
图1b的方法100'包括先前关于图1a描述的框102至146。另外,方法100'包括如下所述的框148至168。在一个实例中,如果用户确定在框138或框140中显示在显示设备的屏幕上的彩色物体的预测外观与用户期望的外观不匹配,则执行方法100'。然后,用户可以执行方法100'以修改在框138或框140中显示在显示设备的屏幕上的颜色。在另一实例中,如果用户想要对用在框104中选择的颜色着色的物品发出订购指令,则执行方法100'。
在框148中,例程101'确定在框138或140中显示的颜色数据的视觉外观是否可接受。这可以包括在GUI上显示相应的菜单并提示用户做出适当的选择。如果例程101'在框148中确定视觉外观是可接受的,则进行到框150,否则进行到如下所述的框154。
在框150中,例程101'确定用户期望哪些进一步的动作。这可以包括在GUI上显示相应的对话框并提示用户做出适当的选择。如果例程101'确定用户想要重复先前描述的框102或110(即,改变照明条件或颜色),则例程101'分别进行到框102或110。如果例程101'确定用户想要结束该方法,则例程101'结束方法100'。如果例程101'确定用户想要发出订购指令,则例程101'进行到下文中描述的框152。进行到框110,使用彩色涂层的修改后的数字表示允许用户检查修改后的颜色是否在可用照明条件下产生期望的外观,并且因此提高用户在虚拟颜色设计过程期间的舒适度。在该框中,用户还可以选择将所生成的颜色数据可选地与其他数据(比如注释、标签等)一起保存在数据存储介质上,比如数据库或显示设备的内部存储器上。这允许在需要时检索存储的颜色数据,从而减少计算相应颜色数据所需的时间量。
在框152中,例程101'生成物品的订购指令并经由通信接口将所生成的订购指令提供给另一计算设备。在一个实例中,另一计算设备位于销售商处(例如在汽车经销商处),或者在制造彩色物品的公司处(比如汽车制造商处),或者在涂层材料制造场所处。所提供的订购指令包括关于框138或140中显示的颜色的数据,比如颜色代码、颜色名称、用于制备彩色涂层的涂层材料的配方、涂层材料的(修改后的)配方及其组合。订购指令可以包括其他数据,比如由用户执行的物品的进一步配置、用户信息、支付细节等。本发明的方法100'内的发送具有期望颜色的物体的订购指令允许用户直接向销售商或制造商提供有关期望颜色的所有必要详细信息,从而避免不必要的数据传输并降低数据丢失或数据传输错误的风险。在发送订购指令之后,可以基于所提供的订单中包含的信息来制造彩色物品/涂层材料,并且可以将其提供给与所提供的订单相关联的用户。例程101'然后进行到框153。
在框153中,例程101'确定用户是否想要结束方法100'或者用户是否想要返回到关于图1a描述的框102。为此,例程101'可以在显示设备的屏幕上显示相应的对话框,以提示用户做出适当的选择。如果例程101'确定用户想要结束方法100',则例程101'结束方法100'。否则,例程101'进行到关于图1a描述的框102。
在框154中,例程101'在显示设备的屏幕上显示框106中提供的彩色涂层的数字表示。所显示的数字表示包括用于制备与所提供的数字表示相关联的涂层材料的至少一部分成分,即,存在于用于制备框104中选择的颜色的涂层材料中的至少一部分成分会在框154中显示在显示设备的屏幕上。在一个实例中,在该框中,通过使用如先前所描述的预定义照明条件利用在步骤106中提供的数字表示中包含的颜色数据来渲染虚拟物体而获得的所渲染的虚拟物体会另外显示在屏幕上。在该实例中,使用了汽车的一部分的预定义虚拟物体数据,并且可以转动或缩放所显示的虚拟物体。在另一实例中,用户可以选择虚拟物体,然后从数据库中检索与所选物体相关联的物体数据并用于渲染过程。
在框156中,例程101'检测用户对所显示的彩色涂层的数字表示的修改。这可以包括由用户经由交互元素(比如触摸屏手势)修改至少一种显示的成分,并且利用显示设备的处理器检测用户输入。在该实例中,使用包括多个调节器的至少一个调整工具来显示用于制备彩色涂层的涂层配方中存在的成分,每个调节器对应于涂层材料中存在的成分的类型和量。调整工具是通过例程101'根据框106中提供的彩色涂层的数字表示生成的,即,通过将所述数字表示中包含的关于涂层材料的配方的数据变换成调整工具。在该实例中,调整工具是具有多个视觉上不同的隔间的盒子,每个隔间指示涂层材料中存在的成分的类型,每个隔间的大小指示相应成分的量,并且多个调节器对应于分隔这些隔间的线。在每个隔间中使用指示相应成分类型的图形表示来显示成分的类型。通过将所提供的数字表示中包含的配方数据与每种类型成分的预定义图像(比如用于彩色颜料的色片、用于金属效果颜料的金属片、用于玻璃鳞片的玻璃片、用于粘合剂的固体块等)相关联,并在相应的隔间中显示所述图像,从所提供的彩色涂层的数字表示中获得图形表示。使用具有不同大小隔间且包括特定成分的图形表示的盒子,能够在无需深入了解化学结构和固化化学的情况下轻松概览涂层材料的相关成分,并且能够轻松评估每种成分的类型/量对涂层最终颜色的影响。在另一实例中,调整工具具有包括每种成分的类型和量的列表的形式,并且用户可以通过选择不同的成分或通过改变列出的量来改变成分的类型/量。该列表是根据所提供的数字表示中包含的配方数据生成的。在一个实例中,利用触摸屏面板的面板处理器来检测触摸屏手势,并且经由通信接口将触摸屏手势从面板处理器提供给计算机处理器。可以重复框156,即,可以修改配方直到获得期望的颜色。
在框158中,例程101'基于框156中检测到的用户修改来生成彩色涂层的修改后的数字表示。在该实例中,检测到的触摸屏手势被转换成用于制备彩色涂层的彩色涂层材料的修改后的配方数据。因此,修改后的数字表示包括修改后的涂层材料的配方数据。
在框160中,例程101'基于在框158中获得的修改后的数字表示来生成涂层的颜色数据。在该实例中,生成颜色数据包括提供基于历史涂层的颜色数据和用于制备历史涂层的彩色涂层材料的历史配方参数化的数据驱动模型,以及基于所提供的数据驱动模型和彩色涂层材料的修改后的配方数据来计算颜色数据。数据驱动模型存储在计算机可读介质(比如数据库)上,并且经由通信接口提供给处理器。US20020184167A1中披露了合适的数据驱动模型的实例。在另一实例中,通过基于彩色涂层材料的修改后的配方数据从数据库或查找表中检索颜色数据来生成颜色数据。该实例可以包括将检索到的颜色数据与预定义容差进行比较,以便提供最佳匹配的颜色数据。
在框162中,例程101'在显示设备的屏幕上显示在框160中生成的颜色数据。在该实例中,在显示设备的屏幕上显示所生成的颜色数据包括响应于执行框156至160,通过使用如先前所描述的预定义照明条件渲染所生成的颜色数据和虚拟物体数据并用框162的渲染结果更新框154中显示的颜色来自动更新在框154中显示的虚拟物体的颜色。在一个实例中,重复框154至162。这在所显示的颜色与用户期望的颜色不匹配时可能是优选的。
在框164中,例程101'确定在框158中生成的修改后的数字表示是否在至少一个预定义容差内,特别是在所有预定义容差内。在该实例中,预定义容差选自(多种)颜料和粘合剂的最大或最小量、颜料和粘合剂的允许组合、及其组合。涂层制造商可以基于稳定性标准、制造工艺标准等来确定预定义容差。(多个)预定义容差存储在存储设备(比如数据库)上,并且在该确定之前经由通信接口提供给计算机处理器。该确定是通过使用计算机处理器将包含在修改后的数字表示中的涂层材料的修改后的配方的数据与至少一个预定义容差进行比较来执行的。该确定的结果可以在显示设备的屏幕上显示给用户。在该实例中,由显示设备的计算机处理器执行比较。在另一实例中,由存在于显示设备外部的另一计算机处理器来执行比较。为此,在该确定之前,经由通信接口将修改后的数字表示提供给另一处理器,并且可以在该确定完成之后经由所述通信接口将确定的结果提供给显示设备的处理器。如果例程101'确定修改后的数字表示在至少一个、优选地在所有(多个)预定义容差内,则例程101'进行到框148。如果例程101'确定修改后的数字表示在至少一个预定义容差之外,则例程101'进行到框168。
在框166中,如果框164中执行的确定导致修改后的数字表示不满足至少一个预定义容差,则例程101'在显示设备的屏幕上显示至少一个推荐。这些推荐被存储在数据库中,并且由经由通信接口与数据库连接的处理器基于确定的结果(即,基于未满足哪个(哪些)容差)来检索。在一个实例中,所显示的推荐是:“[化合物X]的量太高。请减少用量或选择不同的[化合物]”。在具体实例中,括号中的术语被替换为超出预定义容差的化合物的名称。
在框168中,例程101'确定用户是否想要重复修改涂层材料。这可以包括在GUI上显示相应的菜单并提示用户做出适当的选择。如果例程101'确定用户想要重复涂层材料的修改,则例程101'进行到框154。否则,例程101'进行到先前描述的框153。
图2a示出了用于设计由彩色涂层材料产生的彩色涂层的外观的系统200的第一实施例,该系统可以用于执行本发明的方法,例如关于图1描述的方法100。在该实例中,系统200是显示设备202,其经由通信接口234、236、238耦合到数据库216、218、220。显示设备202可以经由通信接口240、242、244耦合到传感器222、224、228。如图所示,计算机系统200包括处理器212,其被配置为执行例如从存储器214检索的指令,并且执行与计算机系统200相关联的操作,即
-经由通信接口接收彩色涂层的数字表示、照明条件的数字表示以及可选地先前描述的(多个)模型;
-可选地,从所接收的照明条件的数字表示中导出显示设备周围的环境照明条件、显示设备的取向以及可选地有利点;
-基于接收到的彩色涂层的数字表示、接收到的照明条件的数字表示或导出的显示设备周围的环境照明条件、显示设备的取向以及可选地有利点、以及可选地接收到的(多个)模型,生成彩色涂层的颜色数据;
-可选地,响应于所提供的照明条件的数字表示的改变,特别是响应于由(多个)取向传感器和/或(多个)照明传感器和/或(多个)有利点传感器获取的数据的改变,重新计算彩色涂层的颜色数据。
显示设备202包括屏幕204,其用于特别是经由图形用户界面(GUI)将所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及从处理器212接收的所生成的彩色涂层的颜色数据显示给用户。为此,显示设备202经由通信接口可操作地耦合到处理器212。在该实例中,显示设备202经由通信接口228、230、232、324、感测电路208和输入/输出(I/O)控制器210连接到处理器212。在另一实例中,显示设备202经由通信接口直接耦合到处理器212。在该实例中,显示设备202与处理器212和存储器214集成以形成台式计算机(全部在一台机器中)、膝上型计算机、手持式计算机或平板计算机等。在另一实例中,显示设备202可以是单独的部件(外围设备,未示出)。举例来说,显示设备202可以是单色显示器、彩色图形适配器(CGA)显示器、增强型图形适配器(EGA)显示器、可变图形阵列(VGA)显示器、超级VGA显示器、液晶显示器(例如,有源矩阵、无源矩阵等)、阴极射线管(CRT)、等离子显示器等。
该系统进一步包括用于检测用户输入的交互元素206,其经由通信接口可操作地耦合到处理器212。在该实例中,交互元素206是触摸屏,其经由感测设备208和输入/输出(I/O)控制器210可操作地耦合到处理器212,使得处理器可以经由交互元素206检测用户输入。触摸屏206是位于显示设备202的屏幕204前面的透明面板。在该实例中,触摸屏206与显示设备202集成。在另一实例中,触摸屏206是单独的部件。触摸屏206被配置为接收来自用户触摸的输入并将该信息发送到处理器212。为此,触摸屏206识别触摸以及触摸在其表面上的位置和幅度。触摸屏206通常包括感测设备,其被配置为例如通过使用遍布触摸屏206定位的感测点来检测与其紧密接近的物体和/或施加在其上的压力。在最简单的情况下,每次将物体定位在感测点上时都会产生信号,例如通过使用电容。在该实例中,从感测设备获取数据的触摸屏206包括经由通信接口228连接到触摸屏206的感测电路208。感测电路208经由通信接口230连接到输入/输出(I/O)控制器210,该I/O控制器可操作地耦合到处理器212。在该实例中,I/O控制器210是单独的部件。在另一实例中,I/O控制器210与处理器212集成。I/O控制器210通常被配置为控制与一个或多个I/O设备(如触摸屏206)的交互。I/O控制器210通常通过在处理器212和期望与处理器通信的I/O设备之间交换数据来操作。因此,从感测电路208获取的数据经由I/O控制器210供应到处理器212。在另一实例中,处理器可以包括该功能。在一个实例中,感测电路208被配置为将原始数据发送到处理器212,使得处理器212处理原始数据。例如,处理器212从感测电路208接收数据,然后确定如何在系统200内使用该数据。该数据可以包括每个感测点的坐标以及施加在每个感测点上的压力。在另一实例中,感测电路208被配置为通过读取来自感测点的脉冲并将它们转变成处理器212可以理解的数据来处理原始数据本身。感测电路208可以执行滤波和/或转换过程。通常实施滤波过程以减少繁忙的数据流,使得处理器212不会因冗余或非必要的数据而过载。可以实施转换过程以在将原始数据发送或报告给处理器212之前调整原始数据。转换可以包括确定每个触摸区域的中心点(例如,质心)。感测电路208可以包括用于存储触摸屏程序的存储元件,该触摸屏程序能够控制触摸屏206的不同方面。例如,触摸屏程序可以包含基于所选感测点(例如,坐标)输出什么类型的值。感测电路208通常包括一个或多个微控制器,每个微控制器监测一个或多个感测点。微控制器可以例如对应于专用集成电路(ASIC),其与固件一起工作以监测来自感测设备的信号并处理所监测的信号,并将该信息报告给处理器212。合适的触摸屏可在市场上买到并且通常包括在诸如智能电话或平板计算机等移动设备中。在另一实例中,交互元素206是经由通信接口可操作地耦合到处理器212的鼠标。鼠标可以经由输入/输出(I/O)控制器210连接到处理器,如先前结合触摸屏所描述的。
数据库216、218、220可以存储彩色涂层的数字表示、从历史照明条件导出的模型和/或从历史环境条件导出的模型、以及照明条件的数字表示。存储在数据库216、218、220中的信息由处理器212经由通信接口234、236、238检索并且用于计算环境照明条件和/或生成颜色数据,如关于图1的步骤108所描述的。
根据各种实施例,设备200可以包括用于感测环境条件的一个或多个传感器,例如(多个)取向传感器222、(多个)照明传感器224和/或(多个)有利点传感器226。来自传感器222、224、226的读数经由通信接口240、242、244提供给处理器212,如关于图1的步骤106所描述的。这些读数用于通过处理器212使用存储在数据库220中的模型来计算环境照明条件,如关于图1的步骤108所描述的。处理器212使用所计算的环境照明条件来预测涂覆物体的外观,就好像涂覆物体正在与设备200的实际环境相互作用,如关于图1的步骤108所描述的。(多个)取向传感器222可以感测设备围绕其至少一个轴的俯仰、滚动和偏航,例如,如图5a和图5b中所示。当设备200旋转时,可以理解,在预测涂覆物体的外观期间考虑的环境因素可能会发生变化(例如,照明方向,诸如主导照明方向、有利点位置等)。因此,处理器212可以考虑设备200的俯仰、滚动和偏航并且计算环境条件的适当变化。根据各种实施例,如关于图1的步骤110所描述的,所产生的对涂覆物体的所显示外观的改变可以被实时或接近实时地更新。以这种方式,当用户倾斜和旋转设备200时,屏幕204所示的涂覆物体的外观可以表现得好像用户正在倾斜和旋转实际样品一样。取向传感器222可以放置在显示设备202内,并且可以包括如先前所描述的能够感测设备200绕一个或多个轴的运动的任何合适类型的传感器。(多个)照明传感器224可以感测设备200周围的环境照明条件,包括例如勒克斯水平、光谱含量和照明方向(比如主导照明方向),或者可以用于拍摄显示设备周围的环境的至少一张照片,比如至少一张HDR或LDR照片。根据各种实施例,(多个)照明传感器224可以被实施为CMOS成像模块、嵌入式相机或能够捕获图像的任何其他传感器。然后,处理器212可以考虑捕获的图像来导出环境照明条件,如先前所描述的。有利点传感器226可以用于定位有利点并且也可以被实施为CMOS成像模块、嵌入式相机或类似设备。有利点的位置可以如先前所描述的从所得图像中导出。此外,根据各种实施例,(多个)照明传感器224和(多个)有利点传感器226可以被实施为单个传感器224a,其中有利点位置和照明信息都从由所述传感器224a获取的图像中导出,如先前所描述的。
处理器212可以是单芯片处理器或者可以用多个部件来实施。在大多数情况下,处理器212与操作系统一起操作以执行计算机代码并产生和使用数据。在该实例中,计算机代码和数据驻留在可操作地耦合到处理器212的存储器214内。存储器214通常提供保存计算机系统200正在使用的数据的位置。举例来说,存储器214可以包括只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器等。在另一实例中,计算机代码和数据还可以驻留在可移动存储介质上,并在需要时加载或安装到计算机系统上。可移动存储介质包括例如CD-ROM、PC-CARD、软盘、磁带和网络部件。在该实例中,处理器212经由通信接口234、236从数据库216、218中检索彩色涂层的数字表示和照明条件的数字表示。为此,将预先存在的颜色库和预定义的HDR环境贴图显示在显示设备202的屏幕204上,并且经由触摸屏206来检测用户对颜色和HDR环境贴图的选择,如先前所描述的。然后,处理器212经由通信接口234从数据库216中检索与所选颜色相关联的彩色涂层的数字表示,如关于图1的步骤104所述,并经由通信接口236从数据库218中检索与所选HDR环境贴图相关联的照明条件的数字表示,如关于图1的步骤106所述。在另一实例中,如果从传感器222、224、226或传感器222、224a获取数据并经由通信接口240、242、244将数据提供给处理器212,则处理器212可以进一步经由通信接口238从数据库220检索至少一个先前描述的从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型。从数据库220检索到的(多个)模型被处理器212用来在如关于图1的步骤108所描述的生成颜色数据之前根据由传感器222、224、226或传感器222、224a获取的数据来计算环境照明条件,如先前所描述的。然后,处理器212使用检索到的彩色涂层的数字表示和照明条件的数字表示或所计算的环境照明条件,通过如关于图1的步骤108所描述的先前描述的渲染过程来生成颜色数据。用于所述渲染过程的虚拟物体数据存储在数据库216、218、220中的任何一个中或者存储在另一数据库(未示出)中。然后,在处理器212如关于图1的步骤110所描述的通过将所生成的颜色数据映射到显示设备的屏幕来执行渲染过程之后,所渲染的物体由显示设备显示。在该实例中,显示所渲染的物体包括更新从预先存在的颜色库中选择的颜色。这允许用户看到所选照明条件对所选颜色的影响,使得用户了解不同照明条件对所选颜色的影响。
在一个实例中,处理器212可以进一步被编程为
-显示所提供的彩色涂层的数字表示,特别是用于制备与所提供的数字表示相关联的彩色涂层材料的涂层材料的至少一部分成分,如关于图1的步骤112所描述的;以及
-优选地通过经由交互元素206检测用户输入来检测用户对所显示的彩色涂层的数字表示的修改,如关于图1的步骤112所描述的;以及
-将所检测到的用户输入转换为彩色涂层的修改后的数字表示;以及
-基于修改后的数字表示生成涂层的颜色数据,如关于图1的步骤114所描述的;以及
-可选地确定所生成的涂层的修改后的数字表示是否在至少一个预定义容差内,特别是在所有预定义容差内,如关于图1的步骤118所描述的;以及
-可选地经由通信接口将彩色涂层材料的修改后的数字表示提供给涂层材料制造场所,如关于图1的步骤120所描述的;和/或
-可选地,如果修改后的数字表示不满足至少一个预定义容差,则在显示设备的屏幕上显示至少一个推荐,如关于图1的步骤122所描述的;和/或
-经由通信接口向另一计算机处理器提供物品订购指令,如关于图1的步骤124所描述的。
图2b示出了用于设计由彩色涂层材料产生的彩色涂层的颜色的系统201的第二实施例,该系统可以用于执行本发明的方法,例如关于图1描述的方法100。在该实例中,系统201包括显示设备202',其可以经由通信接口228'、230'、232'耦合到传感器216'、218'、220',即,(多个)取向传感器216'、(多个)照明传感器218'和(多个)有利点传感器220'。如关于图2a所描述的,(多个)照明传感器218'和(多个)有利点传感器220'可以被配置为单个传感器218a。显示设备202'具有屏幕204',其用于特别是经由图形用户界面(GUI)将所提供的涂层的数字表示、所提供的照明条件的数字表示或所计算的环境照明条件以及从处理器212'接收的所生成的颜色数据显示给用户。为此,显示设备202'经由通信接口可操作地耦合到处理器212',并且处理器212'被配置为
-经由通信接口228'、230'、232'接收照明条件的数字表示,即,由传感器216'、218'、220'获取的数据,如关于图1的步骤108所描述的;
-经由通信接口244'将接收到的照明条件的数字表示提供给另一计算设备252';以及
-从另一计算设备252'接收所计算的环境照明条件和所生成的颜色数据以用于显示在显示设备202'的屏幕204'上,如关于图1的步骤110所描述的。
在该实例中,显示设备202'经由通信接口222'、224'、226'、感测电路208'和输入/输出(I/O)控制器210'连接到处理器212'。在另一实例中,显示设备202'经由通信接口直接耦合到处理器212'。在该实例中,显示设备202'与处理器212'和存储器214'集成以形成台式计算机(全部在一台机器中)、膝上型计算机、手持式计算机或平板计算机等。在另一实例中,显示设备202'可以是单独的部件(外围设备,未示出)。在该实例中,显示设备202'进一步包含如关于图2a所描述的交互元素206',并且显示设备202'的处理器212'用于经由交互元素206'来检测用户输入,如关于图1和图2a所描述的。
系统201进一步包括计算设备252',该计算设备经由通信接口244'连接到显示设备202'并且经由通信接口246'、248'、250'连接到数据库238'、240'、242'。数据库238'、240'、242'包含彩色涂层的数字表示、照明条件的数字表示以及先前描述的从历史照明条件导出的模型和/或先前描述的从历史环境条件导出的模型。计算设备234'可以是单个计算设备或位于服务器环境中。在后一种情况下,显示设备202'可以充当客户端设备并且可以经由诸如互联网等网络(即,通信接口244')访问服务器(即,计算设备234')。优选地,服务器可以是HTTP服务器并且经由传统的基于web的互联网技术来访问。如果向客户提供或在较大的公司设置中提供设计由彩色涂层材料产生的彩色涂层的颜色的服务,则基于互联网的系统是特别有用的。
计算设备252'包括处理器234',其被配置为执行例如从存储器236'检索的指令,并且执行与系统201相关联的操作,即
-可选地经由通信接口244'从处理器212'接收照明条件的数字表示;
-可选地,根据所接收的照明条件的数字表示和存储在数据库242'中的(多个)模型来计算显示设备周围的环境照明条件,如关于图1的步骤106所描述的;
-可选地,经由通信接口244'将所计算的环境照明条件提供给处理器212',以显示在显示设备202'的屏幕204'上;以及
-使用存储在数据库238'中的彩色涂层的数字表示和存储在数据库240'中的照明条件的数字表示或所计算的环境照明条件来生成彩色涂层的颜色数据,如关于图1的步骤108所描述的。
使用两个不同的计算机处理器执行本发明方法的不同步骤允许将需要高计算能力的步骤转移到单独的计算设备,从而允许使用具有有限计算能力的显示设备,而不会对生成颜色数据所需的计算时间产生负面影响,因为这可能包括使用高计算能力在可接受的时间范围内执行计算。因此,如果环境照明条件是使用前述模型计算的或者如果颜色数据的生成是通过使用如先前所描述的修改后的数字表示和数据驱动模型来渲染或计算颜色数据来执行,则系统的这个实施例是特别优选的。关于合适的计算机处理器212'和234',参考图2a。在一个实例中,计算设备252'的处理器334'检索与如关于图1和图2a所描述的所选颜色相关联的彩色涂层的数字表示、照明条件的数字表示和虚拟物体数据(存储在存储器236'中或未示出的另一数据库中),并使用先前描述的渲染过程(特别是基于图像的光照)来计算颜色数据。在另一实例中,计算设备252'的处理器334'检索与如关于图1和图2a所描述的所选颜色相关联的彩色涂层的数字表示,并使用所计算的环境照明条件和先前描述的渲染过程来计算颜色数据。在又一实例中,处理器334'可以——在第一步骤中——基于所提供的彩色涂层的数字表示和照明条件(比如预定义的HDR环境贴图)来计算颜色数据,并且可以——在第二步骤中——基于所提供的彩色涂层的数字表示和计算的环境光照条件来计算颜色数据,反之亦然。第一步骤之后显示的颜色可以用执行第二步骤之后的渲染结果来更新。这允许显示不同照明条件对所显示的彩色物体的影响,并且因此提高了用户选择期望颜色期间的舒适度,因为在使用时占主导的照明条件可以用于预测彩色物体的外观。
在一个实例中,通过经由通信接口244'将所计算的环境照明条件提供给处理器212',由处理器234'计算的环境照明条件由显示设备202'的屏幕204'显示。所计算的环境照明条件可以是例如所计算的HDR环境贴图。在另一实例中,由处理器234'生成的颜色数据经由通信接口244'提供给处理器212',并且处理器将渲染结果映射到显示设备202'的屏幕204'。在又一实例中,所计算的环境照明条件和所生成的颜色数据被转发到处理器212'以显示在显示设备202'的屏幕204'上。在该实例中,显示所渲染的物体包括更新从预先存在的颜色库中选择的颜色。
在一个实例中,处理器212'可以进一步被编程为
-显示所提供的彩色涂层的数字表示,特别是用于制备与所提供的数字表示相关联的彩色涂层材料的涂层材料的至少一部分成分,如关于图1的步骤112所描述的;以及
-优选地通过经由交互元素206检测用户输入来检测用户对所显示的彩色涂层的数字表示的修改,如关于图1的步骤112所描述的;以及
-将所检测到的用户输入转换为彩色涂层的修改后的数字表示;以及
-可选地确定所生成的涂层的修改后的数字表示是否在至少一个预定义容差内,特别是在所有预定义容差内,如关于图1的步骤118所描述的;以及
-可选地经由通信接口将彩色涂层材料的修改后的数字表示提供给涂层材料制造场所,如关于图1的步骤120所描述的;和/或
-可选地,如果修改后的数字表示不满足至少一个预定义容差,则在显示设备的屏幕上显示至少一个推荐,如关于图1的步骤122所描述的;和/或
-经由通信接口向另一计算机处理器提供物品订购指令,如关于图1的步骤124所描述的。
处理器234'可以进一步被编程为:
-基于修改后的数字表示生成涂层的颜色数据,如关于图1的步骤114所描述的。
图2c示出了用于设计由彩色涂层材料产生的彩色涂层的颜色的系统203的第三实施例,该系统可以用于执行本发明的方法,例如关于图1描述的方法100。在该实例中,系统203包括显示设备202”,其可以经由通信接口228”、230”、232”耦合到传感器216”、218”、220”,即,(多个)取向传感器216”、(多个)照明传感器218”和(多个)有利点传感器220”。如关于图2a和图2b所描述的,(多个)照明传感器218”和(多个)有利点传感器220”可以被配置为单个传感器218b。显示设备202”具有屏幕204”,其用于特别是经由图形用户界面(GUI)将所提供的涂层的数字表示、所提供的照明条件的数字表示或所计算的环境照明条件以及从处理器212”接收的所生成的颜色数据显示给用户。为此,显示设备202”经由通信接口可操作地耦合到处理器212”,并且处理器212”被配置为
-经由通信接口228”、230”、232”接收照明条件的数字表示,即,由传感器216”、218”、220”获取的数据,如关于图1的步骤106所描述的;以及
-根据所接收的照明条件的数字表示和存储在数据库242”中的(多个)模型来计算显示设备周围的环境照明条件,如关于图1的步骤106所描述的。
处理器212”经由通信接口250”从数据库242”中检索从历史照明条件导出的模型和/或从历史环境条件导出的模型,这些模型是从所接收的照明条件的数字表示计算环境照明条件所必需的。
在该实例中,显示设备202”对应于图2a和图2b中描述的显示设备。
系统203进一步包括计算设备252”,该计算设备经由通信接口244”连接到显示设备202”并且经由通信接口246”、248”连接到数据库238”、240”。数据库238”、240”包含彩色涂层的数字表示和照明条件的数字表示。计算设备234”可以是单个计算设备或位于服务器环境中。在后一种情况下,显示设备202”可以充当客户端设备并且可以经由诸如互联网等网络(即,通信接口244”)访问服务器(即,计算设备234”)。优选地,服务器可以是HTTP服务器并且经由传统的基于web的互联网技术来访问。如果向客户提供或在较大的公司设置中提供设计由彩色涂层材料产生的彩色涂层的颜色的服务,则基于互联网的系统是特别有用的。
计算设备252”包括处理器234”,其被配置为执行例如从存储器236”检索的指令,并且执行与系统203相关联的操作,即
-可选地经由通信接口244”接收由处理器212”计算的环境照明条件;
-使用存储在数据库238”中的彩色涂层的数字表示和存储在数据库240”中的照明条件的数字表示或所计算的环境照明条件来生成彩色涂层的颜色数据,如关于图1的步骤108所描述的。
使用两个不同的计算机处理器执行本发明方法的不同步骤允许将需要高计算能力的步骤转移到单独的计算设备,从而允许使用具有有限计算能力的显示设备,而不会对生成颜色数据所需的计算时间产生负面影响,因为这可能包括使用高计算能力在可接受的时间范围内执行计算。因此,如果颜色数据的生成是通过使用如前所述的修改后的数字表示和数据驱动模型来渲染或计算颜色数据来执行,则系统的这个实施例是特别优选的。关于合适的计算机处理器212”和234”以及颜色数据的生成,参考图2a和图2b。
在一个实例中,由处理器212”计算的环境照明条件显示在显示设备202”的屏幕204”上,如关于图2b所描述的。所生成的颜色数据经由通信接口244”从处理器234”转发到处理器212”以用于显示在显示设备202”的屏幕204”上,如关于图2a和图2b所描述的。显示所渲染的物体可以包括用渲染结果更新从预先存在的颜色库中选择的颜色。
在一个实例中,处理器212”可以进一步被编程为
-显示所提供的彩色涂层的数字表示,特别是用于制备与所提供的数字表示相关联的彩色涂层材料的涂层材料的至少一部分成分,如关于图1的步骤112所描述的;以及
-优选地通过经由交互元素206检测用户输入来检测用户对所显示的彩色涂层的数字表示的修改,如关于图1的步骤112所描述的;以及
-将所检测到的用户输入转换为彩色涂层的修改后的数字表示;以及
-可选地确定所生成的涂层的修改后的数字表示是否在至少一个预定义容差内,特别是在所有预定义容差内,如关于图1的步骤118所描述的;以及
-可选地经由通信接口将彩色涂层材料的修改后的数字表示提供给涂层材料制造场所,如关于图1的步骤120所描述的;和/或
-可选地,如果修改后的数字表示不满足至少一个预定义容差,则在显示设备的屏幕上显示至少一个推荐,如关于图1的步骤122所描述的;和/或
-经由通信接口向另一计算机处理器提供物品订购指令,如关于图1的步骤124所描述的。
处理器234”可以进一步被编程为:
-基于修改后的数字表示生成涂层的颜色数据,如关于图1的步骤114所描述的。
图3展示了包括/由具有屏幕304的显示设备302组成的系统300的平面视图,在该屏幕上向用户显示了示出预先存在的颜色库的图形用户界面306。结合图2a至图2c描述了合适的系统。图形用户界面304可以例如在图1的框104中显示。在该实例中,图形用户界面304显示在诸如智能电话等便携式显示设备302上。在另一实例中,图形用户界面304显示在诸如固定计算机监视器等固定显示设备上。图形用户界面306展示了预先存在的颜色库,其中彩色涂层的颜色被示出在具有圆顶形状308的3D虚拟物体上。在该实例中,预先存在的颜色库包含195种颜色,其中65种颜色被示出在显示设备的屏幕上。可以通过经由触摸屏手势滚动浏览预先存在的颜色库306来查看更多颜色。通过存在于显示设备302内的处理器,使用预定义的照明条件(基于图像的光照)来渲染虚拟圆顶形状物体的物体数据和与预定义的库相关联的颜色数据,并将渲染结果显示在屏幕304上,从而显示预先存在的颜色库。在该实例中,与预定义库相关联的颜色数据被存储在数据库中,并且在渲染之前经由通信接口(优选地无线通信接口)提供给显示设备的处理器,如关于图2a至图2c所描述的。在另一实例中,与预定义颜色库相关联的颜色数据被存储在存在于显示设备302内部的存储器上。与预先存在的库中存在的颜色相关联的颜色数据由优化的BTF定义,如先前所描述的。
图4展示了包括/由具有屏幕404的显示设备402组成的系统400的平面视图,在该屏幕上向用户显示了示出调整工具408.1、408.2和呈用与预定义照明条件416相关联的颜色着色的汽车车身418的一部分形式的虚拟3D物体的图形用户界面406。图标422展示了颜色是使用关于位置、日期、时间和可选地天空雾度的数据来计算的。结合图2a至图2c描述了合适的系统。图形用户界面404可以例如在图1的框106中显示。
在该实例中,图形用户界面404包括两个调整工具408.1和408.2,它们可以用于通过移动相应的调节器410.1和410.2来调节显示在汽车车身418前面的当前时间和雾度。在该实例中,用户可以通过点击地图图标412并使用出现的世界地图导航到期望的位置来选择位置。在另一实例中,显示设备404可以确定用户的当前位置,然后可以使用该当前位置来计算环境照明条件,如先前所描述的。在该实例中,用户可以通过点击日历图标414来选择期望的日期。
图形用户界面404进一步包括如关于图1的步骤106描述的从预定义值(比如预定义位置、预定义时间、预定义日期和预定义天空雾度)获得的所计算的HDR环境贴图416,该环境贴图可以在通过使用前述调整工具410.1、410.2、地图图标412和/或日历图标414调整位置、日期、时间、雾度中的至少一项时实时或接近实时地更新。
图形用户界面进一步包括汽车车身418的一部分,其用从预先存在的颜色库中选择的颜色来着色,例如关于图1或图3的步骤104所描述的。显示彩色汽车车身的一部分可以包括使用环境照明条件(即,所显示的HDR环境贴图416)来渲染虚拟物体数据和与从预先存在的颜色数据中选择的颜色相关联的颜色数据,该环境贴图已经使用从历史照明条件导出的模型根据预定义位置、数据、时间和雾度计算得出,比如以下文献中描述的模型:I.Hosek等人的“An analytic model for full spectral sky-dome radiance[全光谱天空穹顶辐射分析模型]”ACM图形汇刊,2012年,第31卷,文章编号:95,https://doi.org/10.1145/2185520.2185591。在一个实例中,用于渲染的虚拟汽车部分是预定义的虚拟物体。在另一实例中,用于渲染的虚拟汽车部分可以由用户在渲染之前选择。在修改位置、时间、日期或雾度中的至少一项时,通过重新计算环境照明条件并使用重新计算的环境照明条件执行渲染来实时或接近实时地更新彩色汽车部分的显示颜色。用于在图形用户界面404上显示彩色汽车418的当前选择的汽车形状由黑色符号420示出。用户可以通过点击符号420上方的相应灰色图标来改变形状,并且通过使用更新的虚拟物体数据执行新的渲染来实时自动更新所显示的彩色汽车418。在修改照明条件时实时或接近实时地更新颜色允许用户在所选照明条件(例如通常存在于用户住处的照明条件)下观看彩色物体的外观。这允许用户检查从预先存在的库中选择的颜色是否在用户特定的照明条件下提供了期望的外观,从而提高用户在为诸如汽车等物品选择颜色时的舒适度,并减少了用户在购买后的失望。
图5a和图5b各自是包括显示设备502、512的系统500、501的3D视图,这些显示设备的图形用户界面506、516示出了虚拟3D物体,该虚拟3D物体呈用与环境照明和显示设备的取向相关联的颜色着色的圆顶状凸起508、518的形式。图标510、520展示了颜色是使用从(多个)取向传感器和/或(多个)照明传感器以及可选地(多个)有利点传感器获取的数据来计算的。结合图2a至图2c描述了合适的系统。图形用户界面506、516可以例如在图1的框106中显示。图5a中的虚拟圆顶状凸起508的颜色数据是通过使用与如关于图3所述的从预先存在的库中选择的颜色相关联的颜色数据、圆顶状凸起的预定义虚拟物体数据、以及如关于图1的步骤108所描述的使用环境照明条件渲染所述数据来生成的。如先前所描述的,环境照明条件是根据从(多个)取向传感器和(多个)照明传感器以及可选地(多个)有利点传感器获取的数据以及至少一个从历史环境条件导出的模型来计算的,例如在Apple的ARKit或Google的ARCore程序库中实施的。
如图5b所示,当改变显示设备的取向时,使用改变的取向数据重新计算颜色数据。为此,使用来自取向传感器的更新数据重新计算环境照明条件,并使用重新计算的环境照明数据来进行渲染。圆顶状凸起518的颜色更新是实时或接近实时地执行的,使得所显示的颜色表现得好像用户正在其手中转动真实的彩色圆顶状凸起一样。
图6是包括显示设备602的系统600的平面视图,该显示设备的图形用户界面606在汽车的模糊形状前面示出了可用高动态范围(HDR)的环境贴图608.1、608.n。图形用户界面606可以例如在图1的框106中显示。将用于在所选HDR环境贴图下显示彩色汽车的当前选择的汽车形状用图标610显示。图标612向用户示出,在该模式下将使用预定义的HDR环境贴图来显示颜色。如关于图1和图3的步骤104所描述的,要在该模式中显示的颜色是用户使用预先存在的颜色库来选择的。用户可以通过点击相应的图标610和所显示的预定义HDR环境贴图608.1、608.n之一来选择虚拟物体和期望的HDR环境贴图。预定义的HDR环境贴图可以存储在数据库中,如关于图2a至图2c所描述的。
在选择虚拟物体和所显示的HDR环境贴图时,使用所选HDR环境贴图来渲染与从预先存在的颜色库中选择的颜色相关联的颜色数据、与所选虚拟物体相关联的虚拟物体数据。渲染结果如图7a所示。
图7a是包括显示设备702的系统700的平面视图,该显示设备的图形用户界面706示出了虚拟3D物体,该虚拟3D物体呈用使用所选高动态范围(HDR)环境贴图生成的颜色着色的汽车车身708的一部分的形式。为了方便起见,所选HDR环境贴图714被示出在彩色汽车下方。图标710和712具有与关于图6的图标610和612描述的相同的含义。
用户可以通过点击所显示的HDR环境贴图722中的位置来改变HDR环境贴图的取向,并且可以利用在使用改变后的HDR环境贴图的取向渲染颜色数据和虚拟物体数据时获得的渲染结果来实时或接近实时地更新所显示的彩色汽车,如图7b所示。这允许用户使用HDR环境贴图的不同取向来了解彩色物体的外观变化。使用预定义的HDR环境贴图允许用户确定产生期望外观的HDR环境贴图,而无需安装真实的照明概念来调整彩色物体的外观。这显著降低了与例如在汽车销售室中展示彩色物体相关联的成本。
Claims (15)
1.一种用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备上显示所预测的外观的计算机实施的方法,所述方法包括以下步骤:
(i)经由通信接口向计算机处理器提供彩色涂层的数字表示;
(ii)通过以下方式提供照明条件的数字表示
-在该显示设备上显示包括多个照明条件的图形用户界面;
-利用该计算机处理器检测指示从该多个显示的照明条件中选择照明条件的用户输入,以及
-响应于所检测到的用户输入,利用该计算机处理器经由该通信接口检索与所检测到的用户输入相关联的照明条件的数字表示;
(iii)可选地,经由该通信接口向该计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型;
(iv)基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据;以及
(v)在该显示设备上显示从该计算机处理器接收的所生成的颜色数据。
2.根据权利要求1所述的方法,其中该彩色涂层的数字表示包括颜色空间数据、光泽度数据、外观数据、纹理特性或其组合。
3.一种用于预测涂覆有至少一层彩色涂层的物体的外观并在显示设备上显示所预测的外观的方法,所述方法包括以下步骤:
(i)经由通信接口向计算机处理器提供彩色涂层的数字表示,其中,该彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率
取决于照明方向和观察方向的空间纹理图像的表分割成项(F1)和项/>(F2),进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项/>以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差;
(ii)通过以下方式提供照明条件的数字表示
-在该显示设备上显示包括多个照明条件的图形用户界面;
-利用该计算机处理器检测指示从该多个显示的照明条件中选择照明条件的用户输入,以及
-响应于所检测到的用户输入,利用该计算机处理器经由该通信接口检索与所检测到的用户输入相关联的照明条件的数字表示;
(iii)可选地,经由该通信接口向该计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型;
(iv)基于所提供的彩色涂层的数字表示、所提供的照明条件的数字表示以及可选地所提供的(多个)模型,利用该计算机处理器生成该彩色涂层的颜色数据;以及
(v)在该显示设备上显示从该计算机处理器接收的所生成的颜色数据。
4.根据前述权利要求中任一项所述的方法,其中,提供该彩色涂层的数字表示包括:在该显示设备的屏幕上显示预先存在的颜色库,从所显示的预先存在的库中选择颜色,基于所选颜色获得该彩色涂层的数字表示,以及经由该通信接口将所获得的该彩色涂层的数字表示提供给该计算机处理器。
5.根据前述权利要求中任一项所述的方法,其中,检索该照明条件的数字表示包括
-经由该通信接口检索指示日期、时间、位置、特别是地理位置、以及可选地天空雾度的数据,和/或
-经由该通信接口检索从该显示设备的至少一个照明传感器获取的数据、从该显示设备的至少一个取向传感器获取的数据、以及可选地从至少一个有利点传感器获取的数据,和/或
-经由该通信接口检索至少一个高动态范围(HDR)环境贴图。
6.根据权利要求5所述的方法,其中经由该通信接口检索指示日期和/或时间和/或天空雾度的数据包括:显示至少一个调整工具,该调整工具包括与该日期或时间或雾度相对应的至少一个调节器;经由交互元素检测指示操纵该至少一个调整工具的用户输入,特别是通过经由该交互元素检测该至少一个调整工具的至少一个调节器的移动;以及响应于所检测到的用户输入来确定日期或时间或雾度。
7.根据权利要求5或6所述的方法,其中,从该显示设备的至少一个照明传感器获取的数据包括:关于该显示设备周围的照明条件的数据,比如勒克斯水平、光谱含量、照明方向;该显示设备周围的环境的至少一张照片,特别是至少一张高动态范围(HDR)或低动态范围(LDR)照片;或其组合。
8.根据前述权利要求中任一项所述的方法,其中,从历史照明条件导出的模型是基于物理的白天天空分析模型。
9.根据前述权利要求中任一项所述的方法,其中,至少一个从历史环境条件导出的模型提供了从该显示设备的照明和/或取向传感器和/或有利点传感器获取的数据与该显示设备周围的环境光照条件之间的关系。
10.根据前述权利要求中任一项所述的方法,其中,利用该计算机处理器生成颜色数据的步骤包括:提供虚拟物体的物体数据;可选地提供至少一层另外的涂层的另外的颜色数据;将所提供的该彩色涂层的数字表示以及可选地另外的颜色数据映射在所提供的虚拟物体上;以及使用所提供的照明条件的数字表示以及可选地所提供的(多个)模型来渲染该映射结果。
11.根据前述权利要求中任一项所述的方法,其中,步骤(iv)进一步包括在生成该彩色涂层的颜色数据之前,利用该计算机处理器根据所提供的照明条件的数字表示和所提供的至少一个从历史环境条件导出的模型来计算该显示设备周围的环境照明条件。
12.根据前述权利要求中任一项所述的方法,其中,在该显示设备的屏幕上显示从该计算机处理器接收的颜色数据的步骤包括将所生成的颜色数据、特别是每个渲染点映射到该显示设备的屏幕。
13.一种用于预测涂覆有至少一层彩色涂层的物体的外观的系统,所述系统包括:
-可选地,用于向计算机处理器提供从历史照明条件导出的模型和/或至少一个从历史环境条件导出的模型的通信接口;
-用于向该计算机处理器提供彩色涂层的数字表示和照明条件的数字表示的至少一个通信接口;
-包括屏幕的显示设备;
-用于检测用户输入的交互元素;
-可选地,至少一个照明传感器和/或适合于感测该显示设备的取向的至少一个取向传感器和/或适合于感测持有该显示设备的用户的有利点的至少一个有利点传感器;
-与该通信接口、该显示设备以及可选地该至少一个照明和/或取向和/或有利点传感器通信的处理器,该处理器被编程为:
ο经由该通信接口接收该彩色涂层的数字表示;
ο生成包括多个照明条件的用户界面呈现,检测指示从该多个显示的照明条件中选择照明条件的用户输入,并且响应于所检测到的用户输入来检索与所检测到的用户输入相关联的照明条件的数字表示;
ο可选地,根据接收到的照明条件的数字表示和接收到的(多个)模型来计算该显示设备周围的环境照明条件;以及
ο基于接收到的该彩色涂层的数字表示以及接收到的该照明条件的数字表示或所计算的该显示设备周围的环境照明条件,生成该彩色涂层的颜色数据,
其中,该显示设备从该处理器接收所生成的用户界面呈现和所生成的该彩色涂层的颜色数据,并显示所生成的用户界面呈现和颜色数据,并且其中,该彩色涂层的数字表示包括通过以下步骤获得的优化的双向纹理函数(BTF):
-使用基于相机的测量设备确定该彩色涂层的初始BTF,
-针对预先给定数量、即有限数量的不同测量几何形状,使用分光光度计来捕获该彩色涂层的光谱反射率数据,以及
-通过以下方式使该初始BTF适应于所捕获的光谱反射率数据以获得优化的BTF:将该初始BTF公式(1)
其中
x:该样品/物体的表面坐标
该样品色漆处的照明方向和观察/观看方向
取决于照明方向和观察方向的颜色表
a:反照率或漫反射率
第k个Cook-Torrance波瓣,对应于描述微平面光泽度的双向反射分布函数(BRDF)
Sk:第k个Cook-Torrance波瓣的权重
ak:第k个Cook-Torrance波瓣的Beckmann分布的参数
F0,k:第k个Cook-Torrance波瓣的菲涅尔反射率
取决于照明方向和观察方向的空间纹理图像的表
分割成项(F1)和项/>(F2),进一步将第一项(F1)划分成与取决于照明方向和观察方向的颜色表相对应的第一子项/>以及与强度函数相对应的第二子项/> 并且通过在第一优化步骤中在保持该第二子项的参数不变的同时优化该第一子项的参数并通过在第二优化步骤中在保持该第一子项的参数不变的同时优化该第二子项的参数来最小化所捕获的光谱反射率数据与该初始BTF之间的色差。
14.一种非暂态计算机可读存储介质,该计算机可读存储介质包括指令,这些指令当被计算机执行时,使该计算机执行根据权利要求1至12中任一项所述的方法的步骤。
15.根据权利要求1至12中任一项所述的方法或根据权利要求12所述的系统用于预测涂覆有至少一层彩色涂层的物体的外观的用途。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21188658.5 | 2021-07-30 | ||
EP21188658 | 2021-07-30 | ||
PCT/EP2022/070490 WO2023006572A1 (en) | 2021-07-30 | 2022-07-21 | Method and system for predicting the appearance of objects being coated with at least one colored coating layer under different illumination conditions |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117716391A true CN117716391A (zh) | 2024-03-15 |
Family
ID=77398394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280052719.2A Pending CN117716391A (zh) | 2021-07-30 | 2022-07-21 | 用于预测涂覆有至少一层彩色涂层的物体在不同照明条件下的外观的方法和系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117716391A (zh) |
WO (1) | WO2023006572A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6993512B2 (en) | 2001-06-05 | 2006-01-31 | Basf Corporation | System and method for converting a color formula using an artificial intelligence based conversion model |
DE102015118551A1 (de) | 2015-10-29 | 2017-05-04 | Basf Coatings Gmbh | Verfahren zum Ermitteln von Texturparametern eines Lacks |
WO2020200982A1 (en) * | 2019-03-29 | 2020-10-08 | Basf Coatings Gmbh | Generation of a bi-directional texture function |
-
2022
- 2022-07-21 WO PCT/EP2022/070490 patent/WO2023006572A1/en active Application Filing
- 2022-07-21 CN CN202280052719.2A patent/CN117716391A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023006572A1 (en) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10089780B2 (en) | Surface appearance simulation | |
US9076247B2 (en) | System and method for visualizing an object in a simulated environment | |
WO2013049796A1 (en) | System for matching color and appearance of coatings containing effect pigments | |
CN117716391A (zh) | 用于预测涂覆有至少一层彩色涂层的物体在不同照明条件下的外观的方法和系统 | |
US20230260237A1 (en) | Visualizing the appearance of at least two materials | |
US20230343051A1 (en) | Visualizing the appearances of at least two materials | |
CN117256010A (zh) | 用于设计被涂覆有至少一个有色涂层的对象的外观的方法和系统 | |
Ferwerda | ImpastoR: A realistic surface display system | |
US20240046444A1 (en) | Systems and methods for mapping coatings to a spatial appearance space | |
EP4209998A1 (en) | Method, computer and computer program for modifying texture images | |
US20230260193A1 (en) | Generating a destination texture from a plurality of source textures | |
Inanici | Transformations in architectural lighting analysis: Virtual lighting laboratory | |
WO2023208771A1 (en) | Method and apparatus for determining at least one adjusted sample coating to match the appearance of a reference coating | |
Diaz et al. | Exploiting image collections for recovering photometric properties | |
WO2023208750A1 (en) | Method and apparatus for assigning at least one human-perceived attribute to a sample coating | |
Medina et al. | Objective colorimetric validation of perceptually realistic rendering: a study of paint coating materials | |
CN117396921A (zh) | 用于生成效果涂层的显示图像的方法和系统 | |
JP2024516501A (ja) | コーティング層と前記コーティング層を含む基材の特性を予測するための方法及びシステム | |
WO2023150536A1 (en) | Digital harmony visualization of color properties between objects | |
Murguía Mesa | Visualising lighting simulations for automotive design evaluations using emerging technologies | |
CN117055832A (zh) | 待显示内容的评估方法、装置、设备、存储介质以及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |