CN110998257B - 车辆颜色测量方法和装置 - Google Patents
车辆颜色测量方法和装置 Download PDFInfo
- Publication number
- CN110998257B CN110998257B CN201880044987.3A CN201880044987A CN110998257B CN 110998257 B CN110998257 B CN 110998257B CN 201880044987 A CN201880044987 A CN 201880044987A CN 110998257 B CN110998257 B CN 110998257B
- Authority
- CN
- China
- Prior art keywords
- mobile device
- measurement
- imaging
- illumination
- optical axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims abstract description 222
- 238000005286 illumination Methods 0.000 claims abstract description 157
- 238000003384 imaging method Methods 0.000 claims abstract description 124
- 230000003287 optical effect Effects 0.000 claims abstract description 68
- 238000002310 reflectometry Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 239000000049 pigment Substances 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 6
- 239000003973 paint Substances 0.000 description 59
- 238000009472 formulation Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 230000032683 aging Effects 0.000 description 10
- 238000000576 coating method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008439 repair process Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 5
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000004020 luminiscence type Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010422 painting Methods 0.000 description 4
- 239000002985 plastic film Substances 0.000 description 4
- 229920006255 plastic film Polymers 0.000 description 4
- 238000004439 roughness measurement Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000976 ink Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0264—Electrical interface; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0272—Handheld
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0291—Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/463—Colour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/504—Goniometric colour measurements, for example measurements of metallic or flake based paints
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
- G01J3/524—Calibration of colorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
- G01J2003/104—Monochromatic plural sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
- G01J2003/106—Plural sources the two sources being alternating or selectable, e.g. in two ranges or line:continuum
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种用于测量表面的反射率性质的移动装置包括:第一成像装置,其包括图像传感器和以光轴为特征的透镜;第一照明源,其具有相对于第一成像装置透镜的光轴成45°的角度设置的光轴;第二成像装置,其包括图像传感器和以光轴为特征的透镜;以及第二照明源,其具有与第一成像装置透镜的光轴相交的光轴,其中第一照明源与第一成像装置透镜的光轴相交,第一成像装置和第二照明源的光轴限定第二测量平面。移动装置还包括计算机处理器和非易失性存储器,该非易失性存储器包括计算机可读指令,以从第一成像装置和第二成像装置获取数据并导出感兴趣表面的反射率信息。
Description
相关申请
本申请是2018年5月3日提交的国际申请PCT/US2018/030884的国家阶段申请并要求其权益,并且还要求在2017年5月3日提交的美国序列号62/501,036和在2017年5月4日提交的美国序列号62/501,434的优先权权益。
背景技术
本发明的领域涉及匹配汽车油漆和/或涂层以用于对损坏的车辆进行修理。汽车的油漆颜色常常具有对应的颜色代码,该颜色代码限定了如最初所施加的油漆的外观。例如,BMW油漆代码A76是名称为“深海蓝”的金属油漆。油漆代码常常被标记在汽车的车身面板上。附加地,可在车辆的用户手册中包括油漆色片。
即使有了这样的油漆代码信息,出于若干种原因,不准确地测量待匹配油漆的外观就生产与现有油漆具有良好匹配性的新油漆以用于修理目的也是困难的。首先,对应于同一油漆代码的油漆可已由不同的制造商制备,在不同的工厂中施加,并且历经了数年的生产运行。因此,任何一辆单独的车辆(例如,汽车)都将经历与原始目标颜色的一些变化。其次,油漆和涂层可暴露在恶劣的环境条件下许多年,并且可经历褪色或其他环境损害。第三,任何一辆汽车上的不同部件可具有不同的油漆或涂层。例如,钢制车身冲压件可已在一个油漆车间被喷漆,并且塑料或复合模制部件(诸如,柔性保险杠盖)可已在不同的油漆车间以不同涂层被喷漆。最后,所讨论的汽车可已经是先前修理或重新喷漆的对象。
鉴于以上内容,常见的是,汽车修理车间在接近损坏位置的未损坏位置处对车辆(例如,汽车)上的油漆的反射率性质进行多次测量来表征现有表面以帮助针对待修理表面制定良好匹配。多角度分光光度计可用于这些测量。多角度分光光度计对从各种照明角度和观测角度来表征表面外观是有用的。而且,修理车间通常对于待重新喷漆的表面积进行估计,以用于计算待制备的油漆量的估计值。然后,修理车间基于汽车品牌、型号、颜色代码、年份和比色法测量,在一个或多个数据库中搜索最接近的颜色匹配。当颜色匹配时,获得配方,该配方包括待混合的各种油漆组分的重量。然后,所述组分可按重量进行测量、组合并施加到一个或多个修理表面或修理部件的表面。当对损坏区域进行喷漆时,通常包括对未损坏区域的一些过融合,以减少颜色或外观不匹配的可见性。对修理进行视觉评估,以确定油漆是否成功匹配。
上文所描述的当前工作流程有若干个缺点。例如,考虑到不同汽车制造商的所有颜色变体均可跨越数年或数十年的不同汽车涂饰,针对此工作流程在一个或多个数据库中待搜索的数据量可能非常大。而且,对应于数据库中的配方的油漆组分必须保持库存,使得喷漆的最终结果尽可能地接近期望的结果。需要减少或考虑配方组分之间的批次间差异,以实现与配方的良好匹配。即使有了正确的配方和配方所要求的油漆组分,最终结果也将部分地取决于用于测量和融合各组分的技能,这可导致与目标颜色的偏差。有时,在可以实现良好匹配之前,必须多次混合油漆或选择不同的配方。
发明内容
移动装置6000可通过在该移动装置上包括以下各项而适于测量感兴趣表面的反射率性质:第一成像装置6015,其包括图像传感器6011和以光轴为特征的透镜6010;第一照明源6057,其具有与第一成像装置透镜的光轴以45°的角度相交的光轴,第一成像装置和第一照明源的光轴限定第一测量平面;第二成像装置6025,其与第一成像装置6015间隔开并且包括图像传感器6021和以光轴为特征的透镜6020;以及第二照明源6051、6052、6053、6054、6055、6058、6251、6253,其具有与第一成像装置透镜的光轴相交的光轴,其中第一照明源6057与第一成像装置6015透镜的光轴相交,第一成像装置6015和第二照明源6051、6052、6053、6054、6055、6058、6251、6253的光轴限定第二测量平面。该移动装置还可包括计算机处理器6090和非易失性存储器6095,该非易失性存储器包括计算机可读指令以从第一成像装置和第二成像装置获取数据并导出感兴趣表面的反射率信息。反射率信息可包括可见颜色反射率信息。移动装置可被构造成同时从第一成像装置和第二成像装置获取图像数据。
第一成像装置和第一照明源的光轴可限定第一测量平面,并且第二成像装置和第二照明源的光轴可限定第二测量平面。第一测量平面和第二测量平面可在同一平面中。第一测量平面和第二测量平面可在不同的平面中。例如,第一测量平面和第二测量平面可彼此平行、相交或正交。
第一照明源可定位成使得第一照明源的光轴也与第二成像装置的光轴成45°的角度设置。替代地,第一照明源可定位成使得第一照明源的光轴不与第二成像装置的光轴成45°的角度设置。移动装置可被构造成同时从第一图像传感器和第二图像传感器获取对应于45°测量路径6551和非45°测量路径6552的图像数据。
移动装置可被构造成使得对应于第一成像装置的第一视场和对应于第二成像装置的第二视场重叠,并且移动装置可被构造成处理重叠的视场的图像以提供感兴趣表面的立体图像、感兴趣表面的表面纹理信息、感兴趣表面的效果颜料信息或其任何组合。
第一成像装置和第二成像装置可包括RGB图像传感器。第一照明源和第二照明源包括宽带白光LED。移动装置还可包括多个LED,所述多个LED定位成将不同的测量路径6551、6552提供到第一成像装置和第二成像装置,所述多个LED被选择为发射红色(620至750nm)、绿色(495至570 nm)、蓝色(450至495 nm)、紫色(380至450 nm)、红外(700 nm至1mm)或紫外(10至400 nm)波长中的一者或多者。第一照明源和第二照明源可以是多个照明源的一部分,所述多个照明源设置成提供相对于第一成像装置和第二成像装置的多个测量角度。
第一照明源和第二照明源可安装在附接到测量装置的照明附件上。在该示例中,照明附件可包括控制器6090,以对第一照明源和第二照明源的照明进行彼此独立的命令、控制或调节。在一些实施例中,例如在移动装置(例如,移动电话)上,第一照明源和第二照明源可由移动装置的处理器中的一者或多者彼此独立地控制。
在另一示例中,移动装置中的第一成像装置和第二成像装置中的至少一者可包括傅立叶透镜和光学图像传感器。
在另一示例中,适于测量感兴趣表面的反射率性质的移动装置可包括:第一成像装置6015;第一照明源,其与第一成像装置间隔开以在移动装置定位在距离感兴趣表面的目标距离6065处时提供第一45°测量路径6551,该第一45°测量路径包括第一照明路径和第一测量路径,所述第一照明路径和第一测量路径限定第一测量平面;第二成像装置,其与第一成像装置间隔开;第二照明源,其与第二成像装置间隔开以在移动装置定位在距离感兴趣表面的目标距离处时提供第二45°测量路径,该第二45°测量路径包括第二照明路径和第二测量路径,所述第二照明路径和第二测量路径限定第二测量平面。第一照明源也与第二成像装置间隔开以在移动装置定位在距离感兴趣表面的目标距离处时提供第三测量路径,该第三测量路径包括第三照明路径和第三测量路径,所述第三照明路径和第三测量路径限定第三测量平面;并且第二照明源也与第一成像装置间隔开以在移动装置定位在距离感兴趣表面的目标距离处时提供第四测量路径,该第四测量路径包括第四照明路径和第四测量路径,所述第四照明路径和第四测量路径限定第四测量平面。移动装置被构造成处理从第一成像装置和第二成像装置获取的图像数据,以导出感兴趣表面的反射率信息。
在一个示例中,第一测量平面、第二测量平面、第三测量平面和第四测量平面在同一平面中。在另一示例中,第一测量平面和第二测量平面彼此平行,并且第三测量平面和第四测量平面相交。在另一示例中,第三测量路径和第四测量路径包括在第一测量平面外部的45°测量路径。在另一示例中,第三测量路径和第四测量路径包括在第一测量平面内的非45°测量路径。
附图说明
图1是根据本发明的一个方面的颜色/外观测量过程的流程图。
图2A和图2B图示了可与根据本发明的另一方面的颜色/外观测量过程结合使用的颜色校准卡。
图3A和图3B图示了可与根据本发明的另一方面的颜色/外观测量过程结合使用的颜色校准卡。
图4是根据本发明的另一方面的另一颜色/外观测量过程的流程图。
图5是根据本发明的另一方面的另一颜色/外观测量过程的流程图。
图6A和图6C图示了根据本发明的另一方面的具有多个成像装置和照明传感器的移动装置。
图6B、图6D和图6E图示了根据本发明的各个方面的用于根据图6A和图6C的移动装置的测量几何形状。
图7图示了可与根据本发明的移动装置组合使用的傅立叶透镜几何形状。
图8A、图8B和图9图示了根据本发明的另一方面的车辆颜色/外观测量系统的各个方面。
具体实施方式
本文中描述了若干个相关的概念,这些概念减少或消除了现有技术的已知缺点。这些概念可彼此独立使用或组合使用。
可通过以下方式来减少制备合适的油漆或涂层的时间:在损坏的汽车到达修理车间之前进行测量,并且然后将那些测量值传送给负责油漆配方的一个或多个人员。这可在事故现场或事故调查现场进行,损坏的汽车在事故发生后可移动至该事故调查现场。图1中图示了示例性涂层测量过程1010。步骤涉及:到达损坏的汽车的位置1012、确定在汽车的损坏的表面附近的一个或多个待测量位置1014以及清洁所选择的位置1016,在所选择的位置中,将获取颜色/外观测量值。通常,这些点将位于最接近损坏位置的未损坏位置处,例如在损坏位置的1 m至10 cm内或30 cm至10 cm内。
在步骤1018和1020中,然后,人员可放置颜色获取装置以获取车辆上的所选择的一个或多个点的颜色/外观测量值。在步骤1022中,然后,例如使用颜色获取装置的无线通信特征,可将颜色/外观测量值传送给车身车间或工厂/分销商。该传送内容还可包括所测量车辆的品牌、型号、年份和油漆颜色代码。可选地,在该传送中还可包括原始采集测量值。
当在如上文所描述的事故现场处或在其他情况下进行测量时,分光光度计可能不可用。典型的消费者手持式装置可能不具有足够的校准、照明控制或色域来适当地测量汽车涂饰的颜色和表面外观特性,手持式装置例如为包括照相和通信装置的移动装置,例如智能手机、数码相机或平板计算机。
可提供包括彩色相机的移动装置。该移动装置可包括例如移动电话、包括多个光源的移动电话、平板计算机、具有单独的插入式相机附件的移动装置、具有单独的插入式灯附件的移动装置、或具有带灯的插入式相机附件的移动装置,或其任何组合。如本文中所使用的,“彩色相机”是指多光谱成像装置,诸如RGB相机。虽然典型的彩色相机具有最少3个不同的通道(例如,RGB),但可包括附加的通道。为了改进准确度,还可包括颜色校准卡。图2A和图2B中图示了颜色校准卡的示例。图2A是具有不透明衬底的颜色校准卡2010的图示。图2B是具有透明或半透明衬底的颜色校准卡2012的图示。
颜色校准卡可包括以下各项中的一者或多者:非平面目标元件2014、支撑机构2016、参考油漆贴片2018和颜色贴片2020。用于估计光方向的非平面目标元件2014可包括部分球形元件或多平面元件,其具有与颜色校准卡2010、2012的衬底不平行的表面。见例如美国专利公布No.2016/0224861,其通过引用并入本文。可提供支撑机构以将校准卡保持在车辆上。例如,可包括粘合带(未图示)、一个或多个吸盘2016(其也可在潮湿的表面上使用)和/或磁体(未图示),以将颜色校准卡2010、2012附接到待测量表面。支撑机构还可包括可变形结构(例如,由金属制成),以使得用户能够抵靠待测量表面施加测量窗或开口框,例如色卡的测量窗。可提供标准的车辆油漆颜色贴片2018作为参考颜色。可包括颜色贴片2020,该颜色贴片包括校准颜色集。而且,可包括用于效果颜料和涂饰的纹理贴片2022(例如,具有不同的明暗跳动水平和不同的粗糙度水平)。最后,可提供测量窗2024,待测量表面通过该测量窗是可见的。测量窗中还可包括不同的滤色器。见例如美国专利公布No.2016/035665,其通过引用并入本文。
参考图3A和图3B,颜色校准卡3010、3012还可包括一个或多个百叶窗式塑料膜3014。例如,可在测量区域或窗2022的全部或一部分中包括一个或多个百叶窗式塑料膜。百叶窗式塑料膜限制了从被测量的一个或多个区域反射的光的视角。当多角度分光光度计或具有多个光源的相机不可用但待测量的颜料或涂饰在不同视角下具有不同的外观时,这可能是期望的。
例如,颜色校准卡3010可包括覆盖测量区域2022的一部分的单个膜3014。在图3A的示例中,单个膜3014覆盖测量区域2022的全部。如图3B中所示,颜色校准卡还可包括具有不同取向的两个或更多个膜3014,这些膜彼此相邻放置并且一起覆盖测量区域2022的一部分或全部。两个或更多个膜也可以以不同的取向布置成具有一个或多个重叠部分。取向可包括但不限于:
a) 对于2个滤色器来说,例如为:0°和90°;0°和45°;或0°和15°。
b) 对于3个滤色器来说,例如为:0°、45°、90°;0°、15°、45°;或0°、30°、60°。
如本文中所描述的颜色校准卡还可包括如本文中所描述的一个或多个百叶窗式塑料膜,所述百叶窗式塑料膜包括一个或多个2维拱形部或3维圆顶部分。例如,单个2D拱形部可包括大约2 mm至3 cm的半径。可联接形成两个2D拱形部的具有90°取向的百叶窗的片材部分,以形成金字塔形圆顶。
如本文中所描述的颜色校准卡还可在测量区域2022中包括一个或多个微透镜阵列圆顶。例如,多个透镜可相对于所测量的平面设定处于90°,并且沿X和Y方向的高度增量为15°且沿方位方向的高度增量为15°。
有利的是,如果油漆色片(paint chip)已随车辆的用户手册一起递送,则该油漆色片可与本文中所描述的方法和装置组合使用。油漆色片可已在车辆生产时被油漆过,或者选自车辆颜色标准的扇形色卡(fandeck)复制品。油漆色片可用于在事故点处采集之前校准测量装置。油漆色片可以例如用于测量在一个或多个位置处的车辆颜色与色片之间的差异。
油漆色片可包括条形码、QR码或其他可扫描的编码数据,其提供以下各项中的一者或多者:油漆ID;油漆颜色规格,例如遍及多个角度的CIE LAB数据;指示粗糙度水平的配方规格;和车辆ID。油漆色片的反面还可包括可用于颜色测量装置的校准的参考白色贴片和/或包括可用于颜色测量装置的校准的效果颜料的一个或多个参考贴片。
如图4中所图示的,可如根据测量过程4010的示例来使用如上文所描述的所有装置和颜色校准卡。在步骤4012中,用户将颜色校准卡定位在用于获取期望的颜色测量值的位置处。在步骤4014中,获取颜色校准卡和测量位置的一个或多个图像。
可选地,在步骤4016中,可例如使用以下各项中的一者或多者随测量来记录移动装置相对于其中相对于车辆进行测量的部位的位置:口头语音(可选地具有语音识别);键入;在例如显示在移动装置上的车辆图上选择零件;从车辆向后移动并使移动装置的相机(例如,相机的瞄准器)瞄准测量位置,然后,图像识别方法检测该车辆零件并返回关于该车辆或零件的度量。移动装置的显示器可包括图形机构以例如通过使用手指在装置的触摸屏上绘制或通过调整标记或滑块来限定待重新喷漆的区域。还可随测量来记录通常停车的地理位置、进行测量的地方的地理位置、相机的地理取向、一天中的时间或环境光测量。
一旦已进行测量,就可在步骤4018中计算颜色或外观估计值。如果在步骤4020中需要附加的测量以获得准确的估计值,则该过程可被引导到步骤4012以获取附加的图像。可通过移动装置的嵌入式计算机系统或单独的计算机系统中的一者或多者来计算颜色估计值。单独的计算机系统可与移动装置实时通信,以从移动装置接收测量数据并将颜色或外观估计值返回到移动装置。
在另一示例中,如图5中所图示的,提供了用于利用移动装置获得测量位置的多个图像的过程5010。在步骤5012中,用户将颜色校准卡定位在用于获取期望的颜色测量值的位置处。在步骤5014中,获取颜色校准卡和测量位置的图像。在步骤5016中,做出关于是否需要多个非闪光图像的决定。如果是肯定的,则在步骤5018中,不用闪光通过一系列曝光来获取测量位置和颜色校准卡的多个图像。在步骤5020中,做出关于是否需要多个闪光图像的决定。如果是肯定的,则在步骤5022中,用闪光照明在不同曝光下获取测量位置和颜色校准卡的多个图像。可拍摄测量位置和颜色校准卡的闪光图像和非闪光图像两者。然后,在步骤5024中基于所获取的图像来计算颜色估计值。
取决于在车辆上的位置、车辆停放的位置(室内或室外)、或最常使用车辆的地理位置或环境,车辆零件上的油漆不会以相同的方式或以相同的速度老化。颜色估计器方法可包括老化模型。老化模型可使用关于在其上已获取测量值的一个或多个位置的信息。老化模型可例如使用关于以下各项中的一者或多者的信息:车辆的型号、制造年份、颜色参考或代码、车辆零件、车辆零件相对于水平的方向、通常停车的地理位置、进行测量的地方的地理位置、相机的地理取向、一天中的时间、环境光测量或已知的配方组分。颜色估计器方法可使用老化模型来提供测量置信度水平,可能地请求在某个位置处或在其他位置处(例如,在30 cm或50 cm半径内的位置)进行附加的测量。老化模型还可用于建议在车辆或其他零件的相对侧处进行测量,以详细阐述对车辆油漆状况的更完整评估。老化模型还可用于校正一些测量,例如使用老化模型信息或在该车辆或其他车辆(例如,车辆车队)上进行的一个或多个其他测量。
一旦准备好颜色估计值,下个步骤4022就可以是计算效果颜料估计值。用于估计油漆层中所包括的效果颜料的量和类型的一个步骤可以是将所采样的测量位置的纹理尺度与颜色校准卡纹理贴片2022上的已知的纹理尺度进行比较。计算可使所测量纹理与存储在数据库中的纹理尺度相匹配,该数据库包括效果颜料层的测量值、模拟测量值或模拟绘制。存储在数据库中的纹理尺度可包括客观的粗糙度测量值。存储在数据库中的纹理尺度可包括感知的粗糙度测量值(例如,来自使用人类观测者的测试)。数据库或数据库搜索方法可包括用于将客观的粗糙度测量值转换为感知的粗糙度测量值的转换函数。
该方法可包括将车辆识别号码(例如,可在车辆的底盘上找到的号码)输入到装置中,例如通过扫描车辆的用户手册中的QR码、扫描在底盘上找到的条形码或QR码、手动键入车辆识别号码、或向装置或与装置一起使用或在装置内操作的自然语言识别系统说出车辆识别号码来实现。
移动装置可联系车辆数据库,并且从车辆数据库中检索所测量的颜色并将其与颜色代码进行比较。如果可用,则移动装置还可检索车辆建造日期和/或销售日期,以确定待匹配的油漆/涂层的实际年龄。移动装置可显示车辆的绘制,例如突出显示预期的油漆老化的位置和/或引导操作员从附加的测量位置获取测量值。
移动装置可被编程为在获取油漆测量值的时候使用颜色估计值来动态地提出配方。配方可由移动装置或由与移动装置通信的远程服务器生成。随着油漆测量次数的增加和关于老化估计值的置信度的提高,可调整配方。移动装置可显示(或说出)用于喷漆(例如,喷涂)的配方以及对负责重新喷漆车辆的全部或部分的操作员有用的参数,所述参数例如为以下各项中的一者或多者:ΔE,例如根据CIE76、CIE94或CIEDE2000计算得出。对操作员有用的参数可在喷漆操作之前进行模拟或估计或在喷漆之后进行测量,所述参数例如为以下各项中的一者或多者:ΔE,例如根据CIE76、CIE94或CIEDE2000计算得出;亮度ΔL、色度ΔC或色调ΔH;光谱比较度量,例如基于光谱形状、光谱形状差异、遍及光谱段的导数或梯度、基于直方图的比较;锐度或雾度,例如光源或结构化光源在一个或多个角度下(例如,在15°、45°、60°、75°或接近90°中的一者或多者下,在5°裕度内)从表面法线或测量光轴的反射的锐度;波纹度,例如通过使光源或结构化光源在一个或多个角度下(例如,在15°、45°、60°、75°或接近90°中的一者或多者下,在5°裕度内)从表面法线或测量光轴反射而测量得到。
上文所描述的方法和装置也可与多角度、多图像采集方法进行组合。在这种方法中,在将颜色校准卡放置在期望的测量位置处之后,用户将移动装置(或其他采集装置)定位成面对用于采集的位置,使得相机的光轴与色卡的采样窗的法线近似对准(即,垂直)。
然后,用户可使移动装置瞄准与环境光源(环境光源可以是例如太阳、天空或天花板照明)的取向相对的第一取向,例如在损坏点下方并向上倾斜,但没有转动角度(panangle)。对于第三角度,用户可使移动装置瞄准与环境光相对的第二取向,例如在损坏点的右边且向左转,但没有倾斜角度。
与上文所描述的方法一样,可不用闪光通过一系列曝光、用闪光通过一系列曝光、或闪光曝光和非闪光曝光的组合来拍摄图像以获取测量位置和颜色校准卡。
除了本文中所描述的多角度静态图像之外或代替本文中所描述的多角度静态图像的是,还可记录和分析在不同的测量角度之间和处于不同的测量角度的运动期间所获取的视频图像。例如,用户可在使移动装置(或相机)朝向测量位置和颜色校准卡瞄准的同时执行一个或多个从左到右或从右到左的运动,并且然后返回到正常的对准。用户还可在使移动装置朝向测量位置和颜色校准卡瞄准的同时执行一个或多个上/下运动,并且然后返回到正常的对准。因为视频图像可由于空间和时间数字压缩算法而包括一些模糊并具有较低的分辨率,因此可使用将重叠图像组合的图像增强方法,例如超分辨率成像方法。装置上的图形或听觉界面可通知操作员采集的质量,并且可例如将操作员引导朝向在一些位置处重复采集。如上文所描述的那样来计算以下步骤:计算颜色估计值和效果颜料估计值(例如,待喷涂的配方)。
该方法可与生产线方法相关联,该生产线方法在生产时间生成车辆的油漆的数字签名。生产线方法可例如使用由机械臂保持的颜色或外观测量装置(例如,多角度分光光度计),以获取在车辆上的关键位置处的颜色或外观测量值。然后,油漆车间可使用由颜色或外观测量装置获取的数据,以增加其测量的置信度水平。可将由油漆车间获取的颜色或外观测量数据以时效的方式(aging)发送回到车辆制造商,例如以增加颜色和外观数据库中的数据或完善油漆老化模型。
图6A呈现了用于移动装置的照明附件6100,该照明附件包括本文中还提供的照明源的环,诸如LED(6051、6055、6053、6057)或(6052、6058、6054、6055)或(6051、6052、6058、6054、6053、6057)的环。照明附件6100可由配合到移动装置上的壳(例如,移动电话6000的所谓的背侧)形成。该移动电话可包括显示器6110。照明附件可以是移动装置的实际背侧。照明附件可包括一个或多个电连接器,例如电源或数据连接器。照明附件可以是电子组件,例如没有壳部件或外壳部件。照明附件可被包括在移动装置中,例如移动电话6000。LED可包括白色LED,并且可向测量位置6500和颜色校准卡提供图6B中所示的不同的照明角度。LED可包括一个或多个彩色LED,所述彩色LED例如被选择为发射红色(620至750nm)、绿色(495至570nm)、蓝色(450至495nm)、紫色(380至450nm)、红外(700 nm至1 mm)或紫外(10至400 nm)波长中的一者或多者。一个或多个LED可能够替代地或组合地利用两个或更多个波长进行照明。LED环可被配合在移动装置的一个或多个透镜6010、6020周围。移动装置6000或照明附件6100可包括两个或更多个成像装置,例如图像传感器6011、6022。例如,第一图像传感器6011和第一透镜6010可被包括在第一成像组件6015中。例如,第二图像传感器6021和第二透镜6020可被包括在第二成像组件6025中。LED环不必一定是圆形形状的,并且对于各种入射照明角度来说,其他几何形状可以是优选的。
图像传感器可具有彼此不同的面积和分辨率中的一者或多者。例如,第二图像传感器可具有与第一图像传感器相同的面积,但是具有不同的分辨率,例如沿图像平面的一个或多个方向为一半的分辨率。例如,第二图像传感器的每个像素的面积可以是第一图像传感器中的每个像素的面积的四倍。在一些实施例中,第二图像传感器可比第一图像传感器被曝光或采样更长的时间段。在一些实施例中,由第二图像传感器获取的图像的特征可以在于具有比由第一图像传感器获取的图像更大的曝光。在一些实施例中,图像传感器中的一者或多者可被构造成在多个曝光设定下(例如,以多个曝光持续时间)获取连拍内的多个图像,例如每个图像传感器获取三个图像。由给定的图像传感器在连拍内获取的所述多个图像可被顺序地获取,例如在不到1秒内。在连拍内获取的所述多个图像可进行组合以形成高动态范围(HDR)图像。
在一些实施例中,第一成像装置6015的光轴和第二成像装置6025的光轴可以是平行的。在其他实施例中,第一成像装置6015的光轴和第二成像装置6025的光轴可以是会聚的,例如以包括在介于0°和15°之间(例如,在2°和3°之间)的范围内的角度会聚。第二成像装置6025可与第一成像装置间隔开,使得当第一成像装置6015处于距离测量位置6500的目标距离6065处时,第二成像装置的透镜6020或透镜6020的光学中心在第一照明源6057的镜面反射内。相反,第一照明源6057可定位在移动装置的照明附件6100上,使得它利用准直光束来照明测量位置6500,该准直光束以45°的角度与第一成像装置6015的光轴相交并沿着第二测量路径6552镜面反射到第二成像装置6025的透镜6020中。第二测量路径6552的角裕度可被包括在由到第二图像传感器6021上的投影限定的范围内。在一些实施例中,角裕度可被包括在1°内,例如0.5°。
照明附件6100或移动装置6000可包括控制器6090,例如执行一系列步骤以独立地照明一个或多个LED的数字控制器。
LED环最小直径6060将优选地至少足够大,以使得相机的视场能够使颜色校准卡完全成像在距离目标的距离6065的范围内,例如从0.5 cm到10 cm、从1 cm到5 cm。可对LED光轴6060处的LED环直径确定尺寸,例如,使得相机到待测量表面的光轴(测量路径6551、6552)和从LED到待测量表面(照明路径)的线之间的角度为45°。与相机光轴(例如,15、25、45、75和掠入射)相比,也可以以不同的取向设置多个环。LED可具有朝向45°或其他角度的光轴截距的固定瞄准。
可选择性地操作图像传感器和照明源(例如,包括一个或多个LED)以例如使用选择性地激活的照明路径来提供多个测量路径6551、6552。一个或多个照明源6051、6052、6053、6054、6055、6057、6058可均形成一个或多个准直光束,例如以45°的角度与一个或多个透镜6010、6020或成像装置6015、6025的光轴相交的准直光束(例如,形成小于15°(例如小于5°,例如小于3°)的光束角)。例如,参考图6A,照明源6057可与透镜6010间隔开以在移动装置在距离待测量表面的目标距离处时提供45°测量路径。例如,可通过跟踪从照明源6057的光轴到测量位置6500以及从测量位置6500到透镜6010的射线(例如,穿过透镜6010的光轴)来形成45°的角度。从照明源6057到测量位置6500的照明路径以及从测量位置6500到透镜6010和图像传感器6011的测量路径6551限定了测量平面。类似地,照明源6058可与透镜6020间隔开,以在移动装置在距离待测量的测量位置6500的目标距离6065处时提供测量路径6551。从照明源6058到表面的照明路径以及从测量位置6500到透镜6010和图像传感器6011的测量路径6551也可限定测量平面,该测量平面与由从照明源6057到透镜6010和图像传感器6011的路径限定的平面相同。而且,在该同一测量平面中的可以是从照明源6057到透镜6020和图像传感器6021以及从照明源6058到透镜6020和图像传感器6021的非45°测量路径6552。移动装置可被构造成利用来自单个照明源的照明同时从两个成像装置进行测量,从而提供45°和非45°测量两者。例如,在给定的照明(例如,由照明源6057提供的45°照明)下利用第一成像装置6015所获取的测量可等同于由色度计进行的测量,并且利用第二成像装置6025所获取的测量可等同于由光泽计进行的测量。
在一些实施例中,用户可在显示器6110上视觉化在来自一个或多个照明源6057、6051、6052、6053、6054、6055、6058的照明下由一个或多个成像装置6015、6025、6035获取的图像。该显示器可提供由一个或多个成像装置6015、6025、6035获取或测量的颜色、外观(例如,纹理或纹理参数、或光泽)的数字性特性、描述性(使用词语)特性或符号性特性中的一者或多者。在一些实施例中,移动装置可与数据库6600(例如,远程数据库,例如包括配方引擎)中的一者或多者通信,以检索关于所获取的目标的信息,例如检索配方信息以使用油漆、包括效果颜料的油漆、树脂或油墨来复制所获取的目标。
附加的照明源可在不同的测量平面中提供附加的照明角度和测量路径。例如,照明源6051可与透镜6010间隔开以将45°测量路径提供到透镜6010和图像传感器6011,但是该路径的测量平面将正交于照明源6057到透镜6010的测量平面。附加地,从照明源6051到透镜6020和图像传感器6021的测量路径将提供限定又一测量平面的非45°测量路径,该又一测量平面既不平行于也不正交于照明源6057到透镜6010的测量平面。再次,移动装置可被构造成利用来自单个照明源的照明同时从两个成像装置进行测量,从而提供45°和非45°测量。
参考图6C,照明源6251可与透镜6010和6020间隔开,使得当移动装置在距离测量位置6500的目标距离处时提供两个45°测量路径。在这种情况下,由来自照明源6251的照明路径和到透镜6010的测量路径限定的测量平面以及由来自照明源6251的照明路径和到透镜6020的测量路径限定的测量平面相交。这些测量平面也可彼此正交。
第一成像组件6015的视场可部分地重叠第二成像组件6025的视场。每个成像组件6015、6025、6035的视场可与一个或多个其他成像组件6015、6025、6035的视场重叠。控制器6090可包括一个或多个计算机处理器和一个或多个非易失性存储器装置6095。非易失性存储器装置6095可包括计算机可读指令,所述计算机可读指令指示处理器:i)从一个或多个图像传感器6011、6021、6031获取数据;以及ii)导出感兴趣表面的反射率信息。
所述计算机可读指令可包括一种方法的若干个步骤,该方法用于从自一个或多个(例如,两个)图像传感器6011、6021、6031获取的数据导出感兴趣表面的反射率信息,所述图像传感器的视场可与一个或多个图像传感器重叠。该方法可选择性地指示一个或多个照明源来照明测量位置6500并且同时从两个或更多个图像传感器6011、6021、6031获取成像数据。成像数据的处理可包括:与成像装置的校准数据进行比较。成像数据的处理可包括:检测两个或更多个成像装置6015、6025的相应数据中的感兴趣特征。成像数据的处理可包括:在第一成像装置的数据和第二成像装置的数据之间匹配例如使用特征检测器(例如,使用Shi-Tomasi检测器)所计算的感兴趣特征。成像数据的处理可包括:使用在图像之间匹配(例如,相关高于给定的阈值)的特征的数据,例如使用一种或多种三维计算机视觉方法(例如,使用对极几何)来估计第一成像装置和第二成像装置相对于测量位置6500的相对位置和取向。成像数据的处理可包括:使用所估计的相对位置和取向的数据,来校正成像数据,例如颜色数据。
获取成像数据可包括:使涂层(例如,包括效果颜料的涂层)成像。处理成像数据可包括:检测效果颜料发光。处理成像数据可包括:使由第一成像装置检测到的发光与由第二成像装置检测到的发光匹配。处理成像数据可包括:校正在一个或多个成像装置中测量的发光的颜色。
选择性地照明测量位置6500并使用具有至少部分地重叠的视场的两个或更多个成像装置同时获取成像数据可提供一种方法,其例如被编码为计算机可读指令,该方法用于:i)测量测量位置6500的一部分的颜色;ii)测量测量位置6500的发光或外观特性;iii)测量测量位置6500的光泽;iv)形成测量位置6500的三维模型;v)形成针对成像装置相对于测量位置6500的相对位置和取向所校正的测量值。
图6D呈现了图6C中所呈现的用于移动装置6200的照明附件的第一实施例的侧视图。在该实施例中,由照明源6251、6253、6057中的一者或多者提供的照明可被构造成使得当照明附件6200的位置和取向以例如平行于测量平面6500的测量位置和取向定位成相隔距离6065时,来自一个或多个源6251、6253、6057的照明光在同一测量位置处与测量平面相交,例如处于相对于测量平面成45°的照明。由照明源6058提供的照明可以以较浅的角度(例如,以63°(atan(2))的10°内的角度)照明测量位置。其他照明源可定位成更远离或更接近第一光学装置,并且被取向成例如利用准直照明以比照明源6058的角度更大或更浅的角度atan(3)来照明测量位置。
图6E呈现了图6C中所呈现的用于移动装置6200的照明附件的第二实施例的侧视图。第二实施例呈现了针对照明源6057、6058、6251、6253的取向的替代性或第二构造。在第二实施例中,照明源沿着两个或更多个成像组件6015、6025之间(例如,图像传感器6011、6021之间)的中心线瞄准测量位置。照明源6251、6253可被构造成使得在照明路径和测量路径之间所形成的角度为45°。测量路径可不正交于测量平面。在该构造中,由图像传感器6011、6021获取的测量位置的图像可在成像组件6015、6025的视场重叠的区域中呈现几何对称。
照明附件还可包括用于LED环的安装件,该安装件包括例如以下各项中的一者或多者:粘合剂,包括这样的粘合剂,即在LED和粘合剂之间具有泡沫垫;夹具,其类似于用于将附加透镜安装到移动装置上的夹具;壳;向后折叠的屏幕盖;或任何其他合适的安装结构。可通过以下各项中的一者或多者来供应电力:连接到移动装置的电缆;或其自己的电力存储装置,被包括在例如夹具、壳或屏幕盖中。
LED环可通过经由以下各项中的一者或多者联接以与移动装置通信而被触发来操作:连接到移动装置的电缆;无线接口,例如蓝牙无线接口;或经由移动装置的闪光光学地联接。该最后的选项可利用嵌入照明附件中的光传感器来实现。包括一个或多个光传感器的照明附件也可被构造成例如基于对环境光和/或由LED和/或移动装置的闪光促成的照明增量的感测来调整光强度。在一些实施例中,该LED环还可经由移动装置的闪光的经编码的或以其他方式调制的照明从移动装置接收命令和/或数据。照明附件还可包括罩以部分地或完全地遮蔽环境光。
照明附件可延伸以使移动装置与目标表面间隔开最佳的采集距离6065。就这一点而言,照明附件可包括防滑(例如,橡胶处理的或聚合物)表面以接触目标表面,例如从而在手持式采集期间减少运动并避免在目标表面上引起另外的刮擦。照明附件还可包括颜色校准卡保持器或引导器,以实现滑入一个或多个可互换的颜色校准卡,所述颜色校准卡可根据期望的测量相机校准而被选择。
在一些实施例中,移动装置配备有立体相机,例如包括2个成像装置的相机。在这些示例中,提供了第一颜色传感器组件(包括传感器+透镜)6015和第二颜色传感器组件6025。第一颜色组件6015和第二颜色组件6025可以与移动装置成一体或可被包括在可附接到移动装置的附件中。第二颜色组件6025与第一颜色传感器间隔开限定的距离。例如,颜色组件可被间隔开,使得每个颜色传感器的光轴在最佳的采集距离下分开45°或更小,或分开30°或更小,或分开15°。颜色传感器中的一者可具有正交于装置的平面(例如,正交于装置的显示器6110)的光轴。
具有立体相机的移动装置6000还可包括一个或多个多角度照明组件。每个照明组件可包括在每个成像装置周围的三个或更多个照明源(例如,在X-Y平面中,(90°间距且带有空槽,或120°间隔))、在每个传感器周围的四个照明源6057(90°间距)、或环绕两个颜色传感器或每个传感器的多个照明源。
用户可例如在一种方法中使用移动装置6000,以例如使用成像装置6015、6025、6035中的一者在大于测量距离6065的距离下获取对象的常规照片。用户可例如在一种方法中使用移动装置6000,以例如使用成像装置6015、6025、6035中的两者或更多者来获取组合在不同的曝光下或在不同的焦点下的图像的照片。用户可例如在一种方法中使用移动装置6000,以例如使用第一成像装置6015和第二成像装置6025从不同视点获取同时的图像,例如从而形成所获取的场景的三维图像或三维模型。例如,在一种方法中,在比成像装置的光轴中的两者或更多者的光轴会聚的位置更接近装置的距离下,可通过声音、语音或现场显示(on-display)符号中的一者或多者来帮助对用于改进的三维绘制的图像的采集。用户可例如在一种方法中使用移动装置6000,以获取颜色或光泽的测量值。用户可例如在一种方法中使用移动装置6000,以从数据库6600(例如,包括配方引擎的数据库)中检索参考,例如油漆参考,例如油漆配方。
在一些实施例中,移动装置6000可适于测量感兴趣表面6500的反射率性质,该移动装置包括:第一成像装置6015;第一照明源6057,其与第一成像装置间隔开以在移动装置定位在距离感兴趣表面的目标距离处时提供第一45°光路,该第一45°光路包括第一照明路径和第一测量路径6551,所述第一照明路径和第一测量路径限定第一测量平面;第二成像装置6025,其与第一成像装置6015间隔开;第二照明源6051、6052、6053、6054、6058、6251、6253,其与第一成像装置6015和第二成像装置6025间隔开,从而在移动装置定位在距离感兴趣表面的目标距离处时提供第二光路,该第二光路包括第二照明路径和第二测量路径6552,所述第二照明路径和第二测量路径限定第二测量平面;其中,第一照明源6057与第二成像装置6025间隔开,以在移动装置6000定位在距离感兴趣表面6500的目标距离6065处时提供第三光路,该第三光路包括第三照明路径和第二测量路径6552,所述第三照明路径和第二测量路径限定第三测量平面;其中,第二照明源与第一成像装置间隔开,以在移动装置定位在距离感兴趣表面的目标距离6065处时提供第四光路,该第四光路包括第四照明路径和第一测量路径6551,所述第四照明路径和第一测量路径限定第四测量平面;其中,移动装置被构造成处理从第一成像装置和第二成像装置获取的图像数据,以导出感兴趣表面的反射率信息。
在一些实施例中,第一测量平面、第二测量平面、第三测量平面和第四测量平面可在同一平面中。在其他实施例中,第一测量平面和第二测量平面可彼此平行,并且第三测量平面和第四测量平面可相交。在另外的实施例中,第三光路和第四光路可包括在第一测量平面外部的一个或多个45°测量路径6551、6552。在又另外的实施例中,第三光路和第四光路可包括形成相对于照明路径的包括在从5°到40°的范围内的角度的一个或多个测量路径6551、6552。
供与本文中所公开的方法和装置一起使用的移动装置还可包括具有傅立叶光学器件的相机。图7呈现了具有傅立叶光学器件7000和照明组件的移动装置的实施例。傅立叶光学器件经由傅立叶透镜组件7100将来自照明组件的定向照明转换为相机传感器平面7300中的距离。傅立叶光学组件7000允许例如从自测量位置6500反射的照明光同时采集多角度数据。
傅立叶光学组件7000包括准直照明源1、2、3,所述准直照明源通过二向色镜7200被反射,从而反射朝向傅立叶透镜组件7100。傅立叶透镜组件的接受角Δφ 7350可被包括在从10°到85°(例如,从20°到60°,例如从20°到50°)的范围内。傅立叶透镜可包括遮蔽件(mask)7105,该遮蔽件包括用于期望的角度7231、7232、7233或θ1、θ2、θ3(例如,15°、45°、可能地30°或其他角度)的孔径7110、7115、7120。傅立叶光学组件可包括在传感器平面7300处的遮蔽件7305,该遮蔽件在径向位置7431、7432、7433处具有孔径(被表示为d1、d2、d3),这些孔径对应于与测量位置15°、30°、45°或其他位置所成的镜面反射角度7331、7332、7333,被表示为φ1、φ2、φ3。其他位置可包括针对给定的照明角度的镜面反射角度,例如被表示为7334(被表示为φ4)的45as110。
图9呈现了根据以上示例中的任一者或全部的颜色校准卡9000的横截面还可包括一个或多个光源9411、9412、9421、9422、9431、9432,以用于照明待测量的表面9010上的测量位置9015。光源可由卡9100支撑,该卡可包括颜色贴片(未示出)、效果颜料贴片(未示出)或滤光片9200中的一者或多者。光源可以是白色的、彩色的(红色、绿色、蓝色中的一者或多者(RGB))、或者白色和彩色的组合。光源可包括LED灯。光源可定位在颜色校准卡的测量窗周围的一个或多个位置处。在一个实施例中,光源距离测量位置9015可以是等距的。在另一实施例中,光源可布置在圆弧上或球形圆顶的一部分上。在更一般的实施例中,光源可定位在距离卡的测量窗的中心的一个或多个距离处,并且可使其光轴朝向待测量的物体的表面处的测量点取向。在一些实施例中,LED朝向测量点的取向可包括相对于待测量的表面9010的法线以45°取向的一个或多个LED。实施例还可包括其他照明源,例如在与法线成15°、30°、75°或85°中的一者或多者处(例如,在5°裕度内)。颜色校准卡中可包括一个或多个间隔物9310、9320以将光源与待测量的表面间隔开。
可包括控制器9500,并且该控制器被构造成顺序地使光源照明。光源可被顺序地照明以提供不同的照明角度或不同的照明颜色。还可包括电源9600。
结构化光源可被嵌入移动装置中,被提供作为插入式装置,或被嵌入先前所识别的装置中,并且可与本文中所识别的颜色校准卡中的任一者组合使用。在该背景下,结构化光源将已知的光图案(常常是网格或水平条)投射到测量位置上。光图案在照射到三维表面上时看起来变形,并且允许视觉系统计算测量位置的深度和表面信息。
可从某个位置投射结构化光,使得结构化光源的光轴在相机的短“宏观”范围(例如,从1 cm到10 cm,例如从2 cm到8 cm,例如从4 cm到6 cm)内的聚焦距离处以45°与测量位置相交。结构化光源的图案包括平行的耙形线、扇形线、相交的网格线中的一者或多者。结构化光源的颜色包括白色、红色、绿色或蓝色中的一者或多者。可提供多个结构化光源。例如,第一光源用于红光,第二光源用于绿光,第三光源用于蓝光。红色、绿色或蓝色图案的网格取向可以是相交的。
源可依次、成对或一起照明,因此,如果网格包括红色、绿色和蓝色,则因此形成白点,这些网格可在所述白点处相交。可通过移动装置的白光源(例如,闪光或白色LED)来补充照明。在网格照明之后可以是由移动装置的白光源(例如,闪光或白色LED)进行的照明。
本文中所描述的方法和装置可与附加设备集成在一起以使测量自动化。例如,机械臂可配备有颜色或外观测量装置(例如,多角度分光光度计)以及可选地照明系统。这些部件可被配合到机械臂的末端执行器。然后,机械臂可用于在修理的位置或指定的位置(例如,由车辆制造商指定的参考位置)中的一者或多者处获取一个或多个测量值。所获取的数据可例如用于补充制造商的油漆建模数据库,例如考虑到车辆和地理位置的油漆老化数据库。
图8A呈现了另一示例的透视图:通行拱形部8100,其可例如设置在汽车或车辆清洗系统8000的出口处以用于测量和/或绘制车辆8910的油漆磨损或损坏,例如以提出进一步的处理(抛光、重新喷漆)。在该示例中,通行拱形部8100可包括架空梁8110(例如,水平梁),该架空梁支撑用于反射测量术的多个集成反射仪。梁8110可竖直地移动以跟踪汽车的车辆发动机罩、车顶和后部。在车辆清洗系统8000中,在车辆8910已穿过清洗机8920和烘干机系统8800之后,通行拱形部8100可例如供该车辆8910使用。如果待测量的零件是清洁和干燥的,则由通行拱形部8100获得的测量值可具有更大的可靠性。通行拱形部8100可位于别处,例如在停车设施的入口或出口处。
图8B呈现了梁8110(或如在随后的段落中所描述的桅杆8120、8130)的实施例的更近的视图。梁8110还可支撑瞄准车辆(例如,竖直向下或处于45°的角度)的一个或多个相机8500、和/或平行于梁的一排或多排光源8410、8420、8430(例如,LED)。光源8410、8420、8430可形成照明线,例如每条照明线包括单个照明源或多个LED。单个照明源和/或LED可按顺序被照明。在一些实施例中,照明线内的LED可按顺序被照明。通过一个或多个相机8500获取反射。
还可提供用于反射测量术的左桅杆8120和右桅杆8130。左桅杆和右桅杆可侧向地平移(例如,沿着Y轴)以与车辆的宽度匹配。反射测量可类似于架空梁或水平梁8110的反射测量。
还可提供例如安装在水平梁、左桅杆和/或右桅杆或机械臂上的一个或多个色度计。
提供控制器,以控制梁、桅杆,测量仪器和照明源的运动。控制器还可连接到传感器,并且可操作以识别车辆,例如牌照读取器、RFID等。控制器还可被构造成计算反射测量值,并且可选地整合颜色测量值和/或基于颜色测量值来调整反射测量值。控制器可被构造成将测量值与特定的车辆相关联并将结果存储在数据库中。
控制器或其他计算机系统可被构造成计算所提出的维护解决方案并提供成本估计。控制器还可被构造成将结果和所提出的维护解决方案通知车主,例如经由计算机屏幕、移动电话通知或发送到车主数据库(例如,车辆租赁代理商)的通知。
Claims (15)
1.一种适于测量感兴趣表面(6500)的反射率性质的移动装置(6000),所述移动装置包括:
第一成像装置(6015),其包括图像传感器(6011)和以光轴为特征的透镜(6010);
第一照明源(6057),其具有与所述第一成像装置透镜的光轴以45°的角度相交的光轴,所述第一成像装置和所述第一照明源的所述光轴限定第一测量平面;
第二成像装置(6025),其与所述第一成像装置(6015)间隔开并且包括图像传感器(6021)和以在所述第一测量平面内的光轴为特征的透镜(6020);
第二照明源(6051、6052、6053、6054、6251、6253),其具有与所述第一成像装置透镜的光轴相交的光轴,其中所述第一照明源(6057)与所述第一成像装置(6015)透镜的光轴相交,所述第一成像装置(6015)和所述第二照明源(6051、6052、6053、6054、6251、6253)的所述光轴限定不同于所述第一测量平面的第二测量平面;
计算机处理器(6090);
非易失性存储器(6095),其包括计算机可读指令,以从所述第一成像装置和第二成像装置获取数据并导出所述感兴趣表面(6500)的反射率信息;
其中,对应于所述第一成像装置(6015)的第一视场和对应于所述第二成像装置(6025)的第二视场形成重叠区域(6510),并且所述移动装置被构造成处理所述重叠区域的图像数据以在所述重叠区域内形成所述感兴趣表面的三维数据、导出所述感兴趣表面的表面纹理外观信息或导出所述感兴趣表面的效果颜料反射率信息或上述的任何组合。
2.根据权利要求1所述的移动装置,其中,所述第一成像装置(6015)的所述图像传感器(6011)和所述第二成像装置(6025)的所述图像传感器(6021)具有不同的分辨率。
3.根据权利要求1所述的移动装置,其中,所述第二成像装置(6025)和所述第二照明源(6051、6052、6053、6054、6251、6253)的所述光轴限定第三测量平面,所述第三测量平面不同于所述第一测量平面和第二测量平面。
4.根据权利要求1所述的移动装置,其中,所述第一照明源还包括在所述第一测量平面中的多个照明源(6051、6055、6058)。
5.根据权利要求1所述的移动装置,其中,所述第一测量平面和第二测量平面彼此正交。
6.根据权利要求1所述的移动装置,其中,所述反射率信息包括可见颜色反射率信息。
7.根据权利要求1所述的移动装置,其中,所述第一照明源的光轴相对于所述第二成像装置的光轴成镜面角度设置。
8.根据权利要求1所述的移动装置,其中,所述第二照明源的光轴相对于所述第一成像装置的光轴成在15°至75°的范围内的角度设置。
9.根据权利要求8所述的移动装置,其中,所述移动装置被构造成同时从所述第一图像传感器(6011)和第二图像传感器(6021)获取图像数据。
10.根据权利要求1所述的移动装置,其中,所述第一照明源和第二照明源包括一个或多个宽带白光LED。
11. 根据权利要求1所述的移动装置,其还包括多个LED,所述多个LED定位成向所述第一成像装置和第二成像装置提供不同的测量路径,所述多个LED被选择为发射红色(620至750 nm)、绿色(495至570 nm)、蓝色(450至495 nm)、紫色(380至450 nm)、红外(700 nm至1mm)或紫外(10至400 nm)波长中的一者或多者。
12.根据权利要求1所述的移动装置,其中,所述第一照明源(6057)和第二照明源(6051、6052、6053、6054、6055、6058、6251、6253)安装在附接到测量装置的照明附件(6100、6200)上。
13.根据权利要求1所述的移动装置,其中,所述第一照明源(6057)和第二照明源(6051、6052、6053、6054、6055、6058、6251、6253)安装在附接到所述移动装置的照明附件(6100、6200)上,并且所述照明附件包括控制器(6090)以使所述第一照明源和第二照明源彼此独立地照明。
14.根据权利要求1所述的移动装置,其中,所述第一成像装置(6015)和第二成像装置(6025)中的至少一者的所述图像传感器(6010、6020、7300)定位在成像装置的傅立叶变换平面中。
15.根据权利要求1所述的移动装置,其中,所述第一照明源和第二照明源被包括在多个准直照明源中,所述多个准直照明源设置成提供相对于成像装置中的一者或多者的所述光轴的被包括在从10°到75°的范围内的多个照明角度。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762501036P | 2017-05-03 | 2017-05-03 | |
US62/501036 | 2017-05-03 | ||
US201762501434P | 2017-05-04 | 2017-05-04 | |
US62/501434 | 2017-05-04 | ||
PCT/US2018/030884 WO2018204639A1 (en) | 2017-05-03 | 2018-05-03 | Vehicle color measurement methods and devices |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110998257A CN110998257A (zh) | 2020-04-10 |
CN110998257B true CN110998257B (zh) | 2022-11-15 |
Family
ID=62685063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880044987.3A Active CN110998257B (zh) | 2017-05-03 | 2018-05-03 | 车辆颜色测量方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200064194A1 (zh) |
EP (1) | EP3619510A1 (zh) |
CN (1) | CN110998257B (zh) |
WO (1) | WO2018204639A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7087687B2 (ja) * | 2018-06-01 | 2022-06-21 | 株式会社サタケ | 穀物の光沢測定装置 |
WO2020194146A1 (en) * | 2019-03-26 | 2020-10-01 | 3M Innovative Properties Company | Sensor array spectrometer |
EP3812978A1 (en) * | 2019-10-25 | 2021-04-28 | X-Rite, Inc. | Delta e formula match prediction |
WO2022038145A1 (en) * | 2020-08-21 | 2022-02-24 | Basf Coatings Gmbh | System for identifying a coating on the surface of an object and method for refinishing a surface of an object with damaged coating |
NL2030196B1 (en) * | 2021-12-20 | 2023-06-28 | Ind Physics Inks & Coatings B V | Method of analysing optical properties of material. |
US11847799B2 (en) | 2022-02-28 | 2023-12-19 | Logitech Europe S.A. | Color matching system for product manufacturing |
WO2023234247A1 (ja) * | 2022-05-31 | 2023-12-07 | 富士フイルム株式会社 | キャリブレーション部材、キャリブレーション装置、キャリブレーション方法及びキャリブレーションプログラム |
WO2023234248A1 (ja) * | 2022-05-31 | 2023-12-07 | 富士フイルム株式会社 | キャリブレーション部材、キャリブレーション装置、キャリブレーション方法及びキャリブレーションプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5253302A (en) * | 1989-02-28 | 1993-10-12 | Robert Massen | Method and arrangement for automatic optical classification of plants |
US5850472A (en) * | 1995-09-22 | 1998-12-15 | Color And Appearance Technology, Inc. | Colorimetric imaging system for measuring color and appearance |
EP1207386A1 (en) * | 2000-11-20 | 2002-05-22 | The Dow Chemical Company | Method for characterizing the appearance of a particular object, for predicting the appearance of an object, and for manufacturing an object having a predetermined appearance which has optionally been determined on the basis of a reference object |
BRPI0708238A2 (pt) * | 2006-02-24 | 2011-05-24 | Akzo Nobel Coatings Int Bv | processo de análise de um filme de tinta com pigmentos de efeito |
JP2009080044A (ja) * | 2007-09-26 | 2009-04-16 | Konica Minolta Sensing Inc | 光学特性測定装置 |
DE502007001147D1 (de) * | 2007-12-07 | 2009-09-03 | Basf Se | Verfahren und Vorrichtung zur Modellierung und Simulation optischer Eigenschaften von Effektstofflacken und Bestimmung von Beleuchtungs- und Messgeometrien für Spektralphotometer |
WO2009092868A1 (fr) * | 2008-01-23 | 2009-07-30 | Ijina | Dispositif et procédé de mesure spatio-colorimétrique d'un objet tridimensionnel |
WO2011060296A2 (en) * | 2009-11-13 | 2011-05-19 | California Institute Of Technology | Stereo imaging miniature endoscope with single imaging chip and conjugated multi-bandpass filters |
US20110261355A1 (en) * | 2010-04-22 | 2011-10-27 | Thaddaeus Hannel | Portable device and method for spectroscopic analysis |
MX2014003799A (es) * | 2011-09-30 | 2014-07-28 | Coatings Foreign Ip Co Llc | Metodo para igualar el color y la apariencia de recubrimientos contenedores de pigmentos de efecto. |
JP5475057B2 (ja) * | 2012-04-20 | 2014-04-16 | 株式会社 オフィス・カラーサイエンス | 変角分光イメージング測定方法およびその装置 |
US10178351B2 (en) * | 2012-09-19 | 2019-01-08 | Ppg Industries Ohio, Inc. | Multi-angular color, opacity, pigment characterization and texture analysis of a painted surface via visual and/or instrumental techniques |
DE202012010549U1 (de) * | 2012-11-06 | 2014-02-14 | X-Rite Europe Gmbh | Handmessgerät zur Erfassung des visuellen Eindrucks eines Messobjekts |
DE112014000995T5 (de) * | 2013-02-26 | 2015-11-05 | Coatings Foreign Ip Co. Llc | Verfahren zum In-Übereinstimmung-Bringen von Farbe und Aussehen von Beschichtungen |
US20160035665A1 (en) | 2014-08-04 | 2016-02-04 | Infineon Technologies Ag | Circuit arrangement and method for manufacturing the same |
US9677942B2 (en) * | 2014-10-30 | 2017-06-13 | Axalta Coating Systems IP Co. LLC | System and method for measuring color using location and orientation sensors |
US10049294B2 (en) | 2015-01-30 | 2018-08-14 | X-Rite Switzerland GmbH | Imaging apparatus, systems and methods |
AT518675A1 (de) * | 2016-05-19 | 2017-12-15 | H & P Trading Gmbh | Verfahren und Vorrichtung zur Ermittlung zumindest einer Prüfeigenschaft eines Prüfgegenstands |
-
2018
- 2018-05-03 EP EP18732947.9A patent/EP3619510A1/en active Pending
- 2018-05-03 US US16/609,693 patent/US20200064194A1/en active Pending
- 2018-05-03 CN CN201880044987.3A patent/CN110998257B/zh active Active
- 2018-05-03 WO PCT/US2018/030884 patent/WO2018204639A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2018204639A1 (en) | 2018-11-08 |
EP3619510A1 (en) | 2020-03-11 |
US20200064194A1 (en) | 2020-02-27 |
CN110998257A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110998257B (zh) | 车辆颜色测量方法和装置 | |
JP6039109B2 (ja) | 着色検査装置および着色検査方法 | |
JP6039008B2 (ja) | 着色評価装置及び着色評価方法 | |
CA2875820C (en) | 3-d scanning and positioning system | |
US10690480B2 (en) | Film thickness measuring method and film thickness measuring device | |
US20160134860A1 (en) | Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy | |
US11674907B2 (en) | Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies | |
US20160044301A1 (en) | 3d modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements | |
JP6371237B2 (ja) | 着色評価装置および着色評価方法 | |
US20010033685A1 (en) | Device, method and record medium for image comparison | |
TWI490445B (zh) | 用於估計一物件之一三維表面形狀之方法、裝置及機器可讀非暫時性儲存媒體 | |
EP3069100B1 (en) | 3d mapping device | |
US11567004B2 (en) | Optical device for measuring the optical properties of materials | |
CA2654455A1 (en) | Apparatus and method for determining characteristics of a light source | |
CN103077541A (zh) | 人脸皮肤色彩的度量与表述的方法及系统 | |
JP2022523122A (ja) | 可動スキャナを使用したテクスチャモデルの生成 | |
CN100340840C (zh) | 光学形状测量或评定的方法及装置 | |
KR100698535B1 (ko) | 경사 보정기능을 갖는 이동로봇의 위치 인식 장치 및 방법 | |
CN109141506A (zh) | 多功能标定系统 | |
CN208572296U (zh) | 多功能标定装置 | |
CN114241059A (zh) | 一种光度立体视觉系统中相机和光源的同步标定方法 | |
Beuckels et al. | A handheld image-based gloss meter for complete gloss characterization | |
Fernandez-Balbuena et al. | Reflectance Measurements on Cultural Heritage | |
Álvarez Fernández-Balbuena et al. | Reflectance Measurements on Cultural Heritage | |
WO2015193470A1 (en) | Mobile road sign reflectometer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |