CN117479879A - 确定镜面反射信息 - Google Patents
确定镜面反射信息 Download PDFInfo
- Publication number
- CN117479879A CN117479879A CN202280041513.XA CN202280041513A CN117479879A CN 117479879 A CN117479879 A CN 117479879A CN 202280041513 A CN202280041513 A CN 202280041513A CN 117479879 A CN117479879 A CN 117479879A
- Authority
- CN
- China
- Prior art keywords
- illumination
- imaging
- imaging system
- spectral band
- imaging data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 546
- 238000005286 illumination Methods 0.000 claims abstract description 451
- 230000003595 spectral effect Effects 0.000 claims abstract description 205
- 230000010287 polarization Effects 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000005684 electric field Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 30
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000002238 attenuated effect Effects 0.000 description 17
- 238000001228 spectrum Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002932 luster Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003746 surface roughness Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003020 moisturizing effect Effects 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Dermatology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
描述了一种计算机实施的方法(100)。该方法包括接收(102)由对象(202)的成像系统(204)获得的第一成像数据和第二成像数据,对象(202)由第一光谱带中的第一照明(206a)和第二光谱带中的第二照明(206b)照射,该第二光谱带包括与第一光谱带不同的光谱内容。入射到对象上的第二照明是偏振的。所接收的第一成像数据是在第一光谱带内获得的。所接收的第二成像数据是在第二光谱带内获得的。根据在从对象的表面反射之后由成像系统接收的反射的第一照明和反射的第二照明的偏振状态,第一照明和第二照明被准许经由成像系统的成像系统偏振器(310)进入成像系统。通过比较第一成像数据和第二成像数据来确定关于来自对象的表面的镜面反射的信息。
Description
技术领域
本发明涉及用于在特定条件下成像的方法、有形机器可读介质和装置。
背景技术
非侵入式测量和监测领域中的一个感兴趣的主题涉及用于个人护理和健康应用程序的皮肤感测。正在开发的皮肤感测系统承诺对皮肤进行量化并对皮肤特征进行监控,这可能会为用户提供过小而无法检测、太微弱而无法注意或过慢而无法跟随的信息。为了提供用户可接受的结果,这类皮肤感测系统在执行皮肤感测时可能需要提供灵敏度和特异性。假设由这类皮肤感测系统进行的测量被证明是鲁棒的和可靠的,则用户可建立对这些皮肤感测系统的信任。
基于成像的皮肤感测系统可以实施各种成像技术,以便确定关于用户皮肤的某些信息。这类信息可包括诸如用户的皮肤的光泽度的参数。用于确定皮肤光泽度的某些系统可为昂贵的、复杂的和/或庞大的。
发明内容
本文所描述的方面或实施例涉及确定某些信息,诸如对象的表面的光泽度。本文所描述的方面或实施例可以避免与用于确定这类信息的系统的费用、复杂性和/或庞大性相关联的一个或多个问题。
在第一方面,描述了一种方法。该方法是计算机实施的方法。该方法包括接收由对象的成像系统获得的第一成像数据和第二成像数据,该对象由第一光谱带中的第一照明和第二光谱带中的第二照明照射,该第二光谱带包括与第一光谱带不同的光谱内容。入射到对象上的第二照明是偏振的。
由于成像系统的第一滤色器准许第一光谱带的至少一部分进入成像系统中并且阻止准许第二光谱带的至少一部分进入成像系统中,因此在第一光谱带内获得所接收的第一成像数据,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明。
由于成像系统的第二滤色器准许第二光谱带的至少一部分进入成像系统中并且阻止准许第一光谱带的至少一部分进入成像系统中,因此在第二光谱带内获得所接收的第二成像数据,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明。
这取决于成像系统在从对象的表面反射之后接收的反射的第一照明和反射的第二照明的偏振状态,第一照明和第二照明被准许经由成像系统的成像系统偏振器进入成像系统中,使得镜面反射和漫反射的第一照明被准许进入成像系统中,并且漫反射的第二照明被准许进入成像系统中。
该方法还包括通过比较第一成像数据和第二成像数据来确定关于来自对象的表面的镜面反射的信息。
下面描述与第一方面相关的一些实施例。
在一些实施例中,在其内获得第一成像数据的时间帧与在其内获得第二成像数据的时间帧至少部分地重叠。
在一些实施例中,同时获得第一成像数据和第二成像数据。
在一些实施例中,成像系统偏振器被配置成准许反射的第一照明和反射的第二照明进入成像系统中,该反射的第一照明和反射的第二照明具有平行于成像系统偏振器的偏振轴线的电场分量。成像系统偏振器还被配置成衰减反射的第一照明和反射的第二照明,该反射的第一照明和反射的第二照明具有垂直于偏振轴线的电场分量。
在一些实施例中,关于镜面信息的信息指示对象的皮肤的光泽度。光泽度可以通过计算第一成像数据和第二成像数据中的强度信息之间的差异来确定。
在一些实施例中,第一滤色器和第二滤色器是滤色器阵列的一部分。滤色器阵列可以被配置成使得成像系统的至少一个成像设备能够获得第一光谱带内的第一成像数据和第二光谱带内的第二成像数据。该方法可以还包括从由至少一个成像设备获得的原始成像数据中提取与第二成像数据分开的第一成像数据。
在第二方面,描述了有形机器可读介质。有形机器可读介质包括指令,该指令在由处理电路系统执行时,使处理电路系统实现第一方面或任何相关实施例的方法。
在第三方面,描述了一种装置。该装置包括处理电路系统。处理电路系统包括接收模块和确定模块。
接收模块被配置成接收由对象的成像系统获得的第一成像数据和第二成像数据,该对象由第一光谱带中的第一照明和第二光谱带中的第二照明照射,第二光谱带包括与第一光谱带不同的光谱内容。入射到对象上的第二照明是偏振的。
由于成像系统的第一滤色器准许第一光谱带的至少一部分进入成像系统中并且阻止准许第二光谱带的至少一部分进入成像系统中,因此在第一光谱带内获得所接收的第一成像数据,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明。
由于成像系统的第二滤色器准许第二光谱带的至少一部分进入成像系统中并且阻止准许第一光谱带的至少一部分进入成像系统中,因此在第二光谱带内获得所接收的第二成像数据,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明。
根据成像系统在从对象的表面反射之后接收的反射的第一照明和反射的第二照明的偏振状态,第一照明和第二照明被准许经由成像系统的成像系统偏振器进入成像系统中,使得镜面反射和漫反射的第一照明被准许进入成像系统中,并且漫反射的第二照明被准许进入成像系统中。
确定模块被配置成通过比较第一成像数据和第二成像数据来确定关于来自对象的表面的镜面反射的信息。
下面描述与第三方面相关的一些实施例。
在一些实施例中,确定模块被配置成基于第一成像数据与第二成像数据之间的比较来确定对象皮肤的光泽度的度量。
在一些实施例中,该装置还包括成像系统和/或照明系统,照明系统被配置成提供第一照明和第二照明。
在一些实施例中,成像系统偏振器被配置成准许反射的第一照明和第二照明进入成像系统中,该反射的第一照明和反射的第二照明具有平行于成像系统偏振器的偏振轴线的电场分量。成像系统偏振器还被配置成阻止准许反射的第一照明和第二照明进入成像系统中,该反射的第一照明和反射的第二照明具有垂直于偏振轴线的电场分量。
在一些实施例中,照明系统包括照明系统偏振器,该照明系统偏振器被配置成使指向对象的第二照明偏振。成像系统偏振器的偏振轴线可与照明系统偏振器的偏振轴线正交。
在一些实施例中,照明系统被配置成使得指向对象的第一照明是非偏振的,或者照明系统包括附加照明系统偏振器,该附加照明系统偏振器被配置成使指向对象的第一照明偏振,使得指向对象的第一照明的偏振状态与指向对象的第二照明的偏振状态正交。
在一些实施例中,照明系统被配置成将第一照明和第二照明指向对象,使得从对象的表面反射的第一照明和第二照明的镜面分量和漫射分量两者均被指向成像系统,以准许取决于反射的第一照明和反射的第二照明的偏振状态进入成像系统。
在一些实施例中,成像系统包括至少一个成像设备和滤光器阵列。滤光器阵列包括第一滤色器和第二滤色器。
滤光器阵列可以被配置成将进入成像系统中的第一光谱带的至少一部分传递给至少一个成像设备的第一组像素,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明。
滤光器阵列可另外被配置成将进入成像系统中的第二光谱带的至少一部分传递给至少一个成像设备的不同的第二组像素,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明。
本发明的这些和其他方面将从下文所描述的实施例(一个或多个)中显而易见并参考下文所描述的实施例进行阐述。
附图说明
现在将参考以下附图,仅通过示例的方式描述本发明的示例性实施例,在附图中:
图1提及根据一个实施例的确定关于对象的表面的某些信息的方法;
图2是根据一个实施例的用于确定关于对象的表面的某些信息的系统的示意图;
图3是根据一个实施例的用于确定关于对象的表面的某些信息的系统的示意图;
图4描绘了图3的系统的某些组件的示例光学参数;
图5是根据一个实施例的确定关于对象的表面的某些信息的方法的表示的示意图;
图6提及根据一个实施例的确定关于对象的表面的某些信息的方法;
图7是根据一个实施例的用于确定关于对象的表面的某些信息的机器可读介质的示意图;和
图8是根据一个实施例的用于确定关于对象的表面的某些信息的装置的示意图。
具体实施方式
在一些皮肤美容情况下,看起来具有自然、明亮的光泽而不显得油腻的皮肤可能是期望的。皮肤的可见外观取决于光与皮肤的相互作用。表观光泽的水平可取决于底层表面和由入射到皮肤上的光的不同角度引起的次表面反射。
皮肤光泽的度量可能对某些护肤溶液的功效测试感兴趣。例如,皮肤光泽可能与皮肤美容相关,并且可能对个人自信心和/或实现特定外观产生影响。
化妆品、保湿霜等护肤品可能会应用于皮肤,这可能影响皮肤的表观光泽。此外,一些设备,诸如皮肤清洁设备、剃须刀、去角质器、水合设备、皮肤刺激器(例如,机械的、电的、光学的)或任何其他可改变皮肤外观的设备(例如,出于美观或其他原因)也可能影响皮肤的表观光泽。护肤产品和/或设备可以用作个人护理制度的一部分。
某些个人护理制度可能涉及表征皮肤的光泽(例如,在个人护理制度之前和/或之后)。例如,对表征他们的皮肤(例如,确定皮肤光泽)感兴趣的用户可以使用本文所描述的某些实施例来确定对这类表征有用的信息。这些信息可以有助于评估个人护理制度。
图1示出了确定关于对象的表面(例如,用户的皮肤)的某些信息的方法100(例如,计算机实施的方法)。方法100可以由诸如用户设备的计算机或者服务器或基于云的服务(例如,通信地耦合到用户设备)来实施。用户设备的示例包括智能设备,诸如智能手机、平板电脑、智能镜子或能够处理成像数据的任何其他设备,如下所述。
方法100包括:在块102,接收第一成像数据和第二成像数据。
如下面更详细描述的,第一成像数据和第二成像数据可以由成像系统获得(在根据方法100的块102被接收之前)。成像数据可以指诸如源自通过由第一照明和第二照明照射的对象的成像系统获得的至少一个图像的像素强度信息的信息。第一照明在第一光谱带中,并且第二照明在第二光谱带中。第一光谱带包括与第一光谱带不同的光谱内容。第一光谱带可以与第二光谱带重叠,也可以不重叠。下面将更详细地描述第一光谱带和第二光谱带的更多细节。入射到对象上的第二照明是偏振的(例如,线性偏振的)。
由于成像系统的第一滤色器准许第一光谱带的至少一部分进入成像系统中,并且阻止准许第二光谱带的至少一部分进入成像系统中,因此在第一光谱带内获得所接收的第一成像数据,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明。
由于成像系统的第二滤色器准许第二光谱带的至少一部分进入成像系统中,并且阻止准许第一光谱带的至少一部分进入成像系统中,因此在第二光谱带内获得所接收的第二成像数据,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明。
因此,成像系统可以获得第一成像数据和第二成像数据两者,第二成像数据可不同于第一成像数据,因为不同的反射信息在第一成像数据和第二成像数据中可能是显而易见的。
第一成像数据可以对应于在第一光谱带内执行的成像。第二成像数据可以对应于在第二光谱带内执行的成像。取决于用于获得第一成像数据和第二成像数据的通道之间的光谱重叠,以及第一光谱带与第二光谱带之间的光谱重叠,第一成像数据可以包括或不包括源自第二照明的信息,反之亦然。
本文所描述的成像系统的实施例可以提供确保在第一光谱带内获得的第一成像数据中的大部分强度信息(例如,像素强度值总和的至少50%)源自第一照明的方式。类似地,这类实施例可以提供确保在第二光谱带内获得的第二成像数据中的大部分强度信息(例如,来自图像的像素强度值的总和的至少50%)源自第二照明的方式。
换句话说,寄存在第一成像数据中的总强度信息(例如,第一成像数据内的像素强度值的总和)的至少50%(即,“大部分”)是由被准许进入成像系统中,并且由成像系统的成像设备的像素检测到的第一照明(例如,“红”光)引起的。对应地,寄存在第一成像数据中的总强度信息(例如,第一成像数据内的像素强度值的总和)的小于50%(即,“少数”)是由被准许进入成像系统中,并且由成像系统的成像设备的像素检测到的第二照明(例如,“蓝”光)引起的。对应的逻辑应用于第二成像数据。
根据成像系统在从对象的表面反射之后接收的反射的第一照明和反射的第二照明的偏振状态,第一照明和第二照明被准许经由成像系统的成像系统偏振器进入成像系统中,使得镜面反射和漫反射的第一照明被准许进入成像系统中,并且漫反射的第二照明被准许进入成像系统中。
如下文更详细解释的,入射到(即,指向)对象上的第一照明和第二照明具有特定的初始偏振状态(例如,偏振或非偏振)。在从对象的表面(和/或次表面)反射时,这种偏振状态可能被保留,也可能不被保留。例如,漫反射照明可以为非偏振的(或随机偏振的),而与入射到表面上的照明的偏振状态无关(例如,表面的“粗糙度”可以在反射时至少部分地使偏振状态随机化)。然而,如果入射到表面上的照明最初是偏振的,则镜面反射照明可以至少部分地维持入射到表面上的照明的偏振状态。在镜面反射之后,入射到表面上的非偏振照明可以保持非偏振。然而,在一些情况下,入射到表面上的非偏振照明在反射时可以至少部分地偏振,这取决于入射角。
成像系统被配置成使得镜面反射照明和漫反射照明可或不可被准许进入成像系统中,这取决于其在进入成像系统时(即,在从表面反射之后)的偏振状态。
方法100还包括:在块104,通过比较第一成像数据和第二成像数据来确定关于来自对象的表面的镜面反射的信息。
如上所述,第一成像数据包括关于镜面反射的第一照明和漫反射的第一照明两者的信息。第二成像数据包括关于漫反射的第二照明的信息。镜面反射可以指示表观光泽的水平,而漫反射可以模糊这类镜面反射。通过比较第一成像数据和第二成像数据,因为该比较可将镜面反射信息与漫反射信息解耦合,所以可以确定关于镜面反射的信息,并且因此确定光泽度。
因此,在一些实施例中,关于镜面信息的信息指示对象皮肤的光泽度。光泽度可以通过计算第一成像数据与第二成像数据中的强度信息之间的差异来确定。换句话说,第一成像数据与第二成像数据之间的比较结果对应于对象皮肤的光泽度的度量。
本文所描述的某些实施例可以按相对便宜的方式促进皮肤光泽的可视化(例如,全脸)。例如,诸如配备有包括成像设备的成像系统的智能电话的用户设备可以能够获取第一成像数据和第二成像数据。在一些情况下,可以使用诸如硬件模块(例如,包括偏振器和/或照明系统)的附加设备来便于获得第一成像数据和第二成像数据(例如,取决于其偏振状态来准许第一照明和第二照明,如方法100中所述,和/或提供第一照明和第二照明),该附加设备可耦合到用户设备或与用户设备一起在原位使用。在其他情况下,专用设备可以具有硬件和对应的功能性,以便于获得第一成像数据和第二成像数据,提供第一照明和第二照明和/或确定方法100中涉及的信息。此外,本文所描述的某些实施例可以便于提供皮肤光泽的精确和/或准确测量以及随时间的跟踪/监测。在一些情况下,本文所描述的某些实施例可以提供直接/低复杂度的方式来精确地确定镜面反射信息。例如,本文所描述的某些实施例可以提供一种高度精确的方式来区分成像数据中的镜面反射信息和漫反射信息,潜在地不必在不同时间获取单独的图像和/或不必使用复杂的照明或成像系统设置来获取图像。包括镜面反射信息和漫反射信息两者的光束可以在成像系统中遵循共同的路径/相同的角度,这可以降低复杂性和/或允许镜面反射贡献的更精确的估计。在一些情况下,本文所描述的某些实施例可以对例如通过在成像系统中使用偏振器来测量对象的光泽的问题提供相对低复杂性(且成本效益高)的解决方案,如下所述。
图2示出了根据某些实施例的用于确定关于对象的表面的某些信息的系统200。系统200可以至少部分地实施本文所描述的某些方法,诸如上面的方法100。在一些实施例中,可省略系统200的某些块。
系统200由对象202使用,并且包括成像系统204和照明系统206。成像系统204用来获取方法100中提及的成像数据。照明系统206被配置成提供第一照明206a和第二照明206b。成像系统204和/或照明系统206可以由诸如用户设备的至少一个设备来实施。因此,在一些实施例中,独立的设备可以包括成像系统204和照明系统206,并且在其他实施例中,同一设备可包括成像系统204和照明系统206。
系统200还包括计算机208(例如,包括由用于实施本文所描述的某些方法的设备或服务器或基于云的服务实施的处理电路系统)。因此,计算机208可以通信地耦合到成像系统204和/或照明系统206,以向这些系统发送数据和/或从这些系统接收数据。该数据可以由计算机208的处理电路系统处理和/或存储在存储器中(例如,计算机208的存储器或计算机208的处理电路系统可访问的存储器)。在一些实施例中,计算机208可控制成像系统204和/或照明系统206的操作。在一些实施例中,计算机208包括控制器,控制器用于控制照明参数(例如,用于照明系统206的操作参数)和/或检测参数(例如,用于成像系统204的操作参数),并且存储和/或处理捕获的图像或视频。
如图2所描绘,第一照明206a(实线)和第二照明206b(虚线)两者均由照明系统206指向对象202的表面。入射到对象上的第一照明206a和第二照明206b然后被反射(例如,镜面反射和/或漫反射),使得反射的照明206a、206b中的至少一些被指向成像系统204并进入成像系统204中。如图2所描绘,入射光与反射光之间的角度取决于成像系统204与照明系统206相对于对象202的相应位置。系统200的操作可以不强烈地取决于角度,但是不同的角度可以影响照明206a、206b被镜面反射或漫反射的程度。在一个实施例中,入射角尽可能接近垂直入射(例如,小于10度),但是应理解,取决于成像系统204和照明系统206的配置,可以使用其他范围的角度。
图3示出了根据某些实施例的用于确定关于对象的表面的某些信息的系统300的不同视图(a)和(b)。视图(a)是系统300在包括光学轴线的平面中的侧视图。视图(b)是系统300的某些组件在垂直于光学轴线的平面中的前视图。系统300的特征的组件是示意性的,并且可以按不同于图3所示的任何适当的装置来提供。系统300中与系统200中对应特征具有相同或类似功能性的特征的附图标记增加100。系统300包括系统200的某些对应特征(即,成像系统304、照明系统306和计算机308)。系统300可以至少部分地实施本文所描述的某些方法,诸如方法100。
现在给出成像系统304的描述。
成像系统304包括偏振设备(即,“成像系统偏振器”310)。成像系统偏振器310被配置成准许以下进入成像系统304中:反射的第一照明306a和反射的第二照明306b(即,从对象202的表面反射的),该反射的第一照明306a和反射的第二照明306b具有平行于成像系统偏振器310的偏振轴线的电场分量;以及衰减反射的第一照明306a和衰减反射的第二照明306b,该衰减反射的第一照明306a和衰减反射的第二照明306b具有垂直于偏振轴线的电场分量。在准许进入成像系统304时被衰减的第一照明和第二照明306a、306b可以通过成像系统偏振器310的吸收或反射而被衰减。“偏振轴线”是指被选择用于准许进入成像系统304中的电场矢量方向。例如,如果照明306a、306b的电场矢量平行于偏振轴线,则偏振设备准许该照明306a、306b进入成像系统304中。
如图3所描绘,对于第一照明和第二照明306a、306b两者,成像系统偏振器310的偏振轴线是相同的。因此,在一些情况下,单个或“公共”成像系统偏振器310可以用于控制准许反射的第一照明306a和反射的第二照明306b两者(取决于其偏振)进入成像系统304中。使用公共成像系统偏振器310可以提供简单/低成本的装置来控制反射的第一照明306a和反射的第二照明306b的准许。
在一些情况下,成像系统偏振器310包括诸如偏振滤波器的(线性)偏振设备,如果照明306a、306b包括平行于偏振滤波器的偏振轴线(也可称为“透射轴线”)的非零电场(矢量)分量,则该偏振设备可以允许第一照明306a和第二照明306b(至少部分地)透射。如果照明306a、306b包括垂直于偏振滤波器的透射轴线的非零电场(矢量)分量,则偏振滤波器可以衰减第一照明306a和第二照明306b的透射。
在一些情况下,成像系统偏振器310包括偏振设备,该偏振设备能够取决于入射照明的偏振状态来透射照明或反射照明,诸如偏振分束器(PBS,未示出)。这类偏振设备可以被配置成取决于偏振状态来准许特定偏振状态的照明进入成像系统304中(例如,取决于PBS的配置,可以准许从PBS反射的偏振照明或者可以准许由PBS透射的偏振照明)。在任何情况下,PBS的偏振轴线可以按这类方式取向,以选择哪种偏振状态被准许进入成像系统304。
因此,具有垂直于成像系统偏振器310的偏振轴线的零电场矢量分量(以及平行于偏振轴线的非零分量)的照明306a、306b的一部分被成像系统偏振器310准许进入成像系统304中,而很少有衰减或没有衰减。
然而,具有平行于偏振轴线的零电场矢量分量(以及垂直于偏振轴线的非零分量)的照明306a、306b的一部分被成像系统偏振器310衰减(可能完全衰减)。因此,衰减水平取决于平行于和垂直于成像系统偏振器310的偏振轴线的电场矢量分量的比率。
因此,成像系统偏振器310准许和/或衰减从对象302的表面反射的第一照明306a和第二照明306b这取决于被指向成像系统304中的反射照明306a、306b的偏振状态。
可以在成像系统304与对象302之间定义光学轴线(“z”)。光学轴线也可被称为“成像轴线”。相对于光学轴线z,成像系统偏振器310在由邻近成像系统偏振器310的点所描绘的“x”方向上具有“水平”偏振轴线(其中对应的“y”方向在图3中示出为竖直方向)。因此,在x轴线上具有非零电场分量的照明306a、306b被成像系统偏振器310准许进入成像系统304中,但是它可取决于是否存在垂直于成像系统偏振器310的偏振轴线的非零电场分量而被衰减。提供图3和本公开中其他地方所示的坐标系是为了帮助解释,并且可使用其他坐标系。
在该实施例中,成像系统偏振器310被配置成:根据从对象302的表面反射之后由成像系统304接收的反射的第一照明306a和反射的第二照明306b的偏振状态,准许第一照明306a和第二照明306b进入成像系统304中,使得镜面反射和漫反射的第一照明306a被准许进入成像系统304中,并且漫反射的第二照明306b被准许进入成像系统304中。由成像系统偏振器310准许的照明306a、306b(即,在准许之后)具有垂直于成像系统偏振器310的偏振轴线的零电场分量(假设完全有效的偏振器,这在现实中不太可能)。
在一些实施例中,镜面反射和漫反射的第一照明306a取决于入射在对象302上的反射的第一照明306a的偏振状态而被衰减。例如,如果反射的第一照明306a的偏振状态是随机的,则总反射的第一照明306a的大约50%被准许(另外50%由于吸收或反射而被衰减)。然而,如果反射的第一照明306a不是随机偏振的,则衰减水平可以取决于第一照明306a的偏振状态和偏振轴线之间的角度而变化。结果,第一成像数据可以包括关于镜面反射的第一照明306a和漫反射的第一照明306a两者的信息。
此外,如果镜面反射的第二照明306b具有平行于成像系统偏振器310的偏振轴线的零电场矢量分量,则其可能几乎完全衰减。偏振的第二照明306b(在反射之前)可以具有垂直于成像系统偏振器310的偏振轴线的电场分量。假设偏振状态在反射后被维持(并且基本上不旋转)(即,它不会由于表面粗糙度而随机化),则反射的第二照明306b具有平行于成像系统偏振器310的偏振轴线的零电场分量。因此,在这种情况下,第二照明306b可以基本上被衰减,使得成像系统偏振器310不准许太多或任何第二照明306b进入。在表面粗糙或低光泽的情况下,可以发生第二照明306b的一些漫反射,这至少部分地随机化(最初偏振的)第二照明306b的偏振状态。因此,至少一些漫反射的第二照明306b可以具有与偏振轴线对准的非零电场分量,以允许该漫反射的第二照明306b的至少衰减的准许进入。因此,第二成像数据可以包括关于漫反射的第二照明306b(而不是镜面反射的第二照明306b)的信息。
因此,成像系统偏振器310可以用来准许和/或衰减包括特定偏振状态的照明306a、306b。也就是说,成像系统偏振器310的偏振轴线的取向使得反射的第一照明306a和反射的第二照明306b的某些部分可被准许或衰减,这取决于反射的第一照明306a和反射的第二照明306b的偏振状态。
如上所强调,由于在从不同表面类型反射后反射的第一照明306a和第二照明306b的不同部分的偏振状态被不同程度地修改,反射的第一照明306a和第二照明306b可以具有多个偏振状态。例如,入射在粗糙表面上的偏振的第二照明306b在反射后可以变得随机偏振,而入射在光滑、有光泽的表面上的偏振的第二照明306b在反射后可以基本上维持其偏振状态(即,最初偏振的照明在反射后可保持偏振)。
在一些实施例中,最初未偏振(或随机偏振)的第一照明306a在从粗糙表面反射后可以保持未偏振。在一些实施例中,最初未偏振(或随机偏振)的第一照明306a在从光滑或有光泽的表面反射后可以至少部分地偏振。在一些实施例中,第一照明306a可以用与第二照明306b的偏振状态正交的初始偏振状态来偏振。
因此,在非偏振的第一照明306a和偏振的第二照明306b入射在光滑和/或有光泽的对象302上的情况下,第一成像数据(对应于使用第一照明306a的成像)包括关于镜面反射的第一照明306a和漫反射的第一照明306a两者的信息。第二成像数据(对应于使用第二照明306b的成像)的寄存像素强度水平可以比第一成像数据的寄存像素强度水平低得多(即,暗得多),这是因为准许进入成像系统中的反射的第二照明306b可以由于其平行于成像系统偏振器310的偏振轴线的零或接近零的电场分量而被成像系统偏振器310基本上衰减。
因此,通过计算第一成像数据(包括镜面反射信息和漫反射信息两者)与第二成像数据(包括漫反射信息)之间的差异,可以确定关于镜面反射信息的信息。在上述情况下,由于有光泽的表面,漫反射水平可能较低,并且镜面反射水平相对较高。
在非偏振的第一照明306a和偏振的第二照明306b入射在粗糙的对象302上的情况下,第一成像数据(对应于使用第一照明306a的成像)包括关于镜面反射的第一照明306a和漫反射的第一照明306a两者的信息。第二成像数据(对应于使用第二照明306b的成像)的寄存的像素强度水平可能不是暗的(与先前的情况相反),这是因为准许进入成像系统304中的反射的第二照明306b可能不会被成像系统偏振器310基本上衰减(由于其平行于成像系统偏振器310的偏振轴线的非零电场分量,该非零电场分量是由包括漫反射的反射的第二照明306b产生的,该第二照明306b可以至少部分地被随机偏振)。
因此,通过计算第一成像数据(包括镜面反射信息和漫反射信息两者)与第二成像数据(包括漫反射信息)之间的差异,可确定关于镜面反射信息的信息。在上述情况下,由于粗糙的表面,漫反射水平可能较高,而镜面反射水平相对较低。
因此,第一成像数据和第二成像数据中的像素强度值的比率(或两者之间的差)可以指示来自表面的镜面反射和漫反射的相对量。如果第二成像数据与第一成像数据相比相对“暗”(寄存的像素强度值较低),这可以指示表面有光泽。然而,如果与第一成像数据相比,第二成像数据相对“亮”(与“有光泽”的情况相比,具有相对较高的寄存像素强度值),这可以指示表面粗糙。
在一些情况下,第一成像数据和第二成像数据中的像素强度值之间的比率或差可以提供镜面反射的定量测量。
在一些实施例中,成像系统304包括滤色器阵列312,滤色器阵列312包括(至少一个)第一滤色器和(至少一个)第二滤色器。滤色器阵列312被配置成使得成像系统304的至少一个成像设备314能够获得第一光谱带内的第一成像数据(经由第一滤色器)和第二光谱带内的第二成像数据(经由第二滤色器)。滤色器阵列312可以作为成像设备(一个或多个)314本身的一部分(例如,Bayer滤波器或另一类型的滤波器层)或者作为单独的组件来提供。
在一个实施例中,滤色器阵列312可以与成像设备314的像素(未示出)对准,使得阵列312的每个滤波器“单元”或“通道”与成像设备314的对应像素对准。例如,Bayer滤波器可以包括与成像设备314的像素对准的红色、绿色和蓝色带通滤波器“单元”。因此,成像设备314的一些像素寄存“红”光,一些像素寄存“绿”光,其余像素寄存“蓝”光。在一个实施例中,“红色”像素可以提供第一成像数据,并且“绿色”像素可以提供第二成像数据。在另一个实施例中,“红色”像素可以提供第一成像数据,并且“蓝色”像素可以提供第二成像数据。与像素相关联的颜色的任何其他组合可以提供第一成像数据和第二成像数据。
因此,在一些实施例中,成像系统304包括至少一个成像设备314和滤光器阵列312。滤光器阵列312包括第一滤色器和第二滤色器。滤光器阵列312被配置成将进入成像系统304中的第一光谱带的至少一部分传递给至少一个成像设备314的第一组像素,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明306a。滤光器阵列312还被配置成将进入成像系统304中的第二光谱带的至少一部分传递给至少一个成像设备314的不同的第二组像素,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明306a。
(一个或多个)成像设备314和/或计算机308可以从由(一个或多个)成像设备314获得的原始成像数据中提取与第二成像数据分开的第一成像数据。例如,对应于特定颜色(例如,红色、绿色或蓝色中的一种)的(一个或多个)成像设备314的特定像素可以提供像素强度信息作为第一成像数据的“原始”数据。对应于另一种颜色(例如,红色、绿色或蓝色中的另一种)的(一个或多个)成像设备314的某些其他像素可以提供像素强度信息作为第二成像数据的“原始”数据。
在另一个实施例中,成像系统304包括多个(例如,两个或更多个)成像设备(未示出)。成像设备中的第一个可以接收第一照明,但不接收第二照明(例如,经由包括适当的滤光器的适当的光学装置)。第二成像设备可以接收第二照明,但不接收第一照明。因此,第一成像设备可以提供第一成像数据,而第二成像设备可以提供第二成像数据。
根据上述装置,第一成像数据和第二成像数据可以在相同或重叠的时间段内获得。换句话说,在一些实施例中,在其内获得第一成像数据的时间帧与在其内获得第二成像数据的时间帧至少部分地重叠。这可以发生在以下情况下:与第一成像数据相关联的某些像素(或第一成像设备)在第一时间段内执行成像(例如,获取帧),并且与第二成像数据相关联的某些像素(或第二成像设备)在与第一时间段至少部分地重叠的第二时间段内执行成像。
在另一个实施例中,成像系统304被配置成同时获得第一成像数据和第二成像数据。例如,被配置成测量第一成像数据的强度水平的像素可以与被配置成测量第二成像数据的强度水平的像素同时测量这类强度水平。
通过在重叠的时间段内和/或同时获得第一成像数据和第二成像数据,可以按相对直接和廉价的方式获得用于确定关于镜面反射的信息的成像数据。例如,诸如智能手机的用户设备可以被配置成:通过结合如上所述的用户设备的(一个或多个)成像设备提供成像系统偏振器,以直接的方式获得第一成像数据和第二成像数据。在一些情况下,成像系统偏振器310可以是用户设备本身的组件,或者在其他情况下,可以是单独的组件。
由于对象的表面(例如,用户的面部)可能自愿和/或非自愿地移动,因此在重叠的时间段内获得第一成像数据和第二成像数据和/或同时获得第一成像数据和第二成像数据可以减少确定关于镜面信息的信息时的误差。例如,如果同时获得第一成像数据和第二成像数据,则相同的像素更有可能寄存来自用户面部表面的相同部分的信息。此外,在一些情况下,可以对面部的多个视图进行光泽度测量,以覆盖多个角度。本文所描述的实施例可以便于利用能够同时在光谱上分离第一成像数据和第二成像数据的成像设备拍摄帧序列(例如,视频或图像序列)。
第一照明和第二照明的光谱选通,连同准许进入成像系统304中的照明306a、306b的偏振依赖性,可以允许将第一成像数据与第二成像数据区分开。因此,成像系统304和照明系统306的配置可以提供一种在包括镜面反射信息的反射照明306a、306b与包括漫反射信息的反射照明306a、306b之间容易区分的方式,并且因此确定镜面反射信息。
现在给出照明系统306的描述。
照明系统306包括被配置成提供第一照明306a的第一照明源316(例如,至少一个发光二极管(LED)或其他类型的光源)。在该实施例中,第一照明306a是非偏振的,并且被指向对象302。照明系统306还包括被配置成提供第二照明306b的第二照明源318(例如,至少一个发光二极管(LED)或其他类型的光源)。第二照明306a以类似于第一照明306b的方式被指向对象302。在这点上,第一照明源316和第二照明源318可以彼此相邻或者以任何适当的装置来照射对象302。
照明系统306包括照明系统偏振器320,该偏振器320被配置成偏振指向对象302的第二照明306b。成像系统偏振器310的偏振轴线与照明系统偏振器320的偏振轴线正交(例如,相对于光学轴线)。换句话说,由成像系统偏振器310和照明系统偏振器320准许或透射的偏振状态可以彼此正交(或者两个正交的偏振状态可以表示庞加莱(Poincaré)球上对角相对的点)。如图3所示,成像系统偏振器310具有x方向上的偏振轴线,并且照明系统偏振器320具有y方向上的偏振轴线。
在一些实施例中,照明系统306被配置成将第一照明306a和第二照明306b指向对象302,使得从对象302的表面反射的第一照明306a和第二照明306b的镜面分量和漫射分量两者均被指向成像系统304,以取决于反射的第一照明306a和反射的第二照明306b的偏振状态,准许进入成像系统304。
如上所述,入射角可以取决于配置而变化。在可能的配置中,照明系统306包括邻近成像系统304定位的第一照明源316和第二照明源318,使得入射角尽可能接近竖直入射。在可能的配置中,多个第一照明源316和第二照明源318可以定位在成像系统304周围(例如,同心地围绕成环),使得从多个角度均匀地照射对象302。
在图3所示的实施例中,照明系统306被配置成使得指向对象302的第一照明306a是非偏振的。然而,在一些实施例中,照明系统306包括附加照明系统偏振器(未示出),该附加照明系统偏振器被配置成使指向对象302的第一照明306a偏振,使得入射在对象302上的第一照明306a的偏振状态与入射在对象上的第二照明306b的偏振状态正交。换句话说,附加照明系统偏振器可以使其偏振轴线沿着图3中的x轴线取向。
图4以取决于波长的透射率(%)的曲线图形式(实线)示出了图3的系统300的某些组件的示例光学参数,并且用对应于图3中提及的第一照明源316和第二照明源318的光谱内容的虚线覆盖。图3中提及的特征的附图标号增加100。
在情况#1中,第一照明406a(虚线)包括以650nm(纳米)为中心的第一光谱带中的光谱内容,即朝向光谱的“红色”部件。第一光谱带的半最大全宽光谱宽度约为60nm。图3的滤色器阵列312包括准许/通过第一光谱带的不同“单元”。在图4中,用于准许第一照明406a的光谱准许带由实线412a描绘。光谱准许带主要在光谱的“红”至“红外”部件(例如,在约570至900nm之间)。第一照明406a的第一光谱带与光谱准许带412a基本上重叠。因此,对应于光谱准许带412a的图3的滤色器阵列312中的单元准许第一照明406a,使得第一照明406a被对应的像素检测到(例如,以减少在其他光谱带中检测照明)。
第二照明406b(虚线)包括以450nm为中心的第二光谱带中的光谱内容,即朝向光谱的“蓝色”部件。第二光谱带的半最大全宽光谱宽度约为50nm。用于准许第二照明406b的光谱准许带由实线412b描绘。光谱准许带主要在光谱的“较蓝”部件(例如,在<400至550nm之间)。第二照明406b的第二光谱带与光谱准许带412b基本上重叠。因此,对应于光谱准许带412b的图3的滤色器阵列312中的单元准许第二照明406b,使得第二照明406b被对应的像素检测到(例如,以减少在诸如第一照明406a的其他光谱带中检测照明)。
在图4的情况#2中,第一照明406a和光谱准许带412a与情况#1相同。然而,第二照明406b(虚线)包括以530nm为中心的第二光谱带中的光谱内容,即包括光谱的“绿色”部件。第二光谱带的半最大全宽光谱宽度约为50nm。用于准许第二照明406b的光谱准许带由实线412b描绘。光谱准许带主要在光谱的“绿色”部件(例如,在约450至610nm之间)。第二照明406b的第二光谱带与光谱准许带412b基本上重叠。因此,对应于光谱准许带412b的图3的滤色器阵列312中的单元准许第二照明406b,使得第二照明406b被对应的像素检测到(以减少在诸如第一照明406a的其他光谱带中检测照明)。
情况#2强调了在光谱准许带和/或第一照明406a和第二照明406b之间如何可以存在一定程度的光谱重叠,假设存在如下所述的足够的光谱区别。
如果每个照明源316、318的波长带(例如,间隔)具有以下,则可以获得光谱区别:1)与成像系统304的相关通道的光谱灵敏度基本上光谱重叠(例如,照明406a、406b的光谱内容与对应的光谱准许带412a、412b基本上重叠)(例如,红色光源可以具有相关联的红色检测通道);以及2)与(一个或多个)非相关联的通道的光谱灵敏度的最小光谱重叠。换句话说,在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明406a。类似地,在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明406b。在某种程度上,在情况#1中,尤其是在情况#2中,通道之间可能存在一些“泄漏”。然而,由于上述的光谱区别,大部分像素强度信息很可能源自正确的通道。
情况#1是指可以被视为在第一照明源406a与由光谱准许带412a定义的对应检测通道之间具有理想重叠(例如,重叠被测量为曲线下的重叠面积与照明源光谱的面积的比率)的情形。这同样适用于第二照明源406b与由光谱准许带412b定义的对应检测通道。在此,第一照明406a和第二照明406b与非相关联的检测通道(例如,分别为第二光谱准许带412b和第一光谱准许带412a)之间的光谱重叠最小,例如,总光谱宽度的<10%被重叠。可观察到,第一照明406a和第二照明406b与非相关联的检测通道光谱之间的光谱重叠大致等于所计算的镜面反射中的误差。在情况#2中,与情况#1相比,可以存在更大程度的重叠,但是存在足够的光谱区别来便于光谱选通操作。
第一照明406a和第二照明406b中的每一者的(一个或多个)波长的选择一般是不相关的,除非适合于(一个或多个)相关联的检测通道的波长检测范围。例如,可以选择另一种配置,而不是如上述情况#1和#2中那样使第一照明406a包括光谱的红色部件,并且第二照明406b包括光谱的蓝色或绿色部件。例如,第一照明406a可以包括光谱的蓝色或绿色部件,并且第二照明406b可以包括光谱的绿色或红色部件。此外,不可见照明源(例如紫外线或红外线)可以用于照明源中的至少一个。
因此,也参考图3,在一些实施例中,照明系统306可以包括第一照明单元(例如,第一照明源316),第一照明单元用于提供光照明(例如,指向对象302的面部)。第一照明单元通过在第一光谱发射带发射来提供第一照明406a。第一光谱发射带被选择为与成像单元(例如,成像系统304)的第一光谱检测带基本上重叠。
照明系统306可以包括第二照明单元(例如,第二照明源318),第二照明单元用于提供线性偏振光(照明)(例如,指向对象302的面部)。第二照明单元通过在第二光谱发射带发射来提供第二照明406b。第二光谱发射带被选择为与成像单元的第二光谱检测带基本上重叠。
与第二照明单元相关联的第一线性偏振滤波器(例如,照明系统偏振器320)垂直于准许进入成像单元中的光的偏振轴线取向。
成像单元包括第二线性偏振滤波器(例如,成像系统偏振器310)。成像单元被配置成准许至少两个光谱探测带。成像单元被配置成捕获(例如,成像)从对象302的表面(例如,面部)反射的第二照明406b的漫反射率。成像单元还被配置成捕获由同一对象的表面反射的第一照明406a的总(例如,漫反射和镜面反射)反射率。照明406a、406b的波长和带宽结合与成像单元相关联的光谱检测带来决定。
可以提供控制单元(例如,计算机308)来控制照明和检测参数,并且存储和/或处理捕获的原始(RAW)Bayer图像或视频(例如,接收第一成像数据和第二成像数据,并且确定关于镜面反射的信息)。如上所述,镜面反射可以从原始Bayer图像数据的两个独立通道中提取。
图5是根据一个实施例的确定关于对象的表面的某些信息的方法的表示的示意图。参考图3的特征,类似特征的附图标号增加200。该表示示出了通过由上述规程获得的成像数据(由图像指示)。
根据图5,在平行的“P”图像中示出了关于镜面反射和漫反射的信息,这源自所准许的第一照明306a。在十字“C”图像中示出了关于漫反射的信息,这源自所准许的第二照明306b。总强度由“P+C”图像示出。“P”与“C”图像之间的差异由“P-C”图像示出。因此,“P-C”图像对应于镜面反射图像。每个图像均是通过对与滤色器阵列512相关的对应像素所准许的各个通道(即,红色、蓝色或绿色)进行“de-Bayering”或提取而得到的。图5还示出了在镜面反射图像的不同角度获得的一系列帧。获得每个帧的过程相对简单(例如,在一些情况下,在每个角度获取一个帧,并且只需要一个帧来提取镜面反射信息)。
一些商业彩色相机(诸如移动电话的彩色相机)具有内置的Bayer滤波器(例如,包括2个绿色、红色和蓝色子滤波器)。通过利用本文所描述的光谱选通规程和正交偏振器的偏振选通,可以同时获得面部的交叉偏振图像和平行偏振图像,而没有任何运动伪影。因此,可以同时获得交叉偏振图像和平行偏振图像,这可降低成本和/或复杂性,并且容许快速获取和处理帧,例如,对于不同角度的多个帧。
由于皮肤的散射和反射属性,彩色相机和多个照明源(其中至少一个是偏振的)的组合在Bayer光谱中具有较少的重叠。这种装置可以提供两个图像(例如,对应于第一成像数据和第二成像数据),其中一个包括镜面反射,而另一个没有任何镜面反射(即,取而代之的是漫反射)。
由于皮肤的不同吸收、散射和偏振属性(以及由照明系统306提供的第一照明306a和第二照明306b的不同强度),两个图像中记录的强度可以不同。光泽度测量的灵敏度可以通过利用Bayer滤波器(或其他类型的滤色器阵列512或其他光学装置)和皮肤的镜面反射光谱的现有知识选择适当的光波长来改善。
另外,本文所描述的某些方法可以通过分析“P-C”图像中的像素强度信息的直方图来扩展,以定量测量例如个人护理制度后的油性减少等。例如,峰值朝向较高像素强度值的P-C图像直方图可以指示大量镜面反射,而像素强度值的更均匀分布(或者峰值朝向较低像素强度值)可以指示最小的镜面反射。
图6示出了确定关于对象的表面(例如,用户的皮肤)的某些信息的方法600(例如,计算机实施的方法)。方法600可以由诸如用户设备的计算机或者服务器或基于云的服务(例如,通信地耦合到用户设备)来实施。用户设备的示例包括智能设备,诸如智能手机、平板电脑、智能镜子或能够处理成像数据的任何其他设备,如下所述。在下面的描述中参考图3。
方法600包括方法100的块102和104。方法600还包括:在块602,从由至少一个成像设备314获得的原始成像数据中提取与第二成像数据分开的第一成像数据。块602在块102之前实施。
图7示出了存储指令702的有形机器可读介质700,当指令702在由处理电路系统(例如,至少一个处理器)704实行时,使处理电路系统704实施本文所描述的某些方法,诸如方法100、方法600和/或相关实施例。
图8示出了装置800,其可以用于实施本文所描述的某些方法,诸如方法100、方法600和/或相关实施例。装置800可以包括具有对应于关于图2的系统200描述的某些特征的功能性的模块,诸如其计算机208。装置800包括处理电路系统802。
处理电路系统802包括接收模块804,接收模块804被配置成接收由对象202的成像系统204获得的第一成像数据和第二成像数据。对象202由第一光谱带中的第一照明206a和第二光谱带中的第二照明206b照射,第二光谱带包括与第一光谱带不同的光谱内容。入射到对象上的第二照明206a是偏振的。
由于成像系统204的第一滤色器准许第一光谱带的至少一部分进入成像系统中,并且阻止准许第二光谱带的至少一部分进入成像系统中,因此在第一光谱带内获得接收的第一成像数据,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明206a。
由于成像系统204的第二滤色器准许第二光谱带的至少一部分进入成像系统中,并且阻止准许第一光谱带的至少一部分进入成像系统中,因此在第二光谱带内获得接收的第二成像数据,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明206b。
根据成像系统在从对象的表面反射之后接收的反射的第一照明和反射的第二照明的偏振状态,第一照明和第二照明被准许经由成像系统204的成像系统偏振器310进入成像系统204中,使得镜面反射和漫反射的第一照明206a被准许进入成像系统204中,并且漫反射的第二照明206b被准许进入成像系统204中。
处理电路系统802还包括确定模块806,该确定模块806被配置成通过比较第一成像数据和第二成像数据来确定关于来自对象202的表面的镜面反射的信息。
在一些实施例中,装置800还包括成像系统204。在一些实施例中,装置800还包括被配置成提供第一照明206a和第二照明206b的照明系统206。
在一些实施例中,确定模块806被配置成基于第一成像数据与第二成像数据之间的比较来确定对象的皮肤的光泽度的度量。
在一些情况下,上述模块(例如,接收模块804和/或确定模块806)中的任一者可以包括至少一个专用处理器(例如,专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等),用于实施模块的功能性。
在一些情况下,上述模块(例如,接收模块804和/或确定模块806)可以包括至少一个处理器,用于实施促使该至少一个处理器实施上述模块的功能性的指令。在这类示例中,指令可以存储在至少一个处理器可访问的机器可读介质(未示出)中。在一些示例中,模块本身包括机器可读介质。在一些示例中,机器可读介质可与模块本身分离(例如,模块的至少一个处理器可被提供为与机器可读介质通信以访问存储在其中的指令)。
尽管某些方法被描述为计算机实施的,但是在一些情况下,这类方法可指成像方法。在这类成像方法中,照明系统和/或成像系统可用作成像方法的一部分,以便允许获得第一成像数据和第二成像数据(用于实施计算机实施的方法)。类似地,在一些情况下,用于实施这类计算机实施的方法的任何装置可以还包括照明系统和/或成像系统,以便允许获得第一成像数据和第二成像数据。
本公开包括由以下编号段落所定义的主题。
段落1.一种计算机实施的方法,包括:
接收由对象的成像系统获得的成像数据,该对象由第一光谱带中的第一照明和第二光谱带中的第二照明照射,该第二光谱带包括与第一光谱带不同的光谱内容,其中入射到对象上的第二照明是偏振的,并且其中成像系统被配置成:
通过准许第一光谱带的至少一部分进入成像系统中并且阻止准许第二光谱带的至少一部分进入成像系统中,在第一光谱带内获得第一成像数据,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明;
通过准许第二光谱带的至少一部分进入成像系统中并且阻止准许第一光谱带的至少一部分进入成像系统中,在第二光谱带内获得第二成像数据,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明;和
根据从对象的表面反射后由成像系统接收的反射的第一照明和第二照明的偏振状态,准许第一照明和第二照明进入成像系统中,使得镜面反射和漫反射的第一照明被准许进入成像系统中,并且漫反射的第二照明被准许进入成像系统中;以及
通过比较第一成像数据和第二成像数据来确定关于来自对象的表面的镜面反射的信息。
段落2.根据段落1的方法,其中在其内获得第一成像数据的时间帧与在其内获得第二成像数据的时间帧至少部分地重叠。
段落3.根据段落2的方法,其中成像系统被配置成同时获得第一成像数据和第二成像数据。
段落4.根据段落1至3中任一项的方法,其中成像系统包括成像系统偏振器,该成像系统偏振器被配置成准许以下进入成像系统中:反射的第一照明和反射的第二照明,具有平行于成像系统偏振器的偏振轴线的电场分量;以及衰减反射的第一照明和衰减反射的第二照明,具有垂直于偏振轴线的电场分量。
段落5.根据段落1至4中任一项的方法,其中关于镜面信息的信息指示对象的皮肤的光泽度,并且其中通过计算第一成像数据与第二成像数据中的强度信息之间的差异来确定光泽度。
段落6.根据段落1至5中任一项的方法,其中成像系统包括滤色器阵列,该滤色器阵列被配置成使得成像系统的至少一个成像设备能够获得第一光谱带内的第一成像数据和第二光谱带内的第二成像数据,该方法还包括:从由至少一个成像设备获得的原始成像数据中提取与第二成像数据分开的第一成像数据。
段落7.一种有形机器可读介质,包括指令,该指令在由处理电路系统执行时,使处理电路系统实现段落1至6中任一项的方法。
段落8.一种装置,包括处理电路系统,该处理电路系统包括:
接收模块,被配置成接收由对象的成像系统获得的成像数据,该对象由第一光谱带中的第一照明和第二光谱带中的第二照明照射,该第二光谱带包括与第一光谱带不同的光谱内容,其中入射到对象上的第二照明是偏振的,并且其中成像系统被配置成:
通过准许第一光谱带的至少一部分进入成像系统中并且阻止准许第二光谱带的至少一部分进入成像系统中,获得第一光谱带内的第一成像数据,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明;
通过准许第二光谱带的至少一部分进入成像系统中并且阻止准许第一光谱带的至少一部分进入成像系统中,获得第二光谱带内的第二成像数据,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明;和
根据从对象的表面反射后由成像系统接收的反射的第一照明和反射的第二照明的偏振状态,准许第一照明和第二照明进入成像系统中,使得镜面反射和漫反射的第一照明被准许进入成像系统中,并且漫反射的第二照明被准许进入成像系统中;以及
确定模块,被配置成通过比较第一成像数据和第二成像数据来确定关于来自对象的表面的镜面反射的信息。
段落9.根据段落8的装置,其中第一成像数据与第二成像数据之间的比较结果对应于对象的皮肤的光泽度的度量。
段落10.根据段落8至9中任一项的装置,其中该装置还包括成像系统和/或照明系统,照明系统被配置成提供第一照明和第二照明。
段落11.根据段落10的装置,其中成像系统包括成像系统偏振器,该成像系统偏振器被配置成准许以下进入成像系统中:反射的第一照明和反射的第二照明,具有平行于成像系统偏振器的偏振轴线的电场分量;以及阻止准许以下进入成像系统中:反射的第一照明和反射的第二照明,具有垂直于偏振轴线的电场分量。
段落12.根据段落11的装置,其中照明系统包括照明系统偏振器,该照明系统偏振器被配置成使指向对象的第二照明偏振,其中成像系统偏振器的偏振轴线与照明系统偏振器的偏振轴线正交。
段落13.根据段落10至12中任一项的装置,其中照明系统被配置成使得指向对象的第一照明是非偏振的,或者照明系统包括附加照明系统偏振器,该附加照明系统偏振器被配置成偏振指向对象的第一照明,使得指向对象的第一照明的偏振状态与指向对象的第二照明的偏振状态正交。
段落14.根据段落10至13中任一项的装置,其中照明系统被配置成将第一照明和第二照明指向对象,使得从对象的表面反射的第一照明和第二照明的镜面分量和漫射分量两者均被指向成像系统,以根据反射的第一照明和反射的第二照明的偏振状态,准许进入成像系统中。
段落15.根据段落10至14中任一项的装置,其中成像系统包括至少一个成像设备和滤光器阵列,其中滤光器阵列被配置成:
将进入成像系统中的第一光谱带的至少一部分传递给至少一个成像设备的第一组像素,使得在第一光谱带内获得的第一成像数据中的大部分强度信息源自第一照明;以及
将进入成像系统中的第二光谱带的至少一部分传递给至少一个成像设备的不同的第二组像素,使得在第二光谱带内获得的第二成像数据中的大部分强度信息源自第二照明。
虽然在附图和前面的描述中已经详细说明和描述了本发明,但是这类说明和描述被认为是说明性的或示例性的,而不是限制性的;本发明不限于所公开的实施例。
在一个实施例中描述的一个或多个特征可与在另一个实施例中所描述的特征相结合或替换。例如,图1和图6的方法100、600可基于关于图2和图3的系统200、300、机器可读介质700和/或装置800描述的特征来修改,反之亦然。
本公开中的实施例可作为方法、系统或者作为机器可读指令和处理电路系统的组合来提供。这类机器可读指令可被包括在其中或其上具有计算机可读程序代码的非暂时性机器(例如,计算机)可读存储介质(包括但不限于盘存储件、CD-ROM、光存储件等)上。
参考根据本公开的实施例的方法、设备和系统的流程图和块图来描述本公开。尽管上述流程图示出了特定的实行顺序,但是实行顺序可不同于所描绘的顺序。关于一个流程图描述的块可与另一个流程图的块相结合。应理解,流程图和/或块图中的每个块以及流程图和/或块图中的块的组合可通过机器可读指令来实现。
机器可读指令可例如由通用计算机、专用计算机、嵌入式处理器或其他可编程数据处理设备的处理器来实行,以实施说明书和附图中描述的功能。具体而言,处理器或处理电路系统或其模块可实行机器可读指令。因此,计算机208、计算机308和/或装置800(例如,接收模块804和/或确定模块806)以及本文所描述的其他设备的功能性模块可由实行存储在存储器中的机器可读指令的处理器或者根据嵌入逻辑电路装置中的指令操作的处理器来实施。术语“处理器(processor)”将被广义地解释为包括CPU、处理单元、ASIC、逻辑单元或可编程门阵列等。这些方法和功能性模块可全部由单个处理器执行,或者在若干个处理器之间划分。
这类机器可读指令也可存储在计算机可读存储件中,该计算机可读存储件可引导计算机或其他可编程数据处理设备在特定模式下操作。
这类机器可读指令也可加载到计算机或其他可编程数据处理设备上,使得计算机或其他可编程数据处理设备执行一系列操作以产生计算机实施的处理,因此在计算机或其他可编程设备上实行的指令实现由流程图和/或块图中的块(一个或多个)指定的功能。
此外,本文中的教导可按计算机程序产品的形式实施,该计算机程序产品存储在存储介质中,并且包括用于使计算机设备实施本公开的实施例中所列举的方法的多个指令。
关于一个实施例描述的元件或步骤可与关于另一个实施例描述的元件或步骤相结合或者由其替换。通过对附图、本公开和所附权利要求的研究,本领域技术人员在实践所要求保护的发明时可理解和实现对所公开的实施例的其他变型。在权利要求中,词语“包括(comprising)”不排除其他元件或步骤,并且不定冠词“一(a)”或“一个(an)”不排除复数。单个处理器或其他单元可实现权利要求中列举的若干个项目的功能。在相互不同的从属权利要求中列举某些措施的事实并不指示这些措施的组合不能用于有利的目的。计算机程序可存储或分布在合适的介质上,诸如与其他硬件一起提供或作为其他硬件的一部分的光学存储介质或固态介质,但是也可按其他形式分布,诸如经由互联网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。
Claims (15)
1.一种计算机实施的方法(100),包括:
接收(102)由对象(202)的成像系统(204)获得的第一成像数据和第二成像数据,所述对象(202)由第一光谱带中的第一照明(206a)和第二光谱带中的第二照明(206b)照射,所述第二光谱带包括与所述第一光谱带不同的光谱内容,其中入射到所述对象上的所述第二照明是偏振的,并且其中:
由于所述成像系统的第一滤色器准许所述第一光谱带的至少一部分进入所述成像系统中并且阻止准许所述第二光谱带的至少一部分进入所述成像系统中,因此在所述第一光谱带内获得接收的所述第一成像数据,使得在所述第一光谱带内获得的所述第一成像数据中的大部分强度信息源自所述第一照明;
由于所述成像系统的第二滤色器准许所述第二光谱带的至少一部分进入所述成像系统中并且阻止准许所述第一光谱带的至少一部分进入所述成像系统中,因此在所述第二光谱带内获得接收的所述第二成像数据,使得在所述第二光谱带内获得的所述第二成像数据中的大部分强度信息源自所述第二照明;和
根据在从所述对象的表面反射之后由所述成像系统接收的反射的第一照明和反射的第二照明的偏振状态,所述第一照明和所述第二照明被准许经由所述成像系统的成像系统偏振器(310)进入所述成像系统中,使得镜面反射和漫反射的第一照明被准许进入所述成像系统中,并且漫反射的第二照明被准许进入所述成像系统中;以及
通过比较所述第一成像数据和所述第二成像数据来确定(104)关于来自所述对象的所述表面的镜面反射的信息。
2.根据权利要求1所述的方法,其中在其内获得所述第一成像数据的时间帧与在其内获得所述第二成像数据的时间帧至少部分地重叠。
3.根据权利要求2所述的方法,其中所述第一成像数据和所述第二成像数据是同时获得的。
4.根据权利要求1至3中任一项所述的方法,其中所述成像系统偏振器被配置成准许以下进入所述成像系统中:反射的第一照明(306a)和反射的第二照明(306b),具有平行于所述成像系统偏振器的偏振轴线的电场分量;以及衰减反射的第一照明和衰减反射的第二照明,具有垂直于所述偏振轴线的电场分量。
5.根据权利要求1至4中任一项所述的方法,其中关于镜面信息的所述信息指示所述对象的皮肤的光泽度,并且其中通过计算所述第一成像数据与所述第二成像数据中的强度信息之间的差异来确定所述光泽度。
6.根据权利要求1至5中任一项所述的方法(600),其中所述第一滤色器和所述第二滤色器是滤色器阵列(312)的一部分,所述滤色器阵列被配置成使得所述成像系统的至少一个成像设备(314)能够获得所述第一光谱带内的所述第一成像数据和所述第二光谱带内的所述第二成像数据,所述方法另外包括:从由所述至少一个成像设备获得的原始成像数据中提取(602)与所述第二成像数据分开的所述第一成像数据。
7.一种有形机器可读介质(700),包括指令(702),所述指令在由处理电路系统(704)执行时,使所述处理电路系统实现权利要求1至6中任一项所述的方法。
8.一种装置(208、800),包括处理电路系统(802),所述处理电路系统包括:
接收模块(804),被配置成接收(102)由对象(202)的成像系统(204)获得的第一成像数据和第二成像数据,所述对象(202)由第一光谱带中的第一照明(206a)和第二光谱带中的第二照明(206b)照射,所述第二光谱带包括与所述第一光谱带不同的光谱内容,其中入射到所述对象上的所述第二照明是偏振的,并且其中:
由于所述成像系统的第一滤色器准许所述第一光谱带的至少一部分进入所述成像系统中并且阻止准许所述第二光谱带的至少一部分进入所述成像系统中,因此在所述第一光谱带内获得接收的所述第一成像数据,使得在所述第一光谱带内获得的所述第一成像数据中的大部分强度信息源自所述第一照明;
由于所述成像系统的第二滤色器准许所述第二光谱带的至少一部分进入所述成像系统中并且阻止准许所述第一光谱带的至少一部分进入所述成像系统中,因此在所述第二光谱带内获得接收的所述第二成像数据,使得在所述第二光谱带内获得的所述第二成像数据中的大部分强度信息源自所述第二照明;和
根据在从所述对象的表面反射之后由所述成像系统接收的反射的第一照明和反射的第二照明的偏振状态,所述第一照明和所述第二照明被准许经由所述成像系统的成像系统偏振器(310)进入所述成像系统中,使得镜面反射和漫反射的第一照明被准许进入所述成像系统中,并且漫反射的第二照明被准许进入所述成像系统中;以及
确定模块(806),被配置成通过比较所述第一成像数据和所述第二成像数据来确定(104)关于来自所述对象的所述表面的镜面反射的信息。
9.根据权利要求8所述的装置,其中所述确定模块被配置成基于所述第一成像数据与所述第二成像数据之间的比较来确定所述对象的皮肤的光泽度的度量。
10.根据权利要求8至9中任一项所述的装置,其中所述装置另外包括成像系统(204)和/或照明系统(206),所述照明系统(206)被配置成提供所述第一照明(206a)和所述第二照明(206b)。
11.根据权利要求10所述的装置,其中所述成像系统偏振器(310)被配置成准许以下进入所述成像系统中:反射的第一照明(306a)和反射的第二照明(306b),具有平行于所述成像系统偏振器的偏振轴线的电场分量;以及阻止准许以下进入所述成像系统中:反射的第一照明和反射的第二照明,具有垂直于所述偏振轴线的电场分量。
12.根据权利要求11所述的装置,其中所述照明系统包括照明系统偏振器(320),所述照明系统偏振器被配置成使指向所述对象的所述第二照明偏振,其中所述成像系统偏振器的偏振轴线与所述照明系统偏振器的所述偏振轴线正交。
13.根据权利要求10至12中任一项所述的装置,其中所述照明系统被配置成使得指向所述对象的所述第一照明是非偏振的,或者所述照明系统包括附加照明系统偏振器,所述附加照明系统偏振器被配置成使指向所述对象的所述第一照明偏振,使得指向所述对象的所述第一照明的所述偏振状态与指向所述对象的所述第二照明的所述偏振状态正交。
14.根据权利要求10至13中任一项所述的装置,其中所述照明系统被配置成将所述第一照明和所述第二照明指向所述对象,使得从所述对象的所述表面反射的所述第一照明和所述第二照明的镜面分量和漫射分量两者均被指向所述成像系统,以根据所述反射的第一照明和所述反射的第二照明的所述偏振状态,准许进入所述成像系统中。
15.根据权利要求10至14中任一项所述的装置,其中所述成像系统(304)包括至少一个成像设备(314)和滤光器阵列(312),其中所述滤光器阵列包括所述第一滤色器和所述第二滤色器,并且其中所述滤光器阵列被配置成:
将进入所述成像系统中的所述第一光谱带的至少一部分传递给所述至少一个成像设备的第一组像素,使得在所述第一光谱带内获得的所述第一成像数据中的所述大部分强度信息源自所述第一照明;以及
将进入所述成像系统中的所述第二光谱带的至少一部分传递给所述至少一个成像设备的不同的第二组像素,使得在所述第二光谱带内获得的所述第二成像数据中的所述大部分强度信息源自所述第二照明。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21178495.4 | 2021-06-09 | ||
EP21178495.4A EP4101368A1 (en) | 2021-06-09 | 2021-06-09 | Determining specular reflection information |
PCT/EP2022/065054 WO2022258484A1 (en) | 2021-06-09 | 2022-06-02 | Determining specular reflection information |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117479879A true CN117479879A (zh) | 2024-01-30 |
Family
ID=76355378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280041513.XA Pending CN117479879A (zh) | 2021-06-09 | 2022-06-02 | 确定镜面反射信息 |
Country Status (4)
Country | Link |
---|---|
EP (2) | EP4101368A1 (zh) |
JP (1) | JP2024522014A (zh) |
CN (1) | CN117479879A (zh) |
WO (1) | WO2022258484A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103460024B (zh) * | 2012-02-03 | 2017-09-22 | 松下知识产权经营株式会社 | 摄像装置和摄像系统 |
EP2918217B1 (en) * | 2012-11-09 | 2019-03-06 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device and endoscope |
JP6107537B2 (ja) * | 2013-08-27 | 2017-04-05 | ソニー株式会社 | 撮像システムおよびその画像処理方法、画像処理装置およびその画像処理方法、並びに、プログラム |
EP3545822A1 (en) * | 2018-03-27 | 2019-10-02 | Koninklijke Philips N.V. | Device, system and method for determining at least one vital sign of a subject |
-
2021
- 2021-06-09 EP EP21178495.4A patent/EP4101368A1/en not_active Withdrawn
-
2022
- 2022-06-02 CN CN202280041513.XA patent/CN117479879A/zh active Pending
- 2022-06-02 JP JP2023575417A patent/JP2024522014A/ja active Pending
- 2022-06-02 WO PCT/EP2022/065054 patent/WO2022258484A1/en active Application Filing
- 2022-06-02 EP EP22731635.3A patent/EP4351404A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022258484A1 (en) | 2022-12-15 |
EP4351404A1 (en) | 2024-04-17 |
EP4101368A1 (en) | 2022-12-14 |
JP2024522014A (ja) | 2024-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9517029B2 (en) | Image processing device, image processing method, image processing system, program, and recording medium | |
USRE47921E1 (en) | Reflectance imaging and analysis for evaluating tissue pigmentation | |
US9953237B2 (en) | Gloss determination device and gloss determination method | |
US11710289B2 (en) | Information processing apparatus, information processing system, and material identification method | |
JP4872399B2 (ja) | 偽造指紋判別機能を備えた指紋像入力装置 | |
CA2593007A1 (en) | Biometric recognition/verification using multispectral imaging | |
JP2017516208A5 (zh) | ||
US20200082159A1 (en) | Polarization Imaging for Facial Recognition Enhancement System and Method | |
US20090043363A1 (en) | Method and apparatus for measuring skin texture | |
WO2009097618A1 (en) | Practical modeling and acquisition layered facial reflectance | |
US20210038144A1 (en) | Skin evaluation device, skin evaluation system, skin evaluation method, and non-transitory computer-readable recording medium storing program for skin evaluation | |
JP2020516879A (ja) | 皮膚光沢の定量的推定のための皮膚光沢測定 | |
Atkinson et al. | High-sensitivity analysis of polarization by surface reflection | |
US20190113670A1 (en) | Method and system for optical imaging using point source illumination | |
JP2010503079A (ja) | ロバストな指紋取得のためのシステムおよび装置 | |
Matsubara | Differences in the surface and subsurface reflection characteristics of facial skin by age group | |
WO2018142692A1 (ja) | 撮像装置、および画像処理装置 | |
FR3021783A1 (fr) | Procede de validation de l'authenticite d'un element du corps humain | |
CN117479879A (zh) | 确定镜面反射信息 | |
EP3471016B1 (fr) | Procédé de détection d'une présence d'une partie corporelle porteuse d'une empreinte digitale sur un capteur d empreintes digitales | |
Kikuchi et al. | Age‐related changes in surface reflection, diffuse reflection, and subsurface scattering light of facial skin: luminance value measured by the system for the optical properties of facial skin | |
Wang et al. | Illumination scheme for high-contrast contactless fingerprint images | |
Ohtsuki et al. | Appearance analysis of human skin with cosmetic foundation | |
WO2021229984A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
Lu et al. | Spatial variant gloss measurement of dielectric material based on a polarized |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |