CN115136577A

CN115136577A - 确定成像中的像素强度值

Info

Publication number: CN115136577A
Application number: CN202180015901.6A
Authority: CN
Inventors: M·达莫达兰; V·里科; Y·P·J·鲍尔奎因; J·A·帕勒洛
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2020-02-20
Filing date: 2021-02-03
Publication date: 2022-09-30
Also published as: EP3869781A1; JP2023506590A; WO2021165035A1; EP4107936B1; EP4107936A1; US20230089886A1; JP7310030B2; US11812167B2

Abstract

在一个实施例中，描述了一种方法(100)。该方法包含访问(102)来自对象的图像的序列的数据，该对象被环境光和具有时间上的正弦强度调制的照明照射。成像设备用于获取图像的序列，并且被配置为使得不同的空间强度调制图案在该序列的连续图像中是明显的。该方法进一步包含基于图像的序列中的每个图像中的一组测量像素强度值来确定(104)用于生成对象的修正图像的一组修正像素强度值，使得与图像的序列中的至少一个图像中明显的环境光照的水平相比，在修正图像中降低的环境光照的水平是明显的。

Description

确定成像中的像素强度值

技术领域

本发明涉及用于在某些情景中成像的方法、装置和有形机器可读介质。

背景技术

非侵入式测量和监测领域中的感兴趣主题涉及用于个人护理和健康应用的皮肤感测。正在开发皮肤感测系统，其承诺对皮肤进行量化并对皮肤特征进行监测，这可为用户提供太小而无法检测的信息、太微弱而无法注意的信息或太慢而无法跟随的信息。为了提供用户可接受的结果，这类皮肤感测系统可能需要在执行皮肤感测时提供灵敏度和特异性。假设由这类皮肤感测系统进行的测量被证明是鲁棒和可靠的，用户可建立对这些皮肤感测系统的信任。

基于成像的皮肤感测系统可能需要确定可能受诸如环境照明变化之类的难以控制的参数影响的信息。例如，诸如用户家中之类的一些不受控制的环境可能具有未定义的和/或可能变化的环境照明。这类不受控制的环境可能导致对用户皮肤的错误测量，这继而可能导致用户不可接受的或不信任的结果。在一些基于成像的皮肤感测系统中使用的一些相机(诸如智能电话相机)的成像性能可能是变化的，从而使得成像数据不可预测或不可靠。

用于从皮肤之外的表面采集信息的其它基于成像的感测系统的性能也可能受到某些不受控制的环境的不利影响。例如，在不受控制的环境中希望采集物体的图像以供特定应用的用户可能发现该图像可能具有不可接受的照明变化，这可影响图像被感知或随后被处理的方式。

发明内容

本文所描述的方面或实施例涉及改进某些情景中的成像。本文所描述的方面或实施例可消除与在不受控制的环境中的成像相关联的一个或多个问题。

在第一方面，描述了一种方法。该方法是计算机实现的方法。该方法包括访问来自对象的图像的序列的数据，该对象被环境光照和具有时间上的正弦强度调制的照明照射。图像的序列由成像设备获取。成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。该方法进一步包括基于在图像的序列中的每个图像中的一组测量像素强度值来确定用于生成对象的修正图像的一组修正像素强度值，使得与在图像的序列中的至少一个图像中明显的环境光照的水平相比，在修正图像中降低的环境光照的水平是明显的。

在第二方面，描述了一种方法。该方法是计算机实现的方法。该方法包括访问来自对象的图像的序列(例如，由成像设备获取的)的数据，该对象被具有时间上的正弦强度调制的照明照射。成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。该方法进一步包括基于图像的序列中的每个图像中的空间强度调制图案来确定对象的图像的估计强度分布，以减少图像中的环境光照变化。

下文描述涉及第一或第二方面的某些实施例。

在一些实施例中，确定该组修正像素强度值，使得：与图像的序列中的至少一个图像相比，修正图像中的环境光照水平和空间强度调制图案的调制深度两者均降低。

在一些实施例中，确定该组修正像素强度值包括：针对该组的每个像素，计算该像素来自图像的序列中的每个图像的测量像素强度值的指定组合。基于照明的正弦强度调制来确定指定组合。

在一些实施例中，确定修正图像的该组修正像素强度值或估计强度分布是基于来自图像的序列的三个或四个连续图像。

在一些实施例中，确定图像的该组修正像素强度值或估计强度分布是基于来自图像的序列的三个连续图像，其中图像的序列中的第一和第四连续图像的空间强度调制图案是相同的。

在一些实施例中，以下至少一项使得不同的空间强度调制图案在序列的连续图像中是明显的：正弦强度调制的频率和成像设备的帧速率；以及正弦强度调制和成像设备的帧采集定时之间的相位差。

在一些实施例中，正弦强度调制的频率不是成像设备的帧速率的多重积分。

在一些实施例中，成像设备被配置为在序列的每个图像内，在与图像的第二不同空间部分不同的时间获取图像的第一空间部分，使得不同的空间强度调制图案在序列的连续图像中是明显的。

在一些实施例中，该方法包括使得照明源提供具有时间上的正弦强度调制的照明。

在一些实施例中，针对修正图像的一组修正像素强度值或估计强度分布A由下式给出：

其中I1(x，y)、I2(x，y)、I3(x，y)和I4(x，y)分别表示图像的序列中的第一、第二、第三和第四连续图像的像素强度值。

在一些实施例中，该方法包括根据下式计算图像的序列中的空间强度调制图案的相位进展

在一些实施例中，该方法包括在以下步骤之前补偿该成像设备的非线性响应：访问来自图像的序列的数据；以及确定该组修正像素强度值或估计强度分布。成像设备的非线性响应可通过以下方式确定：获取从由成像设备采集的物体的一组图像采样得到的内核的平均强度的指示；以及基于该指示确定成像设备的非线性响应。

在一些实施例中，该方法包括通过根据照明函数调制照明源来使得照明源照射物体。该照明函数可被配置为在获取从该组图像采样得到的内核的平均强度的指示的同时执行以下至少一项：在指定的时间间隔内线性地增加照明函数的强度、以及在指定的时间间隔内线性地减小照明函数的强度。

在一些实施例中，该方法包括使得成像设备根据成像采集函数采集该组图像。成像采集函数可被配置为在获取从该组图像采样得到的内核的平均强度的指示的同时执行以下一项：线性地增加该组图像的每个后续图像的曝光时间、以及线性地减少该组图像的每个后续图像的曝光时间。

在第三方面，描述了一种有形的机器可读介质。该有形机器可读介质存储指令，该指令当由至少一个处理器执行该指令时使得该至少一个处理器实施根据第一方面或本文所描述的任何其它实施例的方法。

在第四方面，描述了一种装置。该装置包括处理电路系统。处理电路系统包括访问模块和确定模块。访问模块被配置为访问来自对象的图像的序列的数据，该对象被环境光照和具有时间上的正弦强度调制的照明照射。图像的序列由成像设备获取。成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。确定模块被配置为基于图像的序列中的每个图像中的一组测量像素强度值来确定用于生成对象的修正图像的一组修正像素强度值，使得与图像的序列中的至少一个图像中明显的环境光照的水平相比，在修正图像中降低的环境光照的水平是明显的。

在第五方面，描述了一种装置。该装置包括处理电路系统。处理电路系统包括访问模块。访问模块被配置为访问来自对象的图像的序列(例如，由成像设备获取的)的数据，该对象被具有时间上的正弦强度调制的照明照射。成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。处理电路系统进一步包括确定模块。确定模块被配置为基于图像的序列中的每个图像中的空间强度调制图案来确定对象的估计强度分布，以减少图像中的环境光照变化。

下文描述涉及第四或第五方面的某些实施例。

在一些实施例中，该装置进一步包括用于提供照明的照明源。

在一些实施例中，该装置进一步包括成像设备。

参考下面描述的实施例，本发明的这些和其它方面将变得显而易见。

附图说明

现在将参考以下附图仅以示例的方式描述本发明的示例性实施例，在附图中：

图1涉及根据实施例的在某些情景中改进成像的方法；

图2是根据实施例的用于在某些情景中改进成像的系统的示意图；

图3是根据实施例的用于在某些情景中改进成像的过程的示意图；

图4是根据实施例的用于在某些情景中改进成像的过程的示意图；

图5是根据实施例的用于在某些情景中改进成像的过程的示意图；

图6涉及根据实施例在某些情景中改进成像的方法；

图7是根据实施例的用于在某些情景中改进成像的机器可读介质的示意图；以及

图8是根据实施例的用于在某些情景中改进成像的装置的示意图。

具体实施方式

图1示出了在某些情景(setting)中改进成像的方法100(例如，计算机实现的方法)。例如，成像可能受到某些情景的影响，诸如在照明/环境光照未定义和/或可能变化的不受控制的环境中。如下面将更详细地描述的，当在不受控制的环境中对对象成像时，本文所描述的某些方法和装置可减少任何未定义和/或潜在变化的照明/环境光照的影响、补偿或校正任何未定义和/或潜在变化的照明/环境光照。

方法100包括，在框102，访问来自对象的图像的序列的数据。图像的序列由成像设备获取。该对象被环境光照和具有时间上的正弦强度调制的照明照射。成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。

成像设备可在用照明来照射对象(以及由环境光照来照射对象)的同时(例如，在一段时间内连续地)获取图像的序列。在一些实施例中，可通过直接从成像设备获取数据来访问数据(例如，在成像设备的操作期间)。在一些实施例中，可通过访问存储数据的存储器来访问数据(例如，数据可在由成像设备获取之后存储在存储器中)。

序列中的每个图像可对应于由成像设备采集的个体帧。因此，成像设备的帧速率可与成像设备在一段时间内获取的帧/图像的数目有关。

时间上的正弦强度调制意指用强度随时间正弦变化的照明来照射对象。换句话说，照明可被调制成使得强度的变化遵循正弦图案(pattern)。

正弦强度调制与调制频率(例如，正弦图案的频率)相关联。如将在下面更详细地解释的，该频率可使得不同的空间强度调制图案在序列的连续图像中是明显(apparent)的。

方法100包括，在框104，基于在图像的序列中的每个图像中的一组测量像素强度值，确定用于生成对象的修正图像的一组修正像素强度值，使得与在图像的序列中的至少一个图像中明显的环境光照的水平相比，降低的环境光照的水平在修正图像中是明显的。换句话说，所确定的一组修正像素强度值可指代对象的图像的估计强度分布，以减少图像(即，'修正图像')中的环境光照变化。这种确定可基于图像的序列中的每个图像中的空间强度调制图案(或对应的'一组测量像素强度值')。

如本文所提及的，术语'估计强度分布'可指代'一组修正像素强度值'。术语'空间强度调制图案'可指代对应的'一组测量像素强度值'。

估计强度分布可指代考虑图像中明显的任何环境光照变化的图像的强度分布。例如，如果环境光照使得对象的某一部分比对象的另一部分被更亮的环境光照照射，则可在图像中减小、补偿或以其它方式校正这种环境光照变化。

在以上给出的示例中，估计强度分布可指示，对于对象的由于环境光照变化而较亮的部分，对应于对象的这一部分的像素强度值将被减小(例如，使得'校正的'图像在这一部分中看起来不太亮)。类似地，估计强度分布可指示对于对象的由于环境光照变化而较暗的部分，对应于对象的这一部分的像素强度值将被增加(例如，使得'校正的'图像在这一部分中看起来较亮)。在其它情况下，可调整图像的一部分的像素值，而不是调整以环境光照变化为特征的所有部分的像素值。本文所描述的某些实施例涉及用于估计强度分布的各种潜在方式以减少环境光照变化。

在一些情况下，为其确定估计强度分布的图像可为提供数据的图像的序列中的一个图像。在一些情况下，图像可为与图像的序列不同的图像(例如，后续的图像)。

在一些实施例中，可为特定图像计算估计强度分布，以便减小此时情景内的环境光照变化对图像的影响。换句话说，可以为特定图像计算考虑了情景中的环境光照变化(例如，减少其影响)的像素强度值。

在一些实施例中，确定该组修正像素强度值，使得：与图像的序列中的至少一个图像相比，修正图像中的环境光照的水平和空间强度调制图案的调制深度两者均降低。

在一些实施例中，调制深度可指代包括空间强度调制图案的序列的图像中的最大和最小测量像素强度值之间的差。例如，空间强度调制图案可对应于正弦空间调制图案。在修正图像中，空间强度调制图案的调制深度可能被降低或去除，以使得(例如，所施加的)照明看起来跨修正图像而在空间上均匀地分布，同时明显的环境光照被减少。因此，在一些实施例中，修正图像中明显的照明是由于照明而不是环境照明(或者至少照明相对于环境照明占主导地位)。

在一些实施例中，确定该组修正像素强度值包括针对该组中的每个像素，计算来自图像的序列中的每个图像的该像素的测量像素强度值的指定组合。可基于对照明的正弦强度调制来确定指定组合。

在一些实施例中，可利用照明的(时间)正弦强度调制属性来确定指定组合。例如，由于照明的(时间)正弦强度调制属性，有可能确定生成如下一组修正像素值的'来自图像的序列的测量像素强度值的指定组合'：其对应于在修正图像中明显的降低的环境光照的水平，同时还降低或去除在图像的序列中明显的(空间)强度调制图案的'调制深度'(即，由于照明的(时间)正弦强度调制属性和成像设备的配置，诸如以卷帘式快门模式操作而引起的)。下面给出指定组合的示例。

在一些实施例中，正弦强度调制的频率和成像设备的帧速率使得不同的空间强度调制图案在序列的连续图像中是明显的。例如，正弦强度调制的频率可能不是成像设备的帧速率的多重积分。

在一些实施例中，正弦强度调制和成像设备的帧采集定时之间的相位差使得不同的空间强度调制图案在序列的连续图像中是明显的。

可实施上述两个实施例的组合，使得不同的空间强度调制图案在序列的连续图像中是明显的。

如上所述，成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。在这点上，并且在一些实施例中，成像设备可被配置为在序列的每个图像内，在与图像的第二不同空间部分不同的时间获取图像的第一空间部分，使得不同的空间强度调制图案在序列的连续图像中是明显的。

取决于根据正弦强度调制在某一时间提供的照明水平，图像的不同空间部分可表现出不同的强度水平。换句话说，随着照明水平变化，在某一时间收集成像数据的成像设备的空间部分可收集对应于该某一时间的照明水平的成像数据。例如，如果调制的照明水平在某一时间处于最小值，则在该某一时间收集成像数据的图像的空间部分可能是暗的。然而，如果调制的照明水平在某一不同时间处于最大值，则在该某一不同时间收集成像数据的图像的空间部分可能相对较亮。

在一些实施例中，成像设备可被配置为在卷帘式快门模式下操作。在卷帘式快门模式中，图像的不同空间部分可以在单个帧内的不同时间被采样。

卷帘式快门模式的示例可指代如下图像采集方法：其中来自成像设备传感器的像素的数据是在一个像素行接一个像素行之后被采集(在一些情况下，可在任何时间跨传感器扫描多个像素行)。例如，通过从成像设备传感器的每个像素行/列采集像素值，同时垂直或水平扫描成像设备传感器，来获取数据。因此，像素数据不是同时从成像设备传感器的所有像素获取的。相反，在来自同一帧内不同像素行/列的像素数据之间可存在时间延迟。在被成像的对象以某一速度移动(或者图像以其它方式变化)的情况下，取决于成像设备的帧速率，卷帘式快门模式可在图像中引起所谓的'卷帘式快门效应'。

例如，卷帘式快门模式和照明的正弦强度调制的组合效果可引起在图像的序列的每个图像中观察到的空间强度调制图案。因此，随着照明强度在时间上被调制，成像设备传感器上的给定位置处的像素在给定时间检测到对应的照明水平(即，来自环境光照以及经调制照明)。在由成像设备捕获的单个图像(帧)内，由于(在成像设备传感器的某一位置处)的像素登记(registering)在某一时间的强度值，照明的调制可能是明显的(例如，由于卷帘式快门模式)，其中在该时间检测到的照明水平取决于照明的调制。例如，如果峰值照度水平(由于调制)在时间t1出现在帧内，则在该时间t1提供其读数的像素将比在该帧内在另一时间t2(例如，其中时间t2指代由于调制照明水平处于其最低水平的时刻)的像素(在成像设备传感器上的不同空间位置处)登记更大的强度值。这种效果可能引起在每个图像中观察到的空间强度调制图案。如下面将更详细解释的，可利用在图像的序列中观察到的空间强度调制图案的差异来确定估计强度分布。

在一些示例中，本文所描述的某些方法和装置可支持对某些表面特性(例如颜色、纹理和/或任何其它表面特性)的精确和/或准确测量。例如，在对象是人(或任何动物)且被成像的表面是他们的皮肤(例如，面部皮肤)的情况下，本文所描述的某些方法和装置可在某些情景(诸如如果环境光照是不受控制的和/或变化的)中改进成像。对于某些应用，可能感兴趣的皮肤的表面特性包含例如皮肤颜色、皮肤健康、皮肤纹理和/或可能感兴趣的皮肤的任何其它特性。对于某些应用，例如用于个人护理和健康应用的皮肤感测，皮肤的成像可便于例如皮肤特征表征和/或随时间跟踪/监测皮肤。

图2是用于在某些情景中改进成像的系统200的示意图。系统200可实施本文所描述的某些方法(例如，方法100)。在该实施例中，对象202处于其中存在不受控制的和/或可能变化的环境光照的情景中。

系统200包括用于获取对象202的图像(例如，图像的序列)的成像设备204。

系统200还包括照明源206，诸如智能电话闪光灯或能够提供具有正弦强度调制的照明的其它设备。例如，控制器(例如，照明源206本身的控制器或外部控制器)可根据随时间的正弦调制来改变提供给照明源206的功率(例如，电压和/或电流)。

系统200还包括用于实施某些功能性的控制模块208。在一些实施例中，控制模块208可控制成像设备204(例如，使成像设备204获取图像，从成像设备204接收那些图像和/或将对应于那些图像的数据存储在控制模块208的存储器中或控制模块208可访问的存储器中)。在一些实施例中，控制模块208可控制照明源206(例如，使照明源206调制它提供的照明的强度和/或控制提供给照明源206的功率)。在一些实施例中，控制模块208可实施本文所描述的某些方法。例如，控制模块208可实施图1的方法100。上述实施例的任何组合可由控制模块208实施。

在一些实施例中，成像设备204、照明源206和控制模块208可由同一设备(例如，诸如智能手机、平板电脑等'智能'设备)实施。

在一些实施例中，成像设备204和照明源206可由相同的设备(例如，诸如智能手机、平板电脑等'智能'设备)实施，而控制模块208由不同的设备或服务(例如，用户计算机、专用处理装置、服务器、基于云的服务或其它类型的处理装置)实施。

在一些实施例中，成像设备204和照明源206可由不同设备实施(例如，成像设备204和照明源206中的一个可由智能设备实施，而成像设备204和照明源206中的另一个可由单独设备(例如，专用设备)实施。在这类实施例中，控制模块208可由另一单独设备(例如，用户计算机、专用处理装置、服务器、基于云的服务或其它类型的处理装置)实施，或者控制模块208可由成像设备204和照明源206中的一个实施。

在智能设备的情况下，机载相机可提供成像设备204的功能性，机载闪光灯可提供照明源206的功能性和/或机载处理电路系统可提供控制模块208的功能性。

图3描绘了根据实施例的用于在某些情景中改进成像的过程300。过程300涉及访问来自图像的序列302(在该示例中为四个连续图像)的数据，图像的序列的特征在于上述空间强度调制图案。图像302中的对象是面部，但也可以是在该情景内其表面特征是感兴趣的任何其它物体。如图3所示，每个连续图像具有不同的空间强度调制图案(在该实施例中，这是由于成像设备以卷帘式快门模式和正弦强度调制照明进行操作)。基于该信息，可能确定图像中的环境光照变化，以便估计图像的强度分布，该图像的强度分布减少情景中的环境光照变化的影响，补偿或以其它方式校正情景中的环境光照变化。

成像设备传感器的坐标x1,y1处的像素的像素强度值a(x1,y1)可以跨图像的序列302(即，'像素列')被跟踪，以确定此像素处的强度值作为图像(帧)编号的函数。如图3中的曲线图304所示，所选像素a(x1,y1)跨图像的序列302(曲线图304描绘了30帧)以相对可重复的方式在其强度值(即，像素处的'经调制的幅度')方面变化。如下面将更详细地解释的，可基于曲线图304中的数据来检索(retrieve)'校正的'幅度(即，'强度值')。因此，通过跟踪图像的序列302上的所有像素的像素强度值，有可能从该数据重构'校正的'图像306(即，图像306现在考虑其情景中的环境光照变化，以减小该环境光照变化的影响，补偿或以其它方式校正该环境光照变化)。

由于谐波时间调制的卷积特性，以例如卷帘式快门模式操作的成像设备和照明的正弦调制的组合导致所得到的图像的序列的每个单独的'像素数据流'在所得到的图像中也表现出严格的正弦空间调制。在这些条件下，已经发现需要相对较少的图像来估计该情景中的对象的图像的强度分布。

例如，如果'像素列'中的每个像素在时间上是等间隔的，则可用四个连续图像来检索时间调制的幅度。因此，在一些实施例中，确定图像的估计强度分布可基于来自图像的序列的四个连续图像。

在另一示例中，如果照明的正弦调制和成像设备帧速率的相位关系使得序列中的每第四图像具有与序列中的第一图像相同的空间强度调制图案，则可用三个连续图像来检索时间调制的幅度。因此，在一些实施例中，确定图像的估计强度分布可基于来自图像的序列的三个连续图像。此外，在一些实施例中，确定图像的估计强度分布可基于来自图像的序列的三个连续图像，其中图像的序列中的第一和第四连续图像的空间强度调制图案相同。

在对象正在移动的场景中(例如，诸如人之类的对象可能由于自愿和/或非自愿移动而不是静止的)，这种移动的效果可在短时间内改变明显的环境光照变化。能够使用三个或四个图像(而不是更多的图像)可在某种程度上减少这种移动的效果。对于每秒30帧(fps)的成像设备，在使用四个图像的情况下，这些图像在133毫秒内被采集。这可被认为是用于收集来自图像的序列的数据，同时最小化对象自主或不自主移动对强度分布的估计结果产生不利影响的机会的足够短的时间尺度。

在一些实施例中，正弦强度调制的频率大于成像设备的帧速率的两倍。在这种情况下，在序列的每个图像中至少两个强度峰值可能是明显的(例如，如图3所示)。

在一些实施例中，正弦强度调制的频率为至少70Hz(例如，对于无闪烁感知)。这是正弦强度调制的频率大于成像设备的帧速率的两倍(例如，对于30Hz的帧速率)的示例。如果成像设备可具有不同的帧速率(例如，更快的帧速率)，则可相应地调整正弦强度调制的频率(例如，增加到至少是成像设备的帧速率的两倍)。

在一些实施例中，正弦强度调制的频率和成像设备的帧速率之间可存在不同的关系。例如，正弦强度调制的频率可为大约50Hz，其中成像设备的帧速率是30Hz。

上面已经描述了用于估计强度分布的某些过程。在一些实施例中，图像的估计强度分布A可由下式给出：

其中I1(x，y)、I2(x，y)、I3(x，y)和I4(x，y)分别表示图像的序列中的第一连续图像、第二连续图像、第三连续图像和第四连续图像的像素强度值。也就是说，对于图像中的每个像素值(x,y)，通过使用来自图像的序列的数据，可以估计考虑了环境光照变化的图像的强度分布。可连续地运行该过程，使得当采集每个新帧时，将该数据输入到针对'A'的表达式中，同时使用来自先前三个帧的数据。这可允许考虑环境光照变化的图像的连续更新。

在一些情况下，成像设备对图像采集过程的不良控制可导致某些预期行为。例如，如果现在很好地控制成像设备的定时，则有可能难以协调照明的正弦调制和图像采集过程。因此，可根据下式计算图像的序列中的空间强度调制图案的相位进展(phaseprogression)

其中I1(x，y)、I2(x，y)、I3(x，y)和I4(x，y)分别表示图像的序列中的第一连续图像、第二连续图像、第三连续图像和第四连续图像的像素强度值。在估计图像中的强度分布时，可考虑这种相位进展。在一些情况下，相位进展可用于改进照明的正弦强度调制与成像设备的图像捕获定时之间的协调。

一些成像设备(诸如一些非科学相机)可具有内置的非线性(例如，伽马)校正(例如，成像设备的非线性响应的示例)。如果在实施本文所描述的某些方法之前没有被特征化，则在试图使用由成像设备采集的图像执行任何定量测量时，可能需要考虑这种非线性校正。伽马'去校正'(即，逆伽马校正)在一些情况下对于在成像设备实施伽马校正的情况下估计强度分布是有用的。在一些情况下，由某一成像设备实施的伽马校正对于实施本文所描述的方法的用户来说是可用的(例如，如果制造商公布了该信息),而无需使用该成像设备执行任何特定的测量。

因此，在一些实施例中，可在访问来自图像的序列的数据并确定估计强度分布之前补偿成像设备的非线性响应。

在一些实施例中，成像设备的非线性响应可通过获取从由成像设备采集的对象(例如，上述物体或另一物体)的一组图像(例如，可对图像的一部分进行采样和/或可从该组图像中对多个图像进行采样)采样得到的内核(kernel)(其中内核指在图像中选择的至少一个像素)的平均强度的指示来确定。然后可基于该指示确定成像设备的非线性响应。该非线性响应可用于标识要应用于与图像的序列对应的数据的补偿(例如，包括逆伽马校正)，以便补偿成像设备的非线性响应。

例如，补偿成像设备的非线性响应可包括执行逆伽马校正以补偿由于应用于由成像设备采集的图像的伽马校正而引起的非线性响应。

图4描绘了根据实施例的用于在某些情景中改进成像的过程400。过程400涉及表征成像设备(未示出)的非线性响应，以便确定由成像设备实施的非线性(例如，伽马)校正的特性(并且由此使得用于非线性响应的补偿能够在实施本文所描述的某些方法之前被应用于图像的序列)。

在该实施例中，通过根据照明函数调制照明源来使得照明源照射物体。该实施例中的照明函数402被配置为：在获取从该组图像采样得到的内核的平均强度(例如，图4中的像素强度值：a(x1,y1)、a(x2,y2)和a(x3,y3))的指示的同时，执行以下至少一项：在指定的时间间隔内线性地增加照明函数402的强度，以及线性地减少照明函数402的强度。由照明函数402描述的这种线性的增加和减少导致照明源相应地增加和减少所提供的照明水平。成像设备(未示出)在一段时间内获取一组图像。通过在各组图像上跟踪内核，记录每个内核的强度值，以便生成曲线图404。从该曲线图可看出，照明的线性增加或减少不对应于线性成像设备响应。基于成像设备响应的曲率(即，非线性)，可确定适当的补偿(例如，逆伽马校正)。这可在实施本文所描述的某些方法之前加以考虑。即，在实施这类方法之前，可适当地调整某些强度水平的像素值。

图5描绘了根据实施例的用于在某些情景中改进成像的过程500。类似于过程400，过程500涉及表征成像设备(未示出)的响应，以便确定由成像设备实施的非线性(例如，伽马)校正的特性(并且由此使得用于补偿非线性响应的补偿能够在实施本文所描述的某些方法之前被应用于图像的序列)。

在该实施例中，使成像设备根据成像采集函数采集一组图像。该实施例中的成像采集函数被配置为：在获取从该组图像采样得到的内核的平均强度(例如，图5中的像素强度值：a(x1,y1)、a(x2,y2)和a(x3,y3))的指示的同时，执行以下一项：线性地增加该组图像的每个后续图像的曝光时间、以及线性地减少该组图像的每个后续图像的曝光时间。

曝光时间的这种线性地增加和/或减少导致该组图像中的每个图像登记对应的增加和/或减少的强度水平。通过跨各组图像跟踪内核，每个内核的强度值被登记以便生成曲线图502。从该曲线图可看出，曝光时间的线性增加或减少并不对应于线性成像设备响应。基于成像设备响应的曲率(即，非线性)，可确定适当的补偿(例如，逆伽马校正)。这可在实施本文所描述的某些方法之前加以考虑。也就是说，在实施这些方法之前，可适当地调整某些强度水平的像素值。

图6示出了在某些情景中改进成像的方法600(例如，计算机实现的方法)。例如，成像可能受到某些情景的影响，诸如在照明/环境光照未定义和/或可能变化的不受控制的环境中。方法600可结合方法100和/或参考过程300、400、500来实现，或者作为方法100的一部分来实现。在该示例中，方法600的任何框可被省略和/或重新排序，视情况而定。

在一些实施例中，方法600包括，在框602，在以下步骤之前补偿成像设备的非线性响应(例如，如上所述)：访问来自图像的序列的数据；以及确定估计强度分布。

在一些实施例中，方法600包括，在框604，使照明源提供具有时间上的正弦强度调制的照明。

在一些实施例中，方法600包括，在框606，计算图像中的空间强度调制图案的相位进展

(例如，如上所述)。

图7示出了存储指令702的有形机器可读介质700，该指令当由至少一个处理器704执行指令702时使得至少一个处理器704实施本文所描述的某些方法(诸如方法100和/或方法600)。

在该实施例中，指令702包括使得至少一个处理器704实施方法100的框102的指令706。指令702进一步包括使至少一个处理器704实施方法100的框104的指令708。

图8示出了装置800，其可用于实施本文所描述的某些方法，诸如方法100和/或方法800。装置800可包括具有对应于关于图2的系统200描述的某些特征的功能性的模块，诸如其控制模块208。

装置800包括处理电路系统802。处理电路系统802包括访问模块804。访问模块804被配置为访问来自对象的图像的序列的数据，该对象被环境光照和具有时间上的正弦强度调制的照明照射。成像设备被配置为使得不同的空间强度调制图案在序列的连续图像中是明显的。

处理电路系统802进一步包括确定模块806。确定模块806被配置为基于图像的序列中的每个图像中的一组测量像素强度值来确定用于生成对象的修正图像的一组修正像素强度值，使得与图像的序列中的至少一个图像中明显的环境光照的水平相比，降低的环境光照的水平在修正图像中是明显的。换句话说，确定模块806可被配置为基于图像的序列中的每个图像中的空间强度调制图案(或'一组测量像素强度值')确定对象的图像的估计强度分布(或'一组修正像素强度值')以减少图像中的环境光照变化。

在一些实施例中，装置800进一步包括用于提供照明的照明源(例如，图2的照明源206)。在一些实施例中，该装置进一步包括成像设备(例如，图2的成像设备204)。

虽然已经在附图和前面的描述中详细说明和描述了本发明，但是这类说明和描述应被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。

在一个实施例中描述的一个或多个特征可与在另一个实施例中描述的特征相结合或代替在另一个实施例中描述的特征。例如，可基于关于图2、3、4、5、8的系统200、过程300、400、500和/或装置800描述的特征来修改图1或6的方法100、600，反之亦然。

本公开中的实施例可作为方法、系统或作为机器可读指令和处理电路系统的组合来提供。这类机器可读指令可包含在其中或其上具有计算机可读程序代码的非瞬态机器(例如，计算机)可读存储介质(包含但不限于盘存储、CD－ROM、光存储件等)上。

参考根据本公开的实施例的方法、设备和系统的流程图和框图来描述本公开。尽管上述流程图示出了特定的执行顺序，但是执行顺序可不同于所描述的顺序。关于一个流程图描述的框可与另一个流程图的框相结合。应当理解，流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可由机器可读指令来实现。

机器可读指令例如可由通用计算机、专用计算机、嵌入式处理器或其它可编程数据处理设备的处理器来执行，以实现说明书和附图中描述的功能。具体而言，处理器或处理电路系统或其模块可执行机器可读指令。因此，系统200和/或装置800的功能性模块(例如，控制模块208、访问模块804和/或确定模块804)以及本文所描述的其它设备可由执行存储在存储器中的机器可读指令的处理器或者根据嵌入在逻辑电路中的指令操作的处理器来实施。术语'处理器(processor)'应广义地解释为包含CPU、处理单元、ASIC、逻辑单元或可编程门阵列等。这些方法和功能性模块可全部由单个处理器执行，或者在若干个处理器之间划分。

这类机器可读指令还可存储在计算机可读存储设备中，该计算机可读存储设备可引导计算机或其它可编程数据处理设备以特定模式操作。

这类机器可读指令还可被加载到计算机或其它可编程数据处理设备上，使得计算机或其它可编程数据处理设备执行一系列操作以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令实施由流程图和/或框图中的框(一个或多个)指定的功能。

此外，本文中的教导可按计算机程序产品的形式来实施，该计算机程序产品存储在存储介质中，并且包括用于使计算机设备实施本公开的实施例中所述的方法的多个指令。

关于一个实施例描述的元件或步骤可与关于另一实施例描述的元件或步骤相结合或由其替换。通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的本发明时可理解和实现对所公开的实施例的变型。在权利要求中，词语“包括(comprising)”不排除其它元件或步骤，并且不定冠词“一(a)”或“一个(an)”不排除多个。单个处理器或其它单元可实现权利要求中列举的若干个项的功能。在相互不同的从属权利要求中引用某些措施的事实并不指示不能有利地使用这些措施的组合。计算机程序可存储或分布在适当的介质上，诸如与其它硬件一起提供或作为其它硬件的一部分提供的光存储介质或固态介质，但是也可按其它形式分布，诸如经由互联网或其它有线或无线电信系统。权利要求中的任何附图标记不应解释为限制范围。

Claims

1.一种计算机实现的方法(100)，包括：

访问(102)来自对象的图像的序列的数据，所述图像的序列由成像设备获取，所述对象被环境光照和具有时间上的正弦强度调制的照明照射，其中所述成像设备被配置为使得不同的空间强度调制图案在所述序列的连续图像中是明显的；以及

基于所述图像的序列中的每个图像中的一组测量像素强度值，确定(104)用于生成所述对象的修正图像的一组修正像素强度值，使得与在所述图像的序列中的至少一个图像中明显的环境光照的水平相比，在所述修正图像中降低的环境光照的水平是明显的。

2.根据权利要求1所述的方法，其中所述一组修正像素强度值被确定为使得：与所述图像的序列中的至少一个图像相比，所述修正图像中的所述环境光照的水平和所述空间强度调制图案的调制深度两者均降低。

3.根据权利要求1或2所述的方法，其中确定所述一组修正像素强度值包括：针对所述组中的每个像素，计算所述像素的、来自所述图像的序列中的每个图像的测量像素强度值的指定组合，其中所述指定组合基于所述照明的所述正弦强度调制来确定。

4.根据权利要求1、2或3所述的方法，其中确定针对所述修正图像的所述一组修正像素强度值是基于来自所述图像的序列的三个或四个连续图像的。

5.根据前述权利要求中任一项所述的方法，其中以下至少一项使得所述不同的空间强度调制图案在所述序列的连续图像中是明显的：

所述正弦强度调制的频率和所述成像设备的帧速率；以及

所述正弦强度调制和所述成像设备的帧采集定时之间的相位差。

6.根据权利要求5所述的方法，其中所述正弦强度调制的所述频率不是所述成像设备的所述帧速率的多重积分。

7.根据前述权利要求中任一项所述的方法，其中所述成像设备被配置为在所述序列的每个图像内，在与所述图像的第二不同空间部分不同的时间获取所述图像的第一空间部分，使得所述不同的空间强度调制图案在所述序列的连续图像中是明显的。

8.根据前述权利要求中任一项所述的方法，使得(604)照明源提供具有时间上的所述正弦强度调制的所述照明。

9.根据前述权利要求中任一项所述的方法，其中针对所述修正图像的所述一组修正像素强度值A由下式给出：

其中I1(x，y)、I2(x，y)、I3(x，y)和I4(x，y)分别表示所述图像的序列中的第一连续图像、第二连续图像、第三连续图像和第四连续图像的像素强度值。

10.根据前述权利要求中任一项所述的方法，包括根据下式计算(606)所述图像的序列中的所述空间强度调制图案的相位进展

11.根据前述权利要求中任一项所述的方法，包括在以下步骤之前补偿(602)所述成像设备的非线性响应：访问来自所述图像的序列的所述数据；以及确定所述一组修正像素强度值，其中所述成像设备的所述非线性响应由以下各项确定：

获取从物体的一组图像采样得到的内核的平均强度的指示，所述物体的一组图像由所述成像设备采集；以及

基于所述指示确定所述成像设备的所述非线性响应。

12.根据权利要求11的方法，包括：

使得照明源通过根据照明函数调制所述照明源来照射所述物体，其中所述照明函数被配置为在获取从所述一组图像采样得到的所述内核的所述平均强度的所述指示的同时执行以下至少一项：在指定的时间间隔内线性地增加所述照明函数的强度，以及在指定的时间间隔内线性地减小所述照明函数的强度。

13.根据权利要求11的方法，包括：

使得所述成像设备根据成像采集函数采集所述一组图像，其中所述成像采集函数被配置为在获取从所述一组图像采样得到的所述内核的所述平均强度的所述指示的同时执行以下一项：针对所述一组图像的每个后续图像线性地增加曝光时间，以及针对所述一组图像的每个后续图像线性地减少曝光时间。

14.一种存储指令(702)的有形机器可读介质(700)，所述指令在由至少一个处理器(704)执行时使得所述至少一个处理器实现根据前述权利要求中任一项所述的方法。

15.一种装置(800)，包括处理电路系统(802)，所述处理电路系统包括：

访问模块(804)，被配置为访问来自对象的图像的序列的数据，所述图像的序列由成像设备获取，所述对象被环境光照和具有时间上的正弦强度调制的照明照射，其中所述成像设备被配置为使得不同的空间强度调制图案在所述序列的连续图像中是明显的；以及

确定模块(806)，被配置为基于所述图像的序列中的每个图像中的一组测量像素强度值来确定用于生成所述对象的修正图像的一组修正像素强度值，使得与在所述图像的序列中的至少一个图像中明显的环境光照的水平相比，在所述修正图像中降低的环境光照的水平是明显的。