CN115916034A - 确定像素信息 - Google Patents

Abstract

在一个实施例中，描述了一种方法(100)。该方法是计算机实现的方法。该方法包括接收(102)与由成像系统采集的由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息。第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在第一图像、第二图像和第三图像的采集期间存在时间上的重叠。该方法还包括确定(104)用于构造对象的修改图像的修改像素信息。基于以下各项确定修改像素信息：所接收的第一图像、第二图像与第三图像的像素信息之间的差异，以减小所接收的像素信息中的环境照明的影响；以及组合所接收的像素信息以抵消在第一图像、第二图像和第三图像的每个图像中明显的空间强度调制图案。空间强度调制图案是由于成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系。

Description

确定像素信息

技术领域

本发明涉及用于在某些设置中成像的方法、装置和有形机器可读介质。

背景技术

在非引人注目的测量和监测领域中感兴趣的主题涉及用于个人护理和健康应用的皮肤感测。正在开发皮肤感测系统，其保证皮肤量化和监测皮肤中的特征，这些特征可以提供太小而不能检测到，太微弱而不能注意到或太慢而不能跟随的用户信息。为了递送用户可接受的结果，这样的皮肤感测系统可能需要在执行皮肤感测时提供灵敏度和特异性。提供由这样的皮肤感测系统进行的测量被证明是稳健的和可靠的，用户可以在这些皮肤感测系统中建立信任。

基于成像的皮肤感测系统可能需要确定可能受难以控制参数(诸如环境照明变化)影响的信息。例如，诸如在用户家中的某些不受控制的环境可能具有未定义的和/或可能变化的环境照明。这种不受控制的环境可能导致用户皮肤的错误测量，这转而可能导致对用户而言不可接受的或不信任的结果。在一些基于成像的皮肤感测系统中使用的一些相机(诸如智能电话相机)的成像性能可以是可变的，使得成像数据不可预测或不可靠。

基于成像的皮肤感测系统可以实现各种图像处理技术，以便确定某些关于用户皮肤和/或环境照明条件的信息。当实现某些图像处理技术时，用户和成像系统之间的相对运动可能导致错误。

发明内容

本文描述的各方面或实施例涉及改进某些设置中的成像。本文描述的各方面或实施例可以消除一个或多个与某些图像处理技术相关联的问题，其中在对象(例如，用户)和成像系统之间存在相对运动。

在第一方面，描述了一种方法。该方法是计算机实现的方法。方法包括接收与由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息。第一图像、第二图像和第三图像由成像系统采集。第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在第一图像、第二图像和第三图像的采集期间存在时间上的重叠。该方法还包括确定用于构造对象的修改图像的修改像素信息。所确定的修改像素信息是基于第一图像、第二图像与第三图像的所接收的像素信息之间的差异，以减少所接收的像素信息中的环境照明的影响。所确定的修改像素信息还基于所接收的像素信息的组合以抵消在第一图像、第二图像和第三图像中的每个图像中明显的空间强度调制图案。空间强度调制图案是由于成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系。

下面描述涉及第一方面的一些实施例。

在一些实施例中，第一图像、第二图像和第三图像的采集开始时间之间的时间延迟基于时间调制照明的调制时间段。采集开始时间之间的时间延迟可以对应于调制时间段除以图像的数目。

在一些实施例中，成像系统包括用于采集第一图像、第二图像和第三图像的至少两个成像设备。

在一些实施例中，成像设备中的一者用于采集第一图像、第二图像和第三图像中的至少一个图像，并且成像设备中的至少另一者用于采集第一图像、第二图像和第三图像中的至少另一个图像。

在一些实施例中，该方法还包括使成像系统采集第一图像、第二图像和第三图像。

在一些实施例中，该方法还包括：接收时间调制照明的调制参数的指示；基于指示确定成像系统的操作参数；以及使成像系统根据操作参数来操作。

在一些实施例中，与第一图像、第二图像和第三图像相关联的时间调制照明的调制频率和/或帧速率被配置成使得第一图像、第二图像和第三图像的空间强度调制图案之间的相移相同。

在一些实施例中，该方法还包括：在确定修改像素信息之前，标识对象在第一图像、第二图像和第三图像内的位置是否相同。在至少一个图像中的对象位置与至少另一个图像相比的差异超过阈值的情况下，方法还包括在第一图像、第二图像和第三图像中的至少一个图像中实现图像移位操作，使得第一图像、第二图像和第三图像中的每个图像中的对象位置相同。

在一些实施例中，通过减去第一图像、第二图像和第三图像的不同对组合的像素信息以减小所接收的像素信息中的环境照明的影响，并组合所接收的像素信息以抵消在第一图像、第二图像和第三图像的每个图像中明显的空间强度调制图案，来确定用于构造对象的修改图像的修改像素信息。

在一些实施例中，成像系统被配置为以根据成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系的模式操作，其中该模式为：滚动快门模式，其中成像系统的成像时间段长于调制时间段；或全局快门模式，其中成像时间段短于调制时间段。

在一些实施例中，接收数据还包括接收与对象的至少一个附加图像的至少一部分相对应的像素信息，其中第一图像、第二图像、第三图像和至少一个附加图像的采集开始时间之间的时间延迟使得在第一图像、第二图像、第三图像和至少一个附加图像的采集期间存在时间上的重叠。基于以下各项确定修改像素信息：所接收的第一图像、第二图像、第三图像的像素信息与至少一个附加图像之间的差异，以减小所接收的像素信息中的环境照明的影响；以及所接收的像素信息的组合，用以抵消在第一图像、第二图像、第三图像和至少一个附加图像的每个图像中明显的空间强度调制图案。

在第二方面，描述了一种有形机器可读介质。该有形机器可读介质存储指令，该指令在由至少一个处理器执行时使得至少一个处理器实现根据第一方面或任何相关的实施例的方法。

在第三方面，描述了一种装置。装置包括处理电路。处理电路包括接收模块和确定模块。接收模块被配置为接收与由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息。第一图像、第二图像和第三图像由成像系统采集。第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在第一图像、第二图像和第三图像的采集期间存在时间上的重叠。确定模块被配置为确定用于构造对象的修改图像的修改像素信息。所确定的修改像素信息是基于所接收的第一图像、第二图像和第三图像的像素信息之间的差异，以减少所接收的像素信息中的环境照明的影响。所确定的修改像素信息进一步基于所接收的像素信息的组合以抵消在第一图像、第二图像和第三图像中的每个图像中明显的空间强度调制图案。空间强度调制图案是由于成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系。

下面描述涉及第三方面的一些实施例。

在一些实施例中，装置还包括：成像系统，用于采集与第一图像、第二图像和第三图像的至少一部分相对应的像素信息；和/或用于提供时间调制照明的照明单元。

在一些实施例中，成像系统包括至少两个成像设备。成像系统可以被配置为以根据成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系的模式操作。该模式为：滚动快门模式，其中成像系统的成像时间段长于调制时间段；或全局快门模式，其中成像时间段短于调制时间段。

参考下文描述的(多个)实施例，本发明的这些和其他方面将是显而易见的并将被阐明。

附图说明

现在将参考以下附图仅通过示例的方式描述本发明的示例性实施例，在附图中：

图1涉及根据一个实施例的在某些设置中改善成像的方法；

图2是根据一个实施例的用于在某些设置中改善成像的系统的示意图；

图3a至图3b是根据两个实施例的成像系统的示意图；

图4是根据一个实施例的用于实现本文描述的某些方法的系统的示意图；

图5a至图5b是根据两个实施例的成像系统的示意图；

图6涉及根据一个实施例的在某些设置中改善成像的方法；

图7是根据一个实施例的用于在某些设置中改善成像的机器可读介质的示意图；以及

图8是根据一个实施例的用于在某些设置中改善成像的装置的示意图。

具体实施方式

在某些设置中，环境照明可能影响某些基于成像的皮肤感测系统的性能。由成像系统采集的图像可能遭受由对象和成像系统之间的相对运动引起的伪影。该相对运动可能是由于对象不能容易地停留在相同位置和/或由于对象持有包括成像系统的设备，因此对象可能发现难以保持成像系统稳定。设备的示例包括智能设备，诸如智能电话、平板电脑、智能镜或能够显示对象的图像或表示的任何其他设备。

该相对运动可以意味着对象的连续图像集可以在图像帧内的不同位置显示对象和/或扭曲对象在图像集中的外观。因此，当执行诸如环境照明校正、归一化和/或减小连续图像之间的环境照明变化的影响的某些图像处理技术时，本文描述的实施例可以提供减小该相对运动的影响的方式。

图1示出了在某些设置中改善成像的方法100(例如，计算机实现的方法)。方法100可以由诸如用户设备的计算机、或服务器或基于云的服务(例如，通信地耦合到用户设备)来实现。

方法100包括，在框102处，接收与由成像系统采集的由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息(例如，诸如像素强度值的‘数据’或‘强度数据’)。第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在第一图像、第二图像和第三图像的采集期间存在时间上的重叠。

在第一图像、第二图像和第三图像的图像采集(例如，通过下面更详细描述的成像系统)期间，这些图像的一部分可以由实现该方法100的计算机接收。例如，在由被配置为以滚动快门模式操作的成像系统采集图像的实施例中，在图像的后续部分被采集并被发送到计算机之前，可以采集部分图像并将其发送到计算机用于处理。换句话说，不需要采集整个图像帧以便于促进方法100的其余部分的实现。然而，在一些情况下，可以在实现方法100的其余部分之前采集整个图像。

如下面将更详细描述的，照明单元提供时间调制照明。照明单元可以由或可以不由实现方法100的同一计算机控制。时间调制照明为对象提供强度根据时间变化的照明。例如，时间调制照明可以具有周期性变化的照明强度水平(诸如照明强度水平随时间的正弦变化)。

用于每个图像的总采集时间可以由成像系统的成像设备的帧速率来限定。例如，一些成像设备可以30fps的帧速率操作，导致每帧采集超过约30ms内。一些其它成像设备可以以不同的帧速率操作。由某些成像设备实现的增加的(例如，大于30fps的)帧速率可以减少由相对运动引起的所采集的图像中的伪影，但由于每帧较低的曝光时间(其可以影响图像的质量)而采集较少的光，和/或这些成像设备可以比一些其它具有较低帧速率的成像设备相对更昂贵和/或实施起来更复杂。相反，由某些成像设备实现的较低(例如，小于30fps的)帧速率可以增加由相对运动引起的所采集图像中的伪影，但与较高帧速率成像设备相比，每帧增加的曝光时间可以提供质量增加的图像。

假设针对每个后续图像的采集开始时间之间的延迟小于用于每个图像的总采集时间，则成像系统可以以有效增加的帧速率操作，同时还提供充分的图像质量(由于每个图像的曝光时间仍然足够长以为图像采集足够的光)。例如，如果花费30ms来采集每个图像，则第一图像可以在时间t＝0(零)ms时开始被采集。第二图像可以在t＝0之后小于30ms的时间(例如，在t＝5ms，或在另一适当的时间)开始被采集。可以在t＝0之后小于30ms的时间(例如，在t＝10ms，或在另一适当的时间)开始采集第三图像。因此，在采集第一图像的同时开始采集第二和第三图像中的每一者。此外，在采集第二图像的同时开始采集第三图像。在一个示例中，如果在40ms的时间帧内采集3(三)个图像(按照上面的示例)，则有效帧速率是3/40ms＝75fps(即，代替30fps而不与第一图像、第二图像和第三图像的采集重叠)。因此，可以实现更高的帧速率，同时确保曝光时间足够长以实现充分的图像质量。

如下面将更详细地描述的，成像系统可以被配置为如框102中所描述的采集具有时间延迟的至少第一图像、第二图像和第三图像，以实现增加的帧速率，同时还提供充分的图像质量。

方法100还包括：在框104处，确定用于构造对象的修改图像(本文中称为“经环境校正的图像”)的修改像素信息(例如，像素强度值)。修改像素信息基于所接收的第一图像、第二图像和第三图像的像素信息之间的差异，以减少所接收的像素信息中的环境照明的影响。修改像素信息还基于所接收的像素信息的组合，以抵消在第一图像、第二图像和第三图像的每一个中明显的空间强度调制图案。空间强度调制图案是由于成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系。换句话说，块104确定针对对象的图像(即，‘修改图像’)的估计强度分布(即，‘修改像素信息’)，以减少由光源引起的环境照明的影响。确定估计强度分布基于第一图像、第二图像和第三图像的每个图像中的空间强度调制图案。

可以在第一图像、第二图像和第三图像的每个图像中观察到空间强度调制图案。空间强度调制图案可以是时间调制照明的结果，该时间调制照明在采集图像时引起照明水平随时间的变化(例如，在一些实施例中，这可能是由于卷帘效应导致成像设备的不同空间部分在扫描这些空间部分时检测变化的照明水平)。例如，成像设备的某一空间部分可以在由照明单元提供的照度水平为时的某一时间记录相对高的照明水平，而成像设备的另一空间部分可以在由照明单元提供的照明水平为低时的同一帧中的稍后时间记录相对低的照明水平。

这意味着整个图像可以呈现具有比其它区域相对更高的照明水平的某些区域，并且这可以被认为表示“空间强度调制图案”——下面描述该图案的一个示例。取决于图像采集的相对时序(即，‘时序关系’)，成像采集速率和时间调制照明的调制频率，空间强度调制图案可以在后续图像之间变化。因此，在一些情况下，第一图像、第二图像和第三图像可以各自具有不同的空间强度调制图案。根据该信息，可以估计图像(即，基于第一图像、第二图像和第三图像构造的环境校正或环境补偿图像)的强度分布，该强度分布减小了由光源(例如，与照明单元不同的光源，诸如灯泡、日光等)引起的环境照明的影响。换句话说，空间强度调制图案是由于成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系。如关于框104所述，所接收的像素信息的组合可以抵消在第一图像、第二图像和第三图像的每个图像中明显的空间强度调制图案，而第一图像、第二图像和第三图像的所接收的像素信息之间的差异可以减小所接收的像素信息中的环境照明的影响。

本文描述的某些方法(例如，方法100)可以允许在相对短的捕获时间内获得环境校正(或归一化)的图像，这可以减少来自相对运动的伪影，否则该伪影可能不利地影响环境照明效果的降低。使用每个图像捕获的光量可以足以提供充分的图像质量，以促进环境光减少、校正或归一化，这将在下面更详细地描述。

在使用上述时间调制照明技术的环境光减少、归一化或校正的情况下，相对运动可能影响环境光去除的质量。根据本文描述的某些实施例，可以实现相对快的图像采集时间，这可以导致环境光减少、校正或归一化，其对于具有图像质量的相对运动是稳健的，图像质量对于皮肤感测应用是有用的。

图2示出了根据某些实施例的用于改善成像的示例系统200。系统200可以至少部分地实现本文描述的某些方法，诸如上面的方法100或下面的方法600。

系统200由对象202使用并且包括成像系统204和照明单元206。成像系统204用于采集方法100中涉及的图像。照明单元206用于提供时间调制照明。成像系统204和/或照明单元206可以由如上所述的用户设备来实现。因此，在一些示例中，单独的用户设备可以包括成像系统204和照明单元206，并且在其他示例中，相同的用户设备可以包括成像系统204和照明单元206。

在一些实施例中，成像系统204包括能够检测与对象202的表面交互的单个或多个光源的用于捕获图像或视频的至少两个成像设备(例如，滚动快门模式的相机)。至少两个成像设备的帧速率可以彼此类似。进一步地，在一些实施例中，至少两个成像设备的成像轴线可以基本上共线。

系统200还包括计算机208(例如，包括由用户设备或服务器或基于云的服务实现的处理电路，用于实现本文所述的某些方法)。因此，计算机208可以通信地耦合到成像系统204和照明单元206，以向这些部件发送信息和/或从这些部件接收信息。例如，计算机208可以从成像系统204接收与第一图像、第二图像和第三图像相对应的数据。该数据可以由计算机208的处理电路处理和/或存储在(例如计算机208的或可访问计算机208的处理电路的)存储器中。在一些实施例中，计算机208可以控制成像系统204和/或照明单元206的操作。在一些实施例中，计算机208包括控制器，用于控制照明参数(例如，用于照明单元206的操作参数)和/或检测参数(例如，用于成像系统204的操作参数)并存储和/或处理所捕获的图像或视频。

图3a至图3b示意性地描绘了根据两个实施例的用于采集第一图像、第二图像和第三图像的两个不同的(例如，图2所示的系统200的)成像系统304a和304b。

图3a的成像系统304a包括第一和第二成像设备310a和310b。这两个成像设备310a-b可以被触发以开始采集在图像之间具有时间延迟的图像，同时仍然在第一图像、第二图像和第三图像中的至少两个图像之间提供时间重叠。第一图像、第二图像和第三图像(在图中分别标记为‘1’、‘2’和‘3’)的采集时序由图3a中的时间线描绘。在开始采集时，使用第一成像设备310a获得第一图像‘1’。在小于第一图像的总采集时间(例如，参见图3a中的框‘1’的'长度')的时间延迟之后，使用第二成像设备310b获得第二图像‘2’。在小于第二图像的总采集时间的另一时间延迟(例如，参见图3a中的框‘2’的“长度”)之后，使用第一成像设备310a采集第三图像‘3’(即，在完成第一图像‘1’的采集之后)。

在上述实施方式中使用两个成像设备310a、310b可以允许在比使用单个成像设备更短的时间内采集第一图像、第二图像和第三图像。因此，以使用成像系统304a来增加有效帧速率。在该示例中，用于采集第二图像‘2’的开始时间是在采集第一图像‘1’期间的中途点。例如，如果用于第一图像‘1’的采集时间是30ms，则第二图像‘2’的采集在第一图像‘2’的采集开始之后15ms开始，并且类似地用于相对于第二图像‘2’采集第三图像‘3’。在其它实施例中，该时序配置可以不同。例如，可以以相对于第一图像‘1’的开始采集(例如，在中途点之前或之后)不同的时间延迟来采集第二图像‘2’，并且类似地用于相对于第二图像‘1’采集第三图像‘3’。

图3b的成像系统304b可以以类似于图3a的成像系统304a的方式实现。然而，成像系统304b包括分别用于采集第一图像、第二图像和第三图像的第一、第二和第三成像设备310a、310b和310c。因此，第三成像设备310c可以在第一成像设备310a已经完成采集第一图像‘1’之前开始采集第三图像‘3’。与图3a的成像系统304a相比，成像系统304b可以提供更快的有效帧速率。

因此，在一些实施例中，成像系统包括用于采集第一图像、第二图像和第三图像的至少两个成像设备。在一些实施例中，至少两个成像设备包括被配置以在滚动快门模式下操作的成像设备(即，滚动快门相机)。这些成像设备可以彼此非常接近地放置，类似于在诸如智能电话的一些设备中可以发现的。在一些实施例中，至少两个成像设备包括被配置为在全局快门模式下操作的成像设备。

此外，在一些实施例中，成像设备中的一者用于采集第一图像、第二图像和第三图像中的至少一个图像，并且成像设备中的至少另一者用于采集第一图像、第二图像和第三图像中的至少另一个图像。

图4示意性地描绘了用于基于实现图3b的成像系统304b来实现本文所述的某些方法的系统，其中使用三个成像设备310a、310b和310c采集第一图像、第二图像和第三图像‘1’、‘2’和‘3’。图4所示的第一图像、第二图像和第三图像以上述空间强度调制图案为特征。基于与这三个图像相对应的数据，可以确定“环境校正的”图像‘4’(例如，根据方法100的框104)。

如上所述，所确定的修改像素信息是基于第一图像、第二图像和第三图像的所接收的像素信息之间的差，以减少所接收的像素信息中的环境照明的影响。所确定的修改像素信息进一步基于所接收的像素信息的组合以抵消在第一图像、第二图像和第三图像中的每个图像中明显的空间强度调制图案。

在一些实施例中，通过减去第一图像、第二图像和第三图像的不同对组合的像素信息以减小所接收的像素信息中的环境照明的影响，并且组合所接收的像素信息以抵消在第一图像、第二图像和第三图像的每个图像中明显的空间强度调制图案，来确定用于构造对象的修改图像的修改像素信息。

在一些实施例中，成像系统被配置为以根据成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系的模式操作。模式可以是：滚动快门模式，其中成像系统的成像时间段长于调制时间段；或全局快门模式，其中成像时间段短于调制时间段。在任一模式中，可以在每个采集的图像中观察空间强度调制图案。

假设三个图像中的空间强度调制图案之间的相移相等(例如，对于上述实施例为120度)，则可以根据示例公式来估计环境校正的图像的强度M_AC：

其中I1是指第一图像中的(像素)强度值，I2是指第二图像中的(像素)强度值，I3是指第三图像中的(像素)强度值。如以上公式所示，基于所接收的第一图像、第二图像和第三图像的像素信息之间的“差异”(即，(I1-I2)等)和所接收的像素信息的“组合”(即，(I1-I2)2+(I2-I3)2+(I1-I3)2))来确定环境校正图像(即，用于构造这种图像的修改像素信息)。在一些实施例中，每个表达式(I1-I2)、(I2-I3)、(I1-I3)是指‘对组合’。本文描述的一些实施例涉及至少一个‘附加图像’(除了第一图像、第二图像和第三图像之外)。因此，可以根据采集了多少图像来修改示例公式。

在一些实施例中，时间调制照明的调制时间段(即，‘照明闪烁’)是大约15ms(即，对于70Hz的调制频率)。通过对于第二成像设备以5ms的延迟和对于第三成像设备以10ms的延迟触发图像的捕获，所捕获的第一图像、第二图像和第三图像中的所产生的空间强度调制图案可以具有120度的相移。

因此，在一些实施例中，第一图像、第二图像和第三图像的采集开始时间之间的时间延迟基于时间调制照明的调制时间段。例如，如果由于照明单元以大于70Hz的频率提供时间调制照明，调制时间段短于上文实施例，则第一图像、第二图像和第三图像之间的时间延迟可以小于上文实施例。

在一些实施例中，采集开始时间(即，第一、第二、第三图像的采集开始时间)之间的时间延迟对应于调制时间段除以图像的数目。因此，在上述实施例中，调制时间段大约为15ms，并且采集三个图像。因此，对于该实施例，使用的时间延迟大约是5ms。

在一些实施例中，与第一图像、第二图像和第三图像相关联的时间调制照明的调制频率和/或帧速率被配置为使得第一图像、第二图像和第三图像的空间强度调制图案之间的相移相同。换句话说，成像系统的调制频率和/或帧速率可以被配置为使得第一图像、第二图像和第三图像之间的相移相同。

在一些实施例中，接收(例如，框102的)数据还包括接收与于对象的至少一个附加图像(例如，由至少两个成像设备中的一者采集的第四图像，第五图像等图像)的至少一部分相对应的数据。第一图像、第二图像、第三图像和至少一个附加图像的采集开始时间之间的时间延迟使得在第一图像、第二图像、第三图像和至少一个附加图像的采集期间存在时间上的重叠。确定(例如，块104的)修改像素信息基于以下各项：所接收的第一图像、第二图像、第三图像与至少一个附加图像的像素信息之间的差异，以减小所接收的像素信息中的环境照明的影响；以及所接收的像素信息的组合，以抵消在第一图像、第二图像、第三图像和至少一个附加图像的每个图像中明显的空间强度调制图案。一些成像设备可以被配置为以采集三个以上的图像(例如，如果这种成像系统被适当地配置和/或如果其包括两个以上或三个以上的成像设备)。

在一些实施例中，第一图像、第二图像、第三图像和至少一个附加图像的采集开始时间之间的时间延迟基于时间调制照明的调制时间段。采集开始时间之间的时间延迟可以对应于调制时间段除以图像的数目。例如，如果成像系统能够采集比上文实施例更多数目的图像(例如，至少四个图像)，则对于相同的调制时间段(即，15ms)，第一图像、第二图像、第三图像，第四(或更多)图像的采集时间之间的时间延迟可以小于上文实施例中的时间延迟。

图5a至图5b示意性地描绘了由成像设备510a、510b、510c(例如，类似于图3b的成像设备310a、310b、310c)实现的滚动快门扫描方向的可能取向。滚动快门扫描方向对于每个成像系统是相同的，使得每个图像中的空间强度调制图案沿相同的方向“扫描”(如图5a至图5b所示)。图5a示出了定位在水平分离位置处的三个成像设备510a、510b、510c，其中滚动快门扫描方向是在垂直方向上。图5b示出了定位在垂直分离位置的三个成像设备510a、510b、510c，其中滚动快门扫描方向是在水平方向上。在一些实施例中，成像设备在与滚动快门扫描方向相同(即，平行)的方向上对准。在一些实施例中，成像设备在与滚动快门扫描方向垂直的方向上对准。

在成像设备的位置在滚动快门扫描方向的不同方向上的情况下，可以使用时间延迟的调整，使得图案的相移相对于目标对象对应于120度。在一些实施例中，滚动快门传感器的扫描方向对于每个传感器是不同的。

图6示出了在某些设置中改善成像的方法600(例如，计算机实现的方法)。方法600可以由诸如用户设备的计算机、或服务器或基于云的服务(例如，通信地耦合到用户设备)来实现。方法600包括方法100的框102和104。方法600的某些框可以被省略和/或图6所示的框可以以与所描绘的顺序不同的顺序来实现。为方便起见，在描述方法600的实施方式时参考图2的系统200。

在一些实施例中，方法600还包括在框602处使成像系统204采集第一图像、第二图像和第三图像。在一些实施例中，可以采集三个以上图像，在这种情况下，可以使成像系统204采集第一图像、第二图像、第三图像和至少一个附加图像。

在一些实施例中，方法600包括在框604处并且在确定修改像素信息之前，标识对象在第一图像、第二图像和第三图像内的位置是否相同。在至少一个图像中的对象的位置与至少另一个图像相比的差异超过阈值(例如，针对图像之间要移位的图像的某一特征的阈值像素数)的情况下，方法600的框604包括在第一图像、第二图像和第三图像中的至少一个图像中实现图像移位操作，使得第一图像、第二图像和第三图像中的每个图像中的对象位置相同。例如，由于成像设备之间的距离和/或由于对象和成像系统之间的相对运动，在执行环境光校正(例如，在框104)之前，可能需要使用图像移位来适当地重新对准图像。

然而，在一些实施例中，为了避免由于成像设备之间的距离而引起的图像偏移问题，可以使用分束器或其它光学布置(未示出)来对完全相同的图像进行成像，但是不同的成像设备被配置为使用相同的光学布置来接收图像。

在一些实施例中，方法600包括在框606处接收时间调制照明的调制参数(例如，调制频率或调制周期)的指示；基于指示确定成像系统204的操作参数(例如，帧速率，图像采集开始时间等)；以及使成像系统204根据操作参数操作。例如，系统200可以确定或接收时间调制照明的调制频率的指示，并且相应地调整帧速率和成像系统204的成像设备之间的时间延迟。

图7示意性地描绘了存储指令702的有形机器可读介质700，当指令702由至少一个处理器704执行时，使至少一个处理器704实现本文所述的某些方法，例如方法100或600。

在该实施例中，指令702包括使至少一个处理器704实现方法100的框102的指令706。指令702还包括使至少一个处理器704实现方法100的框104的指令708。

图8示出了装置800，其可以用于实现本文描述的某些方法，诸如方法100和/或方法600。装置800可以包括具有与关于图2的系统200描述的某些特征相对应的功能的模块(诸如其计算机208)。

装置800包括处理电路802。处理电路802包括接收模块804，其被配置为接收与由成像系统采集的由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息。第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在第一图像、第二图像和第三图像的采集期间存在时间上的重叠。

处理电路802还包括确定模块806，其被配置为基于以下各项确定用于构造对象的修改图像的修改像素信息：第一图像、第二图像和第三图像的所接收的像素信息之间的差异，以减小所接收的像素信息中的环境照明的影响；以及组合所接收的像素信息以抵消在第一图像、第二图像和第三图像的每个图像中明显的空间强度调制图案。空间强度调制图案是由于成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系。

在一些实施例中，装置800还包括用于采集与第一图像、第二图像和第三图像的至少一部分相对应的像素信息的成像系统(例如，图2的成像系统204)。

在一些实施例中，装置800还包括用于提供时间调制照明的照明单元(例如，图2的照明单元206)。

在一些实施例中，成像系统204、304包括至少两个成像设备(例如，图3b的成像设备310a、310b、310c)，其中由至少两个成像设备实现的滚动快门的扫描方向相同。

在一些实施例中，成像系统304包括至少两个成像设备310a、310b、310c。

在一些实施例中，成像系统304被配置为以根据成像系统采集每个图像所在的成像时间段与时间调制照明的调制时间段之间的时序关系的模式操作。模式可以是：滚动快门模式，其中成像系统的成像时间段长于调制时间段；或全局快门模式，其中成像时间段短于调制时间段。

在一些情况下，上述任何模块(例如，接收模块804和/或确定模块806)可以包括至少一个专用处理器(例如，专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)，用于实现模块的功能。

在一些情况下，上述模块(例如，接收模块804和/或确定模块806)可以包括用于实现指令的至少一个处理器，该指令使得至少一个处理器实现上述模块的功能。在这些示例中，指令可以存储在可由至少一个处理器访问的机器可读介质(未示出)中。在一些示例中，模块本身包括机器可读介质。在一些示例中，机器可读介质可以与模块本身分离(例如，模块的至少一个处理器可以被提供为与机器可读介质通信以访问存储在其中的指令)。

虽然已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述应被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。

在一个实施例中描述的一个或多个特征可以与在另一个实施例中描述的特征组合或代替在另一个实施例中描述的特征。例如，图1或图6的方法100、600可以基于关于系统200(参考图2至图5)、机器可读介质700和/或装置800所描述的特征来修改，反之亦然。

本公开包括由以下编号的段落限定的主题：

段落1.一种计算机实现的方法，包括：

接收与由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的数据，其中所述第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在所述第一图像、所述第二图像和所述第三图像的采集期间存在时间上的重叠；以及

基于所述第一图像、所述第二图像和所述第三图像中的每个图像中的空间强度调制图案来确定所述对象的图像的估计强度分布，以减小由光源引起的环境照明的影响。

段落2.根据段落1所述的方法，其中所述第一图像、所述第二图像和所述第三图像的所述采集开始时间之间的所述时间延迟基于所述时间调制照明的调制时间段。

段落3.根据段落2所述的方法，其中所述采集开始时间之间的所述时间延迟对应于所述调制时间段除以所述图像的数目。

段落4.根据前述任一段落所述的方法，其中使用成像设备的至少两个成像设备用于采集所述图像。

段落5.根据段落4所述的方法，其中所述成像设备中的一者用于采集所述第一图像、所述第二图像和所述第三图像中的至少一个图像，并且所述成像设备中的至少另一者用于采集所述第一图像、所述第二图像和所述第三图像中的至少另一个图像。

段落6.根据段落4或5所述的方法，还包括使所述成像系统采集所述第一图像、所述第二图像和所述第三图像。

段落7.根据段落4至6中任一段落所述的方法，包括：接收所述时间调制照明的调制参数的指示；基于所述指示确定所述成像系统的操作参数；以及使所述成像系统根据所述操作参数操作。

段落8.根据前述任一段落所述的方法，其中与所述第一图像、所述第二图像和所述第三图像相关联的所述时间调制照明的调制频率和/或帧速率被配置为使得所述第一图像、所述第二图像和所述第三图像的所述空间强度调制图案之间的相移相同。

段落9.根据前述任一段落所述的方法，包括：在确定所述估计强度分布之前，标识所述对象在所述第一图像、所述第二图像和所述第三图像中的位置是否相同，以及在所述对象在所述图像中的至少一个图像中的位置与所述对象在所述图像中的至少另一个图像中的位置相比的差异超过阈值的情况下，在所述第一图像、所述第二图像和所述第三图像中的至少一个图像中实施图像移位操作，使得所述对象在所述第一图像、所述第二图像和所述第三图像中的每个图像中的所述位置相同。

段落10.根据前述任一段落所述的方法，其中接收所述数据还包括接收与所述对象的至少一个附加图像的至少一部分相对应的数据，其中所述第一图像、所述第二图像、所述第三图像和至少一个附加图像的所述采集开始时间之间的所述时间延迟使得在所述第一图像、所述第二图像、所述第三图像和所述至少一个附加图像的采集期间存在时间上的重叠，并且其中基于所述第一图像、所述第二图像、所述第三图像和所述至少一个附加图像中的每个图像中的所述空间强度调制图案来确定所述估计强度分布。

段落11.估计段落10所述的方法，其中所述第一图像、所述第二图像、所述第三图像和所述至少一个附加图像的所述采集开始时间之间的所述时间延迟基于所述时间调制照明的调制时间段，并且其中所述采集开始时间之间的所述时间延迟对应于所述调制时间段除以所述图像的数目。

段落12.一种存储指令的有形机器可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器实现根据任何前述段落的所述方法。

段落13.一种包括处理电路的装置，所述处理电路包括：

接收模块，用以接收对应于由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分的数据，其中所述第一图像、所述第二图像和所述第三图像的采集开始时间之间的时间延迟使得在所述第一图像、所述第二图像和所述第三图像的采集期间存在时间上的重叠；以及

确定模块，以基于所述第一图像、所述第二图像和所述第三图像中的每个图像中的空间强度调制图案来确定所述对象的图像的估计强度分布，以减小由光源引起的环境照明的影响。

段落14.根据段落13所述的装置，还包括：成像系统，用于采集与所述第一图像、所述第二图像和所述第三图像的至少一部分相对应的所述数据；和/或用于提供所述时间调制照明的照明单元。

段落15.根据段落14所述的装置，其中所述成像系统包括至少两个成像设备，其中由所述至少两个成像设备实现的滚动快门的扫描方向相同。

本公开中的实施例可以作为方法、系统或作为机器可读指令和处理电路的组合来提供。这种机器可读指令可以被包括在其中或其上具有计算机可读程序代码的非暂态机器(例如，计算机)可读存储介质(包括但不限于盘存储、CD-ROM、光存储等)上。

参考根据本公开的实施例的方法、设备和系统的流程图和框图来描述本公开。尽管上述流程图显示了特定的执行顺序，但是执行顺序可以与所描述的不同。关于一个流程图所描述的框可以与另一个流程图的框组合。应当理解，流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以由机器可读指令来实现。

机器可读指令例如可以由通用计算机、专用计算机、嵌入式处理器或其它可编程数据处理设备的处理器来执行，以实现说明书和附图中描述的功能。具体地，处理器或处理电路或其模块可以执行机器可读指令。因此，系统200和/或装置800的功能模块(例如，接收模块806和/或确定模块808)以及本文描述的其它设备可以由执行存储在存储器中的机器可读指令的处理器或者根据嵌入在逻辑电路中的指令操作的处理器来实现。术语“处理器”应广义地解释为包括CPU、处理单元、ASIC、逻辑单元或可编程门阵列等。方法和功能模块可以全部由单个处理器执行或在若干处理器之间划分。

这种机器可读指令还可以被存储在计算机可读存储器中，该机器可读指令可以引导计算机或其他可编程数据处理设备以特定模式操作。

这种机器可读指令还可以被加载到计算机或其他可编程数据处理设备上，使得计算机或其他可编程数据处理设备执行一系列操作以产生计算机实现的处理，因此在计算机或其他可编程设备上执行的指令实现由流程图和/或框图中的(多个)框指定的功能。

此外，本文的教导可以以计算机程序产品的形式来实现，该计算机程序产品被存储在存储介质中，并且包括用于使计算机设备实现本公开的实施例中所述的方法的多个指令。

关于一个实施例描述的元素或步骤可以与关于另一实施例描述的元素或步骤组合或由其代替。通过研究附图、公开内容和所附权利要求，本领域技术人员在实施所要求保护的本发明时可以理解和实现对所公开的实施例的变型。在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求中所述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。计算机程序可以被存储或分布在合适的介质上，诸如与其他硬件一起供应或作为其他硬件的一部分供应的光存储介质或固态介质，但是也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。

Claims (15)

1.一种计算机实现的方法(100)，包括：

接收(102)与由成像系统采集的由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息，其中所述第一图像、所述第二图像和所述第三图像的采集开始时间之间的时间延迟使得在所述第一图像、所述第二图像和所述第三图像的采集期间存在时间上的重叠；以及

基于以下项确定(104)用于构造所述对象的修改图像的修改像素信息：

所述第一图像、所述第二图像与所述第三图像的所接收的所述像素信息之间的差异，用以减小所接收的所述像素信息中的环境照明的影响；以及

所接收的所述像素信息的组合，用以抵消在所述第一图像、所述第二图像和所述第三图像中的每个图像中明显的空间强度调制图案，其中所述空间强度调制图案是由于所述成像系统采集每个图像所在的成像时间段与所述时间调制照明的调制时间段之间的时序关系。

2.根据权利要求1所述的方法，其中所述第一图像、所述第二图像和所述第三图像的所述采集开始时间之间的所述时间延迟基于所述时间调制照明的所述调制时间段，并且其中所述采集开始时间之间的所述时间延迟对应于所述调制时间段除以所述图像的数目。

3.根据前述权利要求中任一项所述的方法，其中所述成像系统包括用于采集所述第一图像、所述第二图像和所述第三图像的至少两个成像设备。

4.根据权利要求3所述的方法，其中所述成像设备中的一个成像设备用于采集所述第一图像、所述第二图像和所述第三图像中的至少一个图像，并且所述成像设备中的至少另一成像设备用于采集所述第一图像、所述第二图像和所述第三图像中的至少另一图像。

5.根据权利要求3或4所述的方法，还包括：使所述成像系统采集(602)所述第一图像、所述第二图像和所述第三图像。

6.根据权利要求3至5中任一项所述的方法，包括(606)：接收所述时间调制照明的调制参数的指示；基于所述指示确定所述成像系统的操作参数；以及使所述成像系统根据所述操作参数来操作。

7.根据前述权利要求中任一项所述的方法，其中与所述第一图像、所述第二图像和所述第三图像相关联的所述时间调制照明的调制频率和/或帧速率被配置成使得所述第一图像、所述第二图像和所述第三图像的所述空间强度调制图案之间的相移相同。

8.根据前述权利要求中任一项所述的方法，包括：在确定所述修改像素信息之前，标识(604)所述对象在所述第一图像、所述第二图像和所述第三图像中的位置是否相同；以及在所述对象在所述图像中的至少一个图像中的位置与所述图像中的至少另一图像相比的差异超过阈值的情况下，在所述第一图像、所述第二图像和所述第三图像中的至少一个图像中实现图像移位操作，使得所述对象在所述第一图像、所述第二图像和所述第三图像中的每个图像中的所述位置相同。

9.根据前述权利要求中任一项所述的方法，其中用于构造所述对象的所述修改图像的所述修改像素信息是通过以下来确定的：减去所述第一图像、所述第二图像和所述第三图像的不同对组合的像素信息以减小所接收的所述像素信息中的所述环境照明的影响，并且组合所接收的所述像素信息以抵消在所述第一图像、所述第二图像和所述第三图像中的每个图像中明显的所述空间强度调制图案。

10.根据前述权利要求中任一项所述的方法，其中所述成像系统被配置为以根据所述成像系统采集每个图像所在的所述成像时间段与所述时间调制照明的所述调制时间段之间的时序关系的模式操作，其中所述模式是：

滚动快门模式，其中所述成像系统的所述成像时间段长于所述调制时间段；或

全局快门模式，其中所述成像时间段短于所述调制时间段。

11.根据前述权利要求中任一项所述的方法，其中接收所述数据还包括：接收与所述对象的至少一个附加图像的至少一部分相对应的像素信息，其中所述第一图像、所述第二图像，所述第三图像和至少一个附加图像的所述采集开始时间之间的所述时间延迟使得在所述第一图像、所述第二图像，所述第三图像和所述至少一个附加图像的采集期间存在时间上的重叠，并且其中所述修改像素信息是基于以下项确定的：

所述第一图像、所述第二图像、所述第三图像与所述至少一个附加图像的所接收的所述像素信息之间的差异，用以减小所接收的所述像素信息中的环境照明的影响；以及

所接收的所述像素信息的组合，用以抵消在所述第一图像、所述第二图像，所述第三图像和所述至少一个附加图像的每个图像中明显的空间强度调制图案。

12.一种存储指令(702)的有形机器可读介质(700)，所述指令在由至少一个处理器(704)执行时使所述至少一个处理器实现根据前述任一权利要求所述的方法。

13.一种包括处理电路(802)的装置(800)，所述处理电路包括：

接收模块(804)，被配置为接收与由成像系统采集的由时间调制照明照射的对象的第一图像、第二图像和第三图像的至少一部分相对应的像素信息，其中所述第一图像、第二图像和第三图像的采集开始时间之间的时间延迟使得在所述第一图像、所述第二图像和所述第三图像的采集期间存在时间上的重叠；以及

确定模块(806)，被配置为基于以下项来确定用于构造所述对象的修改图像的修改像素信息：

所述第一图像、所述第二图像与所述第三图像的所接收的所述像素信息之间的差异，用以减小所接收的所述像素信息中的环境照明的影响；以及

所接收的所述像素信息的组合，用以抵消在所述第一图像、所述第二图像和所述第三图像中的每个图像中明显的空间强度调制图案，其中所述空间强度调制图案是由于所述成像系统采集每个图像所在的成像时间段与所述时间调制照明的调制时间段之间的时序关系。

14.根据权利要求13所述的装置，还包括：所述成像系统(204)和/或照明单元(206)，所述成像系统(204)用于采集与所述第一图像、所述第二图像和所述第三图像的至少一部分相对应的所述像素信息；所述照明单元(206)用于提供所述时间调制照明。

15.根据权利要求13或14所述的装置，其中所述成像系统(304)包括至少两个成像设备(310a，310b，310c)，并且其中所述成像系统被配置为以根据所述成像系统采集每个图像所在的所述成像时间段与所述时间调制照明的所述调制时间段之间的所述时序关系的模式操作，其中所述模式是：

滚动快门模式，其中所述成像系统的所述成像时间段长于所述调制时间段；或

全局快门模式，其中所述成像时间段短于所述调制时间段。

Images