CN121368898A - 事件域快速连续包围曝光 - Google Patents

Abstract

提供了一种用于基于事件的图像包围曝光的装置和方法。所述装置包括图像摄像机和事件摄像机。所述图像摄像机用固定摄像机设置采集一个或多个图像。所述图像摄像机的所述设置迅速改变，并且所述事件摄像机记录事件。然后，所采集的一个或多个图像和被包围曝光事件的一部分被融合，以生成合成图像。合成图像可以是具有期望的摄像机设置的图像，或者是具有所述图像摄像机在任何设置下都无法捕获的属性的图像，例如全焦图像。最锐对焦设置的距离也可以从所述被包围曝光事件中确定。然后，所述图像摄像机的焦点被设置为这个确定的距离。

Description

事件域快速连续包围曝光

技术领域

所公开的实施例的各方面大体上涉及摄像机，更具体地，涉及图像包围曝光。

背景技术

图像包围曝光是一种摄像机技术，其中，用不同的摄像机设置捕获同一场景的多个图像。不同的设置可以包括但不限于曝光、对焦、光圈和变焦。许多现代摄像机都具有内置图像包围曝光功能，使得拍摄多个图像和执行图像包围曝光变得更加容易。

有许多方法可以实现图像包围曝光。典型的方案通常支持使用不同的摄像机设置捕获极少的图像（例如3个图像）。但是，这些方案往往是耗时和资源密集型的。此外，在图像采集过程期间，传统的图像包围曝光可能会受到由运动引起的模糊和未对齐的影响。

因此，需要一种改进的用于图像包围曝光的装置和方法。相应地，希望提供至少部分解决上述问题的装置和方法。

发明内容

所公开的实施例的各方面针对一种用于图像包围曝光的装置和方法。所公开的实施例的各方面结合事件摄像机和图像摄像机的属性，以克服传统包围曝光的局限。一个或若干个曝光良好的锚图像是用固定摄像机设置采集的。然后，在swiftl摄像机设置改变时，被包围曝光事件被捕获。摄像机设置以本文通常所说的“快速的方式”改变。在一个实施例中，使用专门的致动器或设备以自动方式改变摄像机设置。之所以能实现这种速度效率，是因为可以改变摄像机设置，而无需曝光图像。由于事件具有极高的时间分辨率，因此摄像机的透镜元件可以迅速地调整，或者以对应的硬件致动器或控件所允许的速度尽快调整。摄像机设置可以包括例如但不限于对焦距离、光圈开口或镜头放大率。以这种方式，所公开的实施例的各方面产生具有优越性质或特征的合成图像。例如，在焦点包围曝光的情况下，可以生成全焦图像，其中，图像的所有部分都显得清晰。

根据第一方面，通过一种装置获取上述和进一步的实现方式和优点。在一个实施例中，装置包括图像摄像机和事件摄像机。处理器可以与图像摄像机和事件摄像机通信地耦合。存储器可以与处理器通信地耦合。存储器通常包括程序指令，程序指令在由处理器执行时，使装置用图像摄像机采集感兴趣区域的一个或多个图像，并在改变摄像机的一个或多个设置时用事件摄像机记录感兴趣区域的被包围曝光事件。然后，所采集的一个或多个图像和所记录的被包围曝光事件的至少一部分被组合或融合，以产生具有摄像机的期望设置的图像。基于事件执行图像包围曝光更具内存和能源效率，能够实现更快的采集，并且生成的一个或多个合成图像不会因采集过程期间的对象运动而降级。

在一种可能的实现方式中，装置用于向事件摄像机注册摄像机设置的连续变化。所公开的实施例的各方面实现了对摄像机设置的连续采样和探测摄像机的所有可能设置。

在一种可能的实现方式中，装置用于快速改变摄像机的设置。所公开的实施例的各方面使得摄像机的设置能够以摄像机硬件或致动器允许的速度尽快改变。这能够实现快速采集，因为用摄像机的固定设置仅捕获一个图像，并在快速改变设置时记录事件。

在一种可能的实现方式中，装置用于在时间上同步图像摄像机和事件摄像机。所公开的实施例的各方面允许在摄像机设置改变时捕获或记录事件。

在一种可能的实现方式中，装置还用于在摄像机的对焦设置改变时记录被包围曝光事件。然后，图像可以被融合以获取具有优异质量的图像，例如全焦图像，以扩展景深。所公开的实施例的各方面能够实现快速采集，因为在固定设置下捕获一个图像，并在快速改变设置时记录事件。

在一种可能的实现方式中，装置还用于从所记录的事件中确定对焦距离和对焦帧。所公开的实施例的各方面能够快速确定对焦距离，例如5毫秒，同时对运动模糊、强光和弱光具有鲁棒性。

在一种可能的实现方式中，所确定的对焦距离用于对焦基于帧的摄像机，例如但不限于红绿蓝（red-green-blue，RGB）摄像机。所公开的实施例的各方面能够快速确定对焦距离，同时对运动模糊、强光和弱光具有鲁棒性。

在一种可能的实现方式中，摄像机的对焦设置从最近距离改变到最远距离或从较远距离改变到最近距离。对焦设置调整可以从任何任意设置开始，并跨整个设置范围，例如最近到最远或最远到最长，或它们之间的任何合适范围。

在一种可能的实现方式中，摄像机的对焦设置的改变是任意的。对焦设置调整可以从任意设置开始，并跨越整个设置范围。所公开的实施例的各方面提供了连续的而不是离散的包围曝光。

在一种可能的实现方式中，通过最大化感兴趣区域的事件或事件图像的对比度来确定对焦距离。与基于对比度的对焦相比，提供了更快的对焦。

在一种可能的实现方式中，感兴趣区域的一个或多个图像是摄像机使用摄像机的不同对焦设置采集的，并且被包围曝光事件是在改变摄像机的对焦距离时记录的。所公开的实施例的各方面能够在改变或调整摄像机的设置时捕获事件。

在一种可能的实现方式中，装置还用于将一个或多个图像与所记录的被包围曝光事件进行组合，所记录的被包围曝光事件是焦点被包围曝光事件。这能够在不调整焦点的情况下捕获图像。

在一种可能的实现方式中，所采集的一个或多个图像与被包围曝光事件的至少一部分的融合用于控制摄像机的设置。所公开的实施例的各方面允许控制摄像机以生成更高质量的图像。

在一种可能的实现方式中，图像摄像机和事件摄像机包括混合传感器。混合传感器的使用消除了对单独设备的需要，并且不需要事件和图像的几何对齐。

根据第二方面，通过一种方法获取上述以及其它实现方式和优点。在一个实施例中，该方法包括：用摄像机采集一个或多个图像；改变摄像机的一个或多个设置；在改变一个或多个设置期间用事件摄像机记录一个或多个被包围曝光事件；将所采集的一个或多个图像与所记录的一个或多个被包围曝光事件进行组合，以生成具有摄像机的期望设置的图像。基于事件执行图像包围曝光更具内存和能源效率，能够实现更快的采集过程，并且在采集过程期间不会因对象运动而降级。

在一种可能的实现方式中，该方法还包括在摄像机的对焦设置改变时记录被包围曝光事件。所公开的实施例的各方面消除了在抓拍摄影中花费时间对帧摄像机进行对焦的需要。

在一种可能的实现方式中，该方法还包括从所记录的被包围曝光事件中确定对焦距离和对焦帧。

在一种可能的实现方式中，该方法还包括将摄像机的对焦设置从最近距离改变为最远距离。

在一种可能的实现方式中，该方法还包括：摄像机使用摄像机的不同对焦设置采集感兴趣区域的一个或多个图像，并在改变摄像机的对焦设置时记录被包围曝光事件。所公开的实施例的各方面提供了事件域快速连续图像包围曝光，并应用于自动对焦、重新对焦和全焦成像。

在一种可能的实现方式中，该方法还包括：在时间上同步图像摄像机和事件摄像机。所公开的实施例的各方面减少了在图像采集期间由于对象运动引起的问题。

在一种可能的实现方式中，该方法还包括在几何上对齐所捕获的图像和所记录的事件。所公开的实施例的各方面减少了在图像采集期间由于对象运动引起的问题。

在一种可能的实现方式中，该方法还包括：扫描摄像机的所有可能设置。所公开的实施例的各方面能够从任何任意设置开始摄像机设置改变并跨整个摄像机设置范围。

在一种可能的实现方式中，该方法还包括：在扫描摄像机的所有可能设置时，用事件摄像机捕获事件。所公开的实施例的各方面能够从任何任意设置开始摄像机设置改变并跨整个摄像机设置范围。

在一种可能的实现方式中，该方法还包括基于所采集的图像和所记录的被包围曝光事件的组合来生成重新对焦的图像。所公开的实施例的各方面从图像和具有“全焦”等属性的被包围曝光事件生成合成图像，这些属性不能用常规图像包围曝光实现。

在一种可能的实现方式中，该方法还包括基于所采集的图像和所记录的被包围曝光事件的组合来生成全焦图像。当由于摄像机的景深有限而不可能直接采集图像时，所公开的实施例的各方面能够计算全焦图像。

根据第三方面，通过包括非瞬时性计算机程序指令的计算机程序产品获取上述和进一步的实现方式和优点，非瞬时性计算机程序指令在由处理器执行时用于使处理器执行根据任一种可能的实现方式的方法。

根据第四方面，通过装置获取上述和进一步的实现方式和优点。在一个实施例中，装置包括图像摄像机和事件摄像机。处理器可以与图像摄像机和事件摄像机通信地耦合。存储器可以与处理器通信地耦合。存储器通常包括程序指令，该程序指令在由处理器执行时，使装置在改变摄像机的一个或多个设置的时用事件摄像机记录感兴趣区域的被包围曝光事件。最锐焦点的距离从被包围曝光事件计算，并且图像摄像机的焦点被设置为该距离。基于事件执行图像包围曝光更具内存和能源效率，能够实现更快的采集，并且生成的一个或多个合成图像不会因采集过程期间的对象运动而降级。

从这些结合附图描述的实施例中，示例性实施例的这些和其它方面、实现方式和优点显而易见。但应理解，此类描述和附图仅用于说明的目的，而不能作为对所公开发明的限制；对本发明的任何限制，应参考所附权利要求书。本发明的附加方面和优点将在随后的说明书阐述，并且，部分方面和优点在说明书中显而易见，或者可以通过实施本发明而了解。此外，本发明的方面和优点可以通过所附权利要求书中特别指出的手段或结合方式实现和获取。

附图说明

在本发明的以下详述部分中，将参考附图中所示出的示例性实施例来详细解释本发明，其中，相同的附图标记表示相同的元件，并且：

图1示出了结合所公开的实施例的各方面的示例性装置的框图。

图2示出了结合所公开的实施例的各方面的示例性装置的框图。

图3示出了描绘结合所公开的实施例的各方面的用于事件图像包围曝光的示例性方法的流程图。

图4示出了描绘结合所公开的实施例的各方面的事件图像包围曝光的示例性过程流的流程图。

图5示出了结合所公开的实施例的各方面的事件图像包围曝光的示例性过程流。

图6示出了结合所公开的实施例的各方面的事件图像包围曝光的示例性过程流。

图7示出了结合所公开的实施例的各方面的事件图像包围曝光的示例性过程流。

图8示出了结合所公开的实施例的各方面的事件图像包围曝光的示例性过程流。

具体实施方式

图1示出了结合所公开的实施例的各方面的用于事件域图像包围曝光的示例性装置100的框图。如图1的示例所示，在一个实施例中，示例性装置100通常包括摄像机102和事件摄像机106。摄像机102也可以被称为或理解为“图像”摄像机或基于“帧”的摄像机。

图像摄像机102通常用于用固定摄像机设置采集感兴趣场景108的一个或多个图像。在一个实施例中，图像摄像机102是红-绿-蓝（red-green-blue，RGB）型摄像机。在替代实施例中，任何合适的摄像机或传感器可以用于图像摄像机102，包括例如但不限于格雷图案摄像机或其它拜耳图案摄像机。

事件摄像机106用于在调整或改变图像摄像机102的设置时记录被包围曝光事件。事件摄像机106通常包括响应场景亮度的局部变化的成像传感器。事件摄像机106也可以称为或包括神经形态摄像机、硅视网膜传感器或动态视觉传感器。通常，所公开的实施例的各方面不意图受特定类型的事件摄像机的限制。

通常，事件摄像机106的每个像素独立且异步地运行。发生亮度变化时，会生成事件。事件摄像机106用于异步地测量每像素的亮度变化，并输出对亮度变化的时间、位置和符号进行编码的事件流。在一个实施例中，所公开的实施例的事件摄像机106可以包括高时间分辨率摄像机。使用高时间分辨率事件摄像机106允许以被包围曝光事件的形式在极短的时间间隔内记录具有所有中间摄像机设置的连续图像空间。事件表示是高度压缩的，需要的内存少于存储图像所需的内存。在替代实施例中，事件摄像机106可以包括任何合适类型的事件摄像机。

所公开的实施例的事件摄像机106通常具有较低的功率要求，从而使得所公开的实施例的各方面能够实现极高的能效。附加地，因为事件摄像机106的采集时间短，所以事件不会受到运动模糊的影响。因此，在很大程度上避免了图像采集期间由于运动引起的问题。

在一个实施例中，装置100用于组合或“融合”所采集的一个或多个图像和所记录的被包围曝光事件的至少一部分。融合通常用于生成具有摄像机102的期望设置的图像。可替换地，产生具有图像摄像机102在任何设置下都无法捕获的属性的图像，例如全焦图像。附加地，融合过程可以用于例如通过改变图像摄像机102的焦点进一步控制图像摄像机102。

所公开的实施例的各方面还能够控制图像摄像机102的设置，例如摄像机焦点。例如，在一个实施例中，所公开的实施例的各方面能够计算离被包围曝光事件的最锐焦点的距离。然后，可以手动或自动地将图像摄像机102的焦点设置为该计算的距离。

在一个实施例中，装置100包括处理器110和存储器112。处理器110通常与存储器112通信地耦合。存储器112除其它外通常包括程序指令，该程序指令在由处理器110执行时，使装置100用图像摄像机102采集感兴趣区域的一个或多个图像。所采集的图像也可以称为“锚图像”，通常是曝光良好或质量良好的图像。虽然本文通常指一个或多个图像，但所公开的实施例的各方面允许具有所捕获的单个图像的图像包围曝光功能。

通常，在图像摄像机102的设置固定时捕获一个或多个图像。在图像被捕获时，图像摄像机102和事件摄像机106的光学器件可以被设置为相同的设置。例如，对于焦点包围曝光，使用相同的焦点设置和景深设置。

所公开的实施例的各方面允许在图像摄像机102采集图像之前或之后由事件摄像机106捕获事件。当事件摄像机106正在捕获事件时，例如但不限于焦点、焦距或光圈的摄像机设置被快速改变。根据透镜或光学器件的类型，改变摄像机设置的速度可以是毫秒量级，例如但不限于5毫秒。改变或调整摄像机102的设置的速度通常仅受用于控制和调整摄像机设置的摄像机102的致动器硬件的能力的限制。

在一个实施例中，使用事件摄像机106，装置100用于在图像摄像机102的一个或多个设置改变时，记录感兴趣区域110的事件，本文也称为“被包围曝光事件”。所公开的实施例的各方面在用事件摄像机106记录事件时实现了对摄像机设置的连续采样。所公开的实施例的各方面能够探测摄像机的所有可能设置，例如从任意设置开始，并且跨摄像机的设置的整个或其它合适范围。

图像摄像机102和事件摄像机106通常以能够分别从感兴趣场景108捕获图像和事件的方式定位。在替代实施例中，图像摄像机102和事件摄像机106可以以任何合适的方式定位，包括例如但不限于并排、立体配置、具有分束器的配置或实现为单个混合传感器，如下面将进一步描述的。

仍然参考图1，在一个实施例中，图像摄像机102和事件摄像机106可以在时间上和几何上同步和对齐。在图1的示例中，同步块或模块104可以用于在时间上同步图像摄像机102和事件摄像机106。在替代实施例中，图像摄像机102和事件摄像机106可以以任何合适的方式在时间上和几何上同步。

尽管图1的示例示出了单独的同步块或模块104，但所公开的实施例的各方面不限于此。在替代实施例中，可以以任何合适的方式实现图像摄像机102和事件摄像机106的同步和/或几何对齐。例如，图像摄像机102或事件摄像机106中的一个或多个可以包括或结合同步模块104。

图像摄像机102和事件摄像机106还可以包括“基于帧的”传感器和“基于事件的”传感器。这样的传感器将具有类似的视场，并具有时间同步。在一些实现方式中，图像摄像机102和事件摄像机106将具有类似的光学器件。

在一个实施例中，在图像摄像机102和事件摄像机106中的一个或多个中实现液体透镜。使用可调节的液体透镜可以实现快速的焦点调整，例如大约5毫秒。

图2示出了结合所公开的实施例的各方面的装置200的框图。在该示例中，图像摄像机102和事件摄像机106中的一个或多个被替换为或实现为混合传感器210。混合传感器通常在一个硅器件上实现事件像素和正常RGB像素。这消除了对图像摄像机102和事件摄像机106的分离设备的需要。结合所公开的实施例的各方面使用混合传感器的主要好处之一是不需要事件和图像的几何对齐。

图3示出了结合所公开的实施例的各方面的过程300的示例。在一个实施例中，一个或多个图像被采集或捕获302。所捕获的图像，在本文中也称为“锚图像”，通常是曝光良好或质量良好的图像。在一个实施例中，由图1的图像摄像机102采集的一个或多个图像是用固定摄像机设置采集的。摄像机设置通常包括但不限于对焦距离、光圈开口或镜头放大率。

然后，过程300包括在图像摄像机102的设置改变时，利用图1的事件摄像机106记录事件304，本文也称为“被包围曝光事件”。改变（304）图像摄像机102的设置可以包括扫描图像摄像机102的设置。在一个实施例中，改变（304）设置可以涉及在没有任何中间停止的情况下扫描摄像机设置。所公开的实施例的各方面能够在极短的时间间隔内探测图像摄像机102的所有可能设置。时间间隔可以在镜头致动器的支持下尽可能小。通常，所捕获的图像和所记录的事件在时间上是同步的，并且在几何上对齐。

在一个实施例中，一个或多个所采集的图像和一个或多个被包围曝光事件被组合或融合（306）。在一个实施例中，方法300包括将所采集的图像和被包围曝光事件的至少一部分融合（306），被包围曝光事件描述了从所采集的图像到潜在图像的变化与期望的摄像机设置。例如，在一个实施例中，从所有记录的事件中，仅捕获当透镜将焦点从对应于所采集的图像的设置改变到对应于潜像的设置时触发的事件。在替代实施例中，使用所有被包围曝光事件。

在一个实施例中，融合（306）可以生成（308）具有期望的摄像机设置的图像。一个或多个期望的摄像机设置可以包括例如但不限于对焦、光圈开口或变焦。所生成的图像308也可以称为合成图像。在替代实施例中，融合（306）可以生成具有用图像摄像机102无法捕获的属性的图像，例如全焦图像。在另一实施例中，融合306可以用于控制图像摄像机102的设置，例如摄像机焦点。

这些合成图像通常具有优于原始摄像机设置的属性。例如，在焦点包围曝光的情况下，生成全焦图像，其中，图像的所有部分都显得清晰。

使用对焦被包围曝光事件自动对焦

所公开的实施例的各方面能够使用被包围曝光事件栈找到最佳对焦距离。然后，可以使用最佳对焦距离设置相应地对RGB摄像机等图像摄像机102进行对焦。当在图像摄像机102上使用液体透镜时，可以在大约五（5）毫秒内尽可能快地确定最佳对焦距离。尽管本文通常指的是大约五（5）毫秒的时间帧，但是所公开的实施例的各方面并不限于此。在替代实施例中，时间帧可以是除包括五（5）毫秒之外的任何合适的时间帧。

典型的自动对焦方法通常包括对比度检测自动对焦（contrast detection autofocus，CDAF）和相位检测自动对焦（phase detection auto focus，PDAF）。这些方法捕获焦点被包围曝光图像，然后在感兴趣区域中找到具有最佳对比度的图像。但是，每个图像都必须适当曝光和无模糊。典型的对比度检测自动对焦通常较慢，无法处理快速移动的对象。相位检测自动对焦（phase detection auto focus，PDAF）在具有挑战性的光照条件（例如强光或弱光）下往往表现不太好。

通过基于焦点被包围曝光事件中的对比度检测对摄像机102进行对焦，所公开的实施例的各方面可以提供具有事件包围曝光或焦点被包围曝光事件的自动对焦。参考图4，示出了使用焦点被包围曝光事件自动对焦的过程流400的一个实施例。所公开的实施例的各方面能够从被包围曝光事件确定最锐焦点的距离，然后将图像摄像机102设置或物理地重新对焦到该距离。

如图4所示，在图像摄像机102的一个或多个对焦设置改变时，事件摄像机106捕获一个或多个被包围曝光事件402，本文称为“焦点被包围曝光事件”，如以上所描述。作为说明性的非限制性示例，在从最近距离到最远距离、或从最远距离到最近距离、或它们之间的任何范围中的一个或多个重新对焦图像摄像机102时，可以由事件摄像机106捕获对焦被包围曝光事件。在替代实施例中，对焦设置改变可以从任何期望的或任意的设置开始，并且跨整个设置范围，而不是包括最近到最远或最远到最近。

然后从被包围曝光事件中确定或计算最锐焦点的距离404。例如，所公开的实施例的各方面可以将事件离散成事件图像，并找到具有最大对比度的事件图像。图像摄像机102或RGB摄像机的对焦框可以被设置或调整（406）到该距离，以提供重新对焦的图像。

在一个实施例中，通过最大化感兴趣区域108的事件切片的对比度来确定或计算最佳对焦距离。与其它方法相比，与基于对比度的对焦相比，所公开的实施例的方法提供了更快的对焦。所公开的实施例的方法对对象运动也是鲁棒的，并且由于事件摄像机106的高时间分辨率和高动态范围，在强光和弱光等困难光照条件下表现良好。

焦点被包围曝光事件的重新对焦

现有的基于深度和图像分割的重新对焦通常取决于深度传感器的质量。重新对焦的结果通常不允许恢复模糊区域。

参考图5，所公开的实施例的各方面实现了使用所采集的单个图像和焦点被包围曝光事件进行焦点被包围曝光事件的重新对焦。所公开的实施例的各方面通过将事件和图像与另一焦点融合，实现“数字”重新对焦。

如图5的示例性过程流所示，所采集的图像502是融合模块506的输入。所采集的图像502包括由图1的图像摄像机102捕获的图像。在一个实施例中，所采集的图像502包括由图像摄像机102以不同的焦点采集的图像。

在该示例中，被包围曝光事件504是在图像摄像机102的对焦距离快速改变时由图1的事件摄像机106记录或捕获的事件。例如，这可以包括在焦点从最近到最远、从较远到最近或两者之间的任何范围变化（遍历所有可能的设置）时捕获的事件。该示例中的被包围曝光事件504描述了从所采集的图像到具有期望焦点的潜在图像的转换。在一个实施例中，事件输入504仅包括当图像摄像机102的镜头将焦点从对应于所采集图像的设置改变到对应于潜图像的设置时被触发的那些事件。

该示例中的融合模块或算法506用于处理一个或多个所采集的图像502和所捕获的事件输入504，以生成具有期望焦点的合成图像508，也称为“重新对焦的图像”。在一个实施例中，通过执行基本的基于事件的图像插值来处理事件包围曝光采集期间的运动。

在一个实施例中，融合模块506可以包括可以用于生成重新对焦的图像508的神经网络架构。示例性神经网络架构的一个示例是“UNET”。在替代实施例中，可以使用任何合适的神经网络架构。

与传统的重新对焦方法不同，所公开的实施例的各方面产生了真实的重新对焦，而不需要深度和图像分割，并且允许恢复锚图像上模糊的区域。所公开的实施例的快速连续事件包围曝光提供了更少的内存使用、能效和高速等优点。所公开的实施例的各方面可以在不对焦的情况下捕获图像，这在时间敏感的快照摄影中尤其重要。

焦点被包围曝光事件的全焦

现有的焦点叠加方法需要具有不同焦点的多个图像。这些方法往往速度慢，能量和记忆效率低下，并且由于图像采集期间的运动而导致运动模糊和失准。

参考图6，所公开的实施例的各方面从所捕获或采集的单个图像输入602和所有焦点被包围曝光事件604实现焦点被包围曝光事件的全焦。在一个实施例中，过程流600使用融合算法606融合一个或多个所采集的图像输入602和被包围曝光事件输入604。结果608是全焦图像。

在图6的示例中，被包围曝光事件输入604包括事件摄像机106记录的所有焦点被包围曝光事件。这与图5的示例不同，在图5中，被记录的事件仅是在焦点从输入图像的焦点改变到期望焦点时检测到的那些事件。

所公开的实施例的方法允许在由于摄像机102的景深有限而无法直接采集图像的情况下计算全焦图像。这在微距摄影或风景摄影等情况下特别适用。

事件与图像的几何融合

由于事件传感器的对比度灵敏度有限，当事件数据稀疏时，用于图像重新对焦和全焦成像的事件包围曝光和锚图像的直接融合并不能提供良好的结果。为了解决这个问题，所公开的实施例的各方面可以使用几何融合来重新对焦和全焦成像。所公开的实施例的各方面不是直接预测像素强度，而是应用几何方法并预测每像素模糊/去模糊内核，并将预测的每像素内核应用于原始图像。

参考图7，在一个实施例中，过程流700采用一个或多个所采集的图像702的输入和在对焦设置被改变时捕获的所有事件的输入704，并估计每像素模糊或伪去模糊内核708。该内核708被应用于输入图像702以生成全焦图像710。过程700利用了模糊/去模糊内核可以从稀疏事件中密集估计的事实。

图8与图7类似，不同之处在于事件输入804不同。在该示例中，类似于图4，所记录的事件输入804仅包括在图像摄像机102的焦点从输入图像的焦点改变到期望焦点时记录的那些事件。例如，事件输入804可以包括在成像摄像机102的焦点从最近到最远改变（遍历所有可能的设置）时捕获的所有事件。每像素模糊或伪去模糊内核被估计（808），并被应用于输入图像802以生成重新对焦的图像810。

所公开的实施例的各方面用固定摄像机设置采集或捕获一个或多个图像。然后，在摄像机的设置快速改变而无需中间停止时，由事件摄像机记录被包围曝光事件。事件表示是高度压缩的，所需的内存比图像更少。通过将一个或多个所采集的图像与被包围曝光事件融合，所公开的实施例的事件成像包围曝光提供了更好的内存和能量效率、快速图像采集过程、连续而不是离散的包围曝光以及在采集过程期间由于对象运动而产生的问题较少等优点。

使用焦点被包围曝光事件自动对焦不需要捕获图像和事件并将图像与事件融合。它仅从被包围曝光事件计算最锐焦点的距离，然后将基于帧的摄像机的焦点设置为这个距离。

因此，尽管文中已示出、描述和指出应用于本发明的示例性实施例的本发明的基本新颖特征，但应理解，本领域技术人员可以在不脱离本发明的精神和范围的情况下，对所示出的装置和方法的形式和细节以及设置操作进行各种省略、取代和改变。进一步，明确地希望以大体相同的方式执行大体相同的功能以实现相同结果的那些元件的所有组合均在本发明的范围内。此外，应认识到，结合所公开的本发明的任何形式或实施例进行展示和/或描述的结构和/或元件可作为设计选择的通用项而并入所公开或描述或建议的任何其它形式或实施例中。因此，其意图仅如所附权利要求的范围所表明的那样加以限制。

Claims (15)

1.一种装置（100），其特征在于，包括图像摄像机（102）、事件摄像机（106）和与存储器（112）通信地耦合的处理器（110），其中，所述存储器（112）包括程序指令，所述程序指令在由所述处理器（110）执行时，使所述装置（100）：

用所述图像摄像机（102）采集感兴趣区域的一个或多个图像；

在改变所述图像摄像机（102）的一个或多个设置时，用所述事件摄像机（106）记录所述感兴趣区域的被包围曝光事件；

将所采集的一个或多个图像和所记录的被包围曝光事件的至少一部分进行组合，以生成具有所述图像摄像机（102）的期望设置的图像。

2.根据权利要求1所述的装置（100），其特征在于，所述装置（100）用于向所述事件摄像机（106）注册摄像机设置的连续变化。

3.根据权利要求1或2所述的装置（100），其特征在于，所述装置（100）用于在时间上同步所述图像摄像机（102）和所述事件摄像机（106）。

4.根据上述权利要求中任一项所述的装置（100），其特征在于，所述装置（100）还用于在所述图像摄像机（102）的对焦设置改变时记录所述被包围曝光事件。

5.根据上述权利要求中任一项所述的装置（100），其特征在于，所述装置（100）还用于从所述记录的被包围曝光事件中确定所述图像摄像机的对焦距离和对焦帧中的一个或多个。

6.根据上述权利要求中任一项所述的装置（100），其特征在于，所述图像摄像机（102）的所述对焦设置从最近距离改变到最远距离或从较远距离改变到最近距离。

7.根据上述权利要求中任一项所述的装置（100），其特征在于，所述图像摄像机（102）的所述对焦设置的改变是任意的。

8.根据上述权利要求中任一项所述的装置（100），其特征在于，所述对焦距离是通过最大化所述感兴趣区域的对比度来确定的。

9.根据权利要求1所述的装置（100），其特征在于，所述感兴趣区域的所述一个或多个图像是所述图像摄像机（102）使用所述图像摄像机（102）的不同对焦设置采集的，并且所述被包围曝光事件是在改变所述图像摄像机（102）的对焦距离时记录的。

10.根据上述权利要求中任一项所述的装置（100），其特征在于，所述装置还用于将所述一个或多个图像与所记录的被包围曝光事件进行组合，所记录的被包围曝光事件是焦点被包围曝光事件。

11.一种方法（300），其特征在于，包括：

用图像摄像机采集（302）一个或多个图像；

在改变所述图像摄像机的一个或多个设置时，用事件摄像机记录（304）一个或多个被包围曝光事件；

将所采集的一个或多个图像与所记录的一个或多个被包围曝光事件进行组合（208），以生成具有所述图像摄像机的期望设置的图像。

12.根据权利要求9所述的方法（300），其特征在于，还包括在所述图像摄像机的对焦设置改变时记录被包围曝光事件。

13.根据权利要求11或12所述的方法（300），其特征在于，所述图像摄像机的所述对焦设置从最近距离改变到最远距离或从最远距离改变到最近距离。

14.根据权利要求11所述的方法（300），其特征在于，所述感兴趣区域的所述一个或多个图像是所述图像摄像机使用所述图像摄像机的不同对焦设置采集的，并且所述被包围曝光事件是在改变所述图像摄像机的对焦距离时记录的。

15.一种计算机程序产品，其特征在于，包括非瞬时性计算机程序指令，所述非瞬时性计算机程序指令在由处理器（110）执行时，用于使所述处理器（110）执行根据权利要求11至14中任一项所述的方法。