CN116918342A - 确定用于成像的曝光参数 - Google Patents

Abstract

本发明公开了一种确定用于成像的曝光参数的方法。所述方法包括：使用事件相机检测帧相机的视场角内的亮度变化；根据所述检测到的亮度变化确定用于使用所述帧相机成像的曝光参数。

Description

确定用于成像的曝光参数

技术领域

本发明涉及确定用于成像的曝光参数。

背景技术

使用帧相机获取到的图像的亮度是相机曝光参数的函数。相机曝光参数可以包括曝光时间、增益和光圈大小以及在成像的场景的亮度等。在给定的场景亮度下，为了得到想要的图像亮度，可以调整帧相机的曝光参数。具体地，低环境照度成像条件可以通过调整曝光参数来补偿，以得到想要的高亮度图像。例如，图像亮度可以通过延长曝光时间和/或提高增益来增加。但是，延长曝光时间通常会增加移动场景的图像模糊，而提高增益通常会增加图像噪声。因此，需要在确定用于使用帧相机成像的曝光参数时考虑环境照度条件和/或成像场景的移动。

发明内容

本发明的目的是提供一种根据场景动态变化确定用于使用帧相机成像的曝光参数的方法。根据场景动态变化确定曝光参数会提高图像质量。

本发明的第一方面提供了一种确定用于成像的曝光参数的方法。所述方法包括：使用事件相机检测帧相机的视场角内的亮度变化；根据所述检测到的亮度变化确定用于使用所述帧相机成像的曝光参数。

换句话说，上述方法包括：根据使用事件相机在帧相机(即通过帧相机成像的场景)的视场角内检测到的亮度变化，确定用于使用帧相机获取图像的一个或多个曝光参数，例如，曝光时间、增益和/或光圈大小参数。

成像场景中的这些亮度变化可以指示场景亮度(即环境照度)的大规模变化和/或场景中的运动。场景亮度变化和场景中的运动在确定曝光参数时都很重要，因为两者都会影响图像亮度和/或图像模糊。例如，当在使用帧相机成像的过程中(即在时间分离的图像帧之间)发生场景亮度变化时，可能希望调整帧相机使用的曝光参数来补偿场景亮度变化，从而得到具有想要的图像亮度的图像。此外，当场景中存在运动时，例如，当场景中存在移动物体时，可能希望使用曝光参数来获取图像，从而最大限度地减少图像模糊，同时保持想要的图像亮度。

因此，根据场景亮度变化确定用于成像的曝光参数可以表示，曝光参数考虑了场景亮度变化和/或场景中的运动。这样可以提高使用曝光参数获取到的图像的质量。例如，即使在场景亮度随时间不断变化的场景下，图像亮度也可以在时间分离的图像帧之间保持近似恒定，和/或在存在运动的场景下，图像模糊可以保持在想要的低程度。

通过帧相机成像的场景中的变化(例如，场景亮度变化)和/或场景中的运动可以使用帧相机等装置检测到。但是，帧相机会以30帧每秒(frame-per-second，fps)等固定帧率生成全部图像。在快速变化的场景下，例如，在物体快速移动和/或场景亮度快速变化的场景下，从帧接收数据的延迟(例如，在30fps下，图像数据延迟了33ms)表示确定曝光参数通常会使获取帧滞后几帧。因此，曝光参数可能是不合适的，尤其是在场景中的运动速度或场景亮度快速变化的情况下。此外，帧相机可以全范围地捕获整个视场角的图像数据，并且在操作期间连续地获取图像数据，因此无论场景中是否存在任何运动/亮度变化，都会生成数据。这可能会导致获取到相对较多的图像数据，包括与亮度变化无关的冗余数据，因此需要相对较高的计算资源来识别场景中的亮度变化/推断场景中的运动。

然而，在本发明中，成像场景中的亮度变化是使用事件相机检测的。为了响应某个像素的超过预设阈值的光照强度变化，即亮度变化，事件相机会在其像素之间异步地触发事件。这在本申请中具有优点。具体地，由于事件相机是根据场景动态变化而不是根据与观看到的场景无关的时钟对光进行采样，因此事件相机通常可以提供相对较高的时间分辨率和较低的延迟。此外，由于事件相机只会在亮度变化超过阈值时触发事件，而不是连续地触发事件，和/或由于事件相机中的像素因场景中的亮度变化而被异步地触发，因此事件相机可以有利地生成较少的冗余数据，从而需要较低的计算资源检测场景中的运动/亮度变化。

事件相机相对快速地响应场景中的亮度变化和/或复杂性降低，以及处理由事件相机生成的数据所使用的时间可能会实现相对较快地识别场景中的亮度变化，例如，识别场景亮度变化和/或场景中的运动。有利的是，这可以使得用于使用帧相机成像的曝光参数根据最近的场景动态变化进行设置，和/或相对较快地进行调整以适应场景中的变化。因此，可以进一步提高帧相机获取到的图像的质量。例如，即使在场景亮度随时间不断变化的场景下，图像亮度也可以在场景中的时间分离的图像之间保持相对恒定，和/或即使在存在运动的场景下，图像模糊也可以保持相对较低。

在一种实现方式中，所述方法还包括：根据所述确定的曝光参数使用所述帧相机成像。换句话说，上述方法可以包括以下附加步骤：帧相机使用确定的曝光参数来获取一个或多个图像。在一个简单的示例中，上述方法还可以包括：例如，将确定的曝光参数输出到外部系统，以控制帧相机使用确定的曝光参数来获取图像。

在一种实现方式中，所述确定曝光参数包括：根据所述检测到的亮度变化确定用于使用所述帧相机成像的曝光时间和/或增益。换句话说，上述方法可以包括：根据检测到的亮度变化确定要用于成像的曝光时间和/或增益电平中的一个或两个。确定曝光时间可以控制和/或减少存在运动的场景中的图像模糊。确定增益电平(例如，模拟增益电平和/或数字增益电平)可以控制和/或减少图像中的噪声。

在一种实现方式中，所述使用事件相机检测帧相机的视场角内的亮度变化包括：使用所述事件相机检测所述帧相机的视场角内的不同空间位置上的亮度变化；所述方法还包括：根据所述检测到的亮度变化量化所述帧相机的视场角内的运动，其中，所述确定曝光参数包括：根据所述运动的量确定用于使用所述帧相机成像的曝光参数。

换句话说，上述方法可以包括：根据在视场角内的不同空间位置上检测到的亮度变化，量化场景相对于事件相机的运动，例如，量化场景中的物体运动。上述方法可以被推断来描述场景中的物体运动。

当场景相对于事件相机在移动时，例如，当场景中的物体在移动时，这种移动可能会导致在不同的时间触发事件相机中的像素的亮度变化，具体取决于场景相对于事件相机的运动大小，例如，场景中的移动物体的速度。因此，使用事件相机中的像素之间的像素间距离的已知值和事件检测到的像素之间的时间差，可以量化运动，例如，可以量化移动物体的速度。

根据运动的量(即场景相对于事件相机的运动速度，例如，场景中的物体速度)确定一个或多个曝光参数可以有利地确定最佳减少因运动而引起的图像模糊的曝光参数。因此，可以减少帧相机使用确定的曝光参数获取到的图像中的图像模糊。

在一种实现方式中，所述根据所述运动的量确定用于使用所述帧相机成像的曝光参数包括：确定所述帧相机获取到的图像中的图像模糊的可接受程度，并且确定适用于将所述帧相机获取到的图像中的图像模糊保持在所述可接受程度以下的最大曝光参数。

换句话说，上述方法可以包括：确定图像模糊的可接受程度，例如，帧相机获取到的图像中的模糊的最大允许程度，并且确定仍然可以使帧相机获取图像的曝光参数(例如，曝光时间参数)的最大范围。因此，帧相机获取到的图像中的图像模糊有利地保持在可接受程度以下。这样可以有利地避免获取模糊程度不可接受的图像，例如，最大限度地减少存储与不可接受的模糊图像对应的图像数据所占用的存储容量。例如，上述方法可以包括：确定最大曝光时间参数，其中，该参数基于确定的运动量，仍然可以用于使用帧相机来获取图像模糊不超过可接受程度的图像。例如，确定图像模糊的可接受程度可以包括：确定曝光参数所涉及的计算设备通过人机接口从操作员接收输入值，或访问预定义的模糊值，例如，存储在确定曝光参数所涉及的计算设备可访问的机器可读存储器中的值，从而限定图像模糊的可接受程度。

在一种实现方式中，所述方法包括：确定用于根据所述确定的曝光参数使用所述帧相机成像的另一曝光参数。换句话说，上述方法可以包括：确定补充先前确定的曝光参数的另一(即附加)曝光参数。这可以有利地进一步提高图像质量。例如，当曝光时间参数事先已确定时，上述方法还可以包括：确定补充该曝光时间参数的增益参数和/或光圈大小参数。

在一种实现方式中，所述确定曝光参数包括：确定曝光时间参数；所述方法包括：通过卷帘快门，开始根据初始曝光时间参数使用所述帧相机来获取图像帧，其中，通过所述卷帘快门，所述帧相机中的图像传感器的不同区域的曝光期在相互不同的时间结束；在根据所述初始曝光时间参数使用所述帧相机来获取所述图像帧的过程中，确定所述曝光时间参数；根据与确定的曝光时间相对于初始曝光时间的大小和所述确定的曝光时间相对于根据所述初始曝光参数使用所述帧相机成像的确定时间相关的所述确定的曝光时间参数使用所述帧相机成像。

换句话说，上述方法可以包括：操作帧相机以使用卷帘快门方法成像，其中，通过该卷帘快门方法，帧相机中的图像传感器的不同感测区域(例如，图像传感器中的不同的光电传感器子组)的曝光期错开，使得曝光期在相互不同的时间开始和结束。这种操作模式可以有利地直接通过带宽相对较低的读出信道来读出获取到的图像数据，从而避免获取到的图像数据的中间存储过程。

然而，卷帘快门操作模式(即图像帧中的区域的曝光时间错开)可能会不利地增加获取图像帧的总时间。由于增加了获取帧的时间，用于获取图像帧的初始曝光参数(具体是使用的初始曝光时间参数)在图像传感器的后曝光区域的曝光时间可能相对较旧。在动态场景下，这可能会导致图像质量不理想。例如，当场景包括运动速度快速变化的物体时，初始曝光参数(例如，初始曝光时间参数)相对于图像传感器的后曝光区域曝光可能过长，从而导致不可接受的高程度图像模糊。

因此，上述方法提供了在帧相机根据初始曝光时间参数获取图像帧的过程中(即在获取图像帧的中途)，根据事件相机检测到的亮度变化确定曝光时间参数，随后使用新确定的曝光时间参数成像。新确定的曝光时间参数会更适用于获取图像帧的全部或部分，上述方法因此有利地提高了图像质量，例如，减少图像模糊。

然而，使用新确定的曝光时间参数来获取当前帧存在风险，因为这样使用会导致由于图像传感器中的不同区域在相互不同的时间曝光而损坏图像帧。不同的曝光时间可能会导致图像亮度在空间上变化，这可能是不想要的图像特征。

然而，使用与新确定的曝光时间相对于初始曝光时间的大小和确定的曝光时间相对于根据初始曝光参数使用帧相机成像的确定时间相关的新确定的曝光时间参数成像，上述公开的方法由此可以有利地避免帧损坏。换句话说，上述方法可以包括：通过考虑新确定的曝光时间参数相对于初始曝光时间参数的长度和在获取当前图像帧的过程中确定新确定的曝光时间参数的时间，选择性地使用新确定的曝光时间参数。在确定是否使用新确定的曝光时间参数时考虑这些因素可以避免由空间变化的曝光时间引起的图像帧损坏。因此，可以提高获取到的图像帧的质量。

在示例中，初始曝光时间参数可以是通过执行上述公开的方法而确定的曝光时间参数。换句话说，初始曝光时间参数可以是当前公开的方法根据使用事件相机检测到的场景亮度变化在前一时间点已经确定的曝光时间。因此，在获取图像帧的过程中确定曝光时间参数可以表示，在相对较晚的时间点重复上述方法。换句话说，在示例中，上述用于确定曝光时间参数的方法可以在获取图像帧的过程中重复执行，使得用于成像的曝光时间参数可以是子帧级的当前曝光时间参数，也就是说，曝光时间参数可以在获取图像帧的过程中更新。

在一种实现方式中，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期还没有结束；确定所述图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期还没有到期；响应于这些确定，继续根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述帧相机中的图像传感器基于所述初始曝光时间参数的已经到期的小于所述确定的曝光时间参数的任何曝光期都被延长到所述确定的曝光时间参数。

换句话说，上述方法可以包括：通过开始根据初始曝光时间参数获取图像帧，相对于当前图像帧更新曝光时间参数；继续根据确定的曝光时间参数获取图像帧。在获取图像帧的过程中更新曝光时间参数可以有利地得到更适用于现有场景动态变化的曝光时间参数，从而提高了图像质量。

这种操作模式可能存在风险，因为在获取图像帧的过程中更新曝光时间参数可能会导致帧损坏，也就是，图像传感器中的不同区域在相互不同的时间段内曝光，从而有可能导致图像亮度在空间上变化。例如，这种情况可能发生在图像传感器中的区域基于初始曝光时间段的曝光期已经结束的时候，和/或发生在图像传感器中的区域的大于新确定的曝光时间参数的曝光期已经到期。

确定图像传感器基于初始曝光时间参数的曝光期还没有结束，即确定图像传感器中的任何区域的初始曝光时间段还没有过期以及还没有开始读出该区域的获取到的图像数据，确定图像传感器基于初始曝光时间参数的大于确定的曝光时间参数的曝光期还没有到期，以及使用新确定的曝光时间参数来继续根据这些确定获取图像帧，可以避免帧损坏的风险。

此外，将图像传感器基于初始曝光时间参数的已经到期的小于新确定的曝光时间参数的曝光期延长到新确定的曝光时间参数周期，已经到期的曝光期仍然可以用于使用新确定的曝光参数来获取图像帧。因此，获取帧所花的总时间可以最大限度地减少。

在一种实现方式中，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期已经结束，和/或确定所述帧相机中的图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期已经到期；响应于这种确定，重新开始根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述图像帧的全部是使用所述确定的曝光时间参数获取的。

当图像传感器的曝光期已经结束时，也就是，当已经开始读出图像帧中的对应区域的图像数据时，和/或当图像传感器的大于新确定的曝光时间参数的曝光期已经到期时，使用新确定的曝光时间参数来获取帧的其余部分可能存在图像传感器中的不同区域在相互不同的曝光时间曝光的风险，这可能会导致图像亮度在空间上变化。

上述公开的方法避免了这种风险，因为确定图像帧基于初始曝光时间的曝光期已经结束，或者确定图像帧的相对大于新确定的曝光时间参数的曝光期已经到期；上述方法包括：重新开始使用新确定的曝光时间参数来获取整个图像帧。例如，可以停止使用初始曝光时间参数来获取图像帧，丢弃获取到的图像数据，并且重新开始使用新确定的曝光时间参数来获取帧。因此，可以提高图像质量，同时可以避免帧损坏。

本发明的第二方面提供了一种光学成像设备。所述光学成像设备包括确定用于成像的曝光参数的曝光参数确定实体，所述曝光参数确定实体用于：从事件相机接收指示帧相机的视场角内的亮度变化的信号；根据从所述事件相机接收到的指示所述帧相机的视场角内的亮度变化的所述信号，确定用于使用所述帧相机成像的曝光参数。

在一种实现方式中，所述曝光参数确定实体用于控制所述帧相机根据所述确定的曝光参数使用所述帧相机成像。

在一种实现方式中，所述确定曝光参数包括：确定曝光时间和/或增益。

在一种实现方式中，所述曝光参数确定实体用于：控制所述事件相机检测所述帧相机的视场角内的亮度变化，并且生成指示在所述帧相机的视场角内检测到的亮度变化的信号。

在一种实现方式中，所述曝光参数确定实体用于：控制所述事件相机检测所述帧相机的视场角内的不同空间位置上的亮度变化；根据所述检测到的亮度变化量化所述帧相机的视场角内的运动，其中，所述确定曝光参数包括：根据所述运动的量确定用于使用所述帧相机成像的曝光参数。

在一种实现方式中，所述曝光参数确定实体用于：确定所述帧相机获取到的图像中的图像模糊的可接受程度；确定适用于将所述帧相机获取到的图像中的图像模糊保持在所述可接受程度以下的最大曝光参数。

在一种实现方式中，所述曝光参数确定实体用于确定用于根据所述确定的曝光参数使用所述帧相机成像的另一曝光参数。

在一种实现方式中，所述确定曝光参数包括：确定曝光时间参数；所述曝光参数确定实体用于：通过卷帘快门，开始根据初始曝光时间参数使用所述帧相机来获取图像帧，其中，通过所述卷帘快门，所述帧相机中的图像传感器的不同区域的曝光期在相互不同的时间结束；在根据所述初始曝光时间参数使用所述帧相机来获取所述图像帧的过程中，确定所述曝光时间参数；根据与确定的曝光时间相对于初始曝光时间的大小和所述确定的曝光时间相对于根据所述初始曝光参数使用所述帧相机成像的确定时间相关的所述确定的曝光时间参数使用所述帧相机成像。

在一种实现方式中，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期还没有结束；确定所述图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期还没有到期；响应于这些确定，继续根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述帧相机中的图像传感器基于所述初始曝光时间参数的已经到期的小于所述确定的曝光时间参数的任何曝光期都被延长到所述确定的曝光时间参数。

在一种实现方式中，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期已经结束，和/或确定所述帧相机中的图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期已经到期；响应于这种确定，重新开始根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述图像帧的全部是使用所述确定的曝光时间参数获取的。

在一种实现方式中，所述光学成像设备还包括：帧相机；事件相机，用于检测所述帧相机的视场角内的亮度变化，并且输出指示所述视场角内的亮度变化的信号，其中，所述曝光参数确定实体与所述帧相机和所述事件相机分别进行通信。

在一种实现方式中，所述事件相机机械刚性地连接到所述帧相机，使得所述帧相机的移动引起所述事件相机的移动。

将事件相机刚性地连接到帧相机使得帧相机的移动引起事件相机的移动。因此，事件相机可以检测到帧相机和由帧相机移动引起的成像场景之间的相对运动。例如，如果帧相机适合于手持，则事件相机可以检测到由于用户手抖而引起的帧相机移动。例如，事件相机和帧相机可以包含在同一手持配件中。

在一种实现方式中，所述帧相机和所述事件相机中的图像传感器位于同一位置。

帧相机和事件相机中的图像传感器位于同一位置的优点是，这些图像传感器可能会在基本上相同的位置，例如，在相同的反射角下，暴露在从成像场景发出的光之下。因此，事件相机的视角可以与帧相机的视角基本上相同，因此事件相机最有可能检测到帧相机的视场角内的亮度变化。

本发明的第三方面提供了一种包括机器可读指令的计算机程序。当所述机器可读指令由计算机执行时，所述指令使得所述计算机执行本发明的第一方面的任一种实现方式提供的方法。

本发明的第四方面提供了一种计算机可读数据载体。所述计算机可读数据载体中存储有本发明的第三方面的任一种实现方式提供的计算机程序。

上述和其它目的通过独立权利要求的特征来实现。其它实现方式在从属权利要求、说明书和附图中是显而易见的。

根据下文描述的一个或多个实施例，本发明的这些和其它方面是显而易见的。

附图说明

为了更容易理解本发明，下面参考附图通过举例描述本发明，在附图中：

图1是体现本发明一方面的光学成像设备的一个示例的示意图，其中，所述光学成像设备包括帧相机、事件相机和确定用于使用帧相机成像的曝光参数的曝光参数确定实体；

图2A和图2B是帧相机和事件相机中的图像传感器的第一示例和第二示例的示意图；

图3是结合图1标记的曝光参数确定实体的一个示例的示意图；

图4示出了使用结合图1标记的光学成像设备成像所涉及的示例性过程，包括设置用于使用帧相机成像的曝光参数的过程；

图5示出了设置用于成像的曝光参数过程所涉及的示例性过程，包括确定曝光参数的过程；

图6示出了确定曝光参数的过程所涉及的示例性过程，包括确定第一曝光参数的过程；

图7示出了确定第一曝光参数所涉及的示例性过程；

图8是根据确定的曝光参数使用帧相机成像所涉及的示例性过程的示意图；

图9示出了设置曝光参数并使用帧相机来获取图像所涉及的示例性过程；

图10示出了使用帧相机成像所涉及的示例性过程。

具体实施方式

首先参考图1，在示例中，体现本发明一方面的光学成像设备101包括帧相机102、事件相机103、曝光参数确定实体104、输入/输出接口105和通信链路106。

帧相机102可用于在其视场角内对场景进行光学成像。例如，帧相机102可以包括图像传感器，例如，互补型金属氧化物半导体或电荷耦合器件，而图像传感器包括将入射光转换为电信号的多个像素。帧相机102还可以包括计算资源，例如，计算机处理器。该计算资源可以用于控制图像传感器的操作，例如，控制图像传感器的机械或电子快门，和/或用于接收和处理电信号输出，例如，将增益应用于图像传感器输出的信号，和/或用于在模拟域和数字域之间转换图像传感器输出的电信号。帧相机102还可以包括存储与图像传感器获取到的图像对应的图像数据的存储。

事件相机103可用于检测帧相机102的视场角内的亮度变化。事件相机103包括具有像素阵列的图像传感器，并且针对每个像素异步且独立地响应事件相机的视场角内的亮度变化。每个像素在每次发送事件时都会存储光照强度，并根据该存储值连续监测足够大小的强度变化。当变化超过阈值时，相机触发事件信号，该信号限定事件的位置(x、y)、时间t和变化的1比特极性(即亮度增加“ON”或减小“OFF”)。因此，事件相机103的输出是数字“事件”或“尖峰信号(spike)”的可变数据速率序列，其中，每个事件表示像素在特定时间的预定义大小的亮度变化。

在使用中，事件相机103相对于帧相机102定位和定向，使得事件相机103可用于检测帧相机102的视场角内的至少一个区域的亮度变化，可选地使得事件相机103可用于检测帧相机102的基本上整个视场角内的亮度变化。换句话说，事件相机103可以在使用中用于对帧相机102的视场角内的至少一部分区域和可选的基本上全部区域进行成像。

曝光参数确定实体104可用于确定用于使用帧相机102成像的一个或多个曝光参数，例如，曝光时间和/或增益。具体地，如结合后面的附图详述，曝光参数确定实体104可用于使用事件相机103检测帧相机102的视场角内的亮度变化，并且根据检测到的亮度变化确定用于使用帧相机进一步成像的曝光参数。

输入/输出接口104是为了使光学成像设备101与外部系统进行通信。例如，输入/输出接口104可以使光学成像设备101耦合到支持人机接口设备的系统，以使操作者控制光学成像设备101。

光学成像设备101中的组件102至105通过通信链路106进行通信。如下所述，在示例中，通信链路106可以包括系统总线。在其它示例中，通信链路106可以包括网络。

因此，如本文详述，在示例中，帧相机102可用于根据曝光参数确定实体104确定的成像曝光参数来获取光学图像。曝光参数确定实体104用于使用事件相机103检测帧相机102的视场角内的亮度变化。这类亮度变化可以用于指示帧相机102的视场角内包括的场景中的运动和/或成像场景的环境照度变化。场景中的运动和场景中的环境照度变化都是确定用于使用帧相机102成像的曝光参数(例如，曝光时间、增益和/或光圈大小)时的重要因素。成像场景中的这种运动或者一般意义上的帧相机和成像场景中的物体之间的相对运动可以是由场景中存在的物体移动而引起的局部运动，也可以是由帧相机相对于成像场景移动而引起的全局运动，例如，如果帧相机是手持式，用户手抖引起的全局运动。

例如，在给定想要的图像亮度下，当通过帧相机102成像的场景中的运动或者具体是帧相机102和成像场景之间的相对运动缓慢时，例如，当场景中的物体相对于帧相机102是静态时，花费相对较长的曝光时间来使用帧相机102成像是可以接受的，因为图像模糊的风险可能相对较低。如此长的曝光时间可能会将使用帧相机102成像所涉及的增益因子保持相对较低，同时仍然得到所需的图像亮度。例如，帧相机中的图像传感器的模拟增益电平或数字增益电平中的一个或两个可以保持在相对低的电平。此外或可选地，在帧相机获取到的图像的数字域中进行处理时应用的数字增益可以保持相对较低。低增益因子可以减少图像噪声。相比之下，当事件相机在通过帧相机成像的场景中检测到相对较快的运动时，例如，当场景中的物体在快速移动时，可能希望使用较短的曝光时间，从而减少图像模糊，同时应用较高的增益因子来得到所需的图像亮度。类似地，当环境亮度水平相对较高时，例如，当在执行基线照度读取之后，事件相机103还没有检测到环境照度的亮度变化时，可以确定增益因子可以保持相对较低，从而最大限度地减少图像噪声。

通过帧相机成像的场景中的这些变化(例如，由环境照度变化引起的亮度变化)和/或场景中的运动可以使用帧相机等装置检测到。但是，帧相机会以30帧每秒(frame-per-second，fps)等固定帧率生成全部图像。在快速变化的场景下，例如，在物体快速移动和/或环境照度快速波动的场景下，从帧接收数据的延迟(例如，在30fps下，图像数据延迟了33ms)表示计算曝光参数通常会使获取帧滞后几帧。因此，曝光设置很可能是不合适的，尤其是在场景中的运动速度或场景亮度快速变化的情况下。此外，由于帧相机全范围地捕获整个视场角的图像数据，并且在操作期间连续地获取图像数据，而不是根据帧动态变化选择性地获取，因此无论场景中是否存在任何运动/亮度变化，都会生成数据。这可能会导致获取到相对较多的图像数据，因此需要相对较高的计算资源来识别场景中的亮度变化/运动。

相比之下，为了响应某个像素的超过预设阈值的光照强度变化，即亮度变化，事件相机103会在其像素之间异步地触发事件。这在本申请中具有优点。具体地，由于事件相机是根据场景动态变化而不是根据与观看到的场景无关的时钟对光进行采样，因此事件相机通常可以提供相对较高的时间分辨率和较低的延迟。此外，由于事件相机只会在亮度变化超过阈值时触发事件，而不是连续地触发事件，因此事件相机可以有利地生成较少的冗余数据，从而需要较低的计算资源检测场景中的运动/亮度变化。另外，由于事件相机报告检测到的事件的位置(x、y)，即触发事件在事件相机的视场角内的位置，因此可以确定场景中的亮度变化(例如，运动)的位置。

在本申请中，如本文详述，使用事件相机检测帧相机的视场角内的亮度变化的具体优点是，由于事件相机快速响应场景变化，和/或处理事件相机数据的复杂性降低，因此用于使用帧相机成像的曝光参数可以相对较快地调整以适应场景中的变化，从而有利地提高了图像质量。在示例中，事件相机相对快速地响应/数据处理的复杂性降低甚至还可有助于在帧相机获取图像帧的中途更新用于成像的曝光参数，这样，即使在单帧的过程中，也可以优化曝光参数。

在示例中，光学成像设备101具有整体结构，其中，组件102至105位于同一单元中。在示例中，光学成像设备101可以包括手持单元，其中，组件101至105中的两个或两个以上组件位于单个壳体内。在示例中，光学成像设备101可以是手持相机或智能手机。一般而言，在示例中，事件相机103机械刚性地连接到帧相机102。这种机械连接具有以下效果：帧相机102的移动引起事件相机103的移动，事件相机103因此可以检测到通过帧相机102成像的场景的全局运动，而这种全局运动是由帧相机相对于成像场景移动而引起的。帧相机的这种移动可能是由于帧相机配置为手持式，操作员手抖引起的。例如，事件相机103和帧相机102可以安装在公共刚性结构上，例如，手持单元的公共壳提上。在其它示例中，刚性机械连杆可以用于在帧相机102和事件相机103之间传递力。在组件102至105中的两个或两个以上组件位于同一位置的示例中，通信链路106可以包括使这些位于同一位置的组件进行通信的系统总线。

在其它示例中，光学成像设备101中的组件102至105中的一个或多个组件可以远离一个或多个其它组件。例如，在其它示例中，帧相机102和/或事件相机103和/或曝光确定系统104可以位于相互不同的位置上，并且可以通过通信链路106进行通信。在示例中，通信链路106可以是由互联网等广域网(wide area network，WAN)、局域网(local areanetwork，LAN)、城域网(metropolitan area network，MAN)和/或个人局域网(personalarea network，PAN)等实现的网络。这种网络可以使用有线技术(例如，以太网、有线数据传输业务接口规范(Data Over Cable Service Interface Specification，DOCSIS)、同步光纤网(synchronous optical networking，SONET)和/或同步数字体系(synchronousdigital hierarchy，SOH)，等等)和/或无线技术(例如，电气和电子工程师学会(Instituteof Electrical and Electronics，IEEE)802.11(Wi-Fi)、IEEE 802.15(WiMAX)、蓝牙、ZigBee、近场通信(near-field communication，NFC)和/或长期演进(Long-TermEvolution，LTE)，等等)来实现。上述网络可以包括在网络中进行数据通信的至少一个设备。例如，上述网络可以包括计算设备、路由器、交换机、网关、接入点和/或调制解调器。

接下来参考图2A和图2B，在示例中，帧相机102和事件相机103都包括图像传感器201、202。

在示例中，帧相机102和事件相机103中的相应图像传感器可以位于同一位置。例如，多个光电传感器可以排列成阵列，光电传感器的子集可以构成帧相机中的图像传感器，而光电传感器的另一子集可以构成事件相机中的图像传感器。在图2A和图2B的示例中，其中，相应的图像传感器位于同一位置，这些图像传感器都包括安装在刚性衬底203的表面上的多个光电传感器，例如，光电二极管。

首先参考图2A，在该示例中，帧相机102使用的第一图像传感器201包括第一组光电传感器，例如，光电传感器204；事件相机103使用的第二图像传感器202包括第二组光电传感器，例如，光电传感器205；第二图像传感器202中的第二组光电传感器位于第一图像传感器201中的第一组光电传感器附近。

接下来参考图2B，在另一示例性配置中，相应图像传感器中的光电传感器204、205的设置使得第一图像传感器201中的光电传感器204与第二图像传感器202中的光电传感器205穿插在一起。

帧相机和事件相机中的图像传感器位于同一位置的优点是，这些图像传感器可能会在基本上相同的位置，例如，在相同的反射角下，暴露在从场景发出的光之下。因此，事件相机的视角可以与帧相机的视角基本上相同，因此事件相机最有可能检测到帧相机的视场角内的亮度变化。在图2A和图2B描述的示例中，上述图像传感器都包括4个光电传感器。在其它示例中，这些图像传感器中的一个或两个图像传感器可以包括更多或更少的光电传感器。例如，这些图像传感器中的一个或两个图像传感器可以包括几百万个光电传感器。在另一示例中，这些图像传感器可以共用一个或多个光电传感器，使得共用的光电传感器具有双重功能，以构成帧相机和事件相机的一部分。

接下来参考图3，在示例中，曝光参数确定实体104包括处理器301、存储302、存储器303和输入/输出接口304。曝光参数确定实体104用于运行确定用于使用帧相机102成像的曝光参数的计算机程序。

处理器301用于执行计算机程序的指令。存储302用于对供处理器301执行的计算机程序进行非易失性存储。在示例中，确定用于使用帧相机102成像的曝光参数的计算机程序存储在存储302中。存储器303被配置为读/写存储器，以存储与供处理器301执行的计算机程序相关联的操作数据。输入/输出接口304用于使曝光参数确定实体104与光学成像设备101的通信链路106进行通信。曝光参数确定实体104中的组件301至304通过通信链路305进行通信。

接下来具体参考图4，在示例中，光学成像设备101用于执行用于使用帧相机成像的成像过程。该成像过程包括3个阶段。在示例中，该成像过程可以由曝光参数确定实体104根据存储在存储302中的计算机程序来控制。

在阶段401中，光学成像设备101启动成像过程。例如，在从耦合到输入/输出接口304的人机接口或其它输入系统接收提示时，光学成像设备101可以在启动成像事件。阶段401可以包括帧相机102、事件相机103和/或曝光参数确定实体104通电和/或执行自测试，等等。

在阶段402中，曝光参数确定实体104用于根据存储在存储302中的计算机程序的指令，设置用于使用帧相机成像的曝光参数，例如，曝光时间和/或增益和/或光圈大小参数。如下所述，在示例中，曝光参数确定实体104用作控制器，以根据计算机程序来控制帧相机102和事件相机103的操作。

在阶段403中，帧相机102由曝光参数确定实体104等根据存储在存储302中的计算机程序来控制，以使用在阶段402中设置的曝光参数并根据在阶段403中设置的操作模式来获取一个或多个图像帧。在示例中，成像过程中的阶段402和阶段403可以重复执行，使得可以重复使用帧相机102成像，其中，曝光参数和操作模式可以在获取图像的每个实例之间重复更新。

接下来具体参考图5，在示例中，设置用于使用帧相机102成像的曝光参数的阶段402的方法包括4个阶段。在示例中，阶段402的方法由曝光参数确定实体104中的处理器301根据存储在存储302中的计算机程序的指令来实现。

在阶段501中，存储在存储302中的计算机程序使处理器301控制事件相机103检测事件相机103的视场角内的场景亮度变化。如上所述，事件相机103在使用中用于使其视场角至少包括帧相机102的视场角内的一个区域。因此，通过阶段501的过程，事件相机103可以检测到帧相机102的视场角内的亮度变化。

在示例中，阶段501可以包括：控制事件相机103检测单个时间步长的亮度变化，与存储在事件相机103中的参考光照强度值进行比较。换句话说，阶段501可以包括使用事件相机检测亮度变化的单个实例。通过这种方法，可以检测到亮度变化，例如，场景照明变化，与参考基线强度值进行比较。在其它示例中，阶段501可以包括：控制事件相机103检测多个时间步长的亮度变化。换句话说，阶段501可以包括：快速连续地执行使用事件相机检测亮度变化的多个实例。通过这种方法，如下结合图6详述，通过跟踪亮度变化的空间变化模式，可以检测到/推断出场景中的物体运动或者一般意义上的场景和事件相机之间的相对运动。

当检测到亮度变化超过一个或多个预定阈值时，事件相机103中的像素会被触发，一个或多个输出信号会包括异步事件流，其中，每个事件包括时空坐标和极性值，该极性值指示亮度是否增加或减小了超过预定义阈值的大小。因此，这些信号可以由事件相机103通过通信链路106输出。

在阶段502中，存储在存储302中的计算机程序使处理器301从事件相机103接收在阶段501中输出的任何事件信号。如上所述，这些事件信号可能会由事件相机生成，因此在阶段502中由处理器301接收，只是为了响应场景亮度变化超过一个或多个变化阈值。

在阶段503中，存储在存储302中的计算机程序使处理器301确定用于使用帧相机102成像的一个或多个曝光参数。在本文详述的示例中，阶段503包括：处理器301确定用于使用帧相机103成像的两个曝光参数，即曝光时间和增益。

接下来具体参考图6，在示例中，确定用于使用帧相机103成像的曝光参数的阶段503的方法包括3个阶段。

在阶段601中，存储在存储302中的计算机程序使处理器301确定使用帧相机103获取到的图像的想要的图像亮度。例如，想要的图像亮度水平可以由操作员通过连接到输入/输出接口304的人机接口在阶段601中输入，或者想要的图像亮度值可以存储在存储302中并由处理器301访问。

在阶段602中，存储在存储302中的计算机程序使处理器301评估由处理器在阶段502中接收到的任何事件信号，并且确定适用于使用帧相机102成像的第一曝光参数，以得到在阶段601中确定想要的图像亮度值。确定第一曝光参数可以基于存储在存储302中的计算机程序中定义的逻辑。例如，阶段602可以包括：处理器301评估事件相机103输出的事件信号，以检测成像场景中的亮度变化的程度和极性。例如，当场景的全局照明已经显著降低时，处理器301可以根据预定义逻辑确定需要特定的相对较长的曝光时间。

在阶段603中，存储在存储302中的计算机程序使处理器301根据在阶段602中确定的第一曝光参数，确定用于使用帧相机103成像的一个或多个其它曝光参数。换句话说，阶段603可以包括：确定与在阶段602中确定的曝光参数互补的一个或多个其它曝光参数，以得到在阶段601中确定想要的图像亮度。例如，当已经在阶段602中确定曝光时间时，阶段603可以包括：确定最小增益值以得到想要的图像亮度，或者反之亦然。

虽然本文中详述的本发明示例性实现方式包括确定用于使用帧相机成像的多个曝光参数，但是本发明的简单实现方式可以包括只确定单个曝光参数，例如，只确定曝光时间、增益和光圈大小中的一个。因此，在简单的示例中，阶段603可以从上述方法中省略。

接下来具体参考图7，在示例中，确定用于使用帧相机103成像的第一曝光参数的阶段602的方法包括3个阶段。

具体地，图7中描述的示例性方法有助于检测和量化成像场景中的运动或者一般意义上的事件相机103和场景中的物体之间的相对运动，从而可以响应于运动而调整曝光参数。在示例中，通过分析激活事件相机来检测亮度变化的不同时间步长之间的亮度变化，上述阶段的方法用于检测运动。因此，在示例中，图7中的方法依赖于在早期阶段501中被控制的事件相机103，以在多个时间步、在成像场景中的不同空间位置上检测成像场景中的亮度变化，因此在亮度变化的情况下在不同的时间步长输出事件信号。

在阶段701中，存储在存储302中的计算机程序使处理器301评估在阶段502中从事件相机103接收到的事件信号，当场景物体和事件相机中的一个或两个在移动时，确定场景中的物体是否相对于事件相机在移动，并且量化运动。当场景中的物体在移动时，移动的物体可能在相互不同的时间触发事件相机中的不同像素的亮度变化，这取决于物体的速度，即物体的运动速度和方向。速度矢量因此可以使用像素间距离的已知值和检测到的事件之间的时间差来确定。运动和运动的量/大小则可以直接从事件中检测到，或通过从检测到的事件中生成的强度变化边缘图检测到。

在阶段702中，存储在存储202中的计算机程序使处理器201确定帧相机103获取到的图像中的图像模糊的可接受程度。例如，图像模糊的可接受程度可以由操作员通过连接到输入/输出接口104的人机接口在阶段702中输入，或者可接受模糊值可以存储在存储202中。

在阶段703中，存储在存储202中的计算机程序使处理器201根据在阶段701中确定的运动量/大小和在阶段702中确定的图像模糊的可接受程度，确定用于使用帧相机成像的曝光参数，例如，曝光时间参数。例如，当在阶段701中已经确定要通过帧相机103成像的场景包括快速移动的物体(例如，以超过预定义阈值的速度移动的物体)时，阶段703可以包括：确定帧相机的最大曝光时间参数，以生成不超过图像模糊的可接受程度的图像。

接下来参考图8，在示例中，使用帧相机102获取图像的阶段403的方法包括：使用卷帘快门技术将帧相机102中的图像传感器201暴露在入射光之下，其中，图像传感器201中的不同区域(相对于成像场景中的不同区域)的曝光期在相互不同的时间开始和结束。因此，上述方法可以相应地包括：处理器301在相互不同的时间从图像传感器201中的光电传感器204中读取获取到的图像数据。

在图8中，帧相机102中的图像传感器201相对于图像帧的曝光期的起始由虚线划定，而曝光期的结束和相对于图像帧读出图像数据的起始由实线划定。具体地，图8描述了获取两个时间分离的图像帧。虚线801划定了相对于第一图像帧的曝光期的起始。实线802划定了相对于第一图像帧从图像传感器201中读出图像数据的起始。虚线803划定了相对于第二图像帧的曝光期的起始。实线804划定了相对于第二图像帧从图像传感器201中读出图像数据的起始。

因此，在图8的示例中，在时间t＝1时，曝光参数确定实体104可以控制帧相机102来开始第一图像帧的曝光。在时间t＝1时，开始图像传感器中的第一区域相对于第一图像帧的曝光，该第一区域可以是图像传感器中的第一水平区域或第一水平线，对应于成像场景中的第一水平区域。随后在时间t＝1和时间t＝2之间，开始相对于图像传感器中的其它区域的曝光，例如，相对于图像传感器中的其它水平区域。

随后，在时间t＝2时，结束图像传感器中的第一区域相对于第一图像帧的曝光，而开始相对于图像传感器中的第一区域从图像传感器中读出图像数据。在时间t＝2和时间t＝3之间，结束图像传感器中的其它区域相对于第一图像帧的曝光，而开始相对于其它区域读出数据。

然后，在时间t＝3时，开始图像传感器中的第一区域相对于第二图像帧的曝光，而随后在时间t＝3和时间t＝4之间，开始相对于图像传感器中的其它区域的曝光。在时间t＝4时，结束图像传感器中的第一区域相对于第二图像帧的曝光，而开始相对于第一区域从图像传感器中读出图像数据。在时间t＝4和时间t＝5之间，结束图像传感器中的其它区域相对于第二图像帧的曝光，而相对于其它区域开始读出数据。

在示例中，帧相机102的操作可以更新用于使用帧相机102成像的曝光参数，即相对于当前帧(即图像传感器201对于图像帧的曝光期内)修改曝光参数。根据事件相机检测到的事件信息来更新当前帧的曝光参数可以优化图像帧中的图像质量。相比之下，在帧之前(即在帧的曝光开始之前)更新曝光参数会产生使场景中的事件滞后相对较短的一段时间的曝光参数。使用事件相机检测场景中的事件有助于实现更新当前帧的曝光参数的方法，具体是因为与用于检测事件的其它模式相比，事件相机的时间分辨率有所提高，而且事件相机生成的冗余图像数据的数量通常减少，从而有助于更快地处理事件数据，因而更快地检测事件。

因此，在使用帧相机102获取图像帧的过程中，例如，在图像传感器201相对于在时间t＝1时开始的第一图像帧的曝光期内，曝光参数确定实体104可以执行阶段503的方法，即，使用事件相机103检测场景亮度变化，并且根据检测到的变化确定用于成像的曝光参数。然后，可以将新的一个或多个曝光参数传输给帧相机102，帧相机102这时可以使用新的一个或多个曝光参数来获取图像帧。

因此，在示例中，使用帧相机102来获取图像的阶段403的方法可以包括：开始根据初始曝光参数(例如，初始曝光时间参数)使用帧相机102来获取图像帧，随后改变帧相机的操作以使用上述方法根据场景中检测到的亮度变化确定的不同曝光参数(例如，不同的曝光时间参数)来获取图像帧。

然而，在这些示例中，可能希望控制帧相机102的操作模式，以避免由于帧相机中的图像传感器的不同区域在相互不同的曝光时间曝光而导致图像帧损坏。这种帧损坏可能会导致图像亮度在空间上变化，而可能希望图像亮度在空间是恒定的。因此，在示例中，上述方法包括：根据确定的曝光时间相对于初始曝光时间的大小以及确定的曝光时间相对于根据初始曝光参数使用帧相机成像的确定时间，选择性地更新相对于当前图像帧的一个或多个曝光参数(具体是曝光时间参数)，目的是避免图像帧中的不同区域的曝光时间存在差异，从而避免帧损坏。

这种帧损坏可能是由于存在以下情况：在获取图像帧的中途，用于获取图像帧的其余部分的新曝光时间参数在阶段402中设置为大于针对获取图像的初始周期设置的初始曝光时间。在这种情况下，当不可能相对于整个图像帧(即相对于图像帧中的所有区域)调整曝光时间参数时，可能希望重新开始使用新的曝光时间参数来获取图像帧。

然后参考图9，在示例中，在阶段901中，存储在存储302中的计算机程序可以使处理器301开始根据初始曝光时间参数在卷帘快门操作模式下使用帧相机102来获取图像帧。例如，初始曝光时间参数可以是通过阶段402的方法的上一次迭代设置的曝光时间参数。

在阶段902中，存储在存储302中的计算机程序可以使处理器301执行阶段402的方法，以根据在通过帧相机成像的场景中检测到的亮度变化来确定用于使用帧相机成像的曝光时间参数。

在阶段903中，存储在存储302中的计算机程序可以使处理器301确定是否根据与确定的曝光时间相对于初始曝光时间的大小和确定的曝光时间相对于根据初始曝光参数使用帧相机成像的确定时间相关的确定的曝光时间参数使用帧相机成像。

最后参考图10，在示例中，确定是否根据确定的曝光时间参数使用帧相机成像的阶段903的方法包括4个阶段。

在阶段1001中，存储在存储302中的计算机程序可以使处理器301确定在阶段901中的帧相机中的图像传感器基于初始曝光时间参数的任何曝光期是否已经结束。

如果阶段1001中的确定结果为否，即，确定在阶段901中的帧相机中的图像传感器基于初始曝光时间参数的曝光期还没有结束，则在阶段1002中，存储在存储302中的计算机程序可以使处理器301确定图像传感器基于初始曝光时间参数的大于确定的曝光时间参数的任何曝光期是否已经到期。

如果阶段1002中的确定结果为否，即，确定图像传感器基于初始曝光时间参数的大于确定的曝光时间参数的曝光期还没有到期，则在阶段1003中，存储在存储302中的计算机程序可以使处理器301继续根据确定的曝光时间参数使用帧相机来获取图像帧，其中，帧相机中的图像传感器基于初始曝光时间参数的已经到期的小于确定的曝光时间参数的任何曝光期都被延长到确定的曝光时间参数。

在替代方案中，如果阶段1001中的确定结果为是，即，确定在阶段901中的帧相机中的图像传感器基于初始曝光时间参数的曝光期已经结束，和/或如果阶段1002中的确定结果为是，即，确定图像传感器基于初始曝光时间参数的大于确定的曝光时间参数的曝光期已经到期，则在阶段1004中，存储在存储302中的计算机程序可以使处理器301重新开始根据确定的曝光时间参数使用帧相机来获取图像帧，其中，该图像帧的全部是使用确定的曝光时间参数获取的。

虽然已详细地描述了本发明及其优点，但是应理解，可以在不脱离如所附权利要求书所界定的本发明的精神和范围的情况下对本发明做出各种改变、替代和更改。在权利要求中，词语“包括”不排除其它元件或步骤，并且“一”或“一个”不排除多个。

Claims (24)

1.一种确定用于成像的曝光参数的方法，其特征在于，所述方法包括：

使用事件相机检测帧相机的视场角内的亮度变化；

根据所述检测到的亮度变化确定用于使用所述帧相机成像的曝光参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述确定的曝光参数使用所述帧相机成像。

3.根据权利要求1或2所述的方法，其特征在于，所述确定曝光参数包括：根据所述检测到的亮度变化确定用于使用所述帧相机成像的曝光时间和/或增益。

4.根据上述权利要求中任一项所述的方法，其特征在于，所述使用事件相机检测帧相机的视场角内的亮度变化包括：使用所述事件相机检测所述帧相机的视场角内的不同空间位置上的亮度变化；所述方法还包括：

根据所述检测到的亮度变化量化所述帧相机的视场角内的运动，其中，所述确定曝光参数包括：根据所述运动的量确定用于使用所述帧相机成像的曝光参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述运动的量确定用于使用所述帧相机成像的曝光参数包括：确定所述帧相机获取到的图像中的图像模糊的可接受程度，并且确定适用于将所述帧相机获取到的图像中的图像模糊保持在所述可接受程度以下的最大曝光参数。

6.根据上述权利要求中任一项所述的方法，其特征在于，所述方法包括：确定用于根据所述确定的曝光参数使用所述帧相机成像的另一曝光参数。

7.根据上述权利要求中任一项所述的方法，其特征在于，所述确定曝光参数包括：确定曝光时间参数；所述方法包括：

通过卷帘快门，开始根据初始曝光时间参数使用所述帧相机来获取图像帧，其中，通过所述卷帘快门，所述帧相机中的图像传感器的不同区域的曝光期在相互不同的时间结束；

在根据所述初始曝光时间参数使用所述帧相机来获取所述图像帧的过程中，确定所述曝光时间参数；

根据与确定的曝光时间相对于初始曝光时间的大小和所述确定的曝光时间相对于根据所述初始曝光参数使用所述帧相机成像的确定时间相关的所述确定的曝光时间参数使用所述帧相机成像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：

确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期还没有结束；

确定所述图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期还没有到期；

响应于这些确定，继续根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述帧相机中的图像传感器基于所述初始曝光时间参数的已经到期的小于所述确定的曝光时间参数的任何曝光期都被延长到所述确定的曝光时间参数。

9.根据权利要求7所述的方法，其特征在于，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：

确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期已经结束，和/或确定所述帧相机中的图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期已经到期；

响应于这种确定，重新开始根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述图像帧的全部是使用所述确定的曝光时间参数获取的。

10.一种光学成像设备，其特征在于，所述光学成像设备包括确定用于成像的曝光参数的曝光参数确定实体，所述曝光参数确定实体用于：

从事件相机接收指示帧相机的视场角内的亮度变化的信号；

根据从所述事件相机接收到的指示所述帧相机的视场角内的亮度变化的所述信号，确定用于使用所述帧相机成像的曝光参数。

11.根据权利要求10所述的光学成像设备，其特征在于，所述曝光参数确定实体用于控制所述帧相机根据所述确定的曝光参数使用所述帧相机成像。

12.根据权利要求10或11所述的光学成像设备，其特征在于，所述确定曝光参数包括：确定曝光时间和/或增益。

13.根据权利要求10至12中任一项所述的光学成像设备，其特征在于，所述曝光参数确定实体用于：控制所述事件相机检测所述帧相机的视场角内的亮度变化，并且生成指示在所述帧相机的视场角内检测到的亮度变化的信号。

14.根据权利要求13所述的光学成像设备，其特征在于，所述曝光参数确定实体用于：

控制所述事件相机检测所述帧相机的视场角内的不同空间位置上的亮度变化；

根据所述检测到的亮度变化量化所述帧相机的视场角内的运动，其中，所述确定曝光参数包括：根据所述运动的量确定用于使用所述帧相机成像的曝光参数。

15.根据权利要求14所述的光学成像设备，其特征在于，所述曝光参数确定实体用于：

确定所述帧相机获取到的图像中的图像模糊的可接受程度；

确定适用于将所述帧相机获取到的图像中的图像模糊保持在所述可接受程度以下的最大曝光参数。

16.根据权利要求10至15中任一项所述的光学成像设备，其特征在于，所述曝光参数确定实体用于确定用于根据所述确定的曝光参数使用所述帧相机成像的另一曝光参数。

17.根据权利要求10至16中任一项所述的光学成像设备，其特征在于，所述确定曝光参数包括：确定曝光时间参数；所述曝光参数确定实体用于：

通过卷帘快门，开始根据初始曝光时间参数使用所述帧相机来获取图像帧，其中，通过所述卷帘快门，所述帧相机中的图像传感器的不同区域的曝光期在相互不同的时间结束；

在根据所述初始曝光时间参数使用所述帧相机来获取所述图像帧的过程中，确定所述曝光时间参数；

根据与确定的曝光时间相对于初始曝光时间的大小和所述确定的曝光时间相对于根据所述初始曝光参数使用所述帧相机成像的确定时间相关的所述确定的曝光时间参数使用所述帧相机成像。

18.根据权利要求17所述的光学成像设备，其特征在于，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：

确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期还没有结束；

确定所述图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期还没有到期；

响应于这些确定，继续根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述帧相机中的图像传感器基于所述初始曝光时间参数的已经到期的小于所述确定的曝光时间参数的任何曝光期都被延长到所述确定的曝光时间参数。

19.根据权利要求17所述的光学成像设备，其特征在于，所述根据所述确定的曝光时间参数使用所述帧相机成像包括：

确定所述帧相机中的图像传感器基于所述初始曝光时间参数的曝光期已经结束，和/或确定所述帧相机中的图像传感器基于所述初始曝光时间参数的大于所述确定的曝光时间参数的曝光期已经到期；

响应于这种确定，重新开始根据所述确定的曝光时间参数使用所述帧相机来获取所述图像帧，其中，所述图像帧的全部是使用所述确定的曝光时间参数获取的。

20.根据权利要求10至19中任一项所述的光学成像设备，其特征在于，所述光学成像设备还包括：

帧相机；

事件相机，用于检测所述帧相机的视场角内的亮度变化，并且输出指示所述视场角内的亮度变化的信号，

其中，所述曝光参数确定实体与所述帧相机和所述事件相机分别进行通信。

21.根据权利要求20所述的光学成像设备，其特征在于，所述事件相机机械刚性地连接到所述帧相机，使得所述帧相机的移动引起所述事件相机的移动。

22.根据权利要求20或21所述的光学成像设备，其特征在于，所述帧相机和所述事件相机中的图像传感器位于同一位置。

23.一种包括机器可读指令的计算机程序，其特征在于，当所述机器可读指令由计算机执行时，所述指令使得所述计算机执行权利要求1至9中任一项所述的方法。

24.一种计算机可读数据载体，其特征在于，所述计算机可读数据载体中存储有根据权利要求23所述的计算机程序。