CN117836816A - 用于数字摄影的基于事件的自动曝光 - Google Patents

用于数字摄影的基于事件的自动曝光 Download PDF

Info

Publication number
CN117836816A
CN117836816A CN202280053412.4A CN202280053412A CN117836816A CN 117836816 A CN117836816 A CN 117836816A CN 202280053412 A CN202280053412 A CN 202280053412A CN 117836816 A CN117836816 A CN 117836816A
Authority
CN
China
Prior art keywords
irradiance
event
image
exposure
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280053412.4A
Other languages
English (en)
Inventor
潘佳
林诗杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Hong Kong HKU
Original Assignee
University of Hong Kong HKU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Hong Kong HKU filed Critical University of Hong Kong HKU
Publication of CN117836816A publication Critical patent/CN117836816A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种事件引导的自动曝光(EG‑AE)装置利用动态视觉传感器的高动态范围和低延迟特性来引导有源像素传感器的曝光设置。本方法利用图像和事件的物理连接来估计辐照度变化，所述辐照度变化被馈送到所述EG‑AE装置中以便计算所述曝光设置。所述方法在解决极具挑战性的照明条件方面表现出卓越的性能，并且有益于多种下游应用，包含视觉标签检测和特征匹配。

Description

用于数字摄影的基于事件的自动曝光
技术领域
本申请涉及用于数码相机的曝光控制，并且更具体地涉及事件引导的自动曝光控制。
背景技术
曝光控制(exposure control，EC)对于数字摄影[17]是必不可少的，以便捕获具有适当动态范围的图像或视频帧，用于高质量可视化[30]或可靠的基于视觉的应用，包含物体检测和跟踪[24]、同时定位与地图构建(simultaneous localization and mapping，SLAM)[44]、识别[23]和机器人[29]。在没有EC的情况下，图像可能是饱和的，这会影响检测算法。参见图1A。如图1B所示，适当的EC可减轻这种饱和并且有助于检测算法良好地工作。
自动曝光(auto-exposure，AE)通过用复杂的反馈控制器[29，30，44]调整曝光参数来促进EC。相应地，根据辐照度预测[29，30]或通过利用图像评估[18，38，44]来确定最佳曝光水平。两者都需要曝光良好的图像，在自然场景下，尤其是在恶劣的照明条件或不可预测的相对运动的情况下可能无法提供曝光良好的图像，从而导致针对自动曝光控制的大量试验失败[38]。综上所述，两个具有挑战性的问题是：
·恶劣的照明条件：有源像素传感器(active pixel sensor，APS)的低动态范围(<60dB)和高延迟(对于30FPS相机>33毫秒)通常需要多个图像样本，以使当前AE方法收敛于稳定的曝光设置。恶劣的照明条件可能随机干扰稳定点并且使AE方法不稳定，从而导致图像严重饱和。
·不可预测的相对运动：APS与场景之间的不可预测的相对运动在图像中产生运动模糊，从而使得当前AE方法难以提取用于曝光调整的有用信息。
近年来，将事件和图像帧的组合用于曝光控制已成为流行的研究领域。该领域的大多数先前工作[7，40，41]直接使用事件表示方法(如时间表面[21]或事件堆叠[11])来生成事件帧，然后将所述事件帧与图像帧组合。近年来，研究人员对使用优化框架来组合两种模态产生了兴趣[34，43]。Wang等人[43]使用运动补偿框架结合高帧率图像来过滤事件。Pan等人[34]使用积分模型来描述潜像，然后完成去模糊和帧重建。然而，该工作没有考虑完整的图像形成过程。所述工作假设线性相机辐射响应，当面对非线性相机辐射测量响应时，其几乎不会收敛于最佳设置。此外，所述工作可以生成正确的对比度图像，但不能直接估计辐照度。
常规地，大多数基于视觉的系统依赖于内置AE算法[17，28]来调整曝光时间。AE的研究方法可以分为三种类型。第一种类型使用图像统计作为反馈。最常见的方法[19，36]将图像的平均强度移动到中档(例如，对于8位图像为128)。改进的方法采用图像熵[24]和直方图[27，30]来增加稳健性。然而，收敛于适当曝光需要许多图像样本和场景照度的均匀分布，从而使得在自然场景中调整很缓慢。
第二种类型的研究利用先验知识(如预定义模式[29])来提高收敛速度。但是此类方法在未知场景中效果不佳。
第三种类型引入基于质量的损失函数，以在自然场景中获得更好的性能。Shim等人[37]使用图像梯度作为度量。他们计算了用γ映射合成的每个图像的线性损失，以找到适当的曝光调整步骤。为了实现更快收敛，他们在[38]中进一步引入非线性损失。Zhang等人[44]改善损失并考虑SLAM任务的相机响应功能。然而，基于度量的方法容易受到运动模糊的影响。模糊的图像几乎不能为计算质量损失提供正确的信息，从而限制其性能。
自然场景具有非常高的动态范围，远高于相机可以感测到的动态范围。因此，需要AE方法来控制由传感器接收到的光的总量(即，曝光)以帮助大多数像素免于饱和。
基于仪表的自动曝光(meter-based auto-exposure，M-AE)：M-AE的任务是使用光度计[15]来测量辐射率并计算第j次捕获Hj(u)的最佳相机曝光：(u；t)，并计算第j次捕获的Hj(u)的最佳相机曝光：
其中u＝(x；y)T是像素位置，t是时间，Ku定义经校准的相机镜头参数，fM是用于估计曝光的线性函数。估计结果是不准确的，因为光度计仅可以给出场景照度的平均值。此外，用于计量的光学系统也使得使用所述光学系统的相机体积庞大且昂贵。
基于图像的自动曝光(image-based auto-exposure，I-AE)：在没有光度计的情况下，大多数基于视觉的系统直接使用图像来调整曝光：
Hj(u)＝f1(Ij-1)，
其中fI是将图像映射到最佳曝光的函数，Iji-2＝{Ii(u)|I＝I＝1,…,j–1}是含有第j次捕获之前的图像的图像集。大多数I-AE方法都依赖于反馈管线来逐渐收敛于最佳曝光。这不仅浪费图像样本，而且还使I-AE容易受到具有挑战性的自然照度的影响。
发明内容
本申请通过扩展Pan等人[34]的公式来解决现有技术的问题，所述公式使用积分模型来描述潜像，然后完成去模糊和帧重建，以便拟合非线性情况，然后将其与根据硬件参数计算的对比度值组合，从而允许快速辐照度计算。这是通过引入新的传感器，即动态视觉传感器(dynamic vision sensor，DVS)[5]以用常规有源像素传感器(APS)进行EC来实现的。
该新的事件引导的自动曝光(event-guided auto-exposure，EG-AE)利用动态视觉传感器的高动态范围和低延迟特性来引导有源像素传感器的曝光设置。图像和事件的物理连接用于估计辐照度变化，所述辐照度变化被进一步馈送到EG-AE中以便计算曝光设置。
事件引导的自动曝光(EG-AE)：与有源像素传感器(APS)互补，动态视觉传感器(DVS)提供低延迟事件流，所述低延迟事件流编码场景在极高动态范围内的照度变化。这意味着所述事件流可以是引导相机曝光的理想数据。因此，EG-AE的任务是利用两种模态来估计场景照度并计算最佳曝光：
Hj(u)＝feg(Ij-1,ε)，
其中feg是利用事件集ε和图像集Ij-1来给出最佳曝光的函数。EG-AE的主要挑战来自于找到两种模态之间的物理连接，以及开发出充分利用该连接来计算相机曝光控制的辐照度的有效框架。
DVS的优点包含高动态范围(high dynamic range，HDR，>130dB[5])、低延迟(1微秒[12])和低运动模糊[10]，这使DVS成为在恶劣环境中操作的理想传感器。DVS的HDR和低运动模糊使其具有计算场景的照度而不受相对运动的影响的HDR感测能力。DVS的低延迟允许在APS曝光之前完成曝光调整，从而将响应时间极大地缩短至微秒级。然而，由于DVS仅响应于照度变化，因此其无法单独用于直接计算正确的绝对照度。需要利用来自APS的绝对信号和来自DVS的相对信号两者的估计框架。本申请使用有效的基于事件的框架进行辐照度估计。
在扩展先前基于事件的双重积分时，Pan等人[34]考虑了相机响应的非线性和DVS硬件原理，以有效地提供物理上有意义的辐照度。基于该结果，使用新的事件引导的自动曝光方法，其被认为是基于事件相机的第一AE方法。本申请的方法简单而有效，其大大缩短了响应时间并减少了饱和图像样本的数量。如图1C(上部图像)所示，常规AE方法需要多个图像样本来进行反馈调整，直到系统收敛，从而导致图像过度曝光。相比之下，本申请的方法使用事件和图像直接调整曝光时间。参见图1C(下部图像)。因此，随后的图像是清晰的并且没有饱和度。此外，本申请可以用于下游应用，所有的下游应用都显示出明显的改进。综上所述，本申请的贡献是：
·新的计算框架，基于事件的辐照度估计(event-based irradianceestimation，E-IE)，其考虑了相机响应的非线性并利用DVS硬件的原理来估计对比度值，从而允许有效地估计物理上有意义的辐照度。
·被称为“事件引导的自动曝光(EG-AE)”的新的曝光控制方法，其减少了曝光调整的响应时间，减轻了图像饱和度。
附图说明
本专利或申请文件含有至少一幅彩色附图。在请求并支付必要的费用后，将由专利局提供带有彩色附图的本专利或专利申请公开的副本。
当结合以下详细描述和附图考虑时，本申请的上述和其它目的和优点将变得更加明显，在附图中，各个视图中的相同标号表示相同的元件，其中：图1A是现有技术的过度曝光图像，图1B是根据本申请的正确曝光的清晰图像，并且图1C(上部图像)示出了用于常规自动曝光反馈调整的多个图像样本，而图1C(下部图像)示出了根据本申请的使用事件和图像直接调整曝光设置的事件引导的自动曝光(EG-AE)；
图2是根据本申请的处理方法；
图3展示了使用不同估计方法的原始图像和重建图像，其中图3A示出了模糊图像，图3B示出了通过被噪声污染的固定步长采样形成的重建图像，并且图3C示出了非均匀采样如何通过抑制噪声而优于固定步长采样；
图4A-AG展示了两个序列或事件中的图像去模糊结果，上部序列示出了一条线并且下部序列示出了一把剪刀，其中图4A示出了静态图像，图4C示出了常规Pan方法的应用并且图4D示出了均无法恢复严重模糊图像的基于学习的方法的应用，图4E显示当背景清晰但不能处理严重模糊的图像时，高帧率事件相机方法工作良好，图4F显示本申请的方法从图4G所示的辐照度稳定地重建清晰图像；
图5A-5C是书本序列中的过度曝光率和归一化的曝光时间的比较，其中绿色曲线是归一化的曝光时间并且红色曲线是过度曝光率(如图例中所示由不同类型的线标记的方法)，灯用于随机照亮盒子中的书本，并且在图5A(ME对本申请)、图5B(DAVIS 346声发射(acoustic emission，AE)事件相机对本申请)且图5C(I-AE对本申请)中呈现了同步成对结果；
图6A-6C展示了书本场景中EC方法的定性比较，其中在图6A(ME对本申请)中，图6B(DAVIS 346AE对本申请)和图6C(I-AE对本申请)中呈现了同步图像序列以供比较；
图7A-7C是与最先进的装置的照明适配的比较，包含图7A的DAVIS 346AE、图7B的GoPro HERO和图7C的华为Mate 30，其中图7D示出了本申请；
图8A-8C是如文章[32]中所述的Apriltag检测的结果，其中图8A是模糊图像，图8B和图8C显示本申请可以使图像去模糊从而成功地检测Apriltag；
图9A-9D示出了特征匹配的结果，其中图9A示出了通过DAVIS AE方法获得的饱和图像，图9B示出了单独产生曝光良好的图像的本申请，图9C显示本申请与E-IE组合用于去模糊，并且图9D示出了本申请具有如文章[4]中所述的加速稳健特征(speeded up robustfeature，SURF)和特征匹配。
具体实施方式
图2展示了本申请的方法的总体流程，其目的在于估计高速率辐照度以便允许改进的曝光控制。通过这种方法，由从表面12反射的来自光源10的光产生的场景辐射首先通过镜头14线性映射到传感器16作为传感器辐照度。然后，传感器中的有源像素传感器(APS)和动态视觉传感器(DVS)将响应于辐照度以生成用于辐照度估计的事件和图像20。事件引导的自动曝光(EG-AE)30利用估计辐照度来计算期望曝光时间。因此，流程由三部分组成。第一部分是事件和图像的形成。第二部分示出了如何利用DVS和APS的物理连接来估计辐照度。第三部分展示了如何采用估计辐照度进行曝光控制。
光学映射：相机将场景的照度映射为数字信号有两个步骤，即光学映射和传感器响应。首先，镜头14将场景辐射线性映射到传感器辐照度。镜头系统的映射可以通过E(u；t)＝K(u)L(u；t)来描述，其中E(u；t)和L(u；t)分别是像素u＝(x；y)T在时间t处的辐照度和辐射率。K(u)是像素u的镜头参数，所述镜头参数对于大多数相机来说是常数。使用最近引入的DAVIS 346AE事件相机，[5]所述事件相机同时给出像素对准的DVS事件和APS图像，光学映射适用于事件和图像两者。DAVIS 346声发射(AE)是具有所包含的有源像素帧传感器或APS的346x 260像素DVS事件相机。在光学映射之后，APS和DVS将响应于辐照度并将其相应地变换为图像和事件。
APS辐射响应：对于连续的辐照度信号，APS曝光场景以形成图像序列。有两种控制曝光的等效方式，即，通过调整光圈大小或曝光时间。本申请的本实施例假设但不限于使用具有固定光圈的镜头的相机。因此，曝光仅由曝光时间控制。APS将在曝光时间期间累积辐照度并将其变换为数字图像。因此，曝光等于辐照度随曝光时间的积分，其也等于平均辐照度乘以曝光时间：
其中Hj(u)和Tj分别是图像j的曝光和曝光时间，tj是第j次曝光的开始时间，Ej(u)是在第j次曝光的持续时间内辐照度的平均值。然后，APS以非线性方式将曝光变换为数字图像。这种非线性辐射响应可以通过相机响应函数(camera response function，CRF)[13]描述如下：
Ij(u)＝f(Hj(u))， (3)
其中f是将第j个图像的曝光Hj(u)映射为对应的图像强度Ij(u)∈{0,…,255}的CRF。
DVS辐照度对数响应：DVS异步工作以响应于辐照度对数的变化，并且生成带时间戳和地址的事件流ε＝{ek|k＝1,…,Nev}，其中Nev是事件的数量。每个事件是4维元组其中uk＝(xk,yk)T是像素位置，tk是触发时间，pk∈{-1,+1}是指示辐照度对数的增加(ON事件_或减少(OFF事件)的极性，即，如果θk<COFF，则Pk＝1。CON>0和COFF<0是对比度值，θk＝In€(uk,tk))–ln(E(uk,tk-Δt))是像素uk的辐照度对数从时间tk–Δt至tk的变化。
基于事件的辐照度估计(E-IE)：EG-AE的任务需要辐照度来计算期望曝光时间。然而，仅基于事件或图像来估计辐照度是困难的。事件仅编码辐照度对数的相对变化，从而缺少绝对参考。运动模糊使得图像无法提供辐照度参考。因此，事件和图像必须相结合。事件提供了对曝光期间的波动辐照度的估计，从而允许图像给出正确的参考。
为此，以参考辐照度乘以相对辐照度的形式进行的估计必须写成如下公式：
其中是根据参考辐照度E(u,tref(在参考时间trefΔE(u,t'tref)))计算的像素u在时间t处的估计辐照度，表示从参考时间tref至时间t的相对辐照度：
可以通过将tj设为参考时间tref来从图像曝光导出参考辐照度E(u；tref)。使等式1和等式2相关并使用等式5分离连续辐照度：
由于参考辐照度E(u；tj)是常数，所以其可以从等式6中的积分中移出。然后，通过将曝光时间Tj向右移动，可以看出右侧是参考辐照度乘以相对辐照度平均值：
其中(Δt)(u；tj)是在第j次曝光持续时间内的相对辐照度平均值。重新排列等式7，产生：
将等式8插入到等式4(tj＝tref)中使得辐照度估计变成三个近似值，即，相对辐照度ΔE(u；t；tj)、其平均值和辐照度/>的平均值的近似值：
相对辐照度的近似值：DVS事件编码对数空间中的相对辐照度。因此，可以直接从参考时间tj至时间t对所有事件求和，以近似相对辐照度对数，然后可以对其进行幂运算，以获得相对辐照度：
其中事件ek＝(uk,tk；pk)服从tk∈[tj；t]，h是将位置u中的事件映射到对应对比度值的映射函数：
辐照度平均值的近似值：将等式2插入到等式3中，可以将图像强度Ij(u)逆映射为对应的平均辐照度
其中f-1是逆CRF。在此，仅使用1至254的像素强度来进行估计，因为值0和255指示曝光超出动态范围。
相对辐照度平均值的近似值：近似平均值的直接方法涉及在固定步长处对所有相对辐照度求和并取其平均值。但是由于事件噪声随时间均匀分布，因此该方法对噪声赋予了相等的权重。因此，结果将被噪声偏置，如图3B所示，其中图3A是原始模糊图像。为了增加有效信号相对于噪声的权重，可以使用非均匀采样方法。在此非均匀方法中，无论事件是否在像素u中，都在所有事件时间戳处对相对辐照度求和。由于相对运动在短时间内触发许多事件，因此在具有更有效信号的持续时间内，更多的辐照度自然相加，从而抑制均匀分布的噪声。
在持续时间[tj；t]内的相对辐照度平均值由下式给出：
其中Nev是事件的总数。使用等式13重建的图像示于图3C中，其比图3B更清晰。这表明非均匀采样优于固定步长采样，因为其可以抑制噪声。
辐照度重建：在上述近似之后，时间t处的辐照度可以通过将等式10、等式12和等式13插入到等式9中来估计。由于饱和像素无法给出正确的曝光，因此使用最新的不饱和像素来恢复参考辐照度，并将其与从先前的不饱和像素估计的辐照度组合：
其中是E-IE框架的输出辐照度，tn是前一个不饱和像素的曝光开始时间，j>n，n＝0表示辐照度是根据初始值E(u；0)估计的，所述初始值是使用[8]合成的HDR辐照度。给定来自等式14的估计辐照度ê(u；t)，还可以使用CRF来重建强度图像：
其中是像素u在时间t处的图像强度，Tj是图像j的曝光时间。当辐照度被准确估计时，重建图像将清晰而不模糊。并且在理论上，重建图像的帧速率可以与DVS的事件率一样高。因此，除了辐照度估计之外，还完成了完整图像去模糊和高速率帧重建任务。
接下来，事件引导的自动曝光(EG-AE)使用估计辐照度来计算图像捕获的期望曝光时间。
有源像素传感器(APS)的动态范围通常较低，即，<60dB，并且不能完全覆盖自然场景中的照明。因此，在自然场景中工作的基于视觉的系统需要调整曝光时间，以确保APS中的大多数像素免于饱和。使用来自DVS的事件，可能的感测范围扩展超过130dB。因此，可以利用DVS的HDR感测能力来引导APS捕获的曝光设置。为此，可以使用适当的Id，即将估计辐照度的平均值映射为CRF的中间值。以此方式，除了极端辐照度分布之外，大多数场景的照度都可以被相机的动态范围覆盖。给定期望强度Id，期望曝光时间由下式给出：
其中Np是感兴趣区域(region of interest，ROI)P中的像素数。对于大多数基于视觉的系统，可以将ROI设置为整个成像平面。
为了评估本申请的方法，通过DAVIS 346事件相机记录真实世界数据。
对比度值的校准：为了从一组事件中估计相对辐照度，需要知道等式11中的对比度值CON和COFF。然而，如在文章[6，42]中公开的现有方法根据预先记录的数据估计对比度，从而受到噪声的影响。为了消除噪声的影响，引入了文章[31]中建立的方法，所述方法使用已知的硬件参数直接从DVS设置中计算相对准确的对比度：
其中Kn＝0:7和Kp＝0:7是n和p FET晶体管的背栅系数。C1/C2是DVS的电容器比率(对于DAVIS 346传感器为130/6)。Id、ION和IOFF是用户在粗-细偏置发生器中设置的偏置电流[9]。该电流可以用jAER工具箱[3]计算。将对比度设置为CON＝0:2609，COFF＝-0:2605，并且余数在所有实验中是固定的。从表1中可以看出，去模糊值越低越好，就PIQE[39]、SSEQ[22]和BRISQUE[26]而言，本申请优于文章[33]、[26]和[34]中的方法。
CRF的校准：相机制造商为每种相机设计不同的CRF。因此，需要对CRF进行校准，并且需要从校准结果中导出逆CRF。文章[8]的方法用于对CRF进行校准，这需要具有不同曝光时间的一组静态图像。
数据集：由于当前数据集不包含硬件设置和辐射校准数据的细节，因此记录了评估数据集，所述评估数据集包含不同的运动(例如，摇动、随机移动)和场景照度(例如，低照明条件、阳光、人造光)。
实施细节：使用具有Intel i7-10870H@2.2GHz CPU的笔记本电脑进行所有实验。构造同步立体装备，其中两台DAIVS 346相机具有相同的硬件设置。使用C++软件在DV平台上实施算法。实施例的整体框架事件率超过每秒800万个事件。
辐照度重建：为了评估本申请的基于事件的辐照度估计(E-IE)框架的有效性，首先重建在每次曝光开始时间下的辐照度，然后与对应曝光时间一起使用，以根据辐照度重建图像。当辐照度估计准确时，重建图像是清晰的。否则，估计误差会导致图像模糊。然后，将本申请的结果与其它最先进的图像去模糊方法进行比较，包含常规方法[33]、基于学习的方法[16]和事件帧重建方法[34]。定性结果示出于图4中，其中图4A示出了事件，即，线(顶部图像)和剪刀(底部图像)。使用多个无参考度量，即SSEQ[22]、PIQE[39]和BRISQUE[26]来提供定量比较。数据集中的平均评分示于表1中，其中评分越低越好。
表1：去模糊的平均图像质量评分(更好：↓)
从表1中可以看出，本申请(EG-AG)实现了关于所有度量的最佳评分。其它方法获得次优评分，因为它们的严重模糊的图像几乎不能为重建提供任何有用信息。从图4中可以看出，本申请和文章[34]图4E的方法两者都很好地处理了部分模糊，例如，图4B中的移动剪刀的模糊。然而，对于完全模糊的图像，仅本申请能够在图4F的顶部图像中重建清晰图像。文章[34]的方法无法找到最佳对比度值，图4D和4C所示的包含常规方法[16，33]在内的其它两篇文章的方法无法处理这种具有挑战性的模糊。
曝光控制：将本申请与多种EC方法进行比较，包含手动调整曝光(manuallyadjusted exposure，ME)、DAVIS的内置AE和文章[38]中的最先进的I-AE方法。对于ME，在每个实验开始时调整曝光时间，然后保持固定。对于I-AE，使用稳定参数重新实施文章[38]中的非线性版本。成对地进行比较，即，一个DAVIS运行我们的EG-AE，另一个运行常规方法以进行比较。在含有非常亮的照明的具有挑战性的照度中对本申请的EG-AE进行测试。在没有适当调整的情况下，从APS拍摄的图像将严重过度曝光。因此，首先使用过度曝光率评估这些方法：过度曝光像素的平均数除以整个序列上的总像素数。结果示于表2中。此外，评估图像质量，并且将结果汇总在表3中。
表2：EC方法的平均过度曝光率(％)(更好：↓)
表3：EC方法的平均图像质量评分(更好：↓)
从表2可以看出，EG-AE应用显著降低了过度曝光率。这意味着EG-AE应用可以适当地设置曝光时间以减轻饱和度，这可改进图像质量并且帮助EG-AE获得表3中的最佳质量评分。
在图6所示的书本场景中，摄影灯用于照亮盒子中的书本。随机增加照明以产生照度间隙。成对的归一化的曝光时间和成对的过度曝光率示于图5中，其中绿色曲线是归一化的曝光时间并且红色曲线是过度曝光率(方法由如图例中所示的不同类型的线标记)。随机和同步成对地使用来自灯的照明，并且在图5A(ME对本申请)中呈现了结果，图5B是DAVIS346声发射(AE)事件相机对本申请并且图5C是I-AE对本申请。
在图5中，可以看出，EG-AE方法可以快速调整曝光时间以确保下一次图像捕获不会受到饱和度的影响。而ME方法无法在照明改变之后捕获不饱和图像，如图6A所示。I-AE[38]和DAVIS 346AE[5]方法都需要很长时间才能收敛于稳定的曝光时间，这增加了图5B和5C中的过度曝光率并导致饱和，如图6B和6C所示。
与现成装置的比较：为了进一步评估新型EG-AE方法的有效性，在极端照度条件下对所述方法进行测试并且将其与包含华为Mate 30[2]、GoPro HERO 7[1]和DAVIS 346[5]在内的当前最先进的装置进行比较。在这些测试中，首先将传感器用书本覆盖以产生低照明条件(<90Lux)，然后快速移开书本以使传感器直接暴露于阳光(>3000Lux)。为了全面评估该应用，使用DAVIS相机的快照模式来拍摄图像。第一图像是在低照明条件下捕获的，并且第二图像是在完全移开覆盖书本之后捕获的。这样，就没有机会使用介于两者之间的图像样本来估计辐照度。结果示出于图7中，其中可以看出，所有这些装置都需要多个图像样本才能收敛于良好的曝光设置。因此，多个图像在调整期间被过度曝光。相比之下，本申请利用事件来计算辐照度并且直接调整以校正曝光时间。此后立即捕获清晰图像。
本申请的方法提高了成像质量从而可以有益于许多应用。这里有两个实例。
视觉标签检测：本申请的EG-AE方法的基于事件的辐照度估计框架(E-IE)由于其对图像去模糊的有效性，可以改进视觉标签检测。如图8A所示，大的运动将使图像中的视觉标签模糊，而本框架的重建的清晰图像可以适当地保存有效信息以用于成功的Aprilta[32]检测，如图8B和图8C所示。在所述序列中，206个图像含有Apriltag。在没有本申请的辅助的情况下，仅检测到73个图像。通过本申请，成功的检测增加至198次。
特征匹配和跟踪：由于本方法本质上改进图像质量的能力，因此本方法可以有益于特征匹配和跟踪。如图9A所示，用常规AE在低照明条件下拍摄的图像是欠饱和的，并且几乎不能为图像恢复或其它任务提供任何信息。相比之下，如图9B所示，EG-AE设置正确的曝光时间，然后添加E-IE允许恢复如图9C所示的清晰图像，从而允许如图9D所示的成功的SURF[4]特征匹配。
本申请可以与用于使用多个室内轨迹进行特征跟踪的常规EC方法进行比较。结果汇总在表4中。可以看出，EG-AE获得关于所述表中的所有特征的最有效匹配。这是因为我们的EG-AE可以快速调整曝光时间，这为特征跟踪保存更多的梯度信息。
表4：特征跟踪的平均匹配内点(inlier)(更好：↑)
这项工作提出了一种新的自动曝光(AE)方法，所述方法利用事件相机的高动态范围和低延迟特性来调整曝光设置。在所提出的基于事件的辐照度估计(E-IE)框架中考虑了DVS和APS的物理连接以及其它硬件特性，从而允许有效地进行曝光控制；辐照度估计；和图像去模糊。大量实验表明，我们的方法可以稳健地解决具有挑战性的照明变化并减轻饱和度。此外，显示我们的方法在本质上改进了图像质量，从而有益于多个下游任务。
参考文献
本申请中所引用的参考文献通过引用整体并入本文，如下：
[1]GoPro hero 7.https://gopro.com/en/us.7,8
[2]华为mate 30.https://consumer.huawei.com/en/phones/mate30/.7,8
[3]jaer项目.http://jaerproject.org.6
[4]Herbert Bay,Andreas Ess,Tinne Tuytelaars和Luc Van Gool.加速稳健特征(surf)《计算机视觉和图像理解(Computer vision and image understanding)》,110(3):346–359,2008.8
[5]Christian Brandli,Raphael Berner,Minhao Yang,Shih-Chii Liu和TobiDelbruck.240 180 130dB 3是延迟全局快门时空视觉传感器(A240180 130dB 3islatency global shutter spatiotemporal vision sensor).《IEEE固态电路杂志(IEEEJournal of Solid-State Circuits)》,49(10):2333–2341,2014.2,3,6,7,8
[6]Christian Brandli,Lorenz Muller和Tobi Delbruck.使用基于帧和事件的DAVIS传感器进行的实时高速视频解压缩(Realtime,high-speed video decompressionusing a frame-and event-based DAVIS sensor).《2014年IEEE电路与系统国际研讨会(ISCAS)(In 2014IEEE International Symposium on Circuits and Systems(ISCAS))》,第686–689页.IEEE,2014.5
[7]Huaijin Chen,Wanjia Liu,Rishab Goel,Rhonald C Lua,SiddharthMittal,Yuzhong Huang,Ashok Veeraraghavan和Ankit B Patel.用于视频游戏和动作识别的快速视网膜形态事件驱动表示(Fast retinomorphic event-drivenrepresentations for video gameplay and action recognition).《IEEE计算成像汇刊(IEEE Transactions on Computational Imaging)》,6:276–290,2019.2
[8]Paul E.Debevec和Jitendra Malik.从照片中恢复高动态范围辐射图(Recovering high dynamic range radiance maps from photographs).《ACM SIGGRAPH2008类别(In ACM SIGGRAPH 2008classes)》,第1–10页.2008.5,6
[9]Tobi Delbruck,Raphael Berner,Patrick Lichtsteiner和Carlos Dualibe.具有亚关断电流能力的32位可配置偏置电流发生器(32-bit configurable bias currentgenerator with sub-off-current capability).《2010年IEEE电路与系统国际研讨会(ISCAS)》,第1647–1650页,2010.6
[10]Tobi Delbruck,Yuhuang Hu和Zhe He.V2e：从视频帧到现实dvs事件相机流(V2e:From video frames to realistic dvs event camera streams).arXiv预印本arXiv:2006.07722,2020.2
[11]Daniel Gehrig,Antonio Loquercio,Konstantinos G Derpanis和DavideScaramuzza.基于异步事件的数据表示的端到端学习(End-to-end learning ofrepresentations for asynchronous event-based data).《IEEE/CVF国际计算机视觉会议记录(In Proceedings of the IEEE/CVF International Conference on ComputerVision)》,第5633–5643页,2019.2
[12]Daniel Gehrig，Henri Rebecq，Guillermo Gallego和DavideScaramuzza.Eklt：使用事件和帧的异步光度特征跟踪(Eklt:Asynchronous photometricfeature tracking using events and frames).《国际计算机视觉杂志(InternationalJournal of Computer Vision)》,128(3):601–618,2020.2
[13]Michael D Grossberg和Shree K Nayar.对相机响应函数的空间进行建模(Modeling the space of camera response functions).《IEEE模式分析和机器智能汇刊(IEEE transactions on pattern analysis and machine intelligence)》,26(10):1272–1282,2004.4
[14]Christopher G.Harris和Mike Stephens.组合的角点和边缘检测器(Acombined corner and edge detector).《第四届阿尔维视觉会议记录(In Proc.4thAlvey Vision Conference)》,英国曼彻斯特(Manchester,U.K.),1988年8月,第147–151页,1988.8
[15]Ralph E.Jacobson,Sidney F.Ray和Geoffrey G.Attridge.《摄影手册(TheManual of photography)》.爱思唯尔公司(Elsevier Ltd),1988.3
[16]Meiguang Jin,Givi Meishvili和Paolo Favaro.学习从单个运动模糊图像中提取视频序列(Learning to extract a video sequence from a single motion-blurred image).《2018年IEEE/CVF计算机视觉和模式识别会议(In 2018IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR))》,第6334–6342页,2018年6月6日
[17]Bruce K Johnson.《摄影曝光控制系统和方法(Photographic exposurecontrol system and method)》,1984年1月3日.美国专利4,423,936.1,2
[18]Joowan Kim,Younggun Cho和Ayoung Kim.使用基于熵加权图像梯度的贝叶斯优化的曝光控制(Exposure control using bayesian optimization based onentropy weighted image gradient).《2018年IEEE机器人与自动化国际会议(ICRA)(In2018IEEE International Conference on Robotics and Automation(ICRA))》,第857–864页,2018.1
[19]Tetsuya Kuno,Hiroaki Sugiura和Narihiro Matoba.一种新型数码静态相机自动曝光系统(A new automatic exposure system for digital still cameras).《IEEE消费电子汇刊(IEEE Transactions on Consumer Electronics)》,44(1):192–199,1998.2
[20]Stefan Leutenegger,Margarita Chli和Roland Y.Siegwart.Brisk：二进制稳健不变可扩展关键点(Brisk:Binary robust invariant scalable key points).《2011年国际计算机视觉会议(In 2011International Conference on Computer Vision)》,第2548–2555页,2011.8
[21]Shijie Lin,Fang Xu,Xuhong Wang,Wen Yang和Lei Yu.用于事件相机的sae表示的有效空间-时间归一化(Efficient spatial-temporal normalization of saerepresentation for event camera).《IEEE机器人与自动化快报(IEEE Robotics andAutomation Letters)》,5(3):4265–4272,2020.2
[22]Lixiong Liu,Bao Liu,Hua Huang和Alan Conrad Bovik.基于空间熵和光谱熵的无参考图像质量评估(No-reference image quality assessment based on spatialand spectral entropies).《信号处理：图像通信(Signal Processing:ImageCommunication)》,29(8):856–863,2014.6
[23]Li Liu,Wanli Ouyang,XiaogangWang,PaulW.Fieguth,Jie Chen,XinwangLiu和Matti Pietikinen.用于通用对象检测的深度学习：概述(Deep learning forgeneric object detection:Asurvey)《国际计算机视觉杂志》,128(2):261–318,2020.1
[24]Huimin Lu,Hui Zhang,Shaowu Yang和Zhiqiang Zheng.用于稳健机器人视觉的相机参数自动调整技术(Camera parameters auto-adjusting technique forrobust robot vision).《2010年IEEE机器人与自动化国际会议(ICRA)》,第1518–1523页.IEEE,2010.1,2
[25]Jiri Matas,Ondrej Chum,Martin Urban和Toms Pajdla.来自最大稳定极值区域的稳健宽基线立体声(Robust wide-baseline stereo frommaximally stableextremal regions).《图像与视觉计算(Image and Vision Computing)》,22(10):761–767,2004.8
[26]Anish Mittal,Anush Krishna Moorthy和Alan Conrad Bovik.空间域中的无参考图像质量评估(No-reference image quality assessment in the spatialdomain).《IEEE图像处理汇刊(IEEE Transactions on Image Processing)》,21(12):4695–4708,2012.6
[27]Mart′in Montalvo,Jos′eMGuerrero,Juan Romeo,Mar′ia Guijarro,M Jes′us和Gonzalo Pajares.通过自动曝光时间控制和直方图匹配采集具有足够质量的农艺学图像(Acquisition of agronomic images with sufficient quality by automaticexposure time control and histogram matching).《国际智能视觉系统先进概念会议(In International Conference on Advanced Concepts for Intelligent VisionSystems)》,第37–48页.施普林格出版社(Springer),2013.2
[28]Masaru Muramatsu.用于相机的光度学装置(Photometry device for acamera),1997年1月7日.美国专利5,592,256.2
[29]Ant′onio JR Neves,Bernardo Cunha,Armando J Pinho和Ivo Pinheiro.机器人数码相机中参数的自主配置(Autonomous configuration of parameters inrobotic digital cameras).《伊比利亚模式识别与图像分析会议(In IberianConference on Pattern Recognition and Image Analysis)》,第80–87页.施普林格出版社,2009.1,2
[30]Navid Nourani-Vatani和Jonathan Roberts.自动相机曝光控制(Automaticcamera exposure control).《澳大拉西亚机器人与自动化会议记录2007(In Proceedingsof the Australasian Conference on Robotics and Automation 2007)》,第1–6页.澳大利亚机器人与自动化协会有限公司(Australian Robotics and Automation AssociationInc.),2007.1,2
[31]Yuji Nozaki和Tobi Delbruck.动态视觉传感器中的温度和寄生光电流效应(Temperature and parasitic photocurrent effects in dynamic vision sensors).《IEEE电子装置汇刊(IEEE Transactions on Electron Devices)》,64(8):3239–3245,2017.5
[32]Edwin Olson.Apriltag：一种稳健且灵活的视觉基准系统(Apriltag:Arobust and flexible visual fiducial system).《2011年IEEE机器人与自动化国际会议(ICRA)》,第3400–3407页.IEEE,2011.8
[33]Jinshan Pan,Deqing Sun,Hanspeter Pfister和Ming-Hsuan Yang.通过暗通道先验使图像去模糊(Deblurring images via dark channel prior).《IEEE模式分析和机器智能汇刊(IEEE transactions on pattern analysis and machineintelligence)》,40(10):2315–2328,2018.6
[34]Liyuan Pan,Cedric Scheerlinck,Xin Yu,Richard Hartley,Miaomiao Liu和Yuchao Dai.用事件相机以高帧率使模糊帧活跃(Bringing a blurry frame alive athigh frame-rate with an event camera).《2019IEEE/CVF计算机视觉和模式识别会议(CVPR)》,第6813–6822页,2019年6月.2,6
[35]E.Rosten和T.Drummond.用于高性能跟踪的融合点和线(Fusing points andlines for high performance tracking).《第十届IEEE国际计算机视觉会议(ICCV)(InTenth IEEE International Conference on Computer Vision(ICCV))》第1卷，第2卷，第1508–1515页，2005.8
[36]Nitin Sampat,Shyam Venkataraman,Thomas Yeh和Robert LKremens.在消费级数码相机上实现自动曝光的系统含义(System implications of implementingauto-exposure on consumer digital cameras).《传感器、相机和数码摄影应用(InSensors,Cameras,and Applications for Digital Photography)》,第3650卷,第100–107页.国际光学工程学会(International Society for Optics and Photonics),1999.2
[37]Inwook Shim,Joon-Young Lee和In So Kweon.使用梯度信息自动调整户外机器人的相机曝光(Autoadjusting camera exposure for outdoor robotics usinggradient information).《2014IEEE/RSJ智能机器人与系统国际会议(In 2014IEEE/RSJInternational Conference on Intelligent Robots and Systems)》,第1011–1017页.IEEE,2014.2
[38]Inwook Shim,Tae-Hyun Oh,Joon-Young Lee,Jinwook Choi,Dong-GeolChoi和In So Kweon.户外移动平台的基于梯度的相机曝光控制(Gradient-based cameraexposure control for outdoor mobile platforms).《IEEE视频技术电路和系统汇刊(IEEE Transactions on Circuits and Systems for Video Technology)》,29(6):1569–1583,2018.1,2,6,7,8
[39]N Venkatanath,D Praneeth,Maruthi Chandrasekhar Bh,SumohanaS.Channappayya和Swarup S.Medasani.使用基于感知的特征的盲图像质量评估(Blindimage quality evaluation using perception based features).《2015年第二十一届全国通信会议(NCC)(In 2015Twenty First National Conference on Communications(NCC))》,第1–6页.IEEE,2015.6
[40]Antoni Rosinol Vidal,Henri Rebecq,Timo Horstschaefer和DavideScaramuzza.终极slam？组合事件、图像和imu，以在hdr和高速场景中实现稳健的视觉slam(Ultimate slam？combining events,images,and imu for robust visual slamin hdrand high-speed scenarios).《IEEE机器人与自动化快报》,3(2):994–1001,2018.2
[41]Lin Wang,Yo-Sung Ho,Kuk-Jin Yoon等人使用条件生成对抗性网络实现的基于事件的高动态范围图像和极高帧率视频生成(Event-based high dynamic rangeimage and very high frame rate video generation using conditional generativeadversarial networks).《IEEE/CVF计算机视觉和模式识别会议(CVPR)记录(InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition(CVPR))》,第10081–10090页,2019.2
[42]Ziwei Wang,Yonhon Ng,Pieter van Goor和Robert Mahony.每像素偏置对比度阈值的事件相机校准(Event camera calibration of per-pixel biased contrastthreshold),2020.5
[43]Zihao W.Wang,Peiqi Duan,Oliver Cossairt,Aggelos Katsaggelos,Tiejun Huang和Boxin Shi.用于高分辨率噪声稳健成像的强度图像和神经形态事件的联合滤波(Joint filtering of intensity images and neuromorphic events for high-resolution noise-robust imaging).《IEEE/CVF计算机视觉和模式识别会议(CVPR)记录》,第1609–1619页,2020.2
[44]Zichao Zhang,Christian Forster和Davide Scaramuzza.在hdr环境中用于稳健视觉里程计的主动曝光控制(Active exposure control for robust visualodometry in hdr environments).《2017年IEEE机器人与自动化国际会议(ICRA)》,第3894–3901页.IEEE,2017.1,2
虽然本申请是相对于某些实施例来解释的，但是应当理解，在阅读本说明书后，其各种修改对于本领域的技术人员而言将变得显而易见。因此，应当理解，本文公开的申请旨在覆盖落入所附权利要求的范围内的此类修改。

Claims (10)

1.一种用于数码相机的事件引导的自动曝光控制方法，包括以下步骤：
扫掠场景以产生场景辐射信号；
将所述场景辐射线性映射到传感器辐照度信号；
响应于所述辐照度信号借助于有源像素传感器(APS)和动态视觉传感器(DVS)生成用于辐照度估计的事件和图像，所述有源像素传感器在曝光时间期间累积辐照度并将其变换为数字图像；以及
利用基于事件的辐照度估计(I-IE)来计算期望曝光时间。
2.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述扫掠步骤和所述线性映射场景场的步骤涉及使光源遍及所述场景进行扫掠，使得光从所述场景中的物体的反射产生场景辐射信号，所述场景辐射信号由镜头变换成传感器辐照度信号。
3.根据权利要求1所述的事件引导的自动曝光控制方法，其中事件和图像是由事件相机中的APS和DVS生成的。
4.根据权利要求3所述的事件引导的自动曝光控制方法，其中所述事件相机是DAVIS346声发射(AE)事件相机。
5.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述APS在曝光时间期间累积所述辐照度并以非线性方式将其变换为数字图像，并且所述DVS与所述APS异步工作以编码辐照度对数的相对变化并生成带时间戳和地址的事件流。
6.根据权利要求5所述的事件引导的自动曝光控制方法，其中所述带时间戳和地址的事件流和每个事件是4维元组。
7.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述基于事件的辐照度估计(I-IE)是通过以下步骤将事件和图像两者结合来确定的：
以参考辐照度乘以相对辐照度平均值的形式将估计辐照度写成公式，其中所述相对辐照度平均值是通过在所有事件时间戳处对相对辐照度进行非均匀采样来实现的；
使用所述估计辐照度来计算用于图像捕获的所述期望曝光时间；以及
使用相机响应函数(CRF)重建强度图像，以形成所述辐照度估计、图像去模糊和高速率帧重建。
8.根据权利要求7所述的事件引导的自动曝光控制方法，其中所述参考辐照度是常数。
9.根据权利要求5所述的事件引导的自动曝光控制方法，其中DVS的高动态范围(HDR)感测能力被用于引导用于APS辐照度累积的曝光设置。
10.根据权利要求7所述的事件引导的自动曝光控制方法，其中最新的不饱和像素被用于恢复所述参考辐照度，并且所恢复的参考辐照度与从先前的不饱和像素估计的辐照度组合。
CN202280053412.4A 2021-08-24 2022-08-24 用于数字摄影的基于事件的自动曝光 Pending CN117836816A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163236375P 2021-08-24 2021-08-24
US63/236,375 2021-08-24
PCT/CN2022/114456 WO2023025185A1 (en) 2021-08-24 2022-08-24 Event-based auto-exposure for digital photography

Publications (1)

Publication Number Publication Date
CN117836816A true CN117836816A (zh) 2024-04-05

Family

ID=85321558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280053412.4A Pending CN117836816A (zh) 2021-08-24 2022-08-24 用于数字摄影的基于事件的自动曝光

Country Status (3)

Country Link
US (1) US20240348934A1 (zh)
CN (1) CN117836816A (zh)
WO (1) WO2023025185A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726549B (zh) * 2024-02-07 2024-04-30 中国科学院长春光学精密机械与物理研究所 基于事件引导的图像去模糊方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263751B2 (en) * 2018-10-26 2022-03-01 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation using an event sensor
CN109842404A (zh) * 2019-04-01 2019-06-04 重庆鲁班机器人技术研究院有限公司 动态有源像素视觉传感器
US11455793B2 (en) * 2020-03-25 2022-09-27 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras
CN112801027B (zh) * 2021-02-09 2024-07-12 北京工业大学 基于事件相机的车辆目标检测方法

Also Published As

Publication number Publication date
WO2023025185A1 (en) 2023-03-02
US20240348934A1 (en) 2024-10-17

Similar Documents

Publication Publication Date Title
US20220044363A1 (en) Techniques for Controlled Generation of Training Data for Machine Learning Enabled Image Enhancement
Wei et al. Physics-based noise modeling for extreme low-light photography
US7463296B2 (en) Digital cameras with luminance correction
CN108259774B (zh) 图像合成方法、系统和设备
US11854167B2 (en) Photographic underexposure correction using a neural network
Zheng et al. Single-image vignetting correction
Jia et al. Bayesian correction of image intensity with spatial consideration
EP1583032A2 (en) Luminance Correction
US11303793B2 (en) System and method for high-resolution, high-speed, and noise-robust imaging
US9554058B2 (en) Method, apparatus, and system for generating high dynamic range image
JP2009093644A (ja) コンピュータによって実施されるシーン内を移動している物体の３ｄ位置を追跡する方法
Duan et al. Guided event filtering: Synergy between intensity images and neuromorphic events for high performance imaging
CN117836816A (zh) 用于数字摄影的基于事件的自动曝光
Grundmann et al. Post-processing approach for radiometric self-calibration of video
US11983853B1 (en) Techniques for generating training data for machine learning enabled image enhancement
Alghamdi et al. Transfer deep learning for reconfigurable snapshot HDR imaging using coded masks
US20230132230A1 (en) Efficient Video Execution Method and System
US20230125040A1 (en) Temporally Consistent Neural Network Processing System
CN114255177A (zh) 成像中的曝光控制方法、装置、设备及存储介质
Nazir et al. idfd: A dataset annotated for depth and defocus
Hajisharif Computational Photography: High Dynamic Range and Light Fields
Figueroa et al. Bayesian methods for radiometric calibration in motion picture encoding workflows
WO2020250412A1 (ja) 画像処理装置及び画像処理方法
JP2024539177A (ja) 効果的な映像実行方法及びシステム
Yasukawa et al. Entropy-Based Exposure Time Setting for an Adaptive Multi-Exposure Image Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination