CN118120223A - 用于去除视频中的闪烁的方法和装置 - Google Patents

Abstract

提供了一种用于由电子设备去除视频中的闪烁的方法，该方法包括：获得包括在电子设备中的相机的预览场中的场景的多个红‑绿‑蓝(RGB)视频帧，获得多个视频帧中的至少一个光源的位置，基于光源的位置获得至少一个光源的亮度，基于至少一个光源的位置和至少一个光源的亮度获得多个视频帧中的每个像素的去闪烁因子，以及将去闪烁因子应用于多个视频帧中的每一个以去除闪烁。

Description

用于去除视频中的闪烁的方法和装置

技术领域

本公开涉及图像处理系统，并且更具体地涉及一种用于去除慢动作视频中的闪烁的方法和装置。

背景技术

在人造光(例如荧光灯泡、发光二极管(LED)灯泡)条件下，存在人眼无法检测到的光强度波动。由于人眼的观看频率约为30至60hz时，因此人眼无法检测到快速变化，例如，大约120hz的变化。然而，慢动作相机以更高的帧率(例如大于120hz的帧率)捕获场景，并且能够捕获光强度的快速变化。

诸如灯泡和LED的人造光由交流电(AC)供电，其中电中的电子在电路中循环地进出。在1个周期或赫兹内，当电子交替进出时，灯泡关闭2次。

电可以以60hz或50hz运行。因此，电灯泡可以在100至120次/秒之间打开和关闭。虽然人眼不能看到闪烁，但是慢动作相机镜头使闪烁对人眼可见。

相机打开和关闭其运动捕获快门，比闪烁的LED的速度稍快，使闪烁变得明显。对于相机，当相机的每秒帧率(FPS)与人造光的频率不匹配时，闪烁在相机屏幕上变得可见。

发明内容

技术问题

已经提供了用于去除慢动作视频中的闪烁的解决方案。然而，在相关技术中，闪烁没有被完全去除并且具有准确度问题。此外，在相关技术中，在运动期间在实际不存在闪烁的某些地方会引入闪烁。另外，在相关技术中，在去除闪烁时引入了伪影。此外，现有技术公开了在整个块上应用相同的变换/处理，而不管对象相对于光的角度如何。

因此，期望解决上述缺点或其他缺点。

技术解决方案

一个或多个实施例提供了一种去除慢动作视频中的闪烁的方法和设备。在实施例中，确定场景中光源的实际亮度和光源的目标亮度。基于实际亮度和目标亮度，确定去闪烁因子。此外，去闪烁因子被应用于场景中的每个帧。

根据实施例的一方面，提供了一种用于由电子设备去除视频中的闪烁的方法，该方法包括：获得包括在电子设备中的相机的预览场中的场景的多个红-绿-蓝(RGB)视频帧，获得多个RGB视频帧中的至少一个光源的位置，基于至少一个光源的位置获得至少一个光源的亮度，基于至少一个光源的位置和至少一个光源的亮度获得多个RGB视频帧中的每个像素的去闪烁因子，以及将去闪烁因子应用于多个RGB视频帧中的每一个以去除闪烁。

获得多个RGB视频帧中的至少一个光源的位置可以包括：将多个RGB视频帧中具有最大亮度的至少一个区域识别为亮集群，基于场景的深度图获得场景的三维(3D)图，以及基于识别的亮集群和场景的3D图获得至少一个光源的位置。

基于亮集群和3D图获得至少一个光源的位置可以包括：获得至少一个光源的表面垂线和反射角，获得至少一个光源的入射角，基于入射角获得至少一个光源的方向，确定来自至少一个光源的多条入射光线彼此相交，以及获得至少一个光源的位置，作为来自至少一个光源的多条入射光线的交点。

基于至少一个光源的位置获得至少一个光源的亮度可以包括：基于场景的3D图和至少一个光源的位置获得至少一个光源的实际亮度，以及基于至少一个光源的实际亮度获得至少一个光源的目标亮度。

基于场景的3D图和至少一个光源的位置获得至少一个光源的实际亮度可以包括：基于3D图、多个RGB视频帧和至少一个光源的位置获得多个RGB视频帧中的每一个的光强度，以及基于多个RGB视频帧中的每一个的光强度的平均值获得实际亮度。

获得至少一个光源的目标亮度可以包括：基于实际亮度从多个RGB视频帧中的每一个获得帧亮度的趋势，获得多个RGB视频帧中的每一个的帧亮度的傅里叶变换，排除具有频率100hz和120hz的帧，以及获得至少一个光源的目标亮度，作为剩余帧的逆傅里叶变换。

获得去闪烁因子可以包括：基于场景的3D图、至少一个光源的位置、至少一个光源的实际亮度和至少一个光源的目标亮度来获得基于角度的去闪烁因子，其中，基于角度的去闪烁因子是添加到帧以去除闪烁的数字矩阵；基于多个RGB视频帧获得基于人工智能(AI)的去闪烁因子；将基于角度的去闪烁因子和基于AI的去闪烁因子进行组合；以及基于基于角度的去闪烁因子和基于AI的去闪烁因子获得去闪烁因子，其中，基于角度的去闪烁因子与基于AI的去闪烁因子相乘以获得去闪烁因子。

获得基于角度的去闪烁因子可以包括：获得朝向至少一个光源的入射角，获得入射角的余弦，获得多个RGB视频帧中的每个像素的余弦的平均值，以及获得基于角度的去闪烁因子，作为对余弦的平均值、至少一个光源的目标亮度和至少一个光源的实际亮度的组合，其中，基于角度的去闪烁因子是针对每个像素获得并被添加到每个像素以用于去除闪烁的值。

获得基于AI的去闪烁因子可以包括将多个RGB视频帧作为输入发送到AI模型，以及基于输入从AI模型接收基于AI的去闪烁因子。

将去闪烁因子应用于多个RGB视频帧中的每一个以去除闪烁可以包括：基于表面法线与光源之间的角度来调整多个RGB视频帧中的每个像素，将光强度与合成的去闪烁因子相加以获得去闪烁光强度，以及将去闪烁光强度与余弦相乘以获得无闪烁帧。

根据实施例的另一方面，提供了一种用于从视频中去除闪烁的电子设备，该电子设备包括存储器、相机和耦接到存储器和相机的至少一个处理器，其中，至少一个处理器被配置为获得相机的预览场中的场景的多个红-绿-蓝(RGB)视频帧，获得多个RGB视频帧中的至少一个光源的位置，基于至少一个光源的位置获得至少一个光源的亮度，基于至少一个光源的位置和至少一个光源的亮度获得多个RGB视频帧中的每个像素的去闪烁因子，并将去闪烁因子应用于多个RGB视频帧中的每一个以去除闪烁。

为了获得多个RGB视频帧中的至少一个光源的位置，至少一个处理器还可以被配置为将多个RGB视频帧中具有最大亮度的至少一个区域识别为亮集群，基于场景的深度图获得场景的三维(3D)图，并且基于识别的亮集群和场景的3D图获得至少一个光源的位置。

为了基于亮集群和3D图获得至少一个光源的位置，至少一个处理器还可以被配置为获得至少一个光源的表面垂线和反射角，获得至少一个光源的入射角，基于入射角获得至少一个光源的方向，确定来自至少一个光源的多条入射光线彼此相交，以及获得至少一个光源的位置，作为来自至少一个光源的多条入射光线的交点。

为了基于光源的位置获得至少一个光源的亮度，至少一个处理器还可以被配置为基于场景的3D图和至少一个光源的位置获得至少一个光源的实际亮度，并且基于至少一个光源的实际亮度获得至少一个光源的目标亮度。

为了基于场景的3D图和至少一个光源的位置获得至少一个光源的实际亮度，至少一个处理器还可以被配置为基于3D图、多个RGB视频帧和至少一个光源的位置获得多个RGB视频帧中的每一个的光强度，并且基于多个RGB视频帧中的每一个的光强度的平均值获得实际亮度。

为了获得至少一个光源的目标亮度，至少一个处理器还可以被配置为基于实际亮度从多个RGB视频帧中的每一个获得帧亮度的趋势，获得多个RGB视频帧中的每一个的帧亮度的傅里叶变换，排除具有频率100hz和120hz的帧，并且获得至少一个光源的目标亮度，作为剩余帧的逆傅里叶变换。

为了获得去闪烁因子，至少一个处理器还可以被配置为：基于场景的3D图、至少一个光源的位置、至少一个光源的实际亮度和至少一个光源的目标亮度获得基于角度的去闪烁因子，其中，基于角度的去闪烁因子是添加到帧以去除闪烁的数字矩阵；基于多个RGB视频帧获得基于人工智能(AI)的去闪烁因子；将基于角度的去闪烁因子和基于AI的去闪烁因子进行组合；以及基于基于角度的去闪烁因子和基于AI的去闪烁因子获得去闪烁因子，其中，基于角度的去闪烁因子与基于AI的去闪烁因子相乘以获得去闪烁因子。

为了获得基于角度的去闪烁因子，至少一个处理器还可以被配置为获得朝向至少一个光源的入射角，获得入射角的余弦，获得多个RGB视频帧中的每个像素的余弦的平均值，以及获得基于角度的去闪烁因子，作为对余弦的平均值、至少一个光源的目标亮度和至少一个光源的实际亮度的组合，其中，基于角度的去闪烁因子是针对每个像素获得并且被添加到每个像素以去除闪烁的值。

为了获得基于AI的去闪烁因子，至少一个处理器还可以被配置为将多个RGB视频帧作为输入发送到AI模型，并且基于输入从AI模型接收基于AI的去闪烁因子。

为了将去闪烁因子应用于多个RGB视频帧中的每一个以去除闪烁，至少一个处理器还可以被配置为基于表面法线和光源之间的角度来调整多个RGB视频帧中的每个像素，将光强度与合成的去闪烁因子相加以获得去闪烁光强度，并将去闪烁光强度与余弦相乘以获得无闪烁帧。

附图说明

从以下参考附图的描述中将更好地理解本文的实施例，其中：

图1示出了根据实施例的用于去除慢动作视频中的闪烁的用户设备(UE)(100)的框图；

图2是示出根据实施例的用于去除慢动作视频中的闪烁的各种单元的闪烁控制器(140)的框图；

图3A是示出根据实施例的用于确定亮集群的流程的流程图；

图3B示出了亮区域和小亮区域；

图3C示出了在操作302处针对任何帧创建的直方图；

图4是示出根据实施例的创建场景的三维(3D)图的流程的流程图；

图5A是示出根据实施例的用于检测在场景中照明的光源的位置的流程的流程图；

图5B和图5C解释了根据实施例的检测光源的方向；

图6A是示出根据实施例的用于确定光源的实际亮度的流程的示意图；

图6B和图6C是示出根据实施例的由于表面朝向光源的角度的变化而导致的光度变化的示意图；

图7A是示出根据实施例的从实际亮度确定目标亮度的方法的流程图；

图7B示出了根据实施例的说明从实际亮度确定目标亮度的示例的示意图；

图8A是示出根据实施例的用于确定基于角度的去闪烁因子的方法的流程的流程图；

图8B示出了根据实施例的用于计算从表面点到光源的矢量的示例场景；

图8C是示出根据实施例的用于确定基于角度的去闪烁因子的两个矢量和两个矢量之间的角度的示意图；

图9A和图9B是示出根据实施例的用于确定基于人工智能(AI)的去闪烁因子的CNN-LSTM模型的训练阶段和推理阶段的框图；

图9C示出了根据实施例的用于确定基于AI的去闪烁因子的CNN-LSTM的架构；

图9D是根据实施例的用于将基于角度的去闪烁因子与基于AI的去闪烁因子进行组合的流程图；

图10是示出根据实施例的应用合成的去闪烁因子以去除闪烁的流程的流程图；以及

图11A、图11B、图11C、图11D、图11E、图11F、图11G、图11H、图11I、图11J、图11K、图11L、图11M、图11N、图11O、图11P、图11Q、图11R、图11S、图11T和图11U是示出根据实施例的闪烁去除的示例场景的示意图。

具体实施方式

参考在附图中示出并在以下描述中详述的非限制性实施例，更全面地解释本文的实施例及其各种特征和有利细节。省略了对公知组件和处理技术的描述，以免不必要地模糊本文的实施例。另外，本文描述的各种实施例不一定是相互排斥的，因为一些实施例可以与一个或多个其他实施例组合以形成新的实施例。除非另有说明，否则如本文所用的术语“或”是指非排他性的或。本文使用的示例仅旨在便于理解可以实践本文的实施例的方式，并且进一步使本领域技术人员能够实践本文的实施例。因此，示例不应被解释为限制本文的实施例的范围。

如本领域中传统做法，可以根据执行所描述的一个或多个功能的块来描述和示出实施例。这些块(在本文中可以被称为管理器、单元、模块、硬件组件等)由模拟电路和/或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现，并且可以可选地由固件驱动。电路可以例如实施在一个或多个半导体芯片中，或者实施在诸如印刷电路板等的衬底支撑件上。构成块的电路可以由专用硬件实现，或者由处理器(例如，一个或多个编程的微处理器和相关联的电路)实现，或者由用于执行块的一些功能的专用硬件和用于执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下，实施例的每个块可以物理地分成两个或更多个交互的块和离散的块。同样地，在不脱离本公开的范围的情况下，实施例的块可以被物理地组合成更复杂的块。

根据实施例的方法公开了去除慢动作视频中的闪烁。首先从慢动作视频中提取红绿蓝(RGB)帧。此外，确定光谱反射的区域(来自光源的光从其直接朝向相机反射的表面)，以用于获得光源的位置。此外，获得场景的三维(3D)图。然后使用3D图和光谱反射来确定光源的位置。

确定场景上光源的实际亮度和目标亮度。此外，确定基于角度的去闪烁因子和基于人工智能(AI)的去闪烁因子。使用基于角度的去闪烁因子和基于AI的去闪烁因子，获得合成的去闪烁因子。

最后，将合成的去闪烁因子应用于原始帧以获得无闪烁慢动作视频。

现在参考附图，并且更具体地参考图1至图11，示出了实施例。

图1示出了根据实施例的用于去除慢动作视频中的闪烁的用户设备(UE)(100)的框图。

UE(100)的示例包括但不限于智能电话、平板计算机、个人数字助理(PDA)、物联网(IoT)设备、可穿戴设备等。此外，UE(100)包括存储器(110)、相机(120)、处理器(130)、闪烁控制器(140)、通信器(150)和深度传感器(160)。

在实施例中，根据实施例的方法和设备在相机(120)捕获慢动作视频时去除闪烁。下面详细解释该设备。

在实施例中，存储器(110)被配置为存储场景的深度图、场景的多个RGB视频帧和场景的3D图。存储器(110)存储要由处理器(130)执行的指令。存储器(110)可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外，在一些示例中，存储器(110)可以被认为是非暂时性存储介质。术语“非暂时性”可以指示存储介质不以载波或传播信号实现。然而，术语“非暂时性”不应被解释为存储器(110)是不可移动的。在一些示例中，存储器(110)可以被配置为存储比存储器更大量的信息。在某些示例中，非暂时性存储介质可以存储可随时间改变的数据(例如，在随机存取存储器(RAM)或高速缓冲存储器中)。存储器(110)可以是内部存储单元，或者可以是UE(100)的外部存储单元、云存储设备或任何其他类型的外部存储设备。

相机(120)被配置为以视频或图像的形式捕获场景。视频可以是慢动作视频。

处理器(130)与存储器(110)、相机(120)、闪烁控制器(1430)、通信器(150)和深度传感器(160)通信。处理器(130)被配置为执行存储在存储器(110)中的指令并执行各种处理。处理器(130)可以包括一个或多个处理器，可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、纯图形处理单元(诸如图形处理单元(GPU)、视觉处理单元(VPU))和/或人工智能(AI)专用处理器(诸如神经处理单元(NPU))。

通信器(150)被配置用于在内部硬件组件之间内部通信并且与外部设备(例如，相机、深度传感器、闪烁控制器等)通信。通信器(150)包括特定于实现有线通信或无线通信的标准的电子电路。

深度传感器(160)被配置用于创建场景的视频/图像的深度图。在实施例中，深度传感器确定视频的深度，并且进一步使用图像处理从深度视频来创建深度图。

闪烁控制器(140)确定去闪烁因子并将去闪烁因子应用于场景以去除闪烁。

闪烁控制器(140)由诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等的处理电路实现，并且可以可选地由固件驱动。电路可以例如实施在一个或多个半导体芯片中，或者实施在诸如印刷电路板等的衬底支撑件上。闪烁控制器(140)和处理器(130)可以统称为“至少一个处理器”。

在实施例中，闪烁控制器(140)使用图像处理从慢动作相机获得RGB视频帧。在另一实施例中，闪烁控制器(140)基于动态阈值获得最佳亮区域，其是实际亮区域。在实施例中，例如，多个视频帧中的多个像素中的前10％的像素被认为是亮像素。此外，可以不考虑小集群，例如小于图像区域的2％或孤立的亮像素。剩余区域被认为是亮区域，并且存在于亮区域中的所有点被认为是亮点或亮集群。

此外，闪烁控制器(140)基于多个RGB视频帧和深度图来创建场景的3D图。在创建3D图之后，闪烁控制器(140)确定照亮场景的不同光源。在实施例中，闪烁控制器(140)基于3D图和所识别的亮集群来确定光源的方向和位置。

此外，闪烁控制器(140)确定光源的实际亮度和光源的目标亮度。光源的实际亮度可以是光源的光度，而光源的目标亮度可以是没有闪烁的光源的光度。基于3D图、光源的位置和多个RGB视频帧来确定光源的实际亮度。基于实际亮度确定光源的目标亮度。

在确定实际亮度和目标亮度之后，闪烁控制器(140)确定基于角度的去闪烁因子。基于3D图、光源的位置、实际亮度和目标亮度来确定基于角度的去闪烁因子。

此外，闪烁控制器(140)将基于角度的去闪烁因子与基于AI的去闪烁因子进行组合以获得合成的去闪烁因子。

然后，闪烁控制器(140)对RGB视频帧中的每个帧应用合成的去闪烁因子，以获得无闪烁视频。

因此，如上所述，根据实施例的方法和设备更有效地去除闪烁。由于实施例不将视频/图像划分为区域，而去闪烁因子则取决于表面法线与光源之间的角度，因此不会引入伪影。

此外，根据实施例的方法考虑了对象取向的变化，其考虑了由于朝向光源的角度变化引起的亮度变化，并且当亮度的变化纯粹是由于取向变化而不是由于光源光度变化时不应用变换。因此，在视频中的运动区域处不会引入新的闪烁。

此外，该实施例考虑像素亮度的变化和对象的表面垂线与光源之间的角度变化，以计算光源亮度变化的更准确的估计。因此，该实施例产生考虑表面几何形状的更好的闪烁去除。

尽管图1示出了UE(100)的各种硬件组件，但是实施例不限于此。在实施例中，UE(100)可以包括更少或更多数量的组件。此外，组件的标记或名称仅用于说明性目的，而不是限制性的。可以组合一个或多个组件以执行相同或基本相似的功能以去除慢动作视频中的闪烁。

图2是示出根据实施例的用于去除慢动作视频中的闪烁的各种单元的闪烁控制器(140)的框图。

在实施例中，闪烁控制器(140)包括慢动作视频到帧转换器(141)、图像内容分析器(142)、光源位置计算器(143)、光源实际亮度计算器(144)、光源目标亮度计算器(145)、基于角度的去闪烁因子计算器(146)、基于AI的去闪烁因子计算器(147)和去闪烁因子应用器(148)。

在实施例中，闪烁控制器的块(141-148)由诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等的处理电路实现，并且可以可选地由固件驱动。电路可以例如实施在一个或多个半导体芯片中，或者实施在诸如印刷电路板等的衬底支撑件上。

在实施例中，慢动作视频到帧转换器(141)使用图像处理从慢动作相机获得RGB视频帧。

慢动作相机帧随后被传递到图像内容分析器(142)。图像内容分析器(142)包括亮集群确定器(142a)和3D图生成器(142b)。亮集群确定器(142a)识别亮集群。3D图生成器(142b)基于多个RGB视频帧和深度图来创建场景的3D图。在创建3D图之后，光源位置计算器(143)基于3D图和所识别的亮集群来确定光源的位置。

此外，光源实际亮度计算器(144)确定光源的实际亮度，并且光源实际亮度计算器(145)计算光源的目标亮度。

在确定之后，基于角度的去闪烁因子计算器(146)确定基于角度的去闪烁因子。基于AI的去闪烁因子计算器(147)计算基于AI的去闪烁因子。

此外，闪烁控制器(140)将基于角度的去闪烁因子与基于AI的去闪烁因子进行组合以获得合成的去闪烁因子。

然后，去闪烁因子应用器(148)将合成的去闪烁因子应用到RGB视频帧中的每个帧上，以获得无闪烁视频。

图3是示出根据实施例的用于确定亮集群的流程的流程图。

在实施例中，确定亮度阈值。亮度阈值的固定值在非常暗或亮的场景中不起作用。当将亮度的固定值作为阈值来计算亮点时，暗场景将具有非常少数量(或没有)的亮区域，并且亮场景将具有非常多数量的亮区域。因此，为了获得最佳亮区域(实际亮区域)，根据实施例的方法使用动态阈值，诸如将多个视频帧中的前10％像素视为亮像素。

图3示出了输入操作301。在操作302，创建像素的直方图。根据直方图，在操作303，前10％的像素被认为是亮点。此外，在操作304处，前10％中的亮点被认为是集群亮点。在操作305，将集群大小与阈值大小进行比较，其中阈值大小是帧尺寸的2％。当集群大小大于阈值大小时，集群被认为是亮集群。在另一实施例中，当集群大小小于阈值大小时，集群被认为不是亮集群。

图3A和图3B是提供根据实施例的亮集群的示例图示的示意图。

图3B图示了亮区域和小亮区域(其未被考虑)。小区域形成在尖锐边缘周围。对表面几何形状的计算在尖锐边缘周围可能不准确，因此由于准确度问题而忽略这些区域。

图3C示出了在操作302针对任何帧创建的直方图。如直方图所示，前10％点被认为是亮点。这些前10％亮点被进一步聚类以获得亮区域。

图4是示出根据实施例的创建场景的3D图的流程的流程图。

在实施例中，生成场景的3D图是指利用(0,0,0)处的相机作为参考帧，将每个深度像素变换为3D点。图4示出了RCE视频(光学)帧401a和场景的深度图401b。在操作402，生成3D场景点云。在操作403，识别场景中的对象。在操作404，通过挤压获得体素(3D像素)。在操作405，使用相关领域中的方法执行基于颜色的细化。最后，在操作406，获得3D图。除了图4中的每个块之外，还示出了针对每个操作的示例图。

图5A是示出根据实施例的用于检测在场景中照明的光源的位置的流程的流程图。

在该实施例中，确定光源的位置，以便基于像素与光源的角度找到表面法线与光源之间的角度(cos(θ))。在实施例中，亮点表示光谱反射，其中，光谱反射是光从光源直接反射到相机的表面。使用入射角等于反射角的光的特性，确定光源的位置。

图5A示出了亮集群501a和3D图501b被提供作为输入。在操作502，针对使用深度传感器(160)识别的每个亮集群计算表面垂线(SP)和反射角(AOR)。在操作503，根据SP和AOR计算入射角或方向。在操作504，基于入射角，计算光源的方向。此外，在操作505，该方法包括确定从光源入射到表面的光线是否彼此相交。在实施例中，当入射光线相交时，入射光线的交点被确定为光源位置。

图5B示出了根据实施例的检测光源的方向。图5B示出了光源1，其可以是太阳。场景由相机(120)捕获。在实施例中，慢动作视频可以是输入。分析每个单帧，并确定表面取向，并增强图像的光度。

此外，具有相同光度的区域被聚类，并且在表面处和光度最大的点上绘制法线。此外，基于绘制法线的点、入射角和反射角，确定光源在空间中的方向。

根据实施例，利用图5C详细解释该方法。如图5C所示，根据点云，确定亮点处的法向量。点云是表面上的点的集合，其中在该表面上飞行时间(TOF)传感器已经检测到表面与TOF传感器的距离。

此外，由于相机是位置(0,0,0)，因此考虑从表面处的点到相机的矢量并将其称为相机矢量。使用这两个矢量(法向量和相机矢量)，确定光源存在于其上的线。例如，该线被表示为光源矢量。两个光源矢量的交点表示光源的定位。

图6A是示出根据实施例的用于确定光源的实际亮度的流程的示意图。

在实施例中，检测当前观看的场景相对于先前场景的波动。表面/对象的取向的变化改变了入射在表面上的光量，这进一步改变了表面在帧中出现的方式。需要考虑入射在表面上的光量的变化。当不考虑该变化时，则对象的取向的变化被检测为光源的亮度的变化，从而引入闪烁，如在相关技术中那样。

根据实施例的方法公开了计算来自多个RGB视频帧的每个帧的光强度。在实施例中，通过取所有帧的平均RGB除以cos(θ)来计算光强度，如在操作602处所见。

在操作603，帧亮度被确定为在操作602处确定的光强度的平均值。此外，基于光强度的平均值的模式，推导出光度的频率。

像素(p)的亮度由下面的等式1给出。

I*cos(θ)………等式1

Iα像素亮度(p)/cos(θ)

这里，I表示光源的强度，θ表示表面法线和光源之间的角度，I表示mean(p/cos(θ))，p表示像素值，并且θ表示角度。

图6B和图6C是示出根据实施例的由于表面朝向光源的角度的变化而导致的光度变化的示意图。

如图6B中所看到的，α是表面1朝向光源的角度，A是单位光入射在表面1上的面积，并且d是当表面1直接面向光源时单位光入射的面积。此外，在图6C中，β是表面2朝向光源的角度，B是单位光入射在表面2上的面积，并且d是当表面直接面向光源时单位光入射的面积。

如图6B和图6C中所看到的，随着表面垂线和光源之间的角度增大，来自光源的光在表面上广泛传播。因此，与直接面向光源的表面相比，特定区域接收较少的光并且看起来不那么亮。图6B和图6C示出了朝向光源具有不同垂直角度的两个表面。

A＝d/cos(α)……等式2

B＝d/cos(β)……等式3

如等式2和3中所看到的，表面亮度与光量/表面积(A)成比例。因此，表面亮度取决于表面朝向光源的角度。

因此，如上所述检测场景中的实际亮度。

图7A是示出根据实施例的从实际亮度确定目标亮度的方法的流程图。

如图7A所示，在操作701，确定所有帧的实际帧亮度的趋势，其中趋势是实际帧亮度的一系列测量。此外，在操作702，计算实际帧亮度的傅里叶变换以去除慢动作闪烁频率(例如，100hz和120hz)。在操作703，从慢动作视频中的所有频率中去除100hz和120hz频率，因为这些特定频率导致慢动作视频中的闪烁。此外，在操作704，计算剩余频率的傅里叶逆变换以获得帧的目标亮度的趋势。因此，使用上述方法计算目标亮度。

图7B示出了根据实施例的说明从实际亮度确定目标亮度的示例的示意图。

在图7B中，701'指示原始视频中的总亮度变化。702'指示总亮度变化的傅里叶变换。703'指示通过使用带通滤波器从亮度变化中去除闪烁频率(100hz和120hz)。704'指示在滤除闪烁频率之后的目标亮度曲线，并且705'示出与在执行逆傅里叶变换之后的亮度变化无闪烁分量对应的目标亮度。

图8A是示出根据实施例的用于确定基于角度的去闪烁因子的方法流程的流程图。

图8A示出了光源的位置801a、场景的3D图801b、光源的实际亮度801c和光源的目标亮度801d，它们是用于确定基于角度的去闪烁因子的输入。

在操作802，获得从表面点到光源的矢量。在操作803，获得表面法线。在操作804，将从表面点到光源的矢量和点处的表面法线的量值的乘积和标量积进行比较，以获得矢量之间的角度。

在操作805处，计算基于角度的去闪烁因子。

图8B示出了根据实施例的用于计算从表面点到光源的矢量的示例场景。

表面s在图8B中示出。对于点云中的每个点，通过比较相邻点的位置来确定表面法线的方向。

在实施例中，当表面具有z＝f(x,y)的形式并且形成点云时，则通过比较点云中的相邻点的位置来确定表面法线，如等式4所示。

表面法线：n＝(-df/dx,-df/dy,1)……等式4

如图8B所示，框指示在3D空间中具有不同云点的云。在3D空间中，点p₂₂处的表面法线由等式5和等式6给出。

n＝(-dp22/dx,-dp22/dy,1)……等式5

n＝(-(pz23-pz21)/(px23-px21),-(pz32-pz12)/(py32-py12),1)……等式6

图8C是示出根据实施例的用于确定基于角度的去闪烁因子的两个矢量和两个矢量之间的角度的示意图。

如图8C中所看到的，a和b是两个矢量，确定两个矢量之间的点积以找到这些矢量之间的角度，因为点积给出了标量值。

角度cos(θ)根据|a|、|b|和计算，如等式7所示。

此外，为了计算基于角度的去闪烁因子，将帧的当前亮度与其目标亮度匹配。该变化与其朝向光源的角度成比例地分布。对于每个像素，计算Bp，其中，Bp是要添加到当前像素中以去除闪烁的值。Bp由等式8给出。

Bp＝(T-C)cos(θ)/A…等式8

这里，Bp表示要添加到当前像素中以去除闪烁的值，T表示光源的目标亮度，C表示光源的实际亮度，A表示针对每个像素的cos(θ)的平均值。此外，基于AI的去闪烁与基于角度的去闪烁因子进行组合以去除闪烁。

图9A和图9B是示出根据实施例的用于确定基于AI的去闪烁因子的CNN-LSTM模型的训练阶段和推理阶段的框图。

尽管使用基于深度的因子来去除大部分闪烁，但是基于深度的因子没有完全去除闪烁。因为深度传感器不是100％准确的，所以一些误差可能会通过计算传播。

深度传感器的分辨率低于光学传感器的分辨率。因此，需要一些插值。通过基于AI的因子来考虑许多变化，诸如表面的纹理、表面的反射率等，该基于AI的因子利用闪烁视频和无闪烁视频对来进行训练。

基于卷积神经网络(CNN)长短期记忆网络(CNN-LSTM)的AI模型用于通过计算基于AI的因子来微调基于角度的因子输出，其中基于AI的因子是用于缩放基于角度的去闪烁因子以改善最终结果的数字矩阵。在实施例中，执行因子归一化以保持帧的平均目标亮度。

使用闪烁视频和无闪烁的相同视频的数据集来训练CNN-LSTM模型，如图9A和图9B所示。

对闪烁视频应用图9A和图9B中的操作，并将结果与无闪烁视频进行比较。将差值反向传播到模型以获得模型训练误差。重复训练AI模型，直到误差可忽略不计。

图9C示出了根据实施例的用于确定基于AI的去闪烁因子的CNN-LSTM的架构。

如图9C中所看到的，模型的第一部分(CNN)用于形成针对帧的嵌入向量。来自CNN模型的嵌入向量被馈送到模型的第二部分中，第二部分是学习闪烁视频和无闪烁视频的趋势的LSTM。

LSTM的结果通过致密层以获得AI因子，该AI因子用于微调基于角度的因子。

图9D是根据实施例的用于将基于角度的去闪烁因子与基于AI的去闪烁因子进行组合的流程图。

在实施例中，将基于角度的去闪烁因子和基于AI的去闪烁因子进行组合以计算合成的去闪烁因子。

图9D示出了基于AI的去闪烁因子901和基于角度的去闪烁因子902。此外，在操作903，将基于AI的去闪烁因子901和基于角度的去闪烁因子902进行组合以计算合成的去闪烁因子。在操作904处获得的合成的去闪烁因子是通过组合基于角度的因子和AI因子而校正的数字矩阵。

图10是示出根据实施例的应用合成的去闪烁因子来去除闪烁的流程的流程图。

合成的去闪烁因子被应用于场景的实际闪烁帧。通过调节与表面法线和光源之间的角度成比例的每个像素来应用合成因子，以匹配合成亮度。将计算的光强度(平均RGB/cos(θ))值与去闪烁因子相加，以得到去闪烁光强度。去闪烁光强度值乘以cos(θ)，得到无闪烁帧。

图10示出了合成的去闪烁因子1001、多个RGB帧1002和角度cos(θ)1003。在操作1004，计算每个帧的光强度，即平均RGB/cos(θ)。

此外，光强度和合成的去闪烁因子的逐元素矩阵相加，在操作1005，执行光强度和合成的去闪烁因子的逐元素矩阵相加。在操作1006，执行去闪烁光强度和cos(θ)的逐元素矩阵乘法。在操作1007，获得去闪烁帧。

图11A至图11U是示出根据实施例的闪烁去除的示例场景的示意图。

在该示例中，如图11所示，考虑具有3个连续帧的每个像素的初始值的尺寸为5*5的3个连续帧。为了说明目的，假设光源的位置是已知的。根据场景的点云和光源的位置，计算每个像素处的表面法线与光源之间的角度(θ)。针对每个像素的cos(θ)值如图11A至图11U所示。

此外，为了估计光源的亮度，对表面法线与光源之间的角度进行归一化。

表面亮度与cos(θ)*光源的亮度成比例：

光源的亮度等于像素值/cos(θ)。

此外，获得(像素值/cos(θ))的平均值以确定光源的亮度。每个像素的光强度如图11A至图11U所示。每个块的实际亮度的平均值分别为122.103、158.3和127.2。

通过对光源的实际值进行傅里叶变换以及剔除闪烁频率100hz和120Hz来计算目标。接下来，去除100hz和120hz频率，并且剩余值分别为407、32和0。从所得频率获得逆FTT以计算目标亮度。在逆FTT之后获得的目标亮度是146、130和130。

对光源的实际亮度相对于计算的目标亮度作图，如图11H所示。如图11J中所看到的，目标亮度曲线中的波动较小，并且存在的波动不是由于闪烁引起的。

下一步是计算基于角度的因子。计算目标亮度与当前亮度的差值以计算基于角度的因子，并且所获得的值为23.8967、-28.25和2.791。此外，针对每个帧计算cos(θ)的平均值以归一化cos(θ)图，并且所获得的值为0.7224、0.743和0.798。最后，使用公式Bp＝(T-C)cos(θ)/A确定基于角度的因子，如图11I至图11K所示。

然后计算基于AI的因子以微调基于角度的因子。基于AI的因子考虑帧的属性(基于角度的因子不考虑的属性)以形成AI因子。使用CNN生成帧的嵌入向量。使用CNN模型生成的嵌入向量包含了图像的许多属性，例如，图像的纹理、反射属性等。这些嵌入向量通过输出AI因子的LSTM。AI因子如图11L至图11N中所看到的。

此外，AI因子被归一化以便不改变帧的平均亮度。计算AI因子的平均值，并进一步将AI因子除以其平均值。AI因子的平均值分别为0.7484、0.711和0.714。此外，归一化的基于AI的因子在图11O至图11Q中示出。

通过将基于角度的因子与归一化的AI因子相乘而获得的合成的去闪烁因子由图11R至图11T给出。最终的去闪烁因子值与原始闪烁帧的每个像素相加以获得去闪烁像素值。合成的去闪烁因子等于基于角度的因子*归一化的AI因子

最终的去闪烁因子值与原始闪烁帧的每个像素相加以获得去闪烁像素值。去闪烁光强度等于合成的去闪烁因子+帧的光强度(Avg.RGB/cos(θ))。

去闪烁光强度乘以cos(θ)以得到无闪烁帧。无闪烁帧等于去闪烁光强度*cos(θ)，如图11U所示。

实施例的前述描述将如此充分地揭示本文中的实施例的一般性质，使得其他人可以通过应用当前知识来容易地修改和/或适应这些实施例的各种应用而不脱离一般构思，并且因此，这些适应和修改应当并且旨在被理解在所公开的实施例的等同物的含义和范围内。应当理解，本文采用的措辞或术语是出于描述而非限制的目的。因此，虽然已经根据优选实施例描述了本文的实施例，但是本领域技术人员将认识到，可以在如本文所述的实施例的范围内通过修改来实践本文的实施例。

Claims (12)

1.一种用于通过电子设备去除视频中的闪烁的方法，所述方法包括：

获得包括在所述电子设备中的相机的预览场中的场景的多个红-绿-蓝RGB视频帧；

获得所述多个RGB视频帧中的至少一个光源的位置；

基于所述至少一个光源的位置获得所述至少一个光源的亮度；

基于所述至少一个光源的位置和所述至少一个光源的亮度，获得针对所述多个RGB视频帧中的每个像素的去闪烁因子；以及

将所述去闪烁因子应用于所述多个RGB视频帧中的每个RGB视频帧以去除闪烁。

2.根据权利要求1所述的方法，其中，获得所述多个RGB视频帧中的所述至少一个光源的位置包括：

将所述多个RGB视频帧中具有最大亮度的至少一个区域识别为亮集群；

基于所述场景的深度图获得所述场景的三维3D图；以及

基于识别的所述亮集群和所述场景的3D图来获得所述至少一个光源的位置。

3.根据权利要求2所述的方法，其中，基于所述亮集群和所述3D图来获得所述至少一个光源的位置包括：

获得所述至少一个光源的表面垂线和反射角；

获得所述至少一个光源的入射角；

基于所述入射角获得所述至少一个光源的方向；

确定来自所述至少一个光源的多条入射光线彼此相交；以及

获得所述至少一个光源的位置，作为来自所述至少一个光源的所述多条入射光线的交点。

4.根据权利要求1所述的方法，其中，基于所述至少一个光源的位置获得所述至少一个光源的亮度包括：

基于所述场景的3D图和所述至少一个光源的位置获得所述至少一个光源的实际亮度；以及

基于所述至少一个光源的实际亮度获得所述至少一个光源的目标亮度。

5.根据权利要求4所述的方法，其中，基于所述场景的3D图和所述至少一个光源的位置获得所述至少一个光源的实际亮度包括：

基于所述3D图、所述多个RGB视频帧和所述至少一个光源的位置，获得所述多个RGB视频帧中的每个RGB视频帧的光强度；以及

基于所述多个RGB视频帧中的每个RGB视频帧的光强度的平均值来获得所述实际亮度。

6.根据权利要求4所述的方法，其中，获得所述至少一个光源的目标亮度包括：

基于所述实际亮度从所述多个RGB视频帧中的每个RGB视频帧获得帧亮度的趋势；

获得所述多个RGB视频帧中的每个RGB视频帧的帧亮度的傅里叶变换；

排除具有频率100hz和120hz的帧；以及

获得所述至少一个光源的目标亮度，作为剩余帧的逆傅里叶变换。

7.根据权利要求1所述的方法，其中，获得所述去闪烁因子包括：

基于所述场景的3D图、所述至少一个光源的位置、所述至少一个光源的实际亮度和所述至少一个光源的目标亮度，获得基于角度的去闪烁因子，其中，所述基于角度的去闪烁因子是添加到帧以去除闪烁的数字矩阵；

基于所述多个RGB视频帧获得基于人工智能AI的去闪烁因子；

将所述基于角度的去闪烁因子和所述基于AI的去闪烁因子进行组合；以及

基于所述基于角度的去闪烁因子和所述基于AI的去闪烁因子来获得所述去闪烁，

其中，所述基于角度的去闪烁因子与所述基于AI的去闪烁因子相乘以获得所述去闪烁因子。

8.根据权利要求7所述的方法，其中，获得所述基于角度的去闪烁因子包括：

获得朝向所述至少一个光源的入射角；

获得所述入射角的余弦；

获得所述多个RGB视频帧中的每个像素的余弦的平均值；以及

获得所述基于角度的去闪烁因子，作为对所述余弦的平均值、所述至少一个光源的目标亮度和所述至少一个光源的实际亮度的组合，

其中，所述基于角度的去闪烁因子是针对每个像素获得并被配置为被添加到每个像素以去除闪烁的值。

9.根据权利要求7所述的方法，其中，获得所述基于AI的去闪烁因子包括：

将所述多个RGB视频帧作为输入发送到AI模型；以及

基于所述输入从所述AI模型接收所述基于AI的去闪烁因子。

10.根据权利要求8所述的方法，其中，将所述去闪烁因子应用于所述多个RGB视频帧中的每个RGB视频帧以去除所述闪烁包括：

基于所述表面法线与所述光源之间的角度来调整所述多个RGB视频帧中的每个像素；

将光强度与合成的去闪烁因子相加，以获得去闪烁光强度；以及

将所述去闪烁光强度与所述余弦相乘以获得无闪烁帧。

11.一种用于从视频中去除闪烁的电子设备，所述电子设备包括：

存储器；

相机；以及

至少一个处理器，耦接到所述存储器和所述相机，其中，所述至少一个处理器被配置为：

获得所述相机的预览场中的场景的多个红-绿-蓝RGB视频帧；

获得所述多个RGB视频帧中的至少一个光源的位置；

基于所述至少一个光源的位置获得所述至少一个光源的亮度；

基于所述至少一个光源的位置和所述至少一个光源的亮度，获得所述多个RGB视频帧中的每个像素的去闪烁因子；以及

将所述去闪烁因子应用于所述多个RGB视频帧中的每个RGB视频帧以去除闪烁。

12.根据权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为根据权利要求2至10中任一项所述的方法进行操作。