CN113784014B - 一种图像处理方法、装置及设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置及设备，该方法包括：获取第一传感器输出的第一视频数据流，第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于第一视频帧和第二视频帧之间的多个时刻的运动数据；对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，其中，所述第二视频数据流包括目标时刻点的目标插帧。通过本申请的技术方案，可以提高图像帧率，目标图像的真实性较高。

Description

一种图像处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其是一种图像处理方法、装置及设备。

背景技术

图像传感器(如摄像头、相机等)用于采集视频图像，视频图像能够提供形貌、颜色、纹理等信息。在采集视频图像时，图像传感器利用内部已部署的成像器件(如COMS，Complementary Metal Oxide Semiconductor，互补金属氧化物半导体成像器件等)对固定视场进行曝光，得到固定视场的视频图像。

受到数据传输、存储及功率等限制，视频图像的帧率通常比较低，如帧率为30FPS(Frames Per Second，每秒传输帧数)-60FPS，即每秒只传输30-60帧的视频图像，视频图像的帧率比较低，无法满足视频监控场景的需求。

为了解决视频图像的帧率比较低的问题，通常需要进行插帧处理，比如说，在得到视频图像1和视频图像2后，利用视频图像1和视频图像2得到新视频图像(至少一个)，从而增加视频图像的数量，提高视频图像的帧率。

但是，在利用视频图像1和视频图像2得到新视频图像时，通常采用像素值预测算法(如基于运动估计，光流，像素相关性，或者深度学习的预测算法等)，基于视频图像1和视频图像2预测新视频图像的像素值，而像素值预测算法的计算量较大，且像素值预测算法预测出的像素值的准确性较低。

发明内容

本申请提供一种图像处理方法，所述方法包括：获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，其中，所述第二视频数据流包括目标时刻点的目标插帧，所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定；所述第二视频数据流的帧率大于所述第一视频数据流的帧率。

在一种可能的实施方式中，根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，包括：根据所述事件数据流以及所述第一目标帧得到第二视频数据流；或者，根据所述事件数据流以及所述第二目标帧得到第二视频数据流；或者，根据所述事件数据流，所述第一目标帧以及所述第二目标帧得到第二视频数据流。

在一种可能的实施方式中，所述根据所述事件数据流以及所述第一目标帧得到第二视频数据流，包括：从所述多个时刻的运动数据中选取出目标运动数据；所述目标运动数据是位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；针对所述第一目标帧中的每个像素位置，从所述目标运动数据中选取与所述像素位置匹配的至少一个运动数据；根据所述至少一个运动数据和所述像素位置的原始像素值确定所述像素位置的目标像素值；根据所述第一目标帧中每个像素位置的目标像素值生成所述目标时刻点的目标插帧。

在一种可能的实施方式中，所述根据所述事件数据流，所述第一目标帧以及所述第二目标帧得到第二视频数据流，包括：从所述多个时刻的运动数据中选取出第一目标运动数据和第二目标运动数据；所述第一目标运动数据是位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；所述第二目标运动数据是位于所述目标时刻点与所述第二视频帧的曝光开始时刻之间的运动数据；针对所述第一目标帧中的每个第一像素位置，从所述第一目标运动数据中选取与所述第一像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第一像素位置的原始像素值确定所述第一像素位置的目标像素值；针对所述第二目标帧中的每个第二像素位置，从所述第二目标运动数据中选取与所述第二像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第二像素位置的原始像素值确定所述第二像素位置的目标像素值；根据所述第一目标帧中每个第一像素位置的目标像素值以及所述第二目标帧中每个第二像素位置的目标像素值，生成所述目标时刻点的目标插帧。

在一种可能的实施方式中，所述目标时刻点为所述第一视频帧和所述第二视频帧之间的多个时刻点中的一个时刻点；或，所述目标时刻点为所述第一视频帧和所述第二视频帧之间的多个时刻点中的至少两个时刻点。

在一种可能的实施方式中，所述对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧，包括：从所述多个时刻的运动数据中选取出第一初始运动数据和第二初始运动数据；所述第一初始运动数据是位于所述第一视频帧的曝光开始时刻与所述第一视频帧的曝光结束时刻之间的运动数据；所述第二初始运动数据是位于所述第二视频帧的曝光开始时刻与所述第二视频帧的曝光结束时刻之间的运动数据；根据所述第一初始运动数据对所述第一视频帧进行去模糊处理，得到第一目标帧；根据所述第二初始运动数据对所述第二视频帧进行去模糊处理，得到第二目标帧。

在一种可能的实施方式中，所述根据所述第一初始运动数据对所述第一视频帧进行去模糊处理，得到第一目标帧，包括：针对所述第一视频帧中的每个像素位置，从所述第一初始运动数据中选取与该像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值；根据所述第一视频帧中每个像素位置的去模糊后的像素值生成第一目标帧。

在一种可能的实施方式中，所述根据所述第二初始运动数据对所述第二视频帧进行去模糊处理，得到第二目标帧，包括：针对所述第二视频帧中的每个像素位置，从所述第二初始运动数据中选取与该像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值；根据所述第二视频帧中每个像素位置的去模糊后的像素值生成第二目标帧。

本申请提供一种图像处理装置，所述装置包括：获取模块，用于获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；处理模块，用于对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；生成模块，用于根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，所述第二视频数据流包括目标时刻点的目标插帧，所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定；所述第二视频数据流的帧率大于所述第一视频数据流的帧率。

本申请提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下的步骤：获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，其中，所述第二视频数据流包括目标时刻点的目标插帧，所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定；所述第二视频数据流的帧率大于所述第一视频数据流的帧率。

由以上技术方案可见，本申请实施例中，可以根据事件数据流对视频帧进行插帧，得到任意时刻点的目标插帧，提高图像的帧率。由于事件数据流与真实像素值变化有关，能够准确反映多个时刻的运动数据，因此，使用事件数据流得到的目标插帧的准确性较高，目标插帧的真实性较高。上述方式不需要采用像素值预测算法，解决计算量较大，像素值的准确性较低等问题。上述方式能够对视频帧进行去模糊处理，得到去模糊后的目标帧，并基于去模糊后的目标帧生成目标时刻点的目标插帧，从而能够得到清晰的目标插帧，避免基于存在运动模糊的视频帧生成目标插帧，保证了目标插帧的清晰度。

附图说明

图1是本申请一种实施方式中的图像处理方法的流程图；

图2A和图2B是本申请一种实施方式中的插帧示意图；

图3A-图3E是本申请一种实施方式中的系统结构示意图；

图4是本申请一种实施方式中的图像处理装置的结构图；

图5是本申请一种实施方式中的图像处理设备的结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

动态视觉传感器(Dynamic Vision Sensor，DVS)又名事件相机，是近年来逐渐兴起的新型感知器件，不同于积分型传感器，DVS为差分传感器，能够检测光场中何时和何处发生强度变化，当光强的数值变化超过阈值C时，产生事件信号(即脉冲信号)，事件信号值包括+1、-1和0，分别代表光强变大、变小和不变。DVS具有低延迟、高时间分辨率、宽动态范围以及数据量小等特性。

动态有源像素视觉传感器(Dynamic and Active Pixel Vision Sensor，DAVIS)是在DVS的基础上增加有源像素，即能够同时提供光强信号与事件信号。

本申请实施例中提出一种图像处理方法，基于DVS或者DAVIS输出的事件信号，可以利用该事件信号对图像进行插帧，即通过插帧获得任意时刻的清晰图像，从而增加视频图像的数量，提升视频图像的帧率。由于事件信号与真实像素值变化有关，因此，使用事件信号得到的像素值的准确性较高。

以下结合具体实施例，对本申请实施例的图像处理方法进行说明。

参见图1所示，为图像处理方法的流程示意图，该方法可以包括：

步骤101，获取第一传感器输出的第一视频数据流(多个图像信号组成的数据流)，该第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流(多个事件信号组成的数据流)，该事件数据流是第二传感器检测到的位于第一视频帧和第二视频帧之间的多个时刻的运动数据。

示例性的，第一传感器可以为图像传感器(如摄像头、相机等)，第一传感器可以输出第一视频数据流，第一视频数据流可以包括目标场景的多个视频帧(即视频图像，各视频图像能够提供形貌、颜色、纹理等信息)，在后续实施例中，以第一视频数据流包括连续的第一视频帧和第二视频帧为例。

示例性的，第二传感器可以为DVS或者DAVIS，第二传感器可以输出事件数据流，该事件数据流可以包括目标场景的多个事件信号(事件信号也可以称为脉冲信号)，每个事件信号可以理解为一个运动数据，综上所述，该事件数据流可以包括位于第一视频帧和第二视频帧之间的多个时刻的运动数据。

在一种可能的实施方式中，当第二传感器为DVS时，运动数据(即事件信号)可以包括四元组(x,y,t,p)。示例性的，(x,y)可以表示运动数据的空间坐标，本文将(x，y)称为该运动数据的像素位置。(t)可以表示运动数据产生的时间戳，即第二传感器输出该运动数据的时刻，可以称为运动数据的发送时刻。(p)可以表示运动数据的极性值，p∈{-1,1}，即运动数据的极性值可以为+1或者-1，+1表示像素位置(x，y)的光强变大，-1表示像素位置(x，y)的光强变小。

例如，针对像素位置(x1,y1)来说，假设时刻t0的光强为a1，若时刻t11的光强为a2，且a2与a1的差值的绝对值大于事件触发阈值C，则产生一个运动数据，该运动数据包括(x1,y1,t11,p11)，若a2与a1的差值为正，则p11为+1，表示光强变大，若a2与a1的差值为负，则p11为-1，表示光强变小。若时刻t12的光强为a3，且a3与a2的差值的绝对值大于事件触发阈值C，则产生一个运动数据，该运动数据包括(x1,y1,t12,p12)，p12为+1或-1，以此类推。

同理，针对像素位置(x2,y2)来说，假设时刻t0的光强为b1，若时刻t21的光强为b2，且b2与b1的差值的绝对值大于事件触发阈值C，则产生一个运动数据，该运动数据可以包括(x2,y2,t21,p21)，p21为+1或-1，以此类推。

其它像素位置的实现过程与像素位置(x1,y1)类似，在此不再赘述。

在另一种可能的实施方式中，当第二传感器为DAVIS时，运动数据(即事件信号)可以包括五元组(x,y,a,t,p)。示例性的，(x,y)表示运动数据的像素位置，(t)表示运动数据的发送时刻，(p)表示运动数据的极性值，p∈{-1,1}。(a)表示像素位置(x，y)在发生事件后的事件像素值，该事件像素值表示像素位置(x，y)的实际像素值，如事件像素值可以为0-255，可以理解为视频图像的像素值。

例如，针对像素位置(x1,y1)来说，假设时刻t0的光强为a1，若时刻t11的光强为a2，且a2与a1的差值的绝对值大于事件触发阈值C，则产生一个运动数据，该运动数据包括(x1,y1,a11,t11,p11)，a11表示像素位置(x1,y1)在时刻t11的事件像素值，关于其它参数的含义，可以参见上述实施例，在此不再赘述。

综上所述，可以获取到多个时刻的运动数据，每个运动数据至少可以包括运动数据的像素位置，运动数据的发送时刻，运动数据的极性值。在某些情况下，针对每个运动数据来说，该运动数据还可以包括事件像素值。

步骤102，对第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧。

示例性的，在得到第一视频帧后，可以对第一视频帧进行去模糊处理，得到第一目标帧，由于已去除第一视频帧中的运动模糊，因此保证第一目标帧的质量。在得到第二视频帧后，可以对第二视频帧进行去模糊处理，得到第二目标帧，由于已去除第二视频帧中的运动模糊，因此保证第二目标帧的质量。

在一种可能的实施方式中，可以从多个时刻的运动数据(即位于第一视频帧和第二视频帧之间的多个时刻的运动数据)中选取出第一初始运动数据和第二初始运动数据；该第一初始运动数据可以是位于第一视频帧的曝光开始时刻与第一视频帧的曝光结束时刻之间的运动数据；该第二初始运动数据可以是位于第二视频帧的曝光开始时刻与第二视频帧的曝光结束时刻之间的运动数据。

然后，根据第一初始运动数据对第一视频帧进行去模糊处理，得到第一目标帧；根据第二初始运动数据对第二视频帧进行去模糊处理，得到第二目标帧。

示例性的，根据第一初始运动数据对第一视频帧进行去模糊处理，得到第一目标帧，可以包括：针对第一视频帧中的每个像素位置，从第一初始运动数据中选取与该像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值。然后，根据第一视频帧中每个像素位置的去模糊后的像素值生成第一目标帧。

以下结合具体应用场景，对上述生成第一目标帧的过程进行说明。

例如，针对第一视频帧I₁，假设第一视频帧I₁的曝光开始时刻为T₁₀，曝光结束时刻为T₁₁，T₁₀小于T₁₁，则第一视频帧I₁的曝光时间为[T₁₀,T₁₁]。从所有运动数据中选取出第一初始运动数据，第一初始运动数据是位于[T₁₀,T₁₁]之间的运动数据。在此应用场景下，针对第一视频帧I₁中的任一像素位置(x,y)，可以通过如下公式确定去模糊后的像素值(即清晰像素值)：

当然，上述公式只是一个示例，对此不做限制，只要能够得到去模糊后的像素值即可。

示例性的，第一初始运动数据包括第一视频帧I₁中所有像素位置的运动数据，针对第一视频帧I₁中的任一像素位置(x,y)，可以从第一初始运动数据中选取与像素位置(x,y)匹配的运动数据，假设与像素位置(x,y)匹配的运动数据为n个运动数据，则i的取值为1-n，i为1时，表示所述n个运动数据中的第1个运动数据，以此类推，i为n时，表示所述n个运动数据中的第n个运动数据。

在对像素位置(x,y)的原始像素值进行去模糊处理时，后续实施例中的运动数据，均是指与像素位置(x,y)匹配的运动数据(即n个运动数据)。

在上述公式中，

表示去模糊后的像素值，v表示第一视频帧I₁中的原始像素值，a_i表示所述n个运动数据中的第i个运动数据对应的像素调整值，w_i表示所述n个运动数据中的第i个运动数据对应的像素调整值对应的权重值。

示例性的，为了确定像素调整值a_i，可以采用如下公式：

当然，上述公式只是示例，对此不做限制。在上述公式中，C为DVS或者DAVIS的事件触发阈值，f()为转换函数，如反对数函数，λ为调节系数。p_i表示第j个运动数据(所述n个运动数据中的第j个运动数据)的极性值，如+1或-1等，j的取值范围可以是1-i，比如说，当i为3时，j的取值依次为1，2，3，基于第1个运动数据的极性值，第2个运动数据的极性值，第3个运动数据的极性值，调节系数λ和事件触发阈值C，可以计算出第3个运动数据对应的像素调整值。

示例性的，为了确定与该像素调整值a_i对应的权重值，可以采用如下公式：w_i＝(t_i+1-t_i)/(T₁₁-T₁₀)，当然，上述公式只是一个示例，对此不做限制。在上述公式中，t_i可以表示第i个运动数据(所述n个运动数据中的第j个运动数据)的发送时刻(即时间戳)，t_i+1可以表示第i+1个运动数据的发送时刻。

综上所述，针对第一视频帧I₁中的任一像素位置(x,y)，可以从第一初始运动数据中选取出与像素位置(x,y)匹配的运动数据。基于选取的运动数据的极性值，调节系数及事件触发阈值C，可以确定像素位置(x,y)对应的像素调整值。基于选取的运动数据的发送时刻，可以确定像素位置(x,y)对应的像素调整值对应的权重值。然后，可以根据该像素调整值，该像素调整值对应的权重值，及该像素位置(x,y)的原始像素值，确定该像素位置(x,y)的去模糊后的像素值。

在得到第一视频帧I₁中每个像素位置(x,y)的去模糊后的像素值后，可以将这些像素位置的去模糊后的像素值组合在一起，得到第一目标帧。

示例性的，根据第二初始运动数据对第二视频帧进行去模糊处理，得到第二目标帧，可以包括：针对第二视频帧中的每个像素位置，从第二初始运动数据中选取与该像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值。然后，根据第二视频帧中每个像素位置的去模糊后的像素值生成第二目标帧。

关于对第二视频帧进行去模糊处理得到第二目标帧的过程，与对第一视频帧进行去模糊处理得到第一目标帧的过程类似，在此不再重复赘述。

步骤103，根据事件数据流，以及第一目标帧和第二目标帧中的至少一帧，得到第二视频数据流。示例性的，该第二视频数据流可以包括目标时刻点的目标插帧，该目标时刻点可以从第一视频帧和第二视频帧之间的多个时刻点中确定；该第二视频数据流的帧率可以大于该第一视频数据流的帧率。

示例性的，目标时刻点可以为第一视频帧和第二视频帧之间的多个时刻点中的一个时刻点，在此情况下，可以得到一个时刻点的目标插帧，即第二视频数据流可以包括一个目标插帧，第一目标帧和第二目标帧，显然，第二视频数据流中视频帧的数量多于第一视频数据流中视频帧的数量，即第二视频数据流的帧率大于第一视频数据流的帧率，从而输出更多的视频帧。

示例性的，目标时刻点可以为第一视频帧和第二视频帧之间的多个时刻点中的至少两个时刻点，在此情况下，得到至少两个时刻点的目标插帧，即第二视频数据流可以包括至少两个目标插帧(目标插帧的数量与目标时刻点的数量相同，每个目标时刻点对应一个目标插帧)，第一目标帧和第二目标帧，显然，第二视频数据流中视频帧的数量多于第一视频数据流中视频帧的数量，即第二视频数据流的帧率大于第一视频数据流的帧率，从而输出更多的视频帧。

在一种可能的实施方式中，根据事件数据流，以及第一目标帧和第二目标帧中的至少一帧，得到第二视频数据流，可以包括但不限于如下方式：

方式一，根据事件数据流以及第一目标帧得到第二视频数据流。

示例性的，事件数据流是位于第一视频帧和第二视频帧之间的多个时刻的运动数据，第二视频数据流包括目标时刻点的目标插帧，因此，可以基于所述多个时刻的运动数据以及第一目标帧得到目标时刻点的目标插帧。

在一种可能的实施方式中，可以采用如下方式得到目标时刻点的目标插帧：

步骤a1、从多个时刻的运动数据中选取出目标运动数据。示例性的，目标运动数据是位于第一视频帧的曝光结束时刻与目标时刻点之间的运动数据。

示例性的，可以从第一视频帧和第二视频帧之间的多个时刻点中确定出目标时刻点，目标时刻点可以为一个，也可以为至少两个，在目标时刻点为至少两个时，每个目标时刻点的实现方式相同。为了方便描述，后续以一个目标时刻点T为例进行说明，即，需要生成目标时刻点T的目标插帧。

第一目标帧是对第一视频帧I₁进行去模糊处理后得到的，针对第一视频帧I₁，假设第一视频帧I₁的曝光结束时刻为T₁₁，则从所有运动数据中选取出目标运动数据，该目标运动数据是位于[T₁₁,T]之间的运动数据，且T₁₁＜T。

步骤a2、针对第一目标帧中的每个像素位置，从该目标运动数据中选取与该像素位置匹配的至少一个运动数据，并根据选取的至少一个运动数据和该像素位置的原始像素值确定该像素位置的目标像素值。

示例性的，该目标运动数据包括第一目标帧中所有像素位置对应的运动数据，针对第一目标帧中的任一像素位置(x,y)，可以从该目标运动数据中选取与像素位置(x,y)匹配的至少一个运动数据，为了方便描述，后续将选取的至少一个运动数据记为第一运动数据，即第一运动数据的数量可以为至少一个。

针对第一目标帧中的任一像素位置(x,y)，根据第一运动数据和像素位置(x,y)的原始像素值确定像素位置(x,y)的目标像素值，以下结合实施方式进行说明：

实施方式1：若第一运动数据包括(x,y,a,t,p)，则根据所有第一运动数据的极性值确定累积变化值。若累积变化值不为预设数值(如0)，则确定像素位置(x,y)的目标像素值为指定运动数据中的事件像素值，该指定运动数据是第一运动数据中的任一运动数据。若累积变化值为预设数值，则确定像素位置(x,y)的目标像素值为像素位置(x,y)的原始像素值，即保持像素位置(x,y)的原始像素值不变。

例如，针对像素位置(x,y)，从像素位置(x,y)的所有运动数据中，选取发送时刻处于[T₁₁,T]的第一运动数据，如第一运动数据包括(x,y,a₁,t₁,p₁)，…，(x,y,a_k,t_k,p_k)，T₁₁＜t₁＜...＜t_k≤T。确定[T₁₁,T]内的所有第一运动数据的极性值的绝对值的累积变化值。若该累积变化值不为0，则选择一个运动数据作为指定运动数据，将指定运动数据的事件像素值作为像素位置(x,y)的目标像素值。例如，将发送时刻与目标时刻点T最接近的运动数据作为指定运动数据，由于发送时刻t_k与目标时刻点T最接近，因此，将运动数据(x,y,a_k,t_k,p_k)作为指定运动数据，并将事件像素值a_k作为像素位置(x,y)的目标像素值。若该累积变化值为0，则将像素位置(x,y)在第一目标帧中的原始像素值作为像素位置(x,y)的目标像素值。

显然，只要[T₁₁,T]内存在至少一个第一运动数据，则第一运动数据的极性值为+1或者-1，极性值的绝对值均为1，在对至少一个第一运动数据的极性值的绝对值进行累积时，累积变化值会大于或等于1，即累积变化值不为0。在[T₁₁,T]内不存在第一运动数据时，则累积变化值为0，上述过程由公式(1)描述：

在上述公式中，p_x,y,t表示像素位置(x,y)在时间戳(t)的极性值，t表示第一运动数据的发送时刻，RI₁表示第一目标帧的原始像素值，IF表示目标像素值。

实施方式2：若第一运动数据包括(x,y,t,p)，则根据所有第一运动数据的极性值确定累积变化值，并根据像素位置(x,y)的原始像素值和该累积变化值，确定像素位置(x,y)的目标像素值。例如，可以根据像素位置(x,y)的原始像素值，该累积变化值，调节系数和事件触发阈值C，确定像素位置(x,y)的目标像素值。

例如，针对像素位置(x,y)，从像素位置(x,y)的所有运动数据中，选取发送时刻处于[T₁₁,T]的第一运动数据，如第一运动数据可以包括(x,y,t₁,p₁)，…，(x,y,t_k,p_k)，T₁₁＜t₁＜...＜t_k≤T。确定[T₁₁,T]内的所有第一运动数据的极性值的累积变化值。例如，通过如下公式确定累积变化值：

在上述公式中，p_x,y,t表示像素位置(x,y)在时间戳(t)的极性值，t表示第一运动数据的发送时刻，e_sum(x,y)表示像素位置(x,y)的累积变化值。例如，假设[T₁₁,T]内存在3个第一运动数据，3个第一运动数据的极性值分别为+1，+1，-1，则累积变化值为+1。

然后，基于像素位置(x,y)在第一目标帧中的原始像素值和累积变化值，可以确定像素位置(x,y)的目标像素值。例如，可以通过公式(2)确定像素位置(x,y)的目标像素值，当然，公式(2)只是一个示例，对此不做限制。

IF(x,y)＝RI₁(x,y)+λ·e_sum(x,y)·f(C)   (2)

在上述公式中，RI₁表示第一目标帧的原始像素值，IF表示目标像素值。

C为DVS或者DAVIS的事件触发阈值，即，当光强的数值变化超过事件触发阈值C时，产生事件信号，事件触发阈值C可以根据经验进行配置。

f()为转换函数，用于将事件触发阈值C所在的非线性光强坐标转换为线性光强坐标，例如，f()可以为反对数函数，对此转换函数的类型不做限制。显然，可以将事件触发阈值C作为反对数函数的变量，得到反对数函数的结果f(C)。

λ为调节系数，可以根据经验进行配置，λ用于使转换后的阈值f(C)与光强变化匹配，λ通过标定获得，也可以根据场景亮度计算得到，对此不做限制。

综上所述，可以根据像素位置(x,y)的原始像素值，像素位置(x,y)的累积变化值，调节系数和事件触发阈值C，确定像素位置(x,y)的目标像素值。

步骤a3、根据第一目标帧中每个像素位置的目标像素值生成目标时刻点的目标插帧，比如说，将每个像素位置的目标像素值组合起来，得到目标插帧。

综上所述，可以根据事件数据流和第一目标帧得到目标时刻点的目标插帧。

方式二，根据事件数据流以及第二目标帧得到第二视频数据流。

示例性的，事件数据流是位于第一视频帧和第二视频帧之间的多个时刻的运动数据，第二视频数据流包括目标时刻点的目标插帧，因此，可以基于所述多个时刻的运动数据以及第二目标帧得到目标时刻点的目标插帧。

在一种可能的实施方式中，可以采用如下方式得到目标时刻点的目标插帧：

步骤b1、从多个时刻的运动数据中选取出目标运动数据。示例性的，目标运动数据是位于目标时刻点与第二视频帧的曝光开始时刻之间的运动数据。

示例性的，第二目标帧是对第二视频帧I₂进行去模糊处理后得到的，针对第二视频帧I₂，假设第二视频帧I₂的曝光开始时刻为T₂₀，则从所有运动数据中选取出目标运动数据，该目标运动数据是位于[T,T₂₀]之间的运动数据。

步骤b2、针对第二目标帧中的每个像素位置，从该目标运动数据中选取与该像素位置匹配的至少一个运动数据，并根据选取的至少一个运动数据和该像素位置的原始像素值确定该像素位置的目标像素值。

示例性的，该目标运动数据包括第二目标帧中所有像素位置对应的运动数据，针对第二目标帧中的任一像素位置(x,y)，可以从该目标运动数据中选取与像素位置(x,y)匹配的至少一个运动数据，为了方便描述，后续将选取的至少一个运动数据记为第二运动数据，即第二运动数据的数量可以为至少一个。

针对第二目标帧中的任一像素位置(x,y)，根据第二运动数据和像素位置(x,y)的原始像素值确定像素位置(x,y)的目标像素值，以下结合实施方式进行说明：

实施方式1：若第二运动数据包括(x,y,a,t,p)，则根据所有第二运动数据的极性值确定累积变化值。若累积变化值不为预设数值(如0)，则确定像素位置(x,y)的目标像素值为指定运动数据中的事件像素值，该指定运动数据是第二运动数据中的任一运动数据。若累积变化值为预设数值，则确定像素位置(x,y)的目标像素值为像素位置(x,y)的原始像素值，即保持像素位置(x,y)的原始像素值不变。

方式二的实施方式1与方式一的实施方式1类似，在此不再重复赘述。

实施方式2：若第二运动数据包括(x,y,t,p)，则根据所有第二运动数据的极性值确定累积变化值，并根据像素位置(x,y)的原始像素值和该累积变化值，确定像素位置(x,y)的目标像素值。例如，可以根据像素位置(x,y)的原始像素值，该累积变化值，调节系数和事件触发阈值C，确定像素位置(x,y)的目标像素值。

例如，可以确定[T,T₂₀]内的所有第二运动数据的极性值的累积变化值，例如，通过如下公式确定累积变化值：

然后，基于像素位置(x,y)在第二目标帧中的原始像素值和该累积变化值，可以确定像素位置(x,y)的目标像素值，例如，可以通过公式(3)确定像素位置(x,y)的目标像素值。

IF(x,y)＝RI₂(x,y)-λ·e_sum(x,y)·f(C)   (3)

关于上述公式中各字母的含义，参见方式二的实施方式2，在此不再赘述。

综上所述，可以根据像素位置(x,y)的原始像素值，像素位置(x,y)的累积变化值，调节系数和事件触发阈值C，确定像素位置(x,y)的目标像素值。

步骤b3、根据第二目标帧中每个像素位置的目标像素值生成目标时刻点的目标插帧，比如说，将每个像素位置的目标像素值组合起来，得到目标插帧。

综上所述，可以根据事件数据流和第二目标帧得到目标时刻点的目标插帧。

方式三，根据事件数据流，第一目标帧和第二目标帧得到第二视频数据流。

示例性的，事件数据流是位于第一视频帧和第二视频帧之间的多个时刻的运动数据，第二视频数据流包括目标时刻点的目标插帧，因此，可以基于所述多个时刻的运动数据，第一目标帧和第二目标帧得到目标时刻点的目标插帧。

在一种可能的实施方式中，可以采用如下方式得到目标时刻点的目标插帧：

步骤c1、从多个时刻的运动数据中选取出第一目标运动数据和第二目标运动数据。示例性的，第一目标运动数据是位于第一视频帧的曝光结束时刻与目标时刻点之间的运动数据(步骤a1的运动数据)；第二目标运动数据是位于目标时刻点与第二视频帧的曝光开始时刻之间的运动数据(步骤b1的运动数据)。

示例性的，假设第一视频帧I₁的曝光结束时刻为T₁₁，第二视频帧I₂的曝光开始时刻为T₂₀，目标时刻点为T，则第一目标运动数据可以是位于[T₁₁,T]之间的运动数据，第二目标运动数据可以是位于[T,T₂₀]之间的运动数据。

步骤c2、针对第一目标帧中的每个第一像素位置，从第一目标运动数据中选取与第一像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和第一像素位置的原始像素值确定第一像素位置的目标像素值。

示例性的，针对第一目标帧中的任一第一像素位置，从第一目标运动数据中选取与该第一像素位置匹配的运动数据(后续记为运动数据A，运动数据A可以为至少一个)。根据所有运动数据A的极性值确定第一累积变化值，并根据第一像素位置的原始像素值和该第一累积变化值，确定该第一像素位置的目标像素值。例如，可以根据第一像素位置的原始像素值，该第一累积变化值，调节系数和事件触发阈值C，确定该第一像素位置的目标像素值。

例如，确定[T₁₁,T]内的所有运动数据A的极性值的第一累积变化值，例如，通过如下公式确定第一累积变化值：

基于第一像素位置在第一目标帧中的原始像素值和第一累积变化值，确定第一像素位置的目标像素值。例如，可以通过公式(4)确定第一像素位置的目标像素值。

在上述公式中，p_x,y,t表示像素位置(x,y)在时间戳(t)的极性值，

表示像素位置(x,y)的第一累积变化值，RI₁表示第一目标帧的原始像素值，IF₁表示第一像素位置的目标像素值，即前向插帧像素值。C可以为DVS或者DAVIS的事件触发阈值，f()可以为转换函数，如反对数函数，λ可以为调节系数。

步骤c3、针对第二目标帧中的每个第二像素位置，从第二目标运动数据中选取与第二像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和第二像素位置的原始像素值确定第二像素位置的目标像素值。

示例性的，针对第二目标帧中的任一第二像素位置，从第二目标运动数据中选取与该第二像素位置匹配的运动数据(后续记为运动数据B，运动数据B可以为至少一个)。根据所有运动数据B的极性值确定第二累积变化值，并根据第二像素位置的原始像素值和该第二累积变化值，确定该第二像素位置的目标像素值。例如，可以根据第二像素位置的原始像素值，该第二累积变化值，调节系数和事件触发阈值C，确定该第二像素位置的目标像素值。

例如，确定[T,T₂₀]内的所有运动数据B的极性值的第二累积变化值，例如，通过如下公式确定第二累积变化值：

基于第二像素位置在第二目标帧中的原始像素值和第二累积变化值，确定第二像素位置的目标像素值。例如，可以通过公式(5)确定第二像素位置的目标像素值。

在上述公式中，p_x,y,t表示像素位置(x,y)在时间戳(t)的极性值，

表示像素位置(x,y)的第二累积变化值，RI₂表示第二目标帧的原始像素值，IF₂表示第二像素位置的目标像素值，即后向插帧像素值。C可以为DVS或者DAVIS的事件触发阈值，f()可以为转换函数，如反对数函数，λ可以为调节系数。

步骤c4、根据第一目标帧中每个第一像素位置的目标像素值以及第二目标帧中每个第二像素位置的目标像素值，生成目标时刻点的目标插帧。

例如，确定第一像素位置的目标像素值的第一权重值，确定第二像素位置的目标像素值的第二权重值。根据第一像素位置的目标像素值，第一权重值，第二像素位置的目标像素值和第二权重值，生成目标时刻点的目标插帧。

示例性的，在得到第一像素位置的目标像素值和第二像素位置的目标像素值后，可以对第一像素位置的目标像素值和第二像素位置的目标像素值进行加权融合，得到目标插帧中像素位置的加权像素值。例如，可以通过如下公式确定目标插帧中像素位置的加权像素值：IF＝w₁·IF₁+w₂·IF₂。IF表示目标插帧中像素位置的加权像素值，w₁表示第一像素位置的目标像素值的第一权重值，w₂表示第二像素位置的目标像素值的第二权重值。w₁和w₂可以根据经验进行配置，也可以采用如下公式确定w₁和w₂，

对此不做限制。

在得到目标插帧中每个像素位置的加权像素值后，可以将这些像素位置的加权像素值组合起来，得到目标插帧。综上所述，可以根据事件数据流，第一目标帧和第二目标帧得到目标时刻点的目标插帧。

由以上技术方案可见，本申请实施例中，可以根据事件数据流对视频帧进行插帧，得到任意时刻点的目标插帧，提高图像的帧率。由于事件数据流与真实像素值变化有关，能够准确反映多个时刻的运动数据，因此，使用事件数据流得到的目标插帧的准确性较高，目标插帧的真实性较高。上述方式不需要采用像素值预测算法，解决计算量较大，像素值的准确性较低等问题。

在上述实施例中，能够对视频帧进行去模糊处理，得到去模糊后的目标帧，并基于去模糊后的目标帧生成目标时刻点的目标插帧，从而能够得到清晰的目标插帧，避免基于存在运动模糊的视频帧生成目标插帧。

在上述实施例中，可以利用两帧视频帧进行插帧，得到目标时刻点的目标插帧，参见图2A所示，为利用两帧视频帧进行插帧的示意图。或者，采用一帧视频帧进行插帧，得到目标时刻点的目标插帧，参见图2B所示，为利用一帧视频帧进行插帧的示意图。参见图2A或图2B所示，可以插帧出多个目标时刻点的目标插帧，从而提高图像的帧率，具有帧率高、不受遮挡、图像清晰等优点。

参见图2B所示，可以仅利用一帧视频帧进行插帧，而不需要等到获取到两帧视频帧，才进行插帧，比如说，在得到第一视频帧之后，在得到第二视频帧之前，就可以进行插帧，延迟较低，可以在实时性要求高的场景中应用。

在一种可能的实施方式中，针对目标像素位置(可以将任一像素位置作为目标像素位置)的运动数据，可以获取目标像素位置的空域相邻像素位置的运动数据，并获取目标像素位置的运动数据的发送时刻的时域相邻时刻的运动数据。然后，根据空域相邻像素位置的运动数据的极性值，时域相邻时刻的运动数据的极性值，确定目标像素位置的运动数据是否满足过滤条件；如果是，则去除目标像素位置的运动数据，即表示目标像素位置的运动数据是一个噪声，需要去除。如果否，则保留该目标像素位置的运动数据。

例如，为了降低运动数据的噪声，可以采用三维阈值滤波方式进行降噪处理，而采用三维阈值滤波方式进行降噪处理的过程，可以通过下式描述：

e(x,y,t,p)表示目标像素位置(x,y)的运动数据，t表示该运动数据的发送时刻，p表示该运动数据的极性值。在此基础上，可以采用三维阈值滤波方式判断是否对运动数据e(x,y,t,p)进行降噪处理。例如，当e(x,y,t,p)为p时，表示保留运动数据e(x,y,t,p)，不对运动数据e(x,y,t,p)进行降噪处理，即基于运动数据e(x,y,t,p)进行插帧处理。当e(x,y,t,p)为0时，表示去除运动数据e(x,y,t,p)，对运动数据e(x,y,t,p)进行降噪处理，不基于该运动数据进行插帧处理。

在上述公式中，M可以为空域滤波窗口半径，可以根据经验配置，对此M的取值不做限制，例如，M可以为2。T为时域滤波窗口半径，可以根据经验配置，对此T的取值不做限制，例如，T可以为(T₂₁-T₁₀)/4。当需要利用第一视频帧I₁进行插帧处理时，T₁₀表示第一视频帧I₁的曝光开始时刻，T₂₁表示第二视频帧I₂的曝光结束时刻。第二视频帧I₂是位于第一视频帧I₁后面的第一帧图像。

在上述公式中，e(i,j,k)表示像素位置(i,j)在时间k的极性值。当(i,j)为(x,y)，k为t时，e(i,j,k)的极性值就是e(x,y,t,p)的极性值。当(i,j)为(x,y)，k不为t时，表示e(i,j,k)的像素位置与e(x,y,t,p)的像素位置相同，因此，e(i,j,k)对应的运动数据，是运动数据e(x,y,t,p)的发送时刻t的时域相邻时刻的运动数据。当(i,j)不为(x,y)时，表示e(i,j,k)的像素位置与e(x,y,t,p)的像素位置不同，因此，e(i,j,k)对应的运动数据，是运动数据e(x,y,t,p)的像素位置(x,y)的空域相邻像素位置的运动数据。

在上述公式中，Thre为滤波阈值，可以根据经验配置，如可以为3、4等。

综上所述，在运动数据e(x,y,t,p)的空域相邻像素位置和/或时域相邻时刻存在多个运动数据(数量需要大于或者等于滤波阈值)时，就表示运动数据e(x,y,t,p)不是孤立的运动数据，即运动数据e(x,y,t,p)不是噪声。

在一种可能的实施方式中，在得到第一视频帧/第二视频帧后，可以对第一视频帧/第二视频帧进行图像处理，得到处理后的第一视频帧/第二视频帧，即，上述实施例中的第一视频帧/第二视频帧，均是处理后的第一视频帧/第二视频帧。示例性的，对第一视频帧/第二视频帧进行图像处理，可以包括但不限于以下之一或者任意组合：减黑电平处理，白平衡处理，以及降噪处理。

减黑电平处理，用于将第一视频帧/第二视频帧中对应零光强的像素值置零，例如，针对第一视频帧/第二视频帧中的每个像素位置，将该像素位置的像素值减去黑电平值bl，若减去黑电平值bl后的像素值小于0，则将该像素位置的像素值置零。示例性的，黑电平值bl的取值可以根据经验配置，对此不做限制。

降噪处理，用于降低第一视频帧/第二视频帧的噪声，可以采用任意的降噪算法，降低第一视频帧/第二视频帧的噪声，例如，可以采用非局部均值降噪(Non-local Means)、或双边滤波、或小波降噪等降噪算法，降低第一视频帧/第二视频帧的噪声，对此不做限制。

白平衡处理，用于校正不同色彩通道的光强差异，以Bayer阵列为例，白平衡的实现方式参见如下公式。In_R、

In_B分别对应不同色彩通道的输入像素值，gain_R、

gain_B为不同通道的白平衡增益，可以通过手动配置，也可以估计得到。Out_R、

Out_B为不同色彩通道的白平衡后像素值。

Out_R＝In_R×gain_R

Out_B＝In_B×gain_B

以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。参见图3A所示，为本申请实施例的应用场景示意图，本应用场景的系统结构可以包括成像单元、视频图像处理单元、事件信号处理单元、视频插帧单元和输出单元。通过成像单元获取同一场景的视频信号(即视频帧)和事件信号(即运动数据)，视频帧经过视频图像处理单元进行处理，得到处理后的视频帧，事件信号经过事件信号处理单元进行处理，得到处理后的事件信号。视频插帧单元根据处理后的视频帧和处理后的事件信号，得到任意时刻的目标插帧，将目标插帧和视频帧一起输出给输出单元。输出单元可以对外输出目标插帧和视频帧。

在一种可能的实施方式中，参见图3B所示，成像单元、视频图像处理单元、事件信号处理单元、视频插帧单元和输出单元可以部署在同一个设备，如编码端设备，该编码端设备可以如摄像头、相机IPC(IP CAMERA，网络摄像机)等，对此不做限制。或者，参见图3C所示，成像单元、视频图像处理单元、事件信号处理单元可以部署在编码端设备，而视频插帧单元和输出单元可以部署在解码端设备，该解码端设备可以如服务器、监控设备、存储设备、显示设备、NVR(Network Video Recorder，网络视频录像机)等，对此不做限制。

以下结合具体应用场景，对各功能单元的实现过程进行说明。

1、成像单元，参见图3D所示，成像单元可以是单个混合成像单元，混合成像单元可以获取同一场景的视频信号和事件信号，每个像素位置均能够输出视频信号(即视频帧像素)和事件信号(即动态视觉像素)。比如说，针对目标场景的每个像素位置，混合成像单元可以输出该像素位置的视频信号，所有像素位置的视频信号组成视频帧。当像素位置的光强的数值变化超过事件触发阈值C时，则混合成像单元可以输出该像素位置的事件信号。

示例性的，混合成像单元可以是DAVIS，也可以是光流传感器，还可以是CeleX传感器(即动态视觉传感器)，对此混合成像单元的类型不做限制，只要混合成像单元能够获取同一场景的视频信号和事件信号即可。

参见图3E所示，成像单元可以包括常规成像单元和动态视觉单元，常规成像单元为常规图像传感器，指的是能够提供光强信息的积分型传感器，如CMOS等。动态视觉单元为动态视觉传感器，指的是差分型传感器，仅对光强变化响应，当光强变化超过阈值时输出事件信号，如DVS或者DAVIS等。

常规成像单元可以获取目标场景的视频信号，即每个像素位置能够输出视频信号。比如说，针对目标场景的每个像素位置，常规成像单元输出该像素位置的视频信号，所有像素位置的视频信号组成视频帧。

动态视觉单元可以获取目标场景中运动区域的事件信号，即每个像素位置能够输出事件信号。例如，针对目标场景的每个像素位置，当像素位置的光强的数值变化超过事件触发阈值C时，动态视觉单元输出该像素位置的事件信号。

在一种可能的实施方式中，常规成像单元和动态视觉单元可以采用双目方式排列，常规成像单元获取目标场景的视频信号，动态视觉单元获取同一目标场景的事件信号。或者，可以采用分光方式将目标场景的光线分为两路，分别由常规成像单元和动态视觉单元接收，由常规成像单元获取目标场景的视频信号，动态视觉单元获取同一目标场景的事件信号。或者，可以采用分时方式对同一目标场景分别成像，即，由常规成像单元获取目标场景的视频信号，然后，由动态视觉单元获取目标场景的事件信号，常规成像单元和动态视觉单元可以交替获取信号，动态视觉单元获取连续两帧图像之间的事件信号。

2、视频图像处理单元，针对成像单元输出的视频帧，视频图像处理单元可以对视频帧行图像处理，并输出处理后的视频帧。对视频帧进行图像处理，包括但不限于以下之一或者任意组合：减黑电平处理，白平衡处理，以及降噪处理。图像处理过程可以参见上实施例，在此不再赘述。

3、事件信号处理单元，针对成像单元输出的事件信号，事件信号处理单元可以对事件信号进行同步处理，输出处理后的事件信号；或者，对事件信号进行降噪处理，输出处理后的事件信号；或者，对事件信号进行同步处理和降噪处理，输出处理后的事件信号。

对事件信号进行同步处理，用于保证不同成像单元获取的信号间无拍摄时差，例如，假设前一帧视频帧的曝光开始时刻为T₁₀，后一帧视频帧的曝光结束时刻为T₂₁，则事件信号处理单元从成像单元输出的所有事件信号中，选择发送时刻位于[T₁₀,T₂₁]的事件信号。对事件信号进行降噪处理，用于降低事件信号的噪声，可以采用三维阈值滤波方式进行降噪处理。

4、图像配准单元，参见图3E所示，针对存在图像配准单元的场景，视频帧和事件信号可以输出给图像配准单元。参见图3D所示，针对不存在图像配准单元的场景，视频帧和事件信号可以输出给视频插帧单元。

图像配准单元用于对视频帧中的像素位置与事件信号中的像素位置进行配准，从而消除空间错位，使视频帧中的像素位置与事件信号中的像素位置一一对应。例如，采用仿射变换方法进行配准，对此过程不做限制。

例如，假设视频帧中的像素位置A和事件信号中的像素位置B针对同一真实位置，则图像配准单元将像素位置B与像素位置A进行配准，使得事件信号中的像素位置B与视频帧中的像素位置A是同一像素位置。

图像配准单元可以向视频插帧单元输出配准后的视频帧和事件信号，即事件信号中的像素位置与视频帧中的像素位置一一对应。

5、视频插帧单元，可以获取视频帧和事件信号，根据视频帧和事件信号进行插帧处理。或者，可以先根据事件信号对视频帧进行复原处理，基于复原处理后的目标帧和事件信号进行插帧处理。复原处理用于去除视频帧的运动模糊，保证后续图像的质量。例如，根据事件信号对视频帧的原始像素值进行去模糊处理，得到去模糊后的像素值。插帧处理用于根据事件信号和目标帧，得到目标插帧，从而增加图像帧率。例如，可以根据事件信号以及目标帧中的原始像素值，确定目标像素值，并根据目标像素值生成目标插帧。

视频插帧单元将目标插帧和目标帧一起输入给输出单元，以使输出单元对外输出目标插帧和目标帧，对此输出过程不再详加赘述。

基于与上述方法同样的申请构思，本申请实施例中还提出一种图像处理装置，如图4所示，为所述图像处理装置的结构图，所述装置包括：

获取模块41，用于获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；处理模块42，用于对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；生成模块43，用于根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，所述第二视频数据流包括目标时刻点的目标插帧，所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定；所述第二视频数据流的帧率大于所述第一视频数据流的帧率。

所述生成模块43具体用于：根据所述事件数据流以及所述第一目标帧得到第二视频数据流；或者，根据所述事件数据流以及所述第二目标帧得到第二视频数据流；或者，根据所述事件数据流，所述第一目标帧以及所述第二目标帧得到第二视频数据流。

在一种可能的实施方式中，所述生成模块43根据所述事件数据流以及所述第一目标帧得到第二视频数据流时具体用于：从所述多个时刻的运动数据中选取出目标运动数据；所述目标运动数据是位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；针对所述第一目标帧中的每个像素位置，从所述目标运动数据中选取与所述像素位置匹配的至少一个运动数据；根据所述至少一个运动数据和所述像素位置的原始像素值确定所述像素位置的目标像素值；根据所述第一目标帧中每个像素位置的目标像素值生成所述目标时刻点的目标插帧。

在一种可能的实施方式中，所述生成模块43根据所述事件数据流，所述第一目标帧以及所述第二目标帧得到第二视频数据流时具体用于：从所述多个时刻的运动数据中选取出第一目标运动数据和第二目标运动数据；所述第一目标运动数据是位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；所述第二目标运动数据是位于所述目标时刻点与所述第二视频帧的曝光开始时刻之间的运动数据；

针对所述第一目标帧中的每个第一像素位置，从所述第一目标运动数据中选取与所述第一像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第一像素位置的原始像素值确定所述第一像素位置的目标像素值；

针对所述第二目标帧中的每个第二像素位置，从所述第二目标运动数据中选取与所述第二像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第二像素位置的原始像素值确定所述第二像素位置的目标像素值；

根据所述第一目标帧中每个第一像素位置的目标像素值以及所述第二目标帧中每个第二像素位置的目标像素值，生成所述目标时刻点的目标插帧。

在一种可能的实施方式中，所述处理模块42具体用于：从所述多个时刻的运动数据中选取出第一初始运动数据和第二初始运动数据；所述第一初始运动数据是位于所述第一视频帧的曝光开始时刻与所述第一视频帧的曝光结束时刻之间的运动数据；所述第二初始运动数据是位于所述第二视频帧的曝光开始时刻与所述第二视频帧的曝光结束时刻之间的运动数据；根据所述第一初始运动数据对所述第一视频帧进行去模糊处理，得到第一目标帧；根据所述第二初始运动数据对所述第二视频帧进行去模糊处理，得到第二目标帧。

在一种可能的实施方式中，所述处理模块42根据第一初始运动数据对第一视频帧进行去模糊处理，得到第一目标帧时具体用于：针对所述第一视频帧中的每个像素位置，从所述第一初始运动数据中选取与该像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值；根据所述第一视频帧中每个像素位置的去模糊后的像素值生成第一目标帧。

在一种可能的实施方式中，所述处理模块42根据第二初始运动数据对第二视频帧进行去模糊处理，得到第二目标帧时具体用于：针对所述第二视频帧中的每个像素位置，从所述第二初始运动数据中选取与该像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值；根据所述第二视频帧中每个像素位置的去模糊后的像素值生成第二目标帧。

基于与上述方法同样的申请构思，本申请实施例中还提出一种图像处理设备，本申请实施例提供的图像处理设备，从硬件层面而言，图像处理设备的硬件架构示意图可以参见图5所示。图像处理设备可以包括：处理器51和机器可读存储介质52，所述机器可读存储介质52存储有能够被所述处理器51执行的机器可执行指令；所述处理器51用于执行机器可执行指令，以实现本申请上述示例公开的方法。例如，处理器51用于执行机器可执行指令，以实现如下步骤：

获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；

获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；

对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；

根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，其中，所述第二视频数据流包括目标时刻点的目标插帧，所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定；所述第二视频数据流的帧率大于所述第一视频数据流的帧率。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，其中，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。

例如，所述计算机指令被处理器执行时，能够实现如下步骤：

获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；

获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；

对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；

根据所述事件数据流，以及所述第一目标帧和所述第二目标帧中的至少一帧，得到第二视频数据流，其中，所述第二视频数据流包括目标时刻点的目标插帧，所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定；所述第二视频数据流的帧率大于所述第一视频数据流的帧率。

示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；

获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；所述运动数据至少包括极性值，所述极性值表示光强变大或光强变小；

对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；

根据所述事件数据流以及所述第一目标帧得到第二视频数据流，或者根据所述事件数据流、所述第一目标帧以及所述第二目标帧得到第二视频数据流；

其中，所述根据所述事件数据流以及所述第一目标帧得到第二视频数据流，包括：

针对所述第一目标帧中的每个像素位置，根据与所述像素位置匹配的第一运动数据的极性值确定累积变化值，并根据所述累积变化值确定所述像素位置的目标像素值；

根据所述第一目标帧中的每个所述像素位置的目标像素值生成目标时刻点的目标插帧；

根据所述第一目标帧和所述目标插帧生成所述第二视频数据流；

所述根据所述事件数据流、所述第一目标帧以及所述第二目标帧得到第二视频数据流，包括：

从所述多个时刻的运动数据中选取出第一目标运动数据和第二目标运动数据；所述第一目标运动数据是位于所述第一视频帧的曝光结束时刻与目标时刻点之间的运动数据；所述第二目标运动数据是位于所述目标时刻点与所述第二视频帧的曝光开始时刻之间的运动数据；

针对所述第一目标帧中的每个第一像素位置，从所述第一目标运动数据中选取与所述第一像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第一像素位置的原始像素值确定所述第一像素位置的目标像素值；

针对所述第二目标帧中的每个第二像素位置，从所述第二目标运动数据中选取与所述第二像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第二像素位置的原始像素值确定所述第二像素位置的目标像素值；

根据所述第一目标帧中每个第一像素位置的目标像素值以及所述第二目标帧中每个第二像素位置的目标像素值，生成所述目标时刻点的目标插帧；

根据所述第一目标帧、所述第二目标帧和所述目标插帧生成所述第二视频数据流；

其中，所述第二视频数据流的帧率大于所述第一视频数据流的帧率；所述第一运动数据是所述多个时刻的运动数据中位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定。

2.根据权利要求1所述的方法，其特征在于，

所述目标时刻点为所述第一视频帧和所述第二视频帧之间的多个时刻点中的一个时刻点；或，所述目标时刻点为所述第一视频帧和所述第二视频帧之间的多个时刻点中的至少两个时刻点。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧，包括：

从所述多个时刻的运动数据中选取出第一初始运动数据和第二初始运动数据；所述第一初始运动数据是位于所述第一视频帧的曝光开始时刻与所述第一视频帧的曝光结束时刻之间的运动数据；所述第二初始运动数据是位于所述第二视频帧的曝光开始时刻与所述第二视频帧的曝光结束时刻之间的运动数据；

根据所述第一初始运动数据对所述第一视频帧进行去模糊处理，得到第一目标帧；

根据所述第二初始运动数据对所述第二视频帧进行去模糊处理，得到第二目标帧。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一初始运动数据对所述第一视频帧进行去模糊处理，得到第一目标帧，包括：

针对所述第一视频帧中的每个像素位置，从所述第一初始运动数据中选取与该像素位置匹配的至少一个运动数据；

根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；

根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值；

根据所述第一视频帧中每个像素位置的去模糊后的像素值生成第一目标帧。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二初始运动数据对所述第二视频帧进行去模糊处理，得到第二目标帧，包括：

针对所述第二视频帧中的每个像素位置，从所述第二初始运动数据中选取与该像素位置匹配的至少一个运动数据；

根据选取的至少一个运动数据确定该像素位置对应的像素调整值和权重值；

根据该像素位置的原始像素值，该像素调整值和该权重值，确定该像素位置的去模糊后的像素值；

根据所述第二视频帧中每个像素位置的去模糊后的像素值生成第二目标帧。

6.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；所述运动数据至少包括极性值，所述极性值表示光强变大或光强变小；

处理模块，用于对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；

生成模块，用于根据所述事件数据流以及所述第一目标帧得到第二视频数据流，或者根据所述事件数据流、所述第一目标帧以及所述第二目标帧得到第二视频数据流；其中，所述根据所述事件数据流以及所述第一目标帧得到第二视频数据流，包括：针对所述第一目标帧中的每个像素位置，根据与所述像素位置匹配的第一运动数据的极性值确定累积变化值，并根据所述累积变化值确定所述像素位置的目标像素值；根据所述第一目标帧中的每个所述像素位置的目标像素值生成目标时刻点的目标插帧；根据所述第一目标帧和所述目标插帧生成所述第二视频数据流；所述根据所述事件数据流、所述第一目标帧以及所述第二目标帧得到第二视频数据流，包括：从所述多个时刻的运动数据中选取出第一目标运动数据和第二目标运动数据；所述第一目标运动数据是位于所述第一视频帧的曝光结束时刻与目标时刻点之间的运动数据；所述第二目标运动数据是位于所述目标时刻点与所述第二视频帧的曝光开始时刻之间的运动数据；针对所述第一目标帧中的每个第一像素位置，从所述第一目标运动数据中选取与所述第一像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第一像素位置的原始像素值确定所述第一像素位置的目标像素值；针对所述第二目标帧中的每个第二像素位置，从所述第二目标运动数据中选取与所述第二像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第二像素位置的原始像素值确定所述第二像素位置的目标像素值；根据所述第一目标帧中每个第一像素位置的目标像素值以及所述第二目标帧中每个第二像素位置的目标像素值，生成所述目标时刻点的目标插帧；

其中，所述第二视频数据流的帧率大于所述第一视频数据流的帧率；所述第一运动数据是所述多个时刻的运动数据中位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定。

7.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下的步骤：

获取第一传感器输出的第一视频数据流，所述第一视频数据流至少包括连续的第一视频帧和第二视频帧；

获取第二传感器输出的事件数据流，所述事件数据流是所述第二传感器检测到的位于所述第一视频帧和所述第二视频帧之间的多个时刻的运动数据；所述运动数据至少包括极性值，所述极性值表示光强变大或光强变小；

对所述第一视频数据流中的第一视频帧进行去模糊处理，得到第一目标帧，对所述第一视频数据流中的第二视频帧进行去模糊处理，得到第二目标帧；

根据所述事件数据流以及所述第一目标帧得到第二视频数据流，或者根据所述事件数据流、所述第一目标帧以及所述第二目标帧得到第二视频数据流；

根据所述事件数据流以及所述第一目标帧得到第二视频数据流，包括：

针对所述第一目标帧中的每个像素位置，根据与所述像素位置匹配的第一运动数据的极性值确定累积变化值，并根据所述累积变化值确定所述像素位置的目标像素值；

根据所述第一目标帧中的每个所述像素位置的目标像素值生成目标时刻点的目标插帧；

根据所述第一目标帧和所述目标插帧生成所述第二视频数据流；

所述根据所述事件数据流、所述第一目标帧以及所述第二目标帧得到第二视频数据流，包括：

从所述多个时刻的运动数据中选取出第一目标运动数据和第二目标运动数据；所述第一目标运动数据是位于所述第一视频帧的曝光结束时刻与目标时刻点之间的运动数据；所述第二目标运动数据是位于所述目标时刻点与所述第二视频帧的曝光开始时刻之间的运动数据；

针对所述第一目标帧中的每个第一像素位置，从所述第一目标运动数据中选取与所述第一像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第一像素位置的原始像素值确定所述第一像素位置的目标像素值；

针对所述第二目标帧中的每个第二像素位置，从所述第二目标运动数据中选取与所述第二像素位置匹配的至少一个运动数据；根据选取的至少一个运动数据和所述第二像素位置的原始像素值确定所述第二像素位置的目标像素值；

根据所述第一目标帧中每个第一像素位置的目标像素值以及所述第二目标帧中每个第二像素位置的目标像素值，生成所述目标时刻点的目标插帧；

其中，所述第二视频数据流的帧率大于所述第一视频数据流的帧率；所述第一运动数据是所述多个时刻的运动数据中位于所述第一视频帧的曝光结束时刻与所述目标时刻点之间的运动数据；所述目标时刻点从所述第一视频帧和所述第二视频帧之间的多个时刻点中确定。

Images