CN112771843A - 信息处理方法、装置和成像系统 - Google Patents

信息处理方法、装置和成像系统 Download PDF

Info

Publication number
CN112771843A
CN112771843A CN202080005340.7A CN202080005340A CN112771843A CN 112771843 A CN112771843 A CN 112771843A CN 202080005340 A CN202080005340 A CN 202080005340A CN 112771843 A CN112771843 A CN 112771843A
Authority
CN
China
Prior art keywords
information
event
processing
gradient
gradient information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005340.7A
Other languages
English (en)
Inventor
伦朝林
杨景景
李静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112771843A publication Critical patent/CN112771843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种信息处理方法，包括：获得第一视频信息，第一视频信息包括多个图像帧；获得事件信息，事件信息包括多个事件点，多个事件点中的每个事件点包括坐标信息、时间信息和与坐标信息对应的像素点的亮度信息；基于多个事件点，生成多个梯度信息图，梯度信息图包括各像素点的梯度信息；基于多个图像帧，处理多个梯度信息图，得到多个插帧图像；以及基于多个插帧图像对第一视频信息进行插帧，得到第二视频信息，其中，第二视频信息的帧率高于第一视频信息的帧率。

Description

信息处理方法、装置和成像系统
技术领域
本公开涉及图像处理领域，具体地，涉及一种信息处理方法、装置和成像系统。
背景技术
随着数码技术和网络技术的蓬勃发展，相机已经成为记录生活片段的重要工具和方式。然而，传统成像相机的离散采样需要经过曝光时间积分，模数转换和数据读出等步骤，从而限制了帧率，在高速动态场景中会出现模糊和不连续的现象，难以满足高速运动场景中对高帧率的需求。
发明内容
有鉴于此，本公开实施例提供了一种信息处理方法、装置和成像系统，可以通过成像设备获得视频信息，通过事件相机获得事件信息，基于视频信息和事件信息得到多个插帧图像，从而可以基于多个插帧图像对视频信息进行插帧处理，以生成具有高帧率的视频信息。
第一方面，本公开实施例提供了一种信息处理方法，包括：获得第一视频信息，所述第一视频信息包括多个图像帧；获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息；基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息；基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像；以及基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
第二方面，本公开实施例提供了一种信息处理装置，该装置包括第一获得模块、第二获得模块、生成模块、第一处理模块和插帧模块。其中，第一获得模块用于获得第一视频信息，所述第一视频信息包括多个图像帧。第二获得模块用于获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息。生成模块用于基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息。第一处理模块用于基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像。插帧模块用于基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
第三方面，本公开实施例提供了一种成像系统，包括成像设备、事件相机和处理器。其中，成像设备用于获得第一视频信息。事件相机用于获得事件信息。处理器用于如下操作：获得第一视频信息，所述第一视频信息包括多个图像帧；获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息；基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息；基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像；以及基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
第四方面，本公开实施例提供了一种计算机系统，包括：一个或多个处理器；计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
第五方面，本公开实施例提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的方法。
第六方面，本公开实施例提供了一种计算机程序产品，包括计算机可读指令，其中，所述计算机可读指令被执行时用于执行如上所述的方法。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本公开的限制。在附图中：
图1示意性示出了本公开实施例的可以应用信息处理方法的示例性系统架构；
图2示意性示出了本公开实施例的信息处理方法的流程图；
图3示意性示出了本公开实施例的图像获取装置的示意图；
图4示意性示出了本公开实施例的事件点集合的示意图；
图5示意性示出了本公开实施例的信息处理装置的框图；
图6示意性示出了本公开实施例的成像系统的框图；以及
图7示意性示出了本公开实施例的计算机系统的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开提供了一种信息处理方法，该方法包括通过成像设备获得第一视频信息，第一视频信息可以包括多个图像帧。通过事件相机获得事件信息，事件信息可以包括多个事件点，每个事件点可以包括坐标信息、时间信息和与坐标信息对应的像素点的亮度信息。本公开实施例可以基于事件信息中的多个事件点，生成多个梯度信息图，梯度信息图包括各像素点的梯度信息，并基于第一视频信息中的多个图像帧，处理生成的多个梯度信息图，得到多个插帧图像。然后，可以根据多个插帧图像对第一视频信息进行插帧，得到第二视频信息，从而可以获得具有高帧率的视频信息。
图1示意性示出了本公开实施例的可以应用信息处理方法的示例性系统架构。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括成像设备101、事件相机102，网络103和服务器104。网络103是用以在成像设备101、和服务器104之间，或者在事件相机102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
成像设备101例如可以是利用光学成像原理形成影像并使用底片记录影像的设备。例如，成像设备101可以是具备图像传感器的各种的成像相机。
事件相机(Event Camera)102例如可以是通过测量每个像素的亮度变化来输出异步信号的设备。例如，事件相机102可以是具备动态视觉传感器的各种事件相机，包括但不限于DVS(Dynamic Vision Sensor)、ATIS(Asynchronous Time Based Image Sensor)、DAVIS(Dynamic and Active Pixel Vision Sensor)等。
服务器104可以是提供各种服务的服务器，例如可以对接收到的视频信息和事件信息进行分析处理，并将处理结果反馈给用户。
需要说明的是，本公开实施例所提供的信息处理方法一般可以由服务器104执行。相应地，本公开实施例所提供的信息处理装置一般可以设置于服务器104中。本公开实施例所提供的信息处理方法也可以由不同于服务器104且能够与成像设备101、事件相机102和/或服务器104通信的服务器或服务器集群执行。相应地，本公开实施例所提供的信息处理装置也可以设置于不同于服务器104且能够与成像设备101、事件相机102和/或服务器104通信的服务器或服务器集群中。或者，本公开实施例所提供的信息处理方法也可以由成像设备101或者事件相机102执行，或者也可以由不同于成像设备101和事件相机102的其他终端设备(例如，用户终端)执行。
例如，成像设备101可以用于获得视频信息，事件相机102可以用于获得事件信息。服务器104可以通过网络103从成像设备101处获得视频信息，以及通过网络103从事件相机102处获得事件信息。服务器104可以基于获得的视频信息和事件信息得到多个插帧图像，并根据得到的多个插帧图像对视频信息进行插帧处理，从而获得具有更高帧率的视频信息。
图2示意性示出了本公开实施例的信息处理方法的流程图。
如图2所示，该方法包括操作S201～S205。
在操作S201，获得第一视频信息，所第一视频信息包括多个图像帧。
根据本公开实施例，可以通过成像设备拍摄获得第一视频信息。成像设备例如可以通过光学成像原理拍摄并记录第一视频信息。例如，可以使用数码相机、单反相机或者具有摄像头的各种电子设备拍摄获得第一视频信息。第一视频信息也可以包括存储在非易失性存储装置等设备中的视频信息，或者是虚拟生成的视频信息，例如，通过人工智能技术生成的视频信息，在此不做限制。
在本公开实施例中，第一视频信息例如可以是由多个连续图像帧组成的视频序列，第一视频信息例如可以反映某一场景一段时间内的亮度信息。
根据本公开实施例，第一视频信息可以包括彩色视频或者灰度视频，本公开实施例对第一视频信息的格式和颜色通道不进行限定，本领域技术人员可以根据实际需要进行设定。
在操作S202，获得事件信息，事件信息包括多个事件点，多个事件点中的每个事件点包括坐标信息、时间信息和与坐标信息对应的像素点的亮度信息。
根据本公开实施例，可以通过事件相机获得事件信息。事件相机例如可以通过独立采集场景中若干个点的亮度信息，或是每个像素的亮度等强度信息来输出一系列事件序列。例如，可以使用DVS、ATIS或者DAVIS等各种具有动态视觉传感器的事件相机来获取事件信息。
在本公开实施例中，事件信息例如可以是由多个事件点组成的事件序列，事件信息例如可以反映当前场景的亮度变化信息。每个事件点可以包括坐标信息、时间信息和与坐标信息对应的像素点的亮度信息。亮度信息例如可以是亮度变化信息，亮度变化包括亮度保持不变、亮度变高或者亮度变低。例如，亮度保持不变所对应的亮度变化信息为0，亮度变高所对应的亮度变化信息为1，亮度变低所对应的亮度变化信息为-1。通过对亮度信息进行标准化处理，使得有限的数据即可适应各种场景下的亮度信息表述，降低了场景亮度剧烈变化时的信息流冲击，也降低了数据处理、传输和存储的资源需求。
例如，每个事件可以包含特征(x，y，t，p)，其中x,y表示空间位置信息(例如，像素点的坐标信息)，t表示该事件触发的时间戳，p表示数据极性(例如，0表示该像素点亮度没有变化，1表示该像素点亮度增强，-1表示该像素点亮度降低)。由此，极大的缩短了的像素响应时间，便于形成高帧率视频流。
根据本公开实施例，如果采用成像相机获取第一视频信息，采用事件相机获得事件信息，可以将成像相机的感光元件和事件相机的感光元件尽量靠近以减少入射光和视差等原因导致的成像相机获取的第一视频信息的亮度与事件相机获取的事件信息的亮度存在过大的差异。
例如，图3示意性示出了本公开实施例的图像获取装置300的示意图。如图3所示，图像获取装置300可以包括成像相机310和事件相机320。成像相机310和事件相机320可以通过固定装置尽量靠近彼此地可拆卸地固定在图像获取装置300中。
根据本公开实施例，可以控制成像相机310和事件相机320基本同步地获取第一视频信息和事件信息，以消除时间差造成的问题，例如同一场景在不同时间的亮度差异。或者，也可以分别控制成像相机310和事件相机320获取第一视频信息和事件信息，再通过算法校正时间差和/或亮度差异。
根据本公开实施例，还可以基于成像相机的参数和事件相机的参数，确定第一视频信息和事件信息之间的映射关系。
可以理解，成像相机和事件相机本身在获取图像过程中存在一定的畸变。例如，如图3所示，成像相机310和事件相机320之间存在一定的视差及视场(Field of View，简称FOV)偏差等问题，以致得两个相机获取的视频内容没有配准。
本公开实施例可以对成像相机和事件相机进行内参估计，以及两相机之间的外参估计。例如，可以使用标定方法对成像相机和事件相机进行标定，获得两者的内外参数。再为在两个相机的数据间建立映射关系，例如，单应性矩阵(Homograph matrix，H矩阵)，仿射矩阵(Affine matrix)等。可以通过映射关系矫正成像相机和事件相机之间的视差问题。以H矩阵为例，H距阵进行映射的公式可以表示为：
Figure BDA0002992488940000071
P2＝HP1
其中，K1表示事件相机的内参矩阵，K2表示成像相机的内参矩阵，R表示成像相机坐标系到事件相机坐标系的旋转矩阵，H表示事件相机坐标系到成像相机坐标系的单应性矩阵，P1表示事件相机获取的图像的某一像素点的坐标，P2表示P1在成像相机获取的图像上的对应像素点的坐标。
本公开实施例通过成像相机获取视频信息，可以获得具有较高分辨率的视频信息，通过事件相机获取事件信息，可以获得具有较高帧率的事件序列。
本公开实施例可以通过控制成像相机和事件相机同时获取视频信息和事件信息来消除时间差造成的问题。
本公开实施例可以通过建立成像相机和事件相机的映射关系来消除视差的问题。
本公开实施例可以通过对第一视频信息和/或事件信息进行剪裁、拉伸、拼接、旋转中的至少一种处理来消除第一视频信息和事件信息对应的视场不同的问题。
在本公开实施例中，成像相机可以对应于多个事件相机，多个事件相机拼接后形成的视场可以与成像相机的视场相匹配。例如，多个事件相机拼接后的图像的取景范围与成像相机的取景范围相同，以消除第一视频信息和事件信息对应的视场不同的问题。
在操作S203，基于多个事件点，生成多个梯度信息图，梯度信息图包括各像素点的梯度信息。
根据本公开实施例，可以对多个事件点依次进行第一处理、第二处理和第三处理得到多个梯度信息图，其中，第一处理包括梯度处理、上采样处理和映射处理中的一个，第二处理包括梯度处理、上采样处理和映射处理中的另一个，第三处理梯度处理、上采样处理和映射处理中的又一个。本公开实施例不对梯度处理、上采样处理和映射处理之间的顺序进行限定，本领域技术人员可以根据实际需要进行设定。例如，可以对多个事件点先进行梯度处理，再进行上采样处理，最后进行映射处理，得到梯度信息图。又例如，也可以对多个事件点先进行梯度处理，再进行映射处理，最后进行上采样处理，得到梯度信息图。再例如，还可以对多个事件点进行上采样处理、再进行映射处理、最后进行梯度处理，得到梯度信息图等等。
当然，对梯度处理后的梯度信息还能进行更多的改造，例如对梯度信息进行压制或衰减，使其满足高动态的需求。梯度衰减的方法可以采用高斯金字塔，选择满足大的梯度衰减多而小的梯度衰减很少的衰减函数即可。由此，保证了梯度信息不会溢出。此外，梯度压制或衰减可以根据需求在各步骤进行，例如可以在映射处理之后，逐步上采样，同时进行梯度衰减，这样处理虽然数据量较大，但梯度数据保留较多且精确度较高；或是在映射处理之前或映射处理时同步进行梯度衰减，这样处理可以进一步减少传输及处理的数据量，进而提高了图像处理速度，满足更高帧率的需求。
下面针对“对多个事件点先进行梯度处理，再进行映射处理，最后进行上采样处理，得到梯度信息图”的实施例进行具体说明。因为在梯度处理之后进行映射处理，可以提高图像空间配准的精确度，而上采样处理作为三个步骤的最后一步，可以减少流程中的数据量，从而进一步提高图像处理速度。
根据本公开实施例，可以先按照时间顺序，将多个事件点划分为多个事件点集合，多个事件点集合分别对应不同的时间段。然后，对多个事件点集合分别进行梯度处理，生成多个初始梯度信息图。再基于第一视频信息和事件信息之间的映射关系，对多个初始梯度信息图进行映射处理，得到多个映射梯度信息图。最后，对多个映射梯度信息图进行上采样处理，得到多个梯度信息图，其中，每个梯度信息图对应一个事件点集合。
例如，如图4所示，可以将时间戳在t0～t1之间的事件点划分到事件点集合401中。对事件点集合401中的各事件点进行梯度处理，生成该时间段t0～t1对应的初始梯度信息图。然后，对该初始梯度信息图进行映射处理，得到映射梯度信息图。最后，对该映射梯度信息图进行上采样处理，得到梯度信息图。同理，可以依次生成t1～t2时间段、t2～t3时间段、t3～t4时间段、t4～t5时间段……分别对应的梯度信息图。
在本公开实施例中，可以根据预设时间间隔划分事件点集合。例如，每个时间间隔Δt内的所有事件点归为一个事件点集合。也可以根据预设事件点数量划分事件点集合。例如，按照时间顺序收集事件点，到达1000各事件点则组成一个集合。
在本公开实施例中，可以通过卡尔曼(Kalman)滤波对各事件点集合进行梯度处理，得到该集合所对应的初始梯度信息图。
在本公开实施例中，可以通过在操作S202的描述中得到的第一视频信息和事件信息之间的映射关系，对初始梯度信息图进行映射处理，得到映射梯度信息图，以矫正梯度信息图与视频信息之间的视差。
在本公开实施例中，可以通过后向映射方法或者插值方法(例如，bicubic插值方法)对映射梯度信息图进行上采样处理，从而可以得到空间分辨率较高的梯度信息图。例如，可以上采样至与第一视频信息相同的分辨率。
在本公开实施例中，还可以对梯度信息图进行剪裁、拉伸、拼接、旋转中的至少一种处理，以使梯度信息图与第一视频信息的FOV一致。或者，对第一视频信息进行剪裁、拉伸、拼接、旋转中的至少一种处理，以使视频信息与梯度信息图的FOV一致。
在本公开实施例中，还可以对多个梯度信息图中的至少一个梯度信息图进行滤波处理。例如，可以对梯度信息图进行保边滤波处理，更精细化调整梯度信息图。保边滤波例如可以是双边滤波或者导向滤波(guide filter)等。
在操作S204，基于多个图像帧，处理多个梯度信息图，得到多个插帧图像。
根据本公开实施例，可以获取第一视频信息中连续的第一图像帧和第二图像帧，从多个梯度信息图中确定在时间上与第一图像帧和第二图像帧相匹配的待处理梯度信息图，并基于第一图像帧和第二图像帧，处理待处理梯度信息图，得到要插入到第一图像帧和第二图像帧之间的插帧图像。
例如，如图4所示，第一视频信息中的第一图像帧对应的时间为t0，第二图像帧对应的时间为t5，则事件点集合401、402、403、404和405分别对应的梯度信息图即为在时间上与第一图像帧和第二图像帧相匹配的待处理梯度信息图。可以通过泊松方程处理该些待处理梯度信息图，得到要插入到第一图像帧和第二图像帧之间的插帧图像，其中，一个待处理梯度信息对应一个插帧图像。
使用泊松方程处理待处理梯度信息图，得到对应的插帧图像可以表示为：求解
Figure BDA0002992488940000111
其中，I为成像相机的视频帧，G为待处理梯度信息图，
Figure BDA0002992488940000112
Figure BDA0002992488940000113
该偏微分方程的初始条如下：
Ihigh_frame_rate(0)＝IA
Ihigh_frame_rate(N)＝IB
根据本公开实施例，可以根据与待处理梯度信息图相邻的插帧图像或者图像帧设置泊松方程的初始条件。
例如，0可以表示成像相机相邻两帧的第一帧，N可以表示成像相机相邻两帧的第二帧。即，将待处理梯度信息图在时间上相对应的第一视频的第一图像帧和第二图像帧作为处理该待处理梯度信息图的泊松方程的初始条件。例如，对于事件点集合401、402、403、404和405分别对应的待处理梯度信息图，其初始条件可以均为第一视频的第一图像帧和第二图像帧。
又例如，0可以表示上一时刻生成的相邻的插帧图像，N可以表示成像相机相邻两帧的第二帧。即，将与该待处理梯度信息图相邻的前一帧的插帧图像和后一帧的第一视频的第二图像帧作为处理该待处理梯度信息图的泊松方程的初始条件。例如，对于事件点集合401对应的待处理梯度信息图，其初始条件可以为第一视频的第一图像帧和第二图像帧，对于事件点集合402对应的待处理梯度信息图，其初始条件可以为事件点集合401对应插帧图像和第一视频的第二图像帧。
本公开实施例不限定梯度信息图的处理方式，本公开实施例仅需要通过第一视频信息处理梯度信息图，使得处理后的梯度信息图满足场景的亮度信息，从而可以生成符合条件的插帧图像即可，本领域技术人员可以根据实际需求进行处理方式的设定。例如，上述偏微分方程是一个稀疏线性系统，有多种求解方式，可以采用但不限于直接求解该方程系统的解，或者通过对方程变形等方式使用迭代优化方式获得方程的近似最优解。
在操作S205，基于多个插帧图像对第一视频信息进行插帧，得到第二视频信息，其中，第二视频信息的帧率高于第一视频信息的帧率。
根据本公开实施例，可以基于各插帧图像对应的时间段信息将各插帧图像插入到第一视频中。例如，可以依次将事件点集合401、402、403、404和405分别对应的插帧图像插入到第一视频的第一图像帧和第二图像帧之间。
在本公开实施例中，插帧处理后得到的第二视频具有较高的帧率，适用于高速运动场景中。例如，第二视频信息可以包括慢动作视频信息，用于播放高速运动场景中的慢动作信息。
本公开实施例中的事件相机仅比较像素的亮度变化，极大的缩短了像素响应时间(例如，像素延迟可以缩短至1us)，输出信号为时间密集的事件点，适合记录快速运动，形成高帧率视频流。
本公开实施例可以将事件相机采集的、或是预先存储、或是虚拟生成的事件信息生成可以用于插帧的插帧图像，再将其插入到第一视频中，从而可以获得具有较高分辨率且具有较高帧率的视频信息，以便真实反应高速运动中的实际运动状态，避免在高速动态场景中出现的模糊和不连续的现象。
图5示意性示出了本公开实施例的信息处理装置500的框图。
如图5所示，该信息处理装置500可以包括第一获得模块510、第二获得模块520、生成模块530、第一处理模块540和插帧模块550。
根据本公开实施例，该信息处理装置500例如可以置于飞行设备中。该信息处理装置500例如可以用于控制飞行设备的导航系统。例如，信息处理装置500可以控制无人机的导航系统追踪目标对象等等。
第一获得模块510用于获得第一视频信息，所述第一视频信息包括多个图像帧。
第二获得模块520用于获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息。
生成模块530用于基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息。
第一处理模块540用于基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像。
插帧模块550用于基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
根据本公开实施例，第一处理模块540还用于：获取所述第一视频信息中连续的第一图像帧和第二图像帧，从所述多个梯度信息图中确定在时间上与所述第一图像帧和所述第二图像帧相匹配的待处理梯度信息图，以及基于所述第一图像帧和所述第二图像帧，处理所述待处理梯度信息图，得到要插入到所述第一图像帧和所述第二图像帧之间的插帧图像。
根据本公开实施例，处理所述待处理梯度信息图，包括：通过泊松方程处理所述待处理梯度信息图，得到对应插帧图像。
根据本公开实施例，一个待处理梯度信息图对应一个插帧图像。
根据本公开实施例，所述通过泊松方程处理所述待处理梯度信息图，包括：根据与所述待处理梯度信息图相邻的插帧图像或者图像帧设置所述泊松方程的初始条件。
根据本公开实施例，生成模块530还用于：按照时间顺序，将所述多个事件点划分为多个事件点集合，所述多个事件点集合分别对应不同的时间段，以及基于所述多个事件点集合，生成所述多个梯度信息图，其中，每个梯度信息图对应一个事件点集合。
根据本公开实施例，基于所述多个事件点集合，生成所述多个梯度信息图，包括：对所述多个事件点集合分别进行梯度处理，生成多个初始梯度信息图，基于所述第一视频信息和所述事件信息之间的映射关系，对所述多个初始梯度信息图进行映射处理，得到多个映射梯度信息图，以及对所述多个映射梯度信息图进行上采样处理，得到所述多个梯度信息图。
根据本公开实施例，对所述多个映射梯度信息图进行上采样处理，包括：通过后向映射方法对所述多个映射梯度信息图进行上采样处理，或者通过插值方法对所述多个映射梯度信息图进行上采样处理。
根据本公开实施例，基于所述多个事件点，生成多个梯度信息图，包括：对所述多个事件点依次进行第一处理、第二处理和第三处理得到所述多个梯度信息图，其中，所述第一处理包括梯度处理、上采样处理和映射处理中的一个，所述第二处理包括梯度处理、上采样处理和映射处理中的另一个，所述第三处理梯度处理、上采样处理和映射处理中的又一个。
根据本公开实施例，装置500还包括：滤波模块，用于对所述多个梯度信息图中的至少一个梯度信息图进行滤波处理，其中，所述滤波处理包括保边滤波处理。
根据本公开实施例，获得第一视频信息包括通过成像设备获得所述第一视频信息。
根据本公开实施例，获得事件信息包括通过事件相机获得所述事件信息。
根据本公开实施例，事件相机能够用于控制飞行设备的导航系统，成像相机和事件相机置于飞行设备中。
根据本公开实施例，装置500还包括：控制模块，用于控制所述成像相机和所述事件相机同步获取所述第一视频信息和所述事件信息。
根据本公开实施例，装置500还包括：确定模块，用于基于所述成像相机的参数和所述事件相机的参数，确定所述视频信息和所述事件信息之间的映射关系。
根据本公开实施例，装置500还包括：第二处理模块，用于在所述第一视频信息和所述事件信息对应的视场不同时，对所述第一视频信息和/或所述事件信息进行剪裁、拉伸、拼接、旋转中的至少一种处理。
根据本公开实施例，成像设备对应于多个事件相机，所述多个事件相机拼接后形成的视场与所述成像设备的视场相匹配。
根据本公开实施例，第二视频信息包括慢动作视频信息。
根据本公开实施例，第一视频信息包括彩色视频或者灰度视频。
根据本公开实施例，亮度信息包括亮度变化信息。
根据本公开实施例，亮度变化包括亮度保持不变、亮度变高或者亮度变低。
根据本公开实施例，所述亮度保持不变所对应的亮度变化信息为0，所述亮度变高所对应的亮度变化信息为1，所述亮度变低所对应的亮度变化信息为-1。
根据本公开实施例，装置500例如可以执行上文参考图2描述的方法，在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获得模块510、第二获得模块520、生成模块530、第一处理模块540和插帧模块550中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一获得模块510、第二获得模块520、生成模块530、第一处理模块540和插帧模块550中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获得模块510、第二获得模块520、生成模块530、第一处理模块540和插帧模块550中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图6示意性示出了本公开实施例的成像系统600的框图。
如图6所示，该成像系统600可以包括成像设备610、事件相机620以及处理器630。
根据本公开实施例，该成像系统600例如可以置于飞行设备中。该成像系统600例如可以用于控制飞行设备的导航系统。例如，成像系统600可以控制无人机的导航系统追踪目标对象等等。
成像设备610用于获得第一视频信息。成像设备610例如可以是利用光学成像原理形成影像并使用底片记录影像的设备。例如，成像设备610可以是具备图像传感器的各种的成像相机。
事件相机(Event Camera)620用于获得事件信息。事件相机620例如可以是通过测量每个像素的亮度变化来输出异步信号的设备。例如，事件相机102可以是具备动态视觉传感器的各种事件相机，包括但不限于DVS(Dynamic Vision Sensor)、ATIS(AsynchronousTime Based Image Sensor)、DAVIS(Dynamic and Active Pixel Vision Sensor)等。
处理器630用于如下操作：获得第一视频信息，所述第一视频信息包括多个图像帧，获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息，基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息，基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像，以及基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
处理器630与成像设备610和事件相机620连接，可以接收来自成像设备610和事件相机620的视频信息和事件信息。处理器630可以置于成像设备610或者事件相机620中。或者，处理器630也可以置于成像设备610和事件相机620之外的其他设备中。
根据本公开实施例，基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像，包括：获取所述第一视频信息中连续的第一图像帧和第二图像帧，从所述多个梯度信息图中确定在时间上与所述第一图像帧和所述第二图像帧相匹配的待处理梯度信息图，基于所述第一图像帧和所述第二图像帧，处理所述待处理梯度信息图，得到要插入到所述第一图像帧和所述第二图像帧之间的插帧图像。
根据本公开实施例，处理所述待处理梯度信息图，包括：通过泊松方程处理所述待处理梯度信息图，得到对应插帧图像。
根据本公开实施例，一个待处理梯度信息图对应一个插帧图像。
根据本公开实施例，通过泊松方程处理所述待处理梯度信息图，包括：根据与所述待处理梯度信息图相邻的插帧图像或者图像帧设置所述泊松方程的初始条件。
根据本公开实施例，基于所述多个事件点，生成多个梯度信息图，包括：按照时间顺序，将所述多个事件点划分为多个事件点集合，所述多个事件点集合分别对应不同的时间段，以及基于所述多个事件点集合，生成所述多个梯度信息图，其中，每个梯度信息图对应一个事件点集合。
根据本公开实施例，基于所述多个事件点集合，生成所述多个梯度信息图，包括：对所述多个事件点集合分别进行梯度处理，生成多个初始梯度信息图，基于所述第一视频信息和所述事件信息之间的映射关系，对所述多个初始梯度信息图进行映射处理，得到多个映射梯度信息图，对所述多个映射梯度信息图进行上采样处理，得到所述多个梯度信息图。
根据本公开实施例，对所述多个映射梯度信息图进行上采样处理，包括：通过后向映射方法对所述多个映射梯度信息图进行上采样处理，或者通过插值方法对所述多个映射梯度信息图进行上采样处理。
根据本公开实施例，基于所述多个事件点，生成多个梯度信息图，包括：对所述多个事件点依次进行第一处理、第二处理和第三处理得到所述多个梯度信息图，其中，所述第一处理包括梯度处理、上采样处理和映射处理中的一个，所述第二处理包括梯度处理、上采样处理和映射处理中的另一个，所述第三处理梯度处理、上采样处理和映射处理中的又一个。
根据本公开实施例，处理器630还用于：对所述多个梯度信息图中的至少一个梯度信息图进行滤波处理，其中，所述滤波处理包括保边滤波处理。
根据本公开实施例，获得第一视频信息包括通过成像设备获得所述第一视频信息。
根据本公开实施例，获得事件信息包括通过事件相机获得所述事件信息。
根据本公开实施例，处理器630还用于：控制所述成像相机和所述事件相机同步获取所述第一视频信息和所述事件信息。
根据本公开实施例，处理器630还用于：基于所述成像相机的参数和所述事件相机的参数，确定所述视频信息和所述事件信息之间的映射关系。
根据本公开实施例，处理器630还用于：在所述第一视频信息和所述事件信息对应的视场不同时，对所述第一视频信息和/或所述事件信息进行剪裁、拉伸、拼接、旋转中的至少一种处理。
根据本公开实施例，成像设备对应于多个事件相机，所述多个事件相机拼接后形成的视场与所述成像设备的视场相匹配。
根据本公开实施例，第二视频信息包括慢动作视频信息。
根据本公开实施例，第一视频信息包括彩色视频或者灰度视频。
根据本公开实施例，亮度信息包括亮度变化信息。所述亮度变化包括亮度保持不变、亮度变高或者亮度变低。所述亮度保持不变所对应的亮度变化信息为0，所述亮度变高所对应的亮度变化信息为1，所述亮度变低所对应的亮度变化信息为-1。
本公开实施例可以将事件相机采集的事件信息生成可以用于插帧的插帧图像，再将其插入到成像设备获取的第一视频中，从而可以获得具有较高分辨率且具有较高帧率的视频信息，以便真实反应高速运动中的实际运动状态，避免在高速动态场景中出现的模糊和不连续的现象。
图7示意性示出了本公开实施例的计算机系统700的框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (67)

1.一种信息处理方法，包括：
获得第一视频信息，所述第一视频信息包括多个图像帧；
获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息；
基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息；
基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像；以及
基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
2.根据权利要求1所述的方法，其中，所述基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像，包括：
获取所述第一视频信息中连续的第一图像帧和第二图像帧；
从所述多个梯度信息图中确定在时间上与所述第一图像帧和所述第二图像帧相匹配的待处理梯度信息图；
基于所述第一图像帧和所述第二图像帧，处理所述待处理梯度信息图，得到要插入到所述第一图像帧和所述第二图像帧之间的插帧图像。
3.根据权利要求2所述的方法，其中，所述处理所述待处理梯度信息图，包括：
通过泊松方程处理所述待处理梯度信息图，得到对应插帧图像。
4.根据权利要求2或3所述的方法，其中，一个待处理梯度信息图对应一个插帧图像。
5.根据权利要求3所述的方法，其中，所述通过泊松方程处理所述待处理梯度信息图，包括：
根据与所述待处理梯度信息图相邻的插帧图像或者图像帧设置所述泊松方程的初始条件。
6.根据权利要求1所述的方法，其中，所述基于所述多个事件点，生成多个梯度信息图，包括：
按照时间顺序，将所述多个事件点划分为多个事件点集合，所述多个事件点集合分别对应不同的时间段；以及
基于所述多个事件点集合，生成所述多个梯度信息图，其中，每个梯度信息图对应一个事件点集合。
7.根据权利要求6所述的方法，其中，所述基于所述多个事件点集合，生成所述多个梯度信息图，包括：
对所述多个事件点集合分别进行梯度处理，生成多个初始梯度信息图；
基于所述第一视频信息和所述事件信息之间的映射关系，对所述多个初始梯度信息图进行映射处理，得到多个映射梯度信息图；
对所述多个映射梯度信息图进行上采样处理，得到所述多个梯度信息图。
8.根据权利要求7所述的方法，其中，所述对所述多个映射梯度信息图进行上采样处理，包括：
通过后向映射方法对所述多个映射梯度信息图进行上采样处理；或者
通过插值方法对所述多个映射梯度信息图进行上采样处理。
9.根据权利要求1所述的方法，其中，所述基于所述多个事件点，生成多个梯度信息图，包括：
对所述多个事件点依次进行第一处理、第二处理和第三处理得到所述多个梯度信息图，其中，所述第一处理包括梯度处理、上采样处理和映射处理中的一个，所述第二处理包括梯度处理、上采样处理和映射处理中的另一个，所述第三处理梯度处理、上采样处理和映射处理中的又一个。
10.根据权利要求1所述的方法，还包括：
对所述多个梯度信息图中的至少一个梯度信息图进行滤波处理，其中，所述滤波处理包括保边滤波处理。
11.根据权利要求1所述的方法，其中，所述获得第一视频信息包括通过成像设备获得所述第一视频信息。
12.根据权利要求11所述的方法，其中，所述获得事件信息包括通过事件相机获得所述事件信息。
13.根据权利要求12所述的方法，还包括：
控制所述成像设备和所述事件相机同步获取所述第一视频信息和所述事件信息。
14.根据权利要求12所述的方法，还包括：
基于所述成像设备的参数和所述事件相机的参数，确定所述视频信息和所述事件信息之间的映射关系。
15.根据权利要求12所述的方法，其中，所述成像设备对应于多个事件相机，所述多个事件相机拼接后形成的视场与所述成像设备的视场相匹配。
16.根据权利要求1所述的方法，还包括：
在所述第一视频信息和所述事件信息对应的视场不同时，对所述第一视频信息和/或所述事件信息进行剪裁、拉伸、拼接、旋转中的至少一种处理。
17.根据权利要求1所述的方法，其中，所述第二视频信息包括慢动作视频信息。
18.根据权利要求1所述的方法，其中，所述第一视频信息包括彩色视频或者灰度视频。
19.根据权利要求1所述的方法，其中，所述亮度信息包括亮度变化信息。
20.根据权利要求19所述的方法，其中，所述亮度变化包括亮度保持不变、亮度变高或者亮度变低。
21.根据权利要求20所述的方法，其中，所述亮度保持不变所对应的亮度变化信息为0，所述亮度变高所对应的亮度变化信息为1，所述亮度变低所对应的亮度变化信息为-1。
22.一种信息处理装置，包括：
第一获得模块，用于获得第一视频信息，所述第一视频信息包括多个图像帧；
第二获得模块，用于获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息；
生成模块，用于基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息；
第一处理模块，用于基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像；以及
插帧模块，用于基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
23.根据权利要求22所述的装置，其中，所述处理模块还用于：
获取所述第一视频信息中连续的第一图像帧和第二图像帧；
从所述多个梯度信息图中确定在时间上与所述第一图像帧和所述第二图像帧相匹配的待处理梯度信息图；
基于所述第一图像帧和所述第二图像帧，处理所述待处理梯度信息图，得到要插入到所述第一图像帧和所述第二图像帧之间的插帧图像。
24.根据权利要求22所述的装置，其中，所述处理所述待处理梯度信息图，包括：
通过泊松方程处理所述待处理梯度信息图，得到对应插帧图像。
25.根据权利要求22或24所述的装置，其中，一个待处理梯度信息图对应一个插帧图像。
26.根据权利要求24所述的装置，其中，所述通过泊松方程处理所述待处理梯度信息图，包括：
根据与所述待处理梯度信息图相邻的插帧图像或者图像帧设置所述泊松方程的初始条件。
27.根据权利要求23所述的装置，其中，所述生成模块还用于：
按照时间顺序，将所述多个事件点划分为多个事件点集合，所述多个事件点集合分别对应不同的时间段；以及
基于所述多个事件点集合，生成所述多个梯度信息图，其中，每个梯度信息图对应一个事件点集合。
28.根据权利要求27所述的装置，其中，所述基于所述多个事件点集合，生成所述多个梯度信息图，包括：
对所述多个事件点集合分别进行梯度处理，生成多个初始梯度信息图；
基于所述第一视频信息和所述事件信息之间的映射关系，对所述多个初始梯度信息图进行映射处理，得到多个映射梯度信息图；
对所述多个映射梯度信息图进行上采样处理，得到所述多个梯度信息图。
29.根据权利要求28所述的装置，其中，所述对所述多个映射梯度信息图进行上采样处理，包括：
通过后向映射方法对所述多个映射梯度信息图进行上采样处理；或者
通过插值方法对所述多个映射梯度信息图进行上采样处理。
30.根据权利要求22所述的装置，其中，所述基于所述多个事件点，生成多个梯度信息图，包括：
对所述多个事件点依次进行第一处理、第二处理和第三处理得到所述多个梯度信息图，其中，所述第一处理包括梯度处理、上采样处理和映射处理中的一个，所述第二处理包括梯度处理、上采样处理和映射处理中的另一个，所述第三处理梯度处理、上采样处理和映射处理中的又一个。
31.根据权利要求22所述的装置，还包括：
滤波模块，用于对所述多个梯度信息图中的至少一个梯度信息图进行滤波处理，其中，所述滤波处理包括保边滤波处理。
32.根据权利要求22所述的装置，其中，所述获得第一视频信息包括通过成像设备获得所述第一视频信息。
33.根据权利要求32所述的装置，其中，所述获得事件信息包括通过事件相机获得所述事件信息。
34.根据权利要求33所述的装置，其中，所述事件相机能够用于控制飞行设备的导航系统，所述成像设备和所述事件相机置于所述飞行设备中。
35.根据权利要求33所述的装置，还包括：
控制模块，用于控制所述成像设备和所述事件相机同步获取所述第一视频信息和所述事件信息。
36.根据权利要求33所述的装置，还包括：
确定模块，用于基于所述成像设备的参数和所述事件相机的参数，确定所述视频信息和所述事件信息之间的映射关系。
37.根据权利要求33所述的装置，其中，所述成像设备对应于多个事件相机，所述多个事件相机拼接后形成的视场与所述成像设备的视场相匹配。
38.根据权利要求22所述的装置，还包括：
第二处理模块，用于在所述第一视频信息和所述事件信息对应的视场不同时，对所述第一视频信息和/或所述事件信息进行剪裁、拉伸、拼接、旋转中的至少一种处理。
39.根据权利要求22所述的装置，其中，所述第二视频信息包括慢动作视频信息。
40.根据权利要求22所述的装置，其中，所述第一视频信息包括彩色视频或者灰度视频。
41.根据权利要求22所述的装置，其中，所述亮度信息包括亮度变化信息。
42.根据权利要求41所述的装置，其中，所述亮度变化包括亮度保持不变、亮度变高或者亮度变低。
43.根据权利要求42所述的装置，其中，所述亮度保持不变所对应的亮度变化信息为0，所述亮度变高所对应的亮度变化信息为1，所述亮度变低所对应的亮度变化信息为-1。
44.一种成像系统，包括：
成像设备，用于获得第一视频信息；
事件相机，用于获得事件信息；以及
处理器，用于如下操作：
获得第一视频信息，所述第一视频信息包括多个图像帧；
获得事件信息，所述事件信息包括多个事件点，所述多个事件点中的每个事件点包括坐标信息、时间信息和与所述坐标信息对应的像素点的亮度信息；
基于所述多个事件点，生成多个梯度信息图，所述梯度信息图包括各像素点的梯度信息；
基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像；以及
基于所述多个插帧图像对所述第一视频信息进行插帧，得到第二视频信息，其中，所述第二视频信息的帧率高于所述第一视频信息的帧率。
45.根据权利要求44所述的系统，其中，所述基于所述多个图像帧，处理所述多个梯度信息图，得到多个插帧图像，包括：
获取所述第一视频信息中连续的第一图像帧和第二图像帧；
从所述多个梯度信息图中确定在时间上与所述第一图像帧和所述第二图像帧相匹配的待处理梯度信息图；
基于所述第一图像帧和所述第二图像帧，处理所述待处理梯度信息图，得到要插入到所述第一图像帧和所述第二图像帧之间的插帧图像。
46.根据权利要求45所述的系统，其中，所述处理所述待处理梯度信息图，包括：
通过泊松方程处理所述待处理梯度信息图，得到对应插帧图像。
47.根据权利要求45或46所述的系统，其中，一个待处理梯度信息图对应一个插帧图像。
48.根据权利要求46所述的系统，其中，所述通过泊松方程处理所述待处理梯度信息图，包括：
根据与所述待处理梯度信息图相邻的插帧图像或者图像帧设置所述泊松方程的初始条件。
49.根据权利要求44所述的系统，其中，所述基于所述多个事件点，生成多个梯度信息图，包括：
按照时间顺序，将所述多个事件点划分为多个事件点集合，所述多个事件点集合分别对应不同的时间段；以及
基于所述多个事件点集合，生成所述多个梯度信息图，其中，每个梯度信息图对应一个事件点集合。
50.根据权利要求49所述的系统，其中，所述基于所述多个事件点集合，生成所述多个梯度信息图，包括：
对所述多个事件点集合分别进行梯度处理，生成多个初始梯度信息图；
基于所述第一视频信息和所述事件信息之间的映射关系，对所述多个初始梯度信息图进行映射处理，得到多个映射梯度信息图；
对所述多个映射梯度信息图进行上采样处理，得到所述多个梯度信息图。
51.根据权利要求50所述的系统，其中，所述对所述多个映射梯度信息图进行上采样处理，包括：
通过后向映射方法对所述多个映射梯度信息图进行上采样处理；或者
通过插值方法对所述多个映射梯度信息图进行上采样处理。
52.根据权利要求44所述的系统，其中，所述基于所述多个事件点，生成多个梯度信息图，包括：
对所述多个事件点依次进行第一处理、第二处理和第三处理得到所述多个梯度信息图，其中，所述第一处理包括梯度处理、上采样处理和映射处理中的一个，所述第二处理包括梯度处理、上采样处理和映射处理中的另一个，所述第三处理梯度处理、上采样处理和映射处理中的又一个。
53.根据权利要求44所述的系统，所述处理器还用于：
对所述多个梯度信息图中的至少一个梯度信息图进行滤波处理，其中，所述滤波处理包括保边滤波处理。
54.根据权利要求44所述的系统，其中，所述获得第一视频信息包括通过成像设备获得所述第一视频信息。
55.根据权利要求54所述的系统，其中，所述获得事件信息包括通过事件相机获得所述事件信息。
56.根据权利要求55所述的系统，所述处理器还用于：
控制所述成像设备和所述事件相机同步获取所述第一视频信息和所述事件信息。
57.根据权利要求55所述的系统，所述处理器还用于：
基于所述成像设备的参数和所述事件相机的参数，确定所述视频信息和所述事件信息之间的映射关系。
58.根据权利要求55所述的系统，其中，所述成像设备对应于多个事件相机，所述多个事件相机拼接后形成的视场与所述成像设备的视场相匹配。
59.根据权利要求44所述的系统，所述处理器还用于：
在所述第一视频信息和所述事件信息对应的视场不同时，对所述第一视频信息和/或所述事件信息进行剪裁、拉伸、拼接、旋转中的至少一种处理。
60.根据权利要求44所述的系统，其中，所述第二视频信息包括慢动作视频信息。
61.根据权利要求44所述的系统，其中，所述第一视频信息包括彩色视频或者灰度视频。
62.根据权利要求44所述的系统，其中，所述亮度信息包括亮度变化信息。
63.根据权利要求62所述的系统，其中，所述亮度变化包括亮度保持不变、亮度变高或者亮度变低。
64.根据权利要求63所述的系统，其中，所述亮度保持不变所对应的亮度变化信息为0，所述亮度变高所对应的亮度变化信息为1，所述亮度变低所对应的亮度变化信息为-1。
65.一种计算机系统，包括：
一个或多个处理器；
计算机可读存储介质，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至21中任一项所述的方法。
66.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至21中任一项所述的方法。
67.一种计算机程序产品，包括计算机可读指令，其中，所述计算机可读指令被执行时用于执行根据权利要求1-21中任一项所述的方法。
CN202080005340.7A 2020-06-15 2020-06-15 信息处理方法、装置和成像系统 Pending CN112771843A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/096194 WO2021253186A1 (zh) 2020-06-15 2020-06-15 信息处理方法、装置和成像系统

Publications (1)

Publication Number Publication Date
CN112771843A true CN112771843A (zh) 2021-05-07

Family

ID=75699556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005340.7A Pending CN112771843A (zh) 2020-06-15 2020-06-15 信息处理方法、装置和成像系统

Country Status (2)

Country Link
CN (1) CN112771843A (zh)
WO (1) WO2021253186A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837136A (zh) * 2021-09-29 2021-12-24 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质
CN114245007A (zh) * 2021-12-06 2022-03-25 西北工业大学 一种高帧率视频合成方法、装置、设备和存储介质
CN114979465A (zh) * 2022-04-19 2022-08-30 荣耀终端有限公司 视频处理方法、电子设备及可读介质
CN115617039A (zh) * 2022-09-15 2023-01-17 哈尔滨工程大学 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885112B (zh) * 2022-03-23 2023-06-20 清华大学 基于数据融合的高帧率视频生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162379A1 (en) * 2010-12-27 2012-06-28 3Dmedia Corporation Primary and auxiliary image capture devcies for image processing and related methods
CN108090935A (zh) * 2017-12-19 2018-05-29 清华大学 混合相机系统及其时间标定方法及装置
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10033910B2 (en) * 2016-04-15 2018-07-24 General Electric Company Synchronous sampling methods for infrared cameras
CN108961318B (zh) * 2018-05-04 2020-05-15 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
CN110660088B (zh) * 2018-06-30 2023-08-22 华为技术有限公司 一种图像处理的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162379A1 (en) * 2010-12-27 2012-06-28 3Dmedia Corporation Primary and auxiliary image capture devcies for image processing and related methods
CN108090935A (zh) * 2017-12-19 2018-05-29 清华大学 混合相机系统及其时间标定方法及装置
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837136A (zh) * 2021-09-29 2021-12-24 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质
CN114245007A (zh) * 2021-12-06 2022-03-25 西北工业大学 一种高帧率视频合成方法、装置、设备和存储介质
CN114245007B (zh) * 2021-12-06 2023-09-05 西北工业大学 一种高帧率视频合成方法、装置、设备和存储介质
CN114979465A (zh) * 2022-04-19 2022-08-30 荣耀终端有限公司 视频处理方法、电子设备及可读介质
CN114979465B (zh) * 2022-04-19 2023-06-23 荣耀终端有限公司 视频处理方法、电子设备及可读介质
CN115617039A (zh) * 2022-09-15 2023-01-17 哈尔滨工程大学 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法
CN115617039B (zh) * 2022-09-15 2023-06-13 哈尔滨工程大学 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法

Also Published As

Publication number Publication date
WO2021253186A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN112771843A (zh) 信息处理方法、装置和成像系统
US9591237B2 (en) Automated generation of panning shots
US9979909B2 (en) Automatic lens flare detection and correction for light-field images
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN101742123B (zh) 图像处理设备和方法
KR20200049833A (ko) 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
US10911680B2 (en) Method and system of geolocation and attitude correction for mobile rolling shutter cameras
US20180109711A1 (en) Method and device for overexposed photography
WO2021115136A1 (zh) 视频图像的防抖方法、装置、电子设备和存储介质
US20200372614A1 (en) Image/video deblurring using convolutional neural networks with applications to sfm/slam with blurred images/videos
US11356604B2 (en) Methods and systems for image processing with multiple image sources
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20170269187A1 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
US20150373247A1 (en) Method and apparatus for dynamic range expansion of ldr video sequence
KR20110056098A (ko) Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
JP2017050683A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN110660090A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN114040179B (zh) 一种图像的处理方法及装置
JP2017011327A (ja) 画像処理装置、画像処理方法及びプログラム
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
CN115375536A (zh) 图像处理方法及设备
CN114782659A (zh) 图像处理方法、装置、设备及存储介质
CN115409696A (zh) 图像处理方法、装置、电子设备及存储介质
CN113205011A (zh) 图像掩膜确定方法及装置、存储介质和电子设备
TWI559762B (zh) An image processing apparatus, an image processing method, and a recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210507