CN108182670A - 一种事件图像的分辨率增强方法及系统 - Google Patents
一种事件图像的分辨率增强方法及系统 Download PDFInfo
- Publication number
- CN108182670A CN108182670A CN201810035928.1A CN201810035928A CN108182670A CN 108182670 A CN108182670 A CN 108182670A CN 201810035928 A CN201810035928 A CN 201810035928A CN 108182670 A CN108182670 A CN 108182670A
- Authority
- CN
- China
- Prior art keywords
- event
- flow
- pixel
- image
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000002708 enhancing effect Effects 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 91
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 230000001052 transient effect Effects 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种事件图像的分辨率增强方法及系统。方法包括：S1，将事件图像分为第一类事件流和第二类事件流；S2，对于每一类事件流，根据每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；S3，将第一类事件流的所有像素的目标事件序列与第二类事件流的所有像素的目标事件序列进行合并，以获取对事件图像进行分辨率增强之后的增强事件图像。通过拒绝采样算法采样出每一种极性事件流所对应的增强事件流的每个像素的事件序列，进而实现对低分辨率事件图像的分辨率增强。填补了事件图像分辨率增强领域的空白，并有效地提高了事件图像的分辨率，有利于事件图像的各种应用。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种事件图像的分辨率增强方法及系统。
背景技术
事件相机是一种模拟生物视网膜信息编码方法的器件，其信息输出是以时空事件流的形式输出。图1为事件相机的工作原理示意图，如图1所示，图1(a)示出了事件相机所要记录的一个旋转的圆点的旋转过程，图1(b)示出了事件相机输出的事件流，图1(c)示出了在某一时刻将时空事件累加在一个二维图上的模式显示。
基于硅的事件相机又叫硅视网膜或动态视觉传感器(Dynamic Vision Sensor,DVS)。传统基于帧的相机是以恒定的时间间隔(帧周期)获取光强度信息(灰度或彩色像素值)，不同于传统基于帧的相机，事件相机检测光场中何时和何处发生强度变化。事件相机的数据输出格式以地址事件表示(Address-Event Representation,AER)的事件流形式输出。在AER格式中，事件e表示成一个四元组(x,y,t,p)。每个事件由生成事件的像素的物理地址(x,y)，事件的时间戳(t)和极性(p)组成，表示强度变化是增加的还是减小的，即p∈{-1,1}。事件相机的像素阵列将视觉场景以一种异步且独立的方式产生地址事件输出，减少数据冗余。事件相机具有两个关键生物视觉属性：稀疏性和事件流编码的产出。事件相机已经成功使用，其适用于各种应用：高速机器人目标跟踪、高通量数据采集、高速跟踪和立体视觉。事件相机将视觉信息编码成时空事件流的形式，具有快速、低功耗、低信息冗余和高动态范围的优点，该类型的相机模拟了生物视网膜，具备生物视网膜的优势，可广泛应用于机器人、机器视觉、无人驾驶、快速检测跟踪、三维立体视觉、无人机和安防监控等视觉应用领域。
在很多事件相机的视觉应用中，超分辨率是一个很重要的信息处理步骤。事件相机产生的图像分辨率单一、固定，甚至分辨率较低，导致显示效果模糊不清晰、物体分类识别精度低、场景强度和运动恢复不清晰等缺点。然而现在还没有针对事件图像开发的超分辨率方法。
传统的帧图像的超分辨率包括像素插值方法、基于学习的方法等，一般是从单个低分辨率二维帧图像中产高分辨率的二维帧图像，这种超分辨率方法处理的是二维的三通道彩色图像或单通道灰度图像。而事件图像是一种时空事件流的形式，因而无法直接将传统帧图像的超分辨率重建方法用于这种事件图像。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种事件图像的分辨率增强方法及系统。
根据本发明的一个方面，提供一种事件图像的分辨率增强方法，包括：
S1，根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；
S2，对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；
S3，将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；
其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
优选地，步骤S2具体包括：
S21，对于每一类事件流，获取事件数量分布矩阵和发放率函数集合；
S22，对所述事件数量分布矩阵进行像素增强，生成目标事件数量分布矩阵，对所述发放率函数集合中的所有函数进行滤波，生成目标发放率函数集合；
S23，根据所述目标事件数量分布矩阵和所述目标发放率函数集合，基于拒绝采样算法，获取每一像素的目标事件序列。
优选地，步骤S21具体包括：
对于所述每一类事件流，根据每一像素产生的事件数量，获取所述事件数量分布矩阵；
对于每一像素，获取所述每一像素的事件序列的时间轴，将所述时间轴划分为多个间隔，通过对每个间隔中的事件数量进行归一化，获取所述每一像素的发放率函数；
将所有像素的发放率函数作为所述发放率函数集合。
优选地，步骤S22中所述对所述事件数量分布矩阵进行像素增强，具体包括：
根据帧图像的插值算法，对所述事件数量分布矩阵进行像素增强；或者，
根据帧图像像素增强算法，对所述事件数量分布矩阵进行像素增强。
优选地，步骤S22中所述对所述发放率函数集合中的所有函数进行滤波，具体包括：
通过时空三维的滤波器，对所述发放率函数集合中的所有函数进行时空滤波；或者，
通过空间两维的滤波器，对所述发放率函数集合中的所有函数进行时空滤波；或者，
通过插值算法，对所述发放率函数集合中的所有函数进行时空滤波。
优选地，步骤S23具体包括：
S231，根据所述目标事件数量分布矩阵，获取每一像素的事件数量；根据所述目标发放率函数集合，获取所述每一像素的目标发放率函数；
S232，在所述每一像素的事件序列的时间轴内，通过平均随机采样算法采样得到多个时间点，将所述多个时间点对应的所有事件作为待采样事件集合；
S233，对于所述待采样事件集合中的每一个待采样事件，将所述待采样事件的目标发放率函数值与随机数进行比对；若所述目标发放率函数值大于所述随机数，则保留所述待采样事件，直至保留的待采样事件的个数与所述每一像素的事件数量相等；
S234，将所有保留的待采样事件作为所述每一像素的目标事件序列。
根据本发明的另一个方面，提供一种事件图像的分辨率增强系统，包括：
分类模块，用于根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；
目标事件序列获取模块，用于对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；
增强事件图像获取模块，用于将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；
其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
根据本发明的再一个方面，提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
根据本发明的又一个方面，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的方法。
根据本发明的还一个方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
本发明提供的一种事件图像的分辨率增强方法及系统，通过拒绝采样算法采样出每一种极性事件流所对应的增强事件流的每个像素的事件序列，并将所有极性事件流所对应的增强事件流的所有像素的事件序列进行合并，以生成对事件图像的分辨率增强后的增强事件图像，实现了对低分辨率事件图像的分辨率增强。该方法填补了事件图像分辨率增强领域的空白，并有效地提高了事件图像的分辨率，有利于事件图像的各种应用。
附图说明
图1为事件相机的工作原理示意图；
图2为根据本发明实施例提供的一种事件图像的分辨率增强方法的流程图；
图3为根据本发明实施例提供的一种事件图像的分辨率增强系统的结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了更好地说明本发明的方案，以下先对事件相机进行介绍：
事件相机是一种模拟生物视网膜信息编码方法的器件，其信息输出是以时空事件流的形式进行输出，事件相机检测光场中何时和何处发生强度变化，其数据输出格式为以地址事件表示(Address-Event Representation,AER)的事件流形式。在AER格式中，事件e表示成一个四元组(x,y,t,p)。每个事件由生成事件的像素的物理地址(x,y)，事件的时间戳(t)和极性(p)组成，表示强度变化是增加的还是减小的，即p∈{-1,1}。
事件相机输出的事件图像分辨率较为单一和固定，甚至分辨率较低，导致显示效果模糊不清晰、物体分类识别精度低、场景强度和运动恢复不清晰等问题。在很多事件相机的视觉应用中，超分辨率是一个很重要的信息处理步骤，然而现在还没有针对事件图像开发的超分辨率方法。
传统的帧图像的超分辨率包括像素插值方法、基于学习的方法等，一般是从单个低分辨率二维帧图像中产高分辨率的二维帧图像。这种超分辨率方法处理的是二维的三通道彩色图像或单通道灰度图像。而事件图像是一种时空事件流的形式，因而无法直接将传统帧图像的超分辨率重建方法用于这种事件图像。
本发明的方法，可以提高图像的识别能力和识别精度，在军事，医学，公共安全等方面都存在着重要的应用前景，提高事件图像的显示效果、提高物体分类识别的精度、恢复高清的场景强度和运动恢复以及高度物体跟踪、三维视觉重建等。
图2为根据本发明实施例提供的一种事件图像的分辨率增强方法的流程图，如图2所示，该方法包括：
S1，根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；
S2，对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；
S3，将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；
其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
事件相机的输出是一系列低质量、低分辨率的事件图像，本实施例通过对低质量、低分辨率的事件图像的分辨率进行增强，从而重建出高质量、高分辨率事件图像。
具体地，本实施例的步骤S1的作用为：根据事件极性，将事件图像分为两部分，第一部分为正极性事件流，第二部分为负极性事件流。需要说明的是，事件图像中包含多个事件，这多个事件的极性有正有负，不可能存在全为正极性事件或全为负极性事件的情况。而在本实施例中，对事件图像进行基于事件极性的分类必不可少，若不对事件图像进行分类，而直接对事件图像执行步骤S2和S3，则获取不到增强事件图像，也即无法对事件图像进行分辨率增强。
对每一部分执行步骤S2的过程后，将两部分的结果进行合并，从而生成增强事件图像。其中，增强事件图像为对事件图像进行分辨率增强之后生成的高质量、高分辨率事件图像。
本实施例提供的方法，通过拒绝采样算法采样出每一种极性事件流所对应的增强事件流的每个像素的事件序列，并将所有极性事件流所对应的增强事件流的所有像素的事件序列进行合并，以生成对事件图像的分辨率增强后的增强事件图像，实现了对低分辨率事件图像的分辨率增强。该方法填补了事件图像分辨率增强领域的空白，并有效地提高了事件图像的分辨率，有利于事件图像的各种应用。
基于上述实施例，本实施例对步骤S2进行具体说明。步骤S2具体包括：
S21，对于每一类事件流，获取事件数量分布矩阵和发放率函数集合；
S22，对所述事件数量分布矩阵进行像素增强，生成目标事件数量分布矩阵，对所述发放率函数集合中的所有函数进行滤波，生成目标发放率函数集合；
S23，根据所述目标事件数量分布矩阵和所述目标发放率函数集合，基于拒绝采样算法，获取每一像素的目标事件序列；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
需要说明的是，正极性事件流和负极性事件流均执行步骤S21至步骤S23的过程。
其中，事件数量分布矩阵中的每一元素代表对应像素的事件数量；发放率函数集合中的每一函数代表每一像素的事件序列的动态时序过程，发放率函数将无序的事件序列的时序过程表示成一个连续或离散的函数。
需要说明的是，在步骤S22之后，还可以通过平滑滤波器对目标发放率函数集合中的所有函数进行平滑滤波，平滑滤波器可以是任意长度的滤波器，也可以是高斯滤波器。
本实施例提供的方法，通过获取每一种极性的事件流的每一像素的目标事件序列，为后续步骤中获取对事件图像进行分辨率增强后的增强事件图像提供了基础。
基于上述实施例，本实施例对上述实施例中的步骤S21进行说明，步骤S21具体包括：
对于所述每一类事件流，根据每一像素产生的事件数量，获取所述事件数量分布矩阵；
对于每一像素，获取所述每一像素的事件序列的时间轴，将所述时间轴划分为多个间隔，通过对每个间隔中的事件数量进行归一化，获取所述每一像素的发放率函数；
将所有像素的发放率函数作为所述发放率函数集合。
具体地，对于每一像素，将该像素的事件序列的时间轴分割成一系列连续不重叠的间隔，计算每个间隔中的事件数，并在所有的事件数中，获取最大事件数。将每个间隔中的事件数除以最大事件数以归一化后，生成该像素的发放率函数。
基于上述实施例，本实施例对上述实施例中的步骤S22进行说明，步骤S22中所述对所述事件数量分布矩阵进行像素增强具体包括：
根据帧图像的插值算法，对所述事件数量分布矩阵进行像素增强；或者，
根据帧图像像素增强算法，对所述事件数量分布矩阵进行像素增强。
具体地，帧图像的插值方法可以是最近邻插值、bilinear插值和bicubic插值；帧图像像素增强方法可以是机器学习的帧图像像素增强方法，如稀疏编码表示的方法等，也可以是基于卷积神经网络的帧图像像素增强方法，还可以是生成对抗模型的像素增强方法。
基于上述实施例，本实施例对上述实施例中的步骤S22进行具体说明，步骤S22中所述对所述发放率函数集合中的所有函数进行滤波，具体包括：
通过时空三维的滤波器，对所述发放率函数集合中的所有函数进行时空滤波；或者，
通过空间两维的滤波器，对所述发放率函数集合中的所有函数进行时空滤波；或者，
通过插值算法，对所述发放率函数集合中的所有函数进行时空滤波。
具体地，插值算法可以是最近邻插值、bilinear插值和bicubic插值。
基于上述实施例，本实施例对步骤S23进行具体说明，步骤S23具体包括：
S231，根据所述目标事件数量分布矩阵，获取每一像素的事件数量；根据所述目标发放率函数集合，获取所述每一像素的目标发放率函数；
S232，在所述每一像素的事件序列的时间轴内，通过平均随机采样算法采样得到多个时间点，将所述多个时间点对应的所有事件作为待采样事件集合；
S233，对于所述待采样事件集合中的每一个待采样事件，将所述待采样事件的目标发放率函数值与随机数进行比对；若所述目标发放率函数值大于所述随机数，则保留所述待采样事件，直至保留的待采样事件的个数与所述每一像素的事件数量相等；
S234，将所有保留的待采样事件作为所述每一像素的目标事件序列。
具体地，对采样过程进行具体说明，以下采样过程针对于任一像素。
对于任一像素，获取该像素的事件序列的时间轴即时间范围为(0,T]，事件数量为Nij，发放率函数为λ(t)。
步骤1、令j＝0；
步骤2、在时间范围(0,T]内，通过平均随机采样，得到多于Nij的时间点个数，将每一时间点对应的事件作为待采样的事件其中，0≤i≤N*；
步骤3、当i≤N*时：
1)产生一个随机数Ui；
2)如果则令j＝j+1；
3)如果j＞Nij，结束；否则，令i＝i+1，重复执行步骤3；
步骤4、如果j≤Nij,则返回步骤2，否则算法结束；
步骤5、将所有的Sj作为该像素的目标事件序列。
其中，随机数Ui符合任意分布，可以是大于1的随机数，也可以是小于1的随机数。
图3为根据本发明实施例提供的一种事件图像的分辨率增强系统的结构图，如图3所示，该系统包括：
分类模块，用于根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；
目标事件序列获取模块，用于对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；
增强事件图像获取模块，用于将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；
其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
需要说明的是，需要说明的是，上述分类模块、目标事件序列获取模块和增强事件图像获取模块配合以执行上述实施例中的一种事件图像的分辨率增强方法，该系统的具体功能参见上述的提取方法的实施例，此处不再赘述。
本实施例提供的系统，通过拒绝采样算法采样出每一种极性事件流所对应的增强事件流的每个像素的事件序列，并将所有极性事件流所对应的增强事件流的所有像素的事件序列进行合并，以生成对事件图像的分辨率增强后的增强事件图像，实现了对低分辨率事件图像的分辨率增强。该系统填补了事件图像分辨率增强领域的空白，并有效地提高了事件图像的分辨率，有利于事件图像的各种应用。
该方法及系统具有很高的应用价值：
1.通过重建处高分辨率事件图像，提高图像识别方法的精度。低分辨率的事件图像中物体的纹理和边缘模糊，不利于分类识别，通过超分辨率重建，可以增加纹理和边缘的细节，显著提高物体分类和识别的精度。
2.增强显示效果，低分辨率的事件图像在显示设备，如屏幕、网页等较为模糊，不能分辨纹理和边缘的细节，甚至不能分辨出其中的物体，通过本发明的方法，可以显著提高事件图像的纹理细节，使显示更加清晰。
3.改善场景强度和运动恢复的细节，事件相机提供了一种快速的视觉信息获取的方法，通过事件图像中的高速事件可以利用强度回复算法恢复处视觉场景的灰度和强度信息，然而低分辨率的事件图像具有模糊的缺陷，使得恢复出的场景不够清晰，利用本发明的方法对事件图像进行超分辨率重建，可以显著提升场景强度和运动恢复的细节。
4.改善高速跟踪的效果，事件相机以一种快速的方式拍摄场景的运动物体，但是低分辨率的事件图像并不清晰，通过本发明的方法，可以显著提升运动物体的纹理细节，改善跟踪算法的性能。
5.立体视觉。这种事件相机用于立体视觉，重建三维的视觉场景，但是低分辨率的事件图像较为模糊，本发明的方法通过分辨率增强，提升事件图像的纹理细节，使得三维重建的立体视觉更加清晰。
本发明实施例提供一种事件图像的分辨率增强设备，该设备包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种事件图像的分辨率增强方法，其特征在于，包括：
S1，根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；
S2，对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；
S3，将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；
其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
2.根据权利要求1所述的方法，其特征在于，步骤S2具体包括：
S21，对于每一类事件流，获取事件数量分布矩阵和发放率函数集合；
S22，对所述事件数量分布矩阵进行像素增强，生成目标事件数量分布矩阵，对所述发放率函数集合中的所有函数进行滤波，生成目标发放率函数集合；
S23，根据所述目标事件数量分布矩阵和所述目标发放率函数集合，基于拒绝采样算法，获取每一像素的目标事件序列。
3.根据权利要求2所述的方法，其特征在于，步骤S21具体包括：
对于所述每一类事件流，根据每一像素产生的事件数量，获取所述事件数量分布矩阵；
对于每一像素，获取所述每一像素的事件序列的时间轴，将所述时间轴划分为多个间隔，通过对每个间隔中的事件数量进行归一化，获取所述每一像素的发放率函数；
将所有像素的发放率函数作为所述发放率函数集合。
4.根据权利要求2所述的方法，其特征在于，步骤S22中所述对所述事件数量分布矩阵进行像素增强，具体包括：
根据帧图像的插值算法，对所述事件数量分布矩阵进行像素增强；或者，
根据帧图像像素增强算法，对所述事件数量分布矩阵进行像素增强。
5.根据权利要求2所述的方法，其特征在于，步骤S22中所述对所述发放率函数集合中的所有函数进行滤波，具体包括：
通过时空三维的滤波器，对所述发放率函数集合中的所有函数进行时空滤波；或者，
通过空间两维的滤波器，对所述发放率函数集合中的所有函数进行时空滤波；或者，
通过插值算法，对所述发放率函数集合中的所有函数进行时空滤波。
6.根据权利要求2所述的方法，其特征在于，步骤S23具体包括：
S231，根据所述目标事件数量分布矩阵，获取每一像素的事件数量；根据所述目标发放率函数集合，获取所述每一像素的目标发放率函数；
S232，在所述每一像素的事件序列的时间轴内，通过平均随机采样算法采样得到多个时间点，将所述多个时间点对应的所有事件作为待采样事件集合；
S233，对于所述待采样事件集合中的每一个待采样事件，将所述待采样事件的目标发放率函数值与随机数进行比对；若所述目标发放率函数值大于所述随机数，则保留所述待采样事件，直至保留的待采样事件的个数与所述每一像素的事件数量相等；
S234，将所有保留的待采样事件作为所述每一像素的目标事件序列。
7.一种事件图像的分辨率增强系统，其特征在于，包括：
分类模块，用于根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；
目标事件序列获取模块，用于对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；
增强事件图像获取模块，用于将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；
其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；
所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；
所述发放率函数集合中函数的数量与对应类别的事件流的像素的数量相等，每一函数表示对应的像素的事件序列的时序过程。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810035928.1A CN108182670B (zh) | 2018-01-15 | 2018-01-15 | 一种事件图像的分辨率增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810035928.1A CN108182670B (zh) | 2018-01-15 | 2018-01-15 | 一种事件图像的分辨率增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108182670A true CN108182670A (zh) | 2018-06-19 |
| CN108182670B CN108182670B (zh) | 2020-11-10 |
Family
ID=62550656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810035928.1A Active CN108182670B (zh) | 2018-01-15 | 2018-01-15 | 一种事件图像的分辨率增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108182670B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109922372A (zh) * | 2019-02-26 | 2019-06-21 | 深圳市商汤科技有限公司 | 视频数据处理方法及装置、电子设备和存储介质 |
| CN110148159A (zh) * | 2019-05-20 | 2019-08-20 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
| CN110399908A (zh) * | 2019-07-04 | 2019-11-01 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
| CN110428477A (zh) * | 2019-06-24 | 2019-11-08 | 武汉大学 | 一种不受速度影响的事件相机的成图方法 |
| CN111462268A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| CN111582300A (zh) * | 2020-03-20 | 2020-08-25 | 北京航空航天大学 | 一种基于事件相机的高动态目标检测方法 |
| CN111669514A (zh) * | 2020-06-08 | 2020-09-15 | 北京大学 | 高动态范围成像方法和装置 |
| CN111667442A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
| CN111695681A (zh) * | 2020-06-16 | 2020-09-22 | 清华大学 | 一种高分辨率动态视觉观测方法及装置 |
| CN111798370A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 基于流形约束的事件相机图像重建方法及系统 |
| CN111798395A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 基于tv约束的事件相机图像重建方法及系统 |
| CN113506319A (zh) * | 2021-07-15 | 2021-10-15 | 清华大学 | 图像处理方法及装置、电子设备和存储介质 |
| CN113740235A (zh) * | 2021-09-02 | 2021-12-03 | 清华大学 | 神经形态计算驱动的图像流式细胞仪 |
| CN114301905A (zh) * | 2020-09-23 | 2022-04-08 | 华为技术有限公司 | 一种分辨率转换的方法和装置 |
| CN114926514A (zh) * | 2022-05-13 | 2022-08-19 | 北京交通大学 | 一种事件图像与rgb图像的配准方法及装置 |
| CN114723009B (zh) * | 2022-04-12 | 2023-04-25 | 重庆大学 | 一种基于异步事件流的数据表示方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093273A1 (en) * | 2014-09-30 | 2016-03-31 | Samsung Electronics Co., Ltd. | Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data |
| CN106254722A (zh) * | 2016-07-15 | 2016-12-21 | 北京邮电大学 | 一种视频超分辨率重建方法和装置 |
| CN107147856A (zh) * | 2017-03-30 | 2017-09-08 | 深圳大学 | 一种像素单元及其去噪方法、动态视觉传感器、成像装置 |
| CN107220942A (zh) * | 2016-03-22 | 2017-09-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
| CN107563984A (zh) * | 2017-10-30 | 2018-01-09 | 清华大学深圳研究生院 | 一种图像增强方法和计算机可读存储介质 |
-
2018
- 2018-01-15 CN CN201810035928.1A patent/CN108182670B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093273A1 (en) * | 2014-09-30 | 2016-03-31 | Samsung Electronics Co., Ltd. | Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data |
| CN107220942A (zh) * | 2016-03-22 | 2017-09-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
| CN106254722A (zh) * | 2016-07-15 | 2016-12-21 | 北京邮电大学 | 一种视频超分辨率重建方法和装置 |
| CN107147856A (zh) * | 2017-03-30 | 2017-09-08 | 深圳大学 | 一种像素单元及其去噪方法、动态视觉传感器、成像装置 |
| CN107563984A (zh) * | 2017-10-30 | 2018-01-09 | 清华大学深圳研究生院 | 一种图像增强方法和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 苏衡: "超分辨率图像重建方法综述", 《自动化学报》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109922372A (zh) * | 2019-02-26 | 2019-06-21 | 深圳市商汤科技有限公司 | 视频数据处理方法及装置、电子设备和存储介质 |
| CN109922372B (zh) * | 2019-02-26 | 2021-10-12 | 深圳市商汤科技有限公司 | 视频数据处理方法及装置、电子设备和存储介质 |
| CN110148159A (zh) * | 2019-05-20 | 2019-08-20 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
| CN110428477A (zh) * | 2019-06-24 | 2019-11-08 | 武汉大学 | 一种不受速度影响的事件相机的成图方法 |
| CN110428477B (zh) * | 2019-06-24 | 2021-11-02 | 武汉大学 | 一种不受速度影响的事件相机的成图方法 |
| CN110399908B (zh) * | 2019-07-04 | 2021-06-08 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
| CN110399908A (zh) * | 2019-07-04 | 2019-11-01 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
| CN111582300A (zh) * | 2020-03-20 | 2020-08-25 | 北京航空航天大学 | 一种基于事件相机的高动态目标检测方法 |
| CN111462268A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| CN111462268B (zh) * | 2020-03-31 | 2022-11-11 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| CN111667442A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
| CN111669514A (zh) * | 2020-06-08 | 2020-09-15 | 北京大学 | 高动态范围成像方法和装置 |
| CN111669514B (zh) * | 2020-06-08 | 2021-02-26 | 北京大学 | 高动态范围成像方法和装置 |
| CN111695681A (zh) * | 2020-06-16 | 2020-09-22 | 清华大学 | 一种高分辨率动态视觉观测方法及装置 |
| CN111695681B (zh) * | 2020-06-16 | 2022-10-11 | 清华大学 | 一种高分辨率动态视觉观测方法及装置 |
| CN111798370A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 基于流形约束的事件相机图像重建方法及系统 |
| CN111798395B (zh) * | 2020-06-30 | 2022-08-30 | 武汉大学 | 基于tv约束的事件相机图像重建方法及系统 |
| CN111798395A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 基于tv约束的事件相机图像重建方法及系统 |
| CN111798370B (zh) * | 2020-06-30 | 2023-11-28 | 武汉大学 | 基于流形约束的事件相机图像重建方法及系统 |
| CN114301905A (zh) * | 2020-09-23 | 2022-04-08 | 华为技术有限公司 | 一种分辨率转换的方法和装置 |
| CN114301905B (zh) * | 2020-09-23 | 2023-04-04 | 华为技术有限公司 | 一种分辨率转换的方法和装置 |
| CN113506319A (zh) * | 2021-07-15 | 2021-10-15 | 清华大学 | 图像处理方法及装置、电子设备和存储介质 |
| CN113506319B (zh) * | 2021-07-15 | 2024-04-26 | 清华大学 | 图像处理方法及装置、电子设备和存储介质 |
| CN113740235A (zh) * | 2021-09-02 | 2021-12-03 | 清华大学 | 神经形态计算驱动的图像流式细胞仪 |
| CN114723009B (zh) * | 2022-04-12 | 2023-04-25 | 重庆大学 | 一种基于异步事件流的数据表示方法及系统 |
| CN114926514A (zh) * | 2022-05-13 | 2022-08-19 | 北京交通大学 | 一种事件图像与rgb图像的配准方法及装置 |
| CN114926514B (zh) * | 2022-05-13 | 2023-02-03 | 北京交通大学 | 一种事件图像与rgb图像的配准方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108182670B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108182670A (zh) | 一种事件图像的分辨率增强方法及系统 | |
| CN108090403A (zh) | 一种基于3d卷积神经网络的人脸动态识别方法及系统 | |
| CN109819321A (zh) | 一种视频超分辨率增强方法 | |
| CN111275696A (zh) | 一种医学图像处理的方法、图像处理的方法及装置 | |
| US11853892B2 (en) | Learning to segment via cut-and-paste | |
| CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
| Xiao et al. | A dual-UNet with multistage details injection for hyperspectral image fusion | |
| Kwasniewska et al. | Super-resolved thermal imagery for high-accuracy facial areas detection and analysis | |
| Zhang et al. | Infrared thermal imaging super-resolution via multiscale spatio-temporal feature fusion network | |
| CN111797702A (zh) | 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 | |
| Xiang et al. | Learning super-resolution reconstruction for high temporal resolution spike stream | |
| CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN115424209A (zh) | 一种基于空间金字塔注意力网络的人群计数方法 | |
| Muqeet et al. | Hybrid residual attention network for single image super resolution | |
| Liu et al. | Low-quality license plate character recognition based on CNN | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
| Park et al. | Down-scaling with learned kernels in multi-scale deep neural networks for non-uniform single image deblurring | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| Zhang et al. | Learning temporal-ordered representation for spike streams based on discrete wavelet transforms | |
| Zhou et al. | Deep fractal residual network for fast and accurate single image super resolution | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| CN116485646A (zh) | 一种基于微注意力的轻量化图像超分辨率重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |