CN113724142A - 图像复原系统及方法 - Google Patents
图像复原系统及方法 Download PDFInfo
- Publication number
- CN113724142A CN113724142A CN202010457578.5A CN202010457578A CN113724142A CN 113724142 A CN113724142 A CN 113724142A CN 202010457578 A CN202010457578 A CN 202010457578A CN 113724142 A CN113724142 A CN 113724142A
- Authority
- CN
- China
- Prior art keywords
- image
- light intensity
- event signal
- signal
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000009467 reduction Effects 0.000 claims abstract description 88
- 238000003384 imaging method Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 19
- 238000004088 simulation Methods 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 1
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像复原系统及方法，该方法包括：成像单元，用于获取目标场景的图像信号和事件信号；事件信号处理单元，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；图像复原单元，用于基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像。该方法可以优化图像复原的效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像复原系统及方法。
背景技术
摄像机在夜晚、或者光照不足的环境下，捕获的可见光图像噪声过大，监控画面效果不佳；此外，拍摄运动物体时还会存在图像模糊的问题。
对于低照度导致的噪声问题，传统降噪算法无法很好去除40dB以上的噪声，针对大噪声，业内常见方案包括白光爆闪提高场景亮度，多帧可见光图像融合，以及红外与可见光融合。然而白光爆闪光污染严重；多帧融合不适用于存在运动物体的场景；红外可见光融合则有较大色偏，且无法解决由短曝光引起的图像噪声。
对于运动模糊问题，一般都是通过估计运动轨迹再反卷积的方法，但这不光计算复杂度高，且对噪声非常敏感，运动估计误差较大。此外，对于局部运动模糊，需要估计每个点的模糊核，这无疑会导致问题更加困难。
发明内容
有鉴于此，本申请提供一种图像复原系统及方法。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种图像复原系统，包括：
成像单元，用于获取目标场景的图像信号和事件信号；所述事件信号为与所述图像信号的获取时间关联的事件信号序列；
事件信号处理单元，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
图像复原单元，用于基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像。
根据本申请实施例的第二方面，提供一种图像复原方法，包括：
获取目标场景的图像信号和事件信号；所述事件信号为与所述图像信号的获取时间关联的事件信号序列；
对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
基于处理后的事件信号，对所述图像信号进对应的光强图像行复原，以得到清晰度高于所述光强图像的复原图像。
本申请实施例的图像复原方法，通过成像单元获取目标场景的图像信号和事件信号，并通过事件信号处理单元对事件信号进行同步和降噪处理，以得到处理后的事件信号；进而，通过图像复原单元基于处理后的事件信号，对图像信号对应的光强图像进行复原，以得到清晰度高于该光强图像的复原图像，优化了图像复原的效果。
附图说明
图1是本申请一示例性实施例示出的一种图像复原系统的结构示意图；
图2A是本申请又一示例性实施例示出的另一种图像复原系统的结构示意图；
图2B是本申请又一示例性实施例示出的另一种图像复原系统的结构示意图；
图3是本申请又一示例性实施例示出的另一种图像复原系统的结构示意图；
图4是本申请又一示例性实施例示出的另一种图像复原系统的结构示意图；
图5A是本申请一示例性实施例示出的一种图像复原系统的示意图；
图5B是本申请又一示例性实施例示出的另一种图像复原系统的示意图；
图5C是本申请一示例性实施例示出的一种事件信号处理单元的示意图；
图5D是本申请一示例性实施例示出的一种图像复原单元的示意图；
图5E是本申请一示例性实施例示出的一种预处理模块的示意图；
图5F是本申请一示例性实施例示出的事件信号重构的示意图；
图5G是本申请一示例性实施例示出一种使用神经网络降噪的示意图；
图5H是本申请一示例性实施例示出一种使用传统算法联合降噪的示意图；
图6是本申请一示例性实施例示出的一种图像复原方法用于图像去模糊的示意图；
图7是本申请一示例性实施例示出的一种图像复原方法的流程示意图；
图8是本申请又一示例性实施例示出的另一种图像复原方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种图像复原系统的结构示意图，如图1所示，该图像复原系统可以包括：
成像单元110，用于获取目标场景的图像信号和事件信号；该事件信号为与该图像信号的获取时间关联的事件信号序列；
事件信号处理单元120，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
图像复原单元130，用于基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像。
本申请实施例中，为了提高图像质量，可以通过成像单元110获取同一场景的事件信号和图像信号，并基于事件信号对图像信号进行复原，得到清晰图像，以便在保证图像细节的前提下实现图像复原，如降噪或去模糊等。
本申请实施例中，目标场景并不特指某一固定的场景，而是可以指代任一采用本申请实施例提供的技术方案进行图像复原处理的监控前端的监控场景，本申请实施例后续不再复述。
示例性的，为了降低图像信号与事件信号之间的获取时间差，并降低事件信号噪声，当获取单元110获取到目标场景的图像信号和事件信号时，事件信号处理单元120可以分别对获取到的事件信号进行同步和降噪处理，以得到处理后的事件信号，图像复原单元130可以基于处理后的事件信号，对图像信号对应的光强图像进行复原，以提高图像质量。
举例来说，假设图像曝光开始时间为T0，曝光时长为Te，则对于分时成像场景，对T0时刻获取的图像信号对应的光强图像，可以选取时间戳t∈[T0+Te,T0+2Te]或[T0-Te,T0]内的事件信号用于进行图像复原；对于非分时成像场景，可以选取时间戳t∈[T0,T0+Te]内的事件信号用于进行图像复原。
在一个示例中，如图2A所示，成像单元110可以包括混合成像模块111，用于分别获取目标场景的图像信号和事件信号。
示例性的，可以通过混合成像模块111获取目标场景的图像信号和事件信号，混合成像模块111可以输出针对目标场景的每一个像素的光强信号(对应图像信号)和事件信号。
在另一个示例中，如图2B所示，成像单元110包括常规成像模块112和动态视觉模块113；
常规成像模块112，用于获取目标场景的图像信号；
动态视觉模块113，用于获取目标场景的事件信号
示例性的，可以分别通过常规成像模块112和动态视觉模块113获取目标场景的图像信号和事件信号，常规成像模块112获取包含场景亮度色彩信息的图像信号；动态视觉模块113获取同一场景中运动区域的事件信号。
在一个示例中，如图3所示，图像处理系统还可以包括：图像配准单元140。
图像配准单元140，用于对处理后的事件信号和所述图像信号进行图像配准，以消除所述处理后的事件信号和所述图像信号在成像内容空间上的错位；
图像复原单元130，具体用于基于图像配准后的事件信号，对图像配准后的图像信号对应的光强图像进行图像复原。
示例性的，为了消除图像信号和事件信号在成像内容空间上的错位，使图像信号和事件信号在每个像素位置上尽量能够内容对应，可以通过图像配准单元140对成像单元110获取的目标场景的图像信号和事件信号进行图像配准。
例如，可以通过图像配准单元140对常规成像模块112获取的图像信号和动态视觉模块113获取的事件信号进行图像配准，以消除常规成像模块112和动态视觉模块113在成像内容空间上的错位，使常规成像模块112和动态视觉模块113在每个像素位置上尽量能够内容对应。
作为一种可能的实施例，如图4所示，图像复原单元130包括重构模块131、信息融合模块132以及联合复原模块133；
重构模块131，用于对处理后的事件信号进行重构，以得到重构图像；所述重构图像包括事件图像或重建边缘图像；
信息融合模块132，用于基于重构图像以及光强图像，进行信息融合，以得到融合后的图像；
联合复原模块133，用于基于融合后的图像，对该光强图像进行复原。
示例性的，图像复原处理可以包括预处理和复原处理两个过程，预处理过程用于对事件信号进行重构，让事件信号变为与光强图像相同分辨率的图像，并进行信息融合，以实现降噪，进而，优化图像复原效果。
在一个示例中，重构图像为事件图像；
重构模块131，具体用于以各像素位置的事件信号的极性作为像素值，将各像素位置的像素值进行累积，以得到所述事件信号对应的事件图像；
信息融合模块132，具体用于对光强图像进行位移差分，以得到仿真事件图像；对仿真事件图像与所述事件图像进行信息融合。
示例性的，事件信号处理单元120对事件信号进行同步和降噪处理后，一方面，重构模块131可以将处理后的事件信号重构为事件图像，其具体实现可以在下文中结合实例进行说明。
另一方面，信息融合模块132可以通过对光强图像进行位移差分的方式，得到仿真事件图像，其具体实现可以在下文中结合实例进行说明。
进而，联合复原模块133可以对上述仿真事件图像与事件图像进行信息融合，得到融合后的图像。
在另一个示例中，重构图像为重建边缘图像；
重构模块131，具体用于对于任一事件信号的极性非零的像素位置，确定该像素位置的运动方向，基于该像素位置的事件信号的极性，以及目标像素位置的极性，确定该像素位置的像素值，以得到所述事件信号对应的重建边缘图像；所述目标像素位置为在该像素位置的运动方向上，与该像素位置相距a个像素的像素位置；
信息融合模块132，具体用于对光强图像进行低通滤波，并对低通滤波后的图像进行边缘提取，以得到边缘图像；对边缘图像与重建边缘图像行信息融合。
示例性的，事件信号处理单元120对事件信号进行同步和降噪处理后，一方面，重构模块131可以将处理后的事件信号重构为边缘图像(本文中称为重建边缘图像)，其具体实现可以在下文中结合实例进行说明。
另一方面，信息融合模块132可以对光强图像进行低通滤波，对低通滤波后的光强图像提取边缘，并将低于阈值的边缘去掉，以保留强边缘，得到边缘图像，其具体实现可以在下文中结合实例进行说明。
进而，联合复原模块133可以对上述边缘图像与重建边缘图像进行信息融合，得到融合后的图像。
在一个示例中，联合复原模块133，具体用于将融合后的图像以及光强图像输入预先训练的降噪神经网络，以得到降噪后的光强图像。
示例性的，可以通过降噪神经网络实现图像降噪，优化图像质量。
当信息融合模块132得到融合后的图像时，联合复原模块133可以将融合后的图像以及成像单元110获取的图像信号对应的光强图像输入预先训练的降噪神经网络，以得到降噪后的光强图像(即复原图像)。
示例性的，降噪网络预先进行训练，训练输入为带噪可见光图像，以及与该带噪可见光图像对应的事件图像、边缘图像或按照上述方式得到的融合图像，真值为无噪可见光图像，最终输出降噪后的可见光图像。
在另一个示例中，联合复原模块133，具体用于基于融合后的图像，利用预设降噪算法，对光强图像进行降噪处理。
示例性的，可以采用降噪算法实现图像降噪，优化图像质量。
示例性的，降噪算法可以包括但不限于非局部均值算法(NLM)、小波降噪算法或双边滤波等。
当信息融合模块132得到融合后的图像时，可以将该融合图像作为降噪强度分布图，对成像单元110获取到的图像信号对应的光强图像进行降噪，以得到降噪后的光强图像(即复原图像)。
作为一种可能的实施例，图像复原单元130，具体用于基于处理后的事件信号，确定光强图像中的运动区域和静止区域；对运动区域的光强图像进行空域降噪，以及对静止区域的光强图像进行时域降噪。
示例性的，为了优化图像质量，可以基于事件信号，确定光强图像中的运动区域和静止区域，并分别对运动区域的光强图像采用空域降噪，以及对静止区域的光强图像采用时域降噪的方式进行降噪处理，得到降噪后的光强图像(即复原图像)。
示例性的，空域降噪即为上述实施例中描述的利用事件信号，对对应的光强图像进行降噪。
时域降噪是指：对于第t帧图像中某一像素位置处的像素xt，按照以下策略进行降噪处理：
其中，α为[0,1]间的加权系数，这里为1/16，
为第t-1帧图像中相同位置的像素经过时域降噪后的结果。
作为一种可能的实施例，图像复原单元130，具体用于基于处理后的事件信号，确定各像素位置的各事件信号的权重；基于各像素位置的各事件信号的权重，对光强图像进行去模糊处理。
示例性的，图像复原处理还可以包括图像去模糊处理。
当事件信号处理单元120对事件信号进行同步和降噪处理后，图像复原单元130可以基于处理后的事件信号，分别确定各像素位置的各事件信号的权重。
例如，对于同一像素位置的事件信号(x，y，ti，pi)，i∈[0，Nx，y]，ti∈[T0，T0+Te]，可以通过以下公式确定该像素位置的各事件信号的权重：
wi＝(ti+1-ti)/Te
其中，Nx,y为(x，y)处的事件信号个数，T0为图像曝光开始时间，Te为曝光时长；C为动态视觉传感器的事件触发阈值，即当光强对数变化超过C时产生脉冲。函数f()为转换函数，用于将阈值C所在的非线性光强坐标转换为线性光强坐标，例如，f()可以为反对数函数。λ为调节系数，用于使转换后的阈值与常规传感器的光强变化匹配，调节系数事先通过标定获得，也可以根据场景亮度计算得到。
当图像复原单元130确定了各像素位置的各事件信号的权重时，可以基于各像素位置的各事件信号的权重，对成像单元110获取到的图像信号对应的光强图像进行去模糊处理，以得到复原图像。
例如，对于模糊图像中的每一个像素I(x，y)，清晰像素值
由下式计算得到：
本申请实施例的图像复原方法，通过成像单元获取目标场景的图像信号和事件信号，并通过事件信号处理单元对事件信号进行同步和降噪处理，以得到处理后的事件信号；进而，通过图像复原单元基于处理后的事件信号，对图像信号对应的光强图像进行复原，得到清晰度高于该光强图像的复原图像，优化了图像复原的效果。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体应用场景对本申请实施例提供的技术方案进行说明。
实施例一
如图5A所示，以成像单元可以是混合成像模块为例，通过混合成像模块，获取同一场景图像信号与运动区域的事件信号，成像单元的每个像素包含常规图像像素以及动态视觉像素，当像素亮度变化超出动态视觉像素阈值时，输出事件信号，否则仅由常规图像像素输出图像信号。
实施例二
如图5B所示，以成像单元可以包括常规成像模块和动态视觉模块，常规成像模块获取包含场景亮度色彩信息的图像信号；动态视觉模块获取同一场景中运动区域的事件信号。常规成像模块和动态视觉模块获取的信号需经图像配准单元进行配准，得到空间配准的图像。
示例性的，常规图像模块为常规图像传感器，指的是能够提供光强信息的积分型传感器，如CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)。
动态视觉模块为动态视觉传感器，动态视觉传感器为差分型传感器，仅对光强变化响应，当光强变化超过阈值时输出脉冲信号，该脉冲信号称之为事件信号。
示例性的，动态视觉传感器与常规图像传感器可以采用双目视觉方式并排排列。常规图像传感器获取图像信号，动态视觉传感器获取同一场景的事件信号。
或者，采用分光的方式将场景光线分为两路，分别由常规图像传感器和动态视觉传感器接收，常规图像传感器获取图像信号，动态视觉传感器获取同一场景中的事件信号。
示例性的，上述同一场景中的事件信号可以包括运动区域的事件信号，或通过传感器在像面上平移旋转获取的全局事件信号。
上述平移旋转指的是动态视觉传感器平移或旋转，平移和旋转都是在像面的平面上进行。平移可以包括二维平移，即依次向水平和垂直方向平移一个像素距离，动态视觉传感器输出像素平移后的事件响应。旋转为传感器旋转一个预设角度，输出旋转后的事件响应。
实施例三
如图5C所示，事件信号处理单元包括信号同步模块和事件降噪模块。
示例性的，动态视觉相机获取的事件信号的数据输出格式为以地址事件表示(Address-Event Representation，简称AER)的事件流。
在AER格式中事件e表示成一个四元组(x，y，t，p)或(x，y，A，t)，前者为DAVIS传感器(一种智能图像传感器芯片)格式，后者为CeleX传感器(一种智能图像传感器芯片)格式。每个事件由生成事件的像素的物理地址(x,y)，事件的时间戳(t)，极性(p)或亮度(A)组成。极性表示强度变化是增加还是减小。即p∈{-1,1}。亮度(A)表示变化像素当前像素值。两种传感器格式的事件信号可以转换，下文中以(x，y，t，p)为例。
信号同步的目的是为了保证不同成像单元获取的信号间无拍摄时差。
示例性的，假设图像曝光开始时间为T0，曝光时长Te，对于分时成像场景，选取时间戳t∈[T0+Te,T0+2Te]或[T0-Te,T0]内的事件信号；对于非分时成像的场景：选取时间戳t∈[T0,T0+Te]内的事件信号。
事件降噪的目的是为了降低事件信号噪声。以采样三维阈值滤波实现事件降噪为例，可以通过以下公式实现：
其中，M为空域滤波窗口半径，T为时域滤波窗口半径(均为经验值，如可以分别设置为2和Te)。e(i,j,k)表示空间位置(i,j)，时间k的事件极性。Thre为滤波阈值(经验值，如3)。
实施例四
当通过常规成像模块+动态视觉模块获取图像信号和事件信号时，处理后的事件信号与图像信号输入图像配准单元，图像配准主要是为了消除两个成像单元在成像内容空间上的错位，使成像单元在每个像素位置上尽量能够内容对应。
示例性的，空域配准采用仿射变换的方法对感光图像进行处理，其中变换矩阵事先通过标定获得，实际处理时保持不变。
实施例五
如图5D所示，图像复原单元可以包括预处理模块和联合复原模块。
示例性的，预处理模块用于将事件信号重建为事件图像(如二维事件图像)或边缘图像(可以称为重建边缘图像)，并对事件图像或重建边缘图像进行信息融合。预处理后的事件图像或重建边缘图像与图像信号对应的光强图像经联合复原模块进行复原，得到低噪声的复原图像。
实施例六
如图5E所示，预处理模块可以包括事件重建子模块和信息融合子模块。
示例性的，事件重构的目的是让事件信号变为与光强图像相同分辨率的图像，便于后续处理。
实施例七
事件重构的一种实施例为由事件信号重构事件图像：根据像素地址(x，y)将极性p作为像素值，并将运动期间内的事件信号做累积，生成事件图像Ieve∈{-1,0,1}，其示意图可以如图5F的(a)所示。
信息融合主要为了补充事件图像中缺失的部分信息。
示例性的，对于重构的事件图像，信息融合的一种实施例为：对常规图像(即光强图像)位移差分的方式获取仿真事件图像，如下公式所示：
其中，Ibright为常规图像亮度，
为位移后的常规图像，位移策略与事件信号运动方向一致。σ为分割阈值，本实例中σ＝2k·0.01，k为图像位宽。
然后将仿真事件图像与事件图像融合，如下公式所示：
Isum＝Ieve+med(Isim)
其中，med()为中值滤波函数。
实施例八
事件重构的另一种实施例为将事件信号重建为边缘图像(即重建边缘图像)，如图5F中的(b)所示。
示例性的，可以先将事件图像Ieve根据像素值分为两部分：
和
分别表示Ieve中像素值为-1和1的图像。然后对
和
的非零像素分别进行非极大值抑制。之后对非零像素采用三点法计算每个非零像素的法向方向，即该像素的运动方向。
对于Ieve上的非零点p1＝Ieve(x1,y1)，令运动方向为θ，在运动方向上相距a(a为正整数)个像素的点为p2＝Ieve(x2,y2)。
在一个示例中，a＝1。
边缘图像Iedge由下式计算得到：
对于重构出的边缘图像，信息融合的一种实施例为：对光强图像先进行低通滤，然后将低通滤波后的光强图像提取边缘，并将低于阈值的边缘去掉，阈值处理的目的是保留强边缘。如下公式所示：
Ilow＝Filtlow(Ibright)
Iedge_bright＝Thres(Edge(Ilow),ε)
其中，Filtlow()为低通滤波函数，Edge()为梯度提取函数，可以是sobel、拉普拉斯或canny算子中的任意一种，Thres()为阈值截取函数，小于阈值ε的值均置零，大于ε的置1。
在一个示例中ε＝2k·0.05，边缘图像为二值图像。
将边缘图像与重建边缘图像进行叠加，即取两者的并集：
其中，Iedge_eve为由事件信号重建得到的重建边缘图像。
示例性的，经预处理模块预处理后的事件图像或重建边缘图像可以与光强图像经联合复原模块进行图像复原，得到低噪声图像。
实施例九
联合复原模块的一种实施例为采用降噪神经网络，如图5G所示。降噪网络预先进行训练，训练输入为带噪可见光图像与对应事件图像或边缘图像，真值为无噪可见光图像。最终由输出单元输出。
实施例十
联合复原单元的另一种实施例为传统降噪算法降噪，如图5H所示，即将重构的事件图像或边缘图作为降噪强度分布图进行降噪。降噪算法可以是任意需要降噪强度参数的算法，包括但不限于非局部均值算法(NLM)、小波降噪算法或双边滤波等。
示例性的，令D(x,h)为降噪函数，其中(x，y)为像素坐标，h为降噪强度参数，则每个像素的降噪强度h*为：
h*＝Comp(Ifuse(x,y),0)·h
其中，α为增益系数(如0.7)；h*＝Comp(Ifuse(x,y),0)·h为经信息融合的事件图像或边缘图像；h0为全局降噪强度，不同降噪算法取值不同。
实施例十一
图像复原单元的另一种实施例为根据处理后的事件信号，估计光强图像中的运动区域和静止区域。其中静止区域使用视频降噪。
在一个示例中，视频降噪为前一帧图像对应像素值与当前图像像素的加权，权值分别为7/8和1/8。运动区域采用上述联合降噪方案进行降噪。即在上述降噪方案前增加运动区域估计。
示例性的，对连续两次曝光间的事件极性的绝对值累积，然后根据累积结果进行阈值分割得到运动分布图Imotion：
其中e(x,y,k)表示空间位置(x,y)，时刻k的事件极性。1代表运动区域，0代表静止区域。
对于运动分布图Imotion中的运动区域进行空域降噪，对于静止区域进行视频降噪，视频降噪中需要用到过往图像帧信息，该信息从缓存中获取。
实施例十二
图像复原单元的另一种实施例为图像去模糊。
示例性的，首先计算同一像素位置各事件信号的权重，权重计算可以是空域权重，也可以是时域权重。
在一个示例中，以时域权重为例，对于同一像素位置的全部事件信号(x，y，ti，pi)，i∈[0，Nx，y]，ti∈[T0，T0+Te]，Nx,y为(x，y)处的事件个数，T0为图像曝光开始时间，Te为曝光时长。
wi＝(ti+1-ti)/Te
其中，Nx,y为(x，y)处的事件个数，T0为图像曝光开始时间，Te为曝光时长；C为动态视觉传感器的事件触发阈值，即当光强对数变化超过C时产生脉冲。函数f()为转换函数，用于将阈值C所在的非线性光强坐标转换为线性光强坐标，例如，f()可以为反对数函数。λ为调节系数，用于使转换后的阈值与常规传感器的光强变化匹配，调节系数事先通过标定获得，也可以根据场景亮度计算得到。
根据得到的权值，经图像复原单元对图像进行去模糊。对于模糊图像中的每一个像素I(x，y)，清晰像素值
由下式计算得到：
举例来说，如图6所示，为本申请实施例提供的图像复原方法用于图像去模糊的示意图，其中左上角为运动模糊图像，右上角为曝光时间内某时刻的二维事件极性图像示意图，左下角为本方法所述实施例去模糊结果，右下角为对比清晰图像。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：
请参见图7，为本申请实施例提供的一种图像复原方法的流程示意图，如图7所示，该图像复原方法可以包括：
步骤S700、获取目标场景的图像信号和事件信号，该事件信号为与该图像信号的获取时间关联的事件信号序列。
本申请实施例中，为了提高图像质量，可以通过成像单元获取同一场景的事件信号和图像信号，并基于事件信号对图像信号对应的光强图像进行复原，得到清晰图像，以便在保证图像细节的前提下实现图像复原，如降噪或去模糊等。
本申请实施例中，目标场景并不特指某一固定的场景，而是可以指代任一采用本申请实施例提供的技术方案进行图像复原处理的监控前端的监控场景，本申请实施例后续不再复述。
在一个示例中，可以通过混合成像单元获取目标场景的图像信号和事件信号，混合成像单元可以输出针对目标场景的每一个像素的光强信号(对应图像信号)和事件信号。
在另一示例中，可以分别通过常规成像单元和动态视觉单元获取目标场景的图像信号和事件信号，常规成像单元获取包含场景亮度色彩信息的图像信号；动态视觉单元获取同一场景中运动区域的事件信号。
示例性的，常规成像单元和动态视觉单元获取的信号需经图像配准单元进行图像配准，图像配准主要是为了消除常规成像单元和动态视觉单元在成像内容空间上的错位，使常规成像单元和动态视觉单元在每个像素位置上尽量能够内容对应。
步骤S710、对事件信号进行同步和降噪处理，以得到处理后的事件信号。
本申请实施例中，获取到目标场景的图像信号和事件信号时，可以分别对获取到的事件信号进行同步和降噪处理，以得到处理后的事件信号。
示例性的，信号同步的目的是为了降低图像信号与事件信号之间的拍摄时间差；降噪的目的是为了降低事件信号噪声。
在一个示例中，假设图像曝光开始时间为T0，曝光时长为Te，则对于分时成像场景，对T0时刻获取的图像信号对应的光强图像，可以选取时间戳t∈[T0+Te,T0+2Te]或[T0-Te,T0]内的事件信号用于进行图像复原；对于非分时成像场景，可以选取时间戳t∈[T0,T0+Te]内的事件信号用于进行图像复原。
步骤S720、基于处理后的事件信号，对图像信号对应的光强图像进行复原，以得到清晰度高于光强图像的复原图像。
本申请实施例中，可以基于步骤S710中处理得到的处理后的事件信号，对步骤S700中获取的图像信号对应的光强图像进行复原，以提高图像质量，得到清晰度高于该光强图像的复原图像。
在一个实施例中，如图8所示，步骤S720中，基于处理后的事件信号，对图像信号对应的光强图像进行复原，可以通过以下步骤实现：
步骤S721、对处理后的事件信号进行重构，以得到重构图像，该重构图像包括事件图像或重建边缘图像。
步骤S722、基于重构图像以及光强图像，进行信号融合，以得到融合后的图像。
步骤S723、基于融合后的图像，对光强图像进行复原。
示例性的，图像复原处理可以包括预处理和复原处理两个过程，预处理过程用于对事件信号进行重构，让事件信号变为与光强图像相同分辨率的图像，并进行信息融合，以实现降噪，进而，优化图像复原效果。
示例性的，重构图像可以包括但不限于事件图像或重建边缘图像。
在一个示例中，上述重构图像为事件图像。
步骤S722中，基于重构图像以及光强图像，进行信息融合，可以包括：
以各像素位置的事件信号的极性作为像素值，将各像素位置的像素值进行累积，以得到事件信号对应的事件图像；
对光强图像进行位移差分，以得到仿真事件图像；
对仿真事件图像与事件图像进行信息融合。
示例性的，在按照步骤S710中描述的方式得到处理后的事件信号时，一方面，可以将处理后的事件信号重构为事件图像，其具体实现可以参见上述实施例中的相关描述，本申请实施例在此不再赘述。
另一方面，可以通过对光强图像进行位移差分的方式，得到仿真事件图像，其具体实现可以参见上述实施例中的相关描述，本申请实施例在此不再赘述。
进而，可以对上述仿真事件图像与事件图像进行信息融合，得到融合后的图像。
在另一个实例中，上述重构图像为重建边缘图像；
步骤S722中，基于重构图像以及光强图像，进行信息融合，可以包括：
对于任一事件信号的极性非零的像素位置，确定该像素位置的运动方向，基于该像素位置的事件信号的极性，以及目标像素位置的极性，确定该像素位置的像素值，以得到事件信号对应的重建边缘图像；该目标像素位置为在该像素位置的运动方向上，与该像素位置相距a个像素的像素位置；
对图像信号对应的光强图像进行低通滤波，并对低通滤波后的光强图像进行边缘提取，以得到边缘图像；
对边缘图像与重建边缘图像行信息融合。
示例性的，在按照步骤S710中描述的方式得到处理后的事件信号时，一方面，可以将处理后的事件信号重构为边缘图像(本文中称为重建边缘图像)，其具体实现可以参见上述实施例中的相关描述，本申请实施例在此不再赘述。
另一方面，可以对光强图像进行低通滤波，对低通滤波后的光强图像提取边缘，并将低于阈值的边缘去掉，以保留强边缘，得到边缘图像，其具体实现可以参见上述实施例中的相关描述，本申请实施例在此不再赘述。
进而，可以对上述边缘图像与重建边缘图像进行信息融合，得到融合后的图像。
在一个示例中，步骤S723中，基于融合后的图像，对光强图像进行复原，可以包括：
将融合后的图像以及光强图像输入预先训练的降噪神经网络，以得到降噪后的光强图像。
示例性的，可以通过降噪神经网络实现图像降噪，优化图像质量。
当按照步骤S722中描述的方式得到融合后的图像时，可以将融合后的图像以及步骤S700中获取到的图像信号对应的光强图像输入预先训练的降噪神经网络，以得到降噪后的光强图像(即复原图像)。
示例性的，降噪网络预先进行训练，训练输入为带噪可见光图像，以及与该带噪可见光图像对应的事件图像、边缘图像或按照上述方式得到的融合图像，真值为无噪可见光图像。最终由输出单元输出降噪后的可见光图像。
在另一个示例中，步骤S723中，基于融合后的图像，对光强图像进行复原，可以包括：
基于融合后的图像，利用预设降噪算法，对光强图像进行降噪处理。
示例性的，可以采用降噪算法实现图像降噪，优化图像质量。
示例性的，降噪算法可以包括但不限于非局部均值算法(NLM)、小波降噪算法或双边滤波等。
当按照步骤S722中描述的方式得到融合后的图像时，可以将该融合图像作为降噪强度分布图，对步骤S700中获取到的光强图像进行降噪，以得到降噪后的光强图像(即复原图像)。
在一个实施例中，步骤S720中，基于处理后的事件信号，对光强图像进行复原，可以包括：
基于处理后的事件信号，确定光强图像中的运动区域和静止区域；
对运动区域的光强图像进行空域降噪，以及对静止区域的光强图像进行视频降噪。
示例性的，为了优化图像质量，可以基于事件信号，确定光强图像中的运动区域和静止区域，并分别对运动区域的光强图像采用空域降噪，以及对静止区域的光强图像采用时域降噪的方式进行降噪处理，得到降噪后的光强图像(即复原图像)。
示例性的，空域降噪即为上述实施例中描述的利用事件信号，对对应的可将光图像进行降噪。
时域降噪是指：对于第t帧图像中某一像素位置处的像素xt，按照以下策略进行降噪处理：
其中α为[0,1]间的加权系数，这里为1/16，
为第t-1帧图像中相同位置的像素经过时域降噪后的结果。
在又一实施例中，步骤S720中，基于处理后的事件信号，对光强图像进行复原，可以包括：
基于处理后的事件信号，确定各像素位置的各事件信号的权重；
基于各像素位置的各事件信号的权重，对光强图像进行去模糊处理。
示例性的，图像复原处理还可以包括图像去模糊处理。
当按照步骤S110中描述的方式得到处理后的事件信号时，可以基于处理后的事件信号，分别确定各像素位置的各事件信号的权重。
例如，对于同一像素位置的事件信号(x，y，ti，pi)，i∈[0，Nx，y]，ti∈[T0，T0+Te]，可以通过以下公式确定该像素位置的各事件信号的权重：
wi＝(ti+1-ti)/Te
其中，Nx,y为(x，y)处的事件信号个数，T0为图像曝光开始时间，Te为曝光时长；C为动态视觉传感器的事件触发阈值，即当光强对数变化超过C时产生脉冲。函数f()为转换函数，用于将阈值C所在的非线性光强坐标转换为线性光强坐标，例如，f()可以为反对数函数。λ为调节系数，用于使转换后的阈值与常规传感器的光强变化匹配，调节系数事先通过标定获得，也可以根据场景亮度计算得到。
当确定了各像素位置的各事件信号的权重时，可以基于各像素位置的各事件信号的权重，对步骤S700中获取到的光强图像进行去模糊处理，以得到复原图像。
例如，对于模糊图像中的每一个像素I(x，y)，清晰像素值
由下式计算得到：
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (17)
1.一种图像复原系统，其特征在于，包括：
成像单元，用于获取目标场景的图像信号和事件信号；所述事件信号为与所述图像信号的获取时间关联的事件信号序列；
事件信号处理单元，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
图像复原单元，用于基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像。
2.根据权利要求1所述的图像复原系统，其特征在于，所述成像单元包括混合成像模块；其中，
所述混合成像模块，用于分别获取目标场景的图像信号和事件信号；
或，
所述成像单元包括常规成像模块和动态视觉模块；其中：
所述常规成像模块，用于获取目标场景的图像信号；
所述动态视觉模块，用于获取目标场景的事件信号。
3.根据权利要求1所述的图像复原系统，其特征在于，还包括：图像配准单元；其中：
所述图像配准单元，用于对所述处理后的事件信号和所述图像信号进行图像配准，以消除所述处理后的事件信号和所述图像信号在成像内容空间上的错位；
所述图像复原单元，具体用于基于图像配准后的事件信号，对图像配准后的图像信号对应的光强图像进行图像复原。
4.根据权利要求1所述的图像复原系统，其特征在于，所述图像复原单元包括重构模块、信息融合模块以及联合复原模块；其中：
所述重构模块，用于对所述处理后的事件信号进行重构，以得到重构图像；所述重构图像包括事件图像或重建边缘图像；
所述信息融合模块，用于基于所述重构图像以及所述光强图像，进行信息融合，以得到融合后的图像；
所述联合复原模块，用于基于所述融合后的图像，对所述光强图像进行复原。
5.根据权利要求4所述的图像复原系统，其特征在于，
所述重构模块，具体用于以各像素位置的事件信号的极性作为像素值，将各像素位置的像素值进行累积，以得到所述事件信号对应的事件图像；
所述信息融合模块，具体用于对所述光强图像进行位移差分，以得到仿真事件图像；对所述仿真事件图像与所述事件图像进行信息融合。
6.根据权利要求4所述的图像复原系统，其特征在于，
所述重构模块，具体用于对于任一事件信号的极性非零的像素位置，确定该像素位置的运动方向，基于该像素位置的事件信号的极性，以及目标像素位置的极性，确定该像素位置的像素值，以得到所述事件信号对应的重建边缘图像；所述目标像素位置为在该像素位置的运动方向上，与该像素位置相距a个像素的像素位置，a为正整数；
所述信息融合模块，具体用于对所述光强图像进行低通滤波，并对低通滤波后的光强图像进行边缘提取，以得到边缘图像；对所述边缘图像与所述重建边缘图像行信息融合。
7.根据权利要求4-6任一项所述的图像复原系统，其特征在于，
所述联合复原模块，具体用于将融合后的图像以及所述光强图像输入预先训练的降噪神经网络，以得到降噪后的光强图像；
或，
所述联合复原模块，具体用于基于融合后的图像，利用预设降噪算法，对所述光强图像进行降噪处理。
8.根据权利要求1所述的图像复原系统，其特征在于，
所述图像复原单元，具体用于基于所述处理后的事件信号，确定所述光强图像中的运动区域和静止区域；对所述运动区域的光强图像进行空域降噪，以及对所述静止区域的光强图像进行时域降噪。
9.根据权利要求1所述的图像复原系统，其特征在于
所述图像复原单元，具体用于基于所述处理后的事件信号，确定各像素位置的各事件信号的权重；基于各像素位置的各事件信号的权重，对所述光强图像进行去模糊处理。
10.一种图像复原方法，其特征在于，包括：
获取目标场景的图像信号和事件信号；所述事件信号为与所述图像信号的获取时间关联的事件信号序列；
对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像。
11.根据权利要求10所述的方法，其特征在于，所述基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像，包括：
对所述处理后的事件信号和所述图像信号进行图像配准，以消除所述处理后的事件信号和所述图像信号在成像内容空间上的错位；
基于图像配准后的事件信号，对图像配准后的图像信号对应的光强图像进行图像复原。
12.根据权利要求10所述的方法，其特征在于，所述基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，以得到清晰度高于所述光强图像的复原图像，包括：
对所述处理后的事件信号进行重构，以得到重构图像；所述重构图像包括事件图像或重建边缘图像；
基于所述重构图像以及所述光强图像，进行信息融合，以得到融合后的图像；
基于所述融合后的图像，对所述光强图像进行复原。
13.根据权利要求12所述的方法，其特征在于，所述对所述处理后的事件信号进行重构，以得到重构图像，包括：
用于以各像素位置的事件信号的极性作为像素值，将各像素位置的像素值进行累积，以得到所述事件信号对应的事件图像；
所述基于所述重构图像以及所述光强图像，进行信息融合，以得到融合后的图像，包括：
对所述光强图像进行位移差分，以得到仿真事件图像；对所述仿真事件图像与所述事件图像进行信息融合。
14.根据权利要求12所述的方法，其特征在于，所述对所述处理后的事件信号进行重构，以得到重构图像，包括：
对于任一事件信号的极性非零的像素位置，确定该像素位置的运动方向，基于该像素位置的事件信号的极性，以及目标像素位置的极性，确定该像素位置的像素值，以得到所述事件信号对应的重建边缘图像；所述目标像素位置为在该像素位置的运动方向上，与该像素位置相距a个像素的像素位置，a为正整数；
所述基于所述重构图像以及所述光强图像，进行信息融合，以得到融合后的图像，包括：
对所述光强图像进行低通滤波，并对低通滤波后的光强图像进行边缘提取，以得到边缘图像；对所述边缘图像与所述重建边缘图像行信息融合。
15.根据权利要求12-14任一项所述的方法，其特征在于，所述基于所述融合后的图像，对所述光强图像进行复原，包括：
将融合后的图像以及所述光强图像输入预先训练的降噪神经网络，以得到降噪后的光强图像；
或，
基于融合后的图像，利用预设降噪算法，对所述光强图像进行降噪处理。
16.根据权利要求10所述的方法，其特征在于，所述基于处理后的事件信号，对所述图像信号对应的光强图像进行复原，包括：
基于所述处理后的事件信号，确定所述光强图像中的运动区域和静止区域；
对所述运动区域的光强图像进行空域降噪，以及对所述静止区域的光强图像进行时域降噪。
17.根据权利要求10所述的方法，其特征在于，所述基于处理后的事件信号，对所述图像信号对应的光强图像进行复原
基于所述处理后的事件信号，确定各像素位置的各事件信号的权重；
基于各像素位置的各事件信号的权重，对所述光强图像进行去模糊处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457578.5A CN113724142B (zh) | 2020-05-26 | 2020-05-26 | 图像复原系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457578.5A CN113724142B (zh) | 2020-05-26 | 2020-05-26 | 图像复原系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724142A true CN113724142A (zh) | 2021-11-30 |
| CN113724142B CN113724142B (zh) | 2023-08-25 |
Family
ID=78672144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010457578.5A Active CN113724142B (zh) | 2020-05-26 | 2020-05-26 | 图像复原系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724142B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078032A1 (zh) * | 2022-10-14 | 2024-04-18 | 华为技术有限公司 | 信号处理方法、装置、设备、存储介质及计算机程序 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100033231A1 (en) * | 2008-08-08 | 2010-02-11 | Quesada Valentin T | High-Resolution Parametric Signal Restoration |
| AU2013100651A4 (en) * | 2012-05-30 | 2013-06-13 | Selex Es S.P.A. | PXI device for video generation and acquisition |
| CN204990334U (zh) * | 2015-06-05 | 2016-01-20 | 天津昊野科技有限公司 | 人脸识别智能控制电路 |
| US20160132499A1 (en) * | 2014-11-06 | 2016-05-12 | Bae Systems Information And Electronic Systems Integration Inc. | Filtered image data recovery using lookback |
| CN105719296A (zh) * | 2016-01-21 | 2016-06-29 | 天津大学 | 基于地址-事件表示的高速图像二值连通域标记方法 |
| CN106991650A (zh) * | 2016-01-21 | 2017-07-28 | 北京三星通信技术研究有限公司 | 一种图像去模糊的方法和装置 |
| CN106993158A (zh) * | 2017-04-07 | 2017-07-28 | 湖北大学 | 一种基于图像复原的主动红外夜视辅助驾驶系统 |
| CN110097509A (zh) * | 2019-03-26 | 2019-08-06 | 杭州电子科技大学 | 一种局部运动模糊图像的复原方法 |
| US20190370948A1 (en) * | 2018-06-01 | 2019-12-05 | Apple Inc. | Unified Bracketing Approach for Imaging |
| CN110555808A (zh) * | 2018-05-31 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、设备及机器可读存储介质 |
| CN110794577A (zh) * | 2019-11-11 | 2020-02-14 | 中国科学院光电技术研究所 | 一种结合自适应光学和图像处理的高分辨力成像系统控制方法 |
-
2020
- 2020-05-26 CN CN202010457578.5A patent/CN113724142B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100033231A1 (en) * | 2008-08-08 | 2010-02-11 | Quesada Valentin T | High-Resolution Parametric Signal Restoration |
| AU2013100651A4 (en) * | 2012-05-30 | 2013-06-13 | Selex Es S.P.A. | PXI device for video generation and acquisition |
| US20160132499A1 (en) * | 2014-11-06 | 2016-05-12 | Bae Systems Information And Electronic Systems Integration Inc. | Filtered image data recovery using lookback |
| CN204990334U (zh) * | 2015-06-05 | 2016-01-20 | 天津昊野科技有限公司 | 人脸识别智能控制电路 |
| CN105719296A (zh) * | 2016-01-21 | 2016-06-29 | 天津大学 | 基于地址-事件表示的高速图像二值连通域标记方法 |
| CN106991650A (zh) * | 2016-01-21 | 2017-07-28 | 北京三星通信技术研究有限公司 | 一种图像去模糊的方法和装置 |
| CN106993158A (zh) * | 2017-04-07 | 2017-07-28 | 湖北大学 | 一种基于图像复原的主动红外夜视辅助驾驶系统 |
| CN110555808A (zh) * | 2018-05-31 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、设备及机器可读存储介质 |
| US20190370948A1 (en) * | 2018-06-01 | 2019-12-05 | Apple Inc. | Unified Bracketing Approach for Imaging |
| CN110097509A (zh) * | 2019-03-26 | 2019-08-06 | 杭州电子科技大学 | 一种局部运动模糊图像的复原方法 |
| CN110794577A (zh) * | 2019-11-11 | 2020-02-14 | 中国科学院光电技术研究所 | 一种结合自适应光学和图像处理的高分辨力成像系统控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| H LI 等: "Super-resolution of spatiotemporal event-stream image captured by the asynchronous temporal contrast vision sensor", 《HTTPS://ARXIV.ORG/FTP/ARXIV/PAPERS/1802/1802.02398.PDF》 * |
| 雷靖 等: "一种基于AER图像传感器的目标完整轮廓提取方法", 《南开大学学报（自然科学版）》, vol. 53, no. 4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078032A1 (zh) * | 2022-10-14 | 2024-04-18 | 华为技术有限公司 | 信号处理方法、装置、设备、存储介质及计算机程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724142B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
| Irani et al. | Detecting and tracking multiple moving objects using temporal integration | |
| Zhu et al. | Removing atmospheric turbulence via space-invariant deconvolution | |
| CN110163818B (zh) | 一种用于海事无人机的低照度视频图像增强方法 | |
| EP2489007B1 (en) | Image deblurring using a spatial image prior | |
| CN111539879A (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| Kim et al. | A novel approach for denoising and enhancement of extremely low-light video | |
| Matsui et al. | Image enhancement of low-light scenes with near-infrared flash images | |
| Mangiat et al. | Spatially adaptive filtering for registration artifact removal in HDR video | |
| He et al. | Atmospheric turbulence mitigation based on turbulence extraction | |
| Li et al. | Robust blind motion deblurring using near-infrared flash image | |
| CN113724142B (zh) | 图像复原系统及方法 | |
| Honda et al. | Make my day-high-fidelity color denoising with near-infrared | |
| CN113727042B (zh) | 图像处理系统及方法 | |
| Choi et al. | Motion-blur-free camera system splitting exposure time | |
| CN115035013A (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
| Lu et al. | A novel underwater scene reconstruction method | |
| Zhang et al. | Motion-blurring free integral imaging reconstruction via parallax information | |
| JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| Lasang et al. | CFA-based motion blur removal using long/short exposure pairs | |
| Szczepanski | Fast spatio-temporal digital paths video filter | |
| CN113469908B (zh) | 图像降噪方法、装置、终端、存储介质 | |
| Purkayastha et al. | Steerable Pyramid-based Multi-Scale Fusion Algorithm for Single Image Dehazing | |
| Hach et al. | Spatio-temporal denoising for depth map sequences | |
| Hach et al. | Joint video and sparse 3D transform-domain collaborative filtering for time-of-flight depth maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |