CN113034634A - 基于脉冲信号的自适应成像方法、系统及计算机介质 - Google Patents

基于脉冲信号的自适应成像方法、系统及计算机介质 Download PDF

Info

Publication number
CN113034634A
CN113034634A CN202110240363.2A CN202110240363A CN113034634A CN 113034634 A CN113034634 A CN 113034634A CN 202110240363 A CN202110240363 A CN 202110240363A CN 113034634 A CN113034634 A CN 113034634A
Authority
CN
China
Prior art keywords
reconstructed image
pixel
pulse
image sequence
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110240363.2A
Other languages
English (en)
Other versions
CN113034634B (zh
Inventor
熊瑞勤
赵菁
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulse Vision Beijing Technology Co ltd
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110240363.2A priority Critical patent/CN113034634B/zh
Publication of CN113034634A publication Critical patent/CN113034634A/zh
Priority to PCT/CN2022/079318 priority patent/WO2022184167A1/zh
Application granted granted Critical
Publication of CN113034634B publication Critical patent/CN113034634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请实施例中提供了一种基于脉冲信号的自适应成像方法、系统及计算机介质，根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；根据多个脉冲阵列，得到预设时间段内的重建图像序列；根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；根据各像素点的运动轨迹，建立各像素点时间方向上的自回归模型；自适应选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。解决了传统相机难以对高速运动的场景物体进行清晰成像的问题，可以产生信噪比高、不模糊的图像。

Description

基于脉冲信号的自适应成像方法、系统及计算机介质
技术领域
本申请属于激光成像技术领域，具体地，涉及一种基于脉冲信号的自适应成像方法、系统及计算机介质。
背景技术
随着科学技术的发展进步，传统数字相机通常以固定帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和累计，曝光结束后经过模数转换得到该像素的光照总量。由于曝光时间窗内的信息叠加在一起进行记录，这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。近年来，生物视网膜中央凹的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种包含光感受器、积分器和阈值比较器的脉冲相机被提出。脉冲相机以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，不存在曝光时间窗口的概念，突破了传统相机的局限性，既可以实现对高速运动的捕捉和记录，又可能重构出场景中纹理细节。
目前脉冲相机的成像算法主要有两种：基于脉冲间隔的成像算法和基于时间窗平均的成像重建算法。其中一种方法，基于脉冲间隔的重建算法利用脉冲间隔随着光强的增加而减小这一特性，借助前后两个脉冲重构出一小段时间内的光强。该算法虽然能刻画出高速运动的轮廓，但重建信号通常不够稳定和完善，在时间方向看像素值有明显的波动。另一种方法，基于时间窗平均的重建算法利用脉冲发放频率随着光强的增加而增加这一特性来估计时间窗内的平均光强，该算法虽然在一定程度上提高了重建图像的信噪比，但是当物体存在运动时，时间窗内的平均会导致重建图像存在运动模糊。
因此，亟待新的成像方法来解决以上在高速运动场景下脉冲相机的成像不清晰问题。
发明内容
本发明提出了一种基于脉冲信号的自适应成像方法、系统及计算机介质，旨在解决现有脉冲相机的成像算法重建图像信噪比低或者高速运动场景下仍然出现运动模糊的问题。
根据本申请实施例的第一个方面，提供了一种基于脉冲信号的自适应成像方法，具体包括以下步骤：
根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；
根据多个脉冲阵列，得到预设时间段内的重建图像序列；
根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；
根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型；
选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；
根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。
在本申请一些实施方式中，根据多个脉冲阵列，得到预设时间段内的重建图像序列，具体包括采用脉冲间隔算法重构出重建图像序列。
在本申请一些实施方式中，根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹，具体包括采用光流算法、像素点匹配、像素点运动对齐或者像素点相对位置偏移估计计算重建图像序列之间的相对运动，从而确定重建图像序列的各像素点的运动轨迹。
在本申请一些实施方式中，自回归模型的表示公式具体为：
Figure BDA0002961898330000021
其中，Ik表示k时刻的图像理论值；It表示t时刻的图像理论值；Tk表示时刻k相邻时刻的集合；Pk→t(x，y)为k时刻图像帧内的像素点(x，y)在t时刻图像帧内的对应像素位置；αt为模型参数；Δk(x，y)为在(x，y)像素点上的模型误差。
在本申请一些实施方式中，自适应选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数，具体包括：通过最小二乘法求解目标函数，得到自回归模型的模型参数，目标函数具体为：
Figure BDA0002961898330000022
其中，W表示以(x，y)为中心的空间范围内像素点集合；
Figure BDA0002961898330000023
表示k时刻的图像估计值；
Figure BDA0002961898330000024
表示t时刻的图像估计值。
在本申请一些实施方式中，更新像素点的光强值以生成图像，具体计算公式为：
Figure BDA0002961898330000025
其中，I′k表示k时刻的图像自适应成像值。
根据本申请实施例的第二个方面，提供了一种基于脉冲信号的自适应成像系统，具体包括：
脉冲单元，用于根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；
图像重建单元，用于根据多个脉冲阵列，得到预设时间段内的重建图像序列；
运动轨迹单元，用于根据重建图像序列的相对运动位置，确定重建图像序列的各像素点的运动轨迹；
自回归模型单元，用于根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型；
模型参数计算单元：选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；
自适应成像单元，用于根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。
根据本申请实施例的第三个方面，提供了一种基于脉冲信号的自适应成像设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成基于脉冲信号的自适应成像方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于脉冲信号的自适应成像方法。
采用本申请实施例中的基于脉冲信号的自适应成像方法、系统及计算机介质，根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；根据多个脉冲阵列，得到预设时间段内的重建图像序列；根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型；选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。解决了传统相机难以对高速运动的场景物体进行清晰成像的问题，本申请可以产生信噪比高、不模糊的图像，实现了显著提升的视觉效果，提升了图像细节的清晰度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的基于脉冲信号的自适应成像方法的步骤示意图；
图2中示出了根据本申请实施例的基于脉冲信号的自适应成像方法的成像流程示意图；
图3中示出了根据本申请另一实施例的基于脉冲信号的自适应成像方法对高速行驶的汽车的图像重建结果。
图4中示出了根据本申请实施例的基于脉冲信号的自适应成像方法对自由落体运动物体的图像重建结果。
图5中示出了根据本申请实施例的基于脉冲信号的自适应成像系统的结构示意图；
图6中示出了根据本申请实施例的基于脉冲信号的自适应成像设备的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现传统相机，传统相机无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。因此，受启发于生物视网膜的视觉采样机制，采集脉冲阵列信号的新型摄像机进入人们视野，包括基于光照强度变化发放脉冲信号的传感器，如动态视觉传感器(Dynamic Vision Sensor,DVS)、基于异步时间的图像传感器(Asynchronous Time-based image Sensor,ATIS)、动态有源像素视觉传感器(Dynamicand Active Pixel Vision Sensor,DAVIS)等，基于光照强度累积强度发放信号的传感器，如光强累积传感器等。这种摄像机的传感器采集一定时间，一定区域内光信号的信息，具有高动态范围，高时间分辨率等优点。
而基于脉冲信号的脉冲相机的成像算法，虽然能刻画出高速运动的轮廓，但重建信号通常不够稳定和完善，在时间方向看像素值有明显的波动，或者会出现重建图像存在运动模糊的问题。因此，目前亟需一种新的成像方法来解决以上在高速运动场景下脉冲相机的成像不清晰问题。
申请人还发现，脉冲阵列具有时间方向上的相关性，而这种相关性结构在图像不同空间位置上的表现也不尽相同。比如，在运动比较连续的平滑运动区域，图像内容沿着运动轨迹的时间方向相关性比较强；而对于具有比较复杂的局部运动的区域，某一时刻的图像内容可能在前后时刻的图像内容不具有对应关系，甚至可能出现遮挡或消失，此时，图像内容沿着运动轨迹的时间方向相关性比较弱。
为了合理地利用脉冲阵列时间方向上的相关性以提升重建图像的质量，基于以上，本发明提出了一种自适应成像方法。
具体的，本申请的基于脉冲信号的自适应成像方法、系统及计算机介质，根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；根据多个脉冲阵列，得到预设时间段内的重建图像序列；根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；根据各像素点的运动轨迹，建立各像素点的自回归模型；自适应选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；根据模型参数，对重建图像的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，得到自适应成像。
本发明解决了传统相机难以对高速运动的场景物体进行清晰成像的问题，本申请应用于高速运动的场景可以产生信噪比高、不模糊的图像，实现了显著提升的视觉效果，提升了图像细节的清晰度。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的基于权重进行电动控制的移动方法的步骤示意图。
如图1所示，本申请实施例的基于脉冲信号的自适应成像方法，具体包括以下步骤：
S101：根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列。
S102：根据多个脉冲阵列，得到预设时间段内的重建图像序列。
其中，根据多个脉冲阵列，得到预设时间段内的重建图像序列，具体包括：采用脉冲间隔算法重构出重建图像序列。
S103：根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹。
其中，确定重建图像序列的各像素点的运动轨迹，具体包括：采用光流算法、像素点匹配、像素点运动对齐或者像素点相对位置偏移估计计算重建图像序列之间的相对运动，从而确定重建图像序列的各像素点的运动轨迹。
S104：根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型。
具体的，自回归模型的表示公式具体为：
Figure BDA0002961898330000051
其中，Ik表示k时刻的图像理论值；It表示t时刻的图像理论值；Tk表示时刻k相邻时刻的集合；Pk→t(x，y)为k时刻图像帧内的像素点(x，y)在t时刻图像帧内的对应像素位置；αt为模型参数；Δk(x，y)为在(x，y)像素点上的模型误差，可能对应一些图像细节或噪声。
S105：自适应选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数。
具体的，通过自适应选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数，具体包括：通过最小二乘法求解目标函数，得到自回归模型的模型参数，目标函数具体为：
Figure BDA0002961898330000061
其中，W表示以(x，y)为中心的空间范围内像素点集合；
Figure BDA0002961898330000062
表示k时刻的图像估计值；
Figure BDA0002961898330000063
表示t时刻的图像估计值。
在这一步骤中，不同图像区域中，图像内容沿着运动轨迹的时间方向相关性不同，因此，需要根据图像序列局部区域的内容对自回归模型的参数进行自适应地调整，从而确定适合局部区域的滤波权重。在对脉冲阵列中的像素进行时间方向上的滤波时，滤波权重与脉冲阵列的内容相关，一帧图像不同空间位置上的滤波权重可能存在差异。
因此，本申请假设空间位置相近的像素点具有相对一致的时间相关性，故模型参数可以根据局部空间位置上的数据自适应地选择，可以通过优化以上目标函数得出。
S106：根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，得到自适应成像。
其中，在步骤S105得到的模型参数基础上，对重建图像的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，得到自适应成像，具体计算公式为：
Figure BDA0002961898330000064
其中，I′k表示k时刻的图像自适应成像值。
最后按上式的结果更新第k帧内(x，y)像素点上的光强值，得到物体最后的自适应成像。
图2中示出了根据本申请实施例的基于脉冲信号的自适应成像方法的成像流程示意。
如图2所示，首先，根据脉冲间隔信息从脉冲阵列中估计出基本的重建图像序列。
由脉冲阵列生成基本的重建图像，可以采用脉冲间隔算法或其他重建方法。主要根据脉冲间的平均光流与脉冲间隔的大小成反比这一特性，重构出如图2所示的基本图像序列：
Figure BDA0002961898330000065
其中，
Figure BDA0002961898330000066
表示重建图像序列，
Figure BDA0002961898330000067
表示每一张重建图像。
然后，借助光流等方法根据基本重建图像序列确定图像各像素点的运动轨迹。
接下来，沿着运动轨迹方向建立时间维度上的自回归模型，并根据邻域像素点的时间相关性自适应地调整模型参数。
最后，根据得到的模型对图像像素进行时间维度的运动轨迹滤波，以重建出更高质量的图像。
本申请沿着物体的运动轨迹，建立不同时刻图像像素点之间的自回归模型，并根据图像序列内容来自适应地调整模型参数，以准确地利用图像信号的时间方向相关性，从而提升重建图像的质量。
以下，通过具体场景应用来进一步说明本申请的基于脉冲信号的自适应成像方法。
图3中示出了根据本申请另一实施例的基于脉冲信号的自适应成像方法对高速行驶的汽车的图像重建结果。
其中，图3(a)是初始脉冲矩阵图像，图3(b)是脉冲间隔法重建的图像，图3(c)是本发明的重建结果。
图4中示出了根据本申请实施例的基于脉冲信号的自适应成像方法对自由落体运动物体的图像重建结果。
其中，图4(a)是初始脉冲矩阵图像，图4(b)是脉冲间隔法重建的图像，图4(c)是本发明的重建结果。
具体的，图3列出了本发明对脉冲相机所拍摄的以100km/h速度行驶的汽车的重建结果。图4列出了本发明对脉冲相机所拍摄的自由下落的布娃娃的重建结果。
如图3、4所示，在脉冲相机所拍摄的真实脉冲阵列数据上进行实验，测试了本发明在高速运动场景下的图像重建性能，生成具有更高视觉质量的图像。
实验结果表明本发明能高清晰地重建出场景中的运动细节，重建出的图像不仅避免了运动模糊而且具有高信噪比。
本申请的基于脉冲信号的自适应成像方法，根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；根据多个脉冲阵列，得到预设时间段内的重建图像序列；根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型；选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。
本申请自适应地利用了脉冲阵列的时间方向相关性，提升了重建图像的质量。为了合理地利用脉冲阵列的时间方向相关性，首先，建立了沿着运动轨迹的时间方向上的自回归模型；然后，根据脉冲阵列局部空间位置上所具有的相关性结构自适应地调整模型参数，以提升自回归模型的准确性；最后，利用所建立的局部自适应的自回归模型对基本重建图像进行时间维度的滤波以提升信号的稳定性，从而提升重建图像的质量。
其中，局部自适应的自回归模型保证了所利用的时间方向相关性的准确性，有效地降低了异常值的影响，保证了滤波算法的有效性和鲁棒性。
实施例2
本实施例提供了一种基于脉冲信号的自适应成像系统，对于本实施例的基于脉冲信号的自适应成像系统中未披露的细节，请参照其它实施例中的基于脉冲信号的自适应成像方法的具体实施内容。
图5中示出了根据本申请实施例的基于脉冲信号的自适应成像系统的结构示意图。
如图5所示，本申请实施例的基于脉冲信号的自适应成像系统，具体包括脉冲单元10、图像重建单元20、运动轨迹单元30、自回归模型单元40、模型参数计算单元50以及自适应成像单元60。
脉冲单元10，用于根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；
图像重建单元20，用于根据多个脉冲阵列，得到预设时间段内的重建图像序列。具体包括：采用脉冲间隔算法重构出重建图像序列。
运动轨迹单元30，用于根据重建图像序列的相对运动位置，确定重建图像序列的各像素点的运动轨迹。
确定重建图像序列的各像素点的运动轨迹，具体包括：采用光流算法、像素点匹配、像素点运动对齐或者像素点相对位置偏移估计计算重建图像序列之间的相对运动，从而确定重建图像序列的各像素点的运动轨迹。
自回归模型单元40，用于根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型。
具体的，自回归模型的表示公式具体为：
Figure BDA0002961898330000081
其中，Ik表示k时刻的图像理论值；It表示t时刻的图像理论值；Tk表示时刻k相邻时刻的集合；Pk→t(x，y)为k时刻图像帧内的像素点(x，y)在t时刻图像帧内的对应像素位置；αt为模型参数；Δk(x，y)为在(x，y)像素点上的模型误差，可能对应一些图像细节或噪声。
模型参数计算单元50：自适应选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数。
具体包括：通过最小二乘法求解目标函数，得到自回归模型的模型参数，目标函数具体为：
Figure BDA0002961898330000082
其中，W表示以(x，y)为中心的空间范围内像素点集合；
Figure BDA0002961898330000083
表示k时刻的图像估计值；
Figure BDA0002961898330000084
表示t时刻的图像估计值。
在这一步骤中，不同图像区域中，图像内容沿着运动轨迹的时间方向相关性不同，因此，需要根据图像序列局部区域的内容对自回归模型的参数进行自适应地调整，从而确定适合局部区域的滤波权重。在对脉冲阵列中的像素进行时间方向上的滤波时，滤波权重与脉冲阵列的内容相关，一帧图像不同空间位置上的滤波权重可能存在差异。
因此，本申请假设空间位置相近的像素点具有相对一致的时间相关性，故模型参数可以根据局部空间位置上的数据自适应地选择，可以通过优化以上目标函数得出。
自适应成像单元60，用于根据模型参数，对重建图像的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，得到自适应成像。
在步骤S105得到的模型参数基础上，对重建图像的像素点进行时间维度上滤波，得到自适应成像，具体计算公式为：
Figure BDA0002961898330000091
其中，I′k表示k时刻的图像自适应成像值。
本申请的基于脉冲信号的自适应成像系统，通过脉冲单元10根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；图像重建单元20根据多个脉冲阵列，得到预设时间段内的重建图像序列；运动轨迹单元30根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；自回归模型单元40根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型；模型参数计算单元50选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；自适应成像单元60根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，得到自适应成像。
本申请自适应地利用了脉冲阵列的时间方向相关性，提升了重建图像的质量。为了合理地利用脉冲阵列的时间方向相关性，首先，建立了沿着运动轨迹的时间方向上的自回归模型；然后，根据脉冲阵列局部空间位置上所具有的相关性结构自适应地调整模型参数，以提升自回归模型的准确性；最后，利用所建立的局部自适应的自回归模型对基本重建图像进行时间维度的滤波以提升信号的稳定性，从而提升重建图像的质量。
其中，局部自适应的自回归模型保证了所利用的时间方向相关性的准确性，有效地降低了异常值的影响，保证了滤波算法的有效性和鲁棒性。
实施例3
本实施例提供了一种基于脉冲信号的自适应成像设备，对于本实施例的基于脉冲信号的自适应成像设备中未披露的细节，请参照其它实施例中的基于脉冲信号的自适应成像方法或系统具体的实施内容。
图6中示出了根据本申请实施例的基于脉冲信号的自适应成像设备400的结构示意图。
如图6所示，自适应成像设备400，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成基于脉冲信号的自适应成像方法。
本领域技术人员可以理解，示意图6仅仅是自适应成像设备400的示例，并不构成对自适应成像设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如自适应成像设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是自适应成像设备400的控制中心，利用各种接口和线路连接整个自适应成像设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现自适应成像设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据自适应成像设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
自适应成像设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于脉冲信号的自适应成像方法。
采用本申请实施例的基于脉冲信号的自适应成像设备及计算机介质，根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；根据多个脉冲阵列，得到预设时间段内的重建图像序列；根据重建图像序列之间的相对运动，确定重建图像序列的各像素点的运动轨迹；根据各像素点的运动轨迹，建立各像素点在时间方向上的自回归模型；选择重建图像序列上的像素点，对自回归模型进行自适应学习，确定自回归模型的模型参数；根据模型参数，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于脉冲信号的自适应成像方法，其特征在于，具体包括以下步骤：
根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；
根据所述多个脉冲阵列，得到所述预设时间段内的重建图像序列；
根据所述重建图像序列之间的相对运动，确定所述重建图像序列的各像素点的运动轨迹；
根据所述各像素点的运动轨迹，建立所述各像素点在时间方向上的自回归模型；
选择所述重建图像序列上的像素点，对所述自回归模型进行自适应学习，确定所述自回归模型的模型参数；
根据所述模型参数，对所述重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。
2.根据权利要求1所述的基于脉冲信号的自适应成像方法，其特征在于，所述根据所述多个脉冲阵列，得到所述预设时间段内的重建图像序列，具体包括采用脉冲间隔算法重构出所述重建图像序列。
3.根据权利要求1所述的基于脉冲信号的自适应成像方法，其特征在于，所述根据所述重建图像序列之间的相对运动，确定所述重建图像序列的各像素点的运动轨迹，具体包括采用光流算法、像素点匹配、像素点运动对齐或者像素点相对位置偏移估计计算所述重建图像序列之间的相对运动，从而确定所述重建图像序列的各像素点的运动轨迹。
4.根据权利要求1所述的基于脉冲信号的自适应成像方法，其特征在于，所述自回归模型的表示公式具体为：
Figure FDA0002961898320000011
其中，Ik表示k时刻的图像理论值；It表示t时刻的图像理论值；Tk表示时刻k相邻时刻的集合；Pk→t(x，y)为k时刻图像帧内的像素点(x，y)在t时刻图像帧内的对应像素位置；αt为模型参数；Δk(x，y)为在(x，y)像素点上的模型误差。
5.根据权利要求4所述的基于脉冲信号的自适应成像方法，其特征在于，所述选择所述重建图像序列上的像素点，对所述自回归模型进行自适应学习，确定所述自回归模型的模型参数，具体包括：通过最小二乘法求解目标函数，得到所述自回归模型的模型参数；所述目标函数具体为：
Figure FDA0002961898320000012
其中，W表示以(x，y)为中心的空间范围内像素点集合；
Figure FDA0002961898320000013
表示k时刻的图像估计值；
Figure FDA0002961898320000014
表示t时刻的图像估计值。
6.根据权利要求5所述的基于脉冲信号的自适应成像方法，其特征在于，所述更新像素点的光强值以生成图像，具体计算公式为：
Figure FDA0002961898320000021
其中，I′k表示k时刻的图像自适应成像值。
7.一种基于脉冲信号的自适应成像系统，其特征在于，具体包括：
脉冲单元，用于根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列；
图像重建单元，用于根据所述多个脉冲阵列，得到所述预设时间段内的重建图像序列；
运动轨迹单元，用于根据所述重建图像序列之间的相对运动，确定所述重建图像序列的各像素点的运动轨迹；
自回归模型单元，用于根据所述各像素点的运动轨迹，建立所述各像素点在时间方向上的自回归模型；
模型参数计算单元：选择所述重建图像序列上的像素点，对所述自回归模型进行自适应学习，确定所述自回归模型的模型参数；
自适应成像单元，用于根据所述模型参数，对所述重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。
8.根据权利要求7所述的基于脉冲信号的自适应成像系统，其特征在于，所述运动轨迹单元具体采用光流算法、像素点匹配、像素点运动对齐或者像素点相对位置偏移估计计算所述重建图像序列之间的相对运动，从而确定所述重建图像序列的各像素点的运动轨迹。
9.一种基于脉冲信号的自适应成像设备，其特征在于，包括：
存储器：用于存储可执行指令；以及
处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-6任一项所述的基于脉冲信号的自适应成像方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-6任一项所述的基于脉冲信号的自适应成像方法。
CN202110240363.2A 2021-03-04 2021-03-04 基于脉冲信号的自适应成像方法、系统及计算机介质 Active CN113034634B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110240363.2A CN113034634B (zh) 2021-03-04 2021-03-04 基于脉冲信号的自适应成像方法、系统及计算机介质
PCT/CN2022/079318 WO2022184167A1 (zh) 2021-03-04 2022-03-04 成像方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110240363.2A CN113034634B (zh) 2021-03-04 2021-03-04 基于脉冲信号的自适应成像方法、系统及计算机介质

Publications (2)

Publication Number Publication Date
CN113034634A true CN113034634A (zh) 2021-06-25
CN113034634B CN113034634B (zh) 2022-05-06

Family

ID=76467583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110240363.2A Active CN113034634B (zh) 2021-03-04 2021-03-04 基于脉冲信号的自适应成像方法、系统及计算机介质

Country Status (1)

Country Link
CN (1) CN113034634B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643218A (zh) * 2021-07-19 2021-11-12 北京大学 基于神经网络的图像重建方法、装置、电子设备及介质
CN114584703A (zh) * 2022-01-26 2022-06-03 北京大学 仿生式脉冲相机的成像方法、装置、设备及存储介质
WO2022184167A1 (zh) * 2021-03-04 2022-09-09 脉冲视觉(北京)科技有限公司 成像方法、装置、设备及存储介质
CN115063283A (zh) * 2022-06-13 2022-09-16 脉冲视觉(北京)科技有限公司 一种用于图像重构的逻辑器件
CN115866427A (zh) * 2023-01-17 2023-03-28 脉冲视觉(北京)科技有限公司 脉冲数据读出方法和装置、系统、设备和介质
CN116456202A (zh) * 2023-04-25 2023-07-18 北京大学 脉冲相机及其彩色成像方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329956A1 (en) * 2008-01-18 2013-12-12 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Method of improving the resolution of a moving object in a digital image sequence
CN109615588A (zh) * 2018-10-31 2019-04-12 深圳市唯特视科技有限公司 一种基于深度自回归模型的解决图像重建问题的方法
CN109803096A (zh) * 2019-01-11 2019-05-24 北京大学 一种基于脉冲信号的显示方法和系统
CN110430340A (zh) * 2019-06-28 2019-11-08 北京大学 一种脉冲阵列信号的降噪方法与系统
CN112233199A (zh) * 2020-09-23 2021-01-15 中国人民解放军战略支援部队信息工程大学 基于离散表征和条件自回归的fMRI视觉重构方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329956A1 (en) * 2008-01-18 2013-12-12 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Method of improving the resolution of a moving object in a digital image sequence
CN109615588A (zh) * 2018-10-31 2019-04-12 深圳市唯特视科技有限公司 一种基于深度自回归模型的解决图像重建问题的方法
CN109803096A (zh) * 2019-01-11 2019-05-24 北京大学 一种基于脉冲信号的显示方法和系统
CN110430340A (zh) * 2019-06-28 2019-11-08 北京大学 一种脉冲阵列信号的降噪方法与系统
CN112233199A (zh) * 2020-09-23 2021-01-15 中国人民解放军战略支援部队信息工程大学 基于离散表征和条件自回归的fMRI视觉重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JING ZHAO 等: ""High-Speed Motion Scene Reconstruction for Spike Camera via Motion Aligned Filtering"", 《 2020 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》 *
JING ZHAO 等: ""Motion Estimation for Spike Camera Data Sequence via Spike Interval Analysis"", 《2020 IEEE INTERNATIONAL CONFERENCE ON VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022184167A1 (zh) * 2021-03-04 2022-09-09 脉冲视觉(北京)科技有限公司 成像方法、装置、设备及存储介质
CN113643218A (zh) * 2021-07-19 2021-11-12 北京大学 基于神经网络的图像重建方法、装置、电子设备及介质
CN114584703A (zh) * 2022-01-26 2022-06-03 北京大学 仿生式脉冲相机的成像方法、装置、设备及存储介质
CN114584703B (zh) * 2022-01-26 2023-04-07 北京大学 仿生式脉冲相机的成像方法、装置、设备及存储介质
CN115063283A (zh) * 2022-06-13 2022-09-16 脉冲视觉(北京)科技有限公司 一种用于图像重构的逻辑器件
CN115866427A (zh) * 2023-01-17 2023-03-28 脉冲视觉(北京)科技有限公司 脉冲数据读出方法和装置、系统、设备和介质
CN115866427B (zh) * 2023-01-17 2023-05-12 脉冲视觉(北京)科技有限公司 脉冲数据读出方法和装置、系统、设备和介质
CN116456202A (zh) * 2023-04-25 2023-07-18 北京大学 脉冲相机及其彩色成像方法及装置
CN116456202B (zh) * 2023-04-25 2023-12-15 北京大学 脉冲相机及其彩色成像方法及装置

Also Published As

Publication number Publication date
CN113034634B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN113034634B (zh) 基于脉冲信号的自适应成像方法、系统及计算机介质
Baldwin et al. Time-ordered recent event (tore) volumes for event cameras
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
Li et al. Aod-net: All-in-one dehazing network
Nair et al. At-ddpm: Restoring faces degraded by atmospheric turbulence using denoising diffusion probabilistic models
CN113076685B (zh) 图像重建模型的训练方法、图像重建方法及其装置
CN109584204A (zh) 一种图像噪声强度估计方法、存储介质、处理及识别装置
CN110097509B (zh) 一种局部运动模糊图像的复原方法
CN112991389B (zh) 一种目标跟踪方法、装置及移动机器人
WO2022184167A1 (zh) 成像方法、装置、设备及存储介质
CN113067979A (zh) 基于仿生式脉冲相机的成像方法、装置、设备及存储介质
CN114584703B (zh) 仿生式脉冲相机的成像方法、装置、设备及存储介质
CN113554726B (zh) 基于脉冲阵列的图像重构方法、装置、存储介质及终端
JP2022027464A (ja) 映像の深度推定に関する方法及び装置
CN114897728A (zh) 图像增强方法、装置、终端设备以及存储介质
CN114881921A (zh) 基于事件及视频融合的去遮挡成像方法及装置
CN116823642A (zh) 一种图像运动模糊去除方法、装置、电子设备及介质
CN106651903B (zh) 一种运动物体检测方法
CN108876807B (zh) 一种实时星载卫星图像运动对象检测跟踪方法
CN107169997B (zh) 面向夜间环境下的背景减除方法
CN116309729B (zh) 目标追踪方法、装置、终端、系统及可读存储介质
Li et al. Deep image quality assessment driven single image deblurring
CN108648463B (zh) 一种路口交通视频中车辆检测方法及系统
CN116091337A (zh) 一种基于事件信号神经编码方式的图像增强方法及装置
Jeong et al. Image synthesis algorithm for road object detection in rainy weather

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220125

Address after: 100084 b501b-2, 5th floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing

Applicant after: Pulse vision (Beijing) Technology Co.,Ltd.

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Applicant before: Peking University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant