CN116482398B - 一种用于确定脉冲成像的移动速度的方法和系统 - Google Patents

一种用于确定脉冲成像的移动速度的方法和系统 Download PDF

Info

Publication number
CN116482398B
CN116482398B CN202310755260.9A CN202310755260A CN116482398B CN 116482398 B CN116482398 B CN 116482398B CN 202310755260 A CN202310755260 A CN 202310755260A CN 116482398 B CN116482398 B CN 116482398B
Authority
CN
China
Prior art keywords
determining
speed
pulse
preset
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310755260.9A
Other languages
English (en)
Other versions
CN116482398A (zh
Inventor
熊瑞勤
王元琳
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202310755260.9A priority Critical patent/CN116482398B/zh
Publication of CN116482398A publication Critical patent/CN116482398A/zh
Application granted granted Critical
Publication of CN116482398B publication Critical patent/CN116482398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及信号处理领域，公开了一种用于确定脉冲成像的移动速度的方法和系统，包括：在连续脉冲阵列中确定参考帧和第一目标帧，根据参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；在连续脉冲阵列中确定多个第二目标帧，根据初始移动速度、参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及对应的最佳匹配像素；使用最佳匹配像素及周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；根据整像素偏移量移动速度和亚像素偏移量移动速度，确定参考帧的成像移动速度，从而在亚像素级确定成像移动速度。

Description

一种用于确定脉冲成像的移动速度的方法和系统
技术领域
本申请涉及信号处理领域，尤其涉及一种用于确定脉冲成像的移动速度的方法和系统。
背景技术
卫星成像主要采用光学成像和合成孔径雷达成像技术从太空对地球等天体的表面进行成像，从而用于地质、交通、环境、农林业的监测以及军事侦察。卫星成像系统主要有高分辨率光学成像系统、高光谱及超光谱卫星成像系统等。如今，卫星成像系统正在向高分辨率、高度集成、全数字、小型化方向发展。对于非静止轨道卫星而言，卫星对地观测需要解决的首要问题是卫星相对地面的高速运动，典型情况是星下点的移动速度可达每秒7.9千米。因此地面物体在传感器上所投射的像会以很高的速度移动，给卫星成像带来挑战。当前卫星成像芯片多采用延时积分技术（Time-Delayed Integration，TDI），通过受精确控制的像素间累积电荷转移来实现所累积的电荷和所成像之间的同步移动。但延时积分技术要求芯片上的电荷转移和卫星相对地面的移动之间高度匹配，极细微的方向偏差和速度偏差都会导致成像分辨率的下降和画面的模糊，因此延时积分技术的级数通常比较受限。传统的卫星成像技术对可能存在的其他高速运动也比较敏感。
近年来，一种包含光感受器、积分器和阈值比较器的脉冲相机被提出。脉冲相机以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，具有高时空分辨率，体积、能耗小，成像简单等特点，既可以实现高速运动下对场景的捕捉和记录，又可以重构出场景中纹理细节，因此将其应用于卫星遥感成像的前景很广阔。利用记录频率高达数十万赫兹甚至更高频率的高速脉冲相机对地面进行连续脉冲式拍摄，之后可以用记录的高速脉冲流重构出高分辨率地面图像。但是其中的一个关键问题是需要从脉冲数据流中准确分析出卫星相对地面的移动速度，并且精度和灵敏度要达到亚像素级，因为精度会直接影响脉冲式卫星成像的清晰度。
综上所述，需要提供一种能够在亚像素级确定脉冲成像的移动速度的方法和系统。
发明内容
为解决以上问题，本申请提出了一种用于确定脉冲成像的移动速度的方法和系统。
一方面，本申请提出一种用于确定脉冲成像的移动速度的方法，包括：
在连续脉冲阵列中确定参考帧和第一目标帧，根据所述参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；
在所述连续脉冲阵列中确定多个第二目标帧，根据所述初始移动速度、所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素；
使用所述最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；
根据所述整像素偏移量移动速度和所述亚像素偏移量移动速度，确定所述参考帧的成像移动速度。
优选地，所述脉冲特征为所述连续脉冲阵列中一个脉冲帧的像素的脉冲特征，所述脉冲特征的确定方法包括：
根据所述像素在第一预设时间段内的脉冲数量，确定所述像素的脉冲特征；和/或，
以所述像素所处的时刻为中心，基于在时间上与所述像素最近的一对脉冲的脉冲时间间隔值，确定所述像素的脉冲特征；和/或，
根据所述像素在第二预设时间段和第一预设空间偏移内的脉冲，以及预设一个或多个三维时空掩码，确定所述像素的脉冲特征；和/或，
根据所述像素在第二预设时间段和第一预设空间偏移内的所述脉冲时间间隔值和预设一个或多个三维时空掩码，确定所述像素的脉冲特征。
优选地，所述在连续脉冲阵列中确定参考帧和第一目标帧，根据所述参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度，包括：
取所述连续脉冲阵列中待确定速度的一个脉冲帧作为参考帧；
根据第一预设间隔，在所述参考帧的周围取一个或多个脉冲帧作为第一目标帧，得到一个或多个第一目标帧和每个所述第一目标帧与所述参考帧的时间偏移量；
根据预设速度极值和所述时间偏移量确定初始速度范围和第一最大空间偏移量；
根据所述初始速度范围、所述时间偏移量和所述第一最大空间偏移量，计算所述参考帧与每个所述第一目标帧在不同空间偏移量下的脉冲特征的相关性值，得到与所述初始速度范围中不同移动速度对应的多个相关性值；
将最大的所述相关性值对应的移动速度作为初始移动速度。
优选地，所述在所述连续脉冲阵列中确定多个第二目标帧，根据所述初始移动速度、所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素，包括：
根据第二预设间隔、所述参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧；
根据所述初始移动速度，计算所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的所述相关性值对应的移动速度作为待搜索速度；
根据预设间隔倍数集和所述第二预设间隔，更新所述第二预设间隔；
根据更新后的所述第二预设间隔、所述参考帧和所述预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧；
根据所述待搜索速度，计算所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的所述相关性值对应的移动速度作为所述待搜索速度；
返回所述根据预设间隔倍数和所述第二预设间隔，更新所述第二预设间隔的步骤循环执行，直至所述更新后的所述第二预设间隔到参考帧的距离大于预设时间范围为止，将最终的待搜索速度作为整像素偏移量移动速度，将所述整像素偏移量移动速度对应的像素作为最佳匹配像素。
优选地，所述根据第二预设间隔、所述参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，包括：
从预设等时间集合内选择一个预设等时间间隔；
将所述参考帧作为所述第二预设间隔的一个端点，在所述第二预设间隔内，根据所述预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，或
将所述参考帧作为两个相连的所述第二预设间隔的共同端点，在两个相连的所述第二预设间隔内，根据所述预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧。
优选地，所述根据所述初始移动速度，计算所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的所述相关性值对应的移动速度作为待搜索速度，包括：
根据所述初始移动速度和第二最大空间偏移量，确定所述参考帧的相关值计算区域；
根据所述第二最大空间偏移量确定偏移速度极值；
根据所述偏移速度极值和所述初始移动速度，确定搜索速度范围；
根据所述搜索速度范围、所述相关值计算区域在所述参考帧中的坐标范围和每个所述第二目标帧与所述参考帧的时间偏移量，计算所述相关值计算区域在不同移动速度中与所有所述第二目标帧中对应区域的所述脉冲特征的相关性值，得到与所述搜索速度范围中不同移动速度对应的多个相关性值；
将最大的所述相关性值对应的移动速度作为待搜索速度。
优选地，所述根据预设间隔倍数集和所述第二预设间隔，更新所述第二预设间隔，包括：
从预设间隔倍数集中选择一个预设间隔倍数；
根据被选择的所述预设间隔倍数和所述第二预设间隔，确定新的第二预设间隔并更新，使更新后的所述第二预设间隔大于更新前的所述第二预设间隔。
优选地，所述第二最大空间偏移量根据第一预设间隔内最后一个所述第一目标帧与所述参考帧的间隔、所述第二预设间隔内最后一个所述第二目标帧与所述参考帧的间隔确定，或根据前一阶段的第二预设间隔内最后一个所述第二目标帧与所述参考帧的间隔、当前的所述第二预设间隔内最后一个所述第二目标帧与所述参考帧的间隔确定。
优选地，所述使用所述最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度，包括：
根据预设像素范围，在所述最佳匹配像素周边确定多个周围像素；
根据多个所述周围像素与最佳匹配像素的相关性值确定相关性度量曲面的所有曲面参数；
根据所有所述曲面参数，建立相关性度量曲面；
根据所述相关性度量曲面，确定亚像素偏移量移动速度。
第二方面，本申请提出一种用于确定脉冲成像的移动速度的系统，包括：
整像素偏移量移动速度计算模块，用于在连续脉冲阵列中确定参考帧和第一目标帧，根据所述参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；在所述连续脉冲阵列中确定多个第二目标帧，根据所述初始移动速度、所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素；
亚像素偏移量移动速度计算模块，用于使用所述最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；
成像移动速度计算模块，用于根据所述整像素偏移量移动速度和所述亚像素偏移量移动速度，确定所述参考帧的成像移动速度。
本申请的优点在于：基于脉冲特征的相关性，在连续脉冲阵列中确定参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，通过相关性值确定整像素偏移量移动速度及其对应的最佳匹配像素，能够提高整像素偏移量移动速度的精度；使用最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度，能够确定脉冲成像速度在亚像素级的偏移量；结合整像素偏移量移动速度和亚像素偏移量移动速度，能够在亚像素级确定脉冲成像中参考帧的成像移动速度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：
图1是本申请提供的一种用于确定脉冲成像的移动速度的方法的步骤示意图；
图2是本申请提供的一种用于确定脉冲成像的移动速度的方法的第二预设间隔的示意图；
图3是本申请提供的一种用于确定脉冲成像的移动速度的方法的流程示意图；
图4是本申请提供的一种用于确定脉冲成像的移动速度的方法的第一目标帧的相关性值计算的示意图；
图5是本申请提供的一种用于确定脉冲成像的移动速度的方法的搜索范围随时间增加而减小的示意图；
图6是本申请提供的一种用于确定脉冲成像的移动速度的方法的整像素偏移量移动速度和最佳匹配像素的相关性值计算的示意图；
图7是本申请提供的一种用于确定脉冲成像的移动速度的方法的相关值计算区域示意图；
图8是本申请提供的一种用于确定脉冲成像的移动速度的方法的在基于帧间相关性值计算获得的运动位移为整像素时的整像素偏移量移动速度的性能示意图；
图9是本申请提供的一种用于确定脉冲成像的移动速度的方法的在运动位移为亚像素时的更高精度移动速度偏移估计上的性能示意图；
图10是本申请提供的一种用于确定脉冲成像的移动速度的系统的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本申请的实施方式，提出一种用于确定脉冲成像的移动速度的方法，如图1所示，包括：
S101，在连续脉冲阵列中确定参考帧和第一目标帧，根据参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；
S102，在连续脉冲阵列中确定多个第二目标帧，根据初始移动速度、参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素；
S103，使用最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；
S104，根据整像素偏移量移动速度和亚像素偏移量移动速度，确定参考帧的成像移动速度。
脉冲特征为连续脉冲阵列中一个脉冲帧的像素的脉冲特征，脉冲特征的确定方法包括：根据像素在第一预设时间段内的脉冲数量，确定像素的脉冲特征；和/或，以像素所处的时刻为中心，基于在时间上与像素最近的一对脉冲的脉冲时间间隔值，确定像素的脉冲特征；和/或，根据像素在第二预设时间段和第一预设空间偏移内的脉冲，以及预设一个或多个三维时空掩码，确定像素的脉冲特征；和/或，根据像素在第二预设时间段和第一预设空间偏移内的脉冲时间间隔值和预设一个或多个三维时空掩码，确定像素的脉冲特征。其中，三维时空掩码可以是预设的。
像素的脉冲特征的确定，具体地，可以基于该像素位置上脉冲的脉冲间隔，也可以基于该像素位置上一定时间窗口范围内的脉冲数量作为脉冲特征。可以使用一种、多种或所有以上提出的方法确定像素的脉冲特征。
根据像素在第一预设时间段内的脉冲数量，确定像素的脉冲特征的方法，是根据光照强度与脉冲发放频率成正比这一特性，采用该像素在一定时间窗口范围内的脉冲数量作为脉冲特征实现的，其优选实施方法为：
其中，表示使用此计算方法获得的脉冲特征。/>表示脉冲矩阵，/>表示某像素坐标，t表示待计算脉冲特征的像素在连续脉冲阵列中所处的时刻，/>表示以时刻t为中心的一定时间窗口范围内的时刻值，例如/>，其中，L为时间窗口的范围长度极值。该时间窗口的长度L可根据脉冲矩阵中场景的亮度进行设定。对于较亮场景可选择稍短的窗口长度，而对于较暗的场景可选择较长的窗口长度。/>表示/>中的某个特定时间（时刻值）。
以像素所处的时刻为中心，基于在时间上与像素最近的一对脉冲的脉冲时间间隔值，确定像素的脉冲特征的方法，是根据光照强度与脉冲发放间隔成反比这一特性，采用该像素当前时间位置上最近脉冲对之间的间隔作为脉冲特征实现的，其优选实施方法为：
其中，表示使用此计算方法获得的脉冲特征，/>表示某像素坐标，t表示某个特定时间；/>表示/>的像素位置上从当前时刻t向后可以找到的第一个脉冲的时间位置，/>表示/>的像素位置上从当前时刻t向前可以找到的第一个脉冲的时间位置；/>表示一个反映脉冲发放阈值的常数。
根据像素在第二预设时间段和第一预设空间偏移内的脉冲，以及三维时空掩码，确定像素的脉冲特征的方法，是依据图像匹配对图像信息中的空域高频细节较为敏感的特点，可采用该像素在一定时间、空间邻域窗口范围内的脉冲与一个三维时空掩码（时空三维掩码）的乘积和作为当前时刻当前像素位置的脉冲特征实现的，其优选实施方法为：
其中，表示使用此计算方法获得的脉冲特征，/>表示脉冲矩阵，/>表示像素坐标，t表示某个特定时间。/>表示空间坐标偏移量，/>表示时间偏移量，/>是三维时空掩码。/>表示以当前时刻为中心的一定时间窗口范围内的时刻偏移值集合，例如/>，其中，L为时间窗口的范围长度极值。该时间窗口/>的长度可根据场景的亮度来选择。对于较亮场景可选择稍短的窗口长度，而对于较暗的场景可选择较长的窗口长度。空间偏移量/>的偏移范围由空间窗口W的大小限定，具体地，为/>，/>。
根据像素在第二预设时间段和第一预设空间偏移内的脉冲时间间隔值和三维时空掩码，确定像素的脉冲特征的方法，是将脉冲间隔和空域高频提取相结合来提以取更有分辨性的脉冲特征的方法，可采用该像素在一定时间、空间邻域窗口范围内的脉冲间距倒数与一个时空三维掩码的乘积的和作为当前时刻当前像素位置的脉冲特征：
其中，表示使用此计算方法获得的脉冲特征，/>表示像素坐标，t表示特定时间。/>表示在/>对应的像素位置上从当前时刻t向后可以找到的第一个脉冲的时间位置，/>表示在/>对应的像素位置上从当前时刻t向前可以找到的第一个脉冲的时间位置；/>是一个反映脉冲发放阈值的常数。/>表示空间坐标偏移量，/>表示时间偏移量，/>是三维时空掩码。/>表示以当前时刻为中心的一定时间窗口范围内的时刻偏移值集合，例如/>，其中，L为时间窗口的范围长度极值。该时间窗口的长度L可根据场景的亮度进行选择。对于较亮场景可选择稍短的窗口长度，而对于较暗的场景可选择较长的窗口长度。空间窗口/>的大小限定了空间偏移量/>的范围，即，/>。
对于使用脉冲特征F3和F4的计算中所使用的三维时空掩码，为达到提取多重空域高频细节特征的目的，还可以使用一组三维时空掩码，产生多个脉冲特征，而非单个三维时空掩码；每个时空掩码的取值可通过一个时间方向的低通滤波器/>与一个空域方向的高频滤波器/>生成，即
其中，表示空间坐标偏移量，/>表示时间偏移量，i表示一组中的某1个，/>表示一组三维时空掩码中的某一个三维时空掩码；/>表示与/>对应的高频滤波器。
对于使用多种以上提出的计算脉冲特征的方法来确定像素脉冲特征，以使用以上所有脉冲特征计算方法得到脉冲特征为例，其可以表示为：
由上述多个脉冲特征构成一个多维脉冲特征向量，该向量包含上述多种特征的数值。
在连续脉冲阵列中确定参考帧和第一目标帧，根据参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度，包括：取连续脉冲阵列中待确定速度的一个脉冲帧作为参考帧；根据第一预设间隔，在参考帧的周围取一个或多个脉冲帧作为第一目标帧，得到一个或多个第一目标帧和每个第一目标帧与参考帧的时间偏移量；根据预设速度极值和时间偏移量确定初始速度范围和第一最大空间偏移量；根据初始速度范围、时间偏移量和第一最大空间偏移量，计算参考帧与每个第一目标帧在不同空间偏移量下的脉冲特征的相关性值，得到与初始速度范围中不同移动速度对应的多个相关性值；将最大的相关性值对应的移动速度作为初始移动速度。预设速度极值可以根据脉冲相机运动速度的先验确定，即脉冲相机的移动速度不会超过的数值是可知的，所以初始速度范围为0至预设速度极值。
在连续脉冲阵列中确定多个第二目标帧，根据初始移动速度、参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素，包括：根据第二预设间隔、参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧；根据初始移动速度，计算参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的相关性值对应的移动速度作为待搜索速度；根据预设间隔倍数集和第二预设间隔，更新第二预设间隔；根据更新后的第二预设间隔、参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧；根据待搜索速度，计算参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的相关性值对应的移动速度作为待搜索速度；返回根据预设间隔倍数和第二预设间隔，更新第二预设间隔的步骤循环执行，直至更新后的第二预设间隔大于预设时间范围为止，将最终的待搜索速度作为整像素偏移量移动速度，将整像素偏移量移动速度对应的像素作为最佳匹配像素。每次得到的待搜索速度都会替换之前得到的待搜索速度。其中，第二预设间隔大于第一预设间隔，预设时间范围是在连续脉冲阵列中预先设定的时间范围，在此时间范围内，参考帧的移动速度保持不变。
根据初始移动速度，计算参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的相关性值对应的移动速度作为待搜索速度，包括：根据初始移动速度和第二最大空间偏移量，确定参考帧的相关值计算区域；根据第二最大空间偏移量确定偏移速度极值；根据偏移速度极值和初始移动速度，确定搜索速度范围；根据搜索速度范围、相关值计算区域在参考帧中的坐标范围和每个第二目标帧与参考帧的时间偏移量，计算相关值计算区域与所有第二目标帧中对应区域的脉冲特征的相关性值，得到与搜索速度范围中不同移动速度对应的多个相关性值；将最大的相关性值对应的移动速度作为待搜索速度。
根据预设间隔倍数集和第二预设间隔，更新第二预设间隔，包括：从预设间隔倍数集中选择一个预设间隔倍数；根据被选择的预设间隔倍数和第二预设间隔，确定新的第二预设间隔并更新，使更新后的第二预设间隔大于更新前的第二预设间隔。
第二预设间隔是以参考帧作为端点的正向或负向时间段的范围。新的第二预设间隔=第二预设间隔×预设间隔倍数。以当前的第二预设间隔为10，预设间隔倍数集为｛1、2、3、4、5、6、7、8、9、10……n｝为例，假设选择5作为预设间隔倍数，则新的第二预设间隔=10×5=50。在下次进行第二预设间隔更新的时候，从预设间隔倍数集中重新选择一个预设间隔倍数，假设为2，则新的第二预设间隔=50×2=100。预设间隔倍数集也可以包括小数，如｛1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2、2.1……n｝。预设间隔倍数的选择，优选地，在第二预设间隔较小的情况下，选择较大的数值更新第二预设间隔，在第二预设间隔较大时，选择较小的数值更新第二预设间隔。较小的预设间隔倍数使第二最大空间偏移量相应变小，当预设间隔倍数为小数时，在计算第二最大空间偏移量时，可以对小数进行向上取整，即若第二最大空间偏移量为2.1，则将2.1向上取整得到3，将3作为第二最大空间偏移量。当更新后的第二预设间隔以参考帧为端点，其另一端的时间点大于预设时间范围的一端时，将最终得到的待搜索速度作为整像素偏移量移动速度，将整像素偏移量移动速度对应的像素作为最佳匹配像素。如图2所示，假设参考帧的时间为tr，预设时间范围为[tr-tx，tr+tx]，更新前的第二预设间隔为k2，且≤|±tx|，当更新后的第二预设间隔ck2大于|±tx|时，可以停止更新第二预设间隔，将最终得到的待搜索速度（已经得到的待搜索速度）作为整像素偏移量移动速度，将整像素偏移量移动速度对应的像素作为最佳匹配像素。
若更新后的第二预设间隔只超过预设时间范围的一端，则可以将更新前的第二预设间隔作为暂存第二预设间隔并保留，继续更新第二预设间隔，直至更新后的第二预设间隔的时长在以参考帧为端点时，同时超过预设时间范围的两端，将最终得到的待搜索速度作为整像素偏移量移动速度，将整像素偏移量移动速度对应的像素作为最佳匹配像素。假设预设时间范围为[tr-ta，tr+tb]，且ta≠tb，参考帧对应的时间为tr且作为预设时间范围的时间0点，更新前的第二预设间隔为k2,若更新后的第二预设间隔ck2在以参考帧作为其一端的端点时，其时间范围只大于|tb|和|-ta|中的一个，如图2所示，ck2≤|-ta|且ck2＞|tb|，其中c为预设间隔倍数，则可以将更新前的第二预设间隔k2作为暂存第二预设间隔并保留，继续更新第二预设间隔，直至更新后的第二预设间隔覆盖时间范围同时大于|tr-ta|和|tr+tb|，停止更新第二预设时间间隔，将最终得到的待搜索速度作为整像素偏移量移动速度，将整像素偏移量移动速度对应的像素作为最佳匹配像素。第一预设间隔和第二预设间隔均为时间间隔长度。
根据第二预设间隔、参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，包括：从预设等时间集合内选择一个预设等时间间隔；将参考帧作为第二预设间隔的一个端点，在第二预设间隔内，根据预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，或将参考帧作为两个相连的第二预设间隔的共同端点，在两个相连的第二预设间隔内，根据预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，或将参考帧作为相连的第二预设间隔和暂存第二预设间隔的共同端点，在相连的第二预设间隔和暂存第二预设间隔内，根据预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧。预设等时间间隔包括：1、2、3、4、5、6、7、8、9、10……n，用于改变提取的第二目标帧的数量，其单位与连续脉冲阵列的时间单位对应。预设等时间间隔，可以选择能够被第二预设间隔整除的数值，或选择能够同时被第二预设间隔和暂存第二预设间隔整除的数值。若预设等时间间隔为不能被第二预设间隔整除的数值，则可以将第二预设间隔内与参考帧距离最远的脉冲帧也作为第二目标帧。若预设等时间间隔为不能够同时被第二预设间隔和暂存第二预设间隔整除的数值，则可以将第二预设间隔内与参考帧距离最远的脉冲帧也作为第二目标帧，并将暂存第二预设间隔内与参考帧距离最远的脉冲帧也作为第二目标帧。以第二预设间隔为30且在以参考帧为0点的时间轴负方向，暂存第二预设间隔为10且在以参考帧为0点的时间轴正方向为例，由于参考帧为时间0点且为相连的第二预设间隔和暂存第二预设间隔的共同端点，因此从参考帧到第二预设间隔的另一端的时间长度为-30至0，从参考帧到暂存第二预设间隔的另一端的时间长度为0至10，因此，选择能同时被30和10整除的数值作为预设等时间间隔。
第二最大空间偏移量根据第一预设间隔内最后一个第一目标帧与参考帧的间隔、第二预设间隔内最后一个第二目标帧与参考帧的间隔确定，或根据前一阶段的第二预设间隔内最后一个第二目标帧与参考帧的间隔、当前的第二预设间隔内最后一个所述第二目标帧与参考帧的间隔确定。在第一预设间隔内与参考帧距离最远的第一目标帧为第一预设间隔内的最后一帧的情况下，且第二预设间隔内与参考帧距离最远的第二目标帧为第二预设间隔内的最后一帧的情况下，第二最大空间偏移量可以根据第一预设间隔和第二预设间隔的比值或倍数确定。在前一阶段的第二预设间隔内与参考帧距离最远的第二目标帧为前一阶段第二预设间隔内的最后一帧的情况下，且当前的第二预设间隔内与参考帧距离最远的第二目标帧为当前的第二预设间隔内的最后一帧的情况下，第二最大空间偏移量可以根据前一阶段的第二预设间隔与当前的第二预设间隔的比值或倍数确定。在获得初始移动速度之前，根据预设速度极值确定第一最大空间偏移量。在第一次获得待搜索速度后，更新第二预设间隔，第二最大空间偏移量根据上一次（前一阶段）的第二预设间隔内最后一个第二目标帧与参考帧的间隔、当前的第二预设间隔内最后一个第二目标帧与参考帧的间隔之间的倍数确定。
根据待搜索速度，计算参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的相关性值对应的移动速度作为待搜索速度，包括：根据待搜索速度和第二最大空间偏移量，确定参考帧的相关值计算区域；根据第二最大空间偏移量确定偏移速度极值；根据偏移速度极值和待搜索速度，确定搜索速度范围；根据搜索速度范围、相关值计算区域在参考帧中的坐标范围和每个第二目标帧与参考帧的时间偏移量，计算相关值计算区域在不同移动速度中与所有第二目标帧中对应区域的脉冲特征的相关性值，得到与搜索速度范围中不同移动速度对应的多个相关性值；将最大的相关性值对应的移动速度作为待搜索速度。
使用最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度，包括：根据预设像素范围，在最佳匹配像素周边确定多个周围像素；根据多个周围像素与最佳匹配像素的相关性值确定相关性度量曲面的所有曲面参数；根据所有曲面参数，建立相关性度量曲面；根据相关性度量曲面，确定亚像素偏移量移动速度。对于根据多个周围像素的相关性值和最佳匹配像素的相关性值确定相关性度量曲面的所有曲面参数，可用最小二乘法。
初始移动速度包括：水平初始移动速度和垂直初始移动速度；整像素偏移量移动速度包括：水平整像素偏移量移动速度和垂直整像素偏移量移动速度；亚像素偏移量移动速度为速度在亚像素级上的偏移量，包括：水平亚像素偏移量移动速度和垂直亚像素偏移量移动速度。
下面，以图3为例，对本申请实施例进行进一步说明。
由于在一定的时间范围内，脉冲数据流符合光度一致性，即对于多帧间运动方向对应的点（像素点）而言，其光度几乎不变，也即多帧间运动对应点的脉冲信息相关性高。因此，可以利用此特性在一定时间范围内选取多帧脉冲信息，在一定的空间窗口内进行多帧脉冲特征相关性计算，并对窗口内各点的相关性值进行累加；将相关性最强处对应的移动速度作为真实移动速度的估计值。
首先，如图4所示，取连续脉冲阵列中待确定速度的一个脉冲帧作为参考帧。根据第一预设间隔，在参考帧的周围取一个或多个脉冲帧作为第一目标帧。由于第一预设间隔是时间的间隔长度，因此可以得到一个或多个第一目标帧，以及每个第一目标帧与参考帧的时间偏移量。以参考帧的时间为tr为例，若第一预设间隔为3k1，则可以选择以参考帧的时间tr为0点的时间偏移量为+3k1以及-3k1处对应的两个第一目标帧（第一目标帧tr+3k1和第一目标帧tr-3k1），也可以选择时间偏移量为+3k1或-3k1处对应的一个第一目标帧（第一目标帧tr+3k1或第一目标帧tr-3k1）。还可以根据需要，设置固定时间间隔，获取多个第一目标帧，若固定时间间隔为不能被第一预设间隔整除的数值，则可以将第一预设间隔内与参考帧距离最远的脉冲帧也作为第一目标帧。如图4所示，在第一预设间隔3k1中将固定时间间隔设置为k1,则在第一预设间隔中还可以获得tr+2k1、tr+k1、tr-k1和tr-2k1这4个第一目标帧。根据预设速度极值和时间偏移量确定初始速度范围和第一最大空间偏移量。图4中，参考帧与各第一目标帧之间的点和贯穿各帧的实线和两条虚线，表示目标帧在初始速度范围内根据不同移动速度移动后，其中心点像素在每个第一目标帧上可能对应的区域。由于初始速度范围是根据预设速度极值确定的速度范围，因此参考帧中的一个像素点在经过一定时间后会在空间上产生偏移量。由于预设速度极值包括水平速度极值与垂直速度极值，因此，初始速度范围包括水平方向的移动速度和垂直方向的移动速度。第一最大空间偏移量由预设速度极值与时间偏移量决定。根据提到的计算脉冲特征的方法，计算参考帧和每个第一目标帧中的每个像素的脉冲特征，优选地，使用上述提到的所有计算脉冲特征的方法，得到每个像素对应的多维脉冲特征向量作为脉冲特征。
其次，根据初始速度范围和时间偏移量，计算参考帧与每个第一目标帧在初始速度范围内不同移动速度下（包括初始速度范围的极值）的脉冲特征的相关性值，得到多个相关性值。将最大的相关性值对应的速度作为初始移动速度。脉冲特征相关性的度量方式有多种选择，例如可以采用脉冲特征的均方误差、平均绝对误差，绝对差值和等。本申请的实施方式使用参考帧与第一目标帧，以及参考帧与第二目标帧对应区域的各像素位置的脉冲特征相关(Correlation)值总和作为多帧间特征相关性的度量。选择的相关值准则如下，在当前时间范围下利用多个目标帧（第一目标帧或第二目标帧）和参考帧进行对应区域特征相关值计算，从而获得不同移动速度下，即不同空间坐标偏移下的多帧相关累计值，最后对此累计值进行归一化。即针对/>，计算/>，得到一组速度下参考帧与多个目标帧之间的相关性值的和，作为此组速度的相关性值。移动速度的相关性值的计算，优选地，使用如下公式（1）：
（1）
其中，下标表示参考帧(即当前要估计运动速度的帧)，下标/>表示目标帧，在此处表示第一目标帧，/>表示在t时刻的参考帧上，坐标点位于（x,y）的像素的脉冲特征，表示与/>对应的第一参考帧的像素的脉冲特征。/>为在水平方向和垂直方向上的移动速度。Ω为参考帧上计算相关值的位置区域，即相关值计算区域。/>表示以参考帧为0点的等间隔的离散时刻值，例如/>，其中/>为预设等时间间隔，单位可以为拍，由于在计算初始移动速度时，通常只使用与参考帧的时间间隔为第一预设间隔的脉冲帧作为第一目标帧，此时，如图4所示，若第一预设间隔为3k1，且只选择-3k1和+3k1对应的第一目标帧，通过公式（1）计算相关性值，则/>在此处为第一预设间隔3k1，Lk为3k1，-LK为-3k1，/>。若根据第一预设间隔3k1，只使用与参考帧的时间间隔为第一预设间隔的一个脉冲帧作为第一目标帧，通过公式（1）计算相关性值，则/>或/>。若需要在第一预设间隔3k1内获取更多第一目标帧，则如图4所示，可以将k1作为固定时间间隔k，第一预设间隔3k1为Lk。/>表示当前时间窗口/>内的时刻数，/>表示相关值计算区域Ω的面积。在这里，/>表示当前时间窗口范围下设置的初始速度范围或搜索速度范围。用于确定初始移动速度的初始速度范围为0至预设速度极值；用于确定待搜索速度的搜索速度范围根据偏移速度极值和初始移动速度确定，或根据偏移速度极值和现有的待搜索速度（即前一次确定的待搜索速度）确定。搜索速度范围大小可以随着当前考虑的时间窗长度变化倍数而变化。对于计算初始移动速度，可以优选地计算参考帧中的像素根据移动速度与第一目标帧中对应的像素的相关性值，得到多个相关性值。将相关性值最大的像素点对应的水平方向的速度和垂直方向的速度作为初始移动速度。
最大相关性值的确定，优选地，转变为求负相关值最小值对应坐标的过程，使用如下公式（2）：
（2）
搜索得到的即为此时间范围下的最佳移动速度估计值，在此处为在正、负第一预设间隔所标定的时间范围内所确定的初始移动速度。
由于移动速度的估计精度（以给定时间距离下移动偏差的像素数为单位）与时间距离成反比；即，在使用上述公式（1）和公式（2）确定整像素偏移量移动速度时考虑的时间距离越长，估计的整像素偏移量移动速度的精度越高。因此，为了获得高精度的移动速度估计值，本申请的实施方式通过在输入的预设时间段内的连续脉冲阵列中，分阶段逐步扩大时间距离；每个阶段都在上一阶段所得的待搜索速度值的周边，使用公式（1）和公式（2）进行进一步搜索，随着时间距离的增加，可搜索的空间范围会逐渐缩小，最终得到整像素偏移量移动速度及其对应的像素。如图5所示，其中k1为第一预设间隔，k2为第二预设间隔，2k2为更新后的第二预设间隔。由于初始速度范围由预设速度极值确定，所以初始速度的范围较大，因此，初始速度范围在第一目标帧中对应的搜索空间范围Q1及第一目标帧中用于与参考帧的相关值计算区域计算相关性值的区域会较大；由于根据初始移动速度和第二最大空间偏移量确定的搜索速度范围比初始速度范围小很多，搜索速度范围被限制在了之前得到的初始移动速度附近，因此，搜索速度范围在第二预设间隔k2中tr+k2处的第二目标帧中对应的搜索空间范围Q2及第二目标帧中用于与参考帧的相关值计算区域计算相关性值的区域）会更小；同理，由于当前阶段的搜索速度范围根据前一阶段获得的待搜索速度和第二最大空间偏移量确定，第二最大空间偏移量根据前一阶段和当前阶段的第二预设间隔的比值确定，因此当前阶段的搜索速度范围在经过更新后的第二预设间隔2k2中tr+2k2处的第二目标帧中对应的搜索空间范围Q3会跟随比值的减小而减小；因此，若k1:k2为1:3，k2:2k2为1:2则参考帧与第一目标帧、第二目标帧tr+k2以及更新后的第二预设间隔对应的第二目标帧tr+2k2的对应空间搜索范围Q1＞Q2＞Q3。如图3所示，S101的确定初始移动速度和S102的确定整像素偏移量移动速度及其对应的最佳匹配像素，均为使用公式（1）和公式（2），根据多帧间的特征相关性值确定速度的步骤。具体区别在于，用于确定初始移动速度的第一预设间隔小于第二预设间隔、以及不需要多次循环地使用公式（1）和公式（2）确定初始移动速度。
下面，对本申请中确定最佳匹配像素及其对应的整像素偏移量移动速度的实施例进行进一步说明。
如图6所示，首先，根据第二预设间隔Lk2和预设等时间间隔k2，在连续脉冲阵列中的参考帧周围确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，其中，此第二预设间隔Lk2由上一阶段的第二预设间隔L’k2 ’乘以某一预设间隔倍数后更新获得。根据预设等时间间隔k2在以正、负第二预设间隔确定的时间范围（-Lk2至+Lk2）内选择所有可选的脉冲帧，作为第二目标帧，得到2L个第二目标帧。图6中，参考帧与各第二目标帧之间的点和贯穿各帧的实线和两条虚线，表示空间偏移量随时间间隔的增加而增加。第二最大空间偏移量为当前阶段最后一个第二目标帧和参考帧间的最大空间偏移量，中间的多个第二目标帧的空间偏移量根据第二最大空间偏移量和第二目标帧和参考帧的时间距离确定。
其次，需要根据初始移动速度和第二最大空间偏移量，确定参考帧的相关值计算区域。如图7所示，R为参考帧，P1为与参考帧R对应的时间点tr相隔时间为第二预设间隔Lk2的第二目标帧，参考帧R1用于表示第二目标帧P1与参考帧R的图像的位置关系，在进行匹配与相关性值计算时，参考帧R中不动，因此参考帧R与参考帧R1中的脉冲及其像素位置相同，即，在图7中，可以将参考帧R1视为参考帧R在第二目标帧P1所处时间位置tr+Lk2处的投影。确定参考帧R1与tr+Lk2对应的第二目标帧P1之间可以重叠的区域。在进行匹配与相关性值计算时，参考帧R不动，使用第一目标帧或第二目标帧根据初始速度范围或搜索速度范围中的移动速度、根据第一预设或第二预设间隔确定的时间间隔等信息相对于参考帧R进行移动，由此得到重叠区域。但是由于初始移动速度是一个粗略的估计值，因此在水平和垂直方向，均可能出现偏移，第二目标帧P2和第二目标帧P3均为第二目标帧P1在不同空间偏移量下与参考帧R1之间的可能的相对位置。优选地，对于第二目标帧在可能出现的所有空间偏移量的情况下，将参考帧R1一直能够与其重叠的区域作为相关值计算区域。如图7所示，假设参考帧为R，P1为与初始移动速度对应的tr+Lk2处的第二目标帧，参考帧R1用于表示第二目标帧P1与参考帧R的图像的位置关系。第二最大空间偏移量为[±xm，±ym]，xm为第二目标帧P1在水平方向的最大空间偏移量，ym为第二目标帧P1在垂直方向的最大空间偏移量，第二目标帧P3的位置对应第二目标帧P1在-x和-y方向上具有第二最大空间偏移量后的位置；第二目标帧P2的位置对应第二目标帧P1在+x和+y方向上具有第二最大空间偏移量后的位置。其中，基于第二最大空间偏移量，在x轴和y轴上产生不同偏移的第二目标帧P1、P2和P3与tr处的参考帧R1重叠的区域的交集为参考帧R1中的矩形区域201，因此矩形区域201在参考帧R上对应的位置为相关值计算区域。
对于第二最大空间偏移量的确定，由于S101至S102均为在整像素级计算移动速度，因此，虽然通过相关性值的计算可以确定相关性值最高的偏移量对应的像素点的位置，但是真正的相关性最高的速度对应位置，很有可能会落在相邻的两个像素之间位置，也就是亚像素点，因此需要在初始移动速度或待搜索速度的基础上，确定最大相关性值对应的空间偏移量。具体地，由于偏移量超过1个像素则相关性值最高的速度对应的像素点会相应地移动1个像素，所以相关性值最高的像素位置在一个帧（脉冲帧）内相对最佳整像素的空间偏移量不可能超过1个像素，因此可以根据前一次的第一目标帧或第二目标帧与参考帧之间的时间差以及当前的第二目标帧与参考帧之间的时间差确定第二最大空间偏移量。假设第一预设间隔为1拍，第二预设间隔为5拍，参考帧为0点且为第一预设间隔和第二预设间隔的共同端点，则与参考帧相隔时间最长的第一目标帧和第二目标帧的时间间隔分别为1拍和5拍。根据第一预设间隔为1拍的第一目标帧获得的初始移动速度移动到与参考帧相距5拍的第二目标帧时，第二最大空间偏移量为5，即此时，第二最大空间偏移量在+x、-x、+y和-y的方向上的第二最大空间偏移量为5个像素。其中，一拍对应脉冲相机输出脉冲的时间分辨率，脉冲相机的工作频率单位为赫兹，因此若其频率为20000Hz,则一拍为1/20000秒。以初始移动速度为，且用于计算初始移动速度的第一目标帧与参考帧之间相隔1拍为例，即对于时间为tr的参考帧上的一个像素点(x,y)，其在依据初始移动速度/>进行移动，经过5拍时，此像素点(x,y)在时间为tr+5的第二目标帧上的对应位置的范围为(。由于第二最大空间偏移量可以确定，因此，在移动距离的范围和移动时间都能确定的情况下，可以确定偏移速度极值，从而确定搜索速度范围。
最后，根据搜索速度范围和时间偏移量，计算相关值计算区域在参考帧中的坐标范围及其在搜索速度范围中的每组移动速度上与所有第二目标帧的对应区域的脉冲特征的相关性值，并对同组移动速度的脉冲特征的相关性值进行求和，得到对应不同组速度的多个相关性值；将最大的相关性值对应的速度作为待搜索速度。待搜索速度的确定还是使用公式（1）和（2），对于公式（1），区别在于，当前时间窗口范围下设置的搜索速度范围不再是0至预设速度极值，而是通过偏移速度极值与待搜索速度确定的搜索速度范围；Ω为对应于当前速度/>的参考帧上的相关值计算区域；若第二预设间隔为2k2，预设等时间间隔为k2，则/>。
在通过公式（1）得到搜索速度范围内各个速度条件下的相关性值后，使用公式（2）选出相关性值最大的速度作为待搜索速度。之后，重新选择预设间隔倍数，更新第二预设间隔，重新选择预设等时间间隔，从而根据更新后的第二预设间隔和新的预设等时间间隔确定多个第二目标帧。根据上一次的第二预设间隔和当前（更新后）的第二预设间隔的倍数确定第二最大空间偏移量。根据待搜索速度、更新后的第二预设间隔和第二最大空间偏移量，确定新的搜索速度范围。根据新的搜索速度范围和更新后的第二预设间隔中的最后一个第二目标帧，确定参考帧的相关值计算区域，第二预设间隔中的在参考帧与最后一个第二目标帧之间的所有第二目标帧根据其所处时间与参考帧之间的距离，与参考帧进行相应的相关性值计算。继续使用公式（1）和公式（2），根据搜索速度范围，确定的相关值计算区域在参考帧中的坐标范围和时间偏移量，根据更新后的第二预设间隔和重新选择预设等时间间隔确定多个第二目标帧，计算参考帧和所有第二目标帧的脉冲特征的相关性值，得到与不同速度对应的多个相关性值，并确定最大的相关性值对应的速度作为新的待搜索速度。继续使用上述步骤，根据更新后的第二预设间隔和重新选择预设等时间间隔确定多个第二目标帧，计算待搜索速度，直至更新后的第二预设间隔大于预设时间范围为止，将最终的待搜索速度作为整像素偏移量移动速度，将整像素偏移量移动速度对应的像素作为最佳匹配像素。本申请的实施方式根据上一搜索阶段得到的待搜索速度，在更新后的第二预设间隔中重新确定参考帧的相关值计算区域，在设定的时、空范围内进行第一目标帧或第二目标帧与参考帧对应的脉冲特征的相关性计算与累加，相关性最强处（相关性值最大处）对应的移动速度即为当前时间范围长度下（优选地为两个第二预设间隔所组成的时间范围）的最佳移动速度估计值，作为下一次计算的待搜索速度，或作为整像素偏移量移动速度。
在获得整像素偏移量移动速度和最佳匹配像素后，在最佳匹配像素的周边选择多个周围像素，这些周围像素与最佳匹配像素对应的相关性度量值（相关性值）一起，用于对相关性度量曲面进行函数建模，以便获得在亚像素级偏移量下的更高精度的移动速度（亚像素偏移量移动速度）。周围像素可以通过预设像素范围设置，假设预设像素范围是1，则选择在最佳匹配像素周围的坐标偏移量最大为1的像素作为周围像素。即，假设最佳匹配像素的坐标为（x,y），则周围像素的范围为从x-1至x+1，以及从y-1至y+1坐标范围内的除了最佳匹配像素的一共8个像素。
最佳匹配像素为匹配位置，是指目标帧（第一目标帧或第二目标帧）的某个像素点与参考帧的某个像素点匹配。
考虑到在相关性计算时一般使用较大的像素窗口Ω，可以认为脉冲特征的相关性值在局部具有连续性和单峰特性。因此，以最佳匹配像素附近若干速度偏移点的相关性值为基础，建立一个低阶多项式相关性度量曲面的模型，模型建立如下式：
（3）
其中，表示相对于之前搜索所得的整像素偏移量移动速度的亚像素偏移量移动速度，包括水平亚像素偏移量移动速度和垂直亚像素偏移量移动速度；A、B、C、D、E和F均为模型/>中的曲面参数。
使用多个周围像素的相关性值、最佳匹配像素的相关性值和最小二乘方法确定上述模型的六个曲面参数（A、B、C、D、E和F）的值，从而确定拟合的相关性度量曲面。根据曲面特征求得最强的相关性值对应的更高精度的亚像素偏移量移动速度。具体地，获得其峰值点对应坐标，即为相对整像素偏移量移动速度的亚像素偏移量移动速度。亚像素偏移量移动速度的计算如下式所示：
（4）
根据待确定的脉冲成像的移动速度精度的需要，可以改变对上述公式进行曲面参数建模时通过预设像素范围确定的多个周围像素的个数和相对最佳匹配像素的分布距离，也可以采用更高阶的多项式作为相关性度量曲面的建模函数。
在确定亚像素偏移量移动速度后，结合通过之前的相关性计算确定的整像素偏移量移动速度与基于相关性度量曲面模型得到的亚像素偏移量移动速度，将两者相加，获得最终的成像移动速度，两者的结合方式如下式所示：
（5）
其中，表示成像移动速度，/>表示整像素偏移量移动速度，表示亚像素偏移量移动速度。
本申请的实施方式中，先在较短时间范围内进行大空间偏移范围的脉冲特征相关性值的计算，从而获得一个精度较低的初始移动速度。根据初始移动速度或待搜索速度和第一最大空间偏移量或第二最大空间偏移量，在此基础上逐步增长时间范围，减小空间范围，进行进一步脉冲特征的相关性值的搜索计算，获得精度逐渐提高的待搜索速度和第二最大空间偏移量，最终在在输入脉冲阵列长度、移动速度及预设时间范围的限制下，确定并获得参考帧到最后一个第二目标帧时间段内精度最高的成像移动速度。
如图8和图9所示为本申请的实施方式在脉冲相机模拟卫星成像脉冲序列数据上进行实验后，测试得到了在此条件下的移动速度估计性能。图8显示了本申请的实施方式在基于帧间相关性值计算获得的运动位移为整像素时的整像素偏移量移动速度的性能。如图8的（a）、（b）和（c）的坐标所显示的，随着时间范围的增加和空间最大偏移量的减小，得到的相关性度量值所对应的移动速度估值的精度和准确度越高。图9显示了本申请的实施方式在运动位移为亚像素时的更高精度移动速度偏移估计上的性能。如图9所示， 其中(a)为实际的相关性度量曲面得到的数值，(b)是本申请的实施方式中根据函数拟合的相关性度量曲面，本申请的实施方式得到的负相关值（最大的相关性值）与实际的负相关值非常接近。本申请的实施方式能够精确地获得脉冲式卫星成像时的成像移动速度。
第二方面，根据本申请的实施方式，还提出一种用于确定脉冲成像的移动速度的系统，如图10所示，包括：
整像素偏移量移动速度计算模块101，用于在连续脉冲阵列中确定参考帧和第一目标帧，根据参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；在连续脉冲阵列中确定多个第二目标帧，根据初始移动速度、参考帧和多个第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素；
亚像素偏移量移动速度计算模块102，用于使用最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；
成像移动速度计算模块103，用于根据整像素偏移量移动速度和亚像素偏移量移动速度，确定参考帧的成像移动速度。
本申请的方法中，由于脉冲相机每个像素独立、持续地发放脉冲，记录高速运动下场景光强的动态变化，具有高的时间分辨率，由此形成的脉冲阵列具有丰富的信息与时间方向上的相关性，因此将脉冲特征作为确定成像移动速度的基础。为了合理地利用脉冲阵列在短时间内记录的丰富的光强信息与时间方向上的相关性，从而获得精确的成像移动速度。本申请的实施方式利用连续脉冲阵列中的脉冲特征的相关性值，进行多阶段渐进式的初始移动速度和待搜索速度的计算。根据初步的短时间范围、大空间范围的搜索可以确定一个初始移动速度，再在此基础上逐步扩大搜索时间长度，减小空间搜索范围，不断地计算和更新待搜索速度，最终获得长时间范围内高精确度的整像素级的整像素偏移量移动速度及其对应的最佳匹配像素。之后，再使用最佳匹配像素及其周围的多个周围像素建立相关性度量曲面，确定亚像素偏移量移动速度，从而能够确定脉冲成像速度在亚像素级的偏移量；结合整像素偏移量移动速度和亚像素偏移量移动速度，能够在亚像素级确定脉冲成像中参考帧在一定时间范围内的成像移动速度。本申请的实施方式能够应用于脉冲式卫星成像系统，使高速脉冲式相机在进行高分辨率卫星成像时获得更高精度和更高质量的目标图像。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种用于确定脉冲成像的移动速度的方法，其特征在于，包括：
在连续脉冲阵列中确定参考帧和第一目标帧，根据所述参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；
在所述连续脉冲阵列中确定多个第二目标帧，根据所述初始移动速度、所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素；
使用所述最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；
根据所述整像素偏移量移动速度和所述亚像素偏移量移动速度，确定所述参考帧的成像移动速度。
2.如权利要求1所述的方法，其特征在于，所述脉冲特征为所述连续脉冲阵列中一个脉冲帧的像素的脉冲特征，所述脉冲特征的确定方法包括：
根据所述像素在第一预设时间段内的脉冲数量，确定所述像素的脉冲特征；和/或，
以所述像素所处的时刻为中心，基于在时间上与所述像素最近的一对脉冲的脉冲时间间隔值，确定所述像素的脉冲特征；和/或，
根据所述像素在第二预设时间段和第一预设空间偏移内的脉冲，以及预设一个或多个三维时空掩码，确定所述像素的脉冲特征；和/或，
根据所述像素在第二预设时间段和第一预设空间偏移内的所述脉冲时间间隔值和预设一个或多个三维时空掩码，确定所述像素的脉冲特征。
3.如权利要求1所述的方法，其特征在于，所述在连续脉冲阵列中确定参考帧和第一目标帧，根据所述参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度，包括：
取所述连续脉冲阵列中待确定速度的一个脉冲帧作为参考帧；
根据第一预设间隔，在所述参考帧的周围取一个或多个脉冲帧作为第一目标帧，得到一个或多个第一目标帧和每个所述第一目标帧与所述参考帧的时间偏移量；
根据预设速度极值和所述时间偏移量确定初始速度范围和第一最大空间偏移量；
根据所述初始速度范围、所述时间偏移量和所述第一最大空间偏移量，计算所述参考帧与每个所述第一目标帧在不同空间偏移量下的脉冲特征的相关性值，得到与所述初始速度范围中不同移动速度对应的多个相关性值；
将最大的所述相关性值对应的移动速度作为初始移动速度。
4.如权利要求1所述的方法，其特征在于，所述在所述连续脉冲阵列中确定多个第二目标帧，根据所述初始移动速度、所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素，包括：
根据第二预设间隔、所述参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧；
根据所述初始移动速度，计算所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的所述相关性值对应的移动速度作为待搜索速度；
根据预设间隔倍数集和所述第二预设间隔，更新所述第二预设间隔；
根据更新后的所述第二预设间隔、所述参考帧和所述预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧；
根据所述待搜索速度，计算所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的所述相关性值对应的移动速度作为所述待搜索速度；
返回所述根据预设间隔倍数和所述第二预设间隔，更新所述第二预设间隔的步骤循环执行，直至所述更新后的所述第二预设间隔到参考帧的距离大于预设时间范围为止，将最终的待搜索速度作为整像素偏移量移动速度，将所述整像素偏移量移动速度对应的像素作为最佳匹配像素。
5.如权利要求4所述的方法，其特征在于，所述根据第二预设间隔、所述参考帧和预设等时间集合，确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，包括：
从预设等时间集合内选择一个预设等时间间隔；
将所述参考帧作为所述第二预设间隔的一个端点，在所述第二预设间隔内，根据所述预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧，或
将所述参考帧作为两个相连的所述第二预设间隔的共同端点，在两个相连的所述第二预设间隔内，根据所述预设等时间间隔确定多个脉冲帧作为第二目标帧，得到多个第二目标帧。
6.如权利要求4所述的方法，其特征在于，所述根据所述初始移动速度，计算所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，将最大的所述相关性值对应的移动速度作为待搜索速度，包括：
根据所述初始移动速度和第二最大空间偏移量，确定所述参考帧的相关值计算区域；
根据所述第二最大空间偏移量确定偏移速度极值；
根据所述偏移速度极值和所述初始移动速度，确定搜索速度范围；
根据所述搜索速度范围、所述相关值计算区域在所述参考帧中的坐标范围和每个所述第二目标帧与所述参考帧的时间偏移量，计算所述相关值计算区域在不同移动速度中与所有所述第二目标帧中对应区域的所述脉冲特征的相关性值，得到与所述搜索速度范围中不同移动速度对应的多个相关性值；
将最大的所述相关性值对应的移动速度作为待搜索速度。
7.如权利要求4所述的方法，其特征在于，所述根据预设间隔倍数集和所述第二预设间隔，更新所述第二预设间隔，包括：
从预设间隔倍数集中选择一个预设间隔倍数；
根据被选择的所述预设间隔倍数和所述第二预设间隔，确定新的第二预设间隔并更新，使更新后的所述第二预设间隔大于更新前的所述第二预设间隔。
8.如权利要求6所述的方法，其特征在于，所述第二最大空间偏移量根据第一预设间隔内最后一个所述第一目标帧与所述参考帧的间隔、所述第二预设间隔内最后一个所述第二目标帧与所述参考帧的间隔确定，或根据前一阶段的第二预设间隔内最后一个所述第二目标帧与所述参考帧的间隔、当前的所述第二预设间隔内最后一个所述第二目标帧与所述参考帧的间隔确定。
9.如权利要求1所述的方法，其特征在于，所述使用所述最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度，包括：
根据预设像素范围，在所述最佳匹配像素周边确定多个周围像素；
根据多个所述周围像素与最佳匹配像素的相关性值确定相关性度量曲面的所有曲面参数；
根据所有所述曲面参数，建立相关性度量曲面；
根据所述相关性度量曲面，确定亚像素偏移量移动速度。
10.一种用于确定脉冲成像的移动速度的系统，其特征在于，包括：
整像素偏移量移动速度计算模块，用于在连续脉冲阵列中确定参考帧和第一目标帧，根据所述参考帧和第一目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定初始移动速度；在所述连续脉冲阵列中确定多个第二目标帧，根据所述初始移动速度、所述参考帧和多个所述第二目标帧的脉冲特征在不同空间偏移量中与不同移动速度对应的相关性值，确定整像素偏移量移动速度及其对应的最佳匹配像素；
亚像素偏移量移动速度计算模块，用于使用所述最佳匹配像素及其周边的多个周围像素的相关性值建立相关性度量曲面，确定亚像素偏移量移动速度；
成像移动速度计算模块，用于根据所述整像素偏移量移动速度和所述亚像素偏移量移动速度，确定所述参考帧的成像移动速度。
CN202310755260.9A 2023-06-26 2023-06-26 一种用于确定脉冲成像的移动速度的方法和系统 Active CN116482398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310755260.9A CN116482398B (zh) 2023-06-26 2023-06-26 一种用于确定脉冲成像的移动速度的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310755260.9A CN116482398B (zh) 2023-06-26 2023-06-26 一种用于确定脉冲成像的移动速度的方法和系统

Publications (2)

Publication Number Publication Date
CN116482398A CN116482398A (zh) 2023-07-25
CN116482398B true CN116482398B (zh) 2023-11-03

Family

ID=87218204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310755260.9A Active CN116482398B (zh) 2023-06-26 2023-06-26 一种用于确定脉冲成像的移动速度的方法和系统

Country Status (1)

Country Link
CN (1) CN116482398B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793975B1 (ko) * 2016-09-13 2017-11-07 서강대학교산학협력단 깊이 카메라에 의한 스트리밍 영상에 대한 카메라 트래킹 방법 및 장치
CN109541791A (zh) * 2019-01-30 2019-03-29 清华大学 基于亚像素平移的高分辨率光场显微成像系统及方法
CN112446851A (zh) * 2019-08-29 2021-03-05 天津大学青岛海洋技术研究院 一种基于高速脉冲式图像传感器的端点检测算法
CN113067979A (zh) * 2021-03-04 2021-07-02 北京大学 基于仿生式脉冲相机的成像方法、装置、设备及存储介质
CN113329146A (zh) * 2021-04-25 2021-08-31 北京大学 一种脉冲相机模拟方法与装置
CN113327266A (zh) * 2021-04-26 2021-08-31 北京大学 基于脉冲相机的光流估计方法及装置、计算机设备、介质
CN115908618A (zh) * 2023-02-28 2023-04-04 脉冲视觉(北京)科技有限公司 基于脉冲数据的重构图像生成方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1931136B1 (en) * 2006-12-08 2016-04-20 Panasonic Intellectual Property Corporation of America Block-based line combination algorithm for de-interlacing
US11398011B2 (en) * 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793975B1 (ko) * 2016-09-13 2017-11-07 서강대학교산학협력단 깊이 카메라에 의한 스트리밍 영상에 대한 카메라 트래킹 방법 및 장치
CN109541791A (zh) * 2019-01-30 2019-03-29 清华大学 基于亚像素平移的高分辨率光场显微成像系统及方法
CN112446851A (zh) * 2019-08-29 2021-03-05 天津大学青岛海洋技术研究院 一种基于高速脉冲式图像传感器的端点检测算法
CN113067979A (zh) * 2021-03-04 2021-07-02 北京大学 基于仿生式脉冲相机的成像方法、装置、设备及存储介质
CN113329146A (zh) * 2021-04-25 2021-08-31 北京大学 一种脉冲相机模拟方法与装置
CN113327266A (zh) * 2021-04-26 2021-08-31 北京大学 基于脉冲相机的光流估计方法及装置、计算机设备、介质
CN115908618A (zh) * 2023-02-28 2023-04-04 脉冲视觉(北京)科技有限公司 基于脉冲数据的重构图像生成方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Optimal subpixel interpolation in particle image velocimetry;T. Roesgen;Experiments in Fluids(第35期);第252-256页 *
Subpixel image reconstruction using nonuniform defocused images;Nguyen Hieu Thao 等;Optimization and Control;第1-24页 *
脉冲视觉研究进展;黄铁军 等;中国图像图形学报;第27卷(第6期);第1823-1839页 *

Also Published As

Publication number Publication date
CN116482398A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
JP7120582B2 (ja) オプティカルフロー映像処理を利用する河川流速測定装置および方法
CN102693542B (zh) 一种影像特征匹配方法
CN108986037A (zh) 基于半直接法的单目视觉里程计定位方法及定位系统
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN105654507B (zh) 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
JP3059035B2 (ja) 距離測定装置
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
RU2572637C2 (ru) Параллельное или выполняемое последовательно в онлайн- и оффлайн- режимах формирование реконструкций для трехмерного обмера помещения
Chae et al. A test of three optical flow techniques—LCT, DAVE, and NAVE
CN102072725A (zh) 一种基于激光点云和实景影像进行空间三维测量的方法
Muglikar et al. ESL: Event-based structured light
CN111540003A (zh) 一种深度图像的生成方法及装置
WO2010104413A1 (ru) Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления
CN113160327A (zh) 一种点云补全的实现方法和系统
CN108305277A (zh) 一种基于直线段的异源图像匹配方法
CN110428461B (zh) 结合深度学习的单目slam方法及装置
JP2015524946A (ja) 画像解像度が改善された超解像画像を形成するための方法及び測定装置
CN105957060B (zh) 一种基于光流分析的tvs事件分簇方法
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN116482398B (zh) 一种用于确定脉冲成像的移动速度的方法和系统
CN103728022A (zh) 一种坏像元的校正方法
Lenzano et al. Detecting glacier surface motion by optical flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant