CN116580065A - 基于事件相机的光流估计方法及装置 - Google Patents

基于事件相机的光流估计方法及装置 Download PDF

Info

Publication number
CN116580065A
CN116580065A CN202310847997.3A CN202310847997A CN116580065A CN 116580065 A CN116580065 A CN 116580065A CN 202310847997 A CN202310847997 A CN 202310847997A CN 116580065 A CN116580065 A CN 116580065A
Authority
CN
China
Prior art keywords
optical flow
event
event frame
interval time
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310847997.3A
Other languages
English (en)
Other versions
CN116580065B (zh
Inventor
刘�文
张馨元
葛林英
王威
王腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Duogan Technology Co ltd
Original Assignee
Suzhou Duogan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Duogan Technology Co ltd filed Critical Suzhou Duogan Technology Co ltd
Priority to CN202310847997.3A priority Critical patent/CN116580065B/zh
Publication of CN116580065A publication Critical patent/CN116580065A/zh
Application granted granted Critical
Publication of CN116580065B publication Critical patent/CN116580065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)

Abstract

本发明提供一种基于事件相机的光流估计方法及装置。其中，所述方法包括：步骤一：采用事件相机采集一事件帧；步骤二：根据事件帧获取对应的光流向量；以及，根据事件帧和/或光流向量更新采集下一个事件帧的间隔时间；步骤三：循环执行步骤一至步骤二，直至获取预设时间段内所有事件帧的光流向量。可见，本申请根据光流情况动态调整采集间隔时间，能在光流值较小的情况下增大采集间隔时间，降低光流估计的计算量；且在光流值较大的情况下缩小采集间隔时间，采集更多的光流信息，提高光流估计的精准度。因此，本申请提供的方法利于降低计算量，提高光流估计的精准度，容易在低端硬件上实现，利于降低成本。

Description

基于事件相机的光流估计方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于事件相机的光流估计方法及装置。
背景技术
仿生物学的动态视觉传感器（Dynamic Vision Sensor ，DVS）是目前较为热门的图像传感器研究方向。动态视觉传感器又称为事件相机（Event-based camera， EB），具有高分辨率、低延时性、高动态范围以及低功耗等优势。事件相机的每个像素都有一个独立的光电传感模块，当该像素的亮度变化超过设定阈值时，就会生成并输出事件数据。并且，事件相机中所有的像素均是独立作业，能够独立响应场景中的亮度变化，实时地记录每个像素的亮度变化事件。而传统的CMOS传感器、CCD传感器或者RGBD相机是通过一定时间的曝光，使感光元件积累一定的光子，进而获取成像信息。若在曝光累积的时间段内物体存在快速运动，就会出现成像模糊等问题，且在亮度极低或者亮度极高的场景下，传统相机则无法获取高清的图像。因此，鉴于事件相机的成像优势，利用事件相机进行光流估计，有利于提高光流估计的准确性，从而提高运动分析、目标跟踪以及三维重建等应用场景的应用效果。
然而，现有的基于事件相机进行光流估计的方法仍存在计算量大、估计效率低等问题，且有的光流估计方法对于硬件实现的要求较高，则导致实现成本高。
因此，亟需一种新的光流估计方法，以解决上述问题。
发明内容
本发明的目的在于提供一种基于事件相机的光流估计方法及装置，以解决如何降低光流估计的计算量、如何提高光流估计的精准度以及如何降低成本中的至少一个问题。
为解决上述技术问题，本发明提供一种基于事件相机的光流估计方法，包括：
步骤一：采用事件相机采集一事件帧；
步骤二：根据所述事件帧获取对应的光流向量；以及，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间；
步骤三：循环执行所述步骤一至所述步骤二，直至获取预设时间段内所有事件帧的所述光流向量。
可选的，在所述的基于事件相机的光流估计方法中，在根据所述事件帧获取对应的光流向量的过程，包括：
获取所述事件帧中每个像素单元对应的多个光流向量；
遍历比较各个所述光流向量的模，并以模最小的所述光流向量作为所述像素单元的光流向量；
其中，所述事件帧的光流向量包括每个所述像素单元的光流向量。
可选的，在所述的基于事件相机的光流估计方法中，获取所述事件帧中每个像素单元对应的多个光流向量的过程，包括：
在每个所述像素单元的预设邻域内，以所述像素单元为光流向量起点，对应获取多个所述光流向量。
可选的，在所述的基于事件相机的光流估计方法中，获取所述事件帧中每个像素单元对应的多个光流向量的过程，包括：
在每个所述像素单元的预设邻域内，分别以预设轨迹中的多个位置为光流向量起点，对应获取多个所述光流向量。
可选的，在所述的基于事件相机的光流估计方法中，获取所述事件帧中每个像素单元对应的多个光流向量的过程，包括：
在每个所述像素单元的预设邻域内，对应获取多个光流向量，且各个所述光流向量的方向为上一个所述事件帧中同一所述像素单元的光流向量的方向。
可选的，在所述的基于事件相机的光流估计方法中，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程，包括：
判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否大于阈值范围，如是，将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否小于所述阈值范围；如是，将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
可选的，在所述的基于事件相机的光流估计方法中，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程，包括：
将所述事件帧划分为多个区域，各个所述区域相间隔，且每一所述区域包括至少一个像素单元；
判断是否存在任意一个所述区域内所有所述像素单元对应的事件数量的总值大于阈值范围；如是，将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，判断所述区域内所有所述像素单元对应的事件数量的总值小于所述阈值范围的所述区域的占比是否大于预设比例，如是，将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
可选的，在所述的基于事件相机的光流估计方法中，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程，包括：
判断所述事件帧的光流向量的模是否大于阈值范围；如是，将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，判断所述事件帧的光流向量的模是否小于所述阈值范围；如是，将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
可选的，在所述的基于事件相机的光流估计方法中，采用事件相机采集一事件帧的过程，包括：
在预设的采集时间段内，所述事件相机获取所有事件，并累积所有所述事件以形成所述事件帧。
基于同一发明构思，本发明还提供一种光流估计装置，包括处理器；所述处理器用于运行计算机程序指令，以执行所述的基于事件相机的光流估计方法。
综上所述，本发明提供一种基于事件相机的光流估计方法及装置。其中，所述方法包括：步骤一：采用事件相机采集一事件帧；步骤二：根据所述事件帧获取对应的光流向量；以及，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间；步骤三：循环执行所述步骤一至所述步骤二，直至获取预设时间段内所有事件帧的所述光流向量。可见，本申请提供的所述方法是采用事件相机的事件累积来获取所述事件帧，以确保所述事件帧携带较多信息，具有较佳的信噪比。以及，本申请根据光流情况来动态调整采集间隔时间，能够在光流值较小的情况下增大采集间隔时间，从而降低光流估计的计算量；且在光流值较大的情况下缩小采集间隔时间，采集更多的光流信息，从而提高光流估计的精准度。相较于固定的采集间隔时间，本申请提供的所述方法灵活性高，有助于降低计算量，提高光流估计的精准度，且容易在低端硬件上实现，利于降低制备成本。
附图说明
本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。
图1是本发明实施例中基于事件相机的光流估计方法的流程图。
图2是本发明实施例中事件相机的像素模块的结构示意图。
图3是本发明实施例中事件帧中像素单元的结构示意图。
图4是本发明实施例中累积获取事件流的示意图。
图5是本发明实施例中搜索多个光流向量的示意图。
图6是本发明实施例中搜索多个光流向量的示意图。
图7是本发明实施例中搜索多个光流向量的示意图。
图8是本发明实施例中搜索多个光流向量的示意图。
图9是本发明实施例中事件帧中光流向量的示意图。
图10是本发明实施例中调节采集间隔时间的示意图。
图11是本发明实施例中对事件帧划分区域的示意图。
以及，附图中：
10-事件相机；100-像素模块；
20-事件帧；200-像素单元；200a-第一像素单元；200b-第二像素单元；
A-选定区域；N-邻域；
T1-第一时间点；T2-第二时间点；T3-第三时间点；T4-第四时间点；T5-第五时间点；T6-第六时间点；T7-第七时间点；T8-第八时间点；T9-第九时间点；
e1-第一事件；e2-第二事件；e3-第三事件；e4-第四事件；e5-第五事件；e6-第六事件；e7-第七事件；
O1-第一位置；O2-第二位置；O3-第三位置；O4-第四位置；O5-第五位置；
B1-第一区域；B2-第二区域；B3-第三区域；B4-第四区域。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。本申请说明书中所指x轴方向和y轴方向为二维平面中相互垂直的两个方向。
请参阅图1，本实施例提供一种基于事件相机的光流估计方法，包括：
步骤一S10：采用事件相机采集一事件帧；
步骤二S20：根据所述事件帧获取对应的光流向量；以及，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间；
步骤三S30：循环执行所述步骤一至所述步骤二，直至获取预设时间段内所有事件帧的所述光流向量。
可见，本实施例提供的所述方法是采用事件相机的事件累积来获取所述事件帧，以确保所述事件帧携带较多信息，具有较佳的信噪比。以及，所述方法根据光流情况来动态调整采集间隔时间，能够在光流值较小的情况下增大采集间隔时间，从而降低光流估计的计算量；且在光流值较大的情况下缩小采集间隔时间，采集更多的光流信息，从而提高光流估计的精准度。相较于固定的采集间隔时间，本实施例提供的所述方法灵活性高，有助于降低计算量，提高光流估计的精准度，且容易在低端硬件上实现，利于降低制备成本。
以下结合附图1~图11具体说明本实施例提供的所述基于事件相机的光流估计方法。
步骤一S10：请参阅图2至图3，采用事件相机10采集一事件帧20。
需要说明的是，所述事件相机10具有呈阵列式排布的多个像素模块100，仅用于获取可变对象的信息。进一步的，每个所述像素模块100均配置有计算电路；且所述计算电路包括光电转换电路和差分比较电路，所述光电转换电路用于将采集到的光信号转换为电压值；所述差分比较电路用于根据所述电压值判断亮度变化是否达到阈值，如是，则发生一个事件，如否，则不发生事件。其中，每个所述事件记为e=(x，y，t，p)；（x，y）是平面坐标，分别表示所述像素模块100在x轴方向上的坐标值，以及在y轴方向上的坐标值；t是指发生事件的时刻；p是指极性，即亮度的增强或减弱。示例性的，P=-1表示亮度减少；P=+1表示亮度增加。
基于此，所述事件相机10的所有所述像素模块100获取的信息共同形成所述事件帧20。由于单个事件携带的信息量比较少，且容易受到噪声的影响。所以，本实施例在获取所述事件帧20的过程中，预设一段采集时间，并在该采集时间段内累积获取多个事件。多个所述事件形成一串事件流，则聚合这些事件流以构成所述事件帧20。示例性的，根据所述事件相机10的多个所述像素模块100采集的信息，可以获取图3所示的事件帧20。其中，所述事件相机10中每一所述像素模块100对应所述事件帧20上的一个像素单元200。如图4所示，假设，一次采集时间段为第一时间点T1至第二时间点T2，所述事件帧20中的第一像素单元200a（x1,y1）在第一时间点T1至第二时间点T2期间内累积三个事件，分别为第一事件e1（x1,y1,t1,+1）、第二事件e2（x1,y1,t2,+1）和第三事件e3（x1,y1,t3,-1）。在聚合各个所述事件的过程中，新的事件会覆盖旧的事件。因此，在所述第二事件e2发生时刻，所述第二事件e2覆盖所述第一事件e1；在所述第三事件e3发生时刻，所述第三事件e3覆盖所述第二事件e2。当采集时间段结束时，即在所述第二时间点T2，没有新的事件来覆盖所述第三事件e3，则所述第三事件e3的事件数据（x1,y1, -1）被记录于所述第二时间点T2形成的所述事件帧20。若在所述第二时间点T2又生成新的事件，则新的事件覆盖所述第三事件e3被记录于所述事件帧20。
步骤二S20：请参阅图3和图5~图10，根据所述事件帧20获取对应的光流向量；以及，根据所述事件帧20和/或所述光流向量更新采集下一个所述事件帧20的间隔时间。
为获取所述事件帧20对应的光流向量，本实施例提供两个假设，分别为：像素单元200邻域N光流变化很小；相邻两个所述事件帧20中相同像素单元200的光流向量方向相同。因此，在根据所述事件帧20获取对应的光流向量的过程，需要在每个所述像素单元200的预设的邻域N内，获取所述像素单元200对应的多个光流向量；并遍历比较各个所述光流向量的模，并以模最小的所述光流向量作为所述像素单元200的光流向量。
进一步的，本实施例以图3所示的事件帧20中的选定区域A为示例以说明如何获取所述像素单元200的光流向量，所述事件帧20中的其他区域可参照选定区域A的获取方式获取对应的所述像素单元200的光流向量，本实施例不再赘述。
在一个实施例中，请参阅图5，根据光流应用的需求，预设每个所述像素单元200的邻域N。基于此，在每个所述像素单元200的预设邻域N内，以所述像素单元200为光流向量起点，对应获取多个所述光流向量。例如，第二像素单元200b（x2,y2）的邻域N为3x3个像素单元200，以所述第二像素单元200b（x2,y2）为向量起点，相对邻域N内的各个其他所述像素单元200形成多个光流向量。计算每个所述光流向量的模值，并遍历比较各个模的大小，最终获取模值最小的所述光流向量作为第二像素单元200b（x2,y2）的光流向量（ux,uy）。其中，遍历比较各个模的大小的计算公式如下：
其中，（x，y）指像素单元200坐标位置；（ux，uy）指像素单元200的光流向量；I指亮度。
为提高数据的鲁棒性，在另一个实施例中，在每个所述像素单元200的预设邻域N内，分别以预设轨迹中的多个位置为光流向量起点，对应获取多个所述光流向量。示例性的，请参阅图6，以所述第二像素单元200b（x2,y2）为搜寻起点，按距离从远到近的蛇形路径搜索：next_p = p+(dx, dy)。假设，（dx, dy）分别为(1,0)，(0,1)，(-1,0)，(0,-1)，则所述预设轨迹中的多个位置分别为第一位置O1（x2,y2）、第二位置O2（x2+1,y2）、第三位置O3(x2,y2+1)、第四位置O4(x2-1,y2)和第五位置O5(x2,y2-1)。在搜索的过程中，先获取以所述第一位置O1为起点的多个所述光流向量（未图示），再获取以所述第二位置O2为起点的多个所述光流向量，以及再依次获取以所述第三位置O3、所述第四位置O4和所述第五位置O5为起点的多个所述光流向量。在获取所有位置为起点的所述光流向量后，采用上述公式遍历比较各个所述光流向量的模，并选出模值最小的所述光流向量作为所述第二像素单元200b（x2,y2）的光流向量（ux, uy）。需要说明的是，本实施例不限定所述预设轨迹的具体方程。
进一步的，根据本实施例提供的第二个假设，在获取所述像素单元200邻域N内的多个所述光流向量的过程中，仅获取与上一个所述事件帧20中同一所述像素单元200的光流向量的方向相同的光流向量，提高了光流向量的准确性，同时还减少了计算量。示例性的，请参阅图7和图8，根据上一个所述事件帧20在第二像素单元200b（x2,y2）处的光流向量的方向，获取具有相同方向的多个所述光流向量。其中，所获取的光流向量的起点不限定于为第二像素单元200b（x2,y2）或预设轨迹中的各个位置。然后，遍历比较具有相同方向的各个所述光流向量的模，并选取模值最小的所述光流向量作为所述第二像素单元200b（x2,y2）的光流向量（ux, uy）。
进一步的，如图9所示，每一所述事件帧20的光流向量包括每个所述像素单元200的光流向量。
进一步的，在获取所述事件帧20之后，或在获取所述事件帧20的所述光流向量之后，调节并更新采集下一个所述事件帧20的间隔时间。在一个实施例中，根据所述事件帧20累积的事件信息来调节采集下一个所述事件帧20的间隔时间。具体的，判断所述事件帧20中所有像素单元200对应的事件数量的总值或平均值是否大于阈值范围，如是，将缩小后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间；如否，判断所述事件帧20中所有像素单元200对应的事件数量的总值或平均值是否小于所述阈值范围；如是，将增大后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间；如否，将当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间。
可以理解的是，当所述事件帧20的累积事件的总值或平均值大于阈值范围，说明目标物体的移动速度非常快或是亮度变化较快，则所需采集更多的信息，以确保光流估计的精准度。因此，需要缩短下一个事件帧20的采集间隔时间。当所述事件帧20的累积事件的总值或平均值小于阈值范围，说明目标物体基本处于静止状态或是亮度变化非常慢，基本没有可获取的有效信息，则需要增加下一个事件帧20的采集间隔时间，以减少信息采集的操作，从而减少计算量和存储空间的占用。当所述事件帧20的累积事件的总值或平均值位于阈值范围内，说明目标物体保持一定的移动速度或亮度变化保持一定规律，则需要保持上一事件帧20采集间隔时间作为下一个事件帧20的采集间隔时间，无需进行调整。
示例性的，请参阅图10，假设按照事件帧20的中事件数量的总值进行判断，且所述阈值为[1，2]。在第一个采集时间段内，即第三时间点T3至第四时间点T4期间，第一事件帧累积事件分别为第四事件e4、第五事件e5和第六事件e6，则第一事件帧累积的事件总值为3，且大于所述阈值范围。因而，在采集第二事件帧的间隔时间需要缩短，则缩短为第四时间点T4至第五时间点T5期间，以获取较多的信息，提高光流估计的准确性。在第二个采集时间段内，即所述第五时间点T5至第六时间点T6期间，第二事件帧累积事件的总数值为0，且小于所述阈值。因此，在第二事件帧的采集间隔时间的基础上增大间隔时间，并将增大后的采集间隔时间作为第三事件帧的采集间隔时间，即为所述第六时间点T6至第七时间点T7期间，以减少信息采集操作，进而减少计算量和存储空间的占用。在第三个采集时间段内，即所述第七时间点T7至第八时间点T8期间，第三事件帧累积事件为第七事件e7，则第三事件帧累积的事件总值为1，且在所述阈值范围内，则无需进行采集间隔时间的调整，第三事件帧的采集间隔时间等于所述第四事件帧的采集间隔时间；即，所述第六时间点T6至所述第七时间点T7的时间段等于所述第八时间点T8至第九时间点T9的时间段。需要说明的是，在实际采集的过程中，所述事件的数量可能非常庞大，本实施例仅以数个作为示例进行说明。
进一步，因所述事件帧20中不同区域的对应的事件发生的情况不同，有的区域事件非常多，有的区域事件非常少，而所述事件帧20的事件的总值或平均值可能不变。因此，按照总值或平均值作为调节采集间隔时间的判断依据的可靠度有限。对此，本实施例还提供一种调节采集间隔时间的判断方法，具体的，在另一实施例中，将所述事件帧20划分为多个区域，各个所述区域相间隔，且每一所述区域包括至少一个像素单元200；判断是否存在任意一个所述区域内所有所述像素单元200对应的事件数量的总值大于阈值范围；如是，将缩小后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间；如否，判断所述区域内所有所述像素单元200对应的事件数量的总值小于所述阈值范围的所述区域的占比是否大于预设比例，如是，将增大后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间；如否，将当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间。
示例性的，请参阅图11，将所述事件帧20划分为四个区域，分别为第一区域B1、第二区域B2、第三区域B3和第四区域B4。各个区域没有交叠的部分，且均包括多个所述像素单元200。假设，所述阈值范围为[1，2]，且所述第一区域B1内所有像素单元200对应的事件数量的总值为3，所述第二区域B2内所有像素单元200对应的事件数量的总值为1，所述第三区域B3内所有像素单元200对应的事件数量的总值为1，以及所述第四区域B4内所有像素单元200对应的事件数量的总值为2。显然，存在所述第一区域B1的事件总数值大于所述阈值范围，则将缩小后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间。若所有所述区域内的事件总值均没有大于阈值范围，则进一步判断事件数量总值小于所述阈值范围的所述区域的数量是多少。假设，图11所示的四个区域中，有三个所述区域的事件数量总值小于1，则说明75%的区域的事件数量总值小于所述阈值范围。进一步的，假设预设比例为90%，则当前所述事件帧20中小于阈值范围的所述区域的占比未达到预设比例，则将当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间。若图11所示的四个区域中每个所述区域的事件数量总值均小于1，则当前所述事件帧20中小于阈值范围的所述区域的占比大于预设比例，则将增大后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间。
可以理解的是，将当前所述事件帧20细分为多个不重叠的区域，每个区域的事件总值表征所述区域对应目标物体的移动速度或是亮度变化情况。当存在任意一个区域的事件总值大于阈值范围，则说明整个所述事件帧20对应的目标物体存在移动速度快的情况，或是存在亮度变化快的情况。因此，需要缩小采集间隔时间，以采集较多的有效信息，提高光流估计的精准度。当大部分的所述区域的事件总值小于阈值范围，则说明整个所述事件帧20对应的目标物体基本静止，或亮度变化非常小，无需进行过多的信息采集。因此，可以增大采集间隔时间，减少不必要的采集操作。当大部分所述区域的事件总值基本在阈值范围内，仅有少部分所述区域的事件总值小于所述阈值范围，则表明目标物体保持一定的移动速度或亮度变化保持一定规律，需要保持上一事件帧20采集间隔时间作为下一个事件帧20的采集间隔时间，无需进行调整。
进一步的，本实施例还提供一种调节采集间隔时间的判断方法，该方法是根据获取的当前所述事件帧20的光流向量确定的。即，在获取所述事件帧20的光流向量之后，将所述事件帧20中各个所述像素单元200的光流向量的矢量和的模作为所述事件帧20的光流向量的模，并判断所述事件帧20的光流向量的模是否大于阈值范围，如是，将缩小后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间；如否，进一步判断所述事件帧20的光流向量的模是否小于所述阈值范围；如是，将增大后的当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间；如否，将当前所述事件帧20的采集间隔时间作为采集下一个所述事件帧20的间隔时间。优选的，所述阈值范围为所述像素单元200的邻域N搜索范围的二分之一。
可以理解的是，所述光流向量的模对应于亮度变化的快慢，也对应于事件量的多少。因此，采用所述光流向量作为判断依据和上述采用事件数量判断基于同一发明构思，也可以将所述事件帧20划分为多个区域，获取每一区域的光流向量的矢量和，并以此参照图11所示的方法判断是否需要调节所述采集间隔时间，以实现所述采集间隔时间的动态调整，降低计算量，提高光流估计的精准度。
步骤三S30：循环执行步骤一S10至步骤二S20，直至获取预设时间段内所有事件帧20的光流向量。换言之，采用上述获取所述光流向量的方法，以及调节采集间隔时间的方法不断获取多个所述事件帧20的光流向量，直至完成预设的时间段内的光流估计。
基于同一发明构思，本实施例还提供一种光流估计装置，包括处理器；所述处理器用于运行计算机程序指令，以执行所述的基于事件相机的光流估计方法。
综上所述，本实施例提供的所述基于事件相机的光流估计方法及装置，根据事件数量和/或光流情况来动态调整采集间隔时间，能够在光流值较小的情况下增大采集间隔时间，从而降低了光流估计的计算量；且在光流值较大的情况下缩小采集间隔时间，采集更多的有效光流信息，从而提高光流估计的精准度。相较于固定的采集间隔时间，本实施例提供的所述方法灵活性高，有助于降低计算量，提高光流估计的精准度，且容易在低端硬件上实现，利于降低制备成本。
此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (10)

1.一种基于事件相机的光流估计方法，其特征在于，包括：
步骤一：采用事件相机采集一事件帧；
步骤二：根据所述事件帧获取对应的光流向量；以及，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间；
步骤三：循环执行所述步骤一至所述步骤二，直至获取预设时间段内所有事件帧的所述光流向量。
2.根据权利要求1所述的基于事件相机的光流估计方法，其特征在于，在根据所述事件帧获取对应的光流向量的过程，包括：
获取所述事件帧中每个像素单元对应的多个光流向量；
遍历比较各个所述光流向量的模，并以模最小的所述光流向量作为所述像素单元的光流向量；
其中，所述事件帧的光流向量包括每个所述像素单元的光流向量。
3.根据权利要求2所述的基于事件相机的光流估计方法，其特征在于，获取所述事件帧中每个像素单元对应的多个光流向量的过程，包括：
在每个所述像素单元的预设邻域内，以所述像素单元为光流向量起点，对应获取多个所述光流向量。
4.根据权利要求2所述的基于事件相机的光流估计方法，其特征在于，获取所述事件帧中每个像素单元对应的多个光流向量的过程，包括：
在每个所述像素单元的预设邻域内，分别以预设轨迹中的多个位置为光流向量起点，对应获取多个所述光流向量。
5.根据权利要求2所述的基于事件相机的光流估计方法，其特征在于，获取所述事件帧中每个像素单元对应的多个光流向量的过程，包括：
在每个所述像素单元的预设邻域内，对应获取多个光流向量，且各个所述光流向量的方向为上一个所述事件帧中同一所述像素单元的光流向量的方向。
6.根据权利要求1所述的基于事件相机的光流估计方法，其特征在于，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程，包括：
判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否大于阈值范围，如是，将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否小于所述阈值范围；如是，将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
7.根据权利要求1所述的基于事件相机的光流估计方法，其特征在于，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程，包括：
将所述事件帧划分为多个区域，各个所述区域相间隔，且每一所述区域包括至少一个像素单元；
判断是否存在任意一个所述区域内所有所述像素单元对应的事件数量的总值大于阈值范围；如是，将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，判断所述区域内所有所述像素单元对应的事件数量的总值小于所述阈值范围的所述区域的占比是否大于预设比例，如是，将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
8.根据权利要求1所述的基于事件相机的光流估计方法，其特征在于，根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程，包括：
判断所述事件帧的光流向量的模是否大于阈值范围；如是，将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，判断所述事件帧的光流向量的模是否小于所述阈值范围；如是，将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间；如否，将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
9.根据权利要求1所述的基于事件相机的光流估计方法，其特征在于，采用事件相机采集一事件帧的过程，包括：
在预设的采集时间段内，所述事件相机获取所有事件，并累积所有所述事件以形成所述事件帧。
10.一种光流估计装置，其特征在于，包括处理器；所述处理器用于运行计算机程序指令，以执行如权利要求1~9中任意一项所述的基于事件相机的光流估计方法。
CN202310847997.3A 2023-07-12 2023-07-12 基于事件相机的光流估计方法及装置 Active CN116580065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310847997.3A CN116580065B (zh) 2023-07-12 2023-07-12 基于事件相机的光流估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310847997.3A CN116580065B (zh) 2023-07-12 2023-07-12 基于事件相机的光流估计方法及装置

Publications (2)

Publication Number Publication Date
CN116580065A true CN116580065A (zh) 2023-08-11
CN116580065B CN116580065B (zh) 2023-09-29

Family

ID=87536249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310847997.3A Active CN116580065B (zh) 2023-07-12 2023-07-12 基于事件相机的光流估计方法及装置

Country Status (1)

Country Link
CN (1) CN116580065B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265590A1 (en) * 2019-02-19 2020-08-20 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
CN115375767A (zh) * 2022-09-06 2022-11-22 西安理工大学 基于事件对比度最大化的双目视觉里程计方法
CN115601403A (zh) * 2022-09-15 2023-01-13 首都师范大学（Cn） 一种基于自注意力机制的事件相机光流估计方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265590A1 (en) * 2019-02-19 2020-08-20 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
CN115375767A (zh) * 2022-09-06 2022-11-22 西安理工大学 基于事件对比度最大化的双目视觉里程计方法
CN115601403A (zh) * 2022-09-15 2023-01-13 首都师范大学（Cn） 一种基于自注意力机制的事件相机光流估计方法及装置

Also Published As

Publication number Publication date
CN116580065B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US8803984B2 (en) Image processing device and method for producing a restored image using a candidate point spread function
US9325918B2 (en) Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
US9118840B2 (en) Image processing apparatus which calculates motion vectors between images shot under different exposure conditions, image processing method, and computer readable medium
KR101429371B1 (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
JP4509925B2 (ja) 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
US8223235B2 (en) Digital imager with dual rolling shutters
JPWO2006137253A1 (ja) 画像生成装置および画像生成方法
JP5128726B1 (ja) 固体撮像素子および当該素子を備える撮像装置
CN103843033A (zh) 图像处理设备和方法以及程序
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN102870403A (zh) 图像处理装置、摄像装置、程序以及图像处理方法
US20130076968A1 (en) Image sensing device
JP2009111596A (ja) 撮像装置
US8964055B2 (en) Combining images based on position offset detection of a series of images
JP7561535B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN116580065B (zh) 基于事件相机的光流估计方法及装置
CN115379110B (zh) 图像处理装置
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
JP2007329596A (ja) 画像生成装置および画像生成方法
JPH0530495A (ja) 勾配法による動きベクトル検出方法
WO2023185096A1 (zh) 图像模糊度的确定方法及其相关设备
US20240348921A1 (en) Image processing device and image processing method
JP2013020584A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2009089228A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant