CN104205169A - 基于异步光传感器估计光流的方法 - Google Patents

基于异步光传感器估计光流的方法 Download PDF

Info

Publication number
CN104205169A
CN104205169A CN201280070050.6A CN201280070050A CN104205169A CN 104205169 A CN104205169 A CN 104205169A CN 201280070050 A CN201280070050 A CN 201280070050A CN 104205169 A CN104205169 A CN 104205169A
Authority
CN
China
Prior art keywords
event
time
pixel
matrix
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280070050.6A
Other languages
English (en)
Other versions
CN104205169B (zh
Inventor
尔亚德·贝诺斯梅恩
西奥霍伊·伊恩格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Sorbonne Universite
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie Paris 6
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite Pierre et Marie Curie Paris 6 filed Critical Centre National de la Recherche Scientifique CNRS
Publication of CN104205169A publication Critical patent/CN104205169A/zh
Application granted granted Critical
Publication of CN104205169B publication Critical patent/CN104205169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

计算机接收源自光传感器(10)的异步信息,该光传感器具有面向场景设置的像素矩阵。该异步信息包括以矩阵像素来表示源自该像素并取决于场景光变化的连续事件。对于像素矩阵中的估计地点(p)和估计时间(t),计算机选择源自位于估计位置空间邻域(πp)的像素并在关联估计时间定义的时间间隔(θ)内所出现的事件集合(Sp,t),使得该集合在空间邻域的每个像素具有至多一个事件。计算机将所选择的集合的事件的出现时间中的改变量化为矩阵中所述事件所源于的像素的位置的函数。

Description

基于异步光传感器估计光流的方法
技术领域
本发明涉及在成像技术中估计光流的方法。
背景技术
光流可近似为一系列图像随着时间改变的运动。对光流的首次工作是由电视领域的工程师和对生物视觉建模感兴趣的人员来完成的。从那时起,这些技术已运用于众多学科中,包括计算机视觉和机器人导航。尤其是,这些技术可用于运动检测、目标分段、计算碰撞时间、运动补偿编码等。
光流是一项受噪声严重影响的视觉测量结果。当前它被表示为图像序列内的速度图。但是,估计该图假定为解决一个不明确的问题,即,包括了与等式数量相关的太多未知。因此,为了估计流向量,就必需应用额外的假设和约束。然而,这些假设和约束并不总是有效。此外,在自然图像序列中的未过滤杂乱噪声不可避免,使之在移动机器人的关联控制回路中的应用产生多种困难。
光流技术可分为四类(参见J.L.Barron等,“光流技术的性能(Performance of Optical Flow Techniques)”,国际计算机视觉杂志,第12卷,第1期,第43-77页):
-基于能量的方法根据傅里叶域所定义的速度自适应滤波器器的输出来表示光流;
-基于相位的方法根据带通滤波器的输出来估计图像速度;
-基于相关性的方法在时间相邻图像中的小空间邻域之间来寻找最佳匹配;
-基于差分或梯度的方法使用图像强度的时空导数和恒定照明度的假设。
在光流技术的设计、比较和应用中的大多数工作集中在基于相关性或梯度的方法上。然而,所有这些方法缺点是固有地执行速度慢,因此尽管它们可能存在于大量的应用之中,但难以适合实时执行的约束条件。
另一运动检测解决方案依赖于称之为EMD(Elementary MotionDetector:初级运动检测器)的视觉传感器。EMD基于重现昆虫的假定视觉机制的运动检测模型。两个相邻的感光器用于提供图像信号,该图像信号随后输入一组基于时间的高通和低通滤波器。高通滤波器去除没有携带任何运动信息的照明度的连续组分。然后,该信号细分在两个信道之间,但其中只有一个包括低通滤波器。由低通滤波器所产生的延迟可用于提供延迟的图像信号,该延迟图像信号随后关联于相邻非延迟信道的信号。最后,两个信道之间的减法提供对运动方向敏感的响应,它因此可用于测量视觉运动。EMD的运动检测对图像对比度敏感,当对比度高时,则检测运动的幅度就会越大。这就干扰了视觉运动测量的精确度。由于缺乏精确度,EMD并不适用于一般的导航应用,尤其不适合需要运动控制的任务。
不同于以预定瞬时所采样记录的连续图像的常规相机,生物视网膜仅仅只传输与要视觉化的场景相关的少量冗余信息并以异步方式进行。基于事件的异步视觉传感器传输以事件形式压缩的数字数据。这种传感器的一般描述可以参考文献“活动驱动、基于事件的视觉传感器(Activity-Driven,Event-Based Vision Sensors)”(见T.Delbrück等,2010IEEE国际电路和系统座谈会论文集,第2426-2429页)。基于事件的视觉传感器相对于常规相机的优点在于去除了冗余性、减少了等待时间并增加了动态范围。
这种视觉传感器的输出包括以各个像素地址所表示的它们出现时场景反射系数中的改变的一系列异步事件。传感器的各个像素是相互独立的并检测由发出最后事件发射所引起的超过阈值的亮度改变(例如亮度对数的15%的对比)。当亮度改变超过固定阈值时,像素就根据亮度的增加或降低来产生ON或OFF事件。由于该传感器并不像常规相机那样基于时钟进行采样,因此可以认为它具有非常高的时间精确度的事件的顺序(例如大约1μs)。如果这种传感器用于重建图像序列,就有可能实现几千赫兹的图像率,与常规相机的几十赫兹完全不同。
如果基于事件的视觉传感器具有非常乐观的前景,则至今不存在可良好适用于确定基于这些传感器传输信号的光流的实用方法。在文献“Frame-free dynamic digital vision”(见国际安全生活电器会议论文集,品质生活和社会的高级电器,东京大学,2008年3月6日-7日,第21-26页)中,T.Delbrück建议使用“标签(labeler)”以提供额外有效位来检测事件,例如轮廓方向或运动方向,然而,无需提供可能能够预想估算光流的任何信息。
在文献“基于异步无帧事件的光流(Asynchronous framelessevent-based optical flow)”(见2012年3月“Neural Networks(神经网络)”期刊,第27卷,第32-37页)中,R.Benosman等描述了基于异步传感器检测的事件的光流的估算。所使用的算法是基于梯度的并依靠对一组方程的解,其中通过在此像素(x,y)出现的事件和在坐标为(x-1,y)和(x,y-1)的像素同时出现的事件之间的差值来估计位于坐标为(x,y)的指定像素的空间梯度。
估计光流的方法存在一个需求,使之有可能进行比常规相机的已知实践更快的估计。估计光流的方法还存在一个需求,使之基于由基于事件的视觉传感器所输出的信号,以便能够使用已经依赖于光流所使用开发的多种技术和应用。
发明内容
提出了一种估计光流的方法,包括:
-接收源自光传感器的异步信息,该光传感器具有面向场景所设置的像素矩阵,该异步信息包括以矩阵的各个像素来表示源自像素并取决于场景中的光变化的连续的事件;
-对于像素矩阵中的估计位置和以及估计时间,选择源自位于估计位置空间邻域的像素并在关联估计时间所定义的时间间隔内出现的事件集合,该集合在空间邻域的各个像素具有至多一个事件;以及,
-将所选集合的事件的出现时间中的改变量化为矩阵中这些事件所源于像素的位置的函数。
该方法利用位于指定像素位置的最近事件的出现时间是一个增加的单调函数的这一事实。此函数定义了可以像素的多种位置来表示局部改变的曲面能提供如传感器所看到那样的场景中的流速域上的信息。这些改变的量化可以非常快速地执行,其延迟大约为传感器的像素的响应时间,例如低于或大约为毫秒。
在该方法的一个实施例中,作为这些事件源于像素的位置函数所选择集合的事件的出现时间的改变的量化包括估计所选集合的事件在估计位置周围以时空表示方式所呈现的斜率。选择的事件集合可先进行以时空表示方式的平滑操作,以便衰减某些噪声的影响。
当像素矩阵为二维时,作为像素的位置函数的所选择集合的事件的出现时间的改变的一种量化方式包括确定以时空表示方式所呈现在关联于所选择集合的事件的最小距离的平面。在像素矩阵为一维的情况下,它是以时空表示方式所要确定的一条直线而不是一个平面。
为了丰富由矩阵像素检测的事件的时空分析,一种可能性是包含在改变量化中对所选择集合的事件在估计位置周围以时空表示方式所呈现的二阶导数的估计。
在一个实施例中,以矩阵的各个像素来存储源于像素的最近事件的出现时间。为估计位置和估计时间所选择事件集合从而可包括在此集合中所包括出现时间在关联估计时间所定义并为估计位置的空间邻域像素所存储的时间间隔中的各个事件。这种类型的方法允许该方法简单快速地执行。
在一个实施例中,选择事件集合的步骤和量化出现时间改变的步骤通过把估计位置当作事件检测的像素位置以及把估计时间当作检测事件的瞬时来执行。因此,在观察到活动的像素矩阵的相关区域中对光流的估计可能达到非常高的速度。
尤其是,事件集合的选择可响应于对源自矩阵某一像素的事件检测在检测的瞬时执行来实现。为了过滤出可能性很大的仅表示噪声的事件,那么有可能继续进行对出现时间中的改变的量化,以便根据事件集合包含若干超出阈值事件的条件来更新运动信息。
本发明的另一方面涉及一种适用于估计光流的设备,包括:
-光传感器,具有面向场景设置并适于传输异步信息的像素矩阵,该异步信息包括以矩阵的各个像素来表示源于该像素并取决于场景中光变化的连续的事件;以及,
-计算机,以执行像素矩阵中的估计位置和估计时间的下述步骤:
·选择源自包含在估计位置空间邻域的像素并在关联估计时间所定义的时间间隔内出现的事件集合,该集合在该空间邻域的各个像素具有至多一个事件;以及,
·将所选择集合的事件的出现时间中的改变量化为源于这些事件的像素在矩阵中的位置的函数。
附图说明
本发明的其它特征和优点将在下文参考下述附图的非限制示例性实施例的描述中变得明显,附图包括:
图1是适于实现本发明的估计光流的设备的框图;
图2A图示了异步传感器像素级别的发光强度轮廓的一个示例;
图2B图示了异步传感器响应于图2A所示强度轮廓输出信号的一个示例;
图2C图示了根据图2B所示信号对强度轮廓的重建;
图3A-B类似于图2A-B,图示了该方法另一示例性实施例所能使用的光收集模式;
图4图示了估计光流的方法的一个实施例;
图5图示了面向包括旋转杆的场景所设置的异步传感器产生的事件;
图6图示了估计光流的方法的另一实施例。
具体实施方式
图1所示的估计光流的设备包括基于事件的异步视觉传感器10,该传感器面向场景设置并通过包括一个或多个透镜的光学收集器15接收来自场景的光通量。传感器10设置在光学收集器15的图像平面中。它包括组织成像素矩阵的感光元件阵列。对应于感光元件的各个像素产生取决于场景中光改变的连续的事件。
计算机20处理由传感器10输出的异步信息f,即,从多个像素异步接收的事件序列,以便从中提取出在该场景中所观察到的光流上的信息V。计算机20处理数字信号。它可通过编程适当的处理器来实现。使用专用逻辑电路(ASIC,FPGA等)的计算机20的硬件实现也是可能的。
以矩阵中的各个像素来表示传感器10基于出现在传感器视野中的场景中的由像素感应的光改变所产生的基于事件的异步信号序列。这一异步感光传感器使之能够在某些情况下接近视网膜的生理反应。因此,它以缩写DVS(动态视觉传感器)的方式为人所熟知。
通过异步传感器获取的原理由图2A-C所图示。信息包含达到有效阈值Q的一连串时间tk(k=0,1,2,...)。图2A示出了通过DVS矩阵的一个像素所看到的发光强度轮廓P1的一个示例。每当发光强度从位于时间tk的值增大等于有效阈值Q的的量,都可以识别出新的瞬时tk+1并且正尖峰信号(图2B中level+1)在此瞬时tk+1发射。对称地,每当像素的强度从位于时刻tk′的值减少量Q,则可以识别出新的瞬时tk′+1并且负尖峰信号(图2B中level-1)在此瞬时tk′+1发射。像素的异步信号序列然后包含取决于该像素的发光轮廓并及时定位于瞬时tk的一连串正或负的脉冲或尖峰信号。这些尖峰信号可由正或负狄拉克(Dirac)峰值作数学表示并且各自特征可由发射的瞬时tk及其符号位来表征。DVS10的输出因此采用地址-事件表示法(AER)的形式。图2C示出了通过图2B所示异步信号对时间的积分来重建为轮廓P1的近似值的强度轮廓P2。
有效阈值可为固定的,如图2A-C所示的情况,或为发光强度函数的自适应的,如图3A-B所示的情况。例如,阈值±Q可以被比作生成一个±1事件的发光强度的对数中的改变。
通过示例,DVS10可为“一种128×128 120dB15μs执行时间异步时序对比视觉传感器(A128×128 120dB15μs Latency AsynchronousTemporal Contrast Vision Sensor)”(见P.Lichtsteiner等,IEEE固态电路杂志,第43卷,第2期,2008年2月,第566-576页)或者专利申请US2008/0135731A1中所描述的那种类型。使用此类的DVS适合于重现大约几毫秒的视网膜的动态(在有效势能之间的最小持续时间)。在任何情况下的动态性能很大程度上都超过使用常规摄像机以现实的采样频率能够达到的性能。
应当注意的是,构成计算机20的输入信号,由DVS10以像素形式所传输的异步信号的形状可能不同于一连串狄拉克峰值,在此基于事件的异步信号中,所表示的事件能够具有任意类型的瞬时宽度或振幅或波形。
值得注意的是,这里提出的方法也适用于其它类型的DVS,同样也适用于光传感器,它的输出信号根据地址-事件表示法来产生而无需再寻求重现视网膜的行为。
图4示意性地图示出了一维异步传感器20,即,由一行像素所组成的传感器,目标25在它前面25以速度v运动。假设目标25的前沿到达像素前并在此像素中产生ON事件(在图4中标记为“+”),而目标25的后沿当它经过该像素前时产生OFF事件(在图4中标记为“-”)。我们认为传感器10在估计位置p和估计时间t看到光流。在这方面,可能考虑估计位置p的空间邻域πp和关联于估计时间t定义的时间间隔θ。在图4所示的情况下,邻域πp的形式为πp=[p-R,p+R],以及时间间隔θ是在估计时间结束的预定持续时间为T的一段时间:θ=[t-T,t]。
图4还示出了传感器10的像素在时间间隔θ中接收到源于空间邻域πp的事件集合Sp,t。在位于图4靠下部分的图的时空表示中,可以看到事件集合Sp,t是对齐的。穿过这些事件的直线的斜率表示了由传感器10的某些像素所看到的目标25的前沿的速度v。此速度v也在已看到目标25的后沿在时间间隔θ内所经过的传感器的其它点上发现。特别是,传感器10的像素在时间间隔θ中接收到源于另一估计位置p′的空间邻域πp′的事件集合Sp′,t的斜率。
实际上,由传感器10的像素所发送的ON或OFF事件并不具有图4所示理想模式所呈现的时间规律。相反地,事件出现的时间具有相当混乱的状态,这因为在传感器感光元件的内部并不具有完全可预测的电子状态以及采集噪声。因此,事件集合Sp,t一般都分布在直线周围,该直线的斜率表示点(p,t)处的光流。这并不防止事件集合Sp,t以时空表示法所呈现的斜率的估计。一个可能性是从最小平方的意义上来确定最符合点集合Sp,t的直线,其中可应用最接近估计位置p的像素的位置的更高权重。随后,确定此直线的斜率,然后倒置以提供在传感器10视野中的速度的估计。
还可通过使用空间差分内核对集合Sp,t的事件出现时间进行卷积来快速估计斜率。在这种情况下,可能令人满意的是通过在卷积内核之前对时空表示的事件集合Sp,t应用平滑操作来减少噪声的影响。可通过应用中值滤波器来显著地实现平滑。
在成像应用中,传感器10的像素矩阵更常见的是二维而非一维的。源自像素的ON或OFF事件可以时空方式来表示,从而实现三维方式的表示,例如图5所示。在此图中,各个点指示位置为 x y 的传感器像素通过圈A所示的具有恒定角速度的旋转杆的运动在瞬时t异步产生的事件。这些点的大多数分布为接近一般螺旋形状的曲面。然而,假定存在上文所述的混乱状态,这些点并不在此曲面上严格对齐。此外,该图示出了当远离螺旋曲面且在不对应于杆的有效运动时测量得到的一定数量的事件。这些事件是采集噪声。
更具体地说,在传感器10视野中存在一个或多个目标的运动,事件就可以三维(x,y,t)形式来表示,并且我们寻找对应于此运动的光流。
位于点 p = x y 的像素在时间t产生的事件标记为e(p,t)。根据事件的ON(对比度的正向改变)或OFF(对比度的负向改变)的极性,e(p,t)的值是+1或-1。另外,可再次定义像素p的空间邻域:πp={p′/||p′-p||≤R}以及时间间隔θ=[t-T,t],并且可以考虑在时间间隔θ中源于邻域πp中的像素的事件,通过为各个像素仅保留最近的事件(如果在间隔θ中存在一个事件)。这样,事件集合被创建,它可看作位于量πp×θ中的事件的时空表示中的曲面∑e的一部分。
存储矩阵中的各个像素p最后观测到的事件的发生时间。于是,就有可能定义分配至各个位置p所在此位置的最近事件的发生时间∑e(p)的函数。曲面∑e是此函数在三维空间中的表示。这一曲面作为时间的函数逐渐递增。当选择事件集合Sp,t时,在像素矩阵平面中的投影在空间邻域πp外以及在时间轴上的投影在间隔θ外的此曲面∑e的点被消除。
计算机20随后估计与两个空间参数x和y相关的点e(p,t)处的曲面∑e的偏导数:这些偏导数表示事件Sp,t在估计位置附近呈现的斜率。在e(p,t)附近,即,在Sp,t表示的曲面部分中,∑e可记为:
Σ e ( p + Δp ) = Σ e ( p ) + ▿ Σ e . Δp + o ( | | Δp | | )
其中 ▿ Σ e = ( ∂ Σ e ∂ x , ∂ Σ e ∂ y ) .
e的偏导数是单个变量x或y的函数。时间是严格增加的函数,∑e是各个点的非零导数的曲面。随后可使用反函数定理在位置 p = x y 周围写入:
∂ Σ e ∂ x ( x , y 0 ) = dΣ e | y = y 0 dx ( x ) = 1 v x ( x , y 0 )
∂ Σ e ∂ y ( x 0 , y ) = dΣ e | x = x 0 dy ( y ) = 1 v y ( x 0 , y )
其中,分别是将x限制为x0以及将y限制在y0的∑e。梯度随后可记为它给出了作为时间函数的事件的像素速度vx,vy的倒置。
在与上述示例相似的方式中,对事件出现时间的改变的量化可包括以最小平方的意义来确定关于时空表示中的事件集合Sp,t的具有最小距离的平面。梯度的组分还可通过对x和y使用不同内核的卷积进行估计,其中可以在平滑操作后应用。
为了完善光流的信息,计算机20进一步可引导对于点e(p,t)附近的二阶导数∑e的估计。二阶导数上的此信息说明了在传感器10视野中可观测到的加速度。二阶导数表示曲面∑e的局部曲率,它提供了对事件的出现频率的测量。如果曲率为零,该事件以固定速率出现在焦平面中。曲率的增加或减少都关联于在场景中产生事件的边沿的加速度。
在上述示例中,为指定估计位置p和估计时间t所选择的事件集合Sp,t由任意极性(ON或OFF)的事件组成。存储源于各个像素的ON或OFF的最近事件的出现时间且与此像素的位置相关联,使之有可能在集合Sp,t中总是仅包括由矩阵的像素所看到的最近事件。可能发生Sp,t包括不同极性事件的情况。这些情况在估计的斜率中会引起少许错误,相当稀少,这并不会严重干扰测量结果。
为了减少这些情况的数量,一种可能性是在事件集合Sp,t中仅包括相同极性的事件。尤其是,有可能存储矩阵的不同像素的两个表,一个包含最近ON事件的出现时间,另一个包括最近OFF事件的出现时间。在这一实施例中,在时间t接收到位于位置p的像素的具有指定极性ON或OFF的事件导致构建的集合Sp,t由其出现时间处于间隔θ=[t-T,t]中的具有此极性的各个事件组成并将该集合存储于邻域πp的像素。计算机随后可引导对由此形成的集合Sp,t中的一阶和/或二阶导数的估计。
可将计算机20执行指定像素位置周围的事件出现时间的改变的量化的时刻选择为该像素上的事件到来的函数。
例如,当在检测的瞬时t接收到源于矩阵中位置为p的像素的事件e(p,t),计算机20就更新存储最近事件出现时间的表格(通过t代替位于位置p的表格的先前值),然后确定集合Sp,t是否包括能够对运动执行合理估计的足够的当前事件。为此,计算机20可计数为空间邻域πp中的像素位置存储在表格中的位于时间间隔θ中的出现时间。如果由此确定的出现时间的数量低于预定阈值α,不执行对出现时间的改变的量化,就将刚刚被检测的事件认为是噪声。另一方面,如果超过了阈值α,则估计为曲面∑e包括与e(p,t)接近的足够的点以能够执行斜率估计,以便量化出现时间中的改变。阈值α典型地被定义为传感器在空间邻域πp中包括的像素数量的比例(例如10-30%)。
在上述示例性实施例中,要调整两个参数R和T来引导光流估计。这些参数的选择取决于传感器的物理特征(像素之间的间距,响应时间)以及希望检测的运动目标在图像平面中的尺寸和速度的数量级。通过示例的方式,并且其不作出任何形式的限制,在矩阵平面中空间邻域的尺寸可具有大约为3至5个像素的半径,并且时间间隔θ的持续时间T可为大约500μs至2ms。这一选择取决于所使用的硬件和应用程序。
上文描述的示例性实施例是对本发明的说明。可在不超出由附加权利要求所定义的本发明的范围内对它们作出多种修改。

Claims (14)

1.一种估计光流的方法,包括:
接收源自光传感器(10)的异步信息,该光传感器具有面向场景设置的像素矩阵,该异步信息包括由像素矩阵中的各个像素所表示的源自所述像素并取决于场景中光变化的连续的事件;
对于像素矩阵中的估计地点(p)和估计时间(t),选择源自位于估计位置空间邻域(πp)的像素并在关联估计时间定义的时间间隔(θ)内所出现的事件集合(Sp,t),该集合在空间邻域的各个像素具有至多一个事件;以及,
将所选择的集合的事件的出现时间中的改变量化为矩阵中所述事件所源于的像素的位置的函数。
2.根据权利要求1所述的方法,其特征在于,所述改变的量化包括估计所选择的集合(Sp,t)的事件在估计位置周围以时空表示方式所呈现的斜率。
3.根据权利要求2所述的方法,包括,在估计斜率之前,对所选择的事件集合(Sp,t)以时空表示方式进行平滑操作。
4.根据权利要求2或3所述的方法,其特征在于,所述像素矩阵为二维并且改变的量化包括确定以时空表示方式所呈现的关联于所选择集合(Sp,t)的事件的最小距离的平面。
5.根据权利要求2或3所述的方法,其特征在于,所述像素矩阵为一维并且改变的量化包括确定以时空表示方式所呈现的关联于所选择集合(Sp,t)的事件的最小距离的直线。
6.根据权利要求2至5中任一项所述的方法,其特征在于,所述改变的量化进一步包括估计所选择集合(Sp,t)的事件在估计位置周围以时空表示方式所呈现的二阶导数。
7.根据上述权利要求中任一项所述的方法,其特征在于,所述源自矩阵的像素的事件各自都具有多种可能极性之中的极性,并且其中为估计位置和估计时间所选择的事件集合(Sp,t)由任意极性的事件组成。
8.根据上述权利要求中任一项所述的方法,其特征在于,所述对于矩阵的各个像素存储源于所述像素的最近事件的出现时间,并且其中为估计位置和估计时间所选择的事件集合(Sp,t)包括:
在所述集合中包括出现时间在关联于估计时间定义并为估计位置的所述空间邻域的像素所存储的所述时间间隔中的各个事件。
9.根据权利要求1至7中任一项所述的方法,其特征在于,所述事件源于矩阵的像素且各自具有在两个可能极性之一极性,并且其中为估计位置和估计时间所选择的事件集合(Sp,t)由相同极性的事件组成。
10.根据权利要求9所述的方法,其特征在于,对于矩阵的各个像素和各个可能的极性,存储源自具有所述极性的所述像素的最近事件的出现时间,并且其中在接收到位于估计位置具有指定极性的事件后,为估计位置和估计时间所选择的事件集合(Sp,t)包括:
在所述集合中包括具有指定极性,并且出现时间在关联于估计时间定义并为估计位置的空间邻域的像素所存储的时间间隔内的各个事件。
11.根据上述权利要求中任一项所述的方法,其特征在于,所述时间间隔(θ)是结束于估计时间的具有预定持续时间(T)的一段时间。
12.根据上述权利要求中任一项所述的方法,其特征在于,所述选择事件集合(Sp,t)和量化出现时间中的改变的步骤通过把估计位置当作事件检测的像素位置以及把估计时间当作检测到所述事件的瞬时来执行。
13.根据权利要求12所述的方法,其特征在于,所述响应于对源自矩阵的像素的事件检测在检测瞬时进行对事件集合(Sp,t)的选择,以及进行出现时间的改变的量化,以便根据事件集合包含高于阈值的若干事件的条件来更新运动信息。
14.一种用于估计光流的设备,包括:
光传感器,具有面向场景设置并适于输出异步信息的像素矩阵,该异步信息包括以矩阵的各个像素来表示源于所述像素并取决于该场景中光变化的连续的事件;以及,
计算机,对于像素矩阵中的估计位置和估计时间执行下述步骤:
-选择源自包含在估计位置空间邻域中的像素并在关联于估计时间定义的时间间隔内出现的事件集合,该集合在空间邻域的各个像素具有至多一个事件;以及,
-将所选择集合的事件的出现时间中的改变量化为矩阵中所述事件所源于像素的位置的函数。
CN201280070050.6A 2011-12-21 2012-12-21 基于异步光传感器估计光流的方法 Active CN104205169B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1162137A FR2985065B1 (fr) 2011-12-21 2011-12-21 Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
FR1162137 2011-12-21
PCT/FR2012/053066 WO2013093378A1 (fr) 2011-12-21 2012-12-21 Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere

Publications (2)

Publication Number Publication Date
CN104205169A true CN104205169A (zh) 2014-12-10
CN104205169B CN104205169B (zh) 2018-07-31

Family

ID=47628322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280070050.6A Active CN104205169B (zh) 2011-12-21 2012-12-21 基于异步光传感器估计光流的方法

Country Status (10)

Country Link
US (1) US9213902B2 (zh)
EP (1) EP2795580B1 (zh)
JP (1) JP6226876B2 (zh)
KR (1) KR101991343B1 (zh)
CN (1) CN104205169B (zh)
AU (1) AU2012356462A1 (zh)
CA (1) CA2859900C (zh)
ES (1) ES2767295T3 (zh)
FR (1) FR2985065B1 (zh)
WO (1) WO2013093378A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160703A (zh) * 2015-08-25 2015-12-16 天津师范大学 一种使用时域视觉传感器的光流计算方法
CN105203045A (zh) * 2015-07-02 2015-12-30 天津师范大学 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法
CN105957060A (zh) * 2016-04-22 2016-09-21 天津师范大学 一种基于光流分析的tvs事件分簇方法
CN107750372A (zh) * 2015-03-16 2018-03-02 皮埃尔和玛利居里大学(巴黎第六大学) 场景三维(3d)重建的方法
CN107873097A (zh) * 2015-03-16 2018-04-03 皮埃尔和玛利居里大学(巴黎第六大学) 适用于处理异步信号的方法
CN108449557A (zh) * 2018-03-23 2018-08-24 上海芯仑光电科技有限公司 像素采集电路、光流传感器和光流及图像信息采集系统
CN109190581A (zh) * 2018-09-17 2019-01-11 金陵科技学院 图像序列目标检测识别方法
CN110771145A (zh) * 2017-04-18 2020-02-07 脸谱科技有限责任公司 事件摄像机
CN111771210A (zh) * 2018-01-11 2020-10-13 健赛特生物技术公司 用于处理由基于事件的光传感器生成的异步信号的方法和装置
CN113038040A (zh) * 2021-03-03 2021-06-25 上海丛矽微电子科技有限公司 一种事件相机、阈值调整方法及系统
CN113424516A (zh) * 2019-02-11 2021-09-21 普罗费塞公司 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
EP2677500B1 (en) * 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
KR102091473B1 (ko) * 2014-01-07 2020-04-14 삼성전자주식회사 이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US10147024B2 (en) * 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US9967500B2 (en) * 2014-09-29 2018-05-08 Samsung Electronics Co., Ltd. Systems and methods of selective output for reducing power
US9923004B2 (en) 2014-09-30 2018-03-20 Qualcomm Incorporated Hardware acceleration of computer vision feature detection
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US9762834B2 (en) 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US10728450B2 (en) 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
JP6346547B2 (ja) * 2014-11-26 2018-06-20 公立大学法人広島市立大学 方向指示装置及び方向指示方法
US9704056B2 (en) 2015-04-02 2017-07-11 Qualcomm Incorporated Computing hierarchical computations for computer vision calculations
KR102307055B1 (ko) * 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
EP3120897A1 (en) 2015-07-22 2017-01-25 Université Pierre et Marie Curie (Paris 6) Method for downsampling a signal outputted by an asynchronous sensor
US10260862B2 (en) 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors
JP6759785B2 (ja) * 2016-07-12 2020-09-23 日本製鉄株式会社 液面形状の抽出方法、装置及びプログラム
KR20180014992A (ko) 2016-08-02 2018-02-12 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
US10110913B2 (en) * 2016-09-30 2018-10-23 Intel Corporation Motion estimation using hybrid video imaging system
FR3057428A1 (fr) * 2016-10-11 2018-04-13 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif electronique d'analyse d'une scene
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
EP3393122A1 (en) * 2017-04-18 2018-10-24 Oculus VR, LLC Event camera
CN110692083B (zh) * 2017-05-29 2024-01-05 苏黎世大学 用于动态视觉传感器的块匹配光流和立体视觉
US10447920B2 (en) 2017-07-05 2019-10-15 Intel Corporation Micro-saccadic actuation for an event camera
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
EP3543898A1 (en) * 2018-03-21 2019-09-25 Robert Bosch Gmbh Fast detection of secondary objects that may intersect the trajectory of a moving primary object
CN108961318B (zh) * 2018-05-04 2020-05-15 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
EP3690736A1 (en) 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
CN113412413A (zh) * 2019-04-25 2021-09-17 普罗费塞公司 用于对振动进行成像和感测的系统和方法
CN112399032B (zh) * 2019-08-13 2022-05-31 天津大学青岛海洋技术研究院 一种基于检测器的脉冲式图像传感器的光流获取方法
EP3879816B1 (en) * 2020-03-11 2024-02-28 Prophesee Event filtering method for operating an event-based image sensor
US11871156B2 (en) * 2020-04-02 2024-01-09 Samsung Electronics Co., Ltd. Dynamic vision filtering for event detection
US11843879B2 (en) * 2020-12-15 2023-12-12 Raytheon BBN Technologies, Corp. Systems, devices, and methods for pixel frequency filtering for an event camera
WO2024069805A1 (ja) * 2022-09-28 2024-04-04 株式会社ソニー・インタラクティブエンタテインメント 信号処理回路、信号処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216941A (zh) * 2008-01-17 2008-07-09 上海交通大学 剧烈光照变化下基于角点匹配与光流法的运动估计方法
US8325810B2 (en) * 2002-06-19 2012-12-04 Stmicroelectronics S.R.L. Motion estimation method and stabilization method for an image sequence

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932782B2 (ja) * 2000-08-03 2007-06-20 株式会社ノーリツ 部屋監視装置
KR100421740B1 (ko) * 2000-11-14 2004-03-10 삼성전자주식회사 객체 활동 모델링 방법
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
EP1958433B1 (en) 2005-06-03 2018-06-27 Universität Zürich Photoarray for detecting time-dependent image data
AT502551B1 (de) * 2005-06-15 2010-11-15 Arc Seibersdorf Res Gmbh Verfahren und bildauswertungseinheit zur szenenanalyse
US20070280507A1 (en) * 2006-06-01 2007-12-06 Beddhu Murali Apparatus and Upwind Methods for Optical Flow Velocity Estimation
US8665333B1 (en) * 2007-01-30 2014-03-04 Videomining Corporation Method and system for optimizing the observation and annotation of complex human behavior from video sources
JP4341705B2 (ja) * 2007-07-17 2009-10-07 トヨタ自動車株式会社 車載画像処理装置
US8509489B2 (en) * 2009-10-05 2013-08-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for estimating velocity from image sequence with first order continuity
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
EP2677500B1 (en) * 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
KR101978967B1 (ko) * 2012-08-01 2019-05-17 삼성전자주식회사 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법
JP2014186004A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325810B2 (en) * 2002-06-19 2012-12-04 Stmicroelectronics S.R.L. Motion estimation method and stabilization method for an image sequence
CN101216941A (zh) * 2008-01-17 2008-07-09 上海交通大学 剧烈光照变化下基于角点匹配与光流法的运动估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RYAD BENOSMAN等: "Asynchronous Event-based Hebbian Epipolar Geometry", 《IEEE TANSACTIONS ON NEURAL NETWORKS》 *
RYAD BENOSMAN等: "Asynchronous frameless event-based optical flow", 《NEURAL NETWORKS》 *
袁猛: "基于变分理论的光流计算技术研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107750372A (zh) * 2015-03-16 2018-03-02 皮埃尔和玛利居里大学(巴黎第六大学) 场景三维(3d)重建的方法
CN107873097A (zh) * 2015-03-16 2018-04-03 皮埃尔和玛利居里大学(巴黎第六大学) 适用于处理异步信号的方法
CN107750372B (zh) * 2015-03-16 2021-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 一种场景三维重建的方法、装置及计算机可读介质
CN105203045A (zh) * 2015-07-02 2015-12-30 天津师范大学 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法
CN105203045B (zh) * 2015-07-02 2018-07-06 天津师范大学 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法
CN105160703B (zh) * 2015-08-25 2018-10-19 天津师范大学 一种使用时域视觉传感器的光流计算方法
CN105160703A (zh) * 2015-08-25 2015-12-16 天津师范大学 一种使用时域视觉传感器的光流计算方法
CN105957060A (zh) * 2016-04-22 2016-09-21 天津师范大学 一种基于光流分析的tvs事件分簇方法
CN110771145A (zh) * 2017-04-18 2020-02-07 脸谱科技有限责任公司 事件摄像机
CN111771210A (zh) * 2018-01-11 2020-10-13 健赛特生物技术公司 用于处理由基于事件的光传感器生成的异步信号的方法和装置
CN111771210B (zh) * 2018-01-11 2024-04-26 健赛特生物技术公司 用于处理由基于事件的光传感器生成的异步信号的方法和装置
WO2019178939A1 (zh) * 2018-03-23 2019-09-26 上海芯仑光电科技有限公司 像素采集电路、光流传感器和光流及图像信息采集系统
CN108449557B (zh) * 2018-03-23 2019-02-15 上海芯仑光电科技有限公司 像素采集电路、光流传感器和光流及图像信息采集系统
CN108449557A (zh) * 2018-03-23 2018-08-24 上海芯仑光电科技有限公司 像素采集电路、光流传感器和光流及图像信息采集系统
CN109190581A (zh) * 2018-09-17 2019-01-11 金陵科技学院 图像序列目标检测识别方法
CN109190581B (zh) * 2018-09-17 2023-05-30 金陵科技学院 图像序列目标检测识别方法
CN113424516A (zh) * 2019-02-11 2021-09-21 普罗费塞公司 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法
CN113038040A (zh) * 2021-03-03 2021-06-25 上海丛矽微电子科技有限公司 一种事件相机、阈值调整方法及系统

Also Published As

Publication number Publication date
JP6226876B2 (ja) 2017-11-08
CA2859900C (fr) 2019-08-13
KR20140130106A (ko) 2014-11-07
EP2795580B1 (fr) 2019-12-18
ES2767295T3 (es) 2020-06-17
US9213902B2 (en) 2015-12-15
US20140363049A1 (en) 2014-12-11
FR2985065B1 (fr) 2014-01-10
FR2985065A1 (fr) 2013-06-28
CA2859900A1 (fr) 2013-06-27
JP2015507261A (ja) 2015-03-05
AU2012356462A1 (en) 2014-07-10
KR101991343B1 (ko) 2019-06-20
WO2013093378A1 (fr) 2013-06-27
CN104205169B (zh) 2018-07-31
EP2795580A1 (fr) 2014-10-29

Similar Documents

Publication Publication Date Title
CN104205169A (zh) 基于异步光传感器估计光流的方法
CN111209810B (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
EP3744084B1 (en) Method and apparatus of processing a signal from an event-based sensor
CN101834986B (zh) 成像装置、运动体检测方法、运动体检测电路和程序
KR20170015306A (ko) 비동기식 광센서로 관찰한 장면에서 모양을 추적하는 방법
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN110427823A (zh) 基于视频帧与脉冲阵列信号的联合目标检测方法与装置
US11501536B2 (en) Image processing method, an image processing apparatus, and a surveillance system
CN108769550B (zh) 一种基于dsp的图像显著分析系统及方法
CN106056624A (zh) 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
EP3694202A1 (en) Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
EP3332388B1 (en) Temporally adaptive processing
CN116309781A (zh) 一种基于跨模态融合的水下视觉目标测距方法及装置
Guo et al. Dim space target detection via convolutional neural network in single optical image
CN115690545A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN113901931A (zh) 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
Cazeneuve et al. ODNet: A Convolutional Neural Network for Asteroid Occultation Detection
CN115063428B (zh) 一种基于深度强化学习的空间暗弱小目标检测方法
CN103093481A (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
US20230266818A1 (en) Eye tracking device, eye tracking method, and computer-readable medium
CN115048954A (zh) 一种仿视网膜的目标检测方法、装置、存储介质及终端
Chae et al. Siamevent: Event-based object tracking via edge-aware similarity learning with siamese networks
KR101471519B1 (ko) 누적 차영상 레이블링을 이용한 이동체 검출 장치 및 방법
CN114842012B (zh) 基于位置意识u型网络的医学图像小目标检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200326

Address after: Fa Guobali

Co-patentee after: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE

Patentee after: SORBONNE UNIVERSITE

Address before: Fa Guobali

Co-patentee before: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE

Patentee before: Universite Pierre et Marie Curie (Paris 6)