CN104205169B - 基于异步光传感器估计光流的方法 - Google Patents
基于异步光传感器估计光流的方法 Download PDFInfo
- Publication number
- CN104205169B CN104205169B CN201280070050.6A CN201280070050A CN104205169B CN 104205169 B CN104205169 B CN 104205169B CN 201280070050 A CN201280070050 A CN 201280070050A CN 104205169 B CN104205169 B CN 104205169B
- Authority
- CN
- China
- Prior art keywords
- time
- event
- events
- pixel
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000011002 quantification Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009012 visual motion Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
计算机接收源自光传感器(10)的异步信息，该光传感器具有面向场景设置的像素矩阵。该异步信息包括以矩阵像素来表示源自该像素并取决于场景光变化的连续事件。对于像素矩阵中的估计地点(p)和估计时间(t)，计算机选择源自位于估计位置空间邻域(πp)的像素并在关联估计时间定义的时间间隔(θ)内所出现的事件集合(Sp，t)，使得该集合在空间邻域的每个像素具有至多一个事件。计算机将所选择的集合的事件的出现时间中的改变量化为矩阵中所述事件所源于的像素的位置的函数。
Description
技术领域
本发明涉及在成像技术中估计光流的方法。
背景技术
光流可近似为一系列图像随着时间改变的运动。对光流的首次工作是由电视领域的工程师和对生物视觉建模感兴趣的人员来完成的。从那时起，这些技术已运用于众多学科中，包括计算机视觉和机器人导航。尤其是，这些技术可用于运动检测、目标分段、计算碰撞时间、运动补偿编码等。
光流是一项受噪声严重影响的视觉测量结果。当前它被表示为图像序列内的速度图。但是，估计该图假定为解决一个不明确的问题，即，包括了与等式数量相关的太多未知。因此，为了估计流向量，就必需应用额外的假设和约束。然而，这些假设和约束并不总是有效。此外，在自然图像序列中的未过滤杂乱噪声不可避免，使之在移动机器人的关联控制回路中的应用产生多种困难。
光流技术可分为四类(参见J.L.Barron等，“光流技术的性能(Performance ofOptical Flow Techniques)”，国际计算机视觉杂志，第12卷，第1期，第43-77页)：
-基于能量的方法根据傅里叶域所定义的速度自适应滤波器器的输出来表示光流；
-基于相位的方法根据带通滤波器的输出来估计图像速度；
-基于相关性的方法在时间相邻图像中的小空间邻域之间来寻找最佳匹配；
-基于差分或梯度的方法使用图像强度的时空导数和恒定照明度的假设。
在光流技术的设计、比较和应用中的大多数工作集中在基于相关性或梯度的方法上。然而，所有这些方法缺点是固有地执行速度慢，因此尽管它们可能存在于大量的应用之中，但难以适合实时执行的约束条件。
另一运动检测解决方案依赖于称之为EMD(Elementary Motion Detector：初级运动检测器)的视觉传感器。EMD基于重现昆虫的假定视觉机制的运动检测模型。两个相邻的感光器用于提供图像信号，该图像信号随后输入一组基于时间的高通和低通滤波器。高通滤波器去除没有携带任何运动信息的照明度的连续组分。然后，该信号细分在两个信道之间，但其中只有一个包括低通滤波器。由低通滤波器所产生的延迟可用于提供延迟的图像信号，该延迟图像信号随后关联于相邻非延迟信道的信号。最后，两个信道之间的减法提供对运动方向敏感的响应，它因此可用于测量视觉运动。EMD的运动检测对图像对比度敏感，当对比度高时，则检测运动的幅度就会越大。这就干扰了视觉运动测量的精确度。由于缺乏精确度，EMD并不适用于一般的导航应用，尤其不适合需要运动控制的任务。
不同于以预定瞬时所采样记录的连续图像的常规相机，生物视网膜仅仅只传输与要视觉化的场景相关的少量冗余信息并以异步方式进行。基于事件的异步视觉传感器传输以事件形式压缩的数字数据。这种传感器的一般描述可以参考文献“活动驱动、基于事件的视觉传感器(Activity-Driven，Event-Based Vision Sensors)”(见T.Delbrück等，2010IEEE国际电路和系统座谈会论文集，第2426-2429页)。基于事件的视觉传感器相对于常规相机的优点在于去除了冗余性、减少了等待时间并增加了动态范围。
这种视觉传感器的输出包括以各个像素地址所表示的它们出现时场景反射系数中的改变的一系列异步事件。传感器的各个像素是相互独立的并检测由发出最后事件发射所引起的超过阈值的亮度改变(例如亮度对数的15％的对比)。当亮度改变超过固定阈值时，像素就根据亮度的增加或降低来产生ON或OFF事件。由于该传感器并不像常规相机那样基于时钟进行采样，因此可以认为它具有非常高的时间精确度的事件的顺序(例如大约1μs)。如果这种传感器用于重建图像序列，就有可能实现几千赫兹的图像率，与常规相机的几十赫兹完全不同。
如果基于事件的视觉传感器具有非常乐观的前景，则至今不存在可良好适用于确定基于这些传感器传输信号的光流的实用方法。在文献“Frame-free dynamic digitalvision”(见国际安全生活电器会议论文集，品质生活和社会的高级电器，东京大学，2008年3月6日-7日，第21-26页)中，T.Delbrück建议使用“标签(labeler)”以提供额外有效位来检测事件，例如轮廓方向或运动方向，然而，无需提供可能能够预想估算光流的任何信息。
在文献“基于异步无帧事件的光流(Asynchronous frameless event-basedoptical flow)”(见2012年3月“Neural Networks(神经网络)”期刊，第27卷，第32-37页)中，R.Benosman等描述了基于异步传感器检测的事件的光流的估算。所使用的算法是基于梯度的并依靠对一组方程的解，其中通过在此像素(x，y)出现的事件和在坐标为(x-1，y)和(x，y-1)的像素同时出现的事件之间的差值来估计位于坐标为(x，y)的指定像素的空间梯度。
估计光流的方法存在一个需求，使之有可能进行比常规相机的已知实践更快的估计。估计光流的方法还存在一个需求，使之基于由基于事件的视觉传感器所输出的信号，以便能够使用已经依赖于光流所使用开发的多种技术和应用。
发明内容
提出了一种估计光流的方法，包括：
-接收源自光传感器的异步信息，该光传感器具有面向场景所设置的像素矩阵，该异步信息包括以矩阵的各个像素来表示源自像素并取决于场景中的光变化的连续的事件；
-对于像素矩阵中的估计位置和以及估计时间，选择源自位于估计位置空间邻域的像素并在关联估计时间所定义的时间间隔内出现的事件集合，该集合在空间邻域的各个像素具有至多一个事件；以及，
-将所选集合的事件的出现时间中的改变量化为矩阵中这些事件所源于像素的位置的函数。
该方法利用位于指定像素位置的最近事件的出现时间是一个增加的单调函数的这一事实。此函数定义了可以像素的多种位置来表示局部改变的曲面能提供如传感器所看到那样的场景中的流速域上的信息。这些改变的量化可以非常快速地执行，其延迟大约为传感器的像素的响应时间，例如低于或大约为毫秒。
在该方法的一个实施例中，作为这些事件源于像素的位置函数所选择集合的事件的出现时间的改变的量化包括估计所选集合的事件在估计位置周围以时空表示方式所呈现的斜率。选择的事件集合可先进行以时空表示方式的平滑操作，以便衰减某些噪声的影响。
当像素矩阵为二维时，作为像素的位置函数的所选择集合的事件的出现时间的改变的一种量化方式包括确定以时空表示方式所呈现在关联于所选择集合的事件的最小距离的平面。在像素矩阵为一维的情况下，它是以时空表示方式所要确定的一条直线而不是一个平面。
为了丰富由矩阵像素检测的事件的时空分析，一种可能性是包含在改变量化中对所选择集合的事件在估计位置周围以时空表示方式所呈现的二阶导数的估计。
在一个实施例中，以矩阵的各个像素来存储源于像素的最近事件的出现时间。为估计位置和估计时间所选择事件集合从而可包括在此集合中所包括出现时间在关联估计时间所定义并为估计位置的空间邻域像素所存储的时间间隔中的各个事件。这种类型的方法允许该方法简单快速地执行。
在一个实施例中，选择事件集合的步骤和量化出现时间改变的步骤通过把估计位置当作事件检测的像素位置以及把估计时间当作检测事件的瞬时来执行。因此，在观察到活动的像素矩阵的相关区域中对光流的估计可能达到非常高的速度。
尤其是，事件集合的选择可响应于对源自矩阵某一像素的事件检测在检测的瞬时执行来实现。为了过滤出可能性很大的仅表示噪声的事件，那么有可能继续进行对出现时间中的改变的量化，以便根据事件集合包含若干超出阈值事件的条件来更新运动信息。
本发明的另一方面涉及一种适用于估计光流的设备，包括：
-光传感器，具有面向场景设置并适于传输异步信息的像素矩阵，该异步信息包括以矩阵的各个像素来表示源于该像素并取决于场景中光变化的连续的事件；以及，
-计算机，以执行像素矩阵中的估计位置和估计时间的下述步骤：
·选择源自包含在估计位置空间邻域的像素并在关联估计时间所定义的时间间隔内出现的事件集合，该集合在该空间邻域的各个像素具有至多一个事件；以及，
·将所选择集合的事件的出现时间中的改变量化为源于这些事件的像素在矩阵中的位置的函数。
附图说明
本发明的其它特征和优点将在下文参考下述附图的非限制示例性实施例的描述中变得明显，附图包括：
图1是适于实现本发明的估计光流的设备的框图；
图2A图示了异步传感器像素级别的发光强度轮廓的一个示例；
图2B图示了异步传感器响应于图2A所示强度轮廓输出信号的一个示例；
图2C图示了根据图2B所示信号对强度轮廓的重建；
图3A-B类似于图2A-B，图示了该方法另一示例性实施例所能使用的光收集模式；
图4图示了估计光流的方法的一个实施例；
图5图示了面向包括旋转杆的场景所设置的异步传感器产生的事件；
图6图示了估计光流的方法的另一实施例。
具体实施方式
图1所示的估计光流的设备包括基于事件的异步视觉传感器10，该传感器面向场景设置并通过包括一个或多个透镜的光学收集器15接收来自场景的光通量。传感器10设置在光学收集器15的图像平面中。它包括组织成像素矩阵的感光元件阵列。对应于感光元件的各个像素产生取决于场景中光改变的连续的事件。
计算机20处理由传感器10输出的异步信息f，即，从多个像素异步接收的事件序列，以便从中提取出在该场景中所观察到的光流上的信息V。计算机20处理数字信号。它可通过编程适当的处理器来实现。使用专用逻辑电路(ASIC，FPGA等)的计算机20的硬件实现也是可能的。
以矩阵中的各个像素来表示传感器10基于出现在传感器视野中的场景中的由像素感应的光改变所产生的基于事件的异步信号序列。这一异步感光传感器使之能够在某些情况下接近视网膜的生理反应。因此，它以缩写DVS(动态视觉传感器)的方式为人所熟知。
通过异步传感器获取的原理由图2A-C所图示。信息包含达到有效阈值Q的一连串时间tk(k＝0，1，2，...)。图2A示出了通过DVS矩阵的一个像素所看到的发光强度轮廓P1的一个示例。每当发光强度从位于时间tk的值增大等于有效阈值Q的的量，都可以识别出新的瞬时tk+1并且正尖峰信号(图2B中level+1)在此瞬时tk+1发射。对称地，每当像素的强度从位于时刻tk′的值减少量Q，则可以识别出新的瞬时tk′+1并且负尖峰信号(图2B中level-1)在此瞬时tk′+1发射。像素的异步信号序列然后包含取决于该像素的发光轮廓并及时定位于瞬时tk的一连串正或负的脉冲或尖峰信号。这些尖峰信号可由正或负狄拉克(Dirac)峰值作数学表示并且各自特征可由发射的瞬时tk及其符号位来表征。DVS10的输出因此采用地址-事件表示法(AER)的形式。图2C示出了通过图2B所示异步信号对时间的积分来重建为轮廓P1的近似值的强度轮廓P2。
有效阈值可为固定的，如图2A-C所示的情况，或为发光强度函数的自适应的，如图3A-B所示的情况。例如，阈值±Q可以被比作生成一个±1事件的发光强度的对数中的改变。
通过示例，DVS10可为“一种128×128 120dB15μs执行时间异步时序对比视觉传感器(A128×128 120dB15μs Latency Asynchronous Temporal Contrast Vision Sensor)”(见P.Lichtsteiner等，IEEE固态电路杂志，第43卷，第2期，2008年2月，第566-576页)或者专利申请US2008/0135731A1中所描述的那种类型。使用此类的DVS适合于重现大约几毫秒的视网膜的动态(在有效势能之间的最小持续时间)。在任何情况下的动态性能很大程度上都超过使用常规摄像机以现实的采样频率能够达到的性能。
应当注意的是，构成计算机20的输入信号，由DVS10以像素形式所传输的异步信号的形状可能不同于一连串狄拉克峰值，在此基于事件的异步信号中，所表示的事件能够具有任意类型的瞬时宽度或振幅或波形。
值得注意的是，这里提出的方法也适用于其它类型的DVS，同样也适用于光传感器，它的输出信号根据地址-事件表示法来产生而无需再寻求重现视网膜的行为。
图4示意性地图示出了一维异步传感器20，即，由一行像素所组成的传感器，目标25在它前面25以速度v运动。假设目标25的前沿到达像素前并在此像素中产生ON事件(在图4中标记为“+”)，而目标25的后沿当它经过该像素前时产生OFF事件(在图4中标记为“-”)。我们认为传感器10在估计位置p和估计时间t看到光流。在这方面，可能考虑估计位置p的空间邻域πp和关联于估计时间t定义的时间间隔θ。在图4所示的情况下，邻域πp的形式为πp＝[p-R，p+R]，以及时间间隔θ是在估计时间结束的预定持续时间为T的一段时间：θ＝[t-T，t]。
图4还示出了传感器10的像素在时间间隔θ中接收到源于空间邻域πp的事件集合Sp，t。在位于图4靠下部分的图的时空表示中，可以看到事件集合Sp，t是对齐的。穿过这些事件的直线的斜率表示了由传感器10的某些像素所看到的目标25的前沿的速度v。此速度v也在已看到目标25的后沿在时间间隔θ内所经过的传感器的其它点上发现。特别是，传感器10的像素在时间间隔θ中接收到源于另一估计位置p′的空间邻域πp′的事件集合Sp′，t的斜率。
实际上，由传感器10的像素所发送的ON或OFF事件并不具有图4所示理想模式所呈现的时间规律。相反地，事件出现的时间具有相当混乱的状态，这因为在传感器感光元件的内部并不具有完全可预测的电子状态以及采集噪声。因此，事件集合Sp，t一般都分布在直线周围，该直线的斜率表示点(p，t)处的光流。这并不防止事件集合Sp，t以时空表示法所呈现的斜率的估计。一个可能性是从最小平方的意义上来确定最符合点集合Sp，t的直线，其中可应用最接近估计位置p的像素的位置的更高权重。随后，确定此直线的斜率，然后倒置以提供在传感器10视野中的速度的估计。
还可通过使用空间差分内核对集合Sp，t的事件出现时间进行卷积来快速估计斜率。在这种情况下，可能令人满意的是通过在卷积内核之前对时空表示的事件集合Sp，t应用平滑操作来减少噪声的影响。可通过应用中值滤波器来显著地实现平滑。
更具体地说，在传感器10视野中存在一个或多个目标的运动，事件就可以三维(x，y，t)形式来表示，并且我们寻找对应于此运动的光流。
存储矩阵中的各个像素p最后观测到的事件的发生时间。于是，就有可能定义分配至各个位置p所在此位置的最近事件的发生时间∑e(p)的函数。曲面∑e是此函数在三维空间中的表示。这一曲面作为时间的函数逐渐递增。当选择事件集合Sp，t时，在像素矩阵平面中的投影在空间邻域πp外以及在时间轴上的投影在间隔θ外的此曲面∑e的点被消除。
计算机20随后估计与两个空间参数x和y相关的点e(p，t)处的曲面∑e的偏导数：这些偏导数表示事件Sp，t在估计位置附近呈现的斜率。在e(p，t)附近，即，在Sp，t表示的曲面部分中，∑e可记为：
其中，和分别是将x限制为x0以及将y限制在y0的∑e。梯度随后可记为它给出了作为时间函数的事件的像素速度vx，vy的倒置。
在与上述示例相似的方式中，对事件出现时间的改变的量化可包括以最小平方的意义来确定关于时空表示中的事件集合Sp，t的具有最小距离的平面。梯度的组分还可通过对x和y使用不同内核的卷积进行估计，其中可以在平滑操作后应用。
为了完善光流的信息，计算机20进一步可引导对于点e(p，t)附近的二阶导数∑e的估计。二阶导数上的此信息说明了在传感器10视野中可观测到的加速度。二阶导数和表示曲面∑e的局部曲率，它提供了对事件的出现频率的测量。如果曲率为零，该事件以固定速率出现在焦平面中。曲率的增加或减少都关联于在场景中产生事件的边沿的加速度。
在上述示例中，为指定估计位置p和估计时间t所选择的事件集合Sp，t由任意极性(ON或OFF)的事件组成。存储源于各个像素的ON或OFF的最近事件的出现时间且与此像素的位置相关联，使之有可能在集合Sp，t中总是仅包括由矩阵的像素所看到的最近事件。可能发生Sp，t包括不同极性事件的情况。这些情况在估计的斜率中会引起少许错误，相当稀少，这并不会严重干扰测量结果。
为了减少这些情况的数量，一种可能性是在事件集合Sp，t中仅包括相同极性的事件。尤其是，有可能存储矩阵的不同像素的两个表，一个包含最近ON事件的出现时间，另一个包括最近OFF事件的出现时间。在这一实施例中，在时间t接收到位于位置p的像素的具有指定极性ON或OFF的事件导致构建的集合Sp，t由其出现时间处于间隔θ＝[t-T，t]中的具有此极性的各个事件组成并将该集合存储于邻域πp的像素。计算机随后可引导对由此形成的集合Sp，t中的一阶和/或二阶导数的估计。
可将计算机20执行指定像素位置周围的事件出现时间的改变的量化的时刻选择为该像素上的事件到来的函数。
例如，当在检测的瞬时t接收到源于矩阵中位置为p的像素的事件e(p，t)，计算机20就更新存储最近事件出现时间的表格(通过t代替位于位置p的表格的先前值)，然后确定集合Sp，t是否包括能够对运动执行合理估计的足够的当前事件。为此，计算机20可计数为空间邻域πp中的像素位置存储在表格中的位于时间间隔θ中的出现时间。如果由此确定的出现时间的数量低于预定阈值α，不执行对出现时间的改变的量化，就将刚刚被检测的事件认为是噪声。另一方面，如果超过了阈值α，则估计为曲面∑e包括与e(p，t)接近的足够的点以能够执行斜率估计，以便量化出现时间中的改变。阈值α典型地被定义为传感器在空间邻域πp中包括的像素数量的比例(例如10-30％)。
在上述示例性实施例中，要调整两个参数R和T来引导光流估计。这些参数的选择取决于传感器的物理特征(像素之间的间距，响应时间)以及希望检测的运动目标在图像平面中的尺寸和速度的数量级。通过示例的方式，并且其不作出任何形式的限制，在矩阵平面中空间邻域的尺寸可具有大约为3至5个像素的半径，并且时间间隔θ的持续时间T可为大约500μs至2ms。这一选择取决于所使用的硬件和应用程序。
上文描述的示例性实施例是对本发明的说明。可在不超出由附加权利要求所定义的本发明的范围内对它们作出多种修改。
Claims (14)
1.一种估计光流的方法，包括：
接收源自光传感器(10)的异步信息，该光传感器具有面向场景设置的像素矩阵，该异步信息包括由像素矩阵中的各个像素所表示的源自所述像素并取决于场景中光变化的连续的事件；
对于像素矩阵中的估计地点(p)和估计时间(t)，选择源自位于估计位置空间邻域(πp)的像素并在关联估计时间定义的时间间隔(θ)内所出现的事件集合(Sp，t)，该集合在空间邻域的各个像素具有至多一个事件；以及，
将所选择的集合的事件的出现时间中的改变量化为矩阵中所述事件所源于的像素的位置的函数，以获得作为时间函数的事件S(p，t)的像素速度(vx，vy)的倒置。
2.根据权利要求1所述的方法，其特征在于，所述改变的量化包括估计所选择的集合(Sp，t)的事件在估计位置周围以时空表示方式所呈现的斜率。
3.根据权利要求2所述的方法，包括，在估计斜率之前，对所选择的事件集合(Sp，t)以时空表示方式进行平滑操作。
4.根据权利要求2或3所述的方法，其特征在于，所述像素矩阵为二维并且改变的量化包括确定以时空表示方式所呈现的关联于所选择集合(Sp，t)的事件的最小距离的平面。
5.根据权利要求2或3所述的方法，其特征在于，所述像素矩阵为一维并且改变的量化包括确定以时空表示方式所呈现的关联于所选择集合(Sp，t)的事件的最小距离的直线。
6.根据权利要求2或3所述的方法，其特征在于，所述改变的量化进一步包括估计所选择集合(Sp，t)的事件在估计位置周围以时空表示方式所呈现的二阶导数。
7.根据权利要求1所述的方法，其特征在于，所述源自矩阵的像素的事件各自都具有多种可能极性之中的极性，并且其中为估计位置和估计时间所选择的事件集合(Sp，t)由任意极性的事件组成。
8.根据权利要求1所述的方法，其特征在于，所述对于矩阵的各个像素存储源于所述像素的最近事件的出现时间，并且其中为估计位置和估计时间所选择的事件集合(Sp，t)包括：
在所述集合中包括出现时间在关联于估计时间定义并为估计位置的所述空间邻域的像素所存储的所述时间间隔中的各个事件。
9.根据权利要求1至3中任一项所述的方法，其特征在于，所述事件源于矩阵的像素且各自具有在两个可能极性之一极性，并且其中为估计位置和估计时间所选择的事件集合(Sp，t)由相同极性的事件组成。
10.根据权利要求9所述的方法，其特征在于，对于矩阵的各个像素和各个可能的极性，存储源自具有所述极性的所述像素的最近事件的出现时间，并且其中在接收到位于估计位置具有指定极性的事件后，为估计位置和估计时间所选择的事件集合(Sp，t)包括：
在所述集合中包括具有指定极性，并且出现时间在关联于估计时间定义并为估计位置的空间邻域的像素所存储的时间间隔内的各个事件。
11.根据权利要求1所述的方法，其特征在于，所述时间间隔(θ)是结束于估计时间的具有预定持续时间(T)的一段时间。
12.根据权利要求1所述的方法，其特征在于，所述选择事件集合(Sp，t)和量化出现时间中的改变的步骤通过把估计位置当作事件检测的像素位置以及把估计时间当作检测到所述事件的瞬时来执行。
13.根据权利要求12所述的方法，其特征在于，响应于对源自矩阵的像素的事件检测在检测瞬时进行对事件集合(Sp，t)的选择，以及进行出现时间的改变的量化，以便根据事件集合包含高于阈值的若干事件的条件来更新运动信息。
14.一种用于估计光流的设备，包括：
光传感器，具有面向场景设置并适于输出异步信息的像素矩阵，该异步信息包括以矩阵的各个像素来表示源于所述像素并取决于该场景中光变化的连续的事件；以及，
计算机，对于像素矩阵中的估计位置和估计时间执行下述步骤：
-选择源自包含在估计位置空间邻域中的像素并在关联于估计时间定义的时间间隔内出现的事件集合，该集合在空间邻域的各个像素具有至多一个事件；以及，
-将所选择集合的事件的出现时间中的改变量化为矩阵中所述事件所源于像素的位置的函数，以获得作为时间函数的事件S(p，t)的像素速度(vx，vy)的倒置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1162137A FR2985065B1 (fr) | 2011-12-21 | 2011-12-21 | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| FR1162137 | 2011-12-21 | ||
| PCT/FR2012/053066 WO2013093378A1 (fr) | 2011-12-21 | 2012-12-21 | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104205169A CN104205169A (zh) | 2014-12-10 |
| CN104205169B true CN104205169B (zh) | 2018-07-31 |
Family
ID=47628322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280070050.6A Active CN104205169B (zh) | 2011-12-21 | 2012-12-21 | 基于异步光传感器估计光流的方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US9213902B2 (zh) |
| EP (1) | EP2795580B1 (zh) |
| JP (1) | JP6226876B2 (zh) |
| KR (1) | KR101991343B1 (zh) |
| CN (1) | CN104205169B (zh) |
| AU (1) | AU2012356462A1 (zh) |
| CA (1) | CA2859900C (zh) |
| ES (1) | ES2767295T3 (zh) |
| FR (1) | FR2985065B1 (zh) |
| WO (1) | WO2013093378A1 (zh) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2985065B1 (fr) * | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| KR102070562B1 (ko) * | 2012-06-19 | 2020-01-30 | 삼성전자주식회사 | 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 |
| KR102091473B1 (ko) * | 2014-01-07 | 2020-04-14 | 삼성전자주식회사 | 이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법 |
| FR3020699A1 (fr) | 2014-04-30 | 2015-11-06 | Centre Nat Rech Scient | Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere |
| US10147024B2 (en) * | 2014-09-16 | 2018-12-04 | Qualcomm Incorporated | Interfacing an event based system with a frame based processing system |
| US9967500B2 (en) * | 2014-09-29 | 2018-05-08 | Samsung Electronics Co., Ltd. | Systems and methods of selective output for reducing power |
| US9554100B2 (en) | 2014-09-30 | 2017-01-24 | Qualcomm Incorporated | Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor |
| US9940533B2 (en) | 2014-09-30 | 2018-04-10 | Qualcomm Incorporated | Scanning window for isolating pixel values in hardware for computer vision operations |
| US9986179B2 (en) | 2014-09-30 | 2018-05-29 | Qualcomm Incorporated | Sensor architecture using frame-based and event-based hybrid scheme |
| US9923004B2 (en) | 2014-09-30 | 2018-03-20 | Qualcomm Incorporated | Hardware acceleration of computer vision feature detection |
| US10728450B2 (en) | 2014-09-30 | 2020-07-28 | Qualcomm Incorporated | Event based computer vision computation |
| US10515284B2 (en) | 2014-09-30 | 2019-12-24 | Qualcomm Incorporated | Single-processor computer vision hardware control and application execution |
| US9838635B2 (en) | 2014-09-30 | 2017-12-05 | Qualcomm Incorporated | Feature computation in a sensor element array |
| US20170132466A1 (en) | 2014-09-30 | 2017-05-11 | Qualcomm Incorporated | Low-power iris scan initialization |
| US9762834B2 (en) | 2014-09-30 | 2017-09-12 | Qualcomm Incorporated | Configurable hardware for computing computer vision features |
| JP6346547B2 (ja) * | 2014-11-26 | 2018-06-20 | 公立大学法人広島市立大学 | 方向指示装置及び方向指示方法 |
| FR3033973A1 (fr) * | 2015-03-16 | 2016-09-23 | Univ Pierre Et Marie Curie Paris 6 | Procede de reconstruction 3d d'une scene |
| FR3033914A1 (fr) * | 2015-03-16 | 2016-09-23 | Univ Pierre Et Marie Curie (Paris 6) | Procede de traitement d'un signal asynchrone |
| US9704056B2 (en) | 2015-04-02 | 2017-07-11 | Qualcomm Incorporated | Computing hierarchical computations for computer vision calculations |
| KR102307055B1 (ko) | 2015-04-28 | 2021-10-01 | 삼성전자주식회사 | 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치 |
| CN105203045B (zh) * | 2015-07-02 | 2018-07-06 | 天津师范大学 | 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法 |
| EP3120897A1 (en) | 2015-07-22 | 2017-01-25 | Université Pierre et Marie Curie (Paris 6) | Method for downsampling a signal outputted by an asynchronous sensor |
| CN105160703B (zh) * | 2015-08-25 | 2018-10-19 | 天津师范大学 | 一种使用时域视觉传感器的光流计算方法 |
| US10260862B2 (en) | 2015-11-02 | 2019-04-16 | Mitsubishi Electric Research Laboratories, Inc. | Pose estimation using sensors |
| CN105957060B (zh) * | 2016-04-22 | 2019-01-11 | 天津师范大学 | 一种基于光流分析的tvs事件分簇方法 |
| JP6759785B2 (ja) * | 2016-07-12 | 2020-09-23 | 日本製鉄株式会社 | 液面形状の抽出方法、装置及びプログラム |
| KR20180014992A (ko) | 2016-08-02 | 2018-02-12 | 삼성전자주식회사 | 이벤트 신호 처리 방법 및 장치 |
| US10110913B2 (en) * | 2016-09-30 | 2018-10-23 | Intel Corporation | Motion estimation using hybrid video imaging system |
| FR3057428A1 (fr) * | 2016-10-11 | 2018-04-13 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif electronique d'analyse d'une scene |
| US10614332B2 (en) | 2016-12-16 | 2020-04-07 | Qualcomm Incorportaed | Light source modulation for iris size adjustment |
| US10984235B2 (en) | 2016-12-16 | 2021-04-20 | Qualcomm Incorporated | Low power data generation for iris-related detection and authentication |
| US10237481B2 (en) * | 2017-04-18 | 2019-03-19 | Facebook Technologies, Llc | Event camera for generation of event-based images |
| EP3393122A1 (en) * | 2017-04-18 | 2018-10-24 | Oculus VR, LLC | Event camera |
| KR20200015589A (ko) * | 2017-05-29 | 2020-02-12 | 유니베르시태트 취리히 | 동적 비전 센서를 위한 블록-매칭 광학 흐름 및 스테레오 비전 |
| US10447920B2 (en) | 2017-07-05 | 2019-10-15 | Intel Corporation | Micro-saccadic actuation for an event camera |
| US10466779B1 (en) | 2017-07-24 | 2019-11-05 | Facebook Technologies, Llc | Event camera for eye tracking |
| ES2954941T3 (es) * | 2018-01-11 | 2023-11-27 | Gensight Biologics | Procedimiento y dispositivo para el procesamiento de señales asíncronas generadas por un sensor de luz basado en eventos |
| EP3543898A1 (en) * | 2018-03-21 | 2019-09-25 | Robert Bosch Gmbh | Fast detection of secondary objects that may intersect the trajectory of a moving primary object |
| CN108449557B (zh) * | 2018-03-23 | 2019-02-15 | 上海芯仑光电科技有限公司 | 像素采集电路、光流传感器和光流及图像信息采集系统 |
| CN108961318B (zh) * | 2018-05-04 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种数据处理方法及计算设备 |
| CN109190581B (zh) * | 2018-09-17 | 2023-05-30 | 金陵科技学院 | 图像序列目标检测识别方法 |
| EP3690736A1 (en) | 2019-01-30 | 2020-08-05 | Prophesee | Method of processing information from an event-based sensor |
| EP3694202A1 (en) | 2019-02-11 | 2020-08-12 | Prophesee | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor |
| WO2020216953A1 (en) * | 2019-04-25 | 2020-10-29 | Prophesee Sa | Systems and methods for imaging and sensing vibrations |
| CN112399032B (zh) * | 2019-08-13 | 2022-05-31 | 天津大学青岛海洋技术研究院 | 一种基于检测器的脉冲式图像传感器的光流获取方法 |
| EP3879816B1 (en) * | 2020-03-11 | 2024-02-28 | Prophesee | Event filtering method for operating an event-based image sensor |
| US11871156B2 (en) * | 2020-04-02 | 2024-01-09 | Samsung Electronics Co., Ltd. | Dynamic vision filtering for event detection |
| US11843879B2 (en) * | 2020-12-15 | 2023-12-12 | Raytheon BBN Technologies, Corp. | Systems, devices, and methods for pixel frequency filtering for an event camera |
| CN113038040B (zh) * | 2021-03-03 | 2023-03-24 | 深圳市丛矽微电子科技有限公司 | 一种事件相机、阈值调整方法及系统 |
| WO2024069805A1 (ja) * | 2022-09-28 | 2024-04-04 | 株式会社ソニー・インタラクティブエンタテインメント | 信号処理回路、信号処理方法およびプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3932782B2 (ja) * | 2000-08-03 | 2007-06-20 | 株式会社ノーリツ | 部屋監視装置 |
| KR100421740B1 (ko) * | 2000-11-14 | 2004-03-10 | 삼성전자주식회사 | 객체 활동 모델링 방법 |
| EP1376471A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
| EP1743277A4 (en) * | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
| CN101204079B (zh) | 2005-06-03 | 2011-07-27 | 苏黎世大学 | 用于检测与时间相关的图像数据的光敏元件阵列 |
| AT502551B1 (de) * | 2005-06-15 | 2010-11-15 | Arc Seibersdorf Res Gmbh | Verfahren und bildauswertungseinheit zur szenenanalyse |
| US20070280507A1 (en) * | 2006-06-01 | 2007-12-06 | Beddhu Murali | Apparatus and Upwind Methods for Optical Flow Velocity Estimation |
| US8665333B1 (en) * | 2007-01-30 | 2014-03-04 | Videomining Corporation | Method and system for optimizing the observation and annotation of complex human behavior from video sources |
| JP4341705B2 (ja) * | 2007-07-17 | 2009-10-07 | トヨタ自動車株式会社 | 車載画像処理装置 |
| CN101216941B (zh) * | 2008-01-17 | 2010-04-21 | 上海交通大学 | 剧烈光照变化下基于角点匹配与光流法的运动估计方法 |
| US8509489B2 (en) * | 2009-10-05 | 2013-08-13 | The United States Of America, As Represented By The Secretary Of The Navy | System and method for estimating velocity from image sequence with first order continuity |
| FR2985065B1 (fr) * | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| KR102070562B1 (ko) * | 2012-06-19 | 2020-01-30 | 삼성전자주식회사 | 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 |
| KR101978967B1 (ko) * | 2012-08-01 | 2019-05-17 | 삼성전자주식회사 | 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법 |
| JP2014186004A (ja) * | 2013-03-25 | 2014-10-02 | Toshiba Corp | 計測装置、方法及びプログラム |
-
2011
- 2011-12-21 FR FR1162137A patent/FR2985065B1/fr not_active Expired - Fee Related
-
2012
- 2012-12-21 WO PCT/FR2012/053066 patent/WO2013093378A1/fr active Application Filing
- 2012-12-21 JP JP2014548165A patent/JP6226876B2/ja active Active
- 2012-12-21 KR KR1020147019516A patent/KR101991343B1/ko active IP Right Grant
- 2012-12-21 CN CN201280070050.6A patent/CN104205169B/zh active Active
- 2012-12-21 CA CA2859900A patent/CA2859900C/fr active Active
- 2012-12-21 ES ES12819105T patent/ES2767295T3/es active Active
- 2012-12-21 EP EP12819105.3A patent/EP2795580B1/fr active Active
- 2012-12-21 AU AU2012356462A patent/AU2012356462A1/en not_active Abandoned
- 2012-12-21 US US14/366,103 patent/US9213902B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| AU2012356462A1 (en) | 2014-07-10 |
| KR20140130106A (ko) | 2014-11-07 |
| KR101991343B1 (ko) | 2019-06-20 |
| EP2795580B1 (fr) | 2019-12-18 |
| US9213902B2 (en) | 2015-12-15 |
| WO2013093378A1 (fr) | 2013-06-27 |
| CA2859900C (fr) | 2019-08-13 |
| JP2015507261A (ja) | 2015-03-05 |
| JP6226876B2 (ja) | 2017-11-08 |
| CN104205169A (zh) | 2014-12-10 |
| ES2767295T3 (es) | 2020-06-17 |
| US20140363049A1 (en) | 2014-12-11 |
| FR2985065B1 (fr) | 2014-01-10 |
| CA2859900A1 (fr) | 2013-06-27 |
| FR2985065A1 (fr) | 2013-06-28 |
| EP2795580A1 (fr) | 2014-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104205169B (zh) | 基于异步光传感器估计光流的方法 | |
| Baldwin et al. | Time-ordered recent event (tore) volumes for event cameras | |
| CN106462976B (zh) | 在异步传感器观测到的场景中追踪形状的方法 | |
| Gehrig et al. | Video to events: Recycling video datasets for event cameras | |
| US10769480B2 (en) | Object detection method and system | |
| Schraml et al. | A spatio-temporal clustering method using real-time motion analysis on event-based 3D vision | |
| CN108961312A (zh) | 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统 | |
| EP3711024A1 (en) | Event camera-based deformable object tracking | |
| CN113034634B (zh) | 基于脉冲信号的自适应成像方法、系统及计算机介质 | |
| JP7455841B2 (ja) | シーン内の物体を追跡する方法 | |
| Liu et al. | Crowd counting with fully convolutional neural network | |
| CN109685797A (zh) | 骨骼点检测方法、装置、处理设备及存储介质 | |
| CN112084826A (zh) | 图像处理方法、图像处理设备以及监控系统 | |
| Skelton et al. | Consistent estimation of rotational optical flow in real environments using a biologically-inspired vision algorithm on embedded hardware | |
| Zhou et al. | DeLiEve-Net: Deblurring low-light images with light streaks and local events | |
| CN109819206A (zh) | 基于影像的物件追踪方法及其系统与电脑可读取存储媒体 | |
| Gehrig et al. | Video to events: Bringing modern computer vision closer to event cameras | |
| CN115719314A (zh) | 一种去拖影方法、去拖影装置及电子设备 | |
| Ridwan | Looming object detection with event-based cameras | |
| CN113850843A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| Wang et al. | Multi-Object Tracking in the Dark | |
| CN104881884B (zh) | 一种基于视觉量子的目标跟踪方法 | |
| CN109788219B (zh) | 一种用于人眼视线追踪的高速cmos图像传感器读出方法 | |
| Doucette et al. | Novel Algorithms for Novel Data: Machine Learning for Neuromorphic Data from the International Space Station | |
| US20240046569A1 (en) | Three dimensional rendering systems and methods from monocular image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200326 Address after: Fa Guobali Co-patentee after: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE Patentee after: SORBONNE UNIVERSITE Address before: Fa Guobali Co-patentee before: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE Patentee before: Universite Pierre et Marie Curie (Paris 6) |