CN103516946A - 基于事件的图像处理设备和方法 - Google Patents

Abstract

提供一种基于事件的图像处理设备和方法，所述设备包括：传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于事件信号的输出，基于时间戳信息来产生光流。

Description

基于事件的图像处理设备和方法

本申请要求于2012年6月19日提交到韩国知识产权局的第10-2012-0065409号韩国专利申请的优先权利益，其公开通过全部引用被合并于此。

技术领域

与示例实施例一致的方法和设备涉及一种基于事件的图像处理设备和方法。

背景技术

图像处理广义上指的是按照图像的形式输入或输出的所有类型的信息的处理，并且可包括，例如，处理图片或运动图像的任务等。大多数图像处理技术可采用将图像视为二维（2D）信号的同时对图像应用标准的信号处理技术的方法。

图像传感器是指感测图像处理的输入数据的装置，并且可包括，例如，与使用制造半导体装置的技术的集成电路相应的光电转换装置等。

通常使用线性图像传感器和阵列图像传感器。线性图像传感器与用于传真机或复印机的一维（1D）图像传感器相应，阵列图像传感器与用于电视摄像机或数码相机的2D图像传感器相应。

线性图像传感器可包括用于检测光并产生电子的布置成行的光二极管。线性图像传感器可沿着垂直于传感器线的方向扫描目标对象（例如，文件或图片），以获得具有一面积的区域的静止图像。

阵列图像传感器可包括二维地布置的光二极管。由于阵列图像传感器可在单次地获得屏幕的整个图像，阵列图像传感器也可被用于获得运动图像，例如，视频。

发明内容

根据示例性实施例，提供一种图像处理设备，包括：传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。

光流可包括像素的速度矢量。

光流产生器可包括：相邻像素获得单元，获得像素的相邻像素；时间差计算单元，使用时间戳信息来计算与至少一个像素和相邻像素之间的时间差相关的信息；距离差计算单元，计算与所述至少一个像素和相邻像素之间的距离差相关的信息；光流计算单元，基于与时间差相关的信息和与距离差相关的信息来计算光流。

当像素和相邻像素之间的时间差超出预定时间范围的窗口时，时间差计算单元可计算出与时间差相关的信息是“0”。

与距离差相关的信息可包括像素和相邻像素之间的像素距离的倒数。

光流计算单元可使用与时间差相关的信息和与距离差相关的信息来计算与像素相应的两维（2D）矢量A，并且为了计算光流，执行将2D矢量A除以2D矢量A的内积值的运算。

所述设备可还包括：运算单元，基于光流执行关于用于用户界面的信息的运算。

用于用户界面的信息可包括：第一速度、第二速度、第三速度和第四速度中的至少一个，其中，与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以所述第一速度沿着x轴方向移动，对象在所述平面上以所述第二速度沿着y轴方向移动，对象以所述第三速度沿着垂直于所述平面的方向移动，对象以第四速度在所述平面上旋转。

运算单元可包括：平面速度运算单元，基于光流来执行关于第一速度和第二速度的运算；光流中心运算单元，基于光流来执行关于光流的中心的运算；z轴速度运算单元，基于光流和光流的中心来执行关于第三速度的运算；角速度运算单元，基于光流和光流的中心来执行关于第四速度的运算。

针对关于第一速度和第二速度的运算，平面速度运算单元可执行关于光流的平均值的运算。

针对关于光流的中心的运算，光流中心运算单元可使用包括在光流中的像素的位置和像素的速度矢量的大小来执行光流的中心的运算。

针对关于第三速度的运算，z轴速度运算单元可使用光流的中心和像素的位置来产生与像素相应的第一速度，并使用包括在光流中的像素的第一速度和速度矢量来执行内积运算。

针对关于第四速度的运算，角速度运算单元可使用光流的中心和像素的位置来产生与像素相应的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量来执行向量积运算。

时间戳信息可包括与在多个图像像素的每一个中发生预定事件的最近时间相关的信息。

预定事件可包括在单位时间段内图像像素的亮度增加大于等于预定值的值的事件和在单位时间内图像像素的亮度减少大于或等于预定值的值的事件中的至少一个。

根据其它示例性实施例，提供一种图像处理方法，包括：从感测多个图像像素中预定事件的发生的传感器接收事件信号；响应于接收到的事件信号，通过将与事件信号相应的像素映射到输出事件信号的时间来产生时间戳信息；基于时间戳信息来产生包括像素的速度矢量的光流。

光流的产生的步骤可包括：获得像素的相邻像素，使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息；计算与像素和相邻像素之间的距离差相关的信息；基于与时间差相关的信息和与距离差相关的信息来计算光流。

所述方法可还包括：基于光流来执行关于用于用户界面的信息的运算，用于用户界面的信息可包括第一速度、第二速度、第三速度和第四速度中的至少一个，其中，包括在多个图像像素中的对象在平行于布置传感器的传感器平面的平面上以所述第一速度沿着x轴方向移动，对象在所述平面上以所述第二速度沿着y轴方向移动，对象以所述第三速度沿着垂直于所述平面的方向移动，对象以所述第四速度在所述平面上旋转。

所述执行的步骤可包括：基于光流来执行关于第一速度和第二速度的运算；基于光流来执行关于光流的中心的运算；基于光流和光流的中心来执行关于第三速度的运算；基于光流和光流的中心来执行关于第四速度的运算。

附图说明

通过下面结合附图对特定示例性实施例的详细描述，示例性实施例的上述和其它方面将变得清楚和更易于理解，其中：

图1是示出根据示例性实施例的基于事件的图像处理设备的框图；

图2A和图2B是示出根据示例性实施例的时间戳信息的示图；

图3是示出根据示例性实施例的包括在基于事件的图像处理设备中的光流产生器的框图；

图4A到图4C是示出根据示例性实施例的由光流产生器产生的光流的示图；

图5A是示出根据示例性实施例的包括在基于事件的图像处理设备中的运算单元的框图；

图5B是示出根据示例性实施例的由运算单元产生的用于用户界面的信息的示图；

图6是示出根据示例性实施例的执行关于光流的中心的运算的方法的示图；

图7是示出根据示例性实施例的执行关于z轴速度和角速度的运算的方法的示图；

图8是示出根据示例性实施例的基于事件的图像处理方法的流程图。

具体实施方式

现在将详细描述示例性实施例，其示例在附图中示出，其中，相同的参考标号始终指示相同的元件。下面通过参照附图来描述示例性实施例以解释本公开。

图1是示出根据示例性实施例的基于事件的图像处理设备100的框图。

参照图1，设备100包括传感器110、时间戳单元120和光流产生器130。

传感器110可时间连续地接收输入图像数据。根据示例性实施例，传感器110可感测在包括在接收到的图像数据中的多个图像像素中的每一个中预定事件的发生。以下，术语像素或多个像素可分别指图像像素或多个图像像素。

根据示例性实施例，预定事件可包括下面被称为“变亮事件”的事件和下面被称为“变暗事件”的事件中的至少一个，其中，当在单位时间段内多个图像像素中的每一个的亮度增加大于或等于预定值的值时，所述变亮事件发生，当在单位时间内，多个图像像素的每一个的亮度减少大于或等于预定值的值时，所述变暗事件发生。

例如，传感器110可感测包括在正被连续接收的图像数据中的、在多个像素的每一个中发生的与每个像素的亮度相关的事件。

因此，设备100可针对发生预定事件（例如，与每个像素的亮度相关的事件）的像素来执行图像处理，从而，当与针对每一帧的所有像素执行图像处理的方案比较时，减少很大一部分的计算量。

另外，当感测到预定事件发生时，传感器110可输出事件信号。这里，事件信号可表示基于预定事件的异步信号，并可包括与至少一个发生预设事件的像素相关的信息。

例如，当感测到（3，10）处的第一像素的亮度和（20，20）处的第二像素的亮度增加大于或等于预定值的值时，传感器110可输出包括第一像素的位置和第二像素的位置的事件信号。

另外，时间戳单元120可接收从传感器110输出的事件信号。

时间戳单元120将与事件信号相关的至少一个像素映射到输出事件信号的时间，从而产生时间戳信息。

具体地，时间戳单元120可使用包括在接收到的事件信号中的信息（例如，与发生预定事件的至少一个像素相关的信息）来存储在相应像素中发生新事件的时间。

例如，时间戳单元120可基于接收到的事件信号来存储在多个像素中的每一个中发生新事件的时间。

因此，时间戳单元120产生的时间戳信息可包括与在多个像素中的每一个中发生预定事件的最近时间相关的信息。

根据示例性实施例，时间戳单元120可仅保留与在多个像素中的每一个中发生预定事件的最近时间相关的信息。例如，时间戳单元120可基于包括在接收到的事件信号中的信息（例如，与发生预定事件的至少一个像素相关的信息），用新事件发生的时间更新预先存储的关于相应像素的时间。根据示例性实施例，时间戳单元120可被实现为处理器或多个处理器，并且可包括一个或多个存储单元。时间戳单元120可被实现为软件、硬件或它们的组合。例如，根据示例性实施例，时间戳单元120可被实现为硬件加速器（HWA）、现场可编程门阵列（FPGA）等。

因此，设备100可使用与在每个像素中发生的最新（最近）事件相关的信息来执行图像处理，而不考虑随着时间的过去已经发生的事件的历史。设备100可因此使用少量的存储器和少量的计算量来提供用于执行图像处理的技术。

将参照图2A和图2B进一步详细描述时间戳单元120产生的时间戳信息。

光流产生器130可响应于从传感器110输出的事件信号，基于由时间戳单元120产生的时间戳信息来产生光流。根据示例性实施例，光流产生器130可被实现为处理器或多个处理器。光流产生器130可被实现为软件、硬件或它们的组合。例如，按照示例性实施例，光流产生器130可被实现为硬件加速器（HWA）、现场可编程门阵列（FPGA）等。

根据示例性实施例，光流可包括发生新事件的至少一个像素的速度矢量。例如，光流可包括多个像素中发生预定事件的至少一个像素的速度矢量。

在这种情况下，速度矢量可与在包括多个像素的2D平面上的具有预定方向和预定大小的2D矢量相应。速度矢量的开始位置可与相应像素的位置相应。

例如，可使用相机按照连续时间获得图像。在这种情况下，当关于对象移动相机的位置时，或当关于相机移动对象时，图像中每个像素的亮度可改变。光流可包括按照2D矢量的形式的图像的亮度变化。

将参照图3详细描述光流产生器130的配置和从时间戳信息中产生光流的光流产生器130的运算。

图2A和图2B是示出根据示例性实施例的时间戳信息的示图。

参照图2A，时间戳信息200可包括与多个图像像素中的每一个相应的时间信息。

如参照图1的描述，时间戳信息200可仅保留与在每个像素中发生预定事件的最近时间相关的信息。

例如，在（i,j）处的像素210中发生预定事件的最近时间可以是T_i,j，在（i,j+1）处的像素220中发生预定事件的最近时间可以是T_i,j+1。

图1的时间戳单元120可基于从图1的传感器110接收的事件信号来更新时间戳信息220。根据示例性实施例，时间戳单元120可执行关于发生预定事件的像素的更新，而不是执行关于所有像素的更新。

传感器110可感测每单位时间（例如，按照微秒(μs)单位）的预定事件的发生。在这种情况下，时间戳单位120可按照μs单位来存储每个像素发生新事件的时间。

参照图2B，为了产生光流，根据示例性实施例的基于事件的图像处理设备可使用时间戳信息来计算至少一个像素的速度矢量。

例如，在预定事件发生在(i,j)处的像素210中之后，预定事件可发生在(i+1,j+1)处的像素230中。在这种情况下，在(i,j)处的像素210可存储时间T_i,j，在(i+1,j+1)处的像素230可存储具有比T_i,j大的值的时间T_i+1,j+1。

在这种情况下，基于事件的图像处理设备可使用时间戳信息200来计算具有像素210的位置处的开始点的2D矢量（未示出）。

具体地，基于事件的图像处理设备可从时间戳信息200中提取用于计算2D矢量

的时间差和位置差。这里，时间差表示时间T_i,j和时间T_i+1,j+1之间的时间差，并可与标量Δt（未示出）相应。另外，位置差表示像素230和像素210之间的位置差，并可与2D矢量

240相应。

基于事件的图像处理设备可使用等式1来计算2D矢量

。

[等式1]

$\stackrel{\→}{A}=\stackrel{\→}{d}\·\mathrm{\Δt}\frac{1}{{\stackrel{\→}{\left|\right|d\left|\right|}}^2}$

另外，相似于上述方案，基于事件的图像处理设备可计算开始点在其它像素的位置处的2D矢量。基于事件的图像处理设备可输出包括一组这样的2D矢量的光流。

图3是示出根据示例性实施例的包括在基于事件的图像处理设备中的光流产生器300的框图。

参照图3，光流产生单元300包括相邻像素获得单元310、时间差计算单元320、距离差计算单元330和光流计算单元340。图3中示出的组件中的每一个可被实现为软件、硬件或它们的组合。例如，根据示例性实施例，相邻像素获得单元310、时间差计算单元320、距离差计算单元等可被实现为硬件加速器（HWA）、现场可编程门阵列（FPGA）等。

相邻像素获得单元310可获得发生预定事件的像素的多个相邻像素。

例如，相邻像素获得单元310可获得与发生预定事件的像素直接邻近的八个相邻像素。根据另一示例性实施例，相邻像素获得单元310可获得与发生预定事件的像素直接邻近的八个相邻像素，并附加地，获得围绕所述八个相邻像素的十六个相邻像素。应理解也可根据其它示例性实施例获得其它数量的像素。

另外，时间差计算单元320可基于图2A和图2B的时间戳信息200来计算与发生预定事件的至少一个像素和所述至少一个像素的相邻像素之间的时间差相关的信息。

具体地，时间差计算单元320可计算发生新事件的像素和所述像素的相邻像素之间的时间差。例如，新事件可发生在图2A的像素210中。时间差计算单元320可计算存储在像素210中的时间T_i,j和存储在相邻像素220中的时间T_i,j+1之间的差。

根据示例性实施例，响应于新事件的发生，存储在像素210中的时间T_i,j可由图1的时间戳单元120更新。因此，T_i,j-T_i,j+1可与大于或等于“0”的值相应。当事件在像素210和像素220中同时发生时，T_i,j-T_i,j+1可与“0”的值相应。

时间差计算单元320可分别计算由相邻像素获得单元310获得的多个相邻像素处的时间差。

另外，当计算出的时间差超出预定范围的窗口（例如，0.1秒的窗口）时，时间差计算单元320可输出“0”的值，以代替计算出的时间差。

具体地，当计算出的时间差超出预定范围（例如，0.1秒）的窗口时，时间差计算单元320可将计算出的时间差视为无意义信息。

光流产生器300可移除充当噪声的元素，其中，所述元素影响包括在光流中的每个像素的速度矢量。

另外，距离差计算单元330可计算与发生预定事件的至少一个像素和所述至少一个像素的相邻像素之间的距离差相关的信息。

具体地，距离差计算单元330可计算发生新事件的像素和所述像素的相邻像素之间的像素距离的倒数。这里，像素距离可包括多个图像像素中的归一化距离。例如，图2A的像素210和像素220之间的像素距离可与“1”相应。

距离差计算单元330可分别计算相邻像素获得单元310获得的多个相邻像素处的像素距离的倒数。

另外，光流计算单元340可基于与时间差计算单元320计算的时间差相关的信息和与距离差计算单元330计算的距离差相关的信息来计算光流。

具体地，为了计算光流，光流计算单元340可使用与时间差相关的信息和与距离差相关的信息来计算与发生预定事件的至少一个像素相应的2D矢量A，并且执行2D矢量A除以2D矢量A的内积值的运算。

例如，光流计算单元340可用与时间差相关的信息乘以与距离差相关的信息，其中，与时间差相关的信息和与距离差相关的信息分别与发生预定事件的像素的相邻像素相应。光流计算单元340可分别使用与相邻像素相应的乘法的结果的和来计算2D矢量A。根据示例性实施例，2D矢量A的单位可与“时间/距离”相应。

光流计算单元340可通过用2D矢量A除以2D矢量A的内积值，来计算包括在光流中的速度矢量V。根据示例性实施例，速度矢量V的单位可与“距离/时间”相应。

光流计算单元340可在发生预定事件的像素中的每一个处计算速度矢量V，从而分别产生包括像素的速度矢量的光流。

如上所述，当发生事件的像素和所述像素的相邻像素之间的时间差超出预定范围的窗口时，时间差计算单元320可输出“0”的值。当发生事件的像素和所述像素的相邻像素之间的时间差超出预定范围的窗口时，光流计算单元340计算的2D矢量A可与“0”相应。

在这种情况下，光流计算单元340可输出“0”的值，以代替计算为速度矢量V的值的无穷大值。

虽然未在图3中示出，但是光流产生器300可包括部分计算单元和完全计算单元中的至少一个。

响应于事件信号的输出，部分计算单元可异步计算多个图像像素中的部分像素和所述部分像素的相邻像素的新光流。这里，部分像素可指输出事件信号的像素。例如，部分计算单元可计算多个图像像素中的与事件信号相应的至少一个像素和与所述至少一个像素邻近的相邻像素的速度矢量。

另外，完全计算单元可按照每个预定间隔来计算多个图像像素的新光流。例如，完全计算单元可确定是否已经过去了预定间隔，并且当已经过去了预定间隔时，一次性完全地计算多个图像像素的速度矢量。

参照图3提供的描述可被相同地应用于部分计算单元和完全计算单元，因此，为了简明，将省略详细的描述。

图4A到图4C是示出根据示例性实施例的光流产生器产生的光流的示图。

例如，配置在圆柱体的中心部分周围的八个杆可以以相同的速度逆时针旋转。在这个示例中，根据示例性实施例的基于事件的图像处理设备可通过八个杆的旋转移动来产生光流。

具体地，参照图4A的示图410，当配置在圆柱体的中心部分周围的八个杆逆时针旋转时，图1的传感器110感测到变亮事件并输出事件信号。详细地，传感器110可感测到图像中的多个像素中的每一个的亮度通过八个杆逆时针旋转而正在增加的值大于或等于预定值，并输出事件信号。

如参照图3所描述的，光流产生器300可计算与相应像素（例如，亮度增加的值大于或等于预定值的像素）中的每一个相应的速度矢量V。

图4B的曲线图420示出从与2D矢量相应的速度矢量V中提取的x轴分量的结果。

具体地，曲线图420是示出相应像素（例如，亮度增加的值大于或等于预定值的亮度的像素）中的每一个的x轴速度矢量Vx的大小和亮度的曲线图。

例如，由于八个杆逆时针旋转，因此布置在下面的杆421的x轴速度矢量Vx具有最大值。因此，杆421可被显示为最亮的杆。

另外，图4C的曲线图430示出从与2D矢量相应的速度矢量V中提取y轴分量的结果。

具体地，曲线图430是示出相应像素（例如，亮度增加的值大于或等于预定值的像素）中的每一个的y轴速度矢量Vy的大小和亮度的示图。

例如，由于八个杆逆时针旋转，布置在右边的杆431的y轴速度矢量Vy可具有最大值。因此，杆431可被显示为最亮的杆。

图5A是示出根据示例性实施例的包括在基于事件的图像处理设备的运算单元500的框图。

参照图5A，根据示例性实施例的基于事件的图像处理设备可还包括运算单元500。

运算单元500可基于光流产生器产生的光流来执行关于用于用户界面的信息的运算。

参照图5B，用于用户界面的信息可包括第一速度Vx、第二速度Vy、第三速度Vz和第四速度ω中的至少一个，其中，包括在（例如，相应于）多个图像像素中的对象在平行于布置传感器551的传感器平面550的平面560上以所述第一速度Vx沿着x轴方向562移动，对象在平行于传感器平面550的平面560上以所述第二速度Yy沿着y轴方向561移动，对象以所述第三速度Vz沿着垂直于平面560和传感器平面550的方向563移动，对象在平行于传感器平面550的平面560上以所述第四速度ω沿着逆时针方向564旋转。

根据另一示例性实施例，当相机移动而对象静止时，运算单元500可产生用于用户界面的信息。在这种情况下，对于相机移动而对象静止的情况，本领域的普通技术人员可修改上述示例性实施例来使用简单运算（例如，改变结果值的符号的运算），以产生用于用户界面的信息。

在这种情况下，运算单元500可包括平面速度运算单元510、光流中心运算单元520、z轴速度运算单元530和角速度运算单元540。

平面速度运算单元510可基于光流来执行关于第一速度Vx和第二速度Vy的运算。具体地，为了关于第一速度Vx和第二速度Vy的运算，平面速度运算单元510可执行关于光流的平均值的运算。

如上所述，光流可包括发生预定事件的至少一个像素的速度矢量。平面速度运算单元510可通过计算所述至少一个像素的所有速度矢量的和来执行关于光流的平均值的运算。

根据示例性实施例，所述至少一个像素的速度矢量中的每一个可与2D矢量相应，因此，光流的平均值也可与2D矢量相应。平面速度运算单元510可从计算出的光流的平均值中分离x轴分量和y轴分量，从而执行关于第一速度Vx和第二速度Yy的运算。

另外，光流中心运算单元520可基于光流来执行关于光流的中心的运算。具体地，为了关于光流的中心的运算，光流中心运算单元520可使用发生预定事件的至少一个像素的位置和包括在光流中的相应像素的速度矢量的大小，来执行光流的中心的运算。

例如，参照图6，预定事件可发生在像素610到像素640中。在这种情况下，由光流产生器产生的光流可包括与像素610相应的速度矢量V₁615、与像素620相应的速度矢量V₂625、与像素630相应的速度矢量V₃635和与像素640相应的速度矢量V₄645。

光流中心运算单元520可通过将位置（例如，像素610到像素640的x轴像素坐标和y轴像素坐标）和大小（例如，速度矢量V₁615到V₄645的沿着x轴方向的大小和沿着y方向的大小）代入等式2来执行关于光流的中心c650的运算。

[等式2]

$c=\left(\begin{array}{cc}\frac{\underset{i}{\mathrm{\Σ}}\left|V_{\mathrm{xi}}\right|x_i}{\underset{i}{\mathrm{\Σ}}\left|V_{\mathrm{xi}}\right|},& \frac{\underset{i}{\mathrm{\Σ}}\left|V_{\mathrm{yi}}\right|y_i}{\underset{i}{\mathrm{\Σ}}\left|V_{\mathrm{yi}}\right|}\end{array}\right)$

另外，z轴速度运算单元530可基于光流和光流的中心来执行关于第三速度Vz的运算。

具体地，z轴速度运算单元530可使用光流的中心和发生预定事件的至少一个像素的位置来产生与所述至少一个像素相应的第一矢量。另外，针对关于第三速度Vz的运算，z轴速度运算单元530可使用包括在光流中的相应像素的第一矢量和速度矢量来执行内积运算。

例如，参照图7，C710表示由图5A的光流中心运算单元520计算的光流的中心，像素720表示发生预定事件的像素中的第i像素。

z轴速度运算单元530可使用C710的位置和像素720的位置来产生第一矢量715。另外，z轴速度运算单元530可通过将第一矢量715和第i像素720的速度矢量725代入等式3来执行关于第三速度Vz的运算。

[等式3]

$V_Z=\underset{i}{\mathrm{\Σ}}{\stackrel{\→}{p}}_i\·{\stackrel{\→}{V}}_i$

参照图5B，当对象沿着接近传感器551的方向563移动时，z轴速度运算单元530计算的第三速度Vz可具有正（+）值。相反，当对象沿着远离传感器551的方向移动时，第三速度Vz可具有负（-）值。

另外，角速度运算单元540可基于光流和光流的中心来执行关于第四速度ω的运算。

具体地，角速度运算单元540可使用光流的中心和发生预定事件的至少一个像素的位置来产生与所述至少一个像素相应的第一矢量。另外，针对关于第四速度ω的运算，角速度运算单元540可使用包括在光流中的相应像素的第一矢量和速度矢量来执行向量积运算。

例如，参照图7，C710表示由图5A的光流中心运算单元520计算的光流的中心，像素720表示发生预定事件的像素中的第i像素。

角速度运算单元540可使用C710的位置和像素720的位置来产生第一矢量715。另外，角速度运算单元540可通过将第i像素720的第一速度715和速度矢量725代入等式4来执行关于第四速度ω的运算。

[等式4]

$\mathrm{\ω}=\underset{i}{\mathrm{\Σ}}{\stackrel{\→}{p}}_i\×{\stackrel{\→}{V}}_i$

参照图5B，当对象沿着逆时针方向564旋转时，由角速度运算单元540计算的第四速度ω可具有正（+）值。相反，当对象沿着顺时针方向旋转时，由角速度运算单元540计算的第四速度ω可具有负（-）值。

因此，根据示例性实施例，基于事件的图像处理设备包括基于事件的图像传感器的技术特征。基于事件的图像传感器可在包括在图像中的多个像素的每一个中异步地产生事件信息。例如，包括在基于事件的图像处理设备中的基于事件的图像传感器响应于多个像素中的发生预定事件的像素，可产生事件信息。作为结果，基于事件的图像处理设备可减小更新图像信息需要的时间的量，以使用基于事件的图像传感器来产生光流。例如，基于事件的图像处理设备可在不必在逐帧的基础上扫描整个图像的情况下，更新关于发生预定事件的像素的时间戳。作为结果，示例性实施例提供一种用于显著减少产生光流所需要的计算时间和存储空间的量的技术。

图8是示出根据示例性实施例的基于事件的图像处理方法的流程图。

参照图8，图8的基于事件的图像处理方法包括接收事件信号的操作810、产生时间戳信息的操作820、产生光流的操作830和执行关于用于用户界面的信息的运算的操作840。

在操作810中，可从感测多个图像像素中的每一个中的预定事件的发生的传感器接收事件信号。在操作820中，响应与接收到的事件信号，可通过将与事件信号相应的至少一个像素映射到输出事件信号的时间来产生时间戳信息。在操作830中，可基于时间戳信息来产生包括所述至少一个像素的速度矢量的光流。在操作840中，可基于光流来计算用于用户界面的信息。

参照图1到图7提供的描述可被相同地应用于图8的操作，因此，为了简明，将省略详细的描述。

根据上述示例性实施例的方法可被记录在计算机可读介质中，其中，所述计算机可读介质包括由计算机实施的用于实现各种操作的程序指令。所述介质也可单独包括数据文件、数据结构等，或者可包括与程序指令结合的数据文件和数据结构等。计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM盘和DVD)、磁光介质(诸如光盘)和专门被配置为用于存储和执行程序指令的硬件装置（诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等）。程序指令的示例包括机器代码(如由编译器产生的机器代码)和包含可由计算机使用解释器执行的高级代码的文件两者。描述的硬件装置可被配置为充当一个或多个软件模块，从而执行上述示例性实施例的操作，反之亦然。

上面已经描述了多个示例性实施例。然而，应该理解，可进行各种修改。例如，如果以不同的顺序执行描述的技术和/或如果描述的系统、架构、装置或电路中的部件以不同的方式组合和/或由其它的部件或其等同物代替或补充，可实现合适的结果。

因此，其它实施方式在权利要求的范围内。

Claims (28)

1.一种图像处理设备，包括：

传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；

时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；

光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。

2.如权利要求1所述的设备，其中，光流包括像素的速度矢量。

3.如权利要求1所述的设备，其中，光流产生器包括：

相邻像素获得单元，获得像素的相邻像素；

时间差计算单元，使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息；

距离差计算单元，计算与像素和相邻像素之间的距离差相关的信息；

光流计算单元，基于与时间差相关的信息和与距离差相关的信息来计算光流。

4.如权利要求3所述的设备，其中，当像素和相邻像素之间的时间差超出预定时间范围的窗口时，时间差计算单元计算出与时间差相关的信息是“0”。

5.如权利要求3所述的设备，其中，与距离差相关的信息包括像素和相邻像素之间的像素距离的倒数。

6.如权利要求3所述的设备，其中，光流计算单元使用与时间差相关的信息和与距离差相关的信息来计算与像素相应的2D矢量A，并执行将2D矢量A除以2D矢量A的内积值的运算以计算光流。

7.如权利要求1所述的设备，还包括：

运算单元，基于光流执行针对用于用户界面的信息的运算。

8.如权利要求7所述的设备，其中，用于用户界面的信息包括第一速度、第二速度、第三速度和第四速度中的至少一个，

其中，与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以第一速度沿着x轴方向移动；

对象在所述平面上以第二速度沿着y轴移动；

对象以第三速度沿着垂直于所述平面的方向移动；

对象以第四速度在所述平面上旋转。

9.如权利要求8所述的设备，其中，运算单元包括：

平面速度运算单元，基于光流来执行关于第一速度和第二速度的运算；

光流中心运算单元，基于光流来执行关于光流的中心的运算；

z轴速度运算单元，基于光流和光流的中心来执行关于第三速度的运算；

角速度运算单元，基于光流和光流的中心来执行关于第四速度的运算。

10.如权利要求9所述的设备，其中，针对关于第一速度和第二速度的运算，平面速度运算单元执行关于光流的平均值的运算。

11.如权利要求9所述的设备，其中，针对关于光流的中心的运算，光流中心运算单元使用包括在光流中的像素的位置和像素的速度矢量的大小来执行光流的中心的运算。

12.如权利要求9所述的设备，其中，针对关于第三速度的运算，z轴速度运算单元使用光流的中心和像素的位置来产生与一个像素相应的第一速度，并使用包括在光流中的像素的第一速度和速度矢量来执行内积运算。

13.如权利要求9所述的设备，其中，针对关于第四速度的运算，角速度运算单元使用光流的中心和像素的位置来产生与像素相应的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量来执行向量积运算。

14.如权利要求1所述的设备，其中，时间戳信息包括与在多个图像像素中的每一个中发生预定事件的最近时间相关的信息。

15.如权利要求1所述的设备，其中，预定事件包括至少一个：

在单位时间段内图像像素的亮度增加大于等于预定值的值的事件；

在单位时间段内图像像素的亮度减少大于或等于预定值的值的事件。

16.一种图像处理方法，包括：

从感测多个图像像素中预定事件的发生的传感器接收事件信号；

响应于接收到的事件信号，通过将与事件信号相应的像素映射到输出事件信号的时间来产生时间戳信息；

基于时间戳信息来产生包括像素的速度矢量的光流。

17.如权利要求16所述的方法，其中，光流的产生的步骤包括：

获得像素的相邻像素；

使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息；

计算与像素和相邻像素之间的距离差相关的信息；

基于与时间差相关的信息和与距离差相关的信息来计算光流。

18.如权利要求16所述的方法，还包括：

基于光流来执行关于用于用户界面的信息的运算，

其中，用于用户界面的信息包括第一速度、第二速度、第三速度和第四速度中的中的至少一个，其中，

与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以第一速度沿着x轴方向移动；

对象在所述平面上以第二速度沿着y轴方向移动；

对象沿着垂直于所述平面的方向以第三速度移动；

对象在所述平面上以第四速度旋转。

19.如权利要求18所述的方法，其中，执行的步骤包括：

基于光流来执行关于第一速度和第二速度的运算；

基于光流来执行关于光流的中心的运算；

基于光流和光流的中心来执行关于第三速度的运算；

基于光流和光流的中心来执行关于第四速度的运算。

20.一种图像处理器，包括：

传感器，接收包括多个像素的输入图像数据，感测各个像素中的每一个的亮度变化是否大于预设值，并仅针对亮度变化大于预设值的像素的部分来输出各自的信号。

时间戳单元，接收信号并产生将所述像素的部分中的像素的每一个映射到基于信号发生亮度变化的各自的时间；

光流产生器，基于时间戳产生的信息来产生光流。

21.如权利要求20所述的图像处理器，其中，时间戳存储信息，并且当从传感器接收到新信号时，更新信息并丢弃先前存储的信息。

22.如权利要求21所述的图像处理器，其中，传感器执行感测操作来每微秒（μs）感测一次亮度变化。

23.如权利要求20所述的图像处理器，其中，光流包括所述像素的部分的像素中的每一个的速度矢量。

24.如权利要求23所述的图像处理器，其中，对于所述像素的部分中的给定像素，使用与给定像素邻近的相邻像素相关的信息来计算速度矢量。

25.如权利要求24所述的图像处理器，其中，信息包括给定像素和相邻像素中的每一个之间的距离。

26.如权利要求24所述的图像处理器，其中，信息包括给定像素和相邻像素中的每一个之间的时间差。

27.如权利要求1所述的图像处理设备，其中，传感器异步输出与所述多个图像像素中发生预定事件的像素的部分相应的事件信号。

28.如权利要求1所述的图像处理设备，其中，光流产生器包括以下的至少一个：

部分计算单元，响应于预定事件信号的输出，异步计算所述多个图像像素中与所述预定事件信号相应的至少一个像素和与所述至少一个像素邻近的相邻像素的速度矢量；

全计算单元，以预定间隔计算所述多个图像像素的速度矢量。

Images