CN114073070A - 系统、信息处理设备、信息处理方法和程序 - Google Patents

Abstract

提供了一种系统，包括：事件驱动的视觉传感器，具有传感器阵列，在传感器阵列中，第一传感器和第二传感器以预定模式排列，其中第一传感器当检测到大于第一阈值的光强度的变化时生成第一事件信号，第二传感器当检测到大于第二阈值的光强度的变化时生成第二事件信号，第二阈值大于第一阈值；以及信息处理设备，具有第一处理单元和第二处理单元，第一处理单元被配置为当接收到第一事件信号并且没有接收到第二事件信号时执行第一处理，第二处理单元被配置为当接收到第二事件信号时执行与第一处理不同的第二处理。

Description

系统、信息处理设备、信息处理方法和程序

技术领域

本发明涉及一种系统、信息处理设备、信息处理方法和程序。

背景技术

已知有一种事件驱动的视觉传感器，其通过像素检测入射光的强度变化，以时间异步地生成信号。事件驱动的视觉传感器优于配置为在每个预定周期内扫描所有像素的帧视觉传感器，特别是诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)图像传感器，因为事件驱动的视觉传感器可以用较低功率以较高速度运行。例如，在PTL 1和PTL 2中描述了与这种事件驱动的视觉传感器相关的技术。

[引用列表]

[专利文献]

[PTL 1]

JP 2014-535098T

[PTL 2]

JP 2018-85725A

发明内容

[技术问题]

但是，虽然上述事件驱动的视觉传感器的优点已为人所知，但很难说考虑了与相关的视觉传感器例如帧视觉传感器不同的特性的周边技术得到了充分的开发。

因此，本发明的目的在于，提供一种在基于事件驱动的视觉传感器在检测到光的强度变化时所生成的事件信号来执行处理时，能够针对以不同的光强度发生的事件的每一个执行不同的处理的系统、信息处理设备、信息处理方法以及程序。

[问题解决方案]

根据本发明的一个方面，提供了一种系统，该系统包括事件驱动的视觉传感器和信息处理设备，所述事件驱动的视觉传感器包括传感器阵列，在所述传感器阵列中，第一传感器和第二传感器以预定模式排列，所述第一传感器被配置为当检测到大于第一阈值的光强度的变化时生成第一事件信号，所述第二传感器被配置为当检测到大于第二阈值的光强度的变化时生成第二事件信号，所述第二阈值大于所述第一阈值，所述信息处理设备包括第一处理单元和第二处理单元，所述第一处理单元被配置为当接收到所述第一事件信号并且未接收到所述第二事件信号时执行第一处理，所述第二处理单元被配置为当接收到所述第二事件信号时执行与所述第一处理不同的第二处理。

根据本发明的另一方面，提供了一种信息处理设备，包括第一处理单元和第二处理单元，所述第一处理单元被配置为当第一传感器在检测到大于第一阈值的光强度变化时生成的第一事件信号和第二传感器在检测到大于所述第一阈值的第二阈值的光强度变化时生成的第二事件信号未被接收时执行第一处理，所述第一传感器和所述第二传感器在事件驱动的视觉传感器的传感器阵列中以预定模式排列，所述第二处理单元被配置为当所述第二事件信号被接收时执行与所述第一处理不同的第二处理。

根据本发明的又一方面，提供了一种信息处理方法，包括当接收到第一传感器在检测到大于第一阈值的光强度变化时生成的第一事件信号并且未接收到第二传感器在检测到大于第一阈值的第二阈值的光强度变化时生成的第二事件信号时执行第一处理的步骤，第一传感器和第二传感器在事件驱动型视觉传感器的传感器阵列中以预定模式排列，以及当接收到第二事件信号时执行与第一处理不同的第二处理的步骤。

根据本发明的又一方面，提供了一种用于使计算机用作信息处理设备的程序，该信息处理设备包括第一处理单元和第二处理单元，其中，第一处理单元被配置为当第一传感器在检测到大于第一阈值的光强度变化时生成的第一事件信号和第二传感器在检测到大于第一阈值的第二阈值的光强度变化时生成的第二事件信号未被接收时执行第一处理，第一传感器和第二传感器在事件驱动的视觉传感器的传感器阵列中以预定模式排列，第二处理单元被配置为当第二事件信号被接收时执行与第一处理不同的第二处理。

附图说明

图1是示出根据本发明第一实施例的系统的示意性配置的图。

图2是示出本发明第一实施例中的示例性处理的流程图。

图3是示出本发明第一实施例中的传感器的另一示例性阵列模式的图。

图4是示出根据本发明第二实施例的系统的示意性配置的图。

图5是示出第二实施例的特定示例中的示例性标记闪烁模式的图。

图6是示出在光具有固定波长带的情况下的标记闪烁模式的图。

图7是示出应用示例中的阈值设置的图。

图8是示出本发明第二实施例中的滤波器和传感器的另一示例性阵列模式的图。

具体实施方式

下面将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同功能配置的组件由相同的附图标记表示以省略重复的描述。

(第一实施例)

图1是示出根据本发明第一实施例的系统的示意性配置的图。在图1中所图示的示例中，系统10包含事件驱动的视觉传感器100和信息处理设备200。视觉传感器100包括传感器阵列120。在传感器阵列120中，排列有传感器110，其各自被配置为当检测到通过未示出的光学系统入射在其上的光的强度变化，更具体地，亮度变化时生成事件信号。没有检测到光强度变化的传感器110不生成事件信号，因此，传感器110在视觉传感器100中时间异步地生成事件信号。从视觉传感器100输出的事件信号包括传感器识别信息(例如，像素位置)、亮度变化的极性(增加或减少)和时间戳。

在本实施方式中，视觉传感器100的传感器110包括第一传感器111和第二传感器112，第一传感器被配置为当检测到光强度的变化大于第一阈值th₁时生成事件信号，第二传感器被配置为当检测到光强度的变化大于第二阈值th₂时生成事件信号。第二阈值th₂大于第一阈值th₁(th₂>th₁)。在传感器阵列120中，第一传感器111和第二传感器112以预定模式排列，具体地，在平面上的两个方向上(图示为彼此正交的x方向和y方向)交替排列。例如，由第一传感器111生成的第一事件信号和由第二传感器112生成的第二事件信号可与包括在事件信号中的传感器识别信息区分。

信息处理设备200例如由包括通信接口、处理器和存储器的计算机实现，并且包括由处理器根据存储在存储器中的程序操作或通过通信接口发送的程序操作实现的第一处理单元210和第二处理单元220的功能部分。第一处理单元210在接收到视觉传感器100的第一传感器111所生成的第一事件信号、且未接收到第二传感器112所生成的第二事件信号的情况下，执行第一处理。此外，当接收到由第二传感器112生成的第二事件信号时，第二处理单元220执行与第一处理不同的第二处理。信息处理设备200还可以包括组合处理单元230的功能部分，其被配置为组合第一处理单元210的处理结果和第二处理单元220的处理结果。

注意到，例如，信息处理设备200可以与视觉传感器100内置于同一设备，可以是与视觉传感器100配置在同一空间中并与视觉传感器100进行通信的终端设备，或者可以是经由网络与视觉传感器100连接的服务器设备。此外，信息处理设备200的一些功能可以由终端设备实现，并且其余功能可以由服务器设备实现。

这里，如上所述，第二传感器112检测光强度变化的第二阈值th₂大于第一传感器111检测光强度变化的第一阈值th₁。因此，在视觉传感器100的视角的某个位置发生大于第一阈值th₁且小于等于第二阈值th₂的光强度的变化的情况下，第一传感器111生成事件信号，第二传感器112不生成事件信号。在这种情况下，由已经检测到第一事件信号并且没有检测到第二事件信号的第一处理单元210执行的第一处理可以是例如针对发生相对弱的光强度变化的情况的处理。

另一方面，在视觉传感器100的视角的其他位置发生了比第二阈值th₂大的光量变化的情况下，第一传感器111和第二传感器112都生成事件信号。在这种情况下，由检测到第二事件信号的第二处理单元220执行的第二处理可以是例如针对发生相对较强的光强度变化的情况的处理。注意，当生成第二事件信号时，也生成第一事件信号，但是第二处理单元220可能检测不到第一事件信号。可替换地，第二处理单元220可以检测由第一传感器111在已经生成第二事件信号的第二传感器112附近生成的第一事件信号，从而使用第二事件信号确定事件的置信度并且实现高事件分辨率。

图2是示出本发明第一实施例中的示例性处理的流程图。在图2所示的示例中，信息处理设备200接收事件信号(步骤S101)，当接收到的事件信号是由视觉传感器100的第二传感器112生成的第二事件信号时(步骤S102中为“是”)，第二处理部220执行第二处理(步骤S103)。同时，当所接收的事件信号不是第二事件信号时，即，是由第一传感器111生成的第一事件信号时(步骤S102中的否)，第一处理单元210执行第一处理(步骤S104)。

(第一应用示例)

作为第一应用示例，如上所述的系统10可以用于处理根据事件信号检测具有不同特性的多个对象的移动。在这种情况下，例如，第一阈值对应于诸如墙壁或地板的非发光体移动的情况下的亮度变化量，而第二阈值对应于诸如发光二极管(LED)标记或显示器的发光体移动或闪烁的情况下的亮度变化量。在信息处理设备200中，第一处理单元210执行检测在已经接收到第一事件信号并且尚未接收到第二事件信号的区域中的不发光体的移动的处理。同时，第二处理单元220执行检测在已经接收到第二事件信号的区域中的发光体的移动或闪烁的处理。通过上述处理，可以分别检测非发光体的移动和发光体的移动或闪烁。

(第二应用示例)

此外，作为第二应用示例，如上所述的系统10可以用于基于视觉传感器100检测到的事件来定位例如其上安装有视觉传感器100的游戏控制器的处理。在这种情况下，视觉传感器100根据周围环境的变化来检测发生的事件，可以想到的是，事件的亮度变化的对比度越强，表示周围环境的变化的信息越可靠。因此，在这种情况下，在信息处理设备200中，第一处理单元210执行识别在已经接收到第一事件信号而尚未接收到第二事件信号的区域中具有第一标签的第一事件的处理。第一事件在随后的处理中作为相对低置信度事件处理。同时，第二处理单元220执行识别在已经接收到第二事件信号的区域中具有第二标签的第二事件的处理。此时，在已经接收到第二事件信号的区域中，可以利用第一事件信号来识别已经发生第二事件的区域。第二事件在以后的处理中被处理为相对高置信度的事件。

在上述示例中，组合处理单元230基于由第一处理单元210识别的第一事件和由第二处理单元220识别的第二事件来定位控制器。例如，在当定位所需的事件数量的阈值为1,000时第二事件(高置信度事件)的数量为1,500并且第一事件(低置信度事件)的数量为3,000的情况下，组合处理单元230仅使用第二事件执行定位。同时，在第二事件(高置信度事件)的数量是100并且第一事件(低置信度事件)的数量是1,500的情况下，组合处理单元230使用第一事件和第二事件两者来执行定位。在识别了具有相对较高置信度的足够数量的第二事件的情况下，仅基于第二事件执行定位，从而可以增强定位的准确性。

图3是示出本发明第一实施例中的传感器的另一示例性阵列模式的图。在图3所示的示例中，在视觉传感器100的传感器阵列120中，第一传感器111和第二传感器112不均匀地排列。具体地，第一传感器111和第二传感器112在平面上的两个方向上(图示为彼此正交的x方向和y方向)交替地排列，但是第一传感器111和第二传感器112在每个方向上的比率是2:1。例如，在上述第一应用示例中，诸如LED标记或显示器的发光体的移动或闪烁是强对比度事件，因此当以等于或小于事件发生的区域的间隔设置第二传感器112时，可以准确地检测事件。在这种情况下，传感器可以如上所述以不均匀模式排列，以使第一传感器111的区域相对大，从而提高了非发光体事件的分辨率。

(第二实施例)

图4是示出根据本发明第二实施例的系统的示意性配置的图。在图4中所图示的示例中，系统20包含事件驱动的视觉传感器300和信息处理设备400。在本实施例中，视觉传感器300的传感器310包括第一传感器311，其被配置为当检测到大于第一阈值th₁的光强度变化时生成事件信号，第二传感器312，其被配置为当检测到大于第一阈值th₁的大于第二阈值th₂的光强度变化时生成事件信号，第三传感器313，其被配置为当检测到大于第二阈值th₂的大于第三阈值th₃的光强度变化时生成事件信号，以及第四传感器314，其被配置为当检测到大于第三阈值th₃的大于第四阈值th₄的光强度变化时生成事件信号(th₁＜th₂＜th₃＜th₄)。在传感器阵列320中，第一至第四传感器311至314以预定模式排列，具体地，在平面上的两个方向上(图示为彼此正交的x方向和y方向)交替排列。例如，由第一至第四传感器311至314各自生成的第一至第四事件信号可与事件信号中所包括的传感器识别信息区分开。

信息处理设备400例如由包括通信接口、处理器和存储器的计算机实现，并且包括由处理器根据存储在存储器中或通过通信接口接收的程序操作而实现的第一至第四处理单元410至440的功能部分。当接收到第一事件信号并且没有接收到第二至第四事件信号时，第一处理单元410执行第一处理。当接收到第二事件信号(也可以接收到第一事件信号)并且没有接收到第三和第四事件信号时，第二处理单元420执行第二处理。当接收到第三事件信号(也可以接收到第一和第二事件信号)并且没有接收到第四事件信号时，第三处理单元430执行第三处理。当接收到第四事件信号(也可以接收到第一至第三事件信号)时，第四处理单元440执行第四处理。第一处理至第四处理可以彼此不同。信息处理设备400还可以包括被配置为组合第一至第四处理单元410至440的处理结果的组合处理单元450的功能部分。

(第三应用示例)

作为第三应用示例，如上所述的系统20可用于例如识别和跟踪标记的处理，所述标记经配置而以光强度彼此不同的四种类型的闪光模式发射光且附接到在视觉传感器300的视角中移动的多个对象。如图5所示，四种标记闪烁模式P1到P4的光强度I₁、I₂、I₃和I₄被设置为与第一到第四传感器311到314的阈值th₁、th₂、th₃和th₄建立关系th₁＜I₁≤th₂＜I₂≤th₃＜I₃≤th₄＜I₄。然后，第一处理单元410可跟踪闪烁模式P1中的标记，第二处理单元420可跟踪闪烁模式P2中的标记，第三处理单元430可跟踪闪烁模式P3中的标记，并且第四处理单元440可跟踪闪烁模式P4中的标记。例如，在与本实施方式不同，在标记的光强度相同的情况下，为了使用事件信号来识别标记，如图6所示，需要使标记的闪烁模式彼此不同。然而，在这种情况下，随着要识别的标记的类型的数量增加，闪烁模式的周期变长，结果尽管事件驱动的视觉传感器可以高速操作，但等待时间增加。在上述示例中，如图5所示，尽管利用具有相同周期的标记的闪烁模式来维持等待时间，但是可以识别四种类型的标记。

(第四应用示例)

此外，作为第四应用示例，如上所述的系统20可以用于处理例如识别自动驾驶车辆周围的物体。在这种情况下，例如，如图7所示，第一至第四传感器311至314的阈值th₁、th₂、th₃和th₄被设置为分别适于检测(1)晴朗天气下的不发光体，(2)恶劣天气下的不发光体，(3)交通灯，以及(4)LED标记。在这种情况下，第一处理单元410识别晴朗天气中的不发光体，第二处理单元420识别恶劣天气中的不发光体的移动，第三处理单元430识别交通灯的移动和闪烁，第四处理单元440识别LED标记的移动和闪烁。由于交通灯和LED标志是发光体，所以可以以比非发光体的阈值高的阈值来检测其事件。例如，LED标记被附着到其它车辆以测量车辆间距离，或者被嵌入道路中以引导路线。在恶劣天气中，由于雨滴等而发生大量事件，因此设置允许识别除雨滴之外的飞行物体并且高于晴朗天气的阈值，从而可以减少事件检测之后的处理负荷。在这种情况下，晴朗天气中的数据也可以用于促进除雨滴之外的事件的检测。

根据本实施例的系统20可以用于作为第一实施例的应用示例的上述第一和第二应用示例，即，从事件信号检测具有不同特性的多个对象的移动的处理，以及基于事件的定位的处理。在定位处理中，在四个等级中评估事件的置信度，使得可以以置信度的降序来提取定位所需的事件的数量(例如，可以提供这样的选项，即，在四个等级的置信度中，仅提取前两个等级或前三个等级中的事件)，并且因此可以增强定位的准确性。此外，根据第一实施例的系统10还可以用于第三应用示例的处理(跟踪两种类型的标记)和第四应用示例的处理(例如，在晴朗和恶劣天气中识别非发光体的移动)。

图8是示出本发明第二实施例中的传感器的另一示例性阵列模式的图。在上述图4所示的示例中，视觉传感器300的第一至第四传感器311至314在平面上的两个方向上(图示为彼此正交的x方向和y方向)交替排列。然而，在图8所示的示例中，第一传感器311至第四传感器314仅在x方向上交替排列。简而言之，第一传感器311至第四传感器314相对于y方向排列成带状模式。在这种情况下，在x方向上，在比传感器阵列320的像素尺寸的四倍大的区域小的区域中发生的事件可能被具有不匹配的波长带的滤波器阻挡，但是在y方向上没有阻挡该事件。同时，在上述图4所示的示例中，在x方向和y方向上都没有被阻挡的情况下，检测到在等于或大于传感器阵列320的像素尺寸的两倍大的区域的区域中发生的事件。这样，例如传感器的阵列模式可以根据要检测的事件在各方向上的大小而适当地改变。

在上述本发明的实施例中，事件驱动的视觉传感器中布置有用于检测光的强度变化的阈值彼此不同的多种类型的传感器，并且信息处理设备执行与由各个传感器生成的事件信号相对应的处理，结果可以对以不同光强度发生的事件进行不同的处理。尽管随着传感器类型(阈值水平)的数量增加，具有相同强度的事件的检测的分辨率降低，但是可以通过公知技术(例如，内插或外插)来补偿分辨率。此外，例如，如上所述，在将由具有高阈值的传感器生成的事件信号处理为表示发生相对高置信度事件的信息的情况下，利用由具有低阈值的传感器生成的事件信号来识别发生了相对高置信度事件的区域，结果可以防止分辨率的下降。

注意，上述每个实施例的修改也适用于其它实施例。例如，如参考图3在第一实施例中描述的滤光器和传感器的不均匀阵列模式也适用于第二实施例。此外，如参考图8在第二实施例中描述的滤波器和传感器的带状阵列模式也适用于第一实施例。

本发明的实施例可以用于获取关于例如游戏控制器、智能电话或任何种类的移动体(车辆、电动车辆、混合电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人等)的周围环境的信息，用于根据周围物体的位置执行定位，或检测进入物体以采取躲避行动。

以上，参照附图详细地说明了本发明的优选实施方式，但本发明并不限定于这些实施例。显然，在所附权利要求中描述的技术思想的范围内，具有本发明所属技术领域的普通知识的人员可以实现各种改变或修改，因此，应该理解，这些改变或修改自然属于本发明的技术范围。

[参考符号列表]

10，20：系统

100，300：事件驱动的视觉传感器

110，310：传感器

111，311：第一传感器

112，312：第二传感器

313：第三传感器

314：第四传感器

120，320：传感器阵列

200，400：信息处理设备

210，410：第一处理单元

220，420：第二处理单元

430：第三处理单元

440：第四处理单元

Claims (8)

1.一种系统，包括：

事件驱动的视觉传感器，包括传感器阵列，在所述传感器阵列中，第一传感器和第二传感器以预定模式排列，所述第一传感器被配置为当检测到大于第一阈值的光强度的变化时生成第一事件信号，所述第二传感器被配置为当检测到大于第二阈值的光强度的变化时生成第二事件信号，所述第二阈值大于所述第一阈值；以及

信息处理设备，包括

第一处理单元，被配置为当接收到所述第一事件信号而未接收到所述第二事件信号时执行第一处理，以及

第二处理单元，被配置为当接收到所述第二事件信号时，执行与所述第一处理不同的第二处理。

2.根据权利要求1所述的系统，

其中，在所述传感器阵列中，第三传感器与所述第一传感器和所述第二传感器一起以所述预定模式排列，所述第三传感器被配置为当检测到大于第三阈值的光强度的变化时生成第三事件信号，所述第三阈值大于所述第二阈值，以及

所述信息处理设备还包括第三处理单元，其被配置为基于所述第三事件信号执行第三处理。

3.根据权利要求1或2所述的系统，

其中，在所述传感器阵列中，所述第一传感器和所述第二传感器各自沿第一方向和与所述第一方向正交的第二方向排列，以及

在所述预定模式中，所述第一传感器和所述第二传感器在所述第一方向和所述第二方向中的每一个方向上交替地排列。

4.根据权利要求1至3中任一项所述的系统，

其中，在所述传感器阵列中，所述第一传感器和所述第二传感器各自沿第一方向和与所述第一方向正交的第二方向排列，以及

在所述预定模式中，所述第一传感器和所述第二传感器仅在所述第一方向上交替排列。

5.根据权利要求1至4中任一项所述的系统，

其中，所述第一处理单元识别具有第一标签的第一事件，

所述第二处理单元识别具有第二标签的第二事件，以及

所述信息处理设备还包括合成处理单元，所述合成处理单元被配置为在所述第二事件的数量等于或大于预定阈值的情况下仅使用所述第二事件来定位安装有所述视觉传感器的设备，并且在所述第二事件的数量小于所述预定阈值的情况下使用所述第一事件和所述第二事件来定位所述设备。

6.一种信息处理设备，包括：

第一处理单元，被配置为当接收到第一传感器在检测到大于第一阈值的光强度变化时生成的第一事件信号并且未接收到第二传感器在检测到大于第一阈值的第二阈值的光强度变化时生成的第二事件信号时，执行第一处理，所述第一传感器和所述第二传感器以预定模式排列在事件驱动的视觉传感器的传感器阵列中；以及

第二处理单元，被配置为当接收到所述第二事件信号时，执行与所述第一处理不同的第二处理。

7.一种信息处理方法，包括：

在接收到第一传感器在检测到大于第一阈值的光强度变化时生成的第一事件信号并且未接收到第二传感器在检测到大于第一阈值的第二阈值的光强度变化时生成的第二事件信号时执行第一处理的步骤，所述第一传感器和所述第二传感器以预定模式排列在事件驱动的视觉传感器的传感器阵列中；以及

当接收到第二事件信号时执行与所述第一处理不同的第二处理的步骤。

8.一种用于使计算机用作信息处理设备的程序，包括：

第一处理单元，被配置为当接收到第一传感器在检测到大于第一阈值的光强度变化时生成的第一事件信号并且未接收到第二传感器在检测到大于第一阈值的第二阈值的光强度变化时生成的第二事件信号时，执行第一处理，所述第一传感器和所述第二传感器以预定模式排列在事件驱动型视觉传感器的传感器阵列中；以及

第二处理单元，被配置为当接收到所述第二事件信号时，执行与所述第一处理不同的第二处理。

Images