CN112771845A - 传感器模块，电子设备，对象检测方法和程序 - Google Patents

Abstract

提供的是一种传感器模块以及设置有这种传感器模块的电子设备，传感器模块设置有：事件驱动视觉传感器，该事件驱动视觉传感器包括由传感器构成的传感器阵列，其中每个传感器在检测到入射光的强度中的变化时产生事件信号；以及致动器，其耦合到传感器阵列并且被配置成在预定方向上移位传感器阵列。

Description

传感器模块，电子设备，对象检测方法和程序

技术领域

本发明涉及传感器模块、电子设备、对象检测方法和程序。

背景技术

已知一种事件驱动视觉传感器，其中检测入射光强度变化的像素在时间上异步地产生信号。事件驱动视觉传感器的优点在于，与以预定周期扫描所有像素的帧类型视觉传感器(具体地，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器)相比，该传感器可以低功率和高速度运行。例如，在PTL 1和PTL 2中描述了关于这种事件驱动视觉传感器的技术。

[引文列表]

[专利文献]

[PTL 1]

JP-T-2014-535098

[PTL 2]

JP 2018-85725 A

发明内容

[技术问题]

然而，尽管关于事件驱动视觉传感器的上述优点是已知的，但很难说考虑了与传统视觉传感器(如帧类型视觉传感器)的不同特性的外围技术已经充分被提出。

因此，本发明的目的是提供一种传感器模块、电子设备、对象检测方法和程序，其使得能够在事件驱动视觉传感器中以给定定时产生事件。

[问题的解决方案]

根据本发明的一个方面，提供了一种传感器模块，其包括：事件驱动视觉传感器，其包括具有传感器的传感器阵列，当所述传感器检测到入射光的强度中的变化时所述传感器产生事件信号；以及致动器，其连接到所述传感器阵列并且被配置为在预定方向上移位所述传感器阵列。

根据本发明的另一方面，提供了一种通过使用事件驱动视觉传感器的对象检测方法，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列具有当传感器检测到入射光的强度中的变化时产生事件信号的所述传感器，并且所述方法包括以下步骤：驱动连接至所述传感器阵列的致动器，以在预定方向上移位所述传感器阵列；以及从在所述传感器阵列被移位之后产生的所述事件信号中检测对象。

根据本发明的又一方面，提供了一种程序，使连接至事件驱动视觉传感器的处理电路执行以下步骤：驱动连接至传感器阵列的致动器，以在预定方向上移位所述传感器阵列；以及从在所述传感器阵列被移位之后产生的所述事件信号中检测对象，其中所述事件驱动视觉传感器包括具有传感器的所述传感器阵列，当所述传感器检测到入射光的强度中的变化时所述传感器产生事件信号。

根据上述配置，致动器可以在事件驱动视觉传感器中以给定时刻移位传感器阵列以产生事件。

附图说明

图1是示出根据本发明第一实施例的包括传感器模块的电子设备的示意性配置的框图。

图2是示出根据本发明第一实施例的传感器模块的操作的第一示例的序列图。

图3是示出根据本发明第一实施例的传感器模块的操作的第二示例的序列图。

图4是示出根据本发明第一实施例的传感器模块的操作的第三示例的序列图。

图5是示出根据本发明第二实施例的包括传感器模块的电子设备的示意性配置的框图。

图6是示出根据本发明第二实施例的传感器模块的操作的第一示例的序列图。

图7是示出根据本发明第二实施例的传感器模块的操作的第二示例的序列图。

图8是示出在执行本发明第二实施例中的运动预测的情况下控制单元的处理电路的配置示例的框图。

具体实施方式

在下文中，将参照附图详细描述本发明的一些实施例。顺便提一下，在本说明书和附图中，具有基本相同功能配置的部件由相同的参考符号指定，因此将省略重复描述。

(第一实施例)

图1是示出根据本发明第一实施例的包括传感器模块的电子设备的示意性配置的框图。如图1所示，电子设备10包括传感器模块100和控制单元200。

传感器模块100包括事件驱动视觉传感器110、致动器120和快门130。视觉传感器110包括传感器阵列111，其具有对应于图像的像素的传感器111A,111B，…，以及连接到传感器阵列111的处理电路112。传感器111A、111B、...包括光接收元件，并且在检测到入射光的强度变化(更具体地说，亮度变化)时产生事件信号。事件信号从处理电路112输出，例如作为时间戳、传感器识别信息(例如像素位置)和指示亮度变化的极性(增加或减少)的信息。当对象在传感器阵列111的视角内移动时，因为对象反射或散射的光的强度发生了变化，由于例如对应于对象边缘的传感器111A、111B……产生的事件信号，可以按时间顺序检测对象的移动。

这里，如上所述，事件驱动视觉传感器110的优点在于，与帧类型视觉传感器相比，该传感器可以以低功耗高速工作。这是因为在构成传感器阵列111的传感器111A,111B，…中，只有检测到亮度变化的传感器才会产生事件信号。由于未检测到亮度变化的传感器不产生事件信号，因此处理电路112可以只对检测到亮度变化的传感器的事件信号进行处理和高速传输。此外，在亮度没有变化的情况下，处理和传输过程不会发生，从而使低功率运行成为可能。另一方面，即使对象存在于传感器阵列111的视角内，除非对象移位，否则亮度不会改变，因此通过使用由传感器111A、111B…产生的事件信号，难以获得不移动的对象。也就是说，仅通过视觉传感器110难以获得关于包括静止对象的周围环境的信息。

在本实施例中，传感器模块100包括连接到视觉传感器110的致动器120。致动器120根据从控制单元200发送的控制信号被驱动，并且致动器被配置为例如在垂直于传感器111A、111B…的光轴的方向上移位传感器阵列111。当致动器120移位传感器阵列111时，所有传感器111A、111B、...和对象之间的位置关系改变。也就是说，此时，发生与当所有对象已经在传感器阵列111的视角内移动时相同的变化。因此，无论对象是否实际在移动，都可以通过由例如与对象边缘对应的传感器111A、111B…产生的时间信号来检测对象。由于产生上述变化所需的传感器阵列111的移位量不大，所以致动器120可以是诸如使传感器阵列111轻微移位或振动的振动器之类的设备。

注意，在上述描述中，已经描述了致动器120移位传感器阵列111的方向与传感器111A、111B…的光轴方向垂直的示例，但是，在移位方向不垂直于光轴方向的情况下(也就是说，即使移位方向平行于光轴的方向)，所有传感器111A、111B…和对象之间的位置关系也会改变。因此，致动器120可以在给定方向上移位传感器阵列111。注意，在移位方向垂直于或几乎垂直于光轴方向的配置中，有利的是产生上述变化所需的传感器阵列111的移位量被最小化，并且在传感器111A、111B…中，与对象的位置关系以基本一致的方式改变。

此外，在本实施例中，传感器模块100包括快门130。快门130的设置使视觉传感器110的传感器阵列111的整个视角能够被屏蔽和打开。快门130可以是诸如焦平面快门或镜头快门的机械快门，或者是诸如液晶快门的电子快门。当已经打开的快门130被关闭时，传感器阵列111的整个视角被屏蔽，使得入射到所有传感器111A、111B、...上的光的强度在原则上变得最小并恒定。此外，当已经关闭的快门130被打开时，传感器阵列111的整个视角被打开，这在原则上导致改变以提高所有传感器111A、111B、...中的亮度。如下文所述，在本实施例中，这样的操作被用于校准传感器阵列111和检测自发光对象。

控制单元200包括通信接口210、处理电路220和存储器230。通信接口210接收从视觉传感器110的处理电路112发送的事件信号，并将该事件信号输出到处理电路220。此外，通信接口210将处理电路220产生的控制信号发送到致动器120。处理电路220根据存储在存储器230中的程序进行操作，并处理接收到的事件信号。例如，处理电路220基于事件信号按时间顺序产生映射亮度变化发生的位置的图像，并将该图像临时或连续地存储在存储器230中，或者进一步经由通信接口210将该图像发送到另一设备。此外，处理电路220产生用于驱动致动器120和快门130的各个控制信号。

图2是示出根据本发明第一实施例的传感器模块的操作的第一示例的序列图。在所示的示例中，首先，将由控制单元200的处理电路220产生的控制信号发送到致动器120(S101)。当已经接收到控制信号的致动器120被驱动时(S102)，传感器阵列111在预定方向上移位，并且由原则上对应于所有对象的边缘的传感器111A、111B…产生的事件信号从视觉传感器110发送到控制单元200(S103)。处理电路220从接收到的事件信号中检测对象(S104)。如上所述，此时，无论对象是否实际在移动，都可以检测到对象。处理电路220可以将从将控制信号发送到致动器120(S101)、到接收事件信号(S103)、以及基于事件信号捕获环境信息(S104)的过程作为一系列过程来执行。例如，处理电路220可以将在从控制信号发送到致动器120(S101)的预定时间段内接收到的事件信号与在一时刻接收到的事件信号(作为指示环境信息的事件信号)分别对待。

图3是示出根据本发明第一实施例的传感器模块的操作的第二示例的序列图。在所示的示例中，首先，在快门130打开的状态下，将由控制单元200的处理电路220产生的控制信号发送到快门130(S111)。通过关闭已经接收到控制信号的快门130(S112)，传感器阵列111的整个视角被屏蔽，并且入射到所有传感器111A、111B、...上的光强度变得最小且恒定。因此，在指示由于光被阻挡而亮度降低的事件信号从视觉传感器110发送到控制单元200(S113)之后，原则上不应接到收事件信号。然而，例如，在传感器有缺陷或者由于在传感器中产生事件信号的亮度变化的阈值的不当设置而将噪声检测为亮度变化的情况下，可能在快门130屏蔽传感器阵列111的视角的同时产生事件信号。因此，在控制单元200中，处理电路220将快门130保持关闭预定时间段，并且监视在快门130屏蔽传感器阵列111的视角时接收到的事件信号。在该时间段内接收到事件信号的情况下(S114)，处理电路220基于接收到的事件信号校准视觉传感器110(S115)。具体地说，处理电路220将已经产生事件信号的传感器识别为缺陷像素(发光点)，或者调整传感器中用于产生事件信号的亮度变化的阈值。

图4是示出根据本发明第一实施例的传感器模块的操作的第三示例的序列图。在所示的示例中，首先，在快门130关闭状态下，将由控制单元200的处理电路220产生的控制信号发送到快门130(S121)。当已经接收到控制信号的快门130被打开时(S122)，传感器阵列111的整个视角被打开，并且将指示原则上所有传感器111A、111B…中亮度已增加的事件信号从视觉传感器110传输到控制单元200(S123)。之后，由控制单元200的处理电路220产生的控制信号再次被发送到快门130(S125)，并且当快门130关闭时(S126)，使得传感器阵列111的整个视角被屏蔽，指示所有传感器111A、111B…中的亮度降低的事件信号从视觉传感器110发送到控制单元200(S127)。这样，控制单元200向快门130发送用于重复传感器阵列111的视角的屏蔽和打开的控制信号，并且同时接收由视觉传感器110产生的事件信号，特别是在从视角的打开到屏蔽时间段内。

这里，如果通过快门130从打开(S122)到屏蔽(S126)视角之间的时间段t1较短(具体地说，例如300毫秒或更短)，则对象几乎不移动，因此不应接收到指示对象移动的事件信号。作为例外，在诸如照明灯或显示器之类的自发光对象中的光源的闪烁周期短于时间段t1的情况下，接收到指示这些对象的闪烁的事件信号(S124)。因此，通过使时间段t1(即，重复屏蔽和打开视角的周期)长于包括在自发光对象中的光源的闪烁周期(同时如上所述保持时间段t1较短)，控制单元200可以基于接收到的事件信号来识别自发光对象(S128)。

在如上所述的本发明的第一实施例中，由于致动器120移位传感器阵列111，因此在视觉传感器110中强制产生事件，并且可以获得例如关于包括静止对象的周围环境的信息。此外，在本实施例中，由于快门130屏蔽了传感器阵列111的整个视角，因此可以校准传感器阵列111。更进一步，通过以预定周期重复打开和关闭快门130，可以检测诸如照明灯或显示器之类的自发光对象。

注意，在上述示例中，传感器模块100包括致动器120和快门130两者，但是由于这些功能彼此独立，因此致动器120或快门130可以包括在传感器模块100中。此外，尽管在上述示例中，控制单元200与传感器模块100被分开示出和描述，但是控制单元200可以包括在传感器模块100中。在这种情况下，传感器模块100的处理电路112和控制单元200的处理电路220可以单独配置，也可以共用。

(第二实施例)

图5是示出根据本发明第二实施例的包括传感器模块的电子设备的示意性配置的框图。如图5所示，电子设备20包括传感器模块300、控制单元200和可移动支撑机构400。

传感器模块300包括类似于第一实施例中的事件驱动视觉传感器的事件驱动视觉传感器110和快门130。传感器模块300由包括框架410A、410B和410C以及致动器420A和420B的可移动支撑机构400支撑。在所示示例中，致动器420A和420B是根据从控制单元200发送的控制信号驱动的旋转致动器。致动器420A根据控制信号在框架410A和410B之间引起预定角度的旋转移位，并且致动器420B类似地在框架410B和410C之间引起预定角度的旋转移位。因此，致动器420A和420B对包括视觉传感器110的传感器模块300进行移位。

同样在本实施例中，例如，通过以与第一实施例的致动器120相同的方式使用致动器420B以在视觉传感器110中强制产生事件，可以获得例如关于包括静止对象的周围环境的信息。在这种情况下，例如，致动器420B可以被理解为包括在传感器模块300中。另外，在本实施例中，如在下面描述的示例中，控制单元200可以基于当致动器420A和420B移位传感器模块300时由视觉传感器110产生的事件信号，在致动器420A和420B的控制信号中反映校正值。

图6是示出根据本发明第二实施例的传感器模块的操作的第一示例的序列图。在所示的示例中，首先，将由控制单元200的处理电路220产生的控制信号发送到致动器420A和420B中的一个或两个(S131)。当根据控制信号驱动致动器420A和420B时(S132)，传感器模块300被移位，并且传感器111A、111B、...和对象之间的位置关系改变。此时，由传感器111A、111B、...产生的事件信号从视觉传感器110发送到控制单元200(S133)。在控制单元200中，处理电路220测量从向致动器420A和420B发送控制信号(S131)到接收事件信号(S133)的延迟时间段d1，并基于延迟时间段d1校准致动器420A和420B(S134)。具体地说，处理电路220根据延迟时间段d1确定控制信号的校正值，并且所确定的校正值反映被在处理电路随后产生的控制信号中。

在上述示例中，例如，如果控制信号被发送到致动器420A或420B中的任何一个，则致动器420A或致动器420B可以被独立地校准。此外，如果控制信号被发送到致动器420A和420B两者，则包括致动器420A和420B的复合系统可以被校准。例如，当控制单元200校正在期望致动器420A和420B按照特定模式实现移位的情况下执行的比例-积分-微分(PID)控制的参数时，使用根据延迟时间段d1确定的控制信号的校正值。

图7是示出根据本发明第二实施例的传感器模块的操作的第二示例的序列图。在所示的示例中，与上面在图6中所示的示例类似，发送控制信号(S131)，并且接收到控制信号的致动器420A和420B驱动以引起视觉传感器110中的旋转移位(S132)。这里，例如，在致动器420A和420B磨损的情况下，视觉传感器110的旋转移位瞬间变得不稳定，并且发生振动。在这种情况下，由于传感器111A、111B、...和对象之间的位置关系的改变而由传感器111A、111B、...产生的事件信号在多个时刻(S133-1和S133-2)从视觉传感器110发送到控制单元200。处理电路220分别在多个时刻(S133-1和S133-2)测量从向致动器420A和420B发送控制信号(S131)到接收事件信号的延迟时间段d1和d2。因此，处理电路220测量从事件信号的接收开始(S133-1)到接收结束(S133-2)的经过时间段d2-d1。处理电路220根据经过的时间段d2-d1确定校正值，并且所确定的校正值反映在随后由处理电路产生的控制信号中。具体地，处理电路220在经过的时间段d2-d1超过阈值的情况下设置指示致动器420A和420B磨损的标志。在这种情况下，处理电路220可以为已经产生磨损的致动器420A和420B设置诸如不同于其他致动器的操作扭矩的值。

图8是示出在执行本发明第二实施例中的运动预测的情况下控制单元的处理电路的配置示例的框图。在所示的示例中，控制单元200的处理电路220包括例如驱动模式生成部分221、控制信号生成部分222、事件信号分析部分223、误差计算部分224和运动预测部分225，作为根据存储在存储器230中的程序进行操作而实现的功能。驱动模式生成部分221产生用于致动器420A和420B的驱动模式。这里，驱动模式可以通过例如存储在存储器230中的程序来预先确定，或者基于诸如包括在电子设备20中的加速度传感器之类的其他传感器的测量值来确定。控制信号生成部分222根据由驱动模式生成部分221产生的驱动模式产生用于致动器420A和420B的控制信号。

当根据由控制信号生成部分222产生的控制信号驱动致动器420A和420B时，事件信号从视觉传感器110发送到控制单元200。在处理电路220中，事件信号分析部分223从接收到的事件信号执行传感器模块300的移位的反向计算。具体地，例如，事件信号分析部分223从通过分析事件信号获得的对象的运动矢量执行视觉传感器110的运动矢量的反向计算。事件信号分析部分223向误差计算部分224提供包括通过反向计算获得的传感器模块300的移位的信息。误差计算部分224根据通过反向计算获得的传感器模块300的移位与由驱动模式生成部分221产生的驱动模式之间的差来计算致动器420A和420B的误差特性，同时考虑例如由上述参考图6的示例所规定的致动器420A和420B的操作的延迟时间段d1。例如，可以针对致动器420A和420B的每种类型的运动(具体地，在每个轴向上的平移和旋转)对误差特性进行归一化，以存储在存储器230中。

之后，在驱动模式生成部分221为致动器420A和420B产生新的驱动模式的情况下，控制信号生成部分222在输出控制信号之前将产生的控制信号输入到运动预测部分225。运动预测部分225基于由误差计算部分224计算的致动器420A和420B的误差特性，预测致动器420A和420B相对于输入控制信号的运动。控制信号生成部分222校正控制信号，使得由运动预测部分225预测的运动和由驱动模式生成部分221产生的驱动模式之间的差变小。此外，控制信号生成部分222再次将校正的控制信号输入到运动预测部分225，并且运动预测部分225再次预测致动器420A和420B相对于基于误差特性校正的控制信号的运动，然后，控制信号生成部分222可以再次校正控制信号，使得再次预测的运动和驱动模式之间的差变小。

在如上所述的本发明的第二实施例中，除了上述第一实施例的效果之外，控制单元200的处理电路220还可以通过测量从向致动器420A和420B发送控制信号到接收事件信号的延迟时间段d1和d2，来校准致动器420A和420B的延迟量，并且检测由于致动器420A和420B的内部部件的磨损而引起的振动。此外，在本实施例中，处理电路220实现误差计算部分224和运动预测部分225的功能，以便考虑到在致动器420A和420B的运动中产生的误差来校正控制信号，并且可以根据预期的驱动模式更精确地操作致动器420A和420B。

注意，在上述示例中，在同一实施例中描述了致动器420A和420B的延迟量的校准、振动的检测和控制信号的校正，但是由于这些操作可以彼此独立地执行，其中一部分可以实现在电子设备20或传感器模块300中，并且其余部分可以不在电子设备20或传感器模块300中实现。此外，在上述示例中，视觉传感器110被描述为类似于第一实施例能够强制产生事件，但是该功能不是必需的。由于快门130也不是必需的，因此在本实施例中，视觉传感器110不必包括快门130。

尽管上面已经参考附图详细描述了本发明的一些实施例，但是本发明不限于这些示例。显然，本发明所属的技术领域中具有普通知识的人能够在权利要求书中描述的技术思想的范围内提出各种变更示例或修改示例，并且自然应当理解的是，这些也属于本发明的技术范围。

[参考符号列表]

10，20...电子设备，100，300...传感器模块，110...视觉传感器，111...传感器阵列，111A，111B...传感器，112...处理电路，120...致动器，130...快门，200...控制单元，210...通信接口，220...处理电路，221...驱动模式生成部分，222...控制信号生成部分，223...事件信号分析部分，224...误差计算部分，225...运动预测部分，230...存储器，300...传感器模块，400...可移动支撑机构，410A，410B，410C...框架，420A，420B...致动器

Claims (9)

1.一种传感器模块，包括：

事件驱动视觉传感器，其包括具有传感器的传感器阵列，当所述传感器检测到入射光的强度中的变化时所述传感器产生事件信号；以及

致动器，其连接到所述传感器阵列并且被配置为在预定方向上移位所述传感器阵列。

2.根据权利要求1所述的传感器模块，其中

所述预定方向是与所述传感器的光轴方向垂直的方向。

3.根据权利要求1或2所述的传感器模块，其中

所述致动器被配置为在所述预定方向上振动所述传感器阵列。

4.根据权利要求1至3中任一项所述的传感器模块，还包括：

控制单元，其接收所述事件信号并从所述事件信号中检测对象。

5.根据权利要求4所述的传感器模块，其中

所述控制单元向所述致动器发送控制信号，用于在所述预定方向上移位所述传感器阵列，并且从在发送控制信号之后产生的所述事件信号中检测所述对象。

6.根据权利要求5所述的传感器模块，其中

所述控制单元分别对待在从所述控制信号的发送开始的预定时间段内接收到的事件信号和在所述预定时间段以外的时间接收到的事件信号。

7.一种电子设备，包括：

根据权利要求1至6中任一项所述的传感器模块其包括具有传感器的传感器阵列，当所述传感器检测到入射光的强度中的变化时所述传感器产生事件信号。

8.一种通过使用事件驱动视觉传感器的对象检测方法，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列具有当传感器检测到入射光的强度中的变化时产生事件信号的传感器，所述方法包括以下步骤：

驱动连接至所述传感器阵列的致动器，以在预定方向上移位所述传感器阵列；以及

从在所述传感器阵列被移位之后产生的所述事件信号中检测对象。

9.一种程序，使连接至事件驱动视觉传感器的处理电路执行步骤，其中所述事件驱动视觉传感器包括具有传感器的传感器阵列，当所述传感器检测到入射光的强度中的变化时所述传感器产生事件信号，所述步骤包括：

驱动连接至所述传感器阵列的致动器，以在预定方向上移位所述传感器阵列；以及

从在所述传感器阵列被移位之后产生的所述事件信号中检测对象。

Images