CN112771846A - 电子设备、致动器控制方法和程序 - Google Patents

Abstract

提供了一种电子设备，其包括：事件驱动视觉传感器，所述事件驱动视觉传感器包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光的强度变化时产生事件信号；致动器，其使包括所述视觉传感器的模块移位；以及控制单元，其将控制信号发送到所述致动器，并使所述控制信号反映基于当所述致动器使所述模块移位时产生的所述事件信号的校正值。

Description

电子设备、致动器控制方法和程序

技术领域

本发明涉及一种电子设备、致动器控制方法和程序。

背景技术

已知事件驱动的视觉传感器，其中检测入射光强度变化的像素在时间上异步地产生信号。与以预定周期扫描所有像素的帧型视觉传感器(具体地，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器)相比，事件驱动视觉传感器的优点在于传感器可以以低功率和高速操作。例如，在专利文献1(PTL1)和专利文献2(PTL 2)中描述了关于这种事件驱动的视觉传感器的技术。

引证列表

专利文献

[PTL 1]

JP-T-2014-535098

[PTL 2]

JP2018-85725A

发明内容

技术问题

然而，尽管关于事件驱动视觉传感器的上述优点是已知的，但是难以说，已经充分提出了其中考虑了与传统视觉传感器(诸如帧型视觉传感器)的特征不同的特征的外围技术。

因此，本发明的目的是提供一种通过事件驱动视觉传感器与致动器的交互提供便利性的电子设备、致动器控制方法和程序。

问题的解决方案

根据本发明的一个方面，提供了一种电子设备，所述电子设备包括事件驱动视觉传感器，其包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光的强度变化时产生事件信号；致动器，其使包括所述视觉传感器的模块移位，以及控制单元，其将控制信号发送到所述致动器，并在所述控制信号中反映基于当所述致动器使所述模块移位时产生的所述事件信号的校正值。

根据本发明的另一方面，提供了一种使用事件驱动视觉传感器的致动器控制方法，所述事件驱动视觉传感器包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光强度变化时产生事件信号，并且所述方法包括以下步骤：驱动所述致动器以使包括所述视觉传感器的模块移位，以及在所述制动器的控制信号中反映当所述致动器使所述模块移位时产生的所述事件信号。

根据本发明的又一方面，提供了一种促使连接到事件驱动视觉传感器的处理电路执行以下步骤的程序，所述事件驱动视觉传感器包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光强度变化时产生事件信号：驱动致动器以使包括视觉传感器的模块移位，以及在所述致动器的控制信号中反映当所述致动器使所述模块移位时产生的所述事件信号。

根据上述配置，可以通过事件驱动视觉传感器与致动器的交互来提供便利。

附图说明

图1是示出根据本发明的第一实施例的包括传感器模块的电子设备的示意性配置的框图。

图2是示出根据本发明的第一实施例的传感器模块的操作的第一示例的序列图。

图3是示出根据本发明的第一实施例的传感器模块的操作的第二示例的序列图。

图4是示出根据本发明的第一实施例的传感器模块的操作的第三示例的序列图。

图5是示出根据本发明的第二实施例的包括传感器模块的电子设备的示意性配置的框图。

图6是示出根据本发明的第二实施例的传感器模块的操作的第一示例的序列图。

图7是示出根据本发明的第二实施例的传感器模块的操作的第二示例的序列图。

图8是示出在本发明的第二实施例中执行运动预测的情况下控制单元的处理电路的配置示例的框图。

具体实施方式

在下文中，将参考附图详细描述本发明的一些实施例。顺便提及，在本说明书和附图中，具有基本相同的功能配置的组件由相同的附图标记指定，以便将省略重复的描述。

(第一实施例)

图1是示出根据本发明的第一实施例的包括传感器模块的电子设备的示意性配置的框图。如图1中所示，电子设备10包括传感器模块100和控制单元200。

传感器模块100包括事件驱动视觉传感器110、致动器120和快门130。视觉传感器110包括具有与图像的像素对应的传感器111A、111B、...的传感器阵列111和连接到传感器阵列111的处理电路112。传感器111A、111B、…包括光接收元件，并且在检测入射光的强度变化(更具体地，亮度变化)时产生事件信号。例如，从处理电路112输出事件信号作为时间戳、传感器识别信息(例如，像素位置)和指示亮度变化(增大或减小)的极性的信息。当对象在传感器阵列111的视角内移动时，由于由对象反射或散射的光的强度改变，因此根据例如由与对象的边缘对应的传感器111A、111B、...产生的事件信号，可以按时间顺序检测对象的移动。

这里，如已经描述的，与帧型视觉传感器相比，事件驱动视觉传感器110的优点在于传感器可以以低功耗和高速操作。这是因为在构成传感器阵列111的传感器111A、111B、...中，只有检测到亮度变化的传感器产生事件信号。由于未检测到亮度变化的传感器不产生事件信号，因此处理电路112可以仅高速处理和发送已经检测到亮度变化的传感器的事件信号。此外，在亮度没有变化的情况下，不发生处理和发送处理，使得以低功率进行操作成为可能。另一方面，即使对象存在于传感器阵列111的视角内，亮度也不会变化，除非对象移动，因此难以通过使用由传感器111A、111B、...产生的事件信号来捕获不移动的对象。也就是说，难以仅利用视觉传感器110获得关于包括静止对象的周围环境的信息。

在本实施例中，传感器模块100包括连接到视觉传感器110的致动器120。致动器120根据从控制单元200发送的控制信号被驱动，并且被配置为例如在垂直于传感器111A、111B、…的光轴方向的方向上移位(displace)传感器阵列111。当致动器120移位传感器阵列111时，所有传感器111A、111B、…和对象之间的位置关系改变。也就是说，此时，发生与当所有对象已经在传感器阵列111的视角内移动时相同的变化。因此，无论对象是否实际上正在移动，都可以通过例如由与对象的边缘相对应的传感器111A、111B、...产生的事件信号来检测对象。由于产生上述变化所需的传感器阵列111的移位量不大，因此致动器120可以是诸如使传感器阵列111稍微移位或振动的振动器的设备。

注意，在上面的描述中，已经描述了致动器120使传感器阵列111移位的方向垂直于传感器111A、111B、...的光轴方向的示例，但是在移位方向不垂直于光轴方向的情况下，即，例如，即使移位方向平行于光轴的方向，所有传感器111A、111B、...和对象之间的位置关系也改变。因此，致动器120可以使传感器阵列111在给定方向上移位。注意，在移位方向垂直于或几乎垂直于光轴方向的配置中，有利的是，产生上述变化所需的传感器阵列111的移位量被最小化，并且与对象的位置关系在整个传感器111A、111B、…中以基本均匀的方式改变。

此外，在本实施例中，传感器模块100包括快门130。快门130被布置成使得视觉传感器110的传感器阵列111的整个视角可以被遮蔽和被打开。快门130可以是诸如焦平面快门或透镜快门的机械快门，或者诸如液晶快门的电子快门。当已经打开的快门130关闭时，传感器阵列111的整个视角被遮蔽，使得入射在所有传感器111A、111B、…上的光的强度原则上变得最小并且恒定。此外，当已经关闭的快门130被打开时，传感器阵列111的整个视角被打开，这原则上导致变化以提高所有传感器111A、111B、…中的亮度。如稍后将描述的，在本实施例中，这样的操作被用于校准传感器阵列111并检测自发光对象。

控制单元200包括通信接口210、处理电路220和存储器230。通信接口210接收从视觉传感器110的处理电路112发送的事件信号，并将事件信号输出到处理电路220。此外，通信接口210将由处理电路220产生的控制信号发送到致动器120。例如，处理电路220根据存储在存储器230中的程序进行操作，并且处理接收到的事件信号。例如，处理电路220基于事件信号产生映射亮度变化按时间顺序发生的位置的图像，并且将图像暂时或连续地存储在存储器230中，或者进一步经由通信接口210将图像发送到另一设备。此外，处理电路220产生用于驱动致动器120和快门130的相应控制信号。

图2是示出根据本发明的第一实施例的传感器模块的操作的第一示例的序列图。在所示的示例中，首先，将由控制单元200的处理电路220产生的控制信号发送到致动器120(S101)。当已经接收到控制信号的致动器120被驱动时(S102)，传感器阵列111在预定方向上被移位，并且由原则上对应于所有对象的边缘的传感器111A、111B、...产生的事件信号从视觉传感器110被发送到控制单元200(S103)。处理电路220从接收到的事件信号来检测对象(S104)。如上所述，此时，无论对象是否实际移动，都可以检测对象。处理电路220可以执行从将控制信号发送到致动器120(S101)，到接收事件信号(S103)和基于事件信号捕获环境信息(S104)的过程作为一系列过程。例如，处理电路220可以将从将控制信号发送到致动器120(S101)的预定时间段期间接收到的事件信号与一次接收到的事件信号分开处理为指示环境信息的事件信号。

图3是示出根据本发明的第一实施例的传感器模块的操作的第二示例的序列图。在所示的示例中，首先，在快门130打开的状态下，由控制单元200的处理电路220产生的控制信号被发送到快门130(S111)。通过关闭已经接收到控制信号的快门130(S112)，传感器阵列111的整个视角被遮蔽，并且入射在所有传感器111A、111B、…上的光的强度变得最小且恒定。因此，在指示由于光被阻挡而亮度已经降低的事件信号从视觉传感器110被发送到控制单元200(S113)之后，原则上不应接收事件信号。然而，在由于用于在传感器中产生事件信号的亮度变化的阈值的不正确设置而导致传感器有缺陷或噪声被检测为亮度变化的情况下，例如，可以在快门130遮蔽传感器阵列111的视角的同时产生事件信号。因此，在控制单元200中，处理电路220保持快门130关闭预定时间段，并且监视在快门130遮蔽传感器阵列111的视角时接收到的事件信号。在该时间段期间接收到事件信号的情况下(S114)，处理电路220基于接收到的事件信号来校准视觉传感器110(S115)。具体地，处理电路220将已经产生事件信号的传感器识别为有缺陷像素(发光斑点)，或者调整用于在传感器中产生事件信号的亮度变化的阈值。

图4是示出根据本发明的第一实施例的传感器模块的操作的第三示例的序列图。在所示的示例中，首先，在快门130关闭的状态下，由控制单元200的处理电路220产生的控制信号被发送到快门130(S121)。当已经接收到控制信号的快门130被打开时(S122)，传感器阵列111的整个视角被打开，并且指示原则上所有传感器111A、111B、…中的亮度已经增加的事件信号从视觉传感器110被发送到控制单元200(S123)。之后，将由控制单元200的处理电路220产生的控制信号再次发送到快门130(S125)，并且当快门130关闭时(S126)，使得传感器阵列111的整个视角被遮蔽，将指示所有传感器111A、111B、…中亮度已经降低的事件信号从视觉传感器110发送到控制单元200(S127)。以这种方式，控制单元200将用于重复遮蔽和打开传感器阵列111的视角的控制信号发送到快门130，并且同时，特别是在从打开视角到遮蔽视角的时段期间，接收由视觉传感器110产生的事件信号。

这里，如果从快门130的视角的打开(S122)到遮蔽(S126)的时间段t1短(具体地，例如，300毫秒或更短)，则对象几乎不移动，并且因此不应接收指示对象移动的事件信号。作为例外，在诸如照明或显示器的自发光对象中的光源的闪烁周期短于时间段t1的情况下，接收指示这些对象的闪烁的事件信号(S124)。因此，通过使时间段t1(即，重复遮蔽和打开视角的周期)长于包括在自发光对象中的光源的闪烁周期(同时如上所述保持时间段t1短)，控制单元200能够基于接收到的事件信号来识别自发光对象(S128)。

在如上所述的本发明的第一实施例中，由于致动器120移位传感器阵列111，在视觉传感器110中强制生成事件，并且可以获得例如关于包括静止对象的周围环境的信息。此外，在本实施例中，由于快门130遮蔽传感器阵列111的整个视角，所以可以校准传感器阵列111。另外，通过以预定周期重复快门130的打开和关闭，可以检测诸如照明或显示器的自发光对象。

注意，在上述示例中，传感器模块100包括致动器120和快门130两者，但是由于这些功能彼此独立，因此致动器120或快门130可以包括在传感器模块100中。此外，尽管在上述示例中控制单元200与传感器模块100分开示出和描述，但是控制单元200可以包括在传感器模块100中。在这种情况下，传感器模块100的处理电路112和控制单元200的处理电路220可以被单独配置或者可以是共同的。

(第二实施例)

图5是示出根据本发明的第二实施例的包括传感器模块的电子设备的示意性配置的框图。如图5中所示，电子设备20包括传感器模块300、控制单元200和可移动支撑机构400。

传感器模块300包括与第一实施例中的事件驱动视觉传感器类似的事件驱动视觉传感器110和快门130。传感器模块300由包括框架410A、410B和410C以及致动器420A和420B的可移动支撑机构400支撑。在所示的示例中，致动器420A和420B是根据从控制单元200发送的控制信号驱动的旋转致动器。致动器420A根据控制信号引起框架410A和410B之间的预定角度的旋转移位，并且致动器420B类似地引起框架410B和410C之间的预定角度的旋转移位。由此，致动器420A和420B使包括视觉传感器110的传感器模块300移位。

同样在本实施例中，例如，通过以与第一实施例的致动器120相同的方式使用致动器420B在视觉传感器110中强制产生事件，可以获得关于例如包括静止对象的周围环境的信息。在这种情况下，例如，致动器420B可以被理解为包括在传感器模块300中。另外，在本实施例中，如在下面描述的示例中，当致动器420A和420B使传感器模块300移位时，控制单元200可以基于由视觉传感器110产生的事件信号而在致动器420A和420B的控制信号中反映校正值。

图6是示出根据本发明的第二实施例的传感器模块的操作的第一示例的序列图。在所示的示例中，首先，将由控制单元200的处理电路220产生的控制信号发送到致动器420A和420B中的一个或两个(S131)。当根据控制信号驱动致动器420A和420B时(S132)，传感器模块300移位，并且传感器111A、111B、...和对象之间的位置关系改变。此时，由传感器111A、111B、...产生的事件信号从视觉传感器110被发送到控制单元200(S133)。在控制单元200中，处理电路220测量从发送控制信号到致动器420A和420B(S131)，到接收事件信号(S133)的延迟时间段d1，并基于延迟时间段d1校准致动器420A和420B(S134)。具体地，处理电路220根据延迟时间段d1确定控制信号的校正值，并且所确定的校正值反映在随后由处理电路产生的控制信号中。

在上述示例中，例如，如果控制信号被发送到致动器420A或420B，则可以独立地校准致动器420A或致动器420B。此外，如果控制信号被发送到致动器420A和420B两者，则可以校准包括致动器420A和420B的复合系统。例如，当控制单元200校正在期望致动器420A和420B实现遵循特定模式的移位的情况下执行的比例-积分-微分(PID)控制的参数时，使用根据延迟时间段d1确定的控制信号的校正值。

图7是示出根据本发明的第二实施例的传感器模块的操作的第二示例的序列图。在所示的示例中，类似于上面在图6中所示的示例，发送控制信号(S131)，并且已经接收到控制信号的致动器420A和420B驱动以引起视觉传感器110中的旋转移位(S132)。这里，例如，在致动器420A和420B被磨损的情况下，视觉传感器110的旋转移位不会瞬间变得稳定，并且例如发生振动。在这种情况下，由于传感器111A、111B、...和对象之间的位置关系的变化而由传感器111A、111B、...产生的事件信号在多个定时从视觉传感器110被发送到控制单元200(S133-1和S133-2)。处理电路220分别在多个定时(S133-1和S133-2)测量从向致动器420A和420B发送控制信号(S131)到接收事件信号的延迟时间段d1和d2。因此，作为结果，处理电路220测量从事件信号的接收开始(S133-1)到接收结束(S133-2)经过的时间段d2-d1。处理电路220根据经过的时间段d2-d1确定校正值，并且所确定的校正值反映在之后由处理电路产生的控制信号中。具体地，在经过的时间段d2-d1超过阈值的情况下，处理电路220设置指示致动器420A和420B被磨损的标志。在这种情况下，处理电路220可以为已经产生磨损的致动器420A和420B设置诸如与其他致动器的操作转矩不同的操作转矩的值。

图8是示出在本发明的第二实施例中执行运动预测的情况下控制单元的处理电路的配置示例的框图。在所示的示例中，控制单元200的处理电路220包括例如驱动模式产生部221、控制信号产生部222、事件信号分析部223、误差计算部224和运动预测部225，作为通过根据存储在存储器230中的程序的操作实现的功能。驱动模式产生部221产生用于致动器420A和420B的驱动模式。这里，驱动模式可以通过例如存储在存储器230中的程序来预先确定，或者基于诸如包括在电子设备20中的加速度传感器的其他传感器的测量值来确定。控制信号产生部222根据由驱动模式产生部221产生的驱动模式来产生用于致动器420A和420B的控制信号。

当根据由控制信号产生部222产生的控制信号来驱动致动器420A和420B时，事件信号从视觉传感器110被发送到控制单元200。在处理电路220中，事件信号分析部223根据接收到的事件信号执行传感器模块300的移位的反向计算。具体而言，例如，事件信号分析部223根据通过对事件信号进行分析而获得的对象的运动矢量来执行视觉传感器110的运动矢量的反向计算。事件信号分析部223向误差计算部224提供包括通过反向计算获得的传感器模块300的移位的信息。例如，误差计算部224根据通过反向计算获得的传感器模块300的移位与由驱动模式产生部221产生的驱动模式之间的差异来计算致动器420A和420B的误差特性，同时考虑由上面参考图6描述的示例指定的致动器420A和420B的操作的延迟时间段d1。例如，可以针对致动器420A和420B的每种类型的移动(具体地，在每个轴向方向上的平移和旋转)对误差特性进行归一化，以存储在存储器230中。

之后，在驱动模式产生部221产生用于致动器420A和420B的新的驱动模式的情况下，控制信号产生部222在输出控制信号之前将所产生的控制信号输入到运动预测部225。运动预测部225基于由误差计算部224计算的致动器420A和420B的误差特性，预测致动器420A和420B针对输入控制信号的运动。控制信号产生部222校正控制信号，使得由运动预测部225预测的移动与由驱动模式产生部221产生的驱动模式之间的差异变小。此外，控制信号产生部222再次将校正的控制信号输入到运动预测部225，并且运动预测部225再次预测致动器420A和420B针对基于误差特性校正的控制信号的移动，并且然后，控制信号产生部222可以再次校正控制信号，使得再次预测的运动与驱动模式之间的差异变小。

在如上所述的本发明的第二实施例中，除了上述第一实施例的效果之外，控制单元200的处理电路220可以校准致动器420A和420B的延迟量，并通过测量从向致动器420A和420B发送控制信号到接收事件信号的延迟时间段d1和d2来检测由于致动器420A和420B的内部组件的磨损而引起的振动。此外，在本实施例中，处理电路220实现误差计算部224和运动预测部225的功能，以考虑到致动器420A和420B的运动中产生的误差来校正控制信号，并且可以相对于预期的驱动模式更准确地操作致动器420A和420B。

注意，在上述示例中，已经在同一实施例中描述了致动器420A和420B的延迟量的校准、振动的检测和控制信号的校正，但是由于这些操作可以彼此独立地执行，因此可以在电子设备20或传感器模块300中实现这些操作中的一部分，而可以不在电子设备20或传感器模块300中实现其余操作。此外，在上述示例中，视觉传感器110已经被描述为能够类似于第一实施例强制产生事件，但是该功能不是必需的。由于快门130也不是必需的，因此在本实施例中，视觉传感器110不必包括快门130。

尽管已经参考上文的附图详细描述了本发明的一些实施例，但是本发明不限于这些示例。显然，本发明所属技术领域的普通技术人员可以在权利要求书中描述的技术思想的范围内提出各种改变示例或修改示例，并且自然地理解，这些也属于本发明的技术范围。

附图标记列表

10、20…电子设备，100、300…传感器模块，110…视觉传感器，111…传感器阵列，111A、111B…传感器，112…处理电路，120…致动器，130…快门，200…控制单元，210…通信接口，220…处理电路，221…驱动模式产生部，222…控制信号产生部，223…事件信号分析部，224…误差计算部，225…运动预测部，230…存储器，300…传感器模块，400…可移动支撑机构，410A、410B、410C…框架，420A、420B…致动器。

Claims (8)

1.一种电子设备，包括：

事件驱动视觉传感器，其包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光的强度变化时产生事件信号；

致动器，其使包括所述视觉传感器的模块移位；以及

控制单元，其将控制信号发送到所述致动器，并且基于当所述致动器使所述模块移位时产生的所述事件信号在所述控制信号中反映校正值。

2.根据权利要求1所述的电子设备，其中

所述控制单元测量从发送所述控制信号到接收所述事件信号的延迟时间段，以及

所述校正值是根据所述延迟时间段确定的。

3.根据权利要求1或2所述的电子设备，其中

所述控制单元测量从所述事件信号的接收开始到所述接收结束经过的时间段，以及

所述校正值是根据所述经过的时间段确定的。

4.根据权利要求3所述的电子设备，其中

所述校正值包括指示所述致动器磨损的标志，并且

当所述经过的时间段超过阈值时，所述控制单元设置所述标志。

5.根据权利要求1至4中任一项所述的电子设备，其中

所述控制单元包括：

驱动模式确定部，其产生用于所述致动器的驱动模式，

事件信号分析部，其根据所述事件信号执行所述模块的移位的反向计算，

误差计算部，其根据通过反向计算获得的所述模块的移位与所述驱动模式之间的差异来计算所述致动器的误差特性，

运动预测部，其基于所述误差特性预测所述致动器针对所述控制信号的移动，以及

控制信号产生部，其校正所述控制信号，使得所述预测的移动与所述驱动模式之间的差异变小。

6.根据权利要求5所述的电子设备，其中

所述运动预测部基于所述误差特性再次预测所述致动器针对所述校正的控制信号的移动，并且

所述控制信号产生部再次校正所述控制信号，使得再次预测的移动与所述驱动模式之间的差异变小。

7.一种使用事件驱动视觉传感器的致动器控制方法，所述事件驱动视觉传感器包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光的强度变化时产生事件信号，所述方法包括以下步骤：

驱动所述致动器以使包括所述视觉传感器的模块移位；以及

在所述致动器的控制信号中反映当所述致动器使所述模块移位时产生的所述事件信号。

8.一种促使连接到事件驱动视觉传感器的处理电路执行以下步骤的程序，所述事件驱动视觉传感器包括具有传感器的传感器阵列，所述传感器在所述传感器检测到入射光的强度变化时产生事件信号：

驱动致动器以使包括所述视觉传感器的模块移位；以及

在所述致动器的控制信号中反映当所述致动器使所述模块移位时产生的所述事件信号。

Images