CN104919334A - 车辆上用于检测操作手势的通用传感器系统 - Google Patents

Abstract

本发明涉及一种用于机动车(1)的传感器装置(2)。该传感器装置具有光源(10)和检测装置(20)，其中，检测装置用光学像素阵列形成。光源(10)和检测装置(20)与控制和评估装置(30)联接，该控制和评估装置驱控光源(10)以发出光脉冲并且驱控检测装置以进行检测。控制和评估装置(30)、检测装置(20)和光源(10)共同作用为飞时测距相机(ToF相机)，从而检测空间的距离数据。控制和评估装置(30)被构造成用于在至少两个模式，即一方面的初始化模式和另一方面的测量模式中运行光源和检测装置。控制和评估装置(30)在初始化模式下驱控检测装置，并且至少一次地询问所有像素的信号。依赖于询问的结果，将每个像素归类到相关像素组或不相关像素组。在测量模式下的检测持续地按如下方式进行适配，即，在测量中仅考虑相关像素组中的像素的信号。

Description

车辆上用于检测操作手势的通用传感器系统

技术领域

本发明涉及一种传感器系统，该传感器系统用于光学辅助地识别对机动车进行的操作手势或者操作动作。

本发明尤其涉及如下传感器系统，该传感器系统能够检测并评估在时间上以及在空间上分辨开的信息，以识别使用者的操作意图。

背景技术

在现有技术中公知有如下光学方法，该方法响应于对图像信息的评估来识别操纵，并且随后触发例如转换过程。例如这里要提到监控系统的自动视频评估，其从各个图像或者一系列图像读取模本或者运动。此外，还公知有很多其他光学辅助的系统，其中，它们属于最基本的光栅或者亮度传感器。然而，具有较高复杂性的光学器件常常利用大多被称为像素的光敏检测单元的阵列，例如以CCD阵列的形式，它们并行地采集光学信息。

DE 10 2008 025 669 A1公开了一种光学传感器，该传感器探测到一个手势，随后自动地运动车辆的关闭元件。

WO 2008/116699 A2涉及一种光学传感器芯片，并且涉及一种光学防夹保护设备，其用于监控机动车中的车窗玻璃、推拉门或尾盖。

WO 2012/084222 A1公开了一种用于操纵和监控关闭元件的光学传感器。

因为手势控制在不同技术领域中得到越来越多认可，所以也已经尝试将这种纯光学系统用于在机动车中识别操作意图。然而，在这种系统中，此外还通过电容系统进行操作检测。

DE 10 2011 089 195 A1公开了一种用于利用类似类型的光学辅助装置来非接触式检测物品和操作手势的系统，正如该光学辅助装置也能用于本发明那样。然而，这种系统经常单独地与车辆上的使用区域相协调，从而针对不同的装配位置和安装条件要提供不同的装置。

发明内容

本发明的任务是提供一种光学辅助的并且通用的用于在针对车辆的接近系统中进行操作控制的系统。

该任务通过具有权利要求1的特征的装置来解决。

根据本发明的系统利用了光学检测，但不是纯粹的图像检测。使用以时间驱控的像素阵列，该像素阵列允许了间距检测，并且通过分析时间序列中的间距信息可以检测物体的运动。公知有如下检测装置，其检测相对于像素的位置信息，尤其是距传感器或者检测装置的距离。根据采用的评估方法，该系统被称为例如“飞时测距(Time-of-Flight)”系统或者也被称为“3D成像仪”或者“区域成像仪(Range Imager)”。这种系统的应用领域主要是工业自动化技术领域、安全技术和机动车领域。在机动车中，3D传感器使用在车道保持系统中，用于保护行人或者作为停车辅助器使用。不仅三角测量的方案而且干涉法的方案以及光传播时间测量(飞时测距(ToF))的方案均可以用光学传感器来实现。

根据本发明的系统除了光源以外具有光敏像素阵列。光源布置在敏感像素阵列的区域中，例如以与阵列很短的间距。控制电路不仅控制光源的运行而且控制像素阵列的运行。

在这方面，参考与之相关的详细描述技术设计方案及其实现的文章，尤其是博士论文“Photodetektoren und Auslesekonzepte für3D-Time-of-Flight-Bildsensoren in 0,35μm-Standard-CMOS-Technologie”,Andreas Spickermann,fürIngenieurwissenschaften derDuisburg-Essen,2010(“用于0.35微米标准CMOS技术中的3D中的飞时测距图像传感器的光电探测器和读取设计方案”，作者：Andeas Spickermann，杜伊斯堡埃森大学工程技术专业，2010年)。

另外，参考公开文章“Optimized Distance Measurement with3D-CMOS Image Sensor and Real-Time Processing of the 3D Data forApplications in Automotive and Safety Engineering”,Bernhard für Ingenieurwissenschaften derDuisburg-Essen,2008(“利用3D-CMOS成像传感器的优化的间距测量以及3D数据的实时处理在自动化和安全工程中的应用”，作者：Bernhard杜伊斯堡埃森大学工程技术专业，2008年)。

上述论文描述了可用的光学传感器系统的设计和实现，从而在本申请的框架内参考其公开内容，并且仅为了理解本申请而对相关的方面进行解释。

本发明涉及一种利用飞时测距(ToF)方法的传感器系统，因此在这里对其进行简要的解释。

在ToF方法中，用光源照亮空间区域，并且用面传感器记录从空间区域中的物体反射回来的光的传播时间。为此，应当将光源和传感器尽可能彼此靠近地布置。由光传播时间和光速的线性关系可以确定传感器和被测物体之间的间距。为了测量时间延迟，必须建立光源和传感器之间的同步。通过使用脉冲光源可以优化该方法，这是因为短的光脉冲(在纳秒范围内)可以实现有效的背景光抑制。此外，只要间距足够大，通过使用脉冲光就可以避免在特定距离情况下的可能的模糊性。

一方面，在该设计方案中，光源以脉冲的方式运行。此外，将探测单元也就是说像素阵列以对脉冲敏感的方式(gepulst sensitiv)连接，也就是说，将各个像素的积分窗(Integrationsfenster)在时间上与光源同步，并且以积分持续时间进行限制。通过比较以不同积分持续时间得到的结果，尤其可以计算出背景光的影响。

重要的是：该检测方法不是基于图像的检测方法。它是针对每个像素探知间距信息，这通过时间分辨的光探测来实现。最后，在像素阵列的应用中存在间距值的矩阵，其在周期性检测时允许对物体运动的注释和跟踪。

根据本发明，能通用的传感器装置具有像素阵列，其能够自动化地适配于不同的安装状况。为此，根据本发明，使用具有能通用的形式和像素数的阵列。相对于公知的装置，驱控和评估装置具有初始化模式或测量模式。因而，由驱控和评估装置能够驱控光源和像素阵列的至少两个运行模式，即初始化模式和在初始化之后的检测模式。

在初始化模式中，通过设备的测量过程确定装入的传感器装置的哪些像素在考虑到安装状况的情况下可供用于传感检测。为此，在初始化模式中，运行光源并且确定哪些像素具有与光源的驱控模型相兼容的信号图像。在根据初始化模型驱控光源的情况下没有表现出相兼容的信号变化的那些像素持久地、始终直至下次初始化都停止运行，或者至少在评估模型数据和距离数据时就其值而言不予考虑。

也就是说，用于像素阵列的评估模型依赖于在初始化过程中获得的数据而进行适配。相应地，在实施初始化过程之后，评估模型仅回到如下像素值，这些像素值在初始化过程中以预定的程度表现出对驱控光源的响应。

针对初始化本身，可以针对光源和评估装置使用不同的驱控模型。例如，光源可以在初始化期间在更大的持续时间，例如数秒上进行驱控，以便辐射出光。在该辐射持续时间期间，像素阵列被多次在不同的持续时间上激活地接通，并且检查是否依赖于激活电路的持续时间地在像素处存在一致的信号增加。此外，在像素区上对信号应答进行比较。以这种方式，在控制和评估装置中把像素归类为相关像素或者不相关像素。这种分组持久地存储在控制和评估装置中。直至下一初始化，为了测量仅对相关像素的信号进行访问。

重要的是：具有统一尺寸的像素区在探测模式下可以具有不同的激活的区大小。这种通用传感器装置可以在车辆的不同位置上并且在不同的安装状况下使用。结构相同的传感器系统可以例如为了门控制而装配在车辆的B柱上，或者为了监控而装配在车尾区域或者前部区域中。在不同的安装位置上，像素阵列在探测区域中的自由视野是不同的，例如受到探测开口大小的限制，或者受到车辆上的其他结构的限制。

此外，重要的是：对传感区的测量全自动地在初始化模式下进行。通过初始化协议，通过光源控制装置和评估装置的控制检测能传感激活的像素面。采用如下判据作为判据，这些判据允许了像素响应的区分。根据本发明，可以例如在该面上对像素的表现进行比较。如果一些像素组在不同的测量过程中显示出到物体的不同的距离，而其他像素组始终显示出相同的距离，那么可以得出后提到的像素被车辆部件遮挡了，并且在探测区域上没有自由视野。初始化过程可以一直进行，直至探测到在像素表现方面的明确的区别。

在本发明的应用中，可以针对测量过程提供人工环境。例如可以将为此设置的半球状的系统以其空心侧倒扣在光源和传感区上，以便实现对系统的均匀的照射。这样的半球体导致对实际激活的像素，即具有到探测区域的自由视野的那些像素的可靠探测被检测到。备选地，可以将彼此不同的半球体或者其他物体保持在传感器之前，仅那些在驱控时也得出不同距离的像素被认为是有效像素。

初始化本身可以通过用户来发起，或者在装配车辆时一次性地实施。此外，也可以进行初始化的重复，以便分别测量到针对探测当前可接近的区域。在最后提到的情况下，初始化甚至可以被设计为例如通过传感器装置的初始化或者不可接近的像素的相应的解除激活使车辆上的会导致传感区受到不利影响的临时结构或者其他变化得以考虑。

也就是说，根据本发明，附加于其余探测模式地提供有初始化模式，其执行测量协议并将像素的子组存储为针对探测可接近的像素。

随后，在传感器系统运行时也仅评估这些像素。

附图说明

现在，参照实施例更详细地阐述本发明。其中：

图1示意性示出根据本发明的检测设备在车辆上的使用状况；

图2示意性示出检测设备的作用部件；

图3A至3C示意性示出不同运行模式下的传感区。

具体实施方式

如图1所示，车辆1配备有根据本发明的传感器装置2。传感器装置2检测检测区域3中的过程和运动，该检测区域在这里用线示意出。向车辆靠近的使用者4可以在检测区域3中实施运动手势以调用车辆功能。在这里所示的实施方式中，将检测设备2侧向安装在车辆上，例如安装在B柱中。然而，这种类型的检测设备也可以布置在车辆的任意其他位置上，尤其是车尾区域或者前部区域中。

图2示意性示出检测设备2的部件。在该图中未示出车辆1，以避免图示不清楚。

装置2具有光源10，该光源在该示例中由激光二极管11和放大光学器件12形成。光学器件12扩宽光束横截面，从而形成宽的检测区域3，使用者4可进入到该检测区域中并在该检测区域中实施运动手势。该光学器件在这里例如可以是简单的塑料光学器件，例如菲涅耳透镜。

探测阵列20以敏感区域朝向检测区域3地布置在光源附近。阵列20包含敏感像素的列和行，并且在该示例中构造成为CCD阵列。不仅光源10而且阵列20均与控制装置30联接，该控制装置实现对光源和检测装置的定时且时控的运行。如果驱控光源用以发射出光脉冲并且驱控像素阵列系统用以进行检测，那么各个像素将出现的光能积分。每个像素的最终在积分之后存在的电荷在控制装置中被评估，从而针对每个像素产生表征积分时间段的检测值。

通过不仅对光源10而且对检测装置20的这种时间调谐且同步的驱控，对于检测装置20的每个像素，可以进行光传播时间的检测并且进而进行间距探测。关于准确的功能，参见上面提及的公开文献的公开内容，尤其是参见公知的飞时测距装置。

在图2中示例性地示出，由光源10辐射的光的一部分被使用者4的手散射或反射，并且射到探测装置20上。在实践中，光信息当然不是仅由将光散射或反射的一个点发出的，换而言之，将来自所有可见点的全部被接收的光进行积分。环境也影响探测性能。然而，传感器系统的可以在很大程度上计算出周围环境光的算法和运行方式是公知的。尤其是可以短时间相继地并且以变化的时间参数进行多次采集，以计算出背景光。这样的检测尤其可以以不同的积分时间进行，以去除背景影响。也就是说，如果例如发射出具有相同持续时间的光脉冲，但积分在其持续时间发生改变，那么背景影响与积分时间具有线性关系，而光脉冲的影响仅仅针对光脉冲的持续时间存在。

控制和评估装置30检测信息并将其换算成间距信息阵列。由此，可以建立周围环境的3D图。通过手控制的时间顺序，可以检测在检测区域3中空间变化和物体运动的3D信息。例如，可以探测使用者4的手的摇摆。控制装置30与机动车的中央控制装置50联接，并且整个检测装置2通过该控制装置与机动车的中央控制装置50联接。运动手势的识别一方面可以借助控制和评估装置30中的库进行，或者将3D空间数据的时间序列发送至中央控制装置50以便在那里进行评估。最后，中央控制装置50依赖于检测到的数据启动机动车的功能触发，例如使侧窗下降或者开门。

如图1所示，使用者4需要进入到探测装置2的检测区域3中，以便能够执行操纵触发。然而，车辆在其使用寿命的大部分时间中处于静止状态，等待起动。在该时间内非常重要的是使车辆上的所有装置的功率或者能量需求保持很低。

图3a、3b、3c示出了CCD阵列的示意图，为了进行根据本发明的检测，该CCD阵列能以飞时测距方法运行。在该示例中，阵列由具有8列和8行的正方形芯片组成。这仅是示意性的值，在实践中可以是高很多的分辨率。另一方面，这种类型的芯片基本不需要具有用于详细采集的光学芯片的分辨率来实现根据本发明的手势检测。1024个像素数已经允许对使用者手势的差别评估，这是因为对这些像素中的每一个都执行重复的距离测量并检测在时间序列中的运动轨迹。甚至利用更小的像素数也仍然可以实现可靠的手势检测。

图3a至3c示意性示出了安装状况和安装过程的结果。

图3a示出了具有八行八列的像素区，其基本上提供了所有用于探测的像素。在装配状况下清楚的是，像素区20置于具有开口的车身结构60之后，其中，区20的左列和上行至少部分被遮挡。以该方式，在相关的单元中在该行和该列不会有可靠的探测。在该状态下，触发了初始化过程。控制和评估电路驱控光源，以便在例如5秒的持续时间上发出光。在该时间期间，传感器装置的环境可以保持不变，或者例如通过具有明亮的塑料半壳的覆盖物提供了人工环境，该塑料半壳以其空腔遮盖了光源以及探测装置。现在，将传感区20在该5秒的窗口内在不同的时间段上激活，并存储各自的亮度值。在关闭的光源的情况下进行进一步测量。如果像素在像素区20的中央表现出显著的亮度变化，但在边缘区域的像素没有表现出显著的亮度变化，那么这些边缘像素被解除激活，这些边缘像素表现出了在预定阈值之下的动态。这些像素作为不相关像素组在控制和评估装置中进行配属和存储。

作为另外的或备选的测量，根据飞时测距评估的常见的时间分辨的测量实施一系列短时间测量。又再次检查像素应答是否一致，也就是说，例如是否在中央区域的像素提供了变化的距离值，而在边缘区域的像素提供了与之一致的值。

借助这样获得的测量数据，一方面可以识别出是否原则上确保像素在测量环境中的自由视野，另一方面可以识别出是否可以获知在测量距离方面有意义的数据。对于所有根据评估不具有对被探测的测量区域的自由视野的像素，针对后续的探测过程，将这些像素的解除激活写入控制和评估装置的存储器中。

控制和评估装置的评估模型根据初始化进行适配，从而针对后续的距离测量和空间检测仅采用识别为有效的像素。为此，在控制和评估装置中存储针对空间运动过程的可扩展的评估模型。该评估模型可以在实际激活的像素面上在内部进行扩展。备选地，传感器系统也可以通过如下方式利用非激活的传感器装置来学习，即，实施如下运动手势，其作为有效的运动手势存储在神经元网络中。

Claims (4)

1.一种用于机动车(1)的传感器装置(2)，所述传感器装置具有光源(10)和检测装置(20)，其中，所述检测装置用光学像素的阵列形成，

其中，所述光源(10)和所述检测装置(20)与控制和评估装置(30)联接，所述控制和评估装置驱控所述光源(10)以发出光脉冲并且驱控所述检测装置以进行检测，以及评估所述检测装置(20)检测到的信号，

其中，所述控制和评估装置(30)、所述检测装置(20)和所述光源(10)共同作用为飞时测距相机(ToF相机)，从而检测空间的距离数据，

其特征在于，

所述控制和评估装置(30)被构造成用于在至少两个模式，即一方面的初始化模式和另一方面的测量模式中运行所述光源和所述检测装置，

其中，所述控制和评估装置(30)在所述初始化模式下驱控所述光源和检测装置，并且至少一次地询问所有像素的信号，并且依赖于询问的结果，将每个像素归类到相关像素组和不相关像素组，其中，所述控制和评估装置存储该配属关系，

其中，依赖于在所述初始化模式下的评估结果，所述控制和评估装置在所述测量模式下持续地将检测按如下方式进行适配，即，在测量中仅考虑所述相关像素组中的像素的信号。

2.根据权利要求1所述的传感器装置，其中，所述控制和评估装置在所述初始化模式下以与在所述测量模式下不同的方式来驱控光源(10)，特别是用于非脉冲化运行地进行辐射。

3.根据权利要求1所述的传感器装置，其中，所述控制和评估装置在所述初始化模式下以与在所述测量模式下不同的方式来驱控光源(10)，特别是用于在时间上错开地辐射出不同的光强。

4.根据前述权利要求中任意一项所述的传感器装置，其中，所述控制和评估装置在所述初始化模式下进行多次检测，并且在阵列上对像素的信号动态进行比较，以便将具有预定阈值之下的信号动态的像素归类为不相关像素。