CN106257549B - 用于提供眼睛睁开距离用的参考水平的方法和装置 - Google Patents

Abstract

本发明涉及一种用于提供眼睛睁开距离（104）用的参考水平（102）的方法（400），其中所述眼睛睁开距离（104）代表当前检测到的、眼睛（108）的眼睑之间的间距，其中，所述方法（400）具有求取的步骤（402），在该步骤中，所述参考水平（102）在使用所述眼睛睁开距离（104）大于极限值（114）时的、所述眼睛睁开距离（104）的数值（118）的情况下来求取。

Description

用于提供眼睛睁开距离用的参考水平的方法和装置

技术领域

本发明以一种按照独立权利要求的所属类型的装置或方法为出发点。本发明的主题也是一种计算机程序。

背景技术

车辆的驾驶员的疲劳度可以间接地从他的驾驶表现进行评估。

为此，作为替代方案，WO 2014031042 A1描述了一种眼睛睁开信号与预定义的模型化的信号的配合，以便识别眨眼事件并且由此推测出关于驾驶员的注意力的结论。

发明内容

在此背景下，利用这里所介绍的解决方案，介绍了一种用于提供眼睛睁开距离用的参考水平的方法，此外还介绍了一种使用这种方法的装置，以及最后介绍了根据独立权利要求的相应的计算机程序。通过在从属权利要求所列举的措施能够实现对在独立权利要求的给出的装置的有利的改型方案和改进方案。

为了评价驾驶员的睡意，对眼睛睁开距离的参考值的必需的，因为在眼睛睁开的阶段中，眼睛睁开距离例如由于光线比例而变化。为了获得可用的参考值，眼睛闭合的阶段可以从参考值的计算中排除。在考虑这种阶段的情况下参考值会具有过低的数值。

介绍了一种用于提供眼睛睁开距离用的参考水平的方法，其中眼睛睁开距离代表当前检测到的、眼睛的眼睑之间的间距，其中所述方法具有以下求取的步骤：其中，参考水平在使用眼睛睁开距离大于极限值时的、眼睛睁开距离的数值的情况下来求取参考水平。

参考水平可以系指一平均的数值，该平均的数值在可定义的时间窗口内由存在波动（schwankungsbehaftet）的数值进行平均而得。眼睛睁开距离小于极限值的、眼睛睁开距离的数值可以忽略。

所述方法可以例如以软件或硬件的形式或以由软件和硬件的混合形式例如在控制器中执行。

参考水平还可以在使用支持值（Stützwerten）的情况下来求取。支持值可以替代比极限值小的眼睛睁开距离的数值。比极限值小的眼睛睁开距离的数值可以被舍弃。支持值可以将由于眼睛睁开距离的舍弃的数值而造成的、在眼睛睁开距离的数值的时间序列中的空缺予以填补，通过所述支持值可以进行对参考水平的简化的计算。

所述方法可以具有调整或改变的步骤，其中在使用参考水平的情况下、以及作为替代方案或增补方案在使用眼睛睁开距离的数值的滑动平均值（gleitendenMittelwerts）的情况下对极限值进行补充或者说更新（nachfürhen）和/或改变。该调整可以作为一般的改变来进行。在此，补充可以系指依据之前的、用于眼睛睁开距离或参考水平的数值来变化极限值。对眼睛睁开距离或参考水平的时间上先前的数值的提高在此尤其可能造成极限值的提高。例如所述极限值可以是参考水平的按百分比的数值。由此，所述极限值在参考水平之下围绕固定的百分比，从该极限值起便不再考虑眼睛睁开距离的数值。与参考水平相比，滑动平均值可以经过更短的时间间隔来确定。该时间间隔可能长于预期的眨眼持续时间。

在所述调整或改变的步骤中，替代小于极限值的眼睛睁开距离的数值的支持值还可以被补充或改变。在此，补充可以系指依据之前的、用于眼睛睁开距离或参考水平的数值来改变支持值。对眼睛睁开距离或参考水平的时间上先前的数值的提高在此尤其可能造成支持值的提高。同样可以在使用参考水平的情况下、以及作为替代方案或增补方案在使用眼睛睁开距离的数值的滑动平均值的情况下对支持值进行补充。

还可以在使用速度极限值的情况下求取参考水平。当眼睑速度小于速度极限值时，在此能够使用眼睛睁开距离的数值。因此，速度极限值涉及眼睑速度。在眨眼时，眼睑运动得非常快。在考虑眼睑速度的情况下，可以在未超出极限值之前识别出眨眼。

参考水平可以作为参考曲线来求取。在此可以在眼睛睁开距离的数值大于极限值的区域或时间段内使用眼睛睁开距离的时间的曲线。所述参考水平可以被连续地求取。所以总是有一当前的参考水平供使用。

眼睛睁开距离的数值可以进行平滑处理（glätten）。例如这些值可以被平均。同样地，这些值可以被加权。由此能够实现简化的求取。

在此所介绍的解决方案还获得了一种装置，该装置被构造用于在相应的设备中执行、操控或者说实现在此所介绍的方法的变型方案的步骤。也可以通过形式为装置的本发明的实施变型来快速并有效地解决以本发明为基础的任务。

装置在当前可以系指电器具，所述电器具处理传感器信号并且依据此来发出控制信号和/或数据信号。该装置可以具有接口，所述接口能够按照硬件和/或按照软件地构造。在按照硬件的构造中，接口可以例如是包含所述装置的最为不同的功能的、所谓的系统ASIC的一部分。但是，也能够实现的是：所述接口是特有的、集成的电路或者至少部分由分立的（diskret）结构元件组成。在按照软件的构造中，接口可以是软件模块，例如在微控制器上除其他的软件模块之外而存在所述软件模块。

具有程序代码的计算机程序产品或计算机程序也是有利的-所述程序代码可以被存储在机器能够读取的载体或存储介质上，例如被存储在半导体存储器、硬盘存储器或光存储器上，以及被使用用于执行、实现和/或操控按照在前所描述的实施方式中的任一项所述的方法的步骤-尤其当上述程序产品或程序在计算机或装置上实施时。

附图说明

本发明的实施例在附图中示出并且在接下来的描述中进行更详细地阐释。附图中:

图1示出了按照一个实施例的、用于提供眼睛睁开距离用的参考水平的装置的框图；

图2示出了按照一个实施例的、眼睛睁开距离的和参考水平的曲线的图示；

图3示出了按照一个实施例的、用于监视车辆的驾驶员的疲劳度的总系统的结构的图示；以及

图4示出了按照一个实施例的、用于提供眼睛睁开距离用的参考水平的方法的流程图。

在对本发明的这些有益的实施例的接下来的描述中，针对在不同的图中所示出的并且起类似作用的元件使用相同的或类似的附图标记，其中放弃了对这些元件的重复的描述。

具体实施方式

图1示出了按照一个实施例的、用于提供眼睛睁开距离104用的参考水平102的装置100的框图。眼睛睁开距离104在此通过检测系统106而对车辆的驾驶员的一只或两只眼睛108进行检测，并且在眼睛睁开距离信号110中描绘下来（abbilden）。眼睛睁开距离104代表当前的、在眼睛108的眼睑之间的间距。眼睛睁开距离信号110被装置100读入到该装置100的入口处。在装置100中，眼睛睁开距离信号110在预处理设备112中被预处理。预处理设备112也可以被称作为过滤器112。在此，将眼睛睁开距离104的数值与极限值114进行比较。将代表小于极限值114的数值的信号分量116予以剔除或者说忽略。将代表大于极限值114的数值的信号分量118传递给求取设备120。在该求取设备120中，由眼睛睁开距离104大于极限值114时的、眼睛睁开距离104的数值来求取参考水平102。该参考水平102被提供给装置100的出口。

在一个实施例中，在使用支持值122的情况下来求取参考水平102。该支持值122被使用用于补足通过对信号分量116的剔除而产生的眼睛睁开信号110中的空缺。通过支持值122可以连贯地求取参考水平102。

支持值122依赖于参考水平102。支持值设备124将参考水平102读入并且使用该参考水平102用于提供支持值122。

在一个未示出的实施例中，支持值设备124直接读入眼睛睁开距离信号110或位于极限值114之上的信号分量118，以便产生支持值122。

极限值114同样依赖于参考水平102。极限值设备126读入参考水平102并且使用该参考水平102用于提供极限值114。

在一个未示出的实施例中，极限值设备126直接读入眼睛睁开距离信号110或位于极限值114之上的信号分量118，以便产生极限值114。

介绍了一种用于稳固地识别目前的眼睛睁开度（EON）102的系统100。

基于摄像机106的数据可以识别眼睛108的目前的睁开度104。对此使用相应的图片处理算法。在此，相应地为两只眼睛108探测眼睛睁开水平102。

由两只眼睛108的眼睛睁开度104可以计算出共同的眼睛睁开水平102。对目前的眼睛睁开水平102的计算可以在使用Savitzky-Golay过滤器的情况下进行。

在此所介绍的解决方案能够实现在先前所预先过滤的眼睛睁开数据118的基础上对眨眼特征（Blinzelfeatures）的识别质量的改善。在此计算目前的眼睛睁开水平102。该眼睛睁开水平102可以被称作为EON 102或者说眼睛打开水平（eye opening niveau 102）102。在使用眼睛睁开水平102的情况下，可以利用极限值114简单地且稳固地探测出相对于眼睛睁开水平102来定义的眨眼事件。一定的眨眼事件的特征，如例如眨眼幅度可以被简单地计算出来。PERCLOS数值，其涉及眼睛睁开水平102的90%作为最大睁开度，可以被稳固地计算出来。对眼睛睁开水平102的计算可以划入用于识别睡意和/或秒睡（Sekundenschlaf）的总-系统中。

眼睛睁开水平102说明了在睁开状态下眼睑的目前的间距104为多大。在眼睛睁开水平102的、在此所介绍的计算中，可能的眨眼事件不一起汇入到计算出的数值102中。由此，眼睛睁开水平102并不受眨眼频率和眨眼持续时间的影响。否则，眨眼事件的频率和持续时间越高，由此而造成的眼睛睁开水平则将会越低。

因此，对眼睛睁开水平102的计算划分为多个步骤。首先利用暂时过低的眼睛睁开度104，如例如眨眼事件或者眼前一亮（Tachoblicke），来进行对区域116的稳固和简单的识别。这些区域116可以以多种方式加以辨认。

在一个实施例中实行对眼睛睁开数据110的强过滤。所有的、在眼睛睁开度104比经过滤过的眼睛睁开度更低时的区域116被除外。它们例如可以用替代值122来补足。

所述替代值122可以例如由最后的150秒的眼睛睁开度104的90%构成。

在一个实施例中，使用滑动的中值（Median）114，以便有效地排除眨眼事件。在此，中值过滤器（Medianfilter）具有至少双倍的最大地有待排除的眨眼持续时间的窗口长度。为了将直至最大为一秒的持续时间的眨眼事件有效地排除，可以使用例如两秒的窗口大小。

所有的、眼睛睁开度明显低于被进行平滑处理的中值114时的区域116，例如具有多于10%的偏差，则被考虑排除在外。

眨眼事件的突出之处在于：眼睑的绝对速度超过某一值，如例如0.03米/秒。在一个实施例中，将这个区域116排除，直至眼睑速度重新稳定。在此等待直至针对预先确定的时间的速度小于极限值时。

其次, 可以进行对用于之前被排除的区域116的替代值的计算。

在一个实施例中，这个替代值由最后的150秒的眼睛睁开度104的90%构成。

在一个实施例中，在无效的区域116中使用最后的有效值。这个操作可以被称作为抽样（Sample）&保持（Hold）。

当无效的区域116利用经平滑处理的中值114来计算时，也可以直接使用经平滑处理的中值114作为替代值。

第三，在使用用于之前被排除的区域116的替代值122的情况下，进行对目前的眼睛睁开水平102的计算。

最终的眼睛睁开水平可以利用对信号的进一步过滤来求取。为此，在一个实施例中使用Savitzky-Golay过滤器。另一种可能性在于：使用另一种滑动的中值过滤器。

图2示出了按照一个实施例的、眼睛睁开距离和参考水平102的曲线200图示。曲线200被绘制在在横坐标上提供了以秒[s]为单位的时间以及在纵坐标上提供了以毫米[m×10^-3]为单位的间距的线图中。该曲线200对应例如眼睛睁开距离信号的部分，例如在图1中那样。参考水平102通过一种根据在此所介绍的解决方案所述的方法被求取到。眼睛睁开距离的数值200多数以十毫米的幅度波动。在眨眼202期间，眼睛睁开距离短时间内下降趋近于零。通过在此所介绍的解决方案，眼睛睁开距离的数值116在眨眼202期间不被考虑用于计算参考水平102。

为此，将曲线200的数值与极限值114进行比较，所述极限值比目前的参考水平102低几毫米的水平。在极限值114之下识别眨眼202并且数值116不被使用用于计算参考水平102。

为了可以使用不间断的曲线用于计算参考水平102，将曲线200的那些段用支持值122进行补足。在此，所述支持值122对应于极限值114。因此参考水平102不由于眨眼202而下降。

图3示出了按照一个实施例的、用于监视车辆的驾驶员的疲劳度的总系统300的结构的图示。在此所介绍的、对参考水平的提供302是在此所示出的系统300的组成部分。

总系统300具有三个主要组成部分304、306、308。第一主要组成部分304被称作为睡意分类部。第二主要组成部分306被称作为秒睡识别部。第三主要组成部分308包括被睡意分类部304和秒睡识别部306共同使用的模块310。对参考水平的提供302是第三主要组成部分308的一部分。模块310可以被称作为眼睛闭合预处理部（Augenschlussvorverarbeitung）310。所述眼睛闭合预处理部310包括对眼睛闭合右边和左边的检测、对眼睛闭合的过滤、对眼睛闭合的速度检测、眼睛闭合的acc、对参考水平的提供302以及确认。

眼睛闭合预处理部310给出目前的眼睛闭合、眼睛闭合速度和参考水平。

在睡意分类部304中，在眨眼事件探测部312中使用这些值，并且将眨眼事件传递给眨眼标记计算部314。

眨眼标记计算部314给出眨眼标记到个人的眨眼标记识别部316上以及到用于睡意分类的模块318上。该模块从眨眼标记识别部316中读入个人的眨眼行为，并给出睡意水平。

在秒睡识别部306中，使用在个人的眼睛闭合识别部320中的数值、眼睛闭合识别部322的数值和用于秒睡识别的模块324的数值。

个人的眼睛闭合识别部320给出个人的睁眼水平和个人的闭眼水平。所述个人的睁眼水平和所述个人的闭眼水平被眼睛闭合识别部322使用，以便提供用于模块324的二进制的眼睛睁开值。该模块324给出秒睡事件。

在驾驶时的睡意和秒睡会导致危险的情况或事故。因此如果驾驶员超过某一睡意极限值时，可以给出警报。例如可以渐显出咖啡杯。这个警报也可以被驾驶员忽略。

为了从眼睛睁开信号中识别眨眼事件，可以使用用于“正常的”眨眼事件的、所谓的参考振幅。在此，“正常的”眨眼事件可以通过闭合阶段和高台阶段（Plateauphase）的持续时间加以辨认。对用于这个“正常的”眨眼事件的振幅进行累积。这个振幅的85%可以被作为参考振幅使用。

借助于这个参考振幅，可以将眨眼事件从具有振幅小于参考振幅的70%的、其它的目光运动事件以及具有振幅大于参考振幅的150%的、有意的闭合运动中区分出来。

最大和最小的眼睛睁开值可以被稳固地校准。在此，将所有的、眼睑的速度为零的区域进行累积。从所有这些被累积的数值中，分别将10%和90%作为个人的和目前的最大值或最小值加以考虑。这并不仅仅依赖于驾驶员的生理情况，而且也依赖于情境情况，如例如目前的照明情况。

用于提高眼睛睁开信号的识别质量的预处理步骤可以在眼睛闭合预处理（ECP，Eye Closure Preprocessing 闭目预处理）的框架中执行。在此可以集成秒睡检测。眼睛睁开水平也可以发生在眼睛闭合预处理的框架中。眼睛睁开水平可以紧接着在眨眼事件识别（BED、Blink Event Detection 眨眼事件探测）和眨眼标志计算（BEC、Blink FeatureCalculation 眨眼特征计算）的框架中使用。

图4示出了按照一个实施例的、用于提供眼睛睁开距离用的参考水平的方法400的流程图。所述方法400具有求取的步骤402。该方法400可以例如在使用如其在图1中所示出的那样的装置的情况下来实施。在求取的步骤402中，在使用眼睛睁开距离大于极限值时的、眼睛睁开距离的数值的情况下来求取参考水平。区分的步骤404发生在求取的步骤402之前。在区分的步骤404中，将眼睛睁开距离的数值区分为极限值之上的数值和极限值之下的数值。

在一个实施例中，在求取的步骤402后跟着的是调整的步骤406。在调整的步骤406中，在使用参考水平的情况下改变极限值。

如果一个实施例包括第一特征和第二特征之间“和/或”的连接词，那么这一点以下述方式解读：该实施例按照一种实施方式不仅具有第一特征而且具有第二特征，以及按照另一种实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (10)

1.用于提供眼睛睁开距离（104）用的参考水平（102）的方法（400），其中所述眼睛睁开距离（104）代表当前检测到的、眼睛（108）的眼睑之间的间距，其中所述方法（400）包括求取的步骤（402），在该步骤中，所述参考水平（102）在使用所述眼睛睁开距离（104）大于极限值（114）时的、所述眼睛睁开距离（104）的数值（118）的情况下来求取，其中所述参考水平是一种平均的数值，该平均的数值在能定义的时间窗口内由存在波动的数值进行平均而得到，其中所述极限值涉及眼睛睁开距离的数值，其中比该极限值小的眼睛睁开距离的数值被忽略。

2.按照权利要求1所述的方法（400），其中在所述求取的步骤（402）中，还在使用支持值（122）的情况下来求取所述参考水平（102），其中所述支持值（122）替代小于所述极限值（114）的、所述眼睛睁开距离（104）的数值（116），其中所述支持值（122）由位于极限（114）之上的信号分量（118）来产生。

3.按照权利要求1或2所述的方法（400），其具有调整的步骤（406），在该步骤中，在使用所述参考水平（102）的情况下对所述极限值（114）进行补充和/或改变。

4.按照权利要求1或2所述的方法（400），其具有调整的步骤（406），在该步骤中，在使用所述眼睛睁开距离（104）的数值（110）的滑动平均值的情况下对所述极限值（114）进行补充和/或改变。

5.按照权利要求3所述的方法（400），在所述调整的步骤（406）中，还对支持值（122）进行补充和/或内推，所述支持值替代小于所述极限值（114）的、所述眼睛睁开距离（104）的数值（116）。

6.按照权利要求1或2所述的方法（400），其中在所述求取的步骤（402）中，还在使用速度极限值的情况下来求取所述参考水平（102），其中当眼睑速度小于所述速度极限值时，使用所述眼睛睁开距离（104）的数值（118）。

7.按照权利要求1或2所述的方法（400），其中在所述求取的步骤（402）中，将所述参考水平（102）作为参考曲线（102）来求取，其中在所述眼睛睁开距离（104）的数值大于所述极限值（114）的区域内使用所述眼睛睁开距离（118）的时间的曲线。

8.按照权利要求7所述的方法（400），其中在所述求取的步骤（402）中，对所述眼睛睁开距离（104）的数值（110）进行平滑处理。

9.被设立用于实施按照前述权利要求中任一项所述的方法（400）的装置（100）。

10.机器能够读取的存储介质，在所述存储介质上存储有计算机程序，该计算机程序被设立用于实施按照前述权利要求1至8中任一项所述的方法（400）。

Images