CN108701223A - 用于估算车辆的驾驶员的注意力等级的装置和方法 - Google Patents

Abstract

本发明涉及一种估算在行驶车道中的车辆的驾驶员的注意力等级的方法，所述方法包括以下步骤：连续捕获地面的图像(10)，重新构建在连续的当前时刻t上的地面区段的鸟瞰图(11，12)，重新构建在连续的当前时刻t上的道路区段的鸟瞰图(11，12)，估算所述车辆(100)在重新构建的鸟瞰图(11，12)中的侧向位置，并存储所述车辆的估算位置，确定在过去的时刻t3上的驾驶员的估算的注意力等级，所述确定取决于：所述车辆的侧向位置的变化，对在时刻t3上至少部分位于所述车辆上游的道路部分的轮廓的分析。

Description

用于估算车辆的驾驶员的注意力等级的装置和方法

技术领域

本发明属于辅助车辆驾驶的辅助装置领域，并且更具体地涉及评估驾驶员的注意力的方法。

本发明更具体地涉及一种方法，所述方法用于估算车辆的驾驶员控制车辆保持在行驶车道中的能力以便能够评估驾驶员的注意力等级，并且在必要时在可能发生不希望的越过行驶车道的限界线时发出警告。

背景技术

如今，机动车辆包括许多驾驶员辅助系统。这些系统通常由本领域技术人员所知地表示为ADAS，即Advanced Driver Assistance Systems的首字母缩略词，意思为高级驾驶员辅助系统。

这种驾驶辅助系统装配在越来越多的机动车辆上。由这些ADAS系统确保的大多数功能要求车辆能够检测其所在的行驶车道。

在这些功能中，来自用于捕获车辆前方的道路图像的正面摄像头的数据与来自用于捕获驾驶员面部的位于乘客舱中的摄像头的数据的结合可利用于确定驾驶员的注意力或疏忽等级。

实际上，目前，与自主化车辆有关且更现实地用于在车辆自动化阶段介入的驾驶辅助功能的技术发展认为：与驾驶员的注意力或疏忽等级相关的信息是至关重要的，特别是考虑到可能需要重新获取对车辆的控制。

在该背景下，分析来自正面摄像头的图像，以便估算车辆在其行驶车道中的侧向位置，尤其用于检测不希望的可能越线。

在现有技术中，与车辆在其行驶车道中的侧向位置有关的信息通常仅可通过正面摄像头获得，因此在很大等级上取决于该正面摄像头捕获的图像的可靠性和可用性。

一些车辆事实上装配有能够确定车辆在行驶车道中的侧向位置的这种正面摄像头。然而，如已知的，来自这种正面摄像头的数据可由于所使用的“平坦地面”假设(通常有误差)或者由于所使用的车辆水平稳度假设(通常有误差)等等而出错。

另外，对于所有这些系统，摄像头的校准参数用于计算线相对于车辆的相对位置。这使得这些摄像头对任何非校准(摄像头上的冲击，车辆稳度根据车辆负载发生改变)敏感。同样地，这些系统认为地面是车辆参考系中的水平平面。当道路上升或下降时，或者道路在用于检测线的地面部分上存在倾斜时，这种假设并不总是成立的，这导致了定位误差。

因此，实际上，根据现有技术，车辆在行驶车道中的侧向位置是被多个驾驶辅助功能利用的信息并且用于尤其与对驾驶员的面部图像分析相结合而评估驾驶员的注意力等级。

因此，该系统尤其观察车辆的侧向位置随时间的变化以估算越线并警告驾驶员。

文件FR2947769_A1描述了一种系统，该系统包括位于车辆后部的摄像头，所述摄像头用于跟踪车辆的路径，以在相对于预定的理想轨迹偏离的情况下向驾驶员发送警报。该文件代表了现有技术。

如今，通常根据由正面摄像头捕获的图像来实时确定与车辆在行驶车道中的位置有关的信息。

然而，除了与不精确相关甚至与不可能估算车辆在其行驶车道中的侧向位置相关的缺陷之外，这些已知系统的缺陷还在于所实施的摄像头的校准参数必须精确调节。这使得这些摄像头对于由于摄像头上的冲击、车辆稳度变化等引起的任何“非校准”敏感。同样地，这些系统认为地面在车辆参考系中是水平平面，这构成了整体上有误差的假设。

此外，为了估算驾驶员的注意力等级并有效地检测可能的意外越线，通过车道区段存储车辆在其行驶车道中的相对侧向位置随时间的变化是有用的。

发明内容

因此，为了有效地解决上面提出的问题而不产生新的缺点，设置成在一定时长内集成由至少一个摄像头捕获的地面的图像，以便消除由于不相干性或局部不可用性而造成的误差。由于捕获的图像，根据本发明的方法能够创建车辆在其行驶车道中的鸟瞰图，所述鸟瞰图成在一定时长上集成。

另外，通过跟踪并预测车辆在其车道中的侧向位置随时间的变化，并且优选地通过将该跟踪与对驾驶员面部的捕获图像的合适分析相关联，根据本发明的方法能够估算驾驶员的注意力等级。

为此，考虑到车辆在行驶车道中的侧向位置的变化，根据本发明的用于估算车辆的驾驶员的注意力等级的方法包括通过随着车辆的移动来存储最靠近车辆的地面部分而重新构建所获得的道路区段的鸟瞰图。根据本发明的方法还包括在前一时刻在所述重新构建的鸟瞰图中定位车辆，以及在给定的道路区段上存储车辆的连续位置。因此，本发明能够创建在车辆的时间参考系中位于所述车辆上游的道路部分的鸟瞰图。

根据本发明的方法的有利实施例，对驾驶员面部图像的分析与对鸟瞰图中的车辆的连续位置的分析的结合能够精确地确定车辆的驾驶员的注意力等级。

更具体地，本发明涉及一种估算在行驶车道中移动的车辆的驾驶员的注意力等级的方法，所述方法包括以下步骤：

-借助于至少一个适用的摄像头连续捕获在所述车辆前方和/或后方的地面的图像，所述图像对应于地面表面，所述地面表面具有的宽度至少等于行驶车道宽度并且具有深度，

-通过使在时刻t1＝t-dt1与当前时刻t之间捕获的图像在时间上集成，重新构建在连续的当前时刻t上的道路区段的鸟瞰图，dt1为正，

-估算所述车辆在所述连续的当前时刻t上重新构建的鸟瞰图中的侧向位置，并且存储在时刻t2＝t-dt2与当前时刻t之间的所述车辆的估算位置，dt2为正且独立于dt1，

-确定在时刻t3＝t-dt3上的驾驶员的估算的注意力等级，dt3为正，时刻t3在时刻t2之后并且时刻t3在时刻t1之后或等于时刻t1，所述确定取决于：

○在时刻t2与t3之间所述车辆在鸟瞰图中的侧向位置的变化，

○对属于在当前时刻t上重新构建的鸟瞰图并且对应于在时刻t1与当前时刻t之间捕获的图像序列的道路部分的轮廓的分析，所述道路部分在时刻t3上至少部分位于所述车辆的上游。

因此，由于根据本发明的方法，能够设置在车辆的时间参考系中给出在时刻t3上位于车辆上游的道路区段部分的鸟瞰图。对车辆的侧向位置随时间变化的分析用于估算驾驶员的注意力等级。

根据一种实施方式，在重新构建地面的鸟瞰图的步骤之后，所述方法包括在所述重新构建的鸟瞰图中检测形成地面标记线的至少一条线，所述地面标记线限界出行驶车道，并且包括在重新构建的鸟瞰图中估算所述车辆的位置，所述重新构建的鸟瞰图涉及确定所述车辆相对于所述至少一条线的相对位置。

根据一种优选实施方式，所述方法还包括：

-捕获驾驶员的面部图像，

-对驾驶员的面部图像的进行分析，对所述驾驶员的估算的注意力等级的确定还取决于对驾驶员的面部图像的所述分析。

根据一种实施方式，对所述车辆在所述重新构建的鸟瞰图中相对于所述至少一条线的相对位置的估算包括对应于地面表面的连续捕获的图像的组合，所述地面表面具有取决于所述车辆的速度来确定的深度。

根据一种实施方式，对在所述重新构建鸟瞰图中对形成地面标记线的至少一条线的检测包括实施霍夫变换，所述地面标记线限界出行驶车道。

根据一种实施方式，根据本发明的方法还包括在所述车辆越过所述至少一条线时警告驾驶员的步骤。

有利地，所述车道宽度可等于五米。

有利地，捕获的图像的地面表面的所述深度小于两米。

本发明还提供一种用于估算车辆在行驶车道中的侧向位置的装置，所述装置包括：用于实施在所述车辆的前方和/或后方的地面的图像的连续捕获的至少一个摄像头、计算单元及存储单元，所述计算单元及存储单元配置用于实施根据前述权利要求中任一项所述的方法。

有利地，所述至少一个摄像头是设置在所述车辆前部的正面摄像头。

附图说明

通过阅读下文中仅作为示例给出的本发明实施例的详细描述并且参考附图，本发明的其它特征和优点将更加清楚，在所述附图中：

-图1的分块示意图示出了符合本发明的用于估算车辆的驾驶员的注意力等级的方法的步骤，

-图2的示意图示意性示出了用于估算车辆的侧向位置的过程，所述过程符合根据本发明的方法的优选实施例。

具体实施方式

在下文中，所描述的实施方式更具体地涉及根据本发明的装置在机动车辆内部的实施。然而，在不同的背景下的任何实施，特别是在任何类型的陆地车辆中的任何实施也涵盖在本发明中。

图1示出了使根据本发明的方法的步骤具体化的功能块。

因此，根据本发明的方法设置有连续捕获在车辆前方和/或后方的地面的图像的第一步骤1。捕获的图像对应于具有宽度的地面表面，所述宽度至少对应于行驶车道的宽度，即大约5米。因此，所使用的摄像头能够是捕获车辆前方的地面的图像的正面摄像头，或者是设置在后部的摄像头，例如停车辅助摄像头，该摄像头连续捕获的图像在时间上集成以形成连续的重新构建的鸟瞰图。

实际上，根据所捕获的图像，根据本发明的方法包括步骤2：通过使在时刻t1＝t-dt1与当前时刻t之间捕获的图像在时间上集成，重新构建道路区段的在连续的当前时刻t上的鸟瞰图，dt1为正。

注意到，所述鸟瞰图不被显示，因此不需要精确地对齐。然而，根据一种实施方式，设置成根据所述车辆的位移来校准图像，所述位移借助于经由例如测量车轮信号或方向盘角度的适用的传感器获得的里程数据来估算。

根据一种实施方式，设置了连续捕获的图像之间的搭接(recouvrement)，尤其便于检测行驶车道的分隔线并改善连续的图像之间的连接。

根据重新构建的鸟瞰图，根据本发明的方法设置了用于估算所述车辆在其行驶车道中的道路区段上的侧向位置的估算步骤3。在每个当前时刻t上计算所述车辆的在道路区段上的连续的侧向位置。另外，在时刻t2＝t-dt2与当前时刻t之间所述车辆的所述估算位置被存储，dt2为正且独立于dt1。

为此，根据一种优选实施方式，该方法包括检测用于使行驶车道之间的限界具体化的一个或多个地面标记线。

因此，存在能够检测图像中的线的已知技术。例如，可通过实施霍夫变换来实施在重新构建的鸟瞰图中的线的检测。霍夫变换实际上能够识别通过地面的点(Y，X)的所有直线。相反，对于定义直线的一对系数(a，b)，霍夫变换能够识别位于该直线上的所有点(X，Y)。系数“a”和“b”分别对应于该直线与Y轴线形成的角度以及从该直线到原点的距离。

然而，注意到，限界出行驶车道的线不是理想的直线。通常，所述线是回旋曲线，即具有连续曲率的线。为了最佳地利用根据本发明的方法，设置成将霍夫原理转换为对这种回旋曲线的分析。

实际上，实施根据本发明的方法的车辆先验地在行驶车道内部以基本平行于限界出该行驶车道的线的方式行进。根据一种实施方式，对这些线的检测由此可在空间中近似为对系数′a′接近0并且系数′b′小于最大距离的线的寻找，在所述最大距离上期望检测到在所述车辆两侧的行驶车道的分隔线。

该过滤能够限制有效错误的情况。在应用于回旋曲线的广义霍夫变换的情况下，所述过滤的原理和目的实际上保持相同。

此外，用于使行驶车道的分隔线具体化的地面标记线总是比道路更清晰。因此，另一种过滤涉及仅考虑在较暗且具有最小尺寸的背景上对应于清晰的线的梯度。这种可选的简单过滤同样能够限制有效错误的情况。

根据一种实施方式，还设置了线检测算法的时间过滤。参考图2，根据在时间上集成的捕获的图像10而重新构建的鸟瞰图11在时间过滤之后变为鸟瞰图12，所述鸟瞰图12能够更好地识别行驶车道之间的分隔线21、22。

注意到，还可实施用于检测在重新构建的鸟瞰图上的线的任何其它算法，特别是在根据本发明的方法的背景下。

当检测到由地面标记线具体化的多条线时，对车辆进行的行驶车道的检测概况为对相关线的识别，所述相关线对应于最靠近所述车辆的左侧和右侧的线，并且所述车辆在其行驶车道中的侧向位置是可容易确定的。

根据图2所示的实施方式，所述方法例如设置成选择车辆中心作为原点0，车辆100在车道中的侧向位置根据车辆的宽度来计算，使-1对应于左车轮存在于左侧线上，1对应于右车轮存在于右侧线上。因此，-1和1之间的值(例如图2中的0.55)对应于车辆在其行驶车道内部，而超过-1和1的值解释为车辆跨越了两个行驶车道。

注意到，在根据本发明的方法的范围中还可实施能够估算车辆相对于根据上述步骤在重新构建的鸟瞰图中检测到的行驶车道分隔线的相对侧向位置的任何其它算法。

因此，根据本发明的方法包括步骤4：确定在时刻t3＝t-dt3上的驾驶员的估算的注意力等级，dt3为正，时刻t3在时刻t2之后并且时刻t3在时刻t1之后或等于时刻t1，所述确定取决于：

○在时刻t2与t3之间所述车辆在鸟瞰图中的侧向位置的变化，

○对属于在当前时刻t上重新构建的鸟瞰图并且对应于在时刻t1与当前时刻t之间捕获的图像序列的道路部分的轮廓的分析，所述区段在时刻t3上至少部分位于所述车辆前方。

实际上，对驾驶员的注意力等级的分析在时刻t3上实施，时刻t3相对于当前时刻t已经过去。因此，如果时刻t3和时刻t1相等，那么出现在鸟瞰图上且对应于在时刻t1与当前时刻t之间捕获的图像的道路区段部分在“过去”时刻t3＝t1上完全位于所述车辆的上游。如果时刻t3在时刻t1之后，那么出现在鸟瞰图上且对应于在时刻t1与当前时刻t之间捕获的图像的道路区段部分在时刻t1之后的“过去”时刻t3上部分位于所述车辆的上游并且部分位于所述车辆的后方。

根据本发明的方法的步骤4，在确定驾驶员的注意力等级的时刻t3上，在车辆的时间参考系中，重新构建的鸟瞰图因此总是包括位于所述车辆上游的道路区段部分。分析位于所述车辆上游的该部分的轮廓，以建立对驾驶员的注意力等级的估算，所述估算还取决于所述车辆的侧向位置随时间的变化。

另外，根据本发明，存储道路区段的连续的鸟瞰图以及车辆的连续的估算侧向位置，在所需的长久时间上确保存储，以便能够识别在车辆进入重新构建的区段的时刻与当前时刻t之间的车辆的所有连续位置。

注意到，对于所考虑的应用，在相对于当前时刻t已经过去的时刻t3上确定驾驶员的注意力等级而引起的时间偏移和延迟是完全可接受的。

此外，明确了在交通堵塞或慢速的特定情况下，所述车辆的连续的侧向位置的数量可非常高以覆盖整个区段。为此，根据一种实施方式，在该情况下不需要存储所有位置；只有那些彼此足够远的位置才需要存储。

因此，根据本发明，对所述车辆的侧向位置在该区段上的变化的分析能够直接确定对驾驶员的注意力等级的估算。

根据一种优选实施方式，所述方法还包括捕获驾驶员的面部图像，通过根据已知算法的图像处理对该面部图像的分析给出了驾驶员的注意力等级的附加指示。

因此，对面部图像的分析与对所述车辆的侧向位置的变化的分析相结合来确定驾驶员的注意力等级。

此外，为了实施该方法，本发明还提供了一种系统，所述系统包括：摄像头、适用的计算单元及存储单元。如上所述，所述摄像头例如能够是现有车辆中使用的正面摄像头或停车辅助摄像头的类型。

需要明确的是，本发明不限于上述示例，本发明能够是本领域技术人员可获得的多个变型。

Claims (10)

1.一种用于估算在行驶车道中移动的车辆的驾驶员的注意力等级的方法，所述方法包括以下步骤：

-借助于至少一个适用的摄像头连续捕获在所述车辆(100)前方和/或后方的地面的图像(10)，所述图像(10)对应于地面表面，所述地面表面具有的宽度至少等于行驶车道宽度并且具有深度，

-通过使在时刻t1＝t-dt1与当前时刻t之间捕获的图像(10)在时间上集成，重新构建在连续的当前时刻t上的道路区段的鸟瞰图(11，12)，dt1为正，

-估算所述车辆(100)在所述连续的当前时刻t上重新构建的鸟瞰图(11，12)中的侧向位置，并且存储在时刻t2＝t-dt2与当前时刻t之间的所述车辆的估算位置，dt2为正且独立于dt1，

-确定在时刻t3＝t-dt3上的驾驶员的估算的注意力等级，dt3为正，时刻t3在时刻t2之后并且时刻t3在时刻t1之后或等于时刻t1，所述确定取决于：

○在时刻t2与t3之间所述车辆在鸟瞰图中的侧向位置的变化，

○对属于在当前时刻t上重新构建的鸟瞰图并且对应于在时刻t1与当前时刻t之间捕获的图像序列的道路部分的轮廓的分析，所述道路部分在时刻t3上至少部分位于所述车辆的上游。

2.根据权利要求1所述的方法，在重新构建地面的鸟瞰图(11，12)的步骤之后，所述方法包括在所述重新构建的鸟瞰图中检测形成地面标记线的至少一条线，所述地面标记线限界出行驶车道，并且包括在重新构建的鸟瞰图(11，12)中估算所述车辆(100)的位置，所述重新构建的鸟瞰图涉及确定所述车辆相对于所述至少一条线(21，22)的相对位置。

3.根据前述权利要求中任一项所述的方法，所述方法还包括：

-捕获驾驶员的面部图像，

-对驾驶员的面部图像进行分析，对驾驶员的估算的注意力等级的确定还取决于对驾驶员的面部图像的所述分析。

4.根据前述权利要求中任一项所述的方法，其中，对所述车辆(100)在所述重新构建的鸟瞰图中相对于所述至少一条线(11，12)的相对位置的估算包括对应于地面表面的连续捕获的图像(10)的组合，所述地面表面具有取决于所述车辆(100)的速度来确定的深度。

5.根据权利要求1所述的方法，其中，对在所述重新构建鸟瞰图(11，12)中形成地面标记线的至少一条线(21，22)的检测包括实施霍夫变换，所述地面标记线限界出行驶车道。

6.根据前述权利要求中任一项所述的方法，所述方法还包括在所述车辆(100)越过所述至少一条线时警告驾驶员的步骤。

7.根据前述权利要求中任一项所述的方法，所述车道宽度等于五米。

8.根据前述权利要求中任一项所述的方法，捕获的图像的地面表面的所述深度小于两米。

9.一种用于估算在行驶车道中的车辆的驾驶员的注意力等级的装置，所述装置包括：用于实施在车辆前方和/或后方的地面的图像(10)的连续捕获的至少一个摄像头、计算单元及存储单元，所述计算单元及所述存储单元配置用于实施根据前述权利要求中任一项所述的方法。

10.根据权利要求9所述的装置，其中，所述至少一个摄像头是设置在车辆前部的正面摄像头。