CN116348342A - 用于确定驾驶者的姿势的方法 - Google Patents

Abstract

一种用于确定载具驾驶者的姿势的方法，所述载具包括能够生成所述载具的驾驶者的位置的图像序列的相机和包括存储区的电子控制单元，在存储区中记录有用于图像处理的多个掩模，每个掩模与驾驶者在其座位上的预定姿势相关联，所述方法包括：相机生成(E1)驾驶者的位置的图像序列并将所述图像序列发送到电子控制单元，电子控制单元针对所述多个掩模中的每个掩模计算(E2)所述掩模与从相机接收的图像序列中的至少一个图像的卷积，以便获得关联系数，并基于具有最高关联系数的掩模确定(E3)驾驶者的姿势。

Description

用于确定驾驶者的姿势的方法

技术领域

本发明涉及运输的领域，并且更具体地涉及用于警告载具(véhicule)驾驶者的方法和实施这样的方法的载具。本发明的目的是改进现有的用于载具驾驶者的警告解决方案，特别是在载具驾驶者采取危险驾驶姿势的情况下。本发明特别适用于驾驶机动车辆、火车或飞行器。

背景技术

如今常见的是监控机动车辆的驾驶者，以便在其行为可能对其自己的安全和载具其他乘客的安全构成危险时通知驾驶者。例如，已知监控机动车辆驾驶者的面部，以便在他表现出注意力分散或困倦的迹象时通知他。还已知监控机动车辆的驾驶者，以便使车辆的气囊系统的行为适应驾驶者的姿势。

例如，文献CN103057503A描述了一种智能气囊装置，其根据驾驶者或乘客的坐姿和身体状况来保护驾驶者或乘客。智能气囊装置包括检测单元、控制单元和气囊单元。控制单元分别连接到检测单元和气囊单元。检测单元检测驾驶者或乘客的体格和坐姿以及机动车碰撞的严重程度。控制单元根据这些信息判断是否应对气囊充气并确定充气模式。根据实时提供的关于乘客体格和坐姿的信息以及根据关于事故严重程度的实时信息来保护乘客。

然而，这种系统特别复杂且昂贵，因为它需要使用驾驶者座位上的传感器、碰撞传感器、3D相机(caméra)，并且需要对所有相应数据进行处理，这需要很高且因此昂贵的处理能力。此外，该系统提出当其认为驾驶者的姿势危险时停用车辆的气囊系统，这对于驾驶者和车辆的其他乘客来说可能是危险的。

因此，需要一种简单、可靠且有效的解决方案来至少部分地弥补这些缺点。

发明内容

为此，本发明的第一个主题是一种用于确定载具(尤其是机动车辆)的驾驶者的姿势的方法，所述载具包括能够生成所述载具的驾驶者的位置的图像序列的相机和包括存储区的电子控制单元，所述存储区中记录有用于图像处理的多个掩模(masque)，每个掩模与驾驶者在其座位上的预定姿势相关联，包括驾驶者在其座位上的正确姿势和驾驶者在其座位上的至少一个不正确姿势，所述方法包括以下步骤：

-相机生成驾驶者的位置的图像序列，并将所述图像序列发送到电子控制单元，

-电子控制单元针对所述多个掩模中的每个掩模计算所述掩模与从相机接收的图像序列中的至少一个图像的卷积(produit de convolution)，以便获得关联系数，

-基于具有最高关联系数的掩模来确定驾驶者的姿势。

根据本发明的方法使得能够基于相机简单、可靠且有效地检测驾驶者的姿势，而不使用其他传感器。本发明特别适用于机动车辆，其中有利的是检测在其座位上的驾驶者相对于车辆方向盘的姿势，以便在危险姿势的情况下通知他。本发明还适用于驾驶火车或驾驶飞行器。

优选地，驾驶者的不正确姿势对应于驾驶者的胸部或头部距方向盘太远或太近的姿势，例如，当他的胸部或头部分别距方向盘小于15cm或距方向盘大于130cm时。

根据本发明的一个方面，该方法还包括当检测到的姿势对应于驾驶者的不正确姿势时生成对驾驶者的警告的步骤，以便向他通知他的姿势不正确，以使他纠正姿势，从而避免改变载具的整个安全气囊系统的状态。

根据本发明的一个特征，相机是2D相机，以便使得能够简单且快速地处理由所述相机生成的图像序列。

优选地，相机放置在驾驶者的中央后视镜后方，以便能够同时拍摄驾驶者的胸部和头部，从而提高检测他姿势的准确度。

优选地，预定姿势包括驾驶者距方向盘太远的第一不正确姿势和驾驶者距方向盘太近的第二不正确姿势。

在一个实施例中，载具还包括第二相机，其能够生成载具外部周围环境的图像序列，特别是位于载具前方的周围环境，并且能够将所述图像序列发送到电子控制单元；并且电子控制单元能够在接收的图像序列中检测载具与外部因素的碰撞风险，当证实有碰撞风险并且检测到的姿势对应于不正确姿势时，能够生成对驾驶者的警告。使用附加的第二相机使得能够检测潜在的碰撞风险并将其通知给驾驶者。

根据本发明的一个方面，该方法包括确定用于图像处理的掩模的预备步骤，所述预备步骤包括为驾驶者在其座位上的每个预定姿势生成一个图像序列，并为每个生成的图像序列确定一个掩模，以便能够在载具行驶时将该掩模应用于相机生成的图像，从而确定驾驶者的姿势。

根据本发明的一个特征，为每个生成的图像序列确定一个掩模包括在所述生成的图像序列中确定对应于驾驶者身体的像素区域。

有利地，为每个生成的图像序列确定一个掩模包括关于每个姿势的定义确定每个像素的权重。

在一个实施例中，当载具包括安全气囊系统(安全可充气垫系统)时，该方法包括：在检测到驾驶者的第二不正确姿势之后，电子控制单元停用所述安全气囊系统，优选地仅停用位于方向盘中的气囊，以免方向盘气囊的触发在触发时使驾驶者受伤，然后，驾驶者的姿势一被检测为再次正确，就重新启用所述气囊或系统。

本发明还涉及一种计算机程序产品，其特征在于其包括一组程序代码指令，所述程序代码指令在被一个或多个处理器执行时将该一个或多个处理器配置成实施如上所述的方法。

本发明还涉及用于载具(特别是机动车辆)的电子控制单元，所述载具包括能够生成所述载具的驾驶者的位置的图像序列的相机，所述电子控制单元包括存储区，所述存储区中记录有用于图像处理的多个掩模，每个掩模与驾驶者在其座位上的预定姿势相关联，包括驾驶者在其座位上的正确姿势和驾驶者在其座位上的至少一个不正确姿势，电子控制单元能够：

-从相机接收驾驶者的位置的图像序列，

-针对所述多个掩模中的每个掩模，计算所述掩模与从相机接收的图像序列中的至少一个图像的卷积，以便获得关联系数，

-基于具有最高关联系数的掩模来确定驾驶者的姿势，

-当检测到的姿势对应于驾驶者的不正确姿势时，生成对驾驶者的警告以使他纠正他的姿势。

在一个实施例中，电子控制单元能够在从第二相机接收的图像序列中检测载具与外部因素的碰撞风险，当证实有碰撞风险并且检测到的姿势对应于不正确姿势时生成对驾驶者的警告。

在一个实施例中，当载具包括安全气囊系统(安全可充气垫系统)时，电子控制单元能够在检测到驾驶者的第二不正确姿势之后停用所述安全气囊系统，优选地仅停用位于方向盘中的气囊，以免方向盘气囊的触发在触发时使驾驶者受伤，然后，驾驶者的姿势一被检测为再次正确，就重新启用所述气囊或所述系统。

本发明还涉及一种载具，特别是机动车辆、铁路载具或飞行器，其包括能够生成所述载具的驾驶者的位置的图像序列的相机和如上所述的电子控制单元。

在一个实施例中，载具包括第二相机，其能够生成载具外部周围环境的图像序列，特别是位于载具前方的周围环境的图像序列，并且能够将所述图像序列发送到电子控制单元。

在一个实施例中，载具包括安全气囊系统。

在一个实施例中，载具是自主驾驶载具，并且电子控制单元被编程为检测载具在自主驾驶模式下行驶，以免在检测到驾驶者处于不正确姿势时生成警告。

在一个实施例中，载具是自主驾驶载具，并且在自主驾驶模式启用时，有许多驾驶者的正确姿势。例如，正确姿势可以对应于驾驶者的睡眠姿势、休息姿势、阅读姿势等。因此，电子控制单元不会在当自主驾驶启用时被认为是正确的这些位置警告驾驶者，但是当自主驾驶停用时，这些位置于是变得不正确因此是危险的，电子控制单元警告驾驶者。

附图说明

通过阅读接下来的描述，本发明的其他特征和优点将变得更加明显。该描述纯粹是例证性的，并且应参考附图来阅读，其中：

图1示出了根据本发明的载具的一个实施例；

图2示出了根据本发明的方法的一个实施例；

图3示出了对应于正确姿势的掩模的示例；

图4示出了对应于距方向盘太远的第一不正确姿势的掩模的示例；

图5示出了对应于距方向盘太近的第二不正确姿势的掩模的示例；

图6示出了对应于没有驾驶者的姿势的掩模的示例。

具体实施方式

图1示意性地示出了根据本发明的载具1的示例。在该示例中，载具1是机动车辆，但是在其他示例中，载具可以是火车或飞行器。

除了驾驶者座位和方向盘(为了清楚起见未示出)，载具1还包括第一相机10和电子控制单元20。

第一相机10能够生成载具1中驾驶者5的位置的图像序列，特别是当所述载具1的驾驶者5坐在驾驶者座位上时所述驾驶者5的胸部和头部的图像序列。优选地，第一相机10是放置在驾驶者5的中央后视镜后方的2D相机，中央后视镜(从载具1的内部)安装在载具1的前挡风玻璃前方。第一相机10能够将其生成的图像序列发送到电子控制单元20。

在该示例中，载具1还包括安全气囊系统30和第二相机40，第二相机40能够生成位于载具1前方的周围环境的图像序列，特别是当载具1在道路上行驶时的道路的图像序列。

该第二相机40使得能够拍摄位于载具1前方的周围环境，以便能够检测碰撞，如下文将详述的。第二相机40能够将其生成的图像序列发送到电子控制单元20。第二相机40是可选的，并且对于实施本发明不是必需的，尽管它是有利的。

电子控制单元20能够接收由第一相机10和第二相机40发送的图像序列。

电子控制单元20包括存储区21，其中记录有用于图像处理的多个掩模M(参考图2)，每个掩模M与驾驶者5在其座位上的预定姿势相关联，包括驾驶者5在其座位上的正确姿势和驾驶者5在其座位上的至少一个不正确姿势。在该示例中，存储区21包括对应于驾驶者5在其座位上的正确姿势的第一掩模M、对应于驾驶者5距载具方向盘太远的姿势的第二掩模M、对应于驾驶者5距载具方向盘太近的姿势的第三掩模M、以及对应于驾驶者5不在其座位上的第四掩模M。例如在工厂或实验室中，即在载具1在道路上使用之前，预先定义用于图像处理的掩模M并将其记录在电子控制单元20的存储区21中。

电子控制单元20能够：从第一相机10接收驾驶者5的位置的图像序列；针对该多个掩模M中的每个掩模M计算所述掩模M与从第一相机10接收的图像序列中的至少一个图像的卷积(即，应用卷积滤波器，其本身是已知的)，以便获得关联系数；基于具有最高关联系数的掩模M来确定驾驶者5的姿势；以及生成对驾驶者5的警告，以便当检测到的姿势对应于驾驶者5的不正确姿势时——即当驾驶者5距方向盘太远或太近时，例如当他的胸部或头部分别距方向盘小于15cm或距方向盘大于130cm时——使他纠正他的姿势。优选地，只要驾驶者5没有回到正确姿势，警告就持续工作。

在该非限制性示例中，电子控制单元20能够：在从第二相机40接收的图像序列中检测载具1与外部因素的碰撞风险；当证实有碰撞风险并且检测到的姿势对应于不正确姿势时，生成对驾驶者5的警告。外部因素可以是例如另一载具、行人或道路基础设施因素。

在载具1包括安全气囊系统30(安全可充气垫系统)的该实施例中，电子控制单元20能够：当驾驶者5处于第二不正确姿势、即距方向盘太近时，停用所述安全气囊系统30，优选地仅停用方向盘气囊，以免所述方向盘气囊的触发在触发时使驾驶者受伤，然后，驾驶者5的姿势一被电子控制单元20检测为再次正确，就重新启用所述气囊或系统。

电子控制单元20包括处理器，其能够实施使得能够执行这些功能的一组指令。

现在将参考图2至图6在一个实施方式中描述本发明。

首先，在例如工厂或实验室中执行的预备初始化步骤E0中，确定处理掩模M，然后将其记录在电子控制单元的存储区中。为此，再现准确的载具驾驶配置，特别是通过放置与将安装在载具中的相同的驾驶者座位、方向盘和相机，同时按照在载具中限定的那样遵守这些元件之间的距离。

接下来，以各种姿势安置模范驾驶者，优选地是人或者是假人，以便基于各种图像序列定义相应的掩模M。在该优选示例中，模范驾驶者最初以“正确的”姿势安置在座位上，既不距方向盘太远也不太近，这种姿势被视为安全驾驶姿势，特别是在发生需要触发安全气囊系统的碰撞的情况下。然后，相机生成图像序列，例如25幅图像，其至少表示出以这种正确姿势坐在其座位上的模范驾驶者的胸部和头部。然后，模范驾驶者以所谓的第一“不正确”姿势——距方向盘太远——坐在座位上，这种姿势被认为对驾驶而言是危险的，特别是在发生需要触发安全气囊系统的碰撞的情况下。然后相机生成图像序列，例如25幅图像，其至少表示出以第一不正确姿势坐在其座位上的模范驾驶者的胸部和头部。然后，模范驾驶者以第二不正确姿势——距方向盘太近——坐在座位上，这种姿势被认为对驾驶而言是危险的，特别是在发生需要触发安全气囊系统的碰撞的情况下。然后相机生成图像序列，例如25幅图像，其至少表示出以第二不正确姿势坐在其座位上的模范驾驶者的胸部和头部。最后，在该示例中，相机还生成表示出没有模范驾驶者的座位的图像序列，例如25幅图像。四个图像序列中的每一个都将使得能够定义用于图像处理的一个掩模M。

在该示例中，四个图像序列中的每一个都经历以下步骤。

首先，对四个图像序列中的每一个执行直方图归一化操作。直方图归一化操作使得能够通过使图像的灰度均匀平铺在整个可用值区间内来扩展序列中的每个图像的值的范围。换言之，该操作使得能够使像素的强度更好地分布在可能值的整个范围内，以便调整序列中每个图像的对比度。将经归一化的四个图像序列记录在存储介质上。

接下来，将中值滤波器应用于四个图像序列中的每个图像序列中的图像，以便过滤噪声和像素强度的异常值。中值滤波技术使得能够在保留图像轮廓的同时减少噪声，并且包括用每个输入值(entrée)的邻域的中值来替换每个输入值。

然后分割四个图像序列中的每个图像序列中的图像。该分割包括选择其强度介于最小阈值与最大阈值之间的像素，并且修改它们的强度，使其等于最大强度，例如255。这种操作使得能够通过使既不太暗也不太亮的像素表现为最亮的像素(换言之，颜色最浅的像素)来将它们与太暗和太亮的像素区分开。

接下来，在四个图像序列中的每个图像序列中的图像上检测所有的凸包，并且保留最大的凸包，以便形成图像区域，这是基于以下原理：当在图像上能看到模范驾驶者的身体时，最大的凸包表示出模范驾驶者的身体轮廓，或者在座位上没有模范驾驶者的情况下最大的凸包表示出座位的轮廓。

最后，在记录在存储介质上的经归一化的四个图像序列中的图像中，将位于在前一步骤中形成的区域之外的所有像素的强度降至零(最暗的强度)，以便获得四个掩模M，在这四个掩模M中，模范驾驶者或座位清楚地出现，并且能够标识出处于相应的四个姿势。

图3示出了对应于正确姿势的掩模的照片示例。图4示出了对应于第一不正确姿势(驾驶者5距方向盘太远)的掩模的照片示例。图5示出了对应于第二不正确姿势(驾驶者5距方向盘太近)的掩模的照片示例。图6示出了对应于没有驾驶者5的姿势的掩模的照片示例。

在执行了该预备步骤E0后，将四个掩模M存储在电子控制单元20的存储区21中，以便在载具1将来行驶时使用它们。

因此，在使用阶段，在步骤E1中，当载具行驶时，第一相机10生成显示驾驶者5在其座位上的位置的图像序列，并将其发送到电子控制单元20。

在步骤E2，电子控制单元20从第一相机10接收驾驶者5的位置的图像序列，并针对记录在其存储区21中的四个掩模M中的每一个计算所述掩模M与从第一相机10接收的图像序列中的至少一个图像的卷积，以便获得范围在0至1之间的关联系数CC。

然后，在步骤E3中，电子控制单元20将驾驶者5的姿势P确定为与具有最高关联系数的掩模M相关联的姿势，具有最高关联系数的掩模M即与驾驶者5的实际姿势相对应的概率最大的掩模M。

在步骤E4中，当检测到的姿势对应于其中驾驶者5被认为太远(第一不正确姿势，图4)或太近(第二不正确姿势，图5)的掩模M的姿势时，电子控制单元20生成对驾驶者5的警告A，以使他纠正他的姿势。该警告A可以例如是声音警告、视觉警告或触觉警告(振动等)。优选地，只要驾驶者5没有回到正确姿势(图3)，警告A就持续工作。

在根据本发明的方法中，可选地使用第二相机40。当使用第二相机40时，第二相机40也在载具1行驶时生成图像序列，并将其发送到电子控制单元20。该图像序列表示载具1的周围环境，优选为载具1的前方区域(道路及周围)。在接收到该图像序列时，电子控制单元20在从第二相机40接收的图像序列中检测外部因素(其他载具、行人、道路基础设施因素等)，并评估载具1与所述外部因素碰撞的风险。由于这种碰撞风险检测本身是已知的，因此在此不再进一步详述。在该示例中，与外部因素碰撞的风险可以是低或高。此外，当检测到的碰撞风险为高并且检测到的姿势对应于正确姿势时，电子控制单元20不触发对驾驶者5的警告A，因为碰撞危险不直接相关。同样，在该示例中，当碰撞风险被评估为低时，无论驾驶者5的姿势如何(正确或不正确)，都不触发警告A。与此相反，当碰撞风险为高并且检测到的姿势对应于不正确姿势时(图4或图5)，触发警告A。

座位上没有驾驶者5的姿势(空座位，图6)可以用于避免错误检测，即避免在驾驶者5处于不正确姿势时检测到正确姿势，所述不正确姿势特别是距方向盘太近，在这种情况下，在图像上座位基本上看起来是部分空的。实际上，在这种情况下，对应于没有驾驶者5的姿势(完全空着的座位)的掩模M使得能够可靠地区分空着的座位和部分空着的座位。

在自主载具1的情况下，电子控制单元20可以被编程为检测载具1正在自主驾驶模式下行驶，并且在这种情况下，避免在检测到驾驶者5处于不正确姿势(图4或图5)时生成警告。仍然在自主载具1的情况下，驾驶者的正确姿势可以更加多样，例如睡眠姿势、休息姿势、阅读姿势等。

当载具1包括安全气囊系统(安全可充气垫系统)时，电子控制单元20可以在驾驶者5处于第二不正确姿势、即距方向盘太近(图5)时停用所述安全气囊系统30，优选地停用方向盘气囊，以免方向盘气囊的触发在触发时使他受伤，然后，驾驶者5的姿势一再次正确就重新启用它。

因此，本发明有利地使得能够在载具驾驶者5的姿势不正确并且在驾驶载具时对他的安全造成危险时(尤其是在碰撞的情况下)警告载具驾驶者5。

Claims (10)

1.用于确定载具(1)的驾驶者(5)的姿势的方法，所述载具(1)包括能够生成所述载具(1)的驾驶者(5)的位置的图像序列的相机和包括存储区(21)的电子控制单元(20)，所述存储区(21)中记录有用于图像处理的多个掩模(M)，每个掩模(M)与驾驶者(5)在其座位上的预定姿势相关联，包括驾驶者(5)在其座位上的正确姿势和驾驶者(5)在其座位上的至少一个不正确姿势，所述方法包括以下步骤：

-(E1)相机(10)生成驾驶者(5)的位置的图像序列，并将所述图像序列发送到电子控制单元(20)，

-(E2)电子控制单元(20)针对所述多个掩模(M)中的每个掩模(M)计算所述掩模(M)与从相机(10)接收的图像序列中的至少一个图像的卷积，以便获得关联系数(CC)，

-(E3)基于具有最高关联系数(CC)的掩模(M)来确定驾驶者(5)的姿势。

2.根据权利要求1所述的方法，还包括步骤(E4)：当检测到的姿势对应于驾驶者(5)的不正确姿势时生成对驾驶者(5)的警告，以使他纠正姿势。

3.根据前述权利要求中的任一项所述的方法，其中，相机(10)是2D相机。

4.根据前述权利要求中的任一项所述的方法，其中，预定姿势包括驾驶者(5)距方向盘太远的第一不正确姿势和驾驶者(5)距方向盘太近的第二不正确姿势。

5.根据权利要求2所述的方法，其中，载具(1)还包括第二相机(40)，其能够生成载具(1)外部周围环境的图像序列，并且能够将所述图像序列发送到电子控制单元(20)；并且电子控制单元(20)能够在接收的图像序列中检测载具(1)与外部因素的碰撞风险，当证实有碰撞风险并且检测到的姿势对应于不正确姿势时，能够生成对驾驶者(5)的警告。

6.根据前述权利要求中的任一项所述的方法，包括确定用于图像处理的掩模(M)的预备步骤，所述预备步骤包括为驾驶者(5)在其座位上的每个预定姿势生成一个图像序列，并为每个生成的图像序列确定一个掩模(M)。

7.根据前一权利要求所述的方法，其中，为每个生成的图像序列确定一个掩模(M)包括在所述生成的图像序列中确定对应于驾驶者(5)的身体的像素。

8.计算机程序产品，其特征在于其包括一组程序代码指令，所述程序代码指令在被一个或多个处理器执行时将所述一个或多个处理器配置成实施根据前述权利要求中的任一项所述的方法。

9.用于载具(1)的电子控制单元(20)，所述载具(1)包括能够生成所述载具的驾驶者(5)的位置的图像序列的相机(10)，所述电子控制单元(20)包括存储区(21)，所述存储区(21)中记录有用于图像处理的多个掩模(M)，每个掩模(M)与驾驶者(5)在其座位上的预定姿势相关联，包括驾驶者(5)在其座位上的正确姿势和驾驶者(5)在其座位上的至少一个不正确姿势，电子控制单元(20)能够：

-从相机(10)接收驾驶者(5)的位置的图像序列，

-针对所述多个掩模(M)中的每个掩模(M)，计算所述掩模(M)与从相机(10)接收的图像序列中的至少一个图像的卷积，以便获得关联系数(CC)，

-基于具有最高关联系数(CC)的掩模(M)来确定驾驶者(5)的姿势。

10.载具(1)，其包括能够生成所述载具(1)的驾驶者(5)的位置的图像序列的相机(10)和根据前一权利要求所述的电子控制单元(20)。

Images