CN113602287B - 一种面向低驾龄驾驶员的人机共驾系统 - Google Patents

Abstract

本发明公开了一种面向低驾龄女性驾驶员的人机共驾系统，包括：驾驶员信息采集系统，用于采集驾驶员信息；车辆道路信息采集系统，用于采集车辆状态信息和道路类型信息；驾驶员身份确认系统，用于确认驾驶员身份；正常和异常状态心率范围采集系统，用于采集驾驶员正常状态和异常状态的心率范围；驾驶模式决策系统，用于根据心率判断驾驶员状态，选择相应驾驶模式；异常状态下自动驾驶系统控制权计算系统，结合驾驶员信息和道路类型信息通过神经网络即时计算期望自动驾驶系统控制权；信息存储管理系统，用于存储上述所有系统输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯。

Description

一种面向低驾龄驾驶员的人机共驾系统

技术领域

本发明涉及图像处理和智能驾驶领域，特别提供一种面向低驾龄驾驶员的人机共驾系统。

背景技术

目前，在大众的普遍印象中，大部分低驾龄驾驶员更容易在道路上出现交通事故，对交通安全造成了极大的威胁。其中，大部分交通事故是由于在异常状态下低驾龄驾驶员不能准确地控制车辆转向、甚至分不清油门和刹车造成的。因此，实时监测驾驶员状态信息并选择相应驾驶模式至关重要。

监测驾驶员状态信息的设备有许多种，目前多使用头戴式脑电检测设备或手环类检测器，尽管这些方式能够监测驾驶员的状态信息，但还是存在一些问题，比如驾驶员随时佩戴头戴式脑电检测设备并不舒适，且易引起反感和抗拒心理；对于手环类检测器，驾驶员易忘记佩戴，并且驾驶员可能在手腕上佩戴饰品，而且夏天手腕易出汗，使用手环类检测器影响驾驶体验。部分测试者因不习惯佩戴上述束缚式传感器，从而产生紧张焦虑情绪，影响测量结果的准确性。

因此，如何根据低驾龄驾驶员的需求，设计一种非接触式驾驶员状态信息检测方法，并且根据驾驶员状态选择相应的驾驶模式，尽可能地保证驾驶员的控制权，使驾驶员参与并熟悉驾驶过程，同时降低事故发生的可能性，减少事故造成的危害，成为本领域亟需解决的技术问题。

发明内容

本发明的目的在于提供一种面向低驾龄驾驶员的人机共驾系统来解决上述技术问题。

本发明通过如下技术方案实现：

一种面向低驾龄驾驶员的人机共驾系统，包括驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统。

驾驶员信息采集系统，其用于采集驾驶员的面部图像信息、虹膜信息、年龄信息、驾龄信息和肤色信息，并实时检测驾驶员生理信息；输出信息给驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统；所述生理信息为心率参数，其通过一种基于视频分析的非接触式人体心率检测方法采集。

车辆道路信息采集系统，其用于采集车辆状态信息和道路类型信息；用于采集车辆的状态信息，所述车辆的状态信息包括：整车质量、以车辆质心为圆心的转动惯量、质心到前轴和后轴的距离、纵向速度、侧向速度、转向盘角度、前轮转向角、转向盘角度与前轮转角的传动比、前轮和后轮的侧偏刚度、前轮和后轮的侧偏角、航向角误差、转向半径和航向角速度；道路类型信息取值范围包括：十字路口、环岛、城市普通道路、快速路和高速公路；输出所述车辆状态信息和道路类型信息给驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统。

驾驶员身份确认系统，其用于判断驾驶员信息采集系统输出的驾驶员状态信息和信息存储管理系统中存在的驾驶员状态信息是否匹配，进而确认驾驶员身份，并且能够判断当前驾驶员是否为潜在肇事驾驶员，实现远程预防性、实时性检测。

正常和异常状态心率范围采集系统，其用于采集驾驶员正常状态和异常状态的心率范围，为驾驶模式决策系统提供驾驶员状态判断依据。

驾驶模式决策系统，其用于根据驾驶员的生理信息判断驾驶员的状态，选择相应的驾驶模式，以使低驾龄驾驶员尽可能地负责驾驶车辆，参与并熟悉驾驶过程。

异常状态下自动驾驶系统控制权计算系统，其用于根据驾驶员信息和道路类型信息来计算异常状态下的期望自动驾驶系统控制权，并将所述期望自动驾驶系统控制权输出给驾驶模式决策系统和信息存储管理系统。

信息存储管理系统，其用于存储驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、异常状态下自动驾驶系统控制权计算系统输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；并管理驾驶员身份确认系统、驾驶模式决策系统和异常状态下自动驾驶系统控制权计算系统。

所述驾驶员身份确认系统包括面部识别模块、虹膜识别模块、潜在肇事驾驶员判断模块和新面孔预警模块。所述面部识别模块用于对比分析从驾驶员信息采集系统获取的面部图像信息与信息存储管理系统中已存在的面部图像信息，判断从驾驶员信息采集系统获取的面部图像信息与信息存储管理系统中已存在的面部图像信息是否匹配；所述虹膜识别模块用于对比分析从驾驶员信息采集系统获取的虹膜信息与信息存储管理系统中已存在的虹膜信息，判断从驾驶员信息采集系统获取的虹膜信息与信息存储管理系统中已存在的虹膜信息是否匹配；若所述面部识别模块和虹膜识别模块的对比结果都为匹配，且匹配的面部图像信息和虹膜信息在信息存储管理系统中属于同一用户信息，则输出匹配信息到所述驾驶员信息存储管理系统。

所述的潜在肇事驾驶员判断模块用于判断当前驾驶员是否为潜在肇事驾驶员，潜在肇事驾驶员的判断标准为：平均每个月发生2次及以上交通肇事行为；最近三个月发生过7次及以上交通肇事行为；在不必连续的3个小时驾驶工况内，平均每小时内使用手机、闭眼超过1秒以及头部转向乘员方向与其交流的总次数超过10次，满足以上任何一条则判断该用户为潜在肇事驾驶员。对于潜在肇事驾驶员，要求在安全员的陪同下驾驶车辆。

若从驾驶员信息采集系统获取的面部图像信息和虹膜信息与信息存储管理系统中已存在的面部图像信息和虹膜信息均不匹配，则认为当前驾驶员为数据库中无存档的陌生面孔，启动所述新面孔预警模块，通过车联网向车主发送当前驾驶员照片，确认车主是否知情、是否允许驾驶以及是否需要报警，若车主知情且允许驾驶则建档保存新用户信息，随即启动驾驶员信息采集系统，由当前驾驶员将自己的年龄信息、驾龄信息和肤色信息输入到该新用户信息中。

所述的一种基于视频分析的非接触式人体心率检测方法，包括如下步骤：

步骤一、将摄像头采集的包含驾驶员面部的视频图像转换为帧图片，然后基于AdaBoost算法和Cascade结构构建驾驶员面部位置识别检测器提取第一帧摄像头图像中驾驶员面部位置特征点，考虑到若对后续每一帧图像重新进行驾驶员面部识别会导致计算量太大、耗时过长，从而影响车辆行驶的安全性，故使用特征点跟踪算法对第一帧图像中驾驶员面部的特征点进行跟踪，确定后续读入的摄像头图像中的驾驶员面部位置；为了使驾驶员面部检测结果具有鲁棒性，对于没有检测出驾驶员面部的某一帧图像，沿用上一帧图像的驾驶员面部检测结果；

步骤二、通过肤色色值检测方法将识别跟踪到的驾驶员面部图像由RGB颜色空间转换到YCbCr颜色空间，通过设置各个位置通道的色值范围来确定驾驶员面部皮肤位置。RGB颜色空间以R(Red:红色)、G(Green:绿色)、B(Blue:蓝色)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。YCbCr颜色空间是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。

由RGB颜色空间转换到YCbCr颜色空间的公式为：

其中，Y为像素亮度，Cb为蓝色浓度偏移量，Cr为红色浓度偏移量，Cg为绿色浓度偏移量，Y′＝Kr·R′+Kg·G′+Kb·B′，R′、G′、B′表示红色、绿色、蓝色三个原始通道由[0，255]范围转换到[0，1]范围的像素强度，Kr、Kb、Kg为相应的权重因子；

由于不同肤色信息人的肤色色值不同，将肤色比较接近的白种人和黄种人的肤色色值设置为：Y∈(60,230)，Cb∈(75,130)，Cr∈(130,180)；将肤色比较接近的棕色人种和黑色人种的肤色色值设置为：Y∈(40,190)，Cb∈(80,130)，Cr∈(130,170)；

步骤三、由于使用510nm至590nm波长范围内的光更容易检测到皮肤组织的血容量变化，考虑到Cg颜色通道的光谱段较为接近该波长范围，将识别跟踪到的驾驶员面部图像转换到Cg颜色通道，来提取信噪比较高的IPPG信号；将驾驶员面部视频每一帧中提取到的驾驶员面部图像转换到Cg颜色通道后，将其与检测到的驾驶员面部皮肤位置进行叠加操作，提取Cg颜色通道中驾驶员面部皮肤位置对应点的像素强度；只考虑Cg颜色通道中有效反应血液容积变化的交流分量，即去除基础值128；对每一帧中处理转换后的值进行平均处理后得到IPPG信号；

步骤四、在步骤三提取到IPPG信号的基础上，利用CMOR5-3小波生成IPPG信号的能量谱矩阵，生成的二维能量谱矩阵中能量值最大点处就是对应的心率参数；CMOR母小波的表达式为：

其中，f_c为小波函数的中心频率，f_d为带宽参数。

所述正常和异常状态心率范围采集系统有以下两种采集模式：

模式一：由驾驶员根据自身情况输入处于正常状态的心率范围和处于异常状态的心率范围；

模式二：开始采集后，使用所述的一种基于视频分析的非接触式人体心率检测方法检测驾驶员心率，每当检测到当前心率与到目前为止平均心率差值的绝对值超过平均心率的20％时，通过扬声器和中控屏幕向驾驶员询问是否处于正常状态，可直接声控或点击中控屏幕进行回复，驾驶员处于正常状态回复：是，处于异常状态回复：否；驾驶员也可在中控屏幕上根据驾驶过程中录制的视频将认为自己处于异常状态时的视频设置为异常状态视频，视频中的心率则被正常和异常状态心率范围采集系统自动设置为异常状态心率；采集完异常状态心率范围后，将采集过程中得到的所有心率去掉异常状态心率后的心率范围设置为正常状态心率。

所述驾驶模式决策系统包括车辆和道路数学模型模块、基于模型预测控制的辅助控制模块和共享控制模块；车辆和道路数学模型用作设计基于模型预测控制的辅助控制器的预测模型，基于模型预测控制的辅助控制模块将驾驶员意图和车辆安全结合为优化问题，以使低驾龄驾驶员在安全时尽可能地负责驾驶车辆；当驾驶员处于正常状态时，继续当前基于模型预测控制的辅助控制驾驶模式；当驾驶员进入异常状态5秒后，启用共享控制模块。

所述车辆和道路数学模型模块具体如下：

车辆模型可表示为以下状态方程式：

其中，v_x和v_y分别代表车体坐标系下质心的纵向速度和侧向速度，ω为横摆角速度，K_f和K_r分别为前轮和后轮的侧偏刚度，a和b分别为车辆质心到前轴和后轴的距离，m为车辆质量，I_z为以车辆质心为圆心的转动惯量，δ_sw为转向盘角度，n_fsw为转向盘角度与前轮转角的传动比；

车身框架中的侧向轮胎受力被建模为：

F_yf＝-K_fα_f

F_yr＝-K_rα_r

其中，F_yf和F_yr分别为作用在车辆前轴和后轴上的轮胎侧向力的合力，α_f和α_r分别为前轮和后轮的侧偏角；

车辆和道路模型可描述如下：

其中，e_y为纵向速度误差，为纵向速度误差的变化率，e_ψ为航向角速度误差，为航向角速度误差变化率，为航向角速度，为期望角速度，R为转向半径；

基于上述公式得到的车辆和道路模型可表述为：

其中，x＝[v_y ω e_y e_ψ]^T为车辆和道路状态向量，参数矩阵如下：

所述的基于模型预测控制的辅助控制模块，具体如下：

为保证车辆在安全区域，在驾驶员输入和车辆之间加入一个模型预测控制器，之后，根据车辆道路信息采集系统采集的车辆状态信息和道路类型信息，根据测量和对车辆状态和道路信息的估计，模型预测控制器通过使用以下预测模型来评估车辆离开安全区域的风险，

x(k+1)＝Ax(k)+Bu(k)+B'w(k)

y(k)＝Cx(k)

如果驾驶员的输出命令能够使车辆在安全区域内行驶，则控制器跟踪此命令，或者在公式(b)至(h)的约束下优化控制信号；

求解以下函数，可以得到最优控制命令，

x(k+1+i)＝Ax(k+i)+Bu(k+i)+B'w(k+i),i＝0···N_p-1 (b)

u_min≤u(k+i)≤u_max, i＝0···N_p-1 (c)

Δu(k+i)＝u(k+i)-u(k+i-1) (d)

Δu_min≤Δu(k+i)≤Δu_max, i＝0···N_p-1 (e)

Δu(k+i)＝0, i＝N_C···N_P (f)

e_min≤e_y≤e_max (g)

e_ψmin≤e_ψ≤e_ψmax (h)

其中k表示当前时间瞬间，u(k)为控制信号(即转向角)，u'(k+1)表示接口模型的输出，x(k+1+i)为预测状态，N_C为控制范围，N_P为预测范围，a₁和a₂分别是惩罚控制行为的权重和控制的变化率；为了使车辆在每个预测状态下都处于安全区域，将该要求表示为公式(g)和(h)；为了尽可能地尊重驾驶员的意图，我们使用接口输出的命令作为控制器的参考信号，如公式(a)所示；控制器在约束条件，即公式(b)至(h)下解决成本函数，获得一系列最优控制命令。

所述的共享控制模块，使用基于线性加权法则的共享控制融合律，驾驶员与自动驾驶系统共同控制车辆，具体如下：

用参数λ表示自动驾驶系统控制权，通过调节参数λ可方便地对人机控制权进行分配与管理，如下所示：

h＝λh_A+(1-λ)h_D

其中，h为最终等效输入，h_A为自动驾驶系统的期望输入，h_D为驾驶员的输入，λ取值范围为0到100％，λ越大代表自动驾驶系统对车辆的控制权越大，驾驶员自身对车辆的控制权越小，车辆的自动化程度越高，λ＝100％意味着车辆进入自动驾驶模式；λ越小代表驾驶员对车辆的控制权越大，自动驾驶系统对车辆的控制权越小，驾驶员的控制自由度越高，λ＝0表示车辆退化为人工驾驶模式。

所述异常状态下自动驾驶系统控制权计算系统中，包括控制权计算神经网络；所述控制权计算神经网络用于根据所述年龄信息、驾龄信息、肤色信息和道路类型信息输出期望自动驾驶系统控制权信息；自动驾驶系统控制权为0时，自动驾驶系统不参与驾驶，由驾驶员全权负责车辆；自动驾驶系统控制权为100％时，车辆进入自动驾驶模式，不再考虑驾驶员的输入。

所述控制权计算神经网络是三层的误差反向传播神经网络；

所述控制权计算神经网络的训练通过实车试验完成，所述实车试验的试验平台的搭建方法是，基于自动驾驶系统控制权大小可调的人机共驾车辆，并在所述人机共驾车辆上安装好所述驾驶员信息采集系统和车辆道路信息采集系统；令具有不同年龄信息、驾龄信息和肤色信息的驾驶员分别在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶所述试验平台，然后驾驶员通过自身情况分别选择在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶中处于异常状态时最符合需求的自动驾驶系统控制权大小；使用多组有年龄信息、驾龄信息、肤色信息和道路类型信息作为输入标签以及自动驾驶系统控制权信息值作为输出标签的数据完成控制权计算神经网络的训练。

本发明的有益效果为：

1.将一种基于视频分析的非接触式人体心率检测方法与人机共驾系统结合，相对于使用束缚式驾驶员状态信息检测方法更加安全、卫生和简便，降低驾驶员抵触心理；

2.当驾驶员处于异常状态时，结合驾驶员信息和道路类型信息利用误差反向传播神经网络即时计算期望的自动驾驶系统控制权，然后通过驾驶模式决策系统实现人机控制权的分配与管理，从而自动实现适合不同驾驶员在不同类型道路上行驶所需要的人机协同共享控制；

3.检测数据留存于本地数据服务器中，同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；

4.可通过驾驶员的面部图像信息、虹膜信息确认驾驶员身份，实现远程预防性、实时性检测，对于潜在肇事驾驶员，还可以通过对其历史视频图像的检测分析进行追溯。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明的一种面向低驾龄驾驶员的人机共驾系统的系统框架图；

图2为本发明的车辆和道路模型示意图；

图3为本发明的基于模型预测控制的辅助控制模块方框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述，以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，一种面向低驾龄驾驶员的人机共驾系统，包括驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统。

驾驶员信息采集系统，其用于采集驾驶员的面部图像信息、虹膜信息、年龄信息、驾龄信息和肤色信息，并实时检测驾驶员生理信息；输出信息给驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统；所述生理信息为心率参数，其通过一种基于视频分析的非接触式人体心率检测方法采集。

车辆道路信息采集系统，其用于采集车辆状态信息和道路类型信息；用于采集车辆的状态信息，所述车辆的状态信息包括：整车质量、以车辆质心为圆心的转动惯量、质心到前轴和后轴的距离、纵向速度、侧向速度、转向盘角度、前轮转向角、转向盘角度与前轮转角的传动比、前轮和后轮的侧偏刚度、前轮和后轮的侧偏角、航向角误差、转向半径和航向角速度；道路类型信息取值范围包括：十字路口、环岛、城市普通道路、快速路和高速公路；输出所述车辆状态信息和道路类型信息给驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统。

驾驶员身份确认系统，其用于判断驾驶员信息采集系统输出的驾驶员状态信息和信息存储管理系统中存在的驾驶员状态信息是否匹配，进而确认驾驶员身份，并且能够判断当前驾驶员是否为潜在肇事驾驶员，实现远程预防性、实时性检测。

正常和异常状态心率范围采集系统，其用于采集驾驶员正常状态和异常状态的心率范围，为驾驶模式决策系统提供驾驶员状态判断依据。

驾驶模式决策系统，其用于根据驾驶员的生理信息判断驾驶员的状态，选择相应的驾驶模式，以使低驾龄驾驶员尽可能地负责驾驶车辆，参与并熟悉驾驶过程。

异常状态下自动驾驶系统控制权计算系统，其用于根据驾驶员信息和道路类型信息来计算异常状态下的期望自动驾驶系统控制权，并将所述期望自动驾驶系统控制权输出给驾驶模式决策系统和信息存储管理系统。

信息存储管理系统，其用于存储驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、异常状态下自动驾驶系统控制权计算系统输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；并管理驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统和异常状态下自动驾驶系统控制权计算系统。

所述驾驶员身份确认系统包括面部识别模块、虹膜识别模块和新面孔预警模块。所述面部识别模块用于对比分析从驾驶员信息采集系统获取的面部图像信息与信息存储管理系统中已存在的面部图像信息，判断从驾驶员信息采集系统获取的面部图像信息与信息存储管理系统中已存在的面部图像信息是否匹配；所述虹膜识别模块用于对比分析从驾驶员信息采集系统获取的虹膜信息与信息存储管理系统中已存在的虹膜信息，判断从驾驶员信息采集系统获取的虹膜信息与信息存储管理系统中已存在的虹膜信息是否匹配；若所述面部识别模块和虹膜识别模块的对比结果都为匹配，且匹配的面部图像信息和虹膜信息在信息存储管理系统中属于同一用户信息，则输出匹配信息到所述驾驶员信息存储管理系统。

所述的潜在肇事驾驶员判断模块用于判断当前驾驶员是否为潜在肇事驾驶员，潜在肇事驾驶员的判断标准为：平均每个月发生2次及以上交通肇事行为；最近三个月发生过7次及以上交通肇事行为；在不必连续的3个小时驾驶工况内，平均每小时内使用手机、闭眼超过1秒以及头部转向乘员方向与其交流的总次数超过10次，满足以上任何一条则判断该用户为潜在肇事驾驶员。对于潜在肇事驾驶员，要求在安全员的陪同下驾驶车辆。

若从驾驶员信息采集系统获取的面部图像信息和虹膜信息与信息存储管理系统中已存在的面部图像信息和虹膜信息均不匹配，则认为当前驾驶员为数据库中无存档的陌生面孔，启动所述新面孔预警模块，通过车联网向车主发送当前驾驶员照片，确认车主是否知情、是否允许驾驶以及是否需要报警，若车主知情且允许驾驶则建档保存新用户信息，随即启动驾驶员信息采集系统，由当前驾驶员将自己的年龄信息、驾龄信息和肤色信息输入到该新用户信息中。

所述的一种基于视频分析的非接触式人体心率检测方法，包括如下步骤：

步骤一、将摄像头采集的包含驾驶员面部的视频图像转换为帧图片，然后基于AdaBoost算法和Cascade结构构建驾驶员面部位置识别检测器提取第一帧摄像头图像中驾驶员面部位置特征点，考虑到若对后续每一帧图像重新进行驾驶员面部识别会导致计算量太大、耗时过长，从而影响车辆行驶的安全性，故使用特征点跟踪算法对第一帧图像中驾驶员面部的特征点进行跟踪，确定后续读入的摄像头图像中的驾驶员面部位置；为了使驾驶员面部检测结果具有鲁棒性，对于没有检测出驾驶员面部的某一帧图像，沿用上一帧图像的驾驶员面部检测结果；

步骤二、通过肤色色值检测方法将识别跟踪到的驾驶员面部图像由RGB颜色空间转换到YCbCr颜色空间，通过设置各个位置通道的色值范围来确定驾驶员面部皮肤位置，由RGB颜色空间转换到YCbCr颜色空间的公式为：

其中，Y为像素亮度，Cb为蓝色浓度偏移量，Cr为红色浓度偏移量，Cg为绿色浓度偏移量，Y′＝Kr·R′+Kg·G′+Kb·B′，R′、G′、B′表示红色、绿色、蓝色三个原始通道由[0，255]范围转换到[0，1]范围的像素强度，Kr、Kb、Kg为相应的权重因子；

由于不同肤色信息人的肤色色值不同，将肤色比较接近的白种人和黄种人的肤色色值设置为：Y∈(60,230)，Cb∈(75,130)，Cr∈(130,180)；将肤色比较接近的棕色人种和黑色人种的肤色色值设置为：Y∈(40,190)，Cb∈(80,130)，Cr∈(130,170)；

步骤三、由于使用510nm至590nm波长范围内的光更容易检测到皮肤组织的血容量变化，考虑到Cg颜色通道的光谱段较为接近该波长范围，将识别跟踪到的驾驶员面部图像转换到Cg颜色通道，来提取信噪比较高的IPPG(Image Photoplethysmography)信号；将驾驶员面部视频每一帧中提取到的驾驶员面部图像转换到Cg颜色通道后，将其与检测到的驾驶员面部皮肤位置进行叠加操作，提取Cg颜色通道中驾驶员面部皮肤位置对应点的像素强度；只考虑Cg颜色通道中有效反应血液容积变化的交流分量，即去除基础值128；对每一帧中处理转换后的值进行平均处理后得到IPPG信号；

步骤四、在步骤三提取到IPPG信号的基础上，利用CMOR5-3小波生成IPPG信号的能量谱矩阵，生成的二维能量谱矩阵中能量值最大点处就是对应的心率参数；CMOR母小波的表达式为：

其中，f_c为小波函数的中心频率，f_d为带宽参数。

所述正常和异常状态心率范围采集系统有以下两种采集模式：

模式一：由驾驶员根据自身情况输入处于正常状态的心率范围和处于异常状态的心率范围；

模式二：开始采集后，使用所述的一种基于视频分析的非接触式人体心率检测方法检测驾驶员心率，每当检测到当前心率与到目前为止平均心率差值的绝对值超过平均心率的20％时，通过扬声器和中控屏幕向驾驶员询问是否处于正常状态，可直接声控或点击中控屏幕进行回复，驾驶员处于正常状态回复：是，处于异常状态回复：否；驾驶员也可在中控屏幕上根据驾驶过程中录制的视频将认为自己处于异常状态时的视频设置为异常状态视频，视频中的心率则被正常和异常状态心率范围采集系统自动设置为异常状态心率；采集完异常状态心率范围后，将采集过程中得到的所有心率去掉异常状态心率后的心率范围设置为正常状态心率。

所述驾驶模式决策系统包括车辆和道路数学模型模块、基于模型预测控制的辅助控制模块和共享控制模块；车辆和道路数学模型用作设计基于模型预测控制的辅助控制器的预测模型，基于模型预测控制的辅助控制模块将驾驶员意图和车辆安全结合为优化问题，以使低驾龄驾驶员在安全时尽可能地负责驾驶车辆；当驾驶员处于正常状态时，继续当前基于模型预测控制的辅助控制驾驶模式；当驾驶员进入异常状态5秒后，启用共享控制模块。

如图2所示，车辆和道路数学模型模块具体如下：

车辆模型可表示为以下状态方程式：

其中，v_x和v_y分别代表车体坐标系下质心的纵向速度和侧向速度，ω为横摆角速度，K_f和K_r分别为前轮和后轮的侧偏刚度，a和b分别为车辆质心到前轴和后轴的距离，m为车辆质量，I_z为以车辆质心为圆心的转动惯量，δ_sw为转向盘角度，δ_f为前轮转向角，n_fsw为转向盘角度与前轮转角的传动比。

车身框架中的侧向轮胎受力被建模为：

F_yf＝-K_fα_f

F_yr＝-K_rα_r

其中，F_yf和F_yr分别为作用在车辆前轴和后轴上的轮胎侧向力的合力，α_f和α_r分别为前轮和后轮的侧偏角；

车辆和道路模型可描述如下：

其中，e_y为纵向速度误差，为纵向速度误差的变化率，e_ψ为航向角速度误差，为航向角速度误差变化率，为航向角速度，为期望角速度，R为转向半径；

基于上述公式得到的车辆和道路模型可表述为：

其中，x＝[v_y ω e_y e_ψ]^T为车辆和道路状态向量，参数矩阵如下：

如图3所示，基于模型预测控制的辅助控制模块，具体如下：

为保证车辆在安全区域，在驾驶员输入和车辆之间加入一个模型预测控制器，之后，根据车辆道路信息采集系统采集的车辆状态信息和道路类型信息，根据测量和对车辆状态和道路信息的估计，模型预测控制器通过使用以下预测模型来评估车辆离开安全区域的风险，

x(k+1)＝Ax(k)+Bu(k)+B'w(k)

y(k)＝Cx(k)

如果驾驶员的输出命令能够使车辆在安全区域内行驶，则控制器跟踪此命令，或者在公式(b)至(h)的约束下优化控制信号；

求解以下函数，可以得到最优控制命令，

x(k+1+i)＝Ax(k+i)+Bu(k+i)+B'w(k+i),i＝0···N_p-1 (b)

u_min≤u(k+i)≤u_max, i＝0···N_p-1 (c)

Δu(k+i)＝u(k+i)-u(k+i-1) (d)

Δu_min≤Δu(k+i)≤Δu_max, i＝0···N_p-1 (e)

Δu(k+i)＝0, i＝N_C···N_P (f)

e_min≤e_y≤e_max (g)

e_ψmin≤e_ψ≤e_ψmax (h)

其中k表示当前时间瞬间，u(k)为控制信号(即转向角)，u'(k+1)表示接口模型的输出，x(k+1+i)为预测状态，N_C为控制范围，N_P为预测范围，a₁和a₂分别是惩罚控制行为的权重和控制的变化率；为了使车辆在每个预测状态下都处于安全区域，将该要求表示为公式(g)和(h)；为了尽可能地尊重驾驶员的意图，我们使用接口输出的命令作为控制器的参考信号，如公式(a)所示；控制器在约束条件，即公式(b)至(h)下解决成本函数，获得一系列最优控制命令。

所述的共享控制模块，使用基于线性加权法则的共享控制融合律，驾驶员与自动驾驶系统共同控制车辆，具体如下：

用参数λ表示自动驾驶系统控制权，通过调节参数λ可方便地对人机控制权进行分配与管理，如下所示：

h＝λh_A+(1-λ)h_D

其中，h为最终等效输入，h_A为自动驾驶系统的期望输入，h_D为驾驶员的输入，λ取值范围为0到100％，λ越大代表自动驾驶系统对车辆的控制权越大，驾驶员自身对车辆的控制权越小，车辆的自动化程度越高，λ＝100％意味着车辆进入自动驾驶模式；λ越小代表驾驶员对车辆的控制权越大，自动驾驶系统对车辆的控制权越小，驾驶员的控制自由度越高，λ＝0表示车辆退化为人工驾驶模式。

驾驶员在异常状态下驾驶车辆时，自动驾驶系统控制权λ由异常状态下自动驾驶系统控制权计算系统求出。

所述异常状态下自动驾驶系统控制权计算系统中，包括控制权计算神经网络；所述控制权计算神经网络用于根据所述年龄信息、驾龄信息、肤色信息和道路类型信息输出期望自动驾驶系统控制权信息；自动驾驶系统控制权是一个常数，取值范围为0到100％，自动驾驶系统控制权为0时，自动驾驶系统不参与驾驶，由驾驶员全权负责车辆；自动驾驶系统控制权为100％时，车辆进入自动驾驶模式，不再考虑驾驶员的输入。

所述控制权计算神经网络是三层的误差反向传播神经网络；

所述控制权计算神经网络的训练通过实车试验完成，所述实车试验的试验平台的搭建方法是，基于自动驾驶系统控制权大小可调的人机共驾车辆，并在所述人机共驾车辆上安装好所述驾驶员信息采集系统和车辆道路信息采集系统；令具有不同年龄信息、驾龄信息和肤色信息的驾驶员分别在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶所述试验平台，然后驾驶员通过自身情况分别选择在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶中处于异常状态时最符合需求的自动驾驶系统控制权大小；使用多组有年龄信息、驾龄信息、肤色信息和道路类型信息作为输入标签以及自动驾驶系统控制权信息值作为输出标签的数据完成控制权计算神经网络的训练。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (6)

1.一种面向低驾龄驾驶员的人机共驾系统，其特征在于，包括驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统：

驾驶员信息采集系统，其用于采集驾驶员的面部图像信息、虹膜信息、年龄信息、驾龄信息和肤色信息，并实时检测驾驶员生理信息；输出信息给驾驶员身份确认系统、正常和异常状态心率范围采集系统、驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统；所述生理信息为心率参数，其通过一种基于视频分析的非接触式人体心率检测方法采集；

车辆道路信息采集系统，其用于采集车辆状态信息和道路类型信息；用于采集车辆的状态信息，所述车辆的状态信息包括：整车质量、以车辆质心为圆心的转动惯量、质心到前轴和后轴的距离、纵向速度、侧向速度、转向盘角度、前轮转向角、转向盘角度与前轮转角的传动比、前轮和后轮的侧偏刚度、前轮和后轮的侧偏角、航向角误差、转向半径和航向角速度；道路类型信息取值范围包括：十字路口、环岛、城市普通道路、快速路和高速公路；输出所述车辆状态信息和道路类型信息给驾驶模式决策系统、异常状态下自动驾驶系统控制权计算系统和信息存储管理系统；

驾驶员身份确认系统，其用于判断驾驶员信息采集系统输出的驾驶员状态信息和信息存储管理系统中存在的驾驶员状态信息是否匹配，进而确认驾驶员身份，并且能够判断当前驾驶员是否为潜在肇事驾驶员，实现远程预防性、实时性检测；

正常和异常状态心率范围采集系统，其用于采集驾驶员正常状态和异常状态的心率范围，为驾驶模式决策系统提供驾驶员状态判断依据；

驾驶模式决策系统，其用于根据驾驶员的生理信息判断驾驶员的状态，选择相应的驾驶模式，以使低驾龄驾驶员尽可能地负责驾驶车辆，参与并熟悉驾驶过程；所述驾驶模式决策系统包括车辆和道路数学模型模块、基于模型预测控制的辅助控制模块和共享控制模块；车辆和道路数学模型用作设计基于模型预测控制的辅助控制器的预测模型，基于模型预测控制的辅助控制模块将驾驶员意图和车辆安全结合为优化问题，以使低驾龄驾驶员在安全时尽可能地负责驾驶车辆；当驾驶员处于正常状态时，继续当前基于模型预测控制的辅助控制驾驶模式；当驾驶员进入异常状态5秒后，启用共享控制模块；

所述车辆和道路数学模型模块具体如下：

车辆模型可表示为以下状态方程式：

其中，v_x和v_y分别代表车体坐标系下质心的纵向速度和侧向速度，ω为横摆角速度，K_f和K_r分别为前轮和后轮的侧偏刚度，a和b分别为车辆质心到前轴和后轴的距离，m为车辆质量，I_z为以车辆质心为圆心的转动惯量，δ_sw为转向盘角度，n_fsw为转向盘角度与前轮转角的传动比；

车身框架中的侧向轮胎受力被建模为：

F_yf＝-K_fα_f

F_yr＝-K_rα_r

其中，F_yf和F_yr分别为作用在车辆前轴和后轴上的轮胎侧向力的合力，α_f和α_r分别为前轮和后轮的侧偏角；

车辆和道路模型可描述如下：

其中，e_y为纵向速度误差，为纵向速度误差的变化率，e_ψ为航向角速度误差，为航向角速度误差变化率，为航向角速度，为期望角速度，R为转向半径；

基于上述公式得到的车辆和道路模型可表述为：

其中，x＝[v_yωe_y e_ψ]^T为车辆和道路状态向量，参数矩阵如下：

所述的基于模型预测控制的辅助控制模块，具体如下：

为保证车辆在安全区域，在驾驶员输入和车辆之间加入一个模型预测控制器，之后，根据车辆道路信息采集系统采集的车辆状态信息和道路类型信息，根据测量和对车辆状态和道路信息的估计，模型预测控制器通过使用以下预测模型来评估车辆离开安全区域的风险，

x(k+1)＝Ax(k)+Bu(k)+B'w(k)

y(k)＝Cx(k)

如果驾驶员的输出命令能够使车辆在安全区域内行驶，则控制器跟踪此命令，或者在公式(b)至(h)的约束下优化控制信号；

求解以下函数，可以得到最优控制命令，

x(k+1+i)＝Ax(k+i)+Bu(k+i)+B'w(k+i),i＝0···N_p-1

(b)

u_min≤u(k+i)≤u_max, i＝0···N_p-1 (c)

Δu(k+i)＝u(k+i)-u(k+i-1) (d)

Δu_min≤Δu(k+i)≤Δu_max, i＝0···N_p-1 (e)

Δu(k+i)＝0, i＝N_C···N_P (f)

e_min≤e_y≤e_max (g)

e_ψmin≤e_ψ≤e_ψmax (h)

其中k表示当前时间瞬间，u(k)为控制信号(即转向角)，u'(k+1)表示接口模型的输出，x(k+1+i)为预测状态，N_C为控制范围，N_P为预测范围，a₁和a₂分别是惩罚控制行为的权重和控制的变化率；为了使车辆在每个预测状态下都处于安全区域，将该要求表示为公式(g)和(h)；为了尽可能地尊重驾驶员的意图，我们使用接口输出的命令作为控制器的参考信号，如公式(a)所示；控制器在约束条件，即公式(b)至(h)下解决成本函数，获得一系列最优控制命令；

异常状态下自动驾驶系统控制权计算系统，其用于根据驾驶员信息和道路类型信息来计算异常状态下的期望自动驾驶系统控制权，并将所述期望自动驾驶系统控制权输出给驾驶模式决策系统和信息存储管理系统；

信息存储管理系统，其用于存储驾驶员信息采集系统、车辆道路信息采集系统、驾驶员身份确认系统、正常和异常状态心率范围采集系统、异常状态下自动驾驶系统控制权计算系统输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；并管理驾驶员身份确认系统、驾驶模式决策系统和异常状态下自动驾驶系统控制权计算系统。

2.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾系统，其特征在于，所述驾驶员身份确认系统包括面部识别模块、虹膜识别模块、潜在肇事驾驶员判断模块和新面孔预警模块，所述面部识别模块用于对比分析从驾驶员信息采集系统获取的面部图像信息与信息存储管理系统中已存在的面部图像信息，判断从驾驶员信息采集系统获取的面部图像信息与信息存储管理系统中已存在的面部图像信息是否匹配；所述虹膜识别模块用于对比分析从驾驶员信息采集系统获取的虹膜信息与信息存储管理系统中已存在的虹膜信息，判断从驾驶员信息采集系统获取的虹膜信息与信息存储管理系统中已存在的虹膜信息是否匹配；若所述面部识别模块和虹膜识别模块的对比结果都为匹配，且匹配的面部图像信息和虹膜信息在信息存储管理系统中属于同一用户信息，则输出匹配信息到所述信息存储管理系统；所述的潜在肇事驾驶员判断模块用于判断当前驾驶员是否为潜在肇事驾驶员，潜在肇事驾驶员的判断标准为：平均每个月发生2次及以上交通肇事行为；最近三个月发生过7次及以上交通肇事行为；在不必连续的3个小时驾驶工况内，平均每小时内使用手机、闭眼超过1秒以及头部转向乘员方向与其交流的总次数超过10次，满足以上任何一条则判断该用户为潜在肇事驾驶员，对于潜在肇事驾驶员，要求在安全员的陪同下驾驶车辆；若从驾驶员信息采集系统获取的面部图像信息和虹膜信息与信息存储管理系统中已存在的面部图像信息和虹膜信息均不匹配，则认为当前驾驶员为数据库中无存档的陌生面孔，启动所述新面孔预警模块，通过车联网向车主发送当前驾驶员照片，确认车主是否知情、是否允许驾驶以及是否需要报警，若车主知情且允许驾驶则建档保存新用户信息，随即启动驾驶员信息采集系统，由当前驾驶员将自己的年龄信息、驾龄信息和肤色信息输入到该新用户信息中。

3.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾系统，其特征在于，所述的一种基于视频分析的非接触式人体心率检测方法，包括如下步骤：

步骤一、将摄像头采集的包含驾驶员面部的视频图像转换为帧图片，然后基于AdaBoost算法和Cascade结构构建驾驶员面部位置识别检测器提取第一帧摄像头图像中驾驶员面部位置特征点，考虑到若对后续每一帧图像重新进行驾驶员面部识别会导致计算量太大、耗时过长，从而影响车辆行驶的安全性，故使用特征点跟踪算法对第一帧图像中驾驶员面部的特征点进行跟踪，确定后续读入的摄像头图像中的驾驶员面部位置；为了使驾驶员面部检测结果具有鲁棒性，对于没有检测出驾驶员面部的某一帧图像，沿用上一帧图像的驾驶员面部检测结果；

步骤二、通过肤色色值检测方法将识别跟踪到的驾驶员面部图像由RGB颜色空间转换到YCbCr颜色空间，通过设置各个位置通道的色值范围来确定驾驶员面部皮肤位置，由RGB颜色空间转换到YCbCr颜色空间的公式为：

其中，Y为像素亮度，Cb为蓝色浓度偏移量，Cr为红色浓度偏移量，Cg为绿色浓度偏移量，Y′＝Kr·R′+Kg·G′+Kb·B′，R′、G′、B′表示红色、绿色、蓝色三个原始通道由[0，255]范围转换到[0，1]范围的像素强度，Kr、Kb、Kg为相应的权重因子；

由于不同肤色信息人的肤色色值不同，将肤色比较接近的白种人和黄种人的肤色色值设置为：Y∈(60,230)，Cb∈(75,130)，Cr∈(130,180)；将肤色比较接近的棕色人种和黑色人种的肤色色值设置为：Y∈(40,190)，Cb∈(80,130)，Cr∈(130,170)；

步骤三、由于使用510nm至590nm波长范围内的光更容易检测到皮肤组织的血容量变化，考虑到Cg颜色通道的光谱段较为接近该波长范围，将识别跟踪到的驾驶员面部图像转换到Cg颜色通道，来提取信噪比较高的IPPG信号；将驾驶员面部视频每一帧中提取到的驾驶员面部图像转换到Cg颜色通道后，将其与检测到的驾驶员面部皮肤位置进行叠加操作，提取Cg颜色通道中驾驶员面部皮肤位置对应点的像素强度；只考虑Cg颜色通道中有效反应血液容积变化的交流分量，即去除基础值128；对每一帧中处理转换后的值进行平均处理后得到IPPG信号；

步骤四、在步骤三提取到IPPG信号的基础上，利用CMOR5-3小波生成IPPG信号的能量谱矩阵，生成的二维能量谱矩阵中能量值最大点处就是对应的心率参数；CMOR母小波的表达式为：

其中，f_c为小波函数的中心频率，f_d为带宽参数。

4.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾系统，其特征在于，所述正常和异常状态心率范围采集系统有两种采集模式：

模式一：由驾驶员根据自身情况输入处于正常状态的心率范围和处于异常状态的心率范围；

模式二：开始采集后，使用所述的一种基于视频分析的非接触式人体心率检测方法检测驾驶员心率，每当检测到当前心率与到目前为止平均心率差值的绝对值超过平均心率的20％时，通过扬声器和中控屏幕向驾驶员询问是否处于正常状态，可直接声控或点击中控屏幕进行回复，驾驶员处于正常状态回复“是”，处于异常状态回复“否”；驾驶员也可将认为自己处于异常状态时的时间段的心率全部设置为异常状态心率；若测得的正常状态心率范围与异常状态心率范围的边界值发生交叉，则将交叉部分的心率显示在中控屏幕上，由驾驶员结合自身情况为正常状态心率范围与异常状态心率范围选取合适的边界值。

5.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾系统，其特征在于，所述的共享控制模块，使用基于线性加权法则的共享控制融合律，驾驶员与自动驾驶系统共同控制车辆，具体如下：

用参数λ表示自动驾驶系统控制权，通过调节参数λ可方便地对人机控制权进行分配与管理，如下所示：

h＝λh_A+(1-λ)h_D

其中，h为最终等效输入，h_A为自动驾驶系统的期望输入，h_D为驾驶员的输入，λ取值范围为0到100％，λ越大代表自动驾驶系统对车辆的控制权越大，驾驶员自身对车辆的控制权越小，车辆的自动化程度越高，λ＝100％意味着车辆进入自动驾驶模式；λ越小代表驾驶员对车辆的控制权越大，自动驾驶系统对车辆的控制权越小，驾驶员的控制自由度越高，λ＝0表示车辆退化为人工驾驶模式。

6.根据权利要求5所述的一种面向低驾龄驾驶员的人机共驾系统，其特征在于，所述异常状态下自动驾驶系统控制权计算系统中，包括控制权计算神经网络；所述控制权计算神经网络用于根据所述年龄信息、驾龄信息、肤色信息和道路类型信息输出期望自动驾驶系统控制权信息；自动驾驶系统控制权是一个常数，取值范围为0到100％，自动驾驶系统控制权为0时，自动驾驶系统不参与驾驶，由驾驶员全权负责车辆；自动驾驶系统控制权为100％时，车辆进入自动驾驶模式，不再考虑驾驶员的输入；

所述控制权计算神经网络是三层的误差反向传播神经网络；

所述控制权计算神经网络的训练通过实车试验完成，所述实车试验的试验平台的搭建方法是，基于自动驾驶系统控制权大小可调的人机共驾车辆，并在所述人机共驾车辆上安装好所述驾驶员信息采集系统和车辆道路信息采集系统；令具有不同年龄信息、驾龄信息和肤色信息的驾驶员分别在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶所述试验平台，然后驾驶员通过自身情况分别选择在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶中处于异常状态时最符合需求的自动驾驶系统控制权大小；使用多组有年龄信息、驾龄信息、肤色信息和道路类型信息作为输入标签以及自动驾驶系统控制权信息值作为输出标签的数据完成控制权计算神经网络的训练。