CN115092162A - 基于人机共驾的安全控制方法及系统 - Google Patents

Abstract

本发明提供一种基于人机共驾的安全控制方法及系统，其中，基于人机共驾的安全控制方法应用在车端，包括：从云端获取驾驶员的状态数据，状态数据包括历史睡眠数据以及实时心率数据；根据状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。本发明能够结合驾驶员的历史睡眠数据、实时心率数据以及车辆上环境信息、车辆信息、车内驾驶员状态信息来生成安全控制指令，除了可以告知驾驶员此时发生了什么，需要驾驶员立刻做什么之外，还能对驾驶员的作业状态进行实时监测，保证驾驶员在接管驾驶权时处于安全状态，从而提高安全性。

Description

基于人机共驾的安全控制方法及系统

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种基于人机共驾的安全控制方法及系统。

背景技术

随着国内外汽车自动驾驶技术的发展，我国自动驾驶水平处于L2+级别(共有L0-L5级别，其中L0为最低等级，L5为最高等级)，而在自动驾驶L4级别真正到来之前，L2～L3水平下的车辆仍需要司机与车辆共驾完成自动驾驶任务状态。在L2+级别的自动驾驶过程中，司机必须时刻保持驾驶注意力，不得做与驾驶无关的事情，其本质是人类驾驶，无论自动驾驶功能多精准，全程驾驶责任方均为人类驾驶员。而在L3级别的自动驾驶中，驾驶员可以做与驾驶无关的事情；但是，当自动驾驶系统需要司机支援时，司机必须恢复人工驾驶接管车辆。

在自动驾驶系统请求人类接管时，自动驾驶系统在瞬时退出，这也意味着司机此时如果不接管车辆，导致车辆失控发生事故。而如何最大程度保障在自动驾驶系统瞬时退出后司机和车辆的安全是亟需解决的问题。目前可以从如下几方面入手：一、靠司机自觉，注意力时刻保持，以便随时准备接管；二、利用车辆退出自动驾驶系统时的降级策略，例如减速并保持车道居中控制等，从而将风险影响降到最小；三、提前预判风险发生的事件点或时间段，将风控数据入参并反馈给自动驾驶系统，使得自动驾驶系统更好地做出决策与提前干预。对于第三点，目前市场量产自动驾驶产品还未触及，核心原因是乘用车与商用车场景差异。

针对第三点，目前市场量产自动驾驶产品还未触及，核心原因是乘用车与商用车场景差异。乘用车自动驾驶使用场景频率不确定，使用时长不确定，设定需要依据用户喜好；而在商用车领域，自动驾驶技术将赋能与特定场景(例如：干线物流、矿区、封闭港区等)的持续性作业，每天每车自动驾驶的使用时段基本在20小时以上，在此场景下，可以利用司机作业前、作业中的实时状态数据对自动驾驶风险进行预判及提前管控，但是靠车端的环境感知能力、车辆信息、车内驾驶员状态作为信息输入，所生成的安全控制侧重于针对车辆周围环境中潜在的危险进行安全告警，而忽略驾驶员本身所存在的疲劳驾驶等潜在危险，故生成的安全控制指令不够精准，安全性有待提高。

发明内容

本发明提供一种基于人机共驾的安全控制方法及系统，用以解决上述问题。

本发明提供一种基于人机共驾的安全控制方法，该基于人机共驾的安全控制方法应用在车端，包括：

从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；

根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

根据本发明提供的一种基于人机共驾的安全控制方法，该方法还包括：从云端接收对驾驶状态为轻度异常的驾驶员进行安全告警的一级安全控制指令，并将所述一级安全控制指令复写所述车端安全控制指令，形成新的车端安全控制指令，并基于所述新的车端安全控制指令控制所述车辆并对驾驶员发出安全告警。

根据本发明提供的一种基于人机共驾的安全控制方法，该方法还包括：

从云端接收对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令，并对驾驶员进行控制性告警。

根据本发明提供的一种基于人机共驾的安全控制方法，该方法还包括：

在所述车端安全控制指令是在驾驶员根据二级安全控制指令进行控制性告警之后生成时，

从云端接收三级安全控制指令，生成车辆应急控制指令以及远程报备指令，以实现对驾驶员的干预升级告警；其中，所述车辆应急控制指令用于控制车辆减速、车道居中以及车灯双闪，所述远程报备指令用于利用远程电话进行云端报备。

本发明还提供一种基于人机共驾的安全控制方法，该基于人机共驾的安全控制方法应用在云端，包括：

获取驾驶者的历史睡眠数据；

获取驾驶者的实时心率数据；

根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

根据本发明提供的一种基于人机共驾的安全控制方法，所述云端安全控制指令包括用于对驾驶状态为轻度异常的驾驶员进行安全告警的一级安全控制指令、用于对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令以及用于对驾驶状态为重度异常的驾驶员进行安全告警的三级安全控制指令。

根据本发明提供的一种基于人机共驾的安全控制方法，在所述云端安全控制指令为用于对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令的情况下，

基于所述二级安全控制指令生成驾驶员状态异常观察提示，该驾驶员状态异常观察提示用于提示云端管理人员通过驾驶员状态监控系统观察所述驾驶员是否出现持续状态异常；

在根据所述驾驶员状态异常观察提示确认所述驾驶员出现持续状态异常后，生成远程车控指令并发送至车端，以使得车端根据所述远程车控指令控制所述车辆并对驾驶员实现远程控制告警。

根据本发明提供的一种基于人机共驾的安全控制方法，所述历史睡眠数据包括入睡时间、深睡时长、浅睡时长、快速眼动时长、清醒时长以及睡眠结束时间；

所述实时心率数据包括最大瞬时心率、最低瞬时心率以及平均心率；

相应地，所述根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，包括：

根据所述入睡时间、所述深睡时长、所述浅睡时长、所述快速眼动时长、所述清醒时长、所述睡眠结束时间以及对应的权重信息计算得到睡眠质量评分；并根据所述入睡时间以及睡眠结束时间获取睡眠总时长；

根据所述睡眠质量评分以及所述睡眠总时长确定所述驾驶员的驾驶状态异常等级，并根据所述驾驶状态异常等级生成对应的云端安全控制指令；或

根据预定时间内的最大瞬时心率、最低瞬时心率以及平均心率以及对应的心率异常阈值来判断驾驶员心率是否异常，并在异常的情况下生成对应的云端安全控制指令。

根据本发明提供的一种基于人机共驾的安全控制方法，方法还包括：

将所述历史睡眠数据输入预先训练好的驾驶员疲劳等级预测模型得到驾驶员的疲劳等级，并根据所述疲劳等级对驾驶员进行驾驶提醒。

本发明还提供一种基于人机共驾的安全控制系统，该基于人机共驾的安全控制系统应用在车端，包括：

状态数据获取模块，用于从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；

车端安全控制指令生成模块，用于根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

本发明还提供一种基于人机共驾的安全控制系统，该基于人机共驾的安全控制系统应用在云端，包括：

睡眠数据获取模块，用于获取驾驶者的历史睡眠数据；

心率数据获取模块，用于获取驾驶者的实时心率数据；

云端安全控制指令生成模块，用于根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一所述基于人机共驾的安全控制方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一基于人机共驾的安全控制方法。

本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一基于人机共驾的安全控制方法。

本发明提供的基于人机共驾的安全控制方法及系统，其中，应用在车端的基于人机共驾的安全控制方法通过结合驾驶员的历史睡眠数据、实时心率数据以及车辆上环境信息、车辆信息、车内驾驶员状态信息来生成安全控制指令，除了可以告知驾驶员此时发生了什么，需要驾驶员立刻做什么之外，还能对驾驶员的作业状态进行实时监测，保证驾驶员在接管驾驶权时处于安全状态，从而提高安全性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的应用在车端的基于人机共驾的安全控制方法的流程示意图；

图2是本发明实施例提供的一级安全控制指令的实现示意图；

图3是本发明实施例提供的三级安全控制指令的实现示意图；

图4是本发明实施例提供的应用在云端的基于人机共驾的安全控制方法的流程示意图；

图5是本发明实施例提供的二级安全控制指令的实现示意图；

图6是本发明实施例提供的历史睡眠数据构成的示意图；

图7为本发明实施例提供的用于车端的基于人机共驾的安全控制系统的结构示意图；

图8为本发明实施例提供的用于云端的基于人机共驾的安全控制系统的结构示意图；

图9为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中，安全控制指令在自动驾驶进入安全回退模式时所生成的用于对驾驶员进行安全告警的控制指令，其中，安全回退是指从自动驾驶模式回退到人工驾驶模式，在切换之前需要对驾驶员进行必要的提示，从而保证整个驾驶过程中的安全性。现有的基于人机共驾的安全控制指令均是基于车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成，注重于车辆内感知到的外在危险(例如追尾、撞人等)，而在驾驶员存在的危险仅通过驾驶员状态监控系统监测得到，下面具体介绍本发明中的基于人机共驾的安全控制指令如何生成。

图1是本发明实施例提供的应用在车端的基于人机共驾的安全控制方法的流程示意图；如图1所示，应用在车端的基于人机共驾的安全控制方法，包括：

步骤S101，从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据。

在本步骤中，驾驶员的状态数据通过驾驶员佩戴的智能手表采集得到，采集到的状态数据通过智能手表上传至云端，云端对各个驾驶员的状态数据进行存储，构成健康数据池。

具体地，历史睡眠数据是驾驶员在睡眠过程中佩戴智能手表所采集得到，其具体记录了驾驶员的入睡时间、深睡时长、浅睡时长、快速眼动时长(简称REM)、清醒时长以及睡眠结束时间。上述前T

天的历史睡眠数据可以用于生成第T+1天的安全控制指令，如果驾驶员前一天的睡眠质量不好，则当天驾驶员出现疲劳驾驶的可能性比较大，在此情景下，对驾驶员通过人机交互来实现干预，提升驾驶作业的安全性。

实时心率数据是通过智能手表采集的驾驶员的心率波动变化数据，其主要采集的是驾驶员在驾驶作业期间的心率变化，从心率变化可以甄别驾驶员的瞬时健康状态，可以用于生成当前的安全控制指令。

步骤S102，根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

在本步骤中，车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息是指通过车舱内各种传感器获取。其中，环境信息包括摄像头、毫米波雷达以及激光雷达感知到的数据，以及内部存储的高精地图数据；车辆信息包括利用惯性导航(即IMU)获取得到的车辆的三轴姿态角以及加速度，以及全球导航卫星系统(即GNSS)获取得到的车辆位置信息等等与车辆状态相关的数据；车内驾驶员状态信息包括通过驾驶员状态监控系统(即DMS)监测到的数据、座椅压力、安全带状态等数据。

根据上述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成对应的安全控制指令。例如，在DMS系统监测到驾驶员出现疲劳驾驶或者环境异常时，会触发文字显示、TTS(全称“Text To Speech”)语音、座椅震动以及安全带勒紧4个用户触点。同时，根据环境异常等级或驾驶员状态异常等级(均相应有3个等级)，车端安全控制指令分为1.语音控制+文字控制、2.语音控制+文字控制+座椅震动控制、3.语音控制+文字控制+座椅震动控制+安全带勒紧控制三种。

其中，当环境异常等级或驾驶员状态异常等级均较低时，车端安全控制指令为1.语音控制+文字控制，即通过语音播报以及文字提示来对驾驶员进行环境异常或驾驶员状态异常的提示。当环境异常等级或驾驶员状态异常等级处于中等时，车端安全控制指令为2.语音控制+文字控制+座椅震动控制，其在1.语音控制+文字控制的基础上增加了座椅震动控制，通过震动座椅来强化对驾驶员的提醒，驾驶了本次人机交互，有力预警。当环境异常等级或驾驶员状态异常等级处于最高等级时，车端安全控制指令为3.语音控制+文字控制+座椅震动控制+安全带勒紧控制，其是2.语音控制+文字控制+座椅震动控制的升级，通过控制安全带的勒放来对驾驶员进行进一步地安全提醒。

本发明实施例提供的基于人机共驾的安全控制方法，通过历史睡眠数据关注驾驶员的睡眠质量，通过实时心率数据关注驾驶员在驾驶作业中的心率变化，结合车舱内监测得到的驾驶员状态信息从而更加准确地判断出驾驶员在驾驶过程中的健康状态，使得生成的安全控制指令不仅关注到车外所产生的危险，还能及时监测到驾驶员所存在的潜在危险，提升人机共驾的安全性。

进一步地，该方法还包括：从云端接收对驾驶状态为轻度异常的驾驶员进行安全告警的一级安全控制指令，并将所述一级安全控制指令复写所述车端安全控制指令，形成新的车端安全控制指令，并基于所述新的车端安全控制指令控制所述车辆并对驾驶员发出安全告警。

其中，云端生成的云端安全控制指令分为一级安全控制指令、二级安全控制指令以及三级安全控制指令。一级安全控制指令是在驾驶员的驾驶状态轻度异常下生成，例如，司机驾驶习惯不佳、睡眠质量稍微异常、心率轻微异常等，上述情境下，驾驶危险较小，只需要对驾驶员进行安全告警提示就能消除驾驶员所带来的隐患。

二级安全控制指令则是一级安全控制指令的升级，车端所产生的安全告警提示已对驾驶员无法生效，需要云端的管理人员对车辆进行车辆控制来实现强有力的告警提示。

三级安全控制指令则是在驾驶员无法接管驾驶权的状态下生成，是最高级的干预告警。

根据上述不同级别的云端安全控制指令，对车端的控制方式也不相同。

图2是本发明实施例提供的一级安全控制指令的实现示意图；如图2所示，在云端生成的云端安全控制指令为一级安全控制指令时，云端会直接将一级安全控制指令发送至车端，车端在接收到一级安全控制指令之后，利用一级安全控制指令覆盖车端所生成的车端安全控制指令。

另外，在车端中安全控制指令有对应的默认配置，该默认配置包括座舱内大屏上显示安全告警文字、通过语音播报系统TTS进行语音提示、如何调整座椅以及安全带等，从而实现人机交互，对驾驶员进行干预提示，保证自动驾驶的安全性。上述默认配置会根据状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息动态调整，从而得到安全控制指令，例如，默认配置中座椅震动的频率为中，强度为中；基于状态数据以及车端感知模块获取的信息所生成的安全控制指令中座椅震动的频率为低，强度为中。

而在车端接收到一级安全控制指令之后，车端在本次驾驶周期中以一级安全控制指令作为最新的安全控制指令，对驾驶员进行干预提示。例如，车端中的安全控制指令中的座椅震动为低频率低，中强度，预紧安全带次数为勒放2次；一级安全控制指令中的座椅震动为高频率，高强度，预紧安全带次数为勒放3次。一级安全控制指令中人机交互措施相较于车端的安全控制指令中的人机交互措施幅度更大，更能引起驾驶员的注意。

需要说明的是，一级安全控制指令的复写只在本次驾驶周期中生效，也即在本次用车周期结束后，车辆重新上下电启动，恢复默认配置。

根据本发明实施例提供的基于人机共驾的安全控制方法，可以在司机驾驶习惯不佳、历史睡眠数据不佳或心率异常时，通过云端生成的一级安全控制指令复写车端生成的安全控制指令来实现高强度的人机互动，提醒驾驶员提高注意力准备进入人类驾驶模式，保证驾驶作业的安全性。

进一步地，该方法还包括：从云端接收对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令，并对驾驶员进行控制性告警。

在云端生成的云端安全控制指令为二级安全控制指令时，云端会先提醒云端管理员对驾驶员的驾驶状态进行确认，如是确认结果也是为中度异常，则云端管理员会通过云端对车辆触发“一键震动”(即远程车控指令)对车辆进行远程控制。从而实现对驾驶员进行体感上的强制交互(例如，控制座椅震动、勒放安全带等)，并告知驾驶员原因(例如，驾驶员当前属于疲劳驾驶或是进行了违规操作等)，以及提示驾驶员应该采取如何措施。

根据本发明实施例提供的基于人机共驾的安全控制方法，可以在驾驶员疲劳驾驶、违规操作时，通过云端生成的二级安全控制指令对车辆进行远程控制，对驾驶员进行强制体感交互，从而提升自动驾驶的安全性。

进一步地，该方法还包括：在所述车端安全控制指令是在驾驶员根据二级安全控制指令进行控制性告警之后生成时，从云端接收三级安全控制指令，生成车辆应急控制指令以及远程报备指令，以实现对驾驶员的干预升级告警；其中，所述车辆应急控制指令用于控制车辆减速、车道居中以及车灯双闪，所述远程报备指令用于利用远程电话进行云端报备。

在本实施例中，由于三级安全控制指令是最高级的干预告警，且其对应的干预措施对驾驶作业的影响最大，因此，在对车辆发送控制指令之前，需要云端管理人员进行研判，结合三级安全控制指令才确定对车辆采取与三级安全控制指令对应的干预措施。

图3是本发明实施例提供的三级安全控制指令的实现示意图；如图3所示，云端生成的云端安全控制指令为三级安全控制指令时，云端将该三级安全控制指令发送至车端。同时，车端在根据二级安全控制指令对车辆进行相应控制之后，云端管理人员会通过座舱内DMS监测系统对相关驾驶员进行持续观察，若是该驾驶员的健康状态仍旧异常，没有得到改善(如，仍然困倦或昏睡等)，此时，车端会生成新的车端安全控制指令。若是该驾驶员的健康状态得到改善，DMS监测系统还是对相关驾驶员继续进行监控，以防驾驶员在后续驾驶时间内出现异常。

在满足上述两个条件之后，车端根据三级安全控制指令触发对应的车辆控制措施，具体车辆控制措施包括车辆应急控制指令以及远程报备指令。其中，车辆应急控制指令用于控制车辆减速、车道居中以及车灯双闪，从而让驾驶员与车辆处于最小风险范围内。所述远程报备指令用于利用RTC远程电话进行云端报备，从而提醒云端管理人员对车辆与驾驶员进行相应处理。

根据本发明实施例提供的基于人机共驾的安全控制方法，可以在驾驶员经过安全告警后仍然困倦或昏睡时，通过云端生成的三级安全控制指令以及车端生成的安全控制指令来对车辆进行控制，从而保证驾驶员与车辆的安全。

图4是本发明实施例提供的应用在云端的基于人机共驾的安全控制方法的流程示意图；如图4所示，应用在云端的基于人机共驾的安全控制方法，包括：

步骤S401，获取驾驶者的历史睡眠数据。

在本步骤中，历史睡眠数据即为上述车端从云端所获得的历史睡眠数据，其通过智能手表采集得到，并通过智能手表传输至云端，用于存储与分析，该历史睡眠数据能够睡眠质量，睡眠指令又与驾驶员在驾驶作业中的工作状态息息相关，基于历史睡眠数据能够预测驾驶员在安全回退过程中是否做好了切换成人类驾驶的准备。

步骤S402，获取驾驶者的实时心率数据。

在本步骤中，实时心率数据即为上述车端从云端所获得的实时心率数据，该实时心率数据能够实时显示驾驶员在驾驶作业过程中的心率变化，在心率超过预警值时，则说明驾驶员当前的健康状态堪忧，需要进行相应地干预，保证人车安全。

步骤S403，根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

在本步骤中，根据历史睡眠数据以及实时心率数据来评估驾驶员的健康状态，确定其所属等级，根据确定的等级生成对应的云端安全控制指令。

具体地，从历史睡眠数据中获取睡眠总时长，并基于历史睡眠数据对驾驶员的睡眠质量进行评分，基于睡眠总时长以及睡眠质量的评分确定驾驶员的健康状态。

在本实施例中，当睡眠总时长∈[4h，5h)且评分∈[55，65)时，判定驾驶员的健康状态处于轻度异常，云端对应生成一级安全控制指令，需要通过加强车端安全控制指令对应的交互力度来实时有效地提醒驾驶员。当睡眠总时长∈[3h，4h)且评分∈[40，55)时，判定驾驶员的健康状态处于中度异常，云端对应生成二级安全控制指令，需要云端管理员对车辆进行远程控制，通过一键震动按钮来震动整个车辆，从而对疲劳的驾驶员进行更有力的安全告警。当睡眠总时长小于3h且评分小于40时，判定驾驶员的健康状态处于重度异常，云端对应生成三级安全控制指令，此时，驾驶员不适合进行驾驶作业，需要通过车端的DMS监测系统实时监测驾驶员状态，并在车端也生成安全控制指令的情况下，触发车辆应急控制指令以及远程报备指令，从而对车辆进行接管，避免安全事故。在本发明的其他实施例中，轻度异常、中度异常以及重度异常所对应的睡眠总时长区间以及评分区间根据实际情况或者需求调整，本发明对此不做限定。

另外，当计算得到的睡眠总时长以及评分均不在上述区间内，则说明驾驶员的驾驶状态正常，能够正常进行驾驶作业。

除此之外，实时心率数据则用来实时判定驾驶员的健康状态能否进行驾驶作业，例如，通过实时心率数据能够反映驾驶员是否出现心率早搏、心跳急剧加速的等异常情况，在出现上述心率异常情况下，云端系统将该心率异常信息发送至车端，触发车端安全控制指令的生成，通过3.语音控制+文字控制+座椅震动控制+安全带勒紧控制方式对驾驶员进行强有力地告警。同时，驾驶员佩戴的手表会触发心率异常告警。另外，云端会向管理人员发出驾驶员心率异常提示，从而提醒管理人员联系驾驶员进行状态问询，保证驾驶员在异常情况下能及时得到救助。

需要说明的是，云端安全控制指令与上述车端所生成的安全控制指令具体内容并不相同，云端安全控制指令注重于对驾驶员的安全驾驶提醒，而车端所生成的安全控制指令还包括车辆外部所带来的安全隐患，例如追尾等意外事故。

本发明实施例提供的基于人机共驾的安全控制方法，根据驾驶员的历史睡眠数据与实时心率数据对驾驶员当前的健康状态进行评估，根据评估结果生成对应的云端安全控制指令，不同的云端安全控制指令对应有不同的安全告警措施，从而提升自动驾驶的安全性。

进一步地，所述云端安全控制指令包括用于对驾驶状态为轻度异常的驾驶员进行安全告警的一级安全控制指令、用于对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令以及用于对驾驶状态为重度异常的驾驶员进行安全告警的三级安全控制指令。

本实施例中的云端安全控制指令按照驾驶员的驾驶状态的异常程度共分为三个级别，分别为一级安全控制指令、二级安全控制指令以及三级安全控制指令。在本发明的其他实施例中，云端安全控制指令也可以根据实际需要分成更多类别，且基于具体场景的不同，所生成的干预措施也可以进行适应性地调整，本发明对此不做限定。

进一步地，在所述云端安全控制指令为用于对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令的情况下，基于所述二级安全控制指令生成驾驶员状态异常观察提示，该驾驶员状态异常观察提示用于提示云端管理人员通过驾驶员状态监控系统观察所述驾驶员是否出现持续状态异常。

在根据所述驾驶员状态异常观察提示确认所述驾驶员出现持续状态异常后，生成远程车控指令并发送至车端，以使得车端根据所述远程车控指令控制所述车辆并对驾驶员实现远程控制告警。

图5是本发明实施例提供的二级安全控制指令的实现示意图。

如图5所示，在云端生成的安全控制指令属于二级安全控制指令时，云端生成驾驶员状态异常观察提示，并向云端管理人员进行预警提示，云端管理人员会对对应的驾驶员的健康状态进行持续观察，若持续性观察后发现驾驶员的健康状态一直不佳，则云端管理人员在云端触发“一键震动”(即远程车控指令)对车辆进行远程控制，从而实现对驾驶员进行体感上的强制交互(例如，控制座椅震动、勒放安全带等)，并告知驾驶员原因(例如，驾驶员当前属于疲劳驾驶或是进行了违规操作等)，以及提示驾驶员应该采取如何措施。

需要说明的是，车端的DMS监测系统会将车舱内的监控视频上传至云端，云端管理人员通过监控视频能够持续观察出现问题的驾驶员。DMS监测系统在驾驶员出现异常时会生成驾驶员状态异常观察提示用以对云端管理人员提示确认，云端管理人员在确认之后，再触发“一键震动”对车辆发出远程车控指令。

根据本发明实施例提供的基于人机共驾的安全控制方法，可以在驾驶员疲劳驾驶、违规操作时，通过云端生成的二级安全控制指令对车辆进行远程控制，对驾驶员进行强制体感交互，从而提升自动驾驶的安全性。

进一步地，所述历史睡眠数据包括入睡时间、深睡时长、浅睡时长、快速眼动时长、清醒时长以及睡眠结束时间；所述实时心率数据包括最大瞬时心率、最低瞬时心率以及平均心率。

相应地，所述根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，包括：

根据所述入睡时间、所述深睡时长、所述浅睡时长、所述快速眼动时长、所述清醒时长、所述睡眠结束时间以及对应的权重信息计算得到睡眠质量评分；并根据所述入睡时间以及睡眠结束时间获取睡眠总时长。

根据所述睡眠质量评分以及所述睡眠总时长确定所述驾驶员的驾驶状态异常等级，并根据所述驾驶状态异常等级生成对应的云端安全控制指令；或根据预定时间内的最大瞬时心率、最低瞬时心率以及平均心率以及对应的心率异常阈值来判断驾驶员心率是否异常，并在异常的情况下生成对应的云端安全控制指令。

图6是本发明实施例提供的历史睡眠数据构成的示意图。

如图6所示，深睡时长、浅睡时长、快速眼动时长以及清醒时长属于睡眠时间，深睡时长、浅睡时长、快速眼动时长以及清醒时长对应的权重系数为A、B、C以及D；而入睡时间、睡眠时间以及睡眠结束时间对应的权重系数为T1、T2以及T3，则睡眠质量评分＝T1*入睡时间+T2*(A*深睡时长+B*浅睡时长+C*快速眼动时长+D*清醒时长)+T3*睡眠结束时间。

除了计算睡眠质量评分之外，还需要根据入睡时间以及睡眠结束时间计算睡眠总时长，进而判断睡眠质量评分以及睡眠总时长属于上述轻度异常、中度异常以及重度异常三种中的哪一种，根据不同的异常程度生成不同等级的云端安全控制指令。

另外，预定时间内的最大瞬时心率、最低瞬时心率以及平均心率确定驾驶员心率是否处于异常状态，例如：驾驶员坐着状态下最大瞬时心率在30秒内一直超过预设的最大心率阈值时，则判定异常；又或者判断预定时间内最低瞬时心率是否低于预设的最小心率阈值，在低于时判定为异常；或是判断预定时间内平均心率是否超过预设的平均心率阈值，在超过时，判定为心率异常。

在判定异常的情况下，云端生成的安全控制指令具体分为三种用途，第一是发送至驾驶员佩戴的手表，在手表上触发告警事件，通过震动的方式提示司机；第二是发送至车端，复写车端的安全控制指令，加强交互程度，车端还会根据接收到的云端安全控制指令进行减速停车等安全举措；第三是云端在生成安全控制指令之后会再生成驾驶员心率异常提示，用以对管理员进行提示，便于管理员对司机的身体状况进行确认，以免发生意外。

根据本发明实施例提供的基于人机共驾的安全控制方法，通过对历史睡眠数据以及实时心率数据进行分析，从而确定驾驶员的健康状态，对驾驶作业中驾驶员潜在的危险进行准确预测。

进一步地，方法还包括：将所述历史睡眠数据输入预先训练好的驾驶员疲劳等级预测模型得到驾驶员的疲劳等级，并根据所述疲劳等级对驾驶员进行驾驶提醒。

其中，疲劳等级分为目前有轻度疲劳和重度疲劳。当驾驶员疲劳等级预测模型预测得到轻度疲劳时，车端会通过语音播报以及文字提示的方式来提醒，并且，在车辆的驾驶状态为自动驾驶时，如果轻度疲劳的驾驶员在经过语音播报以及文字提示后没有改善疲劳驾驶状态，车端会升级告警，如增加座椅震动、安全带勒放等交互措施。当驾驶员疲劳等级预测模型预测得到重度疲劳时，车端直接采用最强烈的3.语音控制+文字控制+座椅震动控制+安全带勒紧控制来提示驾驶员车辆即将由自动驾驶状态回退到人工驾驶状态，需要保持清醒。

在本实施例中，驾驶员进行当天的驾驶作业前，云端会预先通过预先训练好的驾驶员疲劳等级预测模型对驾驶员的疲劳等级进行预测，根据疲劳等级对驾驶员进行对应的驾驶作业提醒。例如，预测得到驾驶员过于疲劳，在驾驶员开始当天的驾驶作业时提醒驾驶员今日不适合进行驾驶作业，需要换班等。

需要说明的是，预先训练好的驾驶员疲劳等级预测模型基于第K天的历史睡眠数据以及第K+1天的驾驶作业数据训练得到。其中，第K+1天的驾驶作业数据通过座舱内的DMS监控系统获取，通过机器学习以及统计学来确定第K+1天的驾驶作业数据中出现的疲劳事件与第K天的历史睡眠数据之间的关系。具体地，通过上述睡眠质量评分计算方式计算得到第K天的历史睡眠数据的睡眠质量评分P，并从第K+1天的驾驶作业数据中共提取疲劳事件发生的时间分布点Q以及疲劳事件的等级R，通过机器学习以及统计学获取睡眠质量评分P与疲劳事件发生的时间分布点Q以及疲劳事件的等级R之间的关系，从而使得预先训练好的驾驶员疲劳等级预测模型能够基于历史睡眠数据预测得到驾驶员当天的疲劳等级以及疲劳发生的时间，从而对驾驶员提前进行安全告警。

根据本发明实施例提供的基于人机共驾的安全控制方法，通过利用预先训练好的驾驶员疲劳等级预测模型对驾驶员进行疲劳等级预测，并根据预测结果对驾驶员提前进行安全告警，从而做到提前拦截可能发生的风险。

下面对本发明提供的基于人机共驾的安全控制系统进行描述，下文描述的基于人机共驾的安全控制方法基于上文描述的基于人机共驾的安全控制系统实现。

图7为本发明实施例提供的用于车端的基于人机共驾的安全控制系统的结构示意图，如图7所示，一种用于车端的基于人机共驾的安全控制系统，包括：

状态数据获取模块701，用于从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据。

在本模块中，驾驶员的状态数据通过驾驶员佩戴的智能手表采集得到，采集到的状态数据通过智能手表上传至云端，云端对各个驾驶员的状态数据进行存储，构成健康数据池。

具体地，历史睡眠数据是驾驶员在睡眠过程中佩戴智能手表所采集得到，其具体记录了驾驶员的入睡时间、深睡时长、浅睡时长、快速眼动时长、清醒时长以及睡眠结束时间。上述前T天的历史睡眠数据可以用于生成第T+1天的安全控制指令，如果驾驶员前一天的睡眠质量不好，则当天驾驶员出现疲劳驾驶的可能性比较大，在此情景下，对驾驶员通过人机交互来实现干预，提升驾驶作业的安全性。

实时心率数据是通过智能手表采集的驾驶员的心率波动变化数据，其主要采集的是驾驶员在驾驶作业期间的心率变化，从心率变化可以甄别驾驶员的瞬时健康状态，可以用于生成当前的安全控制指令。

车端安全控制指令生成模块702，用于根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

在本模块中，车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息是指通过车舱内各种传感器获取。其中，环境信息包括摄像头、毫米波雷达以及激光雷达感知到的数据，以及内部存储的高精地图数据；车辆信息包括利用惯性导航IMU获取得到的车辆的三轴姿态角以及加速度，以及全球导航卫星系统GNSS获取得到的车辆位置信息等等与车辆状态相关的数据；车内驾驶员状态信息包括通过驾驶员状态监控系统DMS监测到的数据、座椅压力、安全带状态等数据。

根据上述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成对应的安全控制指令。例如，在DMS系统监测到驾驶员出现疲劳驾驶时，安全控制指令为控制座椅振动以及勒放安全带，用以提醒驾驶员等。

本发明实施例提供的用于车端的基于人机共驾的安全控制系统，通过历史睡眠数据关注驾驶员的睡眠质量，通过实时心率数据关注驾驶员在驾驶作业中的心率变化，结合车舱内监测得到的驾驶员状态信息从而更加准确地判断出驾驶员在驾驶过程中的健康状态，使得生成的安全控制指令不仅关注到车外所产生的危险，还能及时监测到驾驶员所存在的潜在危险，提升人机共驾的安全性。

图8为本发明实施例提供的用于云端的基于人机共驾的安全控制系统的结构示意图，如图8所示，一种用于云端的基于人机共驾的安全控制系统，包括：

睡眠数据获取模块801，用于获取驾驶者的历史睡眠数据。

在本模块中，历史睡眠数据即为上述车端从云端所获得的历史睡眠数据，其通过智能手表采集得到，并通过智能手表传输至云端，用于存储与分析，该历史睡眠数据能够睡眠质量，睡眠指令又与驾驶员在驾驶作业中的工作状态息息相关，基于历史睡眠数据能够预测驾驶员在安全回退过程中是否做好了切换成人类驾驶的准备。

心率数据获取模块802，用于获取驾驶者的实时心率数据。

在本模块中，实时心率数据即为上述车端从云端所获得的实时心率数据，该实时心率数据能够实时显示驾驶员在驾驶作业过程中的心率变化，在心率超过预警值时，则说明驾驶员当前的健康状态堪忧，需要进行相应地干预，保证人车安全。

云端安全控制指令生成模块803，用于根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

在本模块中，根据历史睡眠数据以及实时心率数据来评估驾驶员的健康状态，确定其所属等级，根据确定的等级生成对应的云端安全控制指令，例如：

需要说明的是，云端安全控制指令与上述车端所生成的安全控制指令具体内容并不相同，云端安全控制指令注重于对驾驶员的安全驾驶提醒，而车端所生成的安全控制指令还包括车辆外部所带来的安全隐患，例如追尾等意外事故。

其中，云端生成的云端安全控制指令分为一级安全控制指令、二级安全控制指令以及三级安全控制指令。一级安全控制指令是在驾驶员的驾驶状态轻度异常下生成，例如，司机驾驶习惯不佳、睡眠质量稍微异常、心率轻微异常等，上述情境下，驾驶危险较小，只需要对驾驶员进行安全告警提示就能消除驾驶员所带来的隐患。

二级安全控制指令则是一级安全控制指令的升级，车端所产生的安全告警提示已对驾驶员无法生效，需要云端的管理人员对车辆进行车辆控制来实现强有力的告警提示。

三级安全控制指令则是在驾驶员无法接管驾驶权的状态下生成，是最高级的干预告警。

根据上述不同级别的云端安全控制指令，对车端的控制方式也不相同。

本发明实施例提供的用于云端的基于人机共驾的安全控制系统，根据驾驶员的历史睡眠数据与实时心率数据对驾驶员当前的健康状态进行评估，根据评估结果生成对应的云端安全控制指令，不同的云端安全控制指令对应有不同的安全告警措施，从而提升自动驾驶的安全性。

图9为本发明实施例提供的一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行上述应用于车端的基于人机共驾的安全控制方法，该方法包括：从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

或者执行上述应用于云端的基于人机共驾的安全控制方法，该方法包括：获取驾驶者的历史睡眠数据；获取驾驶者的实时心率数据；根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read.Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述应用于车端的基于人机共驾的安全控制方法，该方法包括：从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

或者执行上述应用于云端的基于人机共驾的安全控制方法，该方法包括：获取驾驶者的历史睡眠数据；获取驾驶者的实时心率数据；根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述应用于车端的基于人机共驾的安全控制方法，该方法包括：从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

或者执行上述应用于云端的基于人机共驾的安全控制方法，该方法包括：获取驾驶者的历史睡眠数据；获取驾驶者的实时心率数据；根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种基于人机共驾的安全控制方法，其特征在于，该基于人机共驾的安全控制方法应用在车端，包括：

从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；

根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

2.根据权利要求1所述的一种基于人机共驾的安全控制方法，其特征在于，该方法还包括：

从云端接收对驾驶状态为轻度异常的驾驶员进行安全告警的一级安全控制指令，并将所述一级安全控制指令复写所述车端安全控制指令，形成新的车端安全控制指令，并基于所述新的车端安全控制指令控制所述车辆并对驾驶员发出安全告警。

3.根据权利要求1所述的一种基于人机共驾的安全控制方法，其特征在于，该方法还包括：

从云端接收对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令，并对驾驶员进行控制性告警。

4.根据权利要求3所述的一种基于人机共驾的安全控制方法，其特征在于，该方法还包括：

在所述车端安全控制指令是在驾驶员根据二级安全控制指令进行控制性告警之后生成时，

从云端接收三级安全控制指令，生成车辆应急控制指令以及远程报备指令，以实现对驾驶员的干预升级告警；其中，所述车辆应急控制指令用于控制车辆减速、车道居中以及车灯双闪，所述远程报备指令用于利用远程电话进行云端报备。

5.一种基于人机共驾的安全控制方法，其特征在于，该基于人机共驾的安全控制方法应用在云端，包括：

获取驾驶者的历史睡眠数据；

获取驾驶者的实时心率数据；

根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

6.根据权利要求5所述的基于人机共驾的安全控制方法，其特征在于，所述云端安全控制指令包括用于对驾驶状态为轻度异常的驾驶员进行安全告警的一级安全控制指令、用于对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令以及用于对驾驶状态为重度异常的驾驶员进行安全告警的三级安全控制指令。

7.根据权利要求5所述的基于人机共驾的安全控制方法，其特征在于，在所述云端安全控制指令为用于对驾驶状态为中度异常的驾驶员进行安全告警的二级安全控制指令的情况下，

基于所述二级安全控制指令生成驾驶员状态异常观察提示，该驾驶员状态异常观察提示用于提示云端管理人员通过驾驶员状态监控系统观察所述驾驶员是否出现持续状态异常；

在根据所述驾驶员状态异常观察提示确认所述驾驶员出现持续状态异常后，生成远程车控指令并发送至车端，以使得车端根据所述远程车控指令控制所述车辆并对驾驶员实现远程控制告警。

8.根据权利要求5所述的基于人机共驾的安全控制方法，其特征在于，所述历史睡眠数据包括入睡时间、深睡时长、浅睡时长、快速眼动时长、清醒时长以及睡眠结束时间；

所述实时心率数据包括最大瞬时心率、最低瞬时心率以及平均心率；

相应地，所述根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，包括：

根据所述入睡时间、所述深睡时长、所述浅睡时长、所述快速眼动时长、所述清醒时长、所述睡眠结束时间以及对应的权重信息计算得到睡眠质量评分；并根据所述入睡时间以及睡眠结束时间获取睡眠总时长；

根据所述睡眠质量评分以及所述睡眠总时长确定所述驾驶员的驾驶状态异常等级，并根据所述驾驶状态异常等级生成对应的云端安全控制指令；或

根据预定时间内的最大瞬时心率、最低瞬时心率以及平均心率以及对应的心率异常阈值来判断驾驶员心率是否异常，并在异常的情况下生成对应的云端安全控制指令。

9.根据权利要求5-8任一所述的基于人机共驾的安全控制方法，其特征在于，方法还包括：

将所述历史睡眠数据输入预先训练好的驾驶员疲劳等级预测模型得到驾驶员的疲劳等级，并根据所述疲劳等级对驾驶员进行驾驶提醒。

10.一种基于人机共驾的安全控制系统，其特征在于，该基于人机共驾的安全控制系统应用在车端，包括：

状态数据获取模块，用于从云端获取驾驶员的状态数据，所述状态数据包括历史睡眠数据以及实时心率数据；

车端安全控制指令生成模块，用于根据所述状态数据以及车端感知模块获取的环境信息、车辆信息、车内驾驶员状态信息生成车端安全控制指令，用于控制车辆并对驾驶员进行安全告警。

11.一种基于人机共驾的安全控制系统，其特征在于，该基于人机共驾的安全控制系统应用在云端，包括：

睡眠数据获取模块，用于获取驾驶者的历史睡眠数据；

心率数据获取模块，用于获取驾驶者的实时心率数据；

云端安全控制指令生成模块，用于根据所述历史睡眠数据以及所述实时心率数据生成云端安全控制指令，所述云端安全控制指令被发送至车端，用于控制车辆并实现对驾驶员的安全告警。

12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4或5-9任一项所述基于人机共驾的安全控制方法。

13.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4或5-9任一项所述基于人机共驾的安全控制方法。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4或5-9任一项所述基于人机共驾的安全控制方法。

Images