CN111476139A - 基于联邦迁移学习的驾驶员行为云边协同学习系统 - Google Patents

Abstract

本发明涉及一种基于联邦迁移学习的驾驶员行为云边协同学习系统，包括AI云平台、智能车载终端、以及用于联邦迁移学习的深度神经网络系统等组成。深度神经网络系统包括车载端神经网络和平台端神经网络，可基于AI云平台及与其连接的多个车辆的智能车载终端，实现车载端神经网络与平台端神经网络之间非原始数据传递的联邦模型训练与学习迁移。本发明用于智能汽车驾驶员行为感知及意图理解，与现有技术相比，不仅解决了大规模车辆集群的驾驶员协同感知机器学习问题，同时保护了驾驶员隐私。

Description

基于联邦迁移学习的驾驶员行为云边协同学习系统

技术领域

本发明涉及一种智能汽车驾驶员行为感知及意图理解领域，尤其是涉及一种基于联邦迁移学习的驾驶员行为云边协同学习系统。

背景技术

随着汽车与人工智能、5G通讯、互联网、传感器技术等领域的快速融合，智能网联汽车已成为未来汽车技术发展的主要趋势，将深刻变革人类出行生活方式。国内外汽车集团、知名汽车技术研发巨头以及互联网、通讯、电子等领域的外部企业纷纷布局智能网联汽车产业，加快推进商用需求的转化落地。如园区物流、自动驾驶巴士、固定线路的高速公路的货运、网约无人驾驶出租车等商用场景正逐步推广实施，将激发千亿级的产业经济规模。与此同时，智能汽车与传统汽车混杂交通，人机共驾有人驾驶与无人驾驶模式切换等引发的技术难题、安全问题日益突出。未来智能汽车不仅要提升环境感知能力，还需要进一步提升对车内人类行人的感知与意图理解能力。

当前随着人工智能、5G、智能芯片、大数据、云计算等技术的不断成熟以及路、网、云等配套设施持续完善，智能座舱、智能互联、自动驾驶等核心技术产品在越来越多的车型上进行大规模应用推广，为完善人、车、路、网、云的未来智能交通架构奠定了良好的基础。

驾驶员的行为学习可以在诸如协同感知、协同决策、驾驶权分配等各方面有积极作用，随着智能汽车技术的发展，未来马路上可能要长时间存在传统汽车、无人汽车、人机共驾汽车混杂行驶的场景，导致一旦出现交通事故，很难界定是机器问题还是人为因素。驾驶员行为监控非常重要，但是目前存在因为驾驶员隐私问题的限制，无法获取大量原始图片进行学习训练。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于联邦迁移学习的驾驶员行为云边协同学习系统，解决了大规模驾驶员协同感知机器学习科学问题，同时避免了侵犯个人隐私的应用难题，适合在大规模网约车及物流车队运营开展驾驶员行为监控的应用推广。

本发明的目的可以通过以下技术方案来实现：

一种基于联邦迁移学习的驾驶员行为云边协同学习系统，包括智能车载终端和AI云平台，以及运行于智能车载终端和AI云平台上的神经网络系统，所述神经网络系统包括分别运行于智能车载终端和AI云平台上的车载端神经网络和平台端神经网络，且车载端神经网络的输出层与平台端神经网络的输入层连接；

所述AI云平台与多个智能车载终端连接，提供算力与存储服务，并采用加密无线传输机制实现车载端神经网络和平台端神经网络的联邦模型训练与学习迁移，同时AI云平台提供包含车辆与轨迹管理、远程诊断与监控在内的应用层服务；

所述智能车载终端包括：

驾驶员监控摄像头，采集含有驾驶员行为特征信息的原始图像，

边缘智能处理单元，与驾驶员监控摄像头连接，对所述原始图像进行图像数据预处理，并运行所述车载端神经网络进行驾驶员行为初学习，构建基于时域变化的驾驶员行为特征向量集合，

智能车载网关，与边缘智能处理单元和车载VCU连接，将驾驶员行为特征向量和车辆状态信息脱敏后连同车载端神经网络的训练权值上传至AI云平台，并接收由AI云平台返回的的训练权值以转发至边缘智能处理单元。

所述驾驶员特征信息包括人脸特征、头部运动、眼球运动和肢体运动，任一所述图像中含有人脸特征、头部运动、眼球运动和肢体运动中的任一或任意组合。

所述驾驶员行为特征向量为：

{F、E、H、B}

其中：F为驾驶员身份特征，至少包括性别、年龄、疲劳度、情绪状态，E为瞳孔中心点的运动状态与眼睑闭合状态，H为至少包含头部俯仰转向在内的头部运动状态，B为肢体运动状态。

所述车辆状态信息包括车辆速度、纵向加速度、横向加速度、制动踏板位移、加速踏板位移，以及车辆环境感知信息。

所述车辆环境感知信息由环境感知传感器采集，包括道路信息、邻车运动信息、障碍物信息、天气光线环境信息和高精度地图信息。

所述神经网络的车载端神经网络和平台端神经网络的各隐含层加权值可基于同一归类边界条件的车辆进行联邦迁移学习寻优。

所述AI云平台基于车辆状态信息中的车路状态信息对脱敏后的驾驶员特征信息进行聚类，划归为同一类别的车辆的驾驶员行为特征、车路状态参数作为AI云平台的神经网络的平台端神经网络的输入进行联邦学习，进一步挖掘网络深度特征值，扩展平台端神经网络层数分析驾驶员行为意图，并识别异常驾驶行为。

所述AI平台端提供算力并存储脱敏训练数据而不是存储原始图片信息。

所述智能车载网关通过5G上传，并集成了加密算法。

所述驾驶员监控摄像头设有多路，以全方位同步驾驶员图像监测。

与现有技术相比，本发明具有以下有益效果：

1)与传统汽车通过V-BOX上传驾驶员图片至云平台的技术方案相比，图片保存在车辆本身，不上传至云平台，可保障司机的座舱隐私安全。

2)基于联邦迁移学习，构建了云边协同的深度神经网络，实现了车车之间的智能互联互通，打通了车辆神经网络，联邦迁移学习架构更加复杂，也更加灵活，可解决单车数据量不足或者算力不足的问题。

3)实现多智能体协同，真正意义上构建AI云平台，有助于促进算法的持续迭代更新，同时降低人工智能技术应用成本，同时为5G技术的快速落地大规模应用提供场景支撑。

附图说明

图1为本发明的系统结构示意图；

图2为本发明实施例的联邦迁移学习示意图；

图3为本发明方法应用流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于联邦迁移学习的驾驶员行为云边协同学习系统，如图1和图3所示，包括智能车载终端和AI云平台，以及运行于智能车载终端和AI云平台上的神经网络，本神经通过重新设计神经网络的结构，将神经网络拆分为车载端神经网络和平台端神经网络，并分别运行于智能车载终端的边缘智能处理单元和AI云平台上，且车载端神经网络的输出层与平台端神经网络的输入层连接，即车载端神经网络的输出为平台端神经网络的输入，所述AI云平台与多个智能车载终端连接，采用加密无线传输机制对各智能车载终端反馈的数据进行聚类后利用神经网络以联邦迁移学习进行机器学习，同时AI云平台提供包含车辆与轨迹管理、远程诊断与监控在内的应用层服务，AI云平台具备海量驾驶员行为数据及车辆状态数据的存储与更新功能，且云平台存储更新的是不侵犯用户隐私的脱敏标注数据，各个车辆的驾驶员原始图像信息不参与上传，而是通过联邦机器学习实现基于驾驶员行为感知大数据的行为认知、意图理解。

智能车载终端包括：

驾驶员监控摄像头，采集含有驾驶员行为特征信息的原始图像，驾驶员监控摄像头设有多路，可以全方位同步驾驶员图像监测。

边缘智能处理单元，基于人工智能芯片研发，与驾驶员监控摄像头连接，对原始图像进行图像数据预处理，并运行车载端神经网络进行驾驶员行为初学习，构建基于时域变化的驾驶员行为特征向量集合，

智能车载网关，与边缘智能处理单元和车载VCU连接，将驾驶员行为特征向量和车辆状态信息脱敏后连同车载端神经网络的训练权值上传至AI云平台，并接收由AI云平台返回的的训练权值以转发至边缘智能处理单元。上传方式为5G，网关具备5G等无线车外网络与车载异构网络的信息转码、滤波、脱敏、安全防护等功能。

驾驶员特征信息包括人脸特征、头部运动、眼球运动和肢体运动，任一图像中含有人脸特征、头部运动、眼球运动和肢体运动中的任一或任意组合。

驾驶员行为特征向量为：

{F、E、H、B}

其中：F为驾驶员身份特征，至少包括性别、年龄、疲劳度、情绪状态，E为瞳孔中心点的运动状态与眼睑闭合状态，H为至少包含头部俯仰转向在内的头部运动状态，B为肢体运动状态。

车辆状态信息包括车辆速度、纵向加速度、横向加速度、制动踏板位移、加速踏板位移，以及车辆环境感知信息。

车辆环境感知信息由环境感知传感器采集，包括道路信息、邻车运动信息、障碍物信息、天气光线环境信息和高精度地图信息。环境感知传感器可以包括激光雷达、毫米波雷达、摄像头、高精度惯导单元等。

车载端和平台端的神经网络和神经网络紧密关联，如图2所示，车载端神经网络的输出作为平台端神经网络聚类处理后的神经网络输入，神经网络的车载端神经网络和平台端神经网络的各隐含层加权值可基于同一归类边界条件的车辆进行联邦迁移学习寻优。

AI云平台基于车辆状态信息中的车路状态信息对脱敏后的驾驶员特征信息进行聚类，划归为同一类别的车辆的驾驶员行为特征、车路状态参数作为AI云平台的神经网络的平台端神经网络的输入进行联邦学习，进一步挖掘网络深度特征值，扩展平台端神经网络层数分析驾驶员行为意图，并识别异常驾驶行为。AI平台端的远程监控可针对应用层服务实现可视化大屏显示。

Claims (10)

1.一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，包括智能车载终端和AI云平台，以及运行于智能车载终端和AI云平台上的神经网络系统，所述神经网络系统包括分别运行于智能车载终端和AI云平台上的车载端神经网络和平台端神经网络，且车载端神经网络的输出层与平台端神经网络的输入层连接；

所述AI云平台与多个智能车载终端连接，提供算力与存储服务，并采用加密无线传输机制实现车载端神经网络和平台端神经网络的联邦模型训练与学习迁移，同时AI云平台提供包含车辆与轨迹管理、远程诊断与监控在内的应用层服务；

所述智能车载终端包括：

驾驶员监控摄像头，采集含有驾驶员行为特征信息的原始图像，

边缘智能处理单元，与驾驶员监控摄像头连接，对所述原始图像进行图像数据预处理，并运行所述车载端神经网络进行驾驶员行为初学习，构建基于时域变化的驾驶员行为特征向量集合，

智能车载网关，与边缘智能处理单元和车载VCU连接，将驾驶员行为特征向量和车辆状态信息脱敏后连同车载端神经网络的训练权值上传至AI云平台，并接收由AI云平台返回的的训练权值以转发至边缘智能处理单元。

2.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述驾驶员特征信息包括人脸特征、头部运动、眼球运动和肢体运动，任一所述图像中含有人脸特征、头部运动、眼球运动和肢体运动中的任一或任意组合。

3.根据权利要求2所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述驾驶员行为特征向量为：

{F、E、H、B}

其中：F为驾驶员身份特征，至少包括性别、年龄、疲劳度、情绪状态，E为瞳孔中心点的运动状态与眼睑闭合状态，H为至少包含头部俯仰转向在内的头部运动状态，B为肢体运动状态。

4.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述车辆状态信息包括车辆速度、纵向加速度、横向加速度、制动踏板位移、加速踏板位移，以及车辆环境感知信息。

5.根据权利要求4所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述车辆环境感知信息由环境感知传感器采集，包括道路信息、邻车运动信息、障碍物信息、天气光线环境信息和高精度地图信息。

6.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述神经网络的车载端神经网络和平台端神经网络的各隐含层加权值可基于同一归类边界条件的车辆进行联邦迁移学习寻优。

7.根据权利要求5所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述AI云平台基于车辆状态信息中的车路状态信息对脱敏后的驾驶员特征信息进行聚类，划归为同一类别的车辆的驾驶员行为特征、车路状态参数作为AI云平台的神经网络的平台端神经网络的输入进行联邦学习，进一步挖掘网络深度特征值，扩展平台端神经网络层数分析驾驶员行为意图，并识别异常驾驶行为。

8.根据权利要求7所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述AI平台端提供算力并存储脱敏训练数据而不是存储原始图片信息。

9.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述智能车载网关通过5G上传，并集成了加密算法。

10.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述驾驶员监控摄像头设有多路，以全方位同步驾驶员图像监测。

Images