CN106781823A - 基于头部位姿感知的智能驾驶训练系统及方法 - Google Patents

Abstract

本发明涉及基于头部位姿感知的智能驾驶训练系统及方法，该系统包括车载智能训练子系统、数据处理子系统、运行管控子系统以及系统级数据通信子系统。对驾驶人训练过程中的数据进行采集并处理，实现对驾驶人驾驶行为的监控、分析、评价、反馈与指导。其中包括了对驾驶人的头部位姿进行感知的过程：基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；根据预先设置在目标物体上的识别标签和目标物体尺寸参数获得识别标签在摄像头坐标系和目标坐标系中的坐标位置；通过识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；根据识别标签在旋转过程中的位置变化参数获得目标物体的旋转角度。

Description

基于头部位姿感知的智能驾驶训练系统及方法

技术领域

本发明涉及机动车驾驶训练领域，特别涉及基于头部位姿感知的智能驾驶训练系统及方法。

背景技术

机动车驾驶人培训是道路交通安全的第一道屏障。随着国民经济的飞速发展，我国正在快速迈向汽车社会，公众对驾驶技能训练与认证考试的需求呈现出井喷式发展。相对于社会公众对驾培驾考的巨量需求，我国在驾培驾考的技术手段、培训能力等诸多方面存在着明显的“瓶颈”与“短板”。当前，驾驶人培训方面仍主要采用“口传身教”的传统培训模式，由教练员采用人工方式对学员展开教学培训。面对新时期驾培驾考需求与社会信息化趋势，此种方式暴露出越来越多的问题：(1)培训效果与效率不高：由于缺乏必要的信息化技术手段，一些高度依赖学员自身体验的操作环节(如车辆半联动的状态感觉、倒车入库时的空间感等)往往很难由教练通过语言描述导入给学员，加之部分教练表达能力的不足以及学员理解能力的差异，易导致培训效率难以提高，培训效果不佳的现象；(2)对教练员能力与素质的依赖性过高：单纯依赖人工教学的培训方式必然导致对人的高度依赖，培训效果与质量严重依赖教练员的个人业务能力与职业操守，易导致培训质量的起伏与差异；(3)培训知识和经验难以有效积累和复制：具有丰富知识和经验的优秀教练员是驾培行业的稀缺资源，其知识和经验是驾培机构的宝贵财富，而人工培训的方式在相当程度上阻碍了驾培知识和经验积累、挖掘与复制推广；(4)标准化培训课程难以推行：一些优质驾校在长期实践中通过教学研究形成了完善的标准化课程体系，但人工教学方式往往造成标准课程体系在执行终端环节的失真、缩水。

因此，亟待将数字化、信息化等先进技术手段引入传统驾培驾考领域，研制基于信息化技术的先进驾驶人培训系统，为机动车驾驶人培训提供先进教学手段与平台。针对上述需求，市场上曾出现过一些用于驾驶人培训的驾驶训练模拟器。该类系统可在固定的仿真设备上，通过屏幕上的画面运动营造驾驶模拟环境。由于此类系统不是基于实际车辆平台开发，所营造的驾驶体验以及学员的心理感受均与驾驶实际车辆存在较大差距，难以收到良好的训练效果。

在现实的驾驶过程中，驾驶员根据当前行驶状况以及路况，应该相应的做出或避免做出不同的动作，例如，在倒车或转弯时需要通过后视镜观察后方情况，并且根据实际情况不同所观察的后视镜也不同，换挡过程中应该避免做出低头看档位的动作，而类似于这种习惯性的动作需要在学车过程中就要掌握，而这种情况在现实中只能够通过教练的提醒学员才能进行更正，时效性低，无法使学员自主的形成习惯。

发明内容

本发明提供基于头部位姿感知的智能驾驶训练系统及方法，目的在于解决现有技术中训练效果差、智能化程度低以及难以养成良好的驾驶习惯的问题。

本发明解决上述技术问题的技术方案如下：基于头部位姿感知的智能驾驶训练系统，包括车载智能训练子系统、数据处理子系统、运行管控子系统以及系统级数据通信子系统；

所述车载智能训练子系统安装于实际机动车之上，用于对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据；

所述数据处理子系统对基础信息进行管理，用于接收、存储与处理所述车载智能训练子系统采集上报的训练过程数据；

所述运行管控子系统对车辆被操作和运行状态进行实时监控，并根据实际情况对被监控车辆进行系统自动操控或人工远程操控；

所述车载智能训练子系统通过系统级数据通信子系统与数据处理子系统以及运行管控子系统连接并实现双向信息互通；

所述车载智能训练子系统包括驾驶人头部位姿感知模块，所述驾驶人头部位姿感知模块用于通过摄像头获取驾驶人头部图像，通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿。

本发明的有益效果是：本发明紧密融合了数字化、信息化、人工智能、多媒体、虚拟现实等先进技术手段，直接安装、部署在真实的机动车上，通过智能化、多媒体、虚拟现实等先进技术手段展开基于实际机动车的教学训练活动，可以为驾驶技术受训学员提供直接、生动、直观、真实、智能、安全的驾驶技能训练课程，全部或部分替代人工教练员，提高训练质量与效率，降低训练成本；同时，本系统可对学员训练过程的操作与学习数据进行采集，并上报中央数据处理系统进行存储与分析；可对训练过程及车辆进行实时监视与管控。从而，在为机动车驾驶人训练提供数字化、多媒体、智能化先进手段的同时，为政府监管部门提供机动车驾驶人培训监管所需的数据支持。

本发明通过摄像头获取驾驶人头部图像，通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿，能够监测驾驶员有没有适时观察后视镜，在挂挡时有没有低头看档。帮助驾驶员从培训阶段养成良好的驾驶习惯，减少事故发生率；帮助驾驶员培训机构为其学员提供更好的培训，为考试机构提供更精准的评分依据。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述驾驶人头部位姿感知模块包括：

坐标系建立子模块，用于基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；

坐标位置获取子模块，用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置；

位置变化获取子模块，用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；

旋转角度获取子模块，用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数，进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

采用上述进一步方案的有益效果是：上述方案能够实现对目标物体位姿进行动态捕捉和识别，能够精确分析出驾驶员头部的移动状态，进而获知此时驾驶员头部在进行何种动作。

进一步，所述驾驶人头部位姿感知模块还包括动作识别子模块，用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态。

采用上述进一步方案的有益效果是：能够根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态，进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头以及将头伸出车窗外的动作位姿，以便对驾驶员动作状态的准确性进行评分及指正。

为了解决上述技术问题，本发明还提出了基于头部位姿感知的智能驾驶训练方法，所述方法包括：

对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据；

处理所述采集上报的驾驶人训练过程数据；

对车辆操作和运行状态进行实时监控，实现对驾驶人驾驶行为的监控、分析、评价、反馈与指导，并根据处理后驾驶人训练过程数据对被监控车辆进行自动操控或人工远程操控。

本发明的有益效果是：本发明紧密融合了数字化、信息化、人工智能、多媒体、虚拟现实等先进技术手段，直接安装、部署在真实的机动车上，通过智能化、多媒体、虚拟现实等先进技术手段展开基于实际机动车的教学训练活动，可以为驾驶技术受训学员提供直接、生动、直观、真实、智能、安全的驾驶技能训练课程，全部或部分替代人工教练员，提高训练质量与效率，降低训练成本；同时，本方法可对学员训练过程的操作与学习数据进行采集，并上报中央数据处理系统进行存储与分析；可对训练过程及车辆进行实时监视与管控。从而，在为机动车驾驶人训练提供数字化、多媒体、智能化先进手段的同时，为政府监管部门提供机动车驾驶人培训监管所需的数据支持。

进一步，所述对驾驶人进行交互式驾驶训练包括对驾驶人头部位姿感知的步骤，所述对驾驶人头部位姿感知的步骤包括：

基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；

根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置；

通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；

根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数，进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

采用上述进一步方案的有益效果是：通过摄像头获取驾驶人头部图像，通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿，进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头以及将头伸出车窗外的动作位姿。能够监测驾驶员有没有适时观察后视镜，在挂挡时有没有低头看档。帮助驾驶员从培训阶段养成良好的驾驶习惯，减少事故发生率；帮助驾驶员培训机构为其学员提供更好的培训，为考试机构提供更精准的评分依据。

进一步，所述获得识别标签在摄像头坐标系的坐标位置包括：

在目标坐标系中设定位置1、位置2和位置3，所述位置1、位置2和位置3处于同一水平面，其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α；

识别标签分别处于位置1、位置2和位置3时，通过图像识别技术分别得到识别标签在摄像头坐标系中的位置和其中，和分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。

采用上述进一步方案的有益效果是：通过在目标坐标系中设定设定三个位置得到在摄像头坐标系中识别标签与目标坐标系原点的相对位置关系。当目标物体位置发生变化时，可以通过识别标签的位置解算出目标物体旋转中心的位置；通过图像识别技术能够快速的确定识别标签在摄像头坐标系中的位置坐标。

进一步，所述获得识别标签在目标坐标系中的坐标位置的计算过程为：

其中，和分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换，Z为目标坐标系的Z轴，r₀为目标半径，Trans(Z,r₀)为识别标签坐标变换时沿着Z轴移动r₀，Y为目标坐标系的Y轴，-α为识别标签由位置1移动到位置2时所旋转的角度，α为识别标签由位置3移动到位置2时所旋转的角度，R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度，R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度。

采用上述进一步方案的有益效果是：通过对识别标签在目标坐标系中的移动过程进行分析计算，获得识别标签移动的距离和旋转的角度，能够为后续头部位姿的计算获得数据支持。

进一步，通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数的计算过程为：

其中，为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置，为目标物体移动后目标坐标系原点在摄像头坐标系中的位置，为识别标签在摄像头坐标系下的坐标的齐次变换，为识别标签在目标坐标系下的坐标的齐次变换，i＝1,2,3。

采用上述进一步方案的有益效果是：通过识别标签在摄像头坐标系和目标坐标系下的位置变化情况获得目标物体在旋转过程中的位置变化参数，通过该位置变化参数能够获知目标物体的移动距离和旋转角度。

进一步，所述获得目标物体的角度变化参数的计算过程为：

其中，为目标物体由位置A移动至位置B时的欧拉变换矩阵，ψ为偏航角，θ为俯仰角，为滚转角，R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度，R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度，为识别标签坐标变换时沿着X轴旋转角度；

根据所述目标物体的角度变化参数获得目标物体的旋转角度：

采用上述进一步方案的有益效果是：通过上述过程最终实现了对头部位姿进行识别的过程，能够在驾驶员驾驶期间识别头部转动情况，进而判断出此时驾驶员做出的动作，能够为驾驶员养成良好的驾驶习惯，也能够为驾驶员的考核提供重要的依据。

进一步，所述对驾驶人头部位姿感知的步骤还包括：根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态的步骤。

采用上述进一步方案的有益效果是：能够根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态，进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头以及将头伸出车窗外的动作位姿，以便对驾驶员动作状态的准确性进行评分及指正。

附图说明

图1为实施例一所述的基于头部位姿感知的智能驾驶训练系统的原理示意图；

图2为实施例一所述的基于头部位姿感知的智能驾驶训练系统在网络版部署发行模式下的安装部署结构框图；

图3为实施例一所述的基于头部位姿感知的智能驾驶训练系统在单车版部署发行模式下的安装部署结构框图；

图4为实施例一所述的车载智能训练子系统的部署图；

图5为实施例一所述的驾驶人头部位姿感知模块的原理示意图；

图6为实施例二所述的基于头部位姿感知的智能驾驶训练方法的流程图；

图7为实施例二所述的对驾驶人头部位姿感知的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

如图1所示，本实施例提出的基于头部位姿感知的智能驾驶训练系统，包括车载智能训练子系统100、数据处理子系统200、运行管控子系统300、系统级数据通信子系统400四个部分。

本实施例所述的基于头部位姿感知的智能驾驶训练系统可采用网络版和单车板两种部署发行模式。其中：①在网络版部署发行模式下，如图2所示，车载智能训练子系统100可同时部署在多个机动车上，数据处理子系统200和运行管控子系统300分别部署在不同的相互独立的中央服务器或共同部署在一台中央服务器上。三者之间通过系统级数据通信子系统400以有线或无线方式建立双向数据通信连接。此时，数据处理子系统200同时面向多个车载智能训练子系统提供数据接收、数据存储、数据查询、数据分析和数据传送服务；运行管控子系统300提供对多台机动车的运行管控功能。②在单车版部署发行模式下，如图3所示，车载智能训练子系统100、数据处理子系统200、车辆管控子系统300集中部署在同一台机动车上的一台或多台车载计算机上，通过系统级数据通信子系统400以有线/无线(当三个子系统分别部署在2台或3台计算机上时)或内部程序调用(当三个子系统部署在同一台计算机上时)的方式建立双向数据通信连接。此时，本实施例所述的基于头部位姿感知的智能驾驶训练系统仅面向单台机动车提供全部功能服务。

如图4所示，所述车载智能训练子系统100包括车载控制计算机101、驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104、智能化驾驶训练教学执行与决策评价模块105、多媒体3D虚拟现实人机交互模块106、数字化智能场地地图模块107、驾驶训练数据采集上报模块108、车辆安全控制模块109、车载智能训练子系统级通信模块110，其中，驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104的视频采集器1041、车辆安全控制模块109以及多媒体3D虚拟现实人机交互模块106的触摸显示屏通过车载智能训练子系统级通信模块110以有线或无线方式与车载智能训练子系统100连接并实现双向信息交互，驾驶人头部位姿感知模块104的软件部分1042、多媒体3D虚拟现实人机交互模块106的软件部分，以及智能化驾驶训练教学执行与决策评价模块105、数字化智能场地地图模块107、驾驶训练数据采集上报模块108模块运行在车载智能训练子系统100的车载计算机101上。

所述车载控制计算机101是车载智能训练子系统100的主要运行平台，可以采用通用的便携式计算机、工业控制计算机以及其它能够满足系统运行性能要求的计算机设备。

所述的驾驶人操作行为与车辆状态感知模块102通过部署在车辆不同部位的传感器以及数据采集器能够实时反映驾驶人操作车辆的行为、车辆被操控机件所处状态以及车辆运行参数的信息，包括：左右转向灯开关状态信息、方向盘角度信息、车速、车辆加速度、发动机转速、驻车制动器开关状态、档位状态、汽车喇叭鸣放状态与鸣放持续时间等。驾驶人操作行为与车辆状态感知模块102将采集到的车辆操作状态信息通过有线或无线通道或内部集成调用方式，发送给车载控制计算机101，供车载智能训练子系统100的相关模块调用。

所述的车辆位姿与轨迹感知模块103从定位系统获取车辆基准点和基准轴在场地、道路中的位置及姿态信息，进而计算出车辆轮廓边界在场地、道路中的实际位置以及车辆前进方向的方向角，并提供给车载智能训练子系统100的相关模块调用。

所述的驾驶人头部位姿感知模块104通过安装在车辆驾驶室合适位置的摄像头获取驾驶人头部图像，通过对驾驶人头部特定标识的图像处理解算出驾驶人的头部位姿，进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头、将头伸出车窗外等动作位姿，并将识别结果实时报送至智能化驾驶训练教学执行与决策评价模块105。

优选的，如图5所示，所述驾驶人头部位姿感知模块104包括：

坐标系建立子模块，用于基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；

坐标位置获取子模块，用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置；

位置变化获取子模块，用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；

旋转角度获取子模块，用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数，进而根据所述目标物体的角度变化参数获得目标物体的旋转角度；

动作识别子模块，用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态。

具体获得驾驶人的头部位姿的计算过程如下：

在目标坐标系中设定位置1、位置2和位置3，所述位置1、位置2和位置3处于同一水平面，其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α。

识别标签分别处于位置1、位置2和位置3时，通过图像识别技术分别得到识别标签在摄像头坐标系中的位置和其中，和分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。

通过

其中，和分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换，Z为目标坐标系的Z轴，r₀为目标半径，Trans(Z,r₀)为识别标签坐标变换时沿着Z轴移动r₀，Y为目标坐标系的轴，-α为识别标签由位置1移动到位置2时所旋转的角度，α为识别标签由位置3移动到位置2时所旋转的角度，R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度，R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度，计算获得目标物体在目标坐标系中的坐标位置；

通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数其中，为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置，为目标物体移动后目标坐标系原点在摄像头坐标系中的位置，为识别标签在摄像头坐标系下的坐标的齐次变换，为识别标签在目标坐标系下的坐标的齐次变换，i＝1,2,3。

根据所述目标物体在旋转过程中的位置变化参数求得其对应的欧拉角表示，最终获得目标物体的旋转角度：

其中，为目标物体由位置A移动至位置B时的欧拉变换矩阵，ψ为偏航角，θ为俯仰角，为滚转角，R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度，R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度，为识别标签坐标变换时沿着X轴旋转角度，目标物体的旋转角度为：

所述的智能化驾驶训练教学执行与决策评价模块105的实施方案描述如下：

(1)安装运行平台：模块105安装在车载计算机101上。

(2)教学模式：模块105在教学模式上，采用带有闭环反馈的智能化、多通道交互式教学模式。在教学训练交互通道设计上，采用多媒体视频、语音和三维交互图形界面构建智能化、互动式教学环境；在教学逻辑控制上，模块105的教学引导系统首先按照课程教学控制逻辑指导驾驶人进行训练操作，同时，根据驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104反馈的信号，再按照知识库中设计的智能逻辑，对驾驶人的驾驶行为进行识别，并进一步做出反馈响应，智能化指导驾驶人进行后续操作或调整，从而实现互动式智能教学。

(3)课程内容设计：模块105在训练课程内容设计上，覆盖了学员熟练、安全驾驶机动车辆并通过各类驾驶执照考试所需知识与技能的训练课程。

(4)教学技法设计：模块105在教学技法的设计上，采用了渐进式方案，帮助学员由易到难、由简单到复杂地渐进掌握驾驶知识和技能：首先，以多媒体教学视频方式进行操作项目的初步讲解，并基于三维数字化虚拟现实场景，对操作要领进行详细讲解；随后，按步骤详细指导驾驶人进行操作，并根据获取的驾驶人操作情况做出智能化互动与反馈，纠正驾驶人错误操作，分析驾驶人错误原因，提醒驾驶人进行下一步操作；之后，由驾驶人自主进行操作，系统对操作过程进行监控，当发现操作错误时，及时提醒驾驶人所犯错误以及纠正措施；最后，进入模拟考试阶段，驾驶人完全自主进行驾驶操作，系统在操作过程中不给出任何提示性信息，在操作完成后按照标准考试准则给出量化评分，判断驾驶人是否已熟练掌握机动车驾驶技能，并给出模拟考试是否通过的结论。

(5)可视化反馈功能设计：在学员训练过程中，对学员操作车辆的轨迹信息进行采集与存储，在学员完成驾驶操作后，将轨迹数据传送至多媒体3D虚拟现实人机交互模块106进行可视化轨迹回放，以帮助学员分析操作中存在的问题。

(6)智能化分析评价功能设计：模块105还设计了对驾驶人操作车辆轨迹的评价与分析的功能。可根据驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103、驾驶人头部位姿感知模块104等传来的参数，结合场地或道路电子地图，判断驾驶人驾驶行为的合理性、合规性。并且，基于知识库，识别驾驶过程中的问题及原因，给出智能化反馈意见和分析报告。

所述的多媒体3D虚拟现实人机交互模块106中在实现机制上采用了数字化车辆模型和数字场景地图相结合的技术，首先建立了机动车的三维全息数字仿真模型，数字仿真模型在外形尺寸、轮廓、材质、颜色，以及内部空间与零部件(方向盘、仪表板、座椅、前后风挡玻璃、车窗玻璃、前后雨刮器、左后视镜、中后视镜、右后视镜、档位、油门踏板、离合器踏板、制动踏板、驻车制动器、车轮)等细节方面与真实机动车辆完全保持一致。进而将车辆数字模型植入基于场地电子地图构建的三维场景中，构造出基于多窗口的虚拟现实交互场景。基于多窗口的虚拟现实交互场景，分别提供了外部正上方俯视、外部后上方俯视、内部驾驶人眼睛视角等多种视角场景，并与驾驶人及车辆所处的真实场景保持实时、完全、同步仿真显示。借助三维虚拟现实场景，模块106设计了基于多窗口的虚拟现实交互场景的讲解同步指引功能，在智能化驾驶训练教学执行与决策评价模块105进行操作讲解的过程中，同步播放基于多窗口虚拟现实交互场景的标准操作过程，同时，对讲解中所提及的相关要素进行同步加亮显示并闪烁，帮助受训驾驶人准确理解操作要领。

所述的数字化智能场地地图模块107中提供了对机动车驾驶训练场地地图、道路地图、车辆标准轨迹、车辆外形轮廓的测绘和管理功能。在场地与道路测绘方面，利用定位系统采集场地、道路中的各项设施、科目及相关要素的空间坐标，进而通过对坐标的存储与处理，实现对机动车驾驶场地、道路等的数字化描述。在对机动车驾驶标准轨迹的采集与记录的方面，利用安装在车辆上的定位系统获取车辆的运动轨迹数据，从而进行标准行驶轨迹的采集与记录；在对机动车轮廓边界的测绘功能的实现方式上，通过采集定位系统反馈的车身轮廓边界点坐标，绘制车身轮廓电子地图。

所述的驾驶训练数据采集上报模块108可采集机动车驾驶人在训练期间的过程数据，包括受训人、训练任务、开始时间、结束时间、车辆实际轨迹、训练结果等；在数据采集实现机制上，对于受训人、训练任务、开始时间、结束时间、训练结果等信息，模块108通过和智能化驾驶训练教学执行与决策评价模块105的内部数据集成获得；模块108将采集到的机动车驾驶人训练过程数据上传到数据处理子系统200进行统一存储与管理；

所述的车辆安全控制模块109负责对车辆和系统运行进行安全控制。模块109通过和驾驶人操作行为与车辆状态感知模块102、车辆位姿与轨迹感知模块103的集成实时获取车辆的操控状态信息，并按照预先设定的风险控制规则进行主动的智能安全控制，当车辆操控状态达到规定的危险状态时，根据危险程度，自动做出适当的安全响应和控制措施，包括：降低车辆速度、切断油路、制动车辆、停止车辆运行等；模块109与运行管控子系统300之间亦建立了数据连接，按照约定的格式接收来自运行管控子系统发来的控制指令，对车辆进行管控。

所述的数据处理子系统200构建在通用的数据库平台上，实现对多媒体教学课件资源、场地电子地图、驾驶人信息、机动车信息、驾培机构信息等基础信息进行管理，亦可接收车载智能训练子系统100通过系统级数据通信子系统400上报的训练过程数据进行接收、存储与管理等功能。

所述的运行管控子系统300可对车辆操作和运行状态进行实时监控，可通过接收车载智能训练子系统100通过系统级数据通信子系统400传来的车辆训练和操控数据，在屏幕上动态显示车辆在训练场地上的位置和运动信息，以及车辆运行参数；运行管控子系统300通过与车辆安全管控模块109之间建立的数据链路实现对车辆的远程控制。

所述的系统级数据通信子系统400基于通用的局域网或广域网通讯技术搭建数据链路，以支持车载智能训练子系统100、数据处理子系统200、运行管控子系统300之间的数据交互需求。可使用的网络通讯技术包括但不限于园区无线局域网、有线局域网、电信宽带、2G/3G/4G移动网、无线电台等多种形式。

实施例二

如图6所述，本实施例提出了基于头部位姿感知的智能驾驶训练方法，所述方法包括：

对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据；

处理所述采集上报的驾驶人训练过程数据；

对车辆操作和运行状态进行实时监控，实现对驾驶人驾驶行为的监控、分析、评价、反馈与指导，并根据处理后驾驶人训练过程数据对被监控车辆进行自动操控或人工远程操控。

通过智能化、多媒体、虚拟现实等先进技术手段展开基于实际机动车的教学训练活动，可以为驾驶技术受训学员提供直接、生动、直观、真实、智能、安全的驾驶技能训练课程，全部或部分替代人工教练员，提高训练质量与效率，降低训练成本；同时，本系统可对学员训练过程的操作与学习数据进行采集，并上报中央数据处理系统进行存储与分析；可对训练过程及车辆进行实时监视与管控。

如图7所示，本发明提出基于头部位姿感知的智能驾驶训练方法，所述方法包括：

基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；

根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置；

通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；

根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数，进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

其中，具体的，预先设置在目标物体上的识别标签的过程为：在目标坐标系中设定位置1、位置2和位置3，所述位置1、位置2和位置3处于同一水平面，其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α。

通过摄像头获取驾驶人头部图像，通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿，进而识别出目视前方、左侧头观察后视镜、右侧头观察后视镜、回头观察车辆后方、低头看档位、仰头以及将头伸出车窗外的动作位姿。能够监测驾驶员有没有适时观察后视镜，在挂挡时有没有低头看档。帮助驾驶员从培训阶段养成良好的驾驶习惯，减少事故发生率；帮助驾驶员培训机构为其学员提供更好的培训，为考试机构提供更精准的评分依据。

其具体的计算过程如下：

通过图像识别技术得到识别标签在摄像头坐标系中的位置( )，其中，和分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。

根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置的计算过程为：

其中，和分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换，Z为目标坐标系的Z轴，r₀为目标半径，Trans(Z,r₀)为识别标签坐标变换时沿着Z轴移动r₀，Y为目标坐标系的轴，-α为识别标签由位置1移动到位置2时所旋转的角度，α为识别标签由位置3移动到位置2时所旋转的角度，R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度，R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度。

通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数的计算过程为：

其中，为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置，为目标物体移动后目标坐标系原点在摄像头坐标系中的位置，为识别标签在摄像头坐标系下的坐标的齐次变换，为识别标签在目标坐标系下的坐标的齐次变换，i＝1,2,3。

所述获得目标物体的角度变化参数的计算过程为：

其中，为目标物体由位置A移动至位置B时的欧拉变换矩阵，ψ为偏航角，θ为俯仰角，为滚转角，R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度，R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度，为识别标签坐标变换时沿着X轴旋转角度；

根据所述目标物体的角度变化参数获得目标物体的旋转角度：

通过上述过程最终实现了对头部位姿进行识别的过程，能够在驾驶员驾驶期间识别头部转动情况，进而判断出此时驾驶员做出的动作，能够为驾驶员养成良好的驾驶习惯，也能够为驾驶员的考核提供重要的依据。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于头部位姿感知的智能驾驶训练系统，其特征在于，包括车载智能训练子系统、数据处理子系统、运行管控子系统以及系统级数据通信子系统；

所述车载智能训练子系统安装于实际机动车之上，用于对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据；

所述数据处理子系统对基础信息进行管理，用于接收、存储与处理所述车载智能训练子系统采集上报的训练过程数据；

所述运行管控子系统对车辆被操作和运行状态进行实时监控，并根据实际情况对被监控车辆进行系统自动操控或人工远程操控；

所述车载智能训练子系统通过系统级数据通信子系统与数据处理子系统以及运行管控子系统连接并实现双向信息互通；

所述车载智能训练子系统包括驾驶人头部位姿感知模块，所述驾驶人头部位姿感知模块用于通过摄像头获取驾驶人头部图像，通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿。

2.根据权利要求1所述的基于头部位姿感知的智能驾驶训练系统，其特征在于，所述驾驶人头部位姿感知模块包括：

坐标系建立子模块，用于基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；

坐标位置获取子模块，用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置；

位置变化获取子模块，用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；

旋转角度获取子模块，用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数，进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

3.根据权利要求2所述的基于头部位姿感知的智能驾驶训练系统，其特征在于，所述驾驶人头部位姿感知模块还包括动作识别子模块，用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态。

4.基于头部位姿感知的智能驾驶训练方法，其特征在于，所述方法包括：

对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据；

处理所述采集上报的驾驶人训练过程数据；

对车辆操作和运行状态进行实时监控，实现对驾驶人驾驶行为的监控、分析、评价、反馈与指导，并根据处理后驾驶人训练过程数据对被监控车辆进行自动操控或人工远程操控。

5.根据权利要求4所述的基于头部位姿感知的智能驾驶训练方法，其特征在于，所述对驾驶人进行交互式驾驶训练包括对驾驶人头部位姿感知的步骤，所述对驾驶人头部位姿感知的步骤包括：

基于摄像头位置建立摄像头坐标系，基于目标物体旋转中心建立目标坐标系；

根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置；

通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数；

根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数，进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

6.根据权利要求5所述的基于头部位姿感知的智能驾驶训练方法，其特征在于，所述获得识别标签在摄像头坐标系的坐标位置包括：

在目标坐标系中设定位置1、位置2和位置3，所述位置1、位置2和位置3处于同一水平面，其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α；

识别标签分别处于位置1、位置2和位置3时，通过图像识别技术分别得到识别标签在摄像头坐标系中的位置和其中，和分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。

7.根据权利要求6所述的基于头部位姿感知的智能驾驶训练方法，其特征在于，所述获得识别标签在目标坐标系中的坐标位置的计算过程为：

$H_1^r=Trans(Z,r_0)R(Y,-\mathrm{\α})=\left[\begin{array}{cccc}cos(-\mathrm{\α})& 0& sin(-\mathrm{\α})& 0\\ 0& 1& 0& 0\\ -sin(-\mathrm{\α})& 0& cos(-\mathrm{\α})& r_0\\ 0& 0& 0& 1\end{array}\right],$

$H_2^r=Trans(Z,r_0)R(Y,0)=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& r_0\\ 0& 0& 0& 1\end{array}\right]$

$H_3^r=Trans(Z,r_0)R(Y,\mathrm{\α})=\left[\begin{array}{cccc}\cos \left(\mathrm{\α}\right)& 0& \sin \left(\mathrm{\α}\right)& 0\\ 0& 1& 0& 0\\ -\sin \left(\mathrm{\α}\right)& 0& \cos \left(\mathrm{\α}\right)& r_0\\ 0& 0& 0& 1\end{array}\right];$

其中，和分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换，Z为目标坐标系的Z轴，r₀为目标半径，Trans(Z,r₀)为识别标签坐标变换时沿着Z轴移动r₀，Y为目标坐标系的Y轴，-α为识别标签由位置1移动到位置2时所旋转的角度，α为识别标签由位置3移动到位置2时所旋转的角度，R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度，R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度。

8.根据权利要求7所述的基于头部位姿感知的智能驾驶训练方法，其特征在于，所述通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数的计算过程为：

$H_r={\left({H_w^r}_0\right)}^{\′}\·H_w^r={\left({H_w^r}_0\right)}^{\′}\·H_w^i\·H_i^r$

其中，为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置，为目标物体移动后目标坐标系原点在摄像头坐标系中的位置，为识别标签在摄像头坐标系下的坐标的齐次变换，为识别标签在目标坐标系下的坐标的齐次变换，i＝1,2,3。

9.根据权利要求8所述的基于头部位姿感知的智能驾驶训练方法，其特征在于，所述获得目标物体的角度变化参数的计算过程为：

其中，为目标物体由位置A移动至位置B时的欧拉变换矩阵，ψ为偏航角，θ为俯仰角，为滚转角，R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度，R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度，为识别标签坐标变换时沿着X轴旋转角度；

根据所述目标物体的角度变化参数获得目标物体的旋转角度：

10.根据权利要求5至9任一项所述的基于头部位姿感知的智能驾驶训练方法，其特征在于，所述对驾驶人头部位姿感知的步骤还包括：根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态的步骤。