CN115861977A - 一种模拟驾驶姿态评价方法及模拟驾驶装置 - Google Patents

Abstract

本发明提供了一种模拟驾驶姿态评价方法及模拟驾驶装置，属于模拟驾驶实训技术领域。采用图像采集和识别的方法，通过获取学员所在驾驶区域的模拟驾驶培训区域图像，从中识别出驾驶员和手势区域，驾驶员即为正在模拟驾驶训练的学员，提取驾驶员的人体特征点，根据人体特征点和手势区域，先对正在执行手势的手进行判断，然后对手势方向进行判断，根据判断出的手势方向对模拟驾驶姿态进行评价。采用本发明，可以实现在对学员进行模拟驾驶培训的过程中，对学员的模拟驾驶姿态进行自动化评价，便于教员同时对多名学员的模拟驾驶姿态进行评价，也便于学员在单独训练时对自己的模拟驾驶姿态进行评价，提高了模拟驾驶训练的效率。

Description

一种模拟驾驶姿态评价方法及模拟驾驶装置

技术领域

本发明提供了一种模拟驾驶姿态评价方法及模拟驾驶装置，属于模拟驾驶实训技术领域。

背景技术

机车、动车组乘务员或学员在进行模拟驾驶训练过程中，需要严格按照一次乘务作业的标准要求，进行眼看手比动作的操作，从而帮助学员形成正确的操作习惯，在实际驾驶过程中表现出良好的驾驶姿态。目前各路局及院校所使用的模拟驾驶装置，仅是通过模拟驾驶装置自动获取的一些操作信息，对学员的操作进行评价，并且在对学员进行手比眼看的教学培训时，依赖教员对学员的手比动作进行逐个检查和评价，缺乏自动化的评价手段，教员无法同时对多个学员进行指导，降低了教学效率。同时在学员自助训练时，学员无法确定正在执行的动作是否正确，影响训练效果。

发明内容

本发明的目的在于提供一种模拟驾驶姿态评价方法及模拟驾驶装置，用于解决模拟驾驶训练过程中，无法准确对学员的手比动作进行自动评价的问题。

为了实现上述目的，本发明提供了一种模拟驾驶姿态评价方法，包括如下步骤：

S1、通过图像采集装置获取模拟驾驶培训区域图像，识别模拟驾驶培训区域图像内的驾驶员及对应驾驶员的手势区域；

S2、提取驾驶员的人体特征点，根据人体特征点与手势区域的位置关系，对驾驶员执行当前手势的手进行判断，确定出驾驶员执行当前手势的手为左手或右手；

S3、根据人体特征点或手势区域特征点，确定驾驶员执行当前手势时的手势方向，根据手势方向对模拟驾驶姿态进行评价。

本发明的模拟驾驶姿态评价方法，采用图像采集和识别的方法，通过获取学员所在驾驶区域的模拟驾驶培训区域图像，从中识别出驾驶员以及驾驶员的手势区域，驾驶员即为正在模拟驾驶训练的学员。提取驾驶员的人体特征点，根据人体特征点和手势区域，先对正在执行手势的手进行判断，确定出驾驶员执行当前手势的手为左手还是右手。然后对当前手势的手势方向进行判断，根据判断出的手势方向对模拟驾驶姿态进行评价。采用本发明，可以实现在对学员进行模拟驾驶培训的过程中，对学员的模拟驾驶姿态进行自动化评价，便于教员同时对多名学员的模拟驾驶姿态进行评价，也便于学员在单独训练时对自己的模拟驾驶姿态进行评价，提高了模拟驾驶训练的效率。

进一步地，在上述方法中，所述人体特征点包括左手腕特征点、右手腕特征点、左手肘特征点和右手肘特征点；

步骤S2中采用如下方法对驾驶员执行当前手势的手进行判断：若左手腕特征点处于手势区域且右手腕特征点不在手势区域，则驾驶员执行当前手势的手为左手；若右手腕特征点处于手势区域且左手腕特征点不在手势区域，则驾驶员执行当前手势的手为右手；若左手腕特征点和右手腕特征点均处于手势区域，计算左手臂方向与手势区域的左手臂重叠面积和右手臂方向与手势区域的右手臂重叠面积，若左手臂重叠面积大于右手臂重叠面积，则驾驶员执行当前手势的手为左手，否则驾驶员执行当前手势的手为右手；

利用左手腕特征点与左手肘特征点得到所述左手臂方向，利用右手腕特征点与右手肘特征点得到所述右手臂方向。

根据人体特征点中的手腕特征点对驾驶员执行当前手势的手进行判断，若处在手势区域的手腕特征点只有左手腕特征点，则为左手，若处在手势区域的手腕特征点只有右手腕特征点，则为右手，若左、右手腕特征点都处于手势区域，则根据左右手臂方向在手势区域内的面积进行判断。采用手腕特征点结合手肘特征点，可以准确判断出正在执行手势的手，判断准确性高，且易于实现。

进一步地，在上述方法中，所述手势方向包括朝上或朝下，所述手势区域特征点包括手势区域中心点；步骤S3中，通过如下方法确定驾驶员执行当前手势时的手势方向：根据预先获取的第一设计曲线和第二设计曲线，计算与当前手势相关的手腕特征点/手势区域中心点与第一设计曲线之间的第一距离，还计算与当前手势相关的手腕特征点与第二设计曲线之间的第二距离；若第一距离大于第二距离，则当前手势方向朝上，若第一距离小于第二距离，则当前手势的手势方向朝下；

第一设计曲线和第二设计曲线利用历史实验数据拟合得到：获取历史实验数据，所述历史实验数据包括在模拟驾驶培训区域图像中已确定好手势方向的手腕特征点或手势区域中心点，根据手腕特征点或手势区域中心点的分布情况拟合两条曲线，其中一条曲线用于表明手势方向朝上的各手腕特征点

手势区域中心点的分布情况，称为第一设计曲线，另一条曲线用于表明手势方向朝下的各手腕特征点/>

手势区域中心点的分布情况，称为第二设计曲线。

通过历史试验数据拟合出第一设计曲线和第二设计曲线，其中第一设计曲线用于表征对应手势方向为朝上的各手腕特征点或手势区域中心点的分布情况，第二设计曲线用于表征对应手势方向为朝下的各手腕特征点或手势区域中心点的分布情况。获取手腕特征点或手势区域中心点的位置，计算出其与第一设计曲线之间的第一距离和与第二设计曲线之间的第二距离，比较第一距离和第二距离的大小。若第一距离大于第二距离，则当前手势方向朝上，若第一距离小于第二距离，则当前手势的手势方向朝下。该方法仅需要根据预先获取的两条曲线，计算出手腕特征点或手势区域中心点与两条曲线之间距离，再通过比大小的方法进判断，易于操作，计算量小。

进一步地，在上述方法中，所述手势方向包括朝上或朝下，所述手势区域特征点包括手势区域中心点；步骤S3中，通过如下方法确定驾驶员执行当前手势时的手势方向：在图像采集装置与驾驶员位置之间的水平夹角小于设定夹角时，根据预先获取的第一设计曲线和第二设计曲线，计算与当前手势相关的手腕特征点/手势区域中心点与第一设计曲线之间的第一距离，还计算与当前手势相关的手腕特征点/手势区域中心点与第二设计曲线之间的第二距离；计算第一距离与第二距离的差值，若该差值的绝对值大于设定数值，且第一距离大于第二距离，则当前手势的方向朝上；在该差值的绝对值小于设定数值时，若与当前手势相关的手腕特征点或手势区域中心点处于预先设定的中区域，则采用判断条件1确定驾驶员执行当前手势时的手势方向；若与当前手势相关的手腕特征点或手势区域中心点处于预先设定的左区域或预先设定的右区域，则采用判断条件2、判断条件3或判断条件4确定驾驶员执行当前手势时的手势方向；

第一设计曲线和第二设计曲线利用历史实验数据拟合得到：获取历史实验数据，所述历史实验数据包括在模拟驾驶培训区域图像中已确定好手势方向的手腕特征点或手势区域中心点，根据手腕特征点或手势区域中心点的分布情况拟合两条曲线，其中一条曲线用于表明手势方向朝上的各手腕特征点/手势区域中心点的分布情况，称为第一设计曲线，另一条曲线用于表明手势方向朝下的各手腕特征点/手势区域中心点的分布情况，称为第二设计曲线；

判断条件1、判断条件2、判断条件3和判断条件4及相应的判断结果如下：

判断条件1：计算所述手腕特征点与对应手腕特征点的肩特征点之间的水平距离和竖直距离，在所述水平距离和竖直距离均大于零时，若水平距离大于第一水平阈值且竖直距离大于第一竖直阈值，则当前手势的手势方向朝上；在所述水平距离和竖直距离均小于零时，若水平距离的绝对值大于第一水平阈值且竖直距离的绝对值大于第一竖直阈值，则当前手势的手势方向朝下；所述第一水平阈值和第一竖直阈值均大于零；

判断条件2：将小臂与模拟驾驶培训区域图像水平方向之间的夹角作为小臂角度，若小臂角度大于设定的小臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下；将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的手肘特征点之间的连线作为所述小臂；

判断条件3：将长臂与模拟驾驶培训区域图像水平方向之间的夹角作为长臂角度，若长臂角度大于设定的长臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下，将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的肩特征点之间的连线作为所述长臂；

判断条件4：若人体特征点中与当前手势相关的手腕特征点和头部特征点之间的连线与模拟驾驶培训区域图像水平方向之间的夹角大于第一设定阈值，则当前手势的方向朝上，否则当前手势的方向朝下。

考虑图像采集装置与驾驶员座位之间的夹角对手势方向识别的影响，在图像采集装置与驾驶员座位之间的水平夹角小于设定夹角时，获取手腕特征点或手势区域中心点的位置，计算出其与第一设计曲线之间的第一距离和与第二设计曲线之间的第二距离，根据第一距离和第二距离的大小进行判断。若第一距离与第二距离的差值的绝对值大于设定数值，且第一距离大于第二距离，则当前手势方向朝上；若第一距离与第二距离的差值的绝对值小于设定数值，则判断与当前手势相关的手腕特征点或手势区域中心点的位置。若与当前手势相关的手腕特征点或手势区域中心点处于预先设定的中区域，则根据手腕特征点与肩特征点之间的距离判断手势方向；若与当前手势相关的手腕特征点或手势区域中心点处于预先设定的左区域或预先设定的右区域，则根据手腕特征点与手肘特征点组合成的小臂特征、手腕特征点与肩特征点组合成的长臂特征，或者手腕特征点与脖颈特征点之间连线的特征，对手势方向进行判断。计算简便，易于实现，准确可靠。

进一步地，在上述方法中，所述手势方向包括朝上和朝下，所述手势方向包括朝上和朝下，步骤S3中，采用如下判断条件中的其中一个确定驾驶员执行当前手势时的手势方向，每个判断条件及相应的判断结果如下：

判断条件一：将小臂与模拟驾驶培训区域图像水平方向之间的夹角作为小臂角度，若小臂角度大于设定的小臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下；将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的手肘特征点之间的连线作为所述小臂；

判断条件二：将长臂与模拟驾驶培训区域图像水平方向之间的夹角作为长臂角度，若长臂角度大于设定的长臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下，将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的肩特征点之间的连线作为所述长臂；

判断条件三：若人体特征点中与当前手势相关的手腕特征点和头部特征点之间的连线与模拟驾驶培训区域图像水平方向之间的夹角大于第一设定阈值，则当前手势的方向朝上，否则当前手势的方向朝下。

在不考虑图像采集装置与驾驶员座位之间的夹角对手势方向识别的影响时，采用上述判断条件一、二、三中的其中一个，便可对手势方向进行判断，判断方法多样，可自由选择，易于实现，简单可靠。

进一步地，在上述方法中，所述人体特征点包括手腕特征点，所述手势方向包括左方向、中方向或右方向；

步骤S3中采用如下方法确定驾驶员执行当前手势时的手势方向：若执行当前手势的手的手腕特征点处于预先设定的左区域，则当前手势的方向为左方向；若执行当前手势的手的手腕特征点处于预先设定的中区域，则当前手势的方向为中方向；若执行当前手势的手的手腕特征点处于预先设定的右区域，则当前手势的方向为右方向。

通过手腕特征点和预先设定的左、中、右三个区域的位置关系，来判断当前手势的方向为左方向、中方向还是右方向，运算量小。

进一步地，在上述方法中，步骤S1中，通过如下步骤识别模拟驾驶培训区域图像内的驾驶员及对应驾驶员的手势区域：

S1.1、将模拟驾驶培训区域图像输入预先建立的目标检测模型中，输出该图像中的人员目标和手势区域；

S1.2、根据预先设定的驾驶员区域，确定所述人员目标中的驾驶员及对应驾驶员的手势区域；

所述目标检测模型的训练数据包括标定有人员目标和手势区域的模拟驾驶培训区域图像。

将学员在模拟驾驶训练时所处的区域作为模拟驾驶培训区域，获取该区域的图像，输入预先建立的目标检测模型，识别出图像中的人员目标以及各人员目标的手势区域，然后根据预先设定的驾驶员区域，从人员目标中判断出驾驶员，还从手势区域中确定出与驾驶员相关的手势区域。采用模型进行人员识别，便于实现，且易于对模型进行调整。

进一步地，在上述方法中，若模拟驾驶培训区域图像内存在多个人员目标和手势区域，获取对应各人员目标在驾驶员区域内的人体特征点个数，将对应人体特征点个数最大的人员目标作为驾驶员，将与人体特征点个数最大的人员目标相关的手势区域作为对应驾驶员的手势区域。

由于驾驶员区域主要是作为驾驶员进行驾驶所在的区域，因此该区域内非驾驶员的人员目标人员特征点显然更少，因此将对应人体特征点个数最大的人员目标作为驾驶员，还将与人体特征点个数最大的人员目标相关的手势区域作为对应驾驶员的手势区域，判断方法简单可靠。

本发明还提供一种模拟驾驶装置，包括用于采集模拟驾驶培训区域图像的图像采集器和与图像采集器通信连接的控制器，所述控制器包括处理器和存储器，处理器执行存储器中的指令实现上述的模拟驾驶姿态评价方法。

进一步地，在上述装置中，还包括与控制器连接的显示装置，用于显示对驾驶员模拟驾驶姿态评价的结果。

采用显示装置对模拟驾驶姿态评价的结果进行显示，易于教员和学员进行查看，可以有效地提高培训效率。

附图说明

图1为本发明方法实施例中模拟驾驶姿态评价方法的流程框图；

图2为本发明方法实施例中判断左右手的流程框图；

图3为本发明方法实施例中左手臂动作示意图；

图4为本发明方法实施例中图像坐标系示意图；

图5为本发明方法实施例中人体特征点示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。

方法实施例：

本发明的一种模拟驾驶姿态评价方法，通过摄像头对模拟驾驶装置进行拍摄，从而得到模拟驾驶培训区域图像作为待测图像，即学员在进行模拟驾驶时所在区域的图像，然后对待测图像进行处理分析，判断驾驶员(即正在训练的学员)是否在岗，若驾驶员在岗，则对待测图像中驾驶员的左右手进行识别，判断出正在做手比动作的手，然后根据驾驶员的人体特征点，判断该手正在执行的手比动作是否符合操作要求。

本实施例中，摄像头可以安装在模拟驾驶装置的舱体内左上方或右上方的位置，也可以安装在模拟驾驶装置的操作台上，采用摄像头支架将摄像头固定在模拟驾驶装置上，当驾驶员在模拟驾驶训练时，保证摄像头的拍摄区域能够完全覆盖驾驶员的操作区域。

以安装在舱体内左上方的摄像头为例，对一次模拟驾驶操作过程中的模拟驾驶姿态进行识别，如图1和图2所示，包括如下步骤：

1)采集驾驶员座位及其周围环境的图像作为模拟驾驶培训区域图像，即驾驶区域图像，通过预先建立的目标检测模型，从驾驶区域图像中提取出全部的人员目标及所有人员的手势区域。如图3所示，手势区域包为囊括手掌以及部分手臂在内的区域。

本实施例中，目标检测模型采用yolo目标检测模型，并采用标定有人员目标和手势区域的驾驶区域图像划分训练集和测试集，通过训练集和测试集对目标检测模型进行训练和测试。作为其他实施方式，也可采用两个目标检测模型，一个用于对驾驶区域图像中的人员目标进行识别，另一个用于对驾驶区域图像中的手势区域进行识别。

2)根据先验知识或者区域拟合，将在机车模拟驾驶时驾驶员所处的区域作为预定的驾驶员区域，如果从驾驶区域图像中提取的人员目标处于驾驶员区域以外，则删除驾驶员区域以外的人员目标，以及驾驶员区域以外人员目标的手势区域；如果从驾驶区域图像中提取的人员目标处于驾驶员区域以内，则保留驾驶员区域以内的人员目标，以及与驾驶员区域内人员目标相关的手势区域。

3)还能根据步骤2)判断驾驶员区域内是否存在人员目标，来判断驾驶员的岗位状态。若驾驶员区域内不存在人员目标，则认为驾驶员处于离岗状态，返回步骤1)进行重新检测；若驾驶员区域内存在人员目标，则认为驾驶员处于在岗状态，执行步骤4)。

4)通过人体姿态识别算法检测驾驶员区域内人员目标的人体特征点，计算出各人员目标落在驾驶员区域内的人体特征点个数，保留人体特征点个数最大的人员目标作为驾驶员，若只有一个人员目标，则该人员目标为驾驶员。通过比较人员目标的人体特征点个数，可以只保留驾驶员的人员特征点信息，从而消除在手势判断时，其他无关人员的手势对驾驶员手势的影响。本实施例中，人体姿态识别算法采用openpose算法。

5)通过如图2所示的左右手判断流程，对驾驶员在模拟驾驶时做手势的手进行判断。从驾驶员的人员特征点信息中提取左手腕特征点、右手腕特征点，以判断处于手势区域内的做手势的手是左手还是右手。若左手腕特征点在手势区域内，而右手腕特征点不在手势区域内，则正在做手势的手为左手；若右手腕特征点在手势区域内，而左手腕特征点不在手势区域内，则正在做手势的手为右手；若左手腕特征点和右手腕特征点均处于手势区域内，计算左手臂(即左手腕特征点与左手肘特征点之间的连线)与手势区域重合部分的左手臂重叠面积S1，还计算右手臂(右手腕特征点与右手臂特征点之间的连线)与手势区域重合部分的右手臂重叠面积S2，若S1大于S2，则正在做手势的手为左手，否则为右手。

例如，如图3所示，左手腕特征点处于手势区域内，且右手腕特征点不在手势区域内，则当前做手势的手为左手。

6)根据先验知识，对手势区域进行划分，得到三个设定的左、中、右三个区域(分别用left_rect、middle_rect、right_rect表示)，以判断正在做手势的手朝向左边、右边或者中间。若正在做手势的手的手腕特征点处于设定的左区域，则正在做手势的手朝向左边，手势方向为左方向；若正在做手势的手的手腕特征点处于设定的中区域，则正在做手势的手朝向中间，手势方向为中方向；若正在做手势的手的手腕特征点处于设定的右区域，则正在做手势的手朝向右边，手势方向为右方向。

7)将驾驶员区域图像置于图4所示的图像坐标系中，通过判断手臂与坐标轴之间的夹角，来判断正在做手势的手朝上或朝下。图像坐标系的x轴方向向右，作为水平方向，y轴方向向下，作为竖直方向。

如图5所示为人体特征点示意图，本实施例中主要采用左臂特征点、右臂特征点和头部特征点对驾驶员的手势进行判断。其中左臂特征点包括左手腕特征点、左手肘特征点和左肩特征点，右臂特征点包括右手腕特征点、右手肘特征点和右肩特征点，头部特征点包括左右眼特征点、左右耳特征点、鼻特征点及脖颈特征点。

判断正在做手势的手的方向时，可通过方式一进行判断。方式一：计算小臂与

轴的夹角A，与设定的小臂判断阈值进行比较。本实施例中，以图像坐标系中手腕特征点与手肘特征点之间的连线代指小臂。若夹角A大于小臂判断阈值，则正在做手比动作的手方向朝上，即手势方向朝上，否则方向朝下。

小臂判断阈值通过如下方法获取：获取大量驾驶员区域图像，放置于如图4所示的坐标系中，采集多个小臂与x轴的夹角A1、A2、…、An；将A1、A2、…、An按照2°-5°的区间进行直方图统计，直方图的横坐标为角度，纵坐标对应各角度出现的频数；计算每个角度区间内各角度的频数的均值，并将计算出的均值按照高斯分布顺序进行排序；取中间三个夹角或两个夹角的均值作为小臂判断阈值。

作为其他实施方式，判断正在做手势的手的方向时，还可通过方式二进行判断。方式二：计算长臂与

轴的夹角B，与设定的长臂判断阈值进行比较。本实施例中，以图像坐标系中手腕特征点与肩特征点之间的连线代指长臂。若夹角B大于长臂判断阈值，则正在做手势的手方向朝上，即手势方向朝上，否则方向朝下。当手势区域处于中区域与左区域形成的交叉区域，或者中区域与右区域形成的交叉区域时，采用本实施方式，可提高模拟驾驶姿态识别的准确度。长臂判断阈值的获取方法与小臂判断阈值相似，具体为：获取大量驾驶员区域图像，放置于如图4所示的坐标系中，采集多个小臂与x轴的夹角B1、B2、…、Bn；将B1、B2、…、Bn按照2°-5°的区间进行直方图统计；计算每个角度区间内各角度的频数的均值，并将计算出的均值按照高斯分布顺序进行排序；取中间三个夹角或两个夹角的均值作为长臂判断阈值。

作为其他实施方式，判断正在做手势的手的方向时，还可通过方式三进行判断。方式三：计算手腕特征点与头部特征点之间的连线与

轴的夹角/>

与设定的第一判断阈值进行比较。若夹角/>

大于第一判断阈值，则正在做手势的手的方向朝上，即手势方向朝上，否则方向朝下。第一判断阈值的获取方法与小臂判断阈值相似，具体为：获取大量驾驶员区域图像，放置于如图4所示的坐标系中，采集多个小臂与x轴的夹角C1、C2、…、Cn；将C1、C2、…、Cn按照2°-5°的区间进行直方图统计；计算每个角度区间内各角度的频数的均值，并将计算出的均值按照高斯分布顺序进行排序；取中间三个夹角或两个夹角的均值作为第一判断阈值。

本实施例中，由于头部特征点中的左右眼特征点、左右耳特征点及鼻特征点，容易受到扭头的影响，会引起较大的判断误差，因此头部特征点采用脖颈特征点。

作为其他实施方式，判断正在做手势的手的方向时，还可通过方式四进行判断。方式四：计算左、右手腕特征点与左、右肩特征点之间的水平方向、垂直方向的距离，根据距离判断上下。以正在做手势的左手为例，具体的判断过程为：在图像坐标系中，获取左手腕特征点的坐标(x1,y1)和左肩特征点的坐标(x2,y2)，计算x1与x2的差值d1作为左手腕特征点与左肩特征点在水平方向(即图像坐标系的

轴方向)上的距离，计算y1与y2的差值d2作为左手腕特征点与左肩特征点在垂直方向(即图像坐标系的/>

轴方向)上的距离。若x1大于x2，则差值d1为正数，若x1小于x2，则差值d1为负数；若y1大于y2，则差值d2为正数，若y1小于/>

2，则差值d2为负数。将差值d1与设定的阈值D1(D1为正数)比较，并将差值d2与设定的阈值D2(D2为正数)比较，当d1、d2均为正数，若d1大于D1且d2大于D2，则正在做手势的左手方向朝上，即手势方向朝上；当d1、d2均为负数，若d1的绝对值大于D1且d2的绝对值大于D2，则正在做手势的左手方向朝下，即手势方向朝下。

作为其他实施方式，还可通过方式四进行判断。方式四：统计一定数量的点，例如手腕特征点或识别框的中心点，根据手腕特征点或手势区域的识别框中心点的横纵坐标判断上下。

以手腕特征点为例，通过对手腕特征点坐标的实验数据进行拟合，得出设计曲线S1和S2，在横坐标相同的情况下，设计曲线S1上各点的纵坐标小于设计曲线S2上各点的纵坐标，手腕特征点处于设计曲线S1和S2之间的区域。

本实施例中，拟合设计曲线S1和S2时，可以通过获取大量历史实验数据，根据历史实验数据中手势方向朝上的各手腕特征点和手势区域中心点的分布情况进行拟合，历史实验数据中的点分布在拟合出的设计曲线S1两侧。采用同样的方法拟合设计曲线S2。

此外，拟合设计曲线S1和S2时，可以通过获取大量历史实验数据，根据历史实验数据中各手腕特征点和手势区域中心点的分布情况进行拟合，历史实验数据中的点分布在拟合出的设计曲线S1和设计曲线S2的中间区域。

具体的判断方法为：分别计算手腕特征点与设计曲线S1和设计曲线S2的距离s1和s2，若s1小于s2，则正在做手势的手方向朝上，即手势方向朝上，否则方向朝下。

考虑到摄像头的位置对识别结果的影响，还可通过方式五进行判断。方式五：如果摄像头与驾驶员位置之间的水平夹角小于设定角度，例如45°，则根据方式四中计算出的s1和s2进行如下判断。计算s1和s2的差值s3，在s3的绝对值大于等于5时，若s1小于s2，则正在做手势的手方向朝上，否则方向朝下；在s3的绝对值小于5时，说明手腕特征点处于设计曲线S1和S2之间的中间区域，此时若手腕特征点处于设定的中区域，则采用方式四进行判断，此时若手腕特征点处于设定的左区域或设定的右区域，则采用方式一、方式二或方式三进行判断。

结合步骤6)和步骤7)的判断结果，可以确定出学员在模拟驾驶时，做出的手势方向为左上、左下、中上、中下、右上或右下，从而便于学员或教员对做出的手势进行评价，形成对模拟驾驶姿态评价的最终结果。

装置实施例：

本发明还提供一种模拟驾驶装置，包括模拟驾驶舱和操作台，操作台设置在模拟驾驶舱的舱体内部，用于模拟驾驶操作。模拟驾驶装置还包括用于对驾驶员的模拟驾驶姿态进行监控和评价的智能评价系统，智能评价系统包括用于监控的图像采集器，图像采集器采用摄像头，摄像头安装在舱体内部的左上方和右上方，或者通过摄像头支架固定安装在操作台上，摄像头的摄像区域覆盖驾驶员的操作区域，防止漏拍。

智能评价系统还包括控制器和显示装置，控制器包括处理器、存储器和内部总线，处理器和存储器之间通过内部总线进行数据交互。控制器通过对摄像头拍摄的驾驶区域图像进行分析处理，完成对学员的模拟驾驶姿态进行评价，在进行模拟驾驶姿态评价时，采用方法实施例中的模拟驾驶姿态评价方法，关于该方法的步骤在方法实施例中已经介绍的清楚明白，此处不再赘述。在对学员的模拟驾驶姿态评价完成后，控制器将本次评价的结果发送至显示装置进行显示，便于教员或学员查看，显示装置采用液晶显示屏。

Claims (10)

1.一种模拟驾驶姿态评价方法，其特征在于，包括如下步骤：

S1、通过图像采集装置获取模拟驾驶培训区域图像，识别模拟驾驶培训区域图像内的驾驶员及对应驾驶员的手势区域；

S2、提取驾驶员的人体特征点，根据人体特征点与手势区域的位置关系，对驾驶员执行当前手势的手进行判断，确定出驾驶员执行当前手势的手为左手或右手；

S3、根据人体特征点或手势区域特征点，确定驾驶员执行当前手势时的手势方向，根据手势方向对模拟驾驶姿态进行评价。

2.根据权利要求1所述的模拟驾驶姿态评价方法，其特征在于，所述人体特征点包括左手腕特征点、右手腕特征点、左手肘特征点和右手肘特征点；

步骤S2中采用如下方法对驾驶员执行当前手势的手进行判断：若左手腕特征点处于手势区域且右手腕特征点不在手势区域，则驾驶员执行当前手势的手为左手；若右手腕特征点处于手势区域且左手腕特征点不在手势区域，则驾驶员执行当前手势的手为右手；若左手腕特征点和右手腕特征点均处于手势区域，计算左手臂方向与手势区域的左手臂重叠面积和右手臂方向与手势区域的右手臂重叠面积，若左手臂重叠面积大于右手臂重叠面积，则驾驶员执行当前手势的手为左手，否则驾驶员执行当前手势的手为右手；

利用左手腕特征点与左手肘特征点得到所述左手臂方向，利用右手腕特征点与右手肘特征点得到所述右手臂方向。

3.根据权利要求1所述的模拟驾驶姿态评价方法，其特征在于，所述手势方向包括朝上或朝下，所述手势区域特征点包括手势区域中心点；步骤S3中，通过如下方法确定驾驶员执行当前手势时的手势方向：根据预先获取的第一设计曲线和第二设计曲线，计算与当前手势相关的手腕特征点/手势区域中心点与第一设计曲线之间的第一距离，还计算与当前手势相关的手腕特征点与第二设计曲线之间的第二距离；若第一距离大于第二距离，则当前手势方向朝上，若第一距离小于第二距离，则当前手势的手势方向朝下；

第一设计曲线和第二设计曲线利用历史实验数据拟合得到：获取历史实验数据，所述历史实验数据包括在模拟驾驶培训区域图像中已确定好手势方向的手腕特征点或手势区域中心点，根据手腕特征点或手势区域中心点的分布情况拟合两条曲线，其中一条曲线用于表明手势方向朝上的各手腕特征点/手势区域中心点的分布情况，称为第一设计曲线，另一条曲线用于表明手势方向朝下的各手腕特征点/手势区域中心点的分布情况，称为第二设计曲线。

4.根据权利要求1所述的模拟驾驶姿态评价方法，其特征在于，所述手势方向包括朝上或朝下，所述手势区域特征点包括手势区域中心点；步骤S3中，通过如下方法确定驾驶员执行当前手势时的手势方向：在图像采集装置与驾驶员位置之间的水平夹角小于设定夹角时，根据预先获取的第一设计曲线和第二设计曲线，计算与当前手势相关的手腕特征点/手势区域中心点与第一设计曲线之间的第一距离，还计算与当前手势相关的手腕特征点/手势区域中心点与第二设计曲线之间的第二距离；计算第一距离与第二距离的差值，若该差值的绝对值大于设定数值，且第一距离大于第二距离，则当前手势的方向朝上；在该差值的绝对值小于设定数值时，若与当前手势相关的手腕特征点或手势区域中心点处于预先设定的中区域，则采用判断条件1确定驾驶员执行当前手势时的手势方向；若与当前手势相关的手腕特征点或手势区域中心点处于预先设定的左区域或预先设定的右区域，则采用判断条件2、判断条件3或判断条件4确定驾驶员执行当前手势时的手势方向；

第一设计曲线和第二设计曲线利用历史实验数据拟合得到：获取历史实验数据，所述历史实验数据包括在模拟驾驶培训区域图像中已确定好手势方向的手腕特征点或手势区域中心点，根据手腕特征点或手势区域中心点的分布情况拟合两条曲线，其中一条曲线用于表明手势方向朝上的各手腕特征点/手势区域中心点的分布情况，称为第一设计曲线，另一条曲线用于表明手势方向朝下的各手腕特征点/手势区域中心点的分布情况，称为第二设计曲线；

判断条件1、判断条件2、判断条件3和判断条件4及相应的判断结果如下：

判断条件1：计算所述手腕特征点与对应手腕特征点的肩特征点之间的水平距离和竖直距离，在所述水平距离和竖直距离均大于零时，若水平距离大于第一水平阈值且竖直距离大于第一竖直阈值，则当前手势的手势方向朝上；在所述水平距离和竖直距离均小于零时，若水平距离的绝对值大于第一水平阈值且竖直距离的绝对值大于第一竖直阈值，则当前手势的手势方向朝下；所述第一水平阈值和第一竖直阈值均大于零；

判断条件2：将小臂与模拟驾驶培训区域图像水平方向之间的夹角作为小臂角度，若小臂角度大于设定的小臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下；将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的手肘特征点之间的连线作为所述小臂；

判断条件3：将长臂与模拟驾驶培训区域图像水平方向之间的夹角作为长臂角度，若长臂角度大于设定的长臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下，将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的肩特征点之间的连线作为所述长臂；

判断条件4：若人体特征点中与当前手势相关的手腕特征点和头部特征点之间的连线与模拟驾驶培训区域图像水平方向之间的夹角大于第一设定阈值，则当前手势的方向朝上，否则当前手势的方向朝下。

5.根据权利要求1所述的模拟驾驶姿态评价方法，其特征在于，所述手势方向包括朝上和朝下，步骤S3中，采用如下判断条件中的其中一个确定驾驶员执行当前手势时的手势方向，每个判断条件及相应的判断结果如下：

判断条件一：将小臂与模拟驾驶培训区域图像水平方向之间的夹角作为小臂角度，若小臂角度大于设定的小臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下；将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的手肘特征点之间的连线作为所述小臂；

判断条件二：将长臂与模拟驾驶培训区域图像水平方向之间的夹角作为长臂角度，若长臂角度大于设定的长臂角度阈值，则当前手势的方向朝上，否则当前手势的方向朝下，将人体特征点中与当前手势相关的手腕特征点和与手腕特征点对应的肩特征点之间的连线作为所述长臂；

判断条件三：若人体特征点中与当前手势相关的手腕特征点和头部特征点之间的连线与模拟驾驶培训区域图像水平方向之间的夹角大于第一设定阈值，则当前手势的方向朝上，否则当前手势的方向朝下。

6.根据权利要求1所述的模拟驾驶姿态评价方法，其特征在于，所述人体特征点包括手腕特征点，所述手势方向包括左方向、中方向或右方向；

步骤S3中采用如下方法确定驾驶员执行当前手势时的手势方向：若执行当前手势的手的手腕特征点处于预先设定的左区域，则当前手势的方向为左方向；若执行当前手势的手的手腕特征点处于预先设定的中区域，则当前手势的方向为中方向；若执行当前手势的手的手腕特征点处于预先设定的右区域，则当前手势的方向为右方向。

7.根据权利要求1所述的模拟驾驶姿态评价方法，其特征在于，步骤S1中，通过如下步骤识别模拟驾驶培训区域图像内的驾驶员及对应驾驶员的手势区域：

S1.1、将模拟驾驶培训区域图像输入预先建立的目标检测模型中，输出该图像中的人员目标和手势区域；

S1.2、根据预先设定的驾驶员区域，确定所述人员目标中的驾驶员及对应驾驶员的手势区域；

所述目标检测模型的训练数据包括标定有人员目标和手势区域的模拟驾驶培训区域图像。

8.根据权利要求7所述的模拟驾驶姿态评价方法，其特征在于，若模拟驾驶培训区域图像内存在多个人员目标和手势区域，获取对应各人员目标在驾驶员区域内的人体特征点个数，将对应人体特征点个数最大的人员目标作为驾驶员，将与人体特征点个数最大的人员目标相关的手势区域作为对应驾驶员的手势区域。

9.一种模拟驾驶装置，其特征在于，包括用于采集模拟驾驶培训区域图像的图像采集器和与图像采集器通信连接的控制器，所述控制器包括处理器和存储器，处理器执行存储器中的指令实现权利要求1-9任一项所述的模拟驾驶姿态评价方法。

10.根据权利要求9的模拟驾驶装置，其特征在于，还包括与控制器连接的显示装置，用于显示对驾驶员模拟驾驶姿态评价的结果。

Images