CN115202479A - 人在回路的人机共驾仿真系统及其应用 - Google Patents

人在回路的人机共驾仿真系统及其应用 Download PDF

Info

Publication number
CN115202479A
CN115202479A CN202210830472.4A CN202210830472A CN115202479A CN 115202479 A CN115202479 A CN 115202479A CN 202210830472 A CN202210830472 A CN 202210830472A CN 115202479 A CN115202479 A CN 115202479A
Authority
CN
China
Prior art keywords
driving
simulation
driver
sensor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210830472.4A
Other languages
English (en)
Inventor
苏远歧
李妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210830472.4A priority Critical patent/CN115202479A/zh
Publication of CN115202479A publication Critical patent/CN115202479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种人在回路的人机共驾仿真系统及其应用，该系统包括仿真驾驶模拟器、驾驶舱、环幕、眼动仪传感器和Kinect传感器；仿真驾驶模拟器利用仿真驾驶模拟软件内的道路交通环境数据集，构建高保真度的仿真交通环境，并显示在环幕上；驾驶舱由模拟方向盘、模拟脚踏板以及驾驶员组成；环幕为一种环境视听模拟设备；眼动仪传感器用于捕捉驾驶员在驾驶过程中的注视点；Kinect传感器用于捕捉驾驶员在驾驶过程中的姿态。本发明还公开了人在回路的人机共驾仿真系统构建模拟驾驶数据集的方法以及构建的模拟驾驶数据集的使用方法，其中模拟驾驶数据集中除了车外驾驶环境数据，还加入了驾驶员的行为数据和决策数据。

Description

人在回路的人机共驾仿真系统及其应用
技术领域
本发明属于人在回路的人机共驾技术领域，具体涉及人在回路的人机共驾仿真系统及其应用。
背景技术
人机共驾作为人在回路的一个典型应用场景，通过将人的高级认知与推理能力与机器智能相组合实现智能的增强，这其中对驾驶员行为的理解是实现智能增强的关键技术之一，采集车外场景、驾驶员行为的同步数据并构建面向人机共驾的数据集是发展人在回路混合增强智能的重要基础。目前的驾驶数据集主要集中在场景数据上，驾驶员数据的缺乏限制了人机共驾系统了解驾驶员内部状态的能力。
发明内容
为了克服上述现有技术存在的问题，本发明的目的在于提供一种人在回路的人机共驾仿真系统及其应用，人在回路的人机共驾仿真系统是一种通过虚拟仿真的手段，利用仿真驾驶模拟器、驾驶舱、环境视听模拟设备及相关人车检测设备，重现“人-车-环境”在车辆驾驶中的相互作用的新型测试系统。在此基础上，提出了一种针对驾驶员行为和场景内容的数据采集方案，并构建了相应的数据集并对数据集如何使用进行了说明。
为了达到上述目的，本发明采用以下技术方案：
一种人在回路的人机共驾仿真系统，包括仿真驾驶模拟器、驾驶舱、环幕、眼动仪传感器和Kinect传感器；
仿真驾驶模拟器，利用仿真驾驶模拟软件内的道路交通环境数据集，构建高保真度的仿真交通环境，并显示在环幕上；要求仿真驾驶模拟器能够模拟RGB传感器和深度传感器；
驾驶舱，由模拟方向盘、模拟脚踏板以及驾驶员组成；
环幕，为一种环境视听模拟设备；
眼动仪传感器，用于捕捉驾驶员在驾驶过程中的注视点；
Kinect传感器，用于捕捉驾驶员在驾驶过程中的姿态。
优选的，所述驾驶舱与环幕的距离为三米，驾驶舱始终正对着环幕的中部位置；Kinect传感器放置在驾驶员的左前方两米的位置。
基于所述的人在回路的人机共驾仿真系统构建模拟驾驶数据集的方法，包括以下步骤：
S1、基于人在回路的人机共驾仿真系统采集模拟驾驶数据；
S2、对模拟驾驶数据进行处理；
S3、构建模拟驾驶数据集，同一次采集到的数据经过处理后都必须存储在同一个文件夹中，且每种类型的数据在时序上相互对应。
进一步的，步骤S1具体为：
S101、启动仿真驾驶模拟器：在主机上启动仿真驾驶模拟器的服务端，在服务端上设置好驾驶环境信息；启动仿真驾驶模拟器的客户端连接到服务端上；
S102、按序启动各类传感器：先开启Kinect传感器，再同时开启眼动仪传感器和仿真驾驶模拟器内部的传感器；
S103、模拟驾驶数据的采集：仿真驾驶模拟器中的RGB传感器和深度传感器记录车外驾驶环境数据，眼动仪传感器记录驾驶员的注视点数据，Kinect传感器记录驾驶员的动作数据，仿真驾驶模拟器记录驾驶员对方向盘、油门和刹车的连续控制值、实时位置以及模拟环境中的地图数据，以及记录每种数据的时间戳；
S104、按序关闭各类传感器：等到一个片段的收集时间结束时，先关闭仿真驾驶模拟器内部的传感器，再关闭眼动仪传感器和Kinect传感器。
进一步的，步骤S2具体为：
S201、模拟驾驶数据时间对齐处理：时间对齐处理即时间配准是以某一种帧率最低的传感器作为核心传感器，逐条遍历核心传感器的记录时间，再逐条遍历其他传感器的记录时间，找到在误差值范围内的记录时间，最后根据该时间找到对应的图像，从而达到时间上的配准；
以下S202-S204按任意顺序进行；
S202、模拟驾驶数据空间配准处理：将眼动仪传感器采集的图像和仿真驾驶模拟器中RGB传感器采集的图像进行空间配准处理，得到带有注视点的车前方道路图像；
S203、驾驶员姿态标注处理，得到驾驶员上体姿态图像；
S204、带路径粗粒度地图形成。
进一步的，步骤S202中模拟驾驶数据空间配准处理的步骤具体为：
S2021、特征点检测，使用任一特征点检测算法；
S2022、特征点匹配，使用任一特征点匹配算法；
S2023、单应性矩阵变换：利用特征点匹配算法得到的匹配点对，计算出眼动仪传感器采集的图像和仿真驾驶模拟器中RGB传感器采集的图像的单应性矩阵，再根据计算得到的单应性矩阵对眼动仪采集的原始图像进行单应性变换；
S2024、注视点提取：通过注视点的颜色和形状对注视点进行定位；
S2025、带注视点的车前方道路图像质量检测：在进行图像质量检测时会对上一个注视点进行缓存，当图像中注视点的质量不合格(如无注视点或者注视点不完成)时，就沿用上一个注视点。
进一步的，步骤S203中驾驶员姿态标注处理的步骤具体为：
S2031、利用人体姿态识别与检测算法对Kinect传感器采集的驾驶员上体姿态图像进行姿态标注；
S2032、对标注后的图像进行剪裁，仅保留驾驶员的上体姿势部分；
进一步的，步骤S204中带路径粗粒度地图形成的步骤具体为：
S2041、将location.txt中记录的驾驶员当前位置作为黑色画布最下面的中心点，筛选在该图像内的topology.txt中记录的航路点，将符合条件的航路点绘制成白色通路到黑色画布中，得到无路径的局部粗粒度地图；
S2042、将location.txt中记录的驾驶车辆在行驶过程中的实时位置绘制成由实心点组成的通路到无路径的局部粗粒度地图中，获得了带路径的粗粒度地图。
所构建的模拟驾驶数据集的使用方法，包括以下步骤：
S1、给模拟驾驶数据集的数据打上标签，使用一段连续的动作序列来对驾驶员的行为进行理解；每一段连续的动作序列的类别即标签应该设为该段动作序列后一张图像所代表的动作的类别；驾驶员在驾驶汽车的过程中的动作从控制汽车转向分为直行、左转和右转，从控制汽车的速度分为保持速度、紧急制动和停滞状态；对仿真驾驶模拟器收集到的车辆控制参数进行处理，然后根据车辆控制参数对某个时刻的动作进行分类；
S2、使用模拟驾驶数据集训练循环神经网络模型；
进一步的，步骤S2具体为：
当模拟驾驶数据集只包含车辆相关的环境信息即驾驶场景数据，测试此时训练的循环神经网络模型的控制效果；当模拟驾驶数据集不仅包含车辆相关的环境信息，还加入了人类驾驶员相关的动作行为信息，验证人机交互协同能不能实现控制的增强；
对于人类驾驶员相关的动作行为数据的加入方式，利用卷积神经网络分别对人类驾驶员相关的动作行为的图像和汽车周围场景图像进行特征提取，提取到的特征向量直接拼接，进而进行下一步的训练操作；或对人类驾驶员相关的动作行为数据进行单独处理，得到一个One-Hot类型的驾驶员命令，在没有驾驶员命令时会有一个默认命令；将驾驶员命令视为开关选择相应的子模块，所有子模块共享感知流，进而生成转向动作和加减速动作。
和现有技术相比较，本发明具备如下优点：
现有的较为流行的驾驶场景数据集如KITTI数据集和Cityscapes数据集仅涉及车外驾驶场景的图像数据，无法运用于人机共驾的辅助驾驶场景中。为了填补该类数据集的缺失，本发明构建一个人机共驾仿真系统，基于该系统采集车外驾驶环境数据、驾驶员的行为数据和决策数据，并提供一个完整的构建单类图像超三十五万张的涵盖不同天气情况的城市、郊区、乡村和高速公路等15类场景以及跟随、变道、转弯及超车等任务的模拟驾驶数据集的方法，以及对该模拟驾驶数据集的使用方法。
附图说明
图1为基于仿真驾驶模拟器的人在回路仿真系统；
图2为模拟驾驶环境的空间布局；
图3为时间对齐原理示意图；
图4为驾驶员上体姿态图像的处理过程；
图5为带路径粗粒度地图的形成过程；
图6为训练神经网络模型(推荐使用循环神经网络进行训练)的过程，测试人的监测与内外部状态对模型的提升效果；开关未关闭时，测试未加入人的行为数据时该神经网络模型的控制效果；开关关闭时，验证是否能通过人机交互协同实现控制的增强；
图7为利用分支结构加入人类驾驶员行为数据，可以用来测试人的监测与内外部状态对神经网络模型(推荐使用循环神经网络进行训练)的提升效果。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
本发明人在回路的人机共驾仿真系统的组成如图1所示，包括任一仿真驾驶模拟器、驾驶舱、环幕、眼动仪传感器和Kinect传感器；
仿真驾驶模拟器，利用仿真驾驶模拟软件内的道路交通环境数据集，构建一个高保真度的仿真交通环境，并显示在环幕上；要求仿真驾驶模拟器可以模拟RGB传感器和深度传感器；
驾驶舱，由模拟方向盘、模拟脚踏板以及驾驶员组成；
环幕，为一种环境视听模拟设备；
眼动仪传感器，用于捕捉驾驶员在驾驶过程中的注视点；
Kinect传感器，用于捕捉驾驶员在驾驶过程中的姿态。
人在回路的人机共驾仿真系统的空间布局如图2所示，对环幕、驾驶舱、Kinect传感器的位置进行规定；规定驾驶舱与环幕的距离为三米，驾驶舱始终正对着环幕的中部位置；Kinect传感器放置在驾驶员的左前方两米的位置。
本发明的另一个技术方案是，基于人在回路的人机共驾仿真系统构建模拟驾驶数据集的方法，包括以下步骤：
S1、基于人在回路的人机共驾仿真系统采集模拟驾驶数据；
S2、对模拟驾驶数据进行处理；
S3、构建模拟驾驶数据集，同一次采集到的数据经过处理后都必须存储在同一个文件夹中，且每种类型的数据在时序上相互对应；
具体的，步骤S1具体为：
S101、启动仿真驾驶模拟器：在主机上启动仿真驾驶模拟器的服务端，在服务端上设置好驾驶环境信息；启动仿真驾驶模拟器的客户端连接到服务端上；
S102、按序启动各类传感器：先开启Kinect传感器，再同时开启眼动仪传感器和仿真驾驶模拟器内部的传感器；
S103、模拟驾驶数据的采集：仿真驾驶模拟器中的RGB传感器和深度传感器记录车外驾驶环境数据，眼动仪传感器记录驾驶员的注视点数据，Kinect传感器记录驾驶员的动作数据，仿真驾驶模拟器记录驾驶员对方向盘、油门和刹车的连续控制值、实时位置以及模拟环境中的地图数据，以及记录每种数据的时间戳；
S104、按序关闭各类传感器：等到一个片段的收集时间结束时，先关闭仿真驾驶模拟器内部的传感器，再关闭眼动仪传感器和Kinect传感器。
具体的，步骤S2具体为：
S201、模拟驾驶数据时间对齐处理：时间对齐处理即时间配准方法的基本原理如图3所示，是以某一种帧率最低的传感器作为核心传感器，逐条遍历核心传感器的记录时间，再逐条遍历其他传感器的记录时间，找到在误差值范围内的记录时间，最后根据该时间找到对应的图像，从而达到时间上的配准；如图3中，以仿真驾驶模拟器内部的RGB传感器作为核心传感器，逐条遍历眼动仪传感器和Kinect传感器的记录时间。
(S202-S204可以按任意顺序进行)
S202、模拟驾驶数据空间配准处理：将眼动仪传感器采集的图像和仿真驾驶模拟器中RGB传感器采集的图像进行空间配准处理，得到带有注视点的车前方道路图像；
S203、驾驶员姿态标注处理，得到驾驶员上体姿态图像；
S204、带路径粗粒度地图形成；
进一步的，步骤S202中模拟驾驶数据空间配准处理的步骤具体为：
S2021、特征点检测，使用任一特征点检测算法；
S2022、特征点匹配，使用任一特征点匹配算法；
S2023、单应性矩阵变换：利用特征点匹配算法得到的匹配点对，计算出眼动仪传感器采集的图像和仿真驾驶模拟器中RGB传感器采集的图像的单应性矩阵，再根据计算得到的单应性矩阵对眼动仪采集的原始图像进行单应性变换；
S2024、注视点提取：通过注视点的颜色和形状对注视点进行定位；
S2025、带注视点的车前方道路图像质量检测：在进行图像质量检测时会对上一个注视点进行缓存，当图像中注视点的质量不合格(如无注视点或者注视点不完成)时，就沿用上一个注视点。
如图4所示，进一步的，步骤S203中驾驶员姿态标注处理的步骤具体为：
S2031、利用人体姿态识别与检测算法对Kinect传感器采集的驾驶员上体姿态图像进行姿态标注；
S2032、对标注后的图像进行剪裁，仅保留驾驶员的上体姿势部分；
如图5所示，进一步的，步骤S204中带路径粗粒度地图形成的步骤具体为：
S2041、将location.txt中记录的驾驶员当前位置作为黑色画布最下面的中心点，筛选在该图像内的topology.txt中记录的航路点，将符合条件的航路点绘制成白色通路到黑色画布中，得到无路径的局部粗粒度地图；
S2042、将location.txt中记录的驾驶车辆在行驶过程中的实时位置绘制成由实心点组成的通路到无路径的局部粗粒度地图中，获得了带路径的粗粒度地图。
本发明的另一个技术方案是，模拟驾驶数据集使用方法，其特征在于，包括以下步骤：
S1、给模拟驾驶数据集的数据打上标签，使用一段连续的动作序列来对驾驶员的行为进行理解；每一段连续的动作序列的类别即标签应该设为该段动作序列后一张图像所代表的动作的类别；
S2、使用模拟驾驶数据集训练一个神经网络模型(因为驾驶员的动作是一个连续的动作序列，所以推荐使用循环神经网络模型进行训练)；
具体的，步骤S1具体为：
驾驶员在驾驶汽车的过程中的动作从控制汽车转向上可分为直行、左转和右转，从控制汽车的速度来分可分为保持速度、紧急制动和停滞状态；对仿真驾驶模拟器收集到的车辆控制参数进行处理，然后根据车辆控制参数对某个时刻的动作进行分类即对某个时刻的操作打上标签；转向标签和速度标签的分类标准分别如表1、表2所示；
表1：转向标签分类标准
Figure BDA0003748059130000101
表2：速度标签分类标准
Figure BDA0003748059130000102
其中，表1和表2中steerCmd、throttleCmd和brakeCmd是仿真驾驶模拟器记录的车辆控制参数，steerCmd是方向盘的转向控制参数，值域为[-1,1]；throttleCmd是车辆的油门控制参数，值域为[0,1]；brakeCmd是车辆的刹车控制参数，值域为[0,1]。location_x[i]和location_y[i]是仿真驾驶模拟器记录的车辆在i时刻位置的x坐标和y坐标，location_x[i-1]和location_y[i-1]是仿真驾驶模拟器记录的车辆在i-1时刻位置的x坐标和y坐标。
模拟驾驶数据集提供了驾驶模拟器记录的原始车辆控制值——方向盘控制值、油门控制值、转向控制值，可以根据需要制作相应的标签。
对于模拟驾驶数据集样本分布不均衡的问题可以通过在使用损失函数时给样本添加权重的方式解决。
具体的，步骤S2具体为：
如图6所示，当模拟驾驶数据集只包含车辆相关的环境信息即驾驶场景数据，测试此时训练的循环神经网络模型的控制效果；当模拟驾驶数据集不仅包含车辆相关的环境信息，还加入了人类驾驶员相关的动作行为信息，验证人机交互协同能不能实现控制的增强；
对于人类驾驶员相关的动作行为数据的加入方式，可以利用卷积神经网络分别对人类驾驶员相关的动作行为的图像和汽车周围场景图像进行特征提取，提取到的特征向量直接拼接，进而进行下一步的训练操作；也可以如图7所示，对人类驾驶员相关的动作行为数据进行单独处理，得到一个One-Hot类型的驾驶员命令(如左转、直行、右转)，在没有驾驶员命令时会有一个默认命令；将驾驶员命令视为开关选择相应的子模块，所有子模块共享感知流，进而生成转向动作和加减速动作；这种分支结构相比于直接拼接场景特征和人行为特征，可以尽可能多的提取人类驾驶员行为数据的特征，使分支被迫学习对应不同驾驶员命令的子策略。

Claims (10)

1.一种人在回路的人机共驾仿真系统，其特征在于：包括仿真驾驶模拟器、驾驶舱、环幕、眼动仪传感器和Kinect传感器；
仿真驾驶模拟器，利用仿真驾驶模拟软件内的道路交通环境数据集，构建高保真度的仿真交通环境，并显示在环幕上；要求仿真驾驶模拟器能够模拟RGB传感器和深度传感器；
驾驶舱，由模拟方向盘、模拟脚踏板以及驾驶员组成；
环幕，为一种环境视听模拟设备；
眼动仪传感器，用于捕捉驾驶员在驾驶过程中的注视点；
Kinect传感器，用于捕捉驾驶员在驾驶过程中的姿态。
2.根据权利要求1所述的一种人在回路的人机共驾仿真系统，其特征在于：所述驾驶舱与环幕的距离为三米，驾驶舱始终正对着环幕的中部位置；Kinect传感器放置在驾驶员的左前方两米的位置。
3.基于权利要求1所述的人在回路的人机共驾仿真系统构建模拟驾驶数据集的方法，其特征在于：包括以下步骤：
S1、基于人在回路的人机共驾仿真系统采集模拟驾驶数据；
S2、对模拟驾驶数据进行处理；
S3、构建模拟驾驶数据集，同一次采集到的数据经过处理后都必须存储在同一个文件夹中，且每种类型的数据在时序上相互对应。
4.根据权利要求3所述的方法，其特征在于：步骤S1具体为：
S101、启动仿真驾驶模拟器：在主机上启动仿真驾驶模拟器的服务端，在服务端上设置好驾驶环境信息；启动仿真驾驶模拟器的客户端连接到服务端上；
S102、按序启动各类传感器：先开启Kinect传感器，再同时开启眼动仪传感器和仿真驾驶模拟器内部的传感器；
S103、模拟驾驶数据的采集：仿真驾驶模拟器中的RGB传感器和深度传感器记录车外驾驶环境数据，眼动仪传感器记录驾驶员的注视点数据，Kinect传感器记录驾驶员的动作数据，仿真驾驶模拟器记录驾驶员对方向盘、油门和刹车的连续控制值、实时位置以及模拟环境中的地图数据，以及记录每种数据的时间戳；
S104、按序关闭各类传感器：等到一个片段的收集时间结束时，先关闭仿真驾驶模拟器内部的传感器，再关闭眼动仪传感器和Kinect传感器。
5.根据权利要求3所述的方法，其特征在于：步骤S2具体为：
S201、模拟驾驶数据时间对齐处理：时间对齐处理即时间配准是以某一种帧率最低的传感器作为核心传感器，逐条遍历核心传感器的记录时间，再逐条遍历其他传感器的记录时间，找到在误差值范围内的记录时间，最后根据该时间找到对应的图像，从而达到时间上的配准；
以下S202-S204按任意顺序进行；
S202、模拟驾驶数据空间配准处理：将眼动仪传感器采集的图像和仿真驾驶模拟器中RGB传感器采集的图像进行空间配准处理，得到带有注视点的车前方道路图像；
S203、驾驶员姿态标注处理，得到驾驶员上体姿态图像；
S204、带路径粗粒度地图形成。
6.根据权利要求5所述的方法，其特征在于：步骤S202中模拟驾驶数据空间配准处理的步骤具体为：
S2021、特征点检测，使用任一特征点检测算法；
S2022、特征点匹配，使用任一特征点匹配算法；
S2023、单应性矩阵变换：利用特征点匹配算法得到的匹配点对，计算出眼动仪传感器采集的图像和仿真驾驶模拟器中RGB传感器采集的图像的单应性矩阵，再根据计算得到的单应性矩阵对眼动仪采集的原始图像进行单应性变换；
S2024、注视点提取：通过注视点的颜色和形状对注视点进行定位；
S2025、带注视点的车前方道路图像质量检测：在进行图像质量检测时会对上一个注视点进行缓存，当图像中注视点的质量不合格时，就沿用上一个注视点。
7.根据权利要求5所述的方法，其特征在于：步骤S203中驾驶员姿态标注处理的步骤具体为：
S2031、利用人体姿态识别与检测算法对Kinect传感器采集的驾驶员上体姿态图像进行姿态标注；
S2032、对标注后的图像进行剪裁，仅保留驾驶员的上体姿势部分。
8.根据权利要求5所述的方法，其特征在于：步骤S204中带路径粗粒度地图形成的步骤具体为：
S2041、将location.txt中记录的驾驶员当前位置作为黑色画布最下面的中心点，筛选在该图像内的topology.txt中记录的航路点，将符合条件的航路点绘制成白色通路到黑色画布中，得到无路径的局部粗粒度地图；
S2042、将location.txt中记录的驾驶车辆在行驶过程中的实时位置绘制成由实心点组成的通路到无路径的局部粗粒度地图中，获得了带路径的粗粒度地图。
9.权利要求3至8任一项构建的模拟驾驶数据集的使用方法，其特征在于，包括以下步骤：
S1、给模拟驾驶数据集的数据打上标签，使用一段连续的动作序列来对驾驶员的行为进行理解；每一段连续的动作序列的类别即标签应该设为该段动作序列后一张图像所代表的动作的类别；驾驶员在驾驶汽车的过程中的动作从控制汽车转向分为直行、左转和右转，从控制汽车的速度分为保持速度、紧急制动和停滞状态；对仿真驾驶模拟器收集到的车辆控制参数进行处理，然后根据车辆控制参数对某个时刻的动作进行分类；
S2、使用模拟驾驶数据集训练循环神经网络模型。
10.根据权利要求9所述的使用方法，其特征在于：步骤S2具体为：
当模拟驾驶数据集只包含车辆相关的环境信息即驾驶场景数据，测试此时训练的循环神经网络模型的控制效果；当模拟驾驶数据集不仅包含车辆相关的环境信息，还加入了人类驾驶员相关的动作行为信息，验证人机交互协同能不能实现控制的增强；
对于人类驾驶员相关的动作行为数据的加入方式，利用卷积神经网络分别对人类驾驶员相关的动作行为的图像和汽车周围场景图像进行特征提取，提取到的特征向量直接拼接，进而进行下一步的训练操作；或对人类驾驶员相关的动作行为数据进行单独处理，得到一个One-Hot类型的驾驶员命令，在没有驾驶员命令时会有一个默认命令；将驾驶员命令视为开关选择相应的子模块，所有子模块共享感知流，进而生成转向动作和加减速动作。
CN202210830472.4A 2022-07-15 2022-07-15 人在回路的人机共驾仿真系统及其应用 Pending CN115202479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210830472.4A CN115202479A (zh) 2022-07-15 2022-07-15 人在回路的人机共驾仿真系统及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210830472.4A CN115202479A (zh) 2022-07-15 2022-07-15 人在回路的人机共驾仿真系统及其应用

Publications (1)

Publication Number Publication Date
CN115202479A true CN115202479A (zh) 2022-10-18

Family

ID=83581796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210830472.4A Pending CN115202479A (zh) 2022-07-15 2022-07-15 人在回路的人机共驾仿真系统及其应用

Country Status (1)

Country Link
CN (1) CN115202479A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117519487A (zh) * 2024-01-05 2024-02-06 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117519487A (zh) * 2024-01-05 2024-02-06 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统
CN117519487B (zh) * 2024-01-05 2024-03-22 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统

Similar Documents

Publication Publication Date Title
CN111566664B (zh) 用于生成用于机器学习的合成图像数据的方法、设备和系统
CN108921200A (zh) 用于对驾驶场景数据进行分类的方法、装置、设备和介质
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN106781823A (zh) 基于头部位姿感知的智能驾驶训练系统及方法
US20210356968A1 (en) Scenario identification for validation and training of machine learning based models for autonomous vehicles
CN109461342B (zh) 一种用于无人驾驶机动车的教学系统及其教学方法
CN112906617B (zh) 一种基于手部检测的驾驶员异常行为识别方法与系统
CN109278753B (zh) 一种基于驾驶员视觉可见信息的智能车辆辅助驾驶方法
Tanprasert et al. Recognizing traffic black spots from street view images using environment-aware image processing and neural network
CN110348463A (zh) 用于识别车辆的方法和装置
CN112629874A (zh) 一种智能网联汽车交通标志感知能力测试装置
CN106203296A (zh) 一种属性辅助的视频动作识别方法
CN110930811B (zh) 一种适用于无人驾驶决策学习和训练的系统
CN111680736A (zh) 一种基于虚拟现实的人工智能行为分析模型训练系统及其方法
CN109886338A (zh) 一种智能汽车测试图像标注方法、装置、系统及存储介质
CN115202479A (zh) 人在回路的人机共驾仿真系统及其应用
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
Meftah et al. Deep residual network for autonomous vehicles obstacle avoidance
CN115352467A (zh) 自动驾驶车辆的行驶控制方法、装置及设备
Mijic et al. Autonomous driving solution based on traffic sign detection
Schreiner et al. Using machine learning techniques to reduce data annotation time
CN113971797A (zh) 一种基于动作行为特征的危险驾驶行为识别方法及系统
Li et al. A Simulation System for Human-in-the-Loop Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination