CN111752261B - 基于自主驾驶机器人的自动驾驶测试平台 - Google Patents

Abstract

本发明提供一种基于自主驾驶机器人的自动驾驶测试平台，其特征在于，包括：汽车驾驶模拟器，具有驾驶座、设置在该驾驶座前方的显示屏幕和模拟驾驶机构、以及与所述显示屏幕和所述模拟驾驶机构分别通信连接的计算机；以及驾驶机器人，坐在所述驾驶座上并对所述模拟驾驶机构进行操作，具有与所述驾驶座相配合的机器人身躯、设置在该机器人身体上的单目摄像头和驾驶操作机构、以及与所述双目摄像头、所述驾驶操作机构和所述计算机分别相通信连接的中央控制器。该自动驾驶测试平台成本低廉并且可以满足无人驾驶车辆测试中所需的各种应用场景。

Description

基于自主驾驶机器人的自动驾驶测试平台

技术领域

本发明属于无人驾驶领域，涉及无人驾驶算法优化以及测试，具 体涉及一种基于自主驾驶机器人的自动驾驶测试平台。

背景技术

在无人驾驶车领域，技术的每一步发展都必须以保障个人安全为 丈量，目前，无人驾驶车的发展存在两个瓶颈：一是官方对于车辆最 低试验里程数的要求，二是驾驶决策模型需要不同驾驶场景下的海量 数据做测试验证。研究表明：无人驾驶的安全性要达到类人类驾驶员 相当的安全程度，实则需要数十亿英里的实验里程作证明。然而，即 使作最合理的打算，现有的无人驾驶车也需要几十年甚至数百年的时 间才能完成预定的里程测试。因此如果将测试放在现实道路上，则在 短期内将会是一个不可能完成的任务。总体而言，道路实测成本昂贵 且耗日长久，虚拟测试是必由之路，但是其虚拟环境以及测试结果的有效性还有待论证和改进。

从软件到硬件的仿真模拟被合理建模时，就会为公司测试和验证 他们的汽车模式提供可能性。这包括各种各样的应用场景，包括交通 信息、司机行为、天气以及道路环境等。谷歌、特拉斯、Zoox……还 有更多公司借助模拟的方法力图使无人驾驶车的行驶里程尽快达到 十亿英里。如今，诸如Vires、TaSS、PreScan、CarSim、Oktal、ScanNer 和ROSGazebo等产品给工程师模拟传感器及其发生机制和机械结构 提供了可能。尽管它们各有所长，但却同时忽视了对于模拟而言至关 重要的领域，这包括过分简化现有的传感器输出，以及对环境如何影 响自主模型的复杂程度的了解。另外，此类驾驶场景模拟软件不仅成 本高昂，而且模拟的场景和现实的环境存在比较大的差异，这导致模 拟大多数传感器对于外界的感知存在困难。而一旦模拟过程出现了问 题，就会导致无人驾驶车出现交通事故等容易危及生命安全的问题。

如上，相比于传统汽车，无人驾驶汽车由于其系统的复杂性，车 辆除了需要进行传统汽车相关的实验室仿真、常规汽车试验场的测试 试验以外还需要进行海量的各种场景下的道路试验以训练、学习其自 主驾驶能力才能达到安全性要求。现目前，测试无人驾驶汽车技术手 段主要有智能网联汽车试验场和虚拟仿真等。目前世界上有很多国家 都已经开始建设相关的智能网联汽车测试场地，服务于智能网联汽车 的开发。目前投入运营的国外智能网联汽车测试场地有：美国安娜堡 示范区(M-City)，美国硅谷示范区(WillowRun)，欧洲ITS走廊， 瑞典AstaZero测试场，日本筑波科学城等。通常搭建通讯测试环境 完善，集成各种测试场景，满足全工况通讯测试环境的协同式智能网 联汽车测试场的建造成本将达数亿元以上。而诸如上述的PreScan等 正版虚拟仿真测试软件除了环境还原度不足等缺点外，软件的授权费 用也在百万级以上。

发明内容

为解决上述问题，提供一种成本低廉、同时满足车辆测试中所需 的各种应用场景的高逼真测试环境的自动驾驶仿真平台，本发明采用 了如下技术方案：

本发明提供了一种基于自主驾驶机器人的自动驾驶测试平台，其 特征在于，包括：汽车驾驶模拟器，具有驾驶座、设置在该驾驶座前 方的显示屏幕和模拟驾驶机构、以及与显示屏幕和模拟驾驶机构分别 通信连接的计算机；以及驾驶机器人，坐在驾驶座上并对模拟驾驶机 构进行操作，具有与驾驶座相配合的机器人身躯、设置在该机器人身 体上的双目摄像头和驾驶操作机构、以及与摄像头、驾驶操作机构和 计算机分别相通信连接的中央控制器，其中，计算机具有仿真引擎存 储部以及驾驶模拟画面生成控制部，中央控制器具有驾驶模型存储 部、控制指令生成部、驾驶控制部、驾驶模拟数据获取存储部、决策 模型迭代部以及控制器通信部，仿真引擎存储部存储有多种高仿真赛 车游戏引擎，驾驶模型存储部存储有用于生成能够对车辆驾驶操作进 行决策的驾驶决策信息的驾驶决策模型以及用于根据驾驶决策生成 相应的机器人控制指令的车辆控制模型，驾驶模拟画面生成控制部基 于高仿真赛车游戏引擎生成模拟出虚拟驾驶环境的驾驶场景图像并 控制显示屏幕进行相应显示，双目摄像头实时对显示屏幕显示的驾驶 场景图像进行拍摄并向中央控制器实时输出双目分别拍摄得到的一 对屏幕拍摄图像，一旦控制器通信部接收到屏幕拍摄图像，控制指令 生成部就实时基于屏幕拍摄图像以及驾驶决策模型生成的相应的驾 驶决策信息，并将该驾驶决策信息输入车辆控制模型得到相应的机器 人控制指令，驾驶控制部基于机器人控制指令实时控制驾驶操作机构 对模拟驾驶机构进行模拟驾驶操作，使得模拟驾驶机构将与模拟驾驶 操作相对应的驾驶模拟信息发送给计算机，进一步使得驾驶模拟画面 生成控制部基于高仿真赛车游戏引擎以及接收到的驾驶模拟信息生 成新的驾驶场景图像并控制显示屏幕进行显示更新，驾驶模拟数据获 取存储部用于至少获取控制指令生成部生成的所有机器人控制指令 以及相应的屏幕拍摄图像作为驾驶模拟数据并进行对应存储，决策模 型迭代部根据驾驶模拟数据获取存储部中存储的所有驾驶模拟数据对驾驶决策模型进行迭代更新。

本发明提供的基于自主驾驶机器人的自动驾驶测试平台，还可以 具有这样的技术特征，其中，计算机还具有驾驶模拟结果生成部，中 央控制器还具有模型验证部，驾驶评分指标生成部基于由高仿真赛车 游戏引擎根据驾驶模拟信息产生的游戏结果以及预定的评分方法生 成相应的评分指标，模型验证输出部根据评分指标对驾驶决策模型以 及车辆控制模型进行验证并输出用于评价模型好坏的模型评价结果。

本发明提供的基于自主驾驶机器人的自动驾驶测试平台，还可以 具有这样的技术特征，其中，驾驶决策模型包括决策生成模块以及决 策修正模块，控制指令生成部具有：屏幕图像预处理单元，用于实时 对一对屏幕拍摄图像进行预处理，形成与虚拟驾驶环境相对应的待输 入环境图像，并从屏幕拍摄图像中识别出由高仿真赛车游戏引擎生成 的虚拟车辆的状态参数作为车辆状态数据；初步决策生成单元，用于 将待输入环境图像输入驾驶决策模型的决策生成模块从而生成初步 决策信息；驾驶决策修正单元，用于将初步决策信息以及车辆状态数 据输入决策修正模块从而输出驾驶决策信息；以及指令生成单元，用于将驾驶决策信息输入车辆控制模型生成机器人控制指令。

本发明提供的基于自主驾驶机器人的自动驾驶测试平台，还可以 具有这样的技术特征，其中，驾驶机器人还可以坐在真实的待测车辆 的驾驶座上并对待测车辆的驾驶机构进行操作，驾驶机器人还具有单 目摄像头、高精定位系统以及位姿传感器，单目摄像头用于对待测车 辆的仪表盘进行拍摄并向中央控制器实时输出拍摄得到的仪表拍摄 图像，高精定位系统用于对驾驶机器人的所在位置进行定位并实时生 成相应的高精定位信息，位姿传感器用于进行位姿检测并获取待测车 辆的姿态信息，双目摄像头还用于对待测车辆行驶的道路场景进行拍 摄并向中央控制器实时输出双目分别拍摄得到的一对实景拍摄图像， 控制指令生成部还具有：实景图像预处理单元，用于实时对一对实景 拍摄图像、仪表拍摄图像、高精定位信息以及姿态信息进行预处理， 根据实景拍摄图像形成与实际驾驶环境相对应的待输入环境图像，并 识别出仪表拍摄图像中仪表信息，进一步将仪表信息、高精定位信息 以及姿态信息作为待测车辆的车辆状态数据。

本发明提供的基于自主驾驶机器人的自动驾驶测试平台，还可以 具有这样的技术特征，其中，模拟驾驶机构至少具有转向盘、调速档 以及油门刹车踏板，驾驶操作机构至少具有用于对转向盘进行操作的 转向机械手、用于对调速挡进行操作的换挡机械手以及用于对油门刹 车踏板进行操作的机械腿。

本发明提供的基于自主驾驶机器人的自动驾驶测试平台，还可以 具有这样的技术特征，其中，虚拟驾驶环境至少包括动态天气、昼夜 循环、车体泥垢以及光晕中的一种或几种效果。

发明作用与效果

根据本发明的基于自主驾驶机器人的自动驾驶测试平台，由于汽 车驾驶模拟器利用高仿真赛车游戏引擎生成模拟出虚拟驾驶环境的 驾驶场景图像并通过显示屏幕进行显示，而驾驶机器人通过驾驶决策 模型和车辆控制模型对摄像头拍摄得到的屏幕拍摄图像进行处理形 成相应的机器人控制指令，进一步驾驶机器人根据该指令对汽车驾驶 模拟器的模拟驾驶机构进行驾驶操作，因此，可以通过这种仿真模拟 的形式对驾驶机器人中的驾驶决策模型进行迭代训练以及验证，强化 了该模型在不同场景下的感知和决策能力。将驾驶机器人与驾驶模拟 器两者相结合，可实现从模拟器获取高保真的模拟环境到机器人驾驶 虚拟环境的汽车的整套完整虚拟驾驶行为。通过本发明的自动驾驶仿 真平台，可以利用游戏引擎对无人驾驶算法进行大量的初期训练，减 少原本需要实车试验以及构建专业软件的成本，有助于各类企业对各 类的车辆进行无人驾驶算法的构建，大大节省了构建无人驾驶算法所 需的时间和成本。

进一步，由于驾驶机器人具有与驾驶座相配合的机器人身躯，其 上安装了换挡、转向机械手和油门、制动机械腿等构成的驾驶操作执 行机构，因此驾驶机器人可在无需对车辆或者模拟环境进行改装的条 件下，无损地安装在驾驶室内，模拟人类驾驶员在恶劣条件和危险环 境、或者虚拟环境下进行车辆自动驾驶，有助于相关企业或是人员利 用该驾驶机器人对无人驾驶算法的验证以及测试。

附图说明

图1是本发明实施例中基于自主驾驶机器人的自动驾驶测试平台的 结构框图；

图2是本发明实施例中基于自主驾驶机器人的自动驾驶测试平台结 构示意图；

图3是本发明实施例中计算机的结构框图；

图4是本发明实施例中驾驶场景图像的示意图；

图5是本发明实施例的中央控制器的结构框图；

图6是本发明实施例中端到端无人驾驶的结构示意图；

图7是本发明实施例中模拟驾驶过程的流程图；

图8是本发明实施例中实车驾驶过程的流程图；以及

图9是本发明实施例中驾驶模型的融合示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于 明白了解，以下结合实施例及附图对本发明的基于自主驾驶机器人的 自动驾驶测试平台作具体阐述。

<实施例一>

图1是本发明实施例中基于自主驾驶机器人的自动驾驶测试平 台的结构框图，图2是基于自主驾驶机器人的自动驾驶测试平台结构 示意图。

如图1及图2所示，基于自主驾驶机器人的自动驾驶测试平台 100包括汽车驾驶模拟器101、驾驶机器人102以及通信网络103。

其中，通信网络103为5G无线网络，汽车驾驶模拟器101通过 通信网络103与驾驶机器人102相通信连接。

汽车驾驶模拟器101为是一台集成配置超高的电脑PC和驾驶操 作机构(转向盘、换挡杆、座椅、踏板等)及显示屏幕的汽车游戏模 拟平台。本实施例中，汽车驾驶模拟器101具有模拟器框架11、驾 驶座12、显示屏幕13、模拟驾驶机构14以及计算机15。

模拟器框架11用于对汽车驾驶模拟器101的所有硬件构成进行 固定，该模拟器框架11为常规的塑料或是金属制框架。

驾驶座12设置在模拟器框架11上，用于让驾驶机器人102坐在 该驾驶座12上。本实施例中，驾驶座12的构成与一般的驾驶座12 相同。

显示屏幕13设置在驾驶座12的前方并与该驾驶座12相对向， 当驾驶机器人102坐在驾驶座12上时，可以正面面对显示屏幕12。

模拟驾驶机构14设置在驾驶座12的周围，其具有转向盘、换挡 杆、油门刹车踏板(即油门踏板、刹车踏板以及离合器踏板)等仿真 驾驶部件，各个仿真驾驶部件的布设位置与实际的车辆(以下简称实 车)的布设位置相一致。

本实施例中，在各个仿真驾驶机构在被操作时，会生成对应的驾 驶模拟信息，如转向信息、刹车信息、加速信息等。模拟驾驶机构14会将生成的驾驶模拟信息实时输出给计算机15，使得计算机15根 据这些驾驶模拟信息来模拟车辆的动作。

图3是本发明实施例中计算机的结构框图。

如图3所示，计算机15包括仿真引擎存储部151、驾驶模拟画 面生成控制部152、驾驶评分指标生成部153、模拟器通信部154以 及用于控制上述各部的模拟器控制部155，

仿真引擎存储部151存储有多种不同的高仿真赛车游戏引擎。

本实施例中，高仿真赛车游戏引擎为各类具有高仿真效果的车辆 游戏引擎，如世界汽车拉力锦标赛5、极品飞车20、极限竞速：地平 线4、游戏尘埃4等世界一流的赛车游戏引擎。计算机15通过这些 游戏引擎，可以构建一个高还原的逼真虚拟驾驶环境，还可在该虚拟 驾驶环境中提供支持动态天气系统、昼夜循环、真实的物理破坏效果、 车体泥垢以及光晕镜头展示等效果，从而使得拍摄得到的环境更加真 实以及具备足够的复杂性。

驾驶模拟画面生成控制部152基于在仿真引擎存储部151中存储 的高仿真赛车游戏引擎生成能够模拟出虚拟驾驶环境的驾驶场景图 像，并控制显示屏幕12对该驾驶场景图像进行实时的相应显示。

本实施例中，驾驶场景图像为基于高仿真赛车游戏引擎生成的游 戏画面，该游戏画面中至少显示有虚拟环境(如跑道等)以及虚拟车 辆(如图4所示)。在模拟器通信部154接收到模拟驾驶机构14被操 作时输出的驾驶模拟信息时，驾驶场景图像也会进行相应的更新，即 游戏画面中的虚拟车辆会根据驾驶模拟信息执行对应的驾驶行为(如 加速、刹车等行为)，同时虚拟环境也会进行相应变化。

驾驶评分指标生成部153基于由高仿真赛车游戏引擎根据驾驶 模拟信息产生的游戏结果以及预定的评分方法生成相应的评分指标。

本实施例中，评分方法为计算虚拟车辆移动固定圈数的时间长 短，并将该时间作为评分指标。当评分指标中的时间越短，就表示虚 拟车辆在虚拟环境中驾驶得越流畅(即出现的事故越少)，通过该评 分指标即可判断出驾驶机器人102的无人驾驶的好坏。

在本发明的其他方案中，评分方法还可以通过判断驾驶机器人是 否可以操作虚拟车辆完成超车与避障动作，并给出相应的评分指标， 从而帮助无人驾驶的测试人员根据这些评分指标更好地判断驾驶机 器人102的控制算法的优劣以及是否可以进行实际应用。

驾驶机器人102包括机器人身躯21、双目摄像头22、单目摄像 头23、高精定位系统24、位姿传感器25、5G通信模块26、驾驶操 作机构27以及中央控制器28。

机器人身躯21用于安装以及固定驾驶机器人102的所有硬件构 成。本实施例中，机器人身躯21为仿人身躯，可以模仿驾驶员坐在 驾驶座12上。

双目摄像头22用于在驾驶机器人102设置在汽车驾驶模拟器101 上时(即让驾驶机器人102坐在驾驶座12上进行无人驾驶测试，以 下称为虚拟测试)，实时对显示屏幕13中显示的驾驶场景图像进行拍 摄并向中央控制器28实时输出拍摄得到的屏幕拍摄图像。

另外，为了保证双目摄像头22拍摄的效果，如避免屏幕拍摄图 像中出现条纹等噪音，在启动汽车驾驶模拟器101以及驾驶机器人 102前需要对两者的配置进行相应调整。

单目摄像头23用于在驾驶机器人102设置在实车上时(即让驾 驶机器人102坐在实际的车辆上进行无人驾驶测试，以下称为实车测 试)，对车辆的仪表所显示的汽车数据进行拍摄从而得到仪表拍摄图 像。

本实施例中，单目摄像头23通过云台机构设置在驾驶机器人头 部，该云台机构可自动调整镜头的位置与角度以使单目摄像头23的 镜头中心正对试剂车辆的仪表中央。

本实施例中，由于单目摄像头23在实景拍摄时无法获取位置信 息，因此在进行实车测试时，双目摄像头22还会对车辆前方的行驶 道路场景进行拍摄并输出双目分别拍摄得到的一对实景拍摄图像，使 得中央控制器28可以通过对两幅图像视差的计算，直接对前方景物 (图像所拍摄到的范围)进行距离测量，而无需判断前方出现的是什 么类型的障碍物。

高精定位系统24为GPS/BDS卫星导航定位系统及其增强型系统 RTK的相加混合体，能够在驾驶机器人102进行实车测试时，对驾 驶机器人102的位置进行高精度定位并输出相应的高精定位信息。

位姿传感器25设置在机器人身躯21上，用于获取车辆自身的姿 态信息。

本实施例中，在模拟测试时，单目摄像头23、高精定位系统24 以及位姿传感器25可以不进行工作。而在进行实车的无人驾驶测试 时，上述三者会与双目摄像头22一并进行实时采集，且此时双目摄 像头22会对车辆前方的实际道路场景进行拍摄并得到相应的实景拍 摄图像。

5G通信模块26设置在机器人身躯21上，用于进行中央控制器 28与计算机15的通信连接。

驾驶操作机构27用于对汽车驾驶模拟器101的模拟驾驶机构14 进行驾驶操作。

本实施例中，驾驶操作机构27包括与模拟驾驶机构14中各个仿 真驾驶部件相对应的机械手和机械腿，具体地：该驾驶操作机构27 包括用于对转向盘进行操作的转向机械手261、用于对调速挡进行操 作的换挡机械手262以及用于对油门刹车踏板进行操作的机械腿263 (用于进行离合、制动以及踩油门操作)。由于该类机械手(腿)以 及相应控制方法为现有技术，在此不再赘述。

中央控制器28用于控制驾驶操作机构27对模拟驾驶机构14进 行相应的驾驶操作。

图5是本发明实施例的中央控制器的结构框图。

如图5所示，中央控制器28包括具有驾驶模型存储部281、控 制指令生成部282、驾驶控制部283、驾驶模拟数据获取存储部284、 决策模型迭代部285、模型验证部286、控制器通信部287以及用于 控制上述各部的控制器控制部288。

驾驶模型存储部281存储有用于生成能够对车辆的驾驶操作进 行决策的驾驶决策信息的驾驶决策模型以及用于根据驾驶决策生成 相应的机器人控制指令的车辆控制模型。

其中，驾驶决策模型为一个卷积神经网络，能够根据驾驶机器人 102拍摄到的图像对车辆的驾驶行为进行决策(即输出驾驶决策信 息)，例如输出在红灯时需要踩刹车停止、在行驶时需要保持多少的 驾驶速度、是否转向等驾驶行为。该驾驶决策模型需要通过大量的迭 代训练，才能够输出正确的驾驶行为。

车辆控制模型为常规的驾驶机器人控制算法，该算法可以根据驾 驶决策模型输出的驾驶决策信息生成具体的机器人控制指令，如在驾 驶决策信息为刹车时，算法会生成相应的踩下刹车踏板的控制指令。

本实施例中，驾驶决策模型由决策生成模块以及决策修正模块组 成。

控制指令生成部282具有屏幕图像预处理单元2821、实景图像 预处理单元2822、决策生成单元2823以及指令生成单元2825。

屏幕图像预处理单元2821用于在虚拟测试时，实时对双目摄像 头22输出的一对屏幕拍摄图像进行预处理，形成与虚拟驾驶环境相 对应的待输入环境图像，并从屏幕拍摄图像中识别出由高仿真赛车游 戏引擎生成的虚拟车辆的状态参数作为车辆状态数据。

本实施例中，由于显示屏幕13显示的驾驶模拟画面通过高仿真 赛车游戏引擎模拟生成，因此该画面中显示有虚拟车辆的仪表图像 (如车速表)、小地图(表示车辆的所在位置)等虚拟车辆的状态参 数，屏幕图像预处理单元2821可以通过对屏幕拍摄图像进行识别并 识别出这些状态参数。

实景图像预处理单元2822用于在实车测试时，实时将双目摄像 头22输出的一对实景拍摄图像、单目摄像头23输出的仪表拍摄图像、 高精定位系统24输出的高精定位信息以及姿态传感器25输出的姿态 信息进行预处理，根据实景拍摄图像形成与实际驾驶环境相对应的待 输入环境图像，并识别出仪表拍摄图像中仪表信息，进一步将仪表信 息、高精定位信息以及姿态信息作为待测车辆的车辆状态数据。

初步决策生成单元2823用于将待输入环境图像输入驾驶决策模 型的决策生成模块从而生成初步决策信息。

驾驶决策修正单元2824用于将初步决策生成单元2823输出的初 步决策信息以及车辆状态数据输入决策修正模块从而输出驾驶决策 信息。

指令生成单元2825用于将驾驶决策信息输入车辆控制模型生成 机器人控制指令。

本实施例中，中央控制器28主要采用机器视觉来实现无人驾驶， 原理是基于深度神经网络的端到端无人驾驶技术。

图6是本发明实施例中端到端无人驾驶的结构示意图。

如图6所示，端到端无人驾驶的核心为深度学习模型。通过实时 采集驾驶过程中不同路况场景的图像数据，同时记录不同路况下驾驶 员对汽车的控制参数。这些数据作为训练数据被输入到深度学习模型 进行训练。在利用深度学习模型控制汽车自动驾驶时，通过双目摄像 头采集实时路况图像(即实景拍摄图像)并测算出深度信息，并将该 图像进行融合后输入深度学习模型得到汽车线控参数(即机器人控制 指令)，从而可以控制机器人操纵汽车自动驾驶，而深度信息则进入 下一层决策网络。

驾驶控制部283用于根据控制指令生成部282生成的机器人控制 指令，实时控制驾驶操作机构27。

本实施例中，驾驶模拟画面生成控制部152会基于高仿真赛车游 戏引擎以及模拟驾驶机构14输出的驾驶模拟信息实时生成驾驶场景 图像并控制显示屏幕12进行相应显示，控制指令生成部282会根据 单目摄像头23对显示屏幕12拍摄得到的屏幕拍摄图像生成机器人控 制指令，而驾驶控制部283又会根据机器人控制指令控制驾驶操作机 构27对模拟驾驶机构14进行驾驶操作，由此则形成一个可以循环的 自动驾驶过程，达到操控虚拟环境的虚拟汽车的目的，最终实现整个 驾驶行为的闭环控制与算法验证。

驾驶模拟数据获取存储部284用于获取控制指令生成部282生成 的所有机器人控制指令、相应的屏幕拍摄图像以及驾驶评分指标生成 部153生成的评分指标作为驾驶模拟数据并进行对应存储。

另外，本实施例中，当驾驶机器人102进行实车的无人驾驶测试 时，驾驶模拟数据获取存储部284还同时会获取高精定位器24采集 的高精定位信息以及双目摄像头22拍摄到的图像作为驾驶模拟数 据。

决策模型迭代部285根据驾驶模拟数据获取存储部284中存储的 所有驾驶模拟数据对驾驶决策模型进行迭代更新。

模型验证输出部286根据评分指标对驾驶决策模型以及车辆控 制模型进行验证并输出用于评价模型好坏的模型评价结果。

本实施例中，模型验证输出部286可以输出给测试人员持有的终 端，从而让测试人员根据该结果判断驾驶决策模型以及车辆控制模型 是否可以投入实际使用或是还需要进行的调整。

控制器通信部287用于进行中央控制器28与计算机15、单目摄 像头23、双目摄像头22、高精定位系统24以及驾驶操作机构27之 间的数据交换。

图6是本发明实施例中模拟驾驶过程的流程图。

如图6所示，在启动汽车驾驶模拟器101以及驾驶机器人102后， 开始如下步骤：

步骤S1-1，计算机15中的驾驶模拟画面生成控制部152从仿真 引擎存储部151中获取一个高仿真赛车游戏引擎，并基于该高仿真赛 车游戏引擎实时生成驾驶场景图像并控制显示屏幕13进行显示，然 后进入步骤S1-2；

步骤S1-2，双目摄像头23对显示屏幕13进行拍摄从而获取与驾 驶模拟画面相对应的屏幕拍摄图像，然后进入步骤S1-3；

步骤S1-3，控制指令生成部282基于步骤S1-2拍摄的屏幕拍摄 图像以及驾驶模型存储部171中存储的驾驶决策模型和车辆控制模 型生成相应的机器人控制指令，然后进入步骤S1-4；

步骤S1-4，驾驶控制部283根据步骤S1-3生成的机器人控制指 令控制驾驶操作机构27对模拟驾驶机构14进行驾驶操作，然后进入 步骤S1-5；

步骤S1-5，模拟驾驶机构14根据步骤S1-4的驾驶操作生成相应 的驾驶模拟信息并发送给计算机15，然后进入步骤S1-6；

步骤S1-6，驾驶模拟画面生成控制部152基于步骤S1-1中获取 的高仿真赛车游戏引擎以及步骤S1-5发送的驾驶模拟信息生成新的 驾驶场景图像并控制显示屏幕13进行显示，然后进入步骤S1-7；

步骤S1-7，中央控制器28根据预设的模拟驾驶结束条件判断是 否结束一轮模拟驾驶，若否则进入步骤S1-2，若是则进入步骤S1-8；

步骤S1-8，驾驶模拟数据获取存储部284获取一轮模拟驾驶产生 的所有机器人控制指令以及相应的屏幕拍摄图像作为驾驶模拟数据 并进行对应存储，然后进入步骤S1-9；

步骤S1-9，决策模型迭代部285根据驾驶模拟数据获取存储部 284中存储的驾驶模拟数据对驾驶模型存储部171中存储的驾驶决策 模型完成一轮迭代，然后进入步骤S1-10；

步骤S1-10，中央控制器28判断驾驶决策模型是否达到预设的迭 代完成条件，若否则进入步骤S1-1，若是则进入结束状态。

通过上述模拟驾驶过程，即可对驾驶决策模型进行初步完善并使 使得该驾驶决策模型可以较为准确地根据驾驶机器人拍摄到的图像 进行驾驶行为的决策，此时驾驶机器人已经具有初步的无人驾驶能 力。

本实施例中，上述模拟驾驶过程的步骤S1-1至步骤S1-7中，驾 驶评分指标生成部153会生成相应的评分指标，模拟驾驶结束条件为 根据是否产生该评分指标判断是否结束一轮模拟驾驶。在本发明的其 他方案中，模拟驾驶结束条件也可以据实际需求设定，例如是根据驾 驶时长是否达到预设阈值判断是否结束一轮模拟驾驶。

本实施例中，迭代完成条件为进行迭代的轮数是否达到预设阈 值。在本发明的其他方案中，迭代完成条件也可以据实际需求设定， 例如是检测驾驶评分指标生成部153生成的评分指标是否达到预定 标准等。

在通过上述模拟驾驶过程完成驾驶决策模型的迭代，并且再次通 过上述过程以及评分指标对驾驶机器人102的无人驾驶能力进行测 试并通过后，还可以将该驾驶机器人102安置在实际车辆的驾驶座上 进行实车测试。

图7是本发明实施例中驾驶机器人的实车驾驶过程的流程图。

如图7所示，在将驾驶机器人102安置在实际车辆的驾驶座上， 并启动驾驶机器人102后，开始如下步骤：

步骤S2-1，单目摄像头23对实际车辆的仪表盘进行拍摄并向中 央控制器28输出拍摄得到的仪表拍摄图像，然后进入步骤S2-2；

步骤S2-2，双目摄像头22对实际车辆前方的道路场景进行拍摄 并向中央控制器28输出双目分别拍摄得到的一对实景拍摄图像，然 后进入步骤S2-3；

步骤S2-3，高精定位系统24对驾驶机器人102的所在位置进行 定位并向中央控制器28输出相应的高精定位信息，然后进入步骤 S2-4；

步骤S2-4，控制指令生成部对步骤S2-1输出的仪表拍摄图像、 步骤S2-2输出的实景拍摄图像以及步骤S2-3输出的高精定位信息进 行预处理并生成待输入数据，并基于该待输入数据以及驾驶模型存储 部171中存储的驾驶决策模型和车辆控制模型生成相应的机器人控 制指令，然后进入步骤S2-5；

步骤S2-5，驾驶控制部283根据步骤S2-4生成的机器人控制指 令控制驾驶操作机构27对模拟驾驶机构14进行驾驶操作，然后进入

步骤S2-6，中央控制器28根据预设的实车驾驶结束条件判断是 否结束一轮实车驾驶，若否则进入步骤S2-1，若是则进入步骤S2-7；

步骤S2-7，驾驶模拟数据获取存储部284获取一轮实车驾驶产生 的所有机器人控制指令以及相应的仪表拍摄图像、实景拍摄图像和高 精定位信息作为驾驶模拟数据并进行对应存储，然后进入步骤S2-8；

步骤S2-8，决策模型迭代部285根据驾驶模拟数据获取存储部 284中存储的驾驶模拟数据对驾驶模型存储部171中存储的驾驶决策 模型完成一轮迭代，然后进入步骤S2-9；

步骤S2-9，中央控制器28判断驾驶决策模型是否达到预设的迭 代完成条件，若否则进入步骤S2-1，若是则进入结束状态。

通过上述过程，即可利用基于本发明的自动驾驶仿真平台训练出 的驾驶机器人进行实车测试以及验证。

另外，通过模拟驾驶过程以及实车驾驶过程后得到的最终的驾驶 决策模型，可以与车辆控制模型进行融合，如图8所示，在结合实际 车辆的车辆模型可以形成一个基于车辆动力学模型的整车控制数学 模型，该整车控制数学模型可以集成到无人驾驶汽车的系统内，结合 无人驾驶汽车的传感器采集到的各类数据进行无人驾驶控制。

另外，中央控制器28还可以具备数据记录及输出接口，可将整 个驾驶行为数据(加速、制动、换挡等驾驶行为)导出至MATLAB 等第三方软件平台进行进一步的分析(不同的驾驶员有不同的驾驶习 惯，通过大数据分析可进一步优化驾驶行为以达到车辆操作的平顺 性、经济性等目的)。

实施例作用与效果

根据本实施例提供的基于自主驾驶机器人的自动驾驶测试平台， 由于汽车驾驶模拟器利用高仿真赛车游戏引擎生成模拟出虚拟驾驶 环境的驾驶场景图像并通过显示屏幕进行显示，而驾驶机器人通过驾 驶决策模型和车辆控制模型对单目摄像头拍摄得到的屏幕拍摄图像 进行处理形成相应的机器人控制指令，进一步驾驶机器人根据该指令 对汽车驾驶模拟器的模拟驾驶机构进行驾驶操作，因此，可以通过这 种仿真模拟的形式对驾驶机器人中的驾驶决策模型进行迭代训练以 及验证，强化了该模型在不同场景下的感知和决策能力。将驾驶机器 人与驾驶模拟器两者相结合，可实现从模拟器获取高保真的模拟环境 到机器人驾驶虚拟环境的汽车的整套完整虚拟驾驶行为。通过本发明 的自动驾驶仿真平台，可以利用游戏引擎对无人驾驶算法进行大量的 初期训练，减少原本需要实车试验以及构建专业软件的成本，有助于 各类企业对各类的车辆进行无人驾驶算法的构建，大大节省了构建无 人驾驶算法所需的时间和成本。

本发明结合游戏仿真引擎(游戏引擎的授权费用仅几百元人民 币)及驾驶机器人搭建的半实物虚拟仿真平台除了能够满足各种应用 场景的高逼真测试环境的还原，整套系统的制造成本不超过十万元人 民币。

进一步，由于驾驶机器人具有与驾驶座相配合的机器人身躯，其 上安装了换挡、转向机械手和油门、制动机械腿等构成的驾驶操作执 行机构，因此驾驶机器人可在无需对车辆或者模拟环境进行改装的条 件下，无损地安装在驾驶室内，模拟人类驾驶员在恶劣条件和危险环 境、或者虚拟环境下进行车辆自动驾驶，有利于利用该驾驶机器人对 无人驾驶算法的验证以及测试。

目前，无人驾驶车辆并未真正上市，大都通过传统汽车改造而来 (改造成本大、费时费力)，自主驾驶机器人可无损安装于各类试验 汽车上无需对汽车进行改制，大大节省了时间及成本，因此作为一套 低成本、高性价比的无人驾驶训练和检验模型的仿真工具，实际上同 时解决了试验环境及实验车辆的问题，并且可以灵活搭配扩展其通用 性比如更换不同的游戏引擎来更换试验场景，可以大大减少无人驾驶 汽车测试的物力及时间成本具有较大的市场应用价值。

更进一步，通过本发明的驾驶仿真平台迭代训练得到的驾驶决策 模型也可以与驾驶控制模型提取出并整合形成一个无人驾驶模块，该 无人驾驶模块可以设置在无人驾驶汽车的系统中并实现无人驾驶。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不 限于上述实施例的描述范围。

例如，在上述实施例中，模拟驾驶机构仅包括转向盘、换挡杆、 油门刹车踏板等机构。在本发明的其他方案中，模拟驾驶机构还可以 包括手刹、点火开关等，并让驾驶机器人配置对应的操作手臂以及操 作算法，从而更好地进行无人驾驶模拟。

例如，在上述实施例中，驾驶模型存储部仅存储有一种驾驶决策 模型，通过多次迭代完成优化。在本发明的其他方案中，驾驶模型存 储部还可以存储有多种驾驶决策模型(如对应于不同驾驶风格)，通 过本发明的自动驾驶测试平台对这些驾驶决策模型进行优化，从而在 完成测试后，让测试人员根据测试结果选出最适合的驾驶决策模型并 用于实际应用。

Claims (6)

1.一种基于自主驾驶机器人的自动驾驶测试平台，其特征在于，包括：

汽车驾驶模拟器，具有驾驶座、设置在该驾驶座前方的显示屏幕和模拟驾驶机构、以及与所述显示屏幕和所述模拟驾驶机构分别通信连接的计算机；以及

驾驶机器人，坐在所述驾驶座上并对所述模拟驾驶机构进行操作，具有与所述驾驶座相配合的机器人身躯、设置在该机器人身体上的双目摄像头和驾驶操作机构、以及与所述双目摄像头、所述驾驶操作机构和所述计算机分别相通信连接的中央控制器，

其中，所述双目摄像头与所述显示屏幕相匹配，

所述计算机具有仿真引擎存储部以及驾驶模拟画面生成控制部，

所述中央控制器具有驾驶模型存储部、控制指令生成部、驾驶控制部、驾驶模拟数据获取存储部、决策模型迭代部以及控制器通信部，

所述仿真引擎存储部存储有多种高仿真赛车游戏引擎，

所述驾驶模型存储部存储有用于生成能够对车辆驾驶操作进行决策的驾驶决策信息的驾驶决策模型以及用于根据所述驾驶决策生成相应的机器人控制指令的车辆控制模型，

所述驾驶模拟画面生成控制部基于所述高仿真赛车游戏引擎生成模拟出虚拟驾驶环境的驾驶场景图像并控制所述显示屏幕进行相应显示，

所述双目摄像头实时对所述显示屏幕显示的所述驾驶场景图像进行拍摄并向所述中央控制器实时输出双目分别拍摄得到的一对屏幕拍摄图像，

一旦所述控制器通信部接收到所述屏幕拍摄图像，所述控制指令生成部就实时基于所述屏幕拍摄图像以及所述驾驶决策模型生成的相应的驾驶决策信息，并将该驾驶决策信息输入所述车辆控制模型得到相应的机器人控制指令，

驾驶控制部基于所述机器人控制指令实时控制所述驾驶操作机构对所述模拟驾驶机构进行模拟驾驶操作，使得所述模拟驾驶机构将与所述模拟驾驶操作相对应的驾驶模拟信息发送给所述计算机，进一步使得所述驾驶模拟画面生成控制部基于所述高仿真赛车游戏引擎以及接收到的所述驾驶模拟信息生成新的驾驶场景图像并控制所述显示屏幕进行显示更新，

所述驾驶模拟数据获取存储部用于至少获取所述控制指令生成部生成的所有机器人控制指令以及相应的所述屏幕拍摄图像作为驾驶模拟数据并进行对应存储，

所述决策模型迭代部根据所述驾驶模拟数据获取存储部中存储的所有所述驾驶模拟数据对所述驾驶决策模型进行迭代更新。

2.根据权利要求1所述的基于自主驾驶机器人的自动驾驶测试平台，其特征在于：

其中，所述计算机还具有驾驶模拟结果生成部，

所述中央控制器还具有模型验证部，

所述驾驶评分指标生成部基于由所述高仿真赛车游戏引擎根据所述驾驶模拟信息产生的游戏结果以及预定的评分方法生成相应的评分指标，

所述模型验证输出部根据所述评分指标对所述驾驶决策模型以及所述车辆控制模型进行验证并输出用于评价模型好坏的模型评价结果。

3.根据权利要求1所述的基于自主驾驶机器人的自动驾驶测试平台，其特征在于：

其中，所述驾驶决策模型包括决策生成模块以及决策修正模块，

所述控制指令生成部具有：

屏幕图像预处理单元，用于实时对所述一对屏幕拍摄图像进行预处理，形成与所述虚拟驾驶环境相对应的待输入环境图像，并从所述屏幕拍摄图像中识别出由所述高仿真赛车游戏引擎生成的虚拟车辆的状态参数作为车辆状态数据输入；

初步决策生成单元，用于将所述待输入环境图像输入所述驾驶决策模型的决策生成模块从而生成初步决策信息；

驾驶决策修正单元，用于将所述初步决策信息以及所述车辆状态数据输入所述决策修正模块从而输出所述驾驶决策信息；以及

指令生成单元，用于将所述驾驶决策信息输入所述车辆控制模型生成所述机器人控制指令。

4.根据权利要求3所述的基于自主驾驶机器人的自动驾驶测试平台，其特征在于：

其中，所述驾驶机器人还可以坐在真实的待测车辆的驾驶座上并对所述待测车辆的驾驶机构进行操作，

所述驾驶机器人还具有单目摄像头、高精定位系统以及位姿传感器，

所述单目摄像头用于对所述待测车辆的仪表盘进行拍摄并向所述中央控制器实时输出拍摄得到的仪表拍摄图像，

所述高精定位系统用于对所述驾驶机器人的所在位置进行定位并实时生成相应的高精定位信息，

所述位姿传感器用于进行位姿检测并获取所述待测车辆的姿态信息，

所述双目摄像头还用于对所述待测车辆行驶的道路场景进行拍摄并向所述中央控制器实时输出双目分别拍摄得到的一对实景拍摄图像，

所述控制指令生成部还具有：

实景图像预处理单元，用于实时对所述一对实景拍摄图像、所述仪表拍摄图像、所述高精定位信息以及所述姿态信息进行预处理，根据所述实景拍摄图像形成与实际驾驶环境相对应的待输入环境图像，并识别出所述仪表拍摄图像中仪表信息，进一步将所述仪表信息、所述高精定位信息以及所述姿态信息作为所述待测车辆的车辆状态数据。

5.根据权利要求1所述的基于自主驾驶机器人的自动驾驶测试平台，其特征在于：

其中，所述模拟驾驶机构至少具有转向盘、调速档以及油门刹车踏板，

所述驾驶操作机构至少具有用于对所述转向盘进行操作的转向机械手、用于对所述调速挡进行操作的换挡机械手以及用于对所述油门刹车踏板进行操作的机械腿。

6.根据权利要求1所述的基于自主驾驶机器人的自动驾驶测试平台，其特征在于：

其中，所述虚拟驾驶环境至少包括动态天气、昼夜循环、车体泥垢以及光晕中的一种或几种效果。

Images