CN110837231A - 在环仿真方法、装置及控制平台 - Google Patents

Abstract

本申请提出一种在环仿真方法、装置及控制平台，应用于车辆技术领域。场景生成设备根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成目标执行结果，并将目标执行结果发送给控制平台。控制平台基于强化学习算法根据目标执行结果生成线控指令，并将线控指令发送给在环系统。其中，该在线系统包括车辆的线控系统。在环系统执行线控指令，以完成对车辆的线控系统的硬件在环仿真。由此，可在与实际环境很接近的测试环境下自动完成对车辆线控系统的仿真测试，同时不需要人为调整参数，可减少测试人员的工作量。

Description

在环仿真方法、装置及控制平台

技术领域

本申请涉及车辆技术领域，具体而言，涉及一种在环仿真方法、装置及控制平台。

背景技术

随着科技的不断发展，越来越多的车辆上都安装了自动驾驶系统或辅助驾驶系统，该系统可以控制车辆按照规划路径行驶。在车辆行驶过程中，会涉及到车辆的线控系统。目前在针对线控系统做仿真测试时，往往是基于PID(Proportion-Integral-Differential，比例-积分-微分)进行，该方式需要人为调整参数。

发明内容

有鉴于此，本申请的目的在于提供一种在环仿真方法、装置及控制平台。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种在环仿真方法，应用于仿真系统，所述仿真系统包括通信连接的场景生成设备、控制平台及在环系统，其中，所述在环系统包括车辆的线控系统，所述方法包括：

所述场景生成设备根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成目标执行结果，并将所述目标执行结果发送给所述控制平台；

所述控制平台基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统；

所述在环系统执行所述线控指令，以完成对车辆的线控系统的硬件在环仿真。

在可选的实施方式中，在将所述线控指令发送给所述在环系统之前，所述方法还包括：

对所述线控指令进行安全性评估，以判断该线控指令是否满足安全要求；

若所述线控指令满足安全要求，则直接将所述线控指令发送给所述车辆在环系统；

若所述线控指令不满足安全要求，则根据所述安全要求对所述线控指令进行调整，并将调整后的线控指令发送给所述车辆在环系统。

在可选的实施方式中，所述在环系统包括在环控制器、机械电气结构，所述在环系统执行所述线控指令，包括：

所述在环控制器根据接收到的所述线控指令对该线控指令对应的机械电气结构进行控制。

在可选的实施方式中，在所述在环系统执行所述线控指令之后，所述方法还包括：

所述在环系统获得所述线控指令对应的实际执行结果，并将所述实际执行结果发送给所述控制平台；

所述控制平台将所述实际执行结果保存，以便根据该实际执行结果进行强化学习。

在可选的实施方式中，所述方法还包括：

所述控制平台将接收的所述实际执行结果发送给所述场景生成设备；

所述场景生成设备根据所述实际执行结果对所述车辆模型的车辆信息进行更新及显示，并根据车辆运动学模型、目标工况、更新后的车辆信息、道路信息再次生成目标执行结果，以便所述控制平台根据再次生成的目标执行结果再次生成线控指令，以再次进行在环仿真。

在可选的实施方式中，所述控制平台为ubuntu平台，所述场景生成设备中存储有场景设定工具，所述场景设定工具包括carsim和/或prescan，所述方法还包括：

所述场景生成设备预先根据仿真要求，通过所述carsim和/或prescan生成车辆模型及道路信息。

第二方面，本申请实施例提供一种在环仿真方法，应用于仿真系统中的控制平台，所述仿真系统还包括与所述控制平台通信连接的场景生成设备及在环系统，其中，所述在环系统包括车辆的线控系统，所述方法包括：

接收所述场景生成设备发送的根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况生成的目标执行结果；

基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统，以使所述在环系统执行所述线控指令，完成对车辆的线控系统的硬件在环仿真。

在可选的实施方式中，所述方法还包括：

接收并保存所述在环系统发送的与所述线控指令对应的实际执行结果，以便根据该实际执行结果进行强化学习。

第三方面，本申请实施例提供一种在环仿真装置，应用于仿真系统中的控制平台，所述仿真系统还包括与所述控制平台通信连接的场景生成设备及在环系统，其中，所述在环系统包括车辆的线控系统，所述装置包括：

接收模块，用于接收所述场景生成设备发送的根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况生成的目标执行结果；

指令生成模块，用于基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统，以使所述在环系统执行所述线控指令，完成对车辆的线控系统的硬件在环仿真。

第四方面，本申请实施例提供一种控制平台，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任一项所述的在环仿真方法。

第五方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的在环仿真方法。

本申请实施例提供的在环仿真方法、装置及控制平台，场景生成设备根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成目标执行结果，并将目标执行结果发送给控制平台。控制平台基于强化学习算法根据目标执行结果生成线控指令，并将线控指令发送给在环系统。其中，该在线系统包括车辆的线控系统。在环系统执行线控指令，以完成对车辆的线控系统的硬件在环仿真。由此，可在与实际环境很接近的测试环境下自动完成对车辆线控系统的仿真测试，同时不需要人为调整参数，可减少测试人员的工作量。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例提供的仿真系统的示意图；

图2是图1中控制平台的方框示意图；

图3是在环仿真方法的流程示意图之一；

图4是标准的强化学习框架示意图；

图5是在环仿真方法的流程示意图之二；

图6是在环仿真方法的流程示意图之三；

图7是在环仿真方法的流程示意图之四；

图8是本申请实施例提供的在环仿真装置的方框示意图。

图标：10-仿真系统；100-场景生成设备；200-控制平台；210-存储器；220-处理器；230-通信单元；300-在环系统；400-在环仿真装置；410-接收模块；420-指令生成模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参照图1，图1是本申请实施例提供的仿真系统10的示意图。所述仿真系统10包括场景生成设备100、控制平台200及在环系统300。其中，所述控制平台200分别与所述场景生成设备100、在环系统300通信连接。所述场景生成设备100用于生成训练场景，并将训练场景中的目标执行结果发送给所述控制平台200。所述控制平台200基于该目标执行结果及存储的强化学习算法生成线控指令，以便所述在环系统300通过执行该线控指令，从而完成车辆的线控系统的硬件在环仿真。该过程中不需要人为调整参数，可减少测试人员的工作量。

所述场景生成设备100中可以存储有Simulink以及carsim和/或prescan，用于生成车辆模型及道路信息，并确定目标执行结果。

请参照图2，图2是图1中控制平台200的方框示意图。所述控制平台200包括存储器210、处理器220及通信单元230。所述存储器210、处理器220以及通信单元230各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器210用于存储程序或者数据。所述存储器210可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器220用于读/写存储器210中存储的数据或程序，并执行相应地功能。比如，存储器210中存储有在环仿真装置400，所述在环仿真装置400包括至少一个可以软件或固件(firmware)的形式存储于所述存储器210中的软件功能模块。所述处理器220通过运行存储在存储器210内的软件程序以及模块，如本申请实施例中的在环仿真装置400，从而执行各种功能应用以及数据处理，即实现本申请实施例中的在环仿真方法。

通信单元230用于通过网络建立所述控制平台200与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

可选地，在本实施例中，所述控制平台200为ubuntu平台。ubuntu平台具有较好的扩展性，能够有效的利用常见的PCIE(Peripheral Component Interconnect Express，最新的总线和接口标准)设备、USB设备，同时与实际无人驾驶在应用中所采用的计算平台一致，具有较好的移植性。

应当理解的是，图2所示的结构仅为控制平台200的结构示意图，所述控制平台200还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

车辆的线控系统(control by wire)包括线控转向接口、线控驱动接口、线控制动接口等，分别用于管理车辆的转向系统、驱动加速与换挡系统、整车制动系统。所述在环系统300可以包括转向系统控制器及转向系统本身、驱动加速与换挡控制器及驱动加速与换挡系统本身、整车制动控制器及整车制动系统三者中至少任意一个。

请参照图3，图3是在环仿真方法的流程示意图之一。所述方法应用于仿真系统10，所述仿真系统10包括通信连接的场景生成设备100、控制平台200及在环系统300。其中，所述在环系统300包括真实车辆的线控系统。下面对在环仿真方法的具体流程进行详细阐述。

步骤S110，所述场景生成设备100根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成目标执行结果，并将所述目标执行结果发送给所述控制平台200。

步骤S120，所述控制平台200基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统300。

步骤S130，所述在环系统300执行所述线控指令，以完成对车辆的线控系统的硬件在环仿真。

在本实施例中，所述场景生成设备100可在车辆模型的车辆信息和/或道路信息变化时或其他设定条件下(比如，间隔一定时间)，根据设定的目标工况、当前车辆模型的车辆信息、道路信息及车辆运动学模型，生成目标执行结果，并将该目标执行结果发送给所述控制平台200。其中，所述车辆信息包括车辆模型的轮速、发送机转速等，所述道路信息包括GPS信息、激光雷达等。所述目标工况可以为转向。

所述控制平台200中存储有强化学习算法，在获得所述目标执行结果后，基于该强化学习算法，根据该目标执行结果生成线控指令。其中，该线控指令的预期执行结果为所述目标执行结果。所述在环系统300执行该线控指令，从而完成一次线控系统的硬件在环仿真。

其中，强化学习又称再励学习、评价学习或增强学习，是机器学习领域的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。近年来随着DDPG(Deep Deterministic PolicyGradient，深度确定性策略梯度)等算法的推广，强化学习开始逐渐被应用于连续体控制的场合。

下面结合图4对强化学习进行简要说明。

智能体根据当前所处的状态，选择一个动作，作用于环境。环境将会发生状态改变，如此，构成了连续的决策过程。而当智能体产生动作作用于环境之后，环境将根据动作的优劣给出对应的惩罚，帮助智能体改进之后的动作。

目前的强化学习控制的环境构建大多基于模型仿真，并非基于台架仿真和实车测试。而本方案则将强化学习与台架仿真相结合，使得不需要构建强化学习环境模型，并且强化学习的训练是基于接近实际车辆运行环境进行，可保证强化学习效果。

传统的线控往往基于PID或者模型预测控制等手段，需要进行人为调参或者预先设置模型，不便于进行仿真测试。而强化学习不需要对被控对象有预先的模型描述，仅仅需要通过对实际执行结果进行评价，因而可以解决一些被控对象参数不固定等问题。由此可知，强化学习(特别是深度强化学习)可以绕开调参和预设模型，并且对各种场景均有较好的适应性。

本申请实施例将台架仿真与强化学习进行结合，从而实现对车辆的线控系统的在环仿真，同时不需要人为调整参数，可减少测试人员的工作量。并且，通过结合台架测试，能够更加真实地还原强化学习控制决策(即线控指令)在实际车载环境下的应用场景。

可选地，在本实施例中，为保证仿真测试的安全性，所述控制平台200在生成线控指令后，可对所述线控指令进行安全性评估，以判断该线控指令是否满足安全要求。若所述线控指令满足安全要求，则直接将所述线控指令发送给所述在环系统300。若所述线控指令不满足安全要求，则根据所述安全要求对所述线控指令进行调整，并将调整后的线控指令发送给所述在环系统300。其中，安全性评估的具体方式基于具体的线控指令确定。

比如，一线控指令为一电流值，则可判断该电流值是否大于设定的电流值阈值，若未超过，则可确定该线控指令满足安全要求。若超过，则可确定该线控指令不满足安全要求，可将该电流值调整为设定的电流值阈值。

可选地，所述车辆在环系统300可以包括在环控制器、机械电气结构等。所述在环控制器可通过通讯接口(CAN网络/串口等通讯设备)接收到所述线控指令，并根据该线控指令对该线控指令对应的机械电气结构进行控制。

请参照图5，图5是在环仿真方法的流程示意图之二。在步骤S130之后，所述方法还可以包括步骤S140及步骤S150。

步骤S140，所述在环系统300获得所述线控指令对应的实际执行结果，并将所述实际执行结果发送给所述控制平台200。

所述在环系统300中还可以包括检测单元，所述检测单元可以包括传感器等检测器件。在执行完所述线控指令后，所述在环系统300可将通过检测单元获得的该线控指令对应的实际执行结果发送给所述控制平台200。

比如，所述在环系统300中包括转角传感器、转矩传感器，在执行完用于转向的线控指令后，可通过转角传感器、转矩传感器获得实际的转角信息及转矩信息，并将该转角信息及转矩信息发送给所述控制平台200。

步骤S150，所述控制平台200将所述实际执行结果保存，以便根据该实际执行结果进行强化学习。

所述控制平台200可根据目标执行结果及实际执行结果生成奖惩信息，并将目标执行结果、实际执行结果、奖惩信息及线控指令等保存，以进行强化学习。

请参照图6，图6是在环仿真方法的流程示意图之三。在步骤S140之后，所述方法还可以包括步骤S160及步骤S170。

步骤S160，所述控制平台200将接收的所述实际执行结果发送给所述场景生成设备100。

步骤S170，所述场景生成设备100根据所述实际执行结果对所述车辆模型的车辆信息进行更新及显示，并根据车辆运动学模型、目标工况、更新后的车辆信息、道路信息再次生成目标执行结果，以便所述控制平台200根据再次生成的目标执行结果再次生成线控指令，以再次进行在环仿真。

在本实施例中，所述场景生成设备100在接收到所述控制平台200发送的实际执行结果后，基于该实际执行结果对车辆模型的车辆信息进行更新，并显示更新后的车辆模型。在完成更新后，所述场景生成设备100可根据运动学模型、目标工况及更新后的车辆信息、道路信息生成新的目标执行结果，并将该新的目标执行结果发送给所述控制平台200。所述控制平台200则生成新的线控指令，以再次完成在环仿真。

可选地，在本实施例中，所述场景生成设备100中存储有场景设定工具及仿真工具。所述场景设定工具可以包括carsim和/或prescan，所述仿真工具可以包括Simulink。其中，carsim和/或prescan所在平台可以为windows平台，上述场景设定工具具有比较好的展示界面，可显示训练及结果(即，实际执行结果)。Simulink可以和控制平台200部署在同一个局域网下的ROS系统(Robot Operating System，机器人操作系统)进行通信。所述场景生成设备100可预先根据接收到的仿真要求中的模型参数(比如，轮距、轴距、质量等)，基于carsim和/或prescan生成车辆模型及道路信息。其中，该车辆模型中可包括各种传感器，用于获得车辆信息。Simulink则基于车辆模型的车辆信息、道路信息及仿真要求中的目标工况获得目标执行结果。

所述场景生成设备100是为了设定强化学习的训练目标。比如，在主动转向训练场景中，所述场景生成设备100可以根据仿真的目标工况设定需要完成的主动转向的角度等，并将设定的目标执行结果发送给控制平台200。

场景设定工具可根据训练目标选择。简单的训练目标，比如，主动转向，可直接指定训练跟随的前轮转角曲线，而不使用场景设定工具。或者，利用场景设定工具设定跟随实际车辆在路上形式的前轮转角曲线。

常见的台架仿真中的硬件数据采集平台往往采用NI公司的多种实时处理器和I/O板卡来进行构建。如果利用NI公司的板卡，则台架仿真的数据采集平台的软件，需要以NIVeriStand为核心组建，配合LabView等扩展包进行板卡控制。然而，NI板卡的扩展性差。

可选地，在本实施例中，所述控制平台200为ubuntu平台。ubuntu平台能够满足强化学习控制算法的设计需求，同时扩展性强，能够有效的利用常见的PCIE设备、USB设备，同时与实际无人驾驶在应用中所采用的计算平台一致，具有较好的移植性。

下面以线控转向为例，对上述方法进行说明。

所述场景生成设备100根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成需求转角，并将该需求转角发送给所述控制平台200。所述控制平台200基于强化学习算法及需求转角计算得到电流值。然后，对该电流值进行安全性评估，在满足安全要求的情况下，所述控制平台200将该电流值发送给所述在环系统300中的转向电机控制器。转向电机控制器则控制机械结构进行转向。

在转向后，通过转角传感器、转矩传感器等，所述在环系统300获得实际转角及实际转矩，并将该实际转角及实际转角发送给所述控制平台200。所述控制平台200根据需求转角、实际转角、生成的电流值等生成奖惩信息，并将需求转角、实际转角、生成的电流值、奖惩信息等保存，以进行强化学习。所述控制平台200还将所述实际转角、实际转矩发送给所述场景生成设备100，所述场景生成设备100对车辆模型的转角、转矩等信息进行对应更新及显示。

本申请实施例中的环境构建方式可有效解决强化学习在车辆线控领域应用的训练环境问题。结合台架测试，能够更加真实地还原加强强化学习控制决策(即线控指令)在实际车载环境下的应用场景。采用场景生成设备100及在环系统300，可使得车辆的线控系统学习过程能够更加接近于实际车辆运行的环境，从而保证强化学习效果。

请参照图7，图7是在环仿真方法的流程示意图之四。所述方法应用于仿真系统10中的控制平台200。所述仿真系统10还包括与所述控制平台200通信连接的场景生成设备100及在环系统300。其中，所述在环系统300包括车辆的线控系统。所述方法包括步骤S210及步骤S220。

步骤S210，接收所述场景生成设备100发送的根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况生成的目标执行结果。

步骤S220，基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统300，以使所述在环系统300执行所述线控指令，完成对车辆的线控系统的硬件在环仿真。

在本实施例中，在步骤S220之后，所述方法还可以包括：

接收并保存所述在环系统300发送的与所述线控指令对应的实际执行结果，以便根据该实际执行结果进行强化学习。

在本实施例中，关于应用于控制平台200的在环仿真方法的具体描述，可参照上文对应用于仿真系统10的在环仿真方法的描述，在此不再赘述。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种在环仿真装置400的实现方式，可选地，该在环仿真装置400可以采用上述图2所示的控制平台200的器件结构。进一步地，请参照图8，图8是本申请实施例提供的在环仿真装置400的方框示意图。需要说明的是，本实施例所提供的在环仿真装置400，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述在环仿真装置400应用于仿真系统10中的控制平台200。该在环仿真装置400可以包括：接收模块410及指令生成模块420。

所述接收模块410，用于接收所述场景生成设备100发送的根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况生成的目标执行结果。

所述指令生成模块420，用于基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统300，以使所述在环系统300执行所述线控指令，完成对车辆的线控系统的硬件在环仿真。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图2所示的存储器210中或固化于该控制平台200的操作系统(Operating System，OS)中，并可由图2中的处理器220执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器210中。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的在环仿真方法。

综上所述，本申请实施例提供一种在环仿真方法、装置及控制平台。场景生成设备根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成目标执行结果，并将目标执行结果发送给控制平台。控制平台基于强化学习算法根据目标执行结果生成线控指令，并将线控指令发送给在环系统。其中，该在线系统包括车辆的线控系统。在环系统执行线控指令，以完成对车辆的线控系统的硬件在环仿真。由此，可在与实际环境很接近的测试环境下自动完成对车辆线控系统的仿真测试，同时不需要人为调整参数，可减少测试人员的工作量。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种在环仿真方法，其特征在于，应用于仿真系统，所述仿真系统包括通信连接的场景生成设备、控制平台及在环系统，其中，所述在环系统包括车辆的线控系统，所述方法包括：

所述场景生成设备根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况，生成目标执行结果，并将所述目标执行结果发送给所述控制平台；

所述控制平台基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统；

所述在环系统执行所述线控指令，以完成对车辆的线控系统的硬件在环仿真。

2.根据权利要求1所述的方法，其特征在于，在将所述线控指令发送给所述在环系统之前，所述方法还包括：

对所述线控指令进行安全性评估，以判断该线控指令是否满足安全要求；

若所述线控指令满足安全要求，则直接将所述线控指令发送给所述车辆在环系统；

若所述线控指令不满足安全要求，则根据所述安全要求对所述线控指令进行调整，并将调整后的线控指令发送给所述车辆在环系统。

3.根据权利要求1所述的方法，其特征在于，所述在环系统包括在环控制器、机械电气结构，所述在环系统执行所述线控指令，包括：

所述在环控制器根据接收到的所述线控指令对该线控指令对应的机械电气结构进行控制。

4.根据权利要求1所述的方法，其特征在于，在所述在环系统执行所述线控指令之后，所述方法还包括：

所述在环系统获得所述线控指令对应的实际执行结果，并将所述实际执行结果发送给所述控制平台；

所述控制平台将所述实际执行结果保存，以便根据该实际执行结果进行强化学习。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述控制平台将接收的所述实际执行结果发送给所述场景生成设备；

所述场景生成设备根据所述实际执行结果对所述车辆模型的车辆信息进行更新及显示，并根据车辆运动学模型、目标工况、更新后的车辆信息、道路信息再次生成目标执行结果，以便所述控制平台根据再次生成的目标执行结果再次生成线控指令，以再次进行在环仿真。

6.根据权利要求1所述的方法，其特征在于，所述控制平台为ubuntu平台，所述场景生成设备中存储有场景设定工具，所述场景设定工具包括carsim和/或prescan，所述方法还包括：

所述场景生成设备预先根据仿真要求，通过所述carsim和/或prescan生成车辆模型及道路信息。

7.一种在环仿真方法，其特征在于，应用于仿真系统中的控制平台，所述仿真系统还包括与所述控制平台通信连接的场景生成设备及在环系统，其中，所述在环系统包括车辆的线控系统，所述方法包括：

接收所述场景生成设备发送的根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况生成的目标执行结果；

基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统，以使所述在环系统执行所述线控指令，完成对车辆的线控系统的硬件在环仿真。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

接收并保存所述在环系统发送的与所述线控指令对应的实际执行结果，以便根据该实际执行结果进行强化学习。

9.一种在环仿真装置，其特征在于，应用于仿真系统中的控制平台，所述仿真系统还包括与所述控制平台通信连接的场景生成设备及在环系统，其中，所述在环系统包括车辆的线控系统，所述装置包括：

接收模块，用于接收所述场景生成设备发送的根据车辆模型的车辆信息、道路信息、车辆运动学模型及设定的目标工况生成的目标执行结果；

指令生成模块，用于基于强化学习算法根据所述目标执行结果生成线控指令，并将所述线控指令发送给所述在环系统，以使所述在环系统执行所述线控指令，完成对车辆的线控系统的硬件在环仿真。

10.一种控制平台，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以权利要求7-8中任意一项所述的在环仿真方法。

Images